CN113367793A - 一种基于增强现实的牙科用机器人及人机交互方法 - Google Patents

Abstract

本发明公开了一种基于增强现实的牙科用机器人，包括基座以及与基座配合连接的工作台，基座上设置有工具箱，工具箱内设置有若干个工具腔，工具腔用于存放备牙手术工具，工具腔内设置有消毒机构，消毒机构用于对手术工具进行消毒，工具腔内设置有第一监测件，第一监测件用于检测手术工具参数信息，工作台上设置有机械手，机械手包括第一机械手与第二机械手，第一机械手自由端端部设置有操作机构，操作机构一侧设置有摄像头，第一机械手与第二机械手上均设置有传感器，通过增加现实与操作空间信号互连，能够对患者手术区域快速准确的定位，术中能够根据图像导航技术扩大手术视野，实时监控手术进程，提高了手术的成功率与手术的精准度。

Description

一种基于增强现实的牙科用机器人及人机交互方法

应用领域

本发明涉及医疗设备领域，特别是一种基于增强现实的牙科用机器人。

背景技术

增强现实技术(AR)是一种将虚拟世界信息应用到现实世界中，实现虚拟的物体和真实的世界实时地“无缝”叠加到同一个场景中的新技术，具有实时地人机交互、三维匹配特点。这种技术的目标是在屏幕上把虚拟世界嵌入现实世界并进行互动，这意味着人们可以看到更多别人看不到的东西，可以在真实世界中感知到完全由计算得到的虚拟元素，从广义上来说，增强现实技术并不是只局限在视觉感知上，在听觉，嗅觉，触觉上感知到真实世界外的虚拟信息都可以归类为增强现实技术。

在口腔修复过程中，精准的牙体制备对备牙效果起着重要的作用，但由于口腔操作空间狭小，人手的颤动以及医生临床经验的限制，使得在牙体制备中达不到理想的效果，实现牙体制备数字化、机器人化，成为了口腔医学领域的重点研究方向。因此，增强现实技术在口腔医疗领域的应用逐渐引起了重视，医生能够利用增强现实技术，将人体的三维模型和患者相匹配，能够对手术患者手术区域快速准确的定位，进行术前手术方案规划和术中的定位。另外，AR技术具有实时性的特点，医生在牙体制备手术中能迅速及时地将信息方案共享给其他医生护士，交流完善手术方案以随时应对各种意外情况的发生。可见，增强现实技术在口腔医疗领域中具有重要的临床价值。因此，就展开了以下论述。

发明内容

本发明克服了现有技术的不足，提供了种基于增强现实的牙科用机器人。

为达到上述目的本发明采用的技术方案为：种基于增强现实的牙科用机器人，包括基座以及与基座配合连接的工作台；

所述基座上设置有工具箱，所述工具箱内设置有若干个工具腔，所述工具腔用于存放备牙手术工具，所述工具腔内设置有消毒机构，所述消毒机构用于对所述手术工具进行消毒，所述工具腔内设置有第一监测件，所述第一监测件用于检测所述手术工具参数信息；

所述工具腔内设置有推出机构，所述推出机构包括微型电机，所述微型电机一端与联轴器配合连接，所述联轴器另一端与推杆配合连接，所述推杆另一端与推盘活动连接，所述推盘设置有与所述手术工具截面形状相匹配的配合槽；

所述工作台上设置有机械手，所述机械手包括第一机械手与第二机械手，所述第一机械手自由端端部设置有操作机构，所述操作机构一侧设置有摄像头，所述第一机械手与第二机械手上均设置有传感器，所述传感器用于检测所述第一机械手与第二机械手位置、状态以及轨迹实时信息，所述传感器间实现信号连接。

进一步地，本发明的一个较佳实施例中，还包括AR头盔，所述AR头盔设置有显示屏，所述显示屏用于接收所述摄像头实时拍摄的画面。

进一步地，本发明的一个较佳实施例中，所述升降台上设置有摄像机构，所述摄像机构用于监测病人实时状态信息、手术实时状态信息以及外部环境信息，所述摄像机构与所述AR头盔电性连接。

进一步地，本发明的一个较佳实施例中，任一推出机构均配合连接有一备牙工具，所述推出机构与所述卡接头实现联动配合，所述备牙工具包括车针、钻头、磨头一种或者多种以上的组合。

进一步地，本发明的一个较佳实施例中，所述操作机构上设置有卡接头，所述手术工具尾部设置有与所述卡接头相配合的卡槽，所述卡接头上设置有第二监测件，所述第二监测件用于监测所述手术工具与所述卡接头的配合信息，所述卡接头用固定所述手术工具，所述第一监测件与所述第二监测件实现信号连接。

进一步地，本发明的一个较佳实施例中，所述手术工具参数包括工具位置信息、工具磨损信息、工具消毒信息一种或者多种以上的组合。

进一步地，本发明的一个较佳实施例中，所述基座内设置有升降机构，所述升降机构包括工作台，所述工作台上对称设置有两铰接件，所述铰接件上配合连接有机械手，所述机械手为多段式联动结构，所述升降机构用于调整所述机械手工作高度。

本发明第二方面提供了一种基于增强现实牙科用机器人的人机交互方法，应用于任一所述的一种基于增强现实的牙科用机器人，其特征在于，包括以下步骤：

建立AR虚拟空间参数，提取虚拟空间特征值，生成虚拟空间模型；

通过虚拟空间模型，对虚拟空间内虚拟人物进行位置标定，得出虚拟人物位置信息；

建立手术机器人操作空间，获取手术机器人初始姿态信息，生成标定点位置信息；

将所述虚拟人物位置信息与所述标定点位置信息作对比，得出偏差率；

判断所述偏差率是否大于预设阈值；

若大于，生成标定补偿信息；

将所述标定补偿信息传送至控制端。

进一步地，本发明的一个较佳实施例中，还包括以下步骤：

获取现实人体姿态信息，建立人体模型信息，生成三维交互模型；

通过三维交互模型实现现实人体姿态信息与虚拟人体姿态信息动态交互，生成交互信息；

根据交互信息，建立机器人姿态模型，生成动作信息；

对所述动作信息进行滤波、锐化处理，生成图像信息；

将所述图像信息传送至终端。

进一步地，本发明的一个较佳实施例中，所述人体姿态信息包括人手指动作信息、人手臂动作信息、人手掌动作信息、人腿部动作信息、人腰部动作信息的一种或者多种以上组合。

本发明公开的一种基于增强现实的牙科用机器人，医生借助AR技术与机器人，将计算机得到的虚拟信息填补到真实世界并与真实世界共存，能够对患者手术区域快速准确的定位；术前通过三维重建患者的医学图像数据，能够根据手术数据设计手术方案；术中能够根据图像导航技术和增强现实技术，扩大手术视野，实时监控手术进程，同时可以帮助消除外科医生的生理颤抖，减轻长时间手术操作带来的疲劳感，有效提高了手术的成功率与手术的精准度。同时，虚拟机器人手术能够模拟临床教学与手术培训，有利于提高医生在手术的临床经验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。

图1为机器人整体结构示意图；

图2为升降机构结构示意图；

图3为推出机构结构示意图；

图4为卡接机构剖面示意图；

图5为机器人人机交互方法流程图；

图6为通过三维交互模式生成交互信息方法流程图；

附图标记说明如下：101、基座；102、工作台；103、第一机械手；104、第二机械手；105、摄像头；106、传感器；107、操作机构；108、摄像机构；201、升降机构；202、铰接件；203、电机；204、螺纹丝杠；205、联轴器；206、轴承；207、轴承座；301、工具箱；302、工具腔；303、消毒机构；304、手术工具；305、第一监测件；306、推出机构；307、微型电机；308、推杆；309、推盘；401、卡接头；402、第二监测件；403、卡槽；404、卡块；405、夹紧机构；406滚珠。

具体实施方式：

为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述，这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成，需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本申请中的具体含义。

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。

实施例一：

本发明第一方面提供了一种基于增强现实的牙科用机器人，包括基座101以及与基座配合连接的工作台102。

如图1所示，所述工作台102上设置有机械手，所述机械手包括第一机械手103与第二机械手104，所述第一机械手103自由端端部设置有操作机构107，所述操作机构一侧设置有摄像头105，所述第一机械手103与第二机械手104上均设置有传感器106，所述传感器106用于检测所述第一机械手103与第二机械手104位置、状态以及轨迹实时信息，所述传感器间实现信号连接；所述基座内设置有升降机构，如图2所示，所述升降机构201包括工作台102，所述工作台102上对称设置有两铰接件202，所述铰接件202上配合连接有机械手，所述机械手为多段式联动结构，所述升降机构用于调整所述机械手工作高度。首先，第一机械手与第二机械手对称设置，能够相互配合完成手术工作，机械手关节处设置有万向机构，手术机器人能够实现广角动作，适用于多种手术场景，机械手上设置有传感器，能够实时监控机器人手臂参数，及时反馈信息，使得手术更安全。其次，工作台底部配合连接有升降机构，升降机构通过电机203驱动，升降机构201包括螺纹丝杠204、联轴器205、轴承206、轴承座207等，控制精度更高、控制过程更平稳，使得手术过程中协调性更好。

需要说明的是，操作机构通过万向销与机械手配合连接，摄像头能够拍摄患者口腔内画面并实时的传送至AR头盔显示屏上，实现了手术机器人操作画面的实时传输，通过设置的传感器，能够实时观察操作机构的动作、位置信息，当操作机构发生位置偏移时，能够及时的调整，在手术中机器人可执行高精度的运动操作，同时可以帮助消除外科医生的生理颤抖，减轻长时间手术操作带来的疲劳感，有效提升了手术的成功率。

需要说明的是，一方面，通过人机交互的方式，将虚拟模型实时叠加到真实的手术场景中，医生如同带了一副“透视”眼镜，能够随时的了解患者组织信息，实现精准的定位，极大地降低了手术风险。另一方面，AR技术在术前方案规划与医学训练方面也有着重要作用，虚拟机器人手术能够模拟临床教学与手术培训，有利于提高医生在手术的临床经验。

如图3所示，所述基座上设置有工具箱301，所述工具箱301内设置有若干个工具腔302，所述工具腔302用于存放备牙手术工具304，所述工具腔302内设置有消毒机构303，所述消毒机构303用于对所述手术工具304进行消毒，所述工具腔内设置有第一监测件305，所述第一监测件305用于检测所述手术工具304参数信息；所述工具腔302内设置有推出机构306，所述推出机构包括微型电机307，所述微型电机307一端与联轴器配合连接，所述联轴器另一端与推杆308配合连接，所述推杆308另一端与推盘309活动连接，所述推盘309设置有与所述手术工具截面形状相匹配的配合槽；任一推出机构均配合连接有一备牙工具，所述推出机构与所述卡接头实现联动配合，所述备牙工具包括车针、钻头、磨头一种或者多种以上的组合。

需要说明的是，一方面，手术工具箱设置在机器人基座底部，当需要更换手术工具时，能够完成快速的更换，工具腔上对应配合有车针、钻头、磨头等备牙所需工具，需要进行更换工具时，传感器识别到信号后，控制工具腔内推出机构把工具推出，能够满足多种需求。另一方面，工具腔内还设置有消毒机构，能够对工具进行不同的消毒处理，使得手术环境安全无菌。

需要说明的是，利用图像处理技术与计算机视觉技术结合对患者以及机器人进行配准，将虚拟医学模型放置到真实的环境中，但医生不能是被动获得一个相对静止的虚拟医学模型，而应该是能够对虚拟医学模型进行具体的操作使其随着医生意识发生动作变化，因此医生需要根据头戴式AR头盔进行交互，使得虚拟医学模型真实的呈现在显示屏上。

如图4所示，所述操作机构上设置有卡接头401，所述手术工具尾部设置有与所述卡接头相配合的卡槽，所述卡接头上设置有第二监测件402，所述第二监测件402用于监测所述手术工具304与所述卡接头401的配合信息，所述卡接头401用于固定所述手术工具304，所述第一监测件305与所述第二监测件402实现信号连接；所述手术工具参数包括工具位置信息、工具磨损信息、工具消毒信息一种或者多种以上的组合。

需要说明的是，利用手术工具尾部的卡槽403，卡槽403呈圆周设置并不少3个，卡槽通过卡块404活动固定，卡块侧面设置有两夹紧机构405，夹紧机构用于推动卡块404完成夹紧工作，夹紧机构底部设置有滚珠406，在电机的带动下，滚珠406能够自由滑动，带动夹紧机构405完成夹紧动作，以带动卡槽403卡紧手术工具304，操作机构能够通过卡接头快速稳定的卡紧不同手术工具，卡接头上设置有传感器，传感器能够检测工具的卡紧信息，避免了因工具未卡紧而造成手术意外的情况，当需要更换工具时，传感器能够识别工具位置信息，把信号反馈到控制器上，控制卡接头卡紧或松开手术工具，使得快速的完成更换手术工具，缩短了手术时间，更加的智能化。

所述AR头盔设置有显示屏，所述显示屏用于接收所述摄像头实时拍摄的画面；所述工作台上设置有摄像机构108，所述摄像机构用于监测病人实时状态信息、手术实时状态信息以及外部环境信息，所述摄像机构与所述AR头盔电性连接。工作台上设置有摄像机构，能够实时观察患者的手术状态，包括患者的情绪、病人的位置以及手术周围环境信息等，在手术中能够根据图像导航技术和增强现实技术，可扩大手术视野，实时监控手术进程。

需要说明的是，首先，利用AR头盔对虚拟空间和操作空间信号互连，将现实医生人体信息对齐到虚拟世界中，提取现实世界人体特征，根据人体姿态信息建立三维交互模式，实现人体操作控制手术机器人，从而实现人机动作交互。其次，AR头盔还能够实时感知医生周围环境信息，并在显示屏上投射出全息图像与现实世界的内容相互叠加，能够实时感知环境的变化，与医生进行实时交互活动，利用摄像头对手术环境的空间进行标点识别，并将识别到的位置传送到AR显示屏上，将虚拟世界的全息立体元素固定在现实世界标志点处，从而实现现实世界与虚拟世界的交互重叠，使得现实世界与虚拟世界内空间位置与姿态保持一致。

实施例二：

本发明第二方面提供了一种基于增强现实牙科用机器人的人机交互方法，应用于任一所述的一种基于增强现实的牙科用机器人，其特征在于，如图5所示，包括以下步骤：

S102：建立AR虚拟空间参数，提取虚拟空间特征值，生成虚拟空间模型；

S104：通过虚拟空间模型，对虚拟空间内虚拟人物进行位置标定，得出虚拟人物位置信息；

S106：建立手术机器人操作空间，获取手术机器人初始姿态信息，生成标定点位置信息；

S108：将所述虚拟人物位置信息与所述标定点位置信息作对比，得出偏差率；

S110：判断所述偏差率是否大于预设阈值；

S112：若大于，生成标定补偿信息；

S114：将所述标定补偿信息传送至控制端。

需要说明的是，自然标识点法是利用空间和配准对象上的特征纹理或形状完成配准，对时间序列的图像完成图像间的对应配对，使得能够实时的跟踪姿态信息。利用二维特征点和三维特征点实现配准过程中的识别与追踪，再对数据库中的指定对象特征完成特征匹配，从而计算出位置和姿态信息。

需要说明的是，通过摄像机构采集人体姿态信息，并对视频图像进行区域分割，滤波处理，通过特征值进行表征人体姿态信息，基于表征的方法计算出人体动作姿态信息。通过AR头盔进行虚拟空间与机器人操作空间信号连接，并建立人体姿态三维交互模式，从而将真实世界提取的人体信息对其到虚拟空间上，从而实现人体操作手术机器人实现动作交互。

进一步的，本发明的一个较佳实施例中，如图6所示，还包括以下步骤：

S202：获取现实人体姿态信息，建立人体模型信息，生成三维交互模型；

S204：通过三维交互模型实现现实人体姿态信息与虚拟人体姿态信息动态交互，生成交互信息；

S206：根据交互信息，建立机器人姿态模型，生成动作信息；

S208：对所述动作信息进行滤波、锐化处理，生成图像信息；

S210：将所述图像信息传送至终端。

需要说明的是，一方面，医生能借助AR技术进行术前的模拟仿真来提高自身对患者手术区域定位的了解程度，从而确保手术方案的正确性。另一方面，AR技术具有实时性的特点，医生在手术中能迅速及时地将信息方案共享给其他医生，交流完善手术方案以随时应对意外情况发生。而实现AR技术需要对视频图像的目标进行匹配跟踪，而匹配的准确度则非常依赖特征点的匹配，由于图像的光线变化和视角变化会图像变得模糊或者产生噪点，对特征点造成很大的干扰，在视频采集过程中还可能会由于硬件等原因使视频丢帧，对目标跟踪造成重大的影响，因此，需要对图像的目标进行匹配跟踪，然后求解目标的空间姿态，再对虚拟的三维物体进行相应的空间变换，从而实现增强现实的效果。变换公式如下：

其中，(a₁，g₁，p₁)为标准化设备坐标；(B_x，B_y)为输出窗口的原点坐标；h，k为输出窗口的宽度和高度；f，z为输出深度的范围，决定了c的范围；(a，b，c)是输出窗口中(a₁，g₁，p₁)对应的坐标点；(a₁，g₁)就是输出窗口的像素点位置；c分量时改点的渲染深度缓冲。

需要说明的是，三维模型的各种变换是通过矩阵变换在空间坐标系中完成的，矩阵变换先后顺序的不同会导致变换结果不一样，而从空间坐标系角度来看，单一的变换对空间坐标系的影响也不一样，为了使变换不相互影响，先进行缩放变换，再进行选择变换，最后进行平移变换。

进一步的，本发明的一个较佳实施例中，所述人体姿态信息包括人手指动作信息、人手臂动作信息、人手掌动作信息、人腿部动作信息、人腰部动作信息的一种或者多种以上组合。

需要说明的是，为加强人体位姿的准确性，需要对三维模型的位姿进行定量分析，三维模型的位姿偏差公式如下所示：

其中，Q₁为角度偏差；Q₂为位置偏差；(ε₁，ε₂，ε₃)和t分别是实际测量的三维模型的旋转角度和位移量；

和

分别是由虚拟模型的旋转角度和位移量；

为向量各元素的绝对值之和。

综上所述，三维模型的位姿偏差确实是存在的，从三维模型的每个坐标轴方向来看，角度偏差和位移偏差都比较小，相对三维模型的尺寸来说，偏差对增强现实的效果影响不大，这些偏差可能由三维模型的初始化偏差、算法计算偏差、手工测量偏差等引起的，三维模型融合效果，三维模型位姿的偏差在允许范围内。

以上依据本发明的理想实施例为启，示，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于增强现实的牙科用机器人，包括基座以及与基座配合连接的工作台；其特征在于，

所述基座上设置有工具箱，所述工具箱内设置有若干个工具腔，所述工具腔用于存放备牙手术工具，所述工具腔内设置有消毒机构，所述消毒机构用于对所述手术工具进行消毒，所述工具腔内设置有第一监测件，所述第一监测件用于检测所述手术工具参数信息；

所述工具腔内设置有推出机构，所述推出机构包括微型电机，所述微型电机一端与联轴器配合连接，所述联轴器另一端与推杆配合连接，所述推杆另一端与推盘活动连接，所述推盘设置有与所述手术工具截面形状相匹配的配合槽；

所述工作台上设置有机械手，所述机械手包括第一机械手与第二机械手，所述第一机械手自由端端部设置有操作机构，所述操作机构一侧设置有摄像头，所述第一机械手与第二机械手上均设置有传感器，所述传感器用于检测所述第一机械手与第二机械手位置、状态以及轨迹实时信息，所述传感器间实现信号连接。

2.根据权利要求1所述的一种基于增强现实的牙科用机器人，其特征在于：还包括AR头盔，所述AR头盔设置有显示屏，所述显示屏用于接收所述摄像头实时拍摄的画面。

3.根据权利要求1所述的一种基于增强现实的牙科用机器人，其特征在于：所述工作台上设置有摄像机构，所述摄像机构用于监测病人实时状态信息、手术实时状态信息以及外部环境信息，所述摄像机构与AR头盔电性连接。

4.根据权利要求1所述的一种基于增强现实的牙科用机器人，其特征在于：任一推出机构均配合连接有一备牙工具，所述推出机构与卡接头实现联动配合，所述备牙工具包括车针、钻头、磨头一种或者多种组合。

5.根据权利要求1所述的一种基于增强现实的牙科用机器人，其特征在于：所述操作机构上设置有卡接头，所述手术工具尾部设置有与所述卡接头相配合的卡槽，所述卡接头上设置有第二监测件，所述第二监测件用于监测所述手术工具与所述卡接头的配合信息，所述卡接头用于固定所述手术工具，所述第一监测件与所述第二监测件实现信号连接。

6.根据权利要求1所述的一种基于增强现实的牙科用机器人，其特征在于：所述手术工具参数包括工具位置信息、工具磨损信息、工具消毒信息一种或者多种组合。

7.根据权利要求1所述的一种基于增强现实的牙科用机器人，其特征在于：所述基座内设置有升降机构，所述升降机构包括工作台，所述工作台上对称设置有两铰接件，所述铰接件上配合连接有机械手，所述机械手为多段式联动结构，所述升降机构用于调整所述机械手工作高度。

8.一种基于增强现实牙科用机器人的人机交互方法，应用于权利要求1-7任一所述的一种基于增强现实的牙科用机器人，其特征在于，包括以下步骤：

建立AR虚拟空间参数，提取虚拟空间特征值，生成虚拟空间模型；

通过虚拟空间模型，对虚拟空间内虚拟人物进行位置标定，得出虚拟人物位置信息；

建立手术机器人操作空间，获取手术机器人初始姿态信息，生成标定点位置信息；

将所述虚拟人物位置信息与所述标定点位置信息作对比，得出偏差率；

判断所述偏差率是否大于预设阈值；

若大于，生成标定补偿信息；

将所述标定补偿信息传送至控制端。

9.根据权利要求8所述的一种基于增强现实牙科用机器人的人机交互方法，其特征在于，还包括：

获取现实人体姿态信息，建立人体模型信息，生成三维交互模型；

通过三维交互模型实现现实人体姿态信息与虚拟人体姿态信息动态交互，生成交互信息；

根据交互信息，建立机器人姿态模型，生成动作信息；

对所述动作信息进行滤波、锐化处理，生成图像信息；

将所述图像信息传送至终端。

10.根据权利要求9所述的一种基于增强现实牙科用机器人的人机交互方法，其特征在于：所述人体姿态信息包括人手指动作信息、人手臂动作信息、人手掌动作信息、人腿部动作信息、人腰部动作信息的一种或者多种以上组合。

Images