CN112835452A - 基于手势和运动识别的人机交互方法及其系统 - Google Patents

基于手势和运动识别的人机交互方法及其系统 Download PDF

Info

Publication number
CN112835452A
CN112835452A CN202110209378.2A CN202110209378A CN112835452A CN 112835452 A CN112835452 A CN 112835452A CN 202110209378 A CN202110209378 A CN 202110209378A CN 112835452 A CN112835452 A CN 112835452A
Authority
CN
China
Prior art keywords
motion
gesture
control command
control
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110209378.2A
Other languages
English (en)
Inventor
苏鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110209378.2A priority Critical patent/CN112835452A/zh
Publication of CN112835452A publication Critical patent/CN112835452A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种基于手势和运动识别的人机交互方法及其系统。该方法应用于可穿戴控制设备，可以根据预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态；在连续的传感器数据流中自动检测和分割手势动作；如果所述手势动作是有效的手势动作，则结合所述当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令；将所述第一控制命令通过无线方式发送给与所述可穿戴控制设备配套的接收端设备。本申请实施例实现了不同运动场景下自适应的智能化交互控制操作，能够适应不同类型的设备的智能化控制需要，极大增加了用户操作体验。

Description

基于手势和运动识别的人机交互方法及其系统
技术领域
本发明涉及物联网、可穿戴设备和人机交互技术领域，具体而言，涉及一种基于手势和运动识别的人机交互方法及其系统。
背景技术
随着科技的飞速发展，智能型的用户界面操控技术日益受到重视。人机交互技术致力于不断提高人机交互的自然性与高效性。其中，手势和运动等自然交互方式具有很大的发展空间，由于手势动作等具有学习成本低、自然便捷和直接高效的性质，可以为操作者提供更为直观、舒适和自然的交互体验。
而且，在人机交互中，利用可穿戴设备中传感器进行手势识别和控制具有不受空间限制、运算简单，以及不受光线等环境因素影响等优点。基于可穿戴设备不仅可以通过手势参与各种体感游戏，还可以通过手势控制智能家居设备。同时，这种手势识别方法在虚拟现实(VR)、增强现实(AR)、老年人监护、工业技术、医疗设备、残疾人交互等领域也会有广泛的应用。
然而，一方面，目前市场上虽然已经有部分智能硬件产品使用了传感器手势识别技术，但现阶段的交互方式仍然存在交互形式单一，实际产品化较少等问题。比如部分智能电视的遥控器，以及智能手表具有的如抬手亮屏、翻腕切屏等功能，所识别的手势还比较单一，对其它设备的控制功能还非常少。另一方面，对于智能玩具等的控制，目前绝大多数还是采用基于红外或其它无线方式的传统遥控器进行操作，如遥控汽车，可以通过遥控器控制它的前后左右等运动。此外，对于台灯、吊灯或其它家电设备等的操作一般也是通过它们本身的按钮或者遥控器进行操作，即使有的可以通过手机控制，但还需要打开相应的APP进行操作，不够直观和方便。
发明内容
有鉴于此，本申请的目的是提供一种基于手势和运动识别的人机交互方法及其系统，能够结合用户当前的运动状态和运动类型实现不同运动场景下自适应的智能化交互控制操作。
第一方面，本申请实施例提出一种基于手势和运动识别的人机交互方法，应用于可穿戴控制设备，包括：采集传感器数据，对所述传感器数据进行预处理，所述预处理包括对所述传感器数据进行滤波以去除噪声和干扰的影响；
根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态；
根据所述预处理后的传感器数据，在连续的传感器数据流中自动检测和分割手势动作；
如果所述手势动作是有效的手势动作，则结合所述当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令；
将所述第一控制命令通过无线方式发送给与所述可穿戴控制设备配套的接收端设备。
在可选的实施方式中，该方法还包括：
根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动参数；
根据所述当前的运动类型和状态生成第二控制命令和/或根据所述当前的运动类型和状态以及运动参数生成第三控制命令；
将所述第二控制命令和/或第三控制命令通过无线方式发送给所述接收端设备。
在可选的实施方式中，该方法还包括：
所述接收端设备监听和接收所述第一控制命令以及第二控制命令和/或第三控制命令，根据所述第一控制命令以及第二控制命令和/或第三控制命令分别控制被控设备进行相应的动作或响应。
在可选的实施方式中，所述结合所述当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令包括：
当用户当前的运动类型和状态为第一运动状态时，将所述手势动作转化为第一子控制命令；
当用户当前的运动类型和状态为第二运动状态时，将所述手势动作转化为第二子控制命令。
在可选的实施方式中，所述传感器包括惯性传感器。
在可选的实施方式中，所述惯性传感器包括加速度传感器或陀螺仪。
在可选的实施方式中，所述传感器进一步包括地磁传感器、肌电传感器、心率传感器中的一个或多个传感器的组合。
在可选的实施方式中，所述根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态包括：提取所述传感器数据中数据块特征，采用机器学习或深度学习的方法识别用户的运动类型和状态。
在可选的实施方式中，所述运动参数包括：运动速度、运动强度、运动量、疲劳程度、心率、呼吸率、卡路里消耗中任一或组合。
在可选的实施方式中，所述无线方式包括：红外、蓝牙、蓝牙低功耗、433M、2.4G或WIFI连接中任一种无线连接方式。
在可选的实施方式中，所述控制被控设备进行相应的动作或响应包括：对所述被控设备进行运动控制、音乐控制、灯光控制、语音播放控制、执行某种操作中的任一或组合。
第二方面，本申请实施例提供一种基于手势和运动识别的人机交互系统，包括：
可穿戴控制设备和配套的接收端设备；
所述可穿戴控制设备包括：
传感器数据处理模块，被配置为采集和接收传感器数据，对所述传感器数据进行预处理，所述预处理包括对所述传感器数据进行滤波以去除噪声和干扰的影响；
运动识别模块，被配置为根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态；
手势检测和识别模块，被配置为根据所述预处理后的传感器数据，在连续的传感器数据流中自动检测和分割手势动作；
控制模块，被配置为如果所述手势动作是有效的手势动作，则结合当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令；
发送模块，被配置为将所述第一控制命令通过无线方式发送给所述接收端设备。
所述接收端设备被配置为：监听和接收所述第一控制命令，根据所述第一控制命令控制被控设备进行相应的动作或响应。
在可选的实施方式中，运动识别模块还被配置为：根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动参数；
所述控制模块还被配置为：根据所述当前的运动类型和状态生成第二控制命令和/或根据所述当前的运动类型和状态以及运动参数生成第三控制命令；
所述发送模块还被配置为：将所述第二控制命令和/或第三控制命令通过无线方式发送给与所述接收端设备；
所述接收端设备还被配置为：监听和接收所述第二控制命令和/或第三控制命令，根据所述第二控制命令和/或第三控制命令控制被控设备进行相应的动作或响应。
在可选的实施方式中，所述控制模块进一步被配置为：
当用户当前的运动类型和状态为第一运动状态时，将所述手势动作转化为第一子控制命令；
当用户当前的运动类型和状态为第二运动状态时，将所述手势动作转化为第二子控制命令。
在可选的实施方式中，所述传感器包括惯性传感器。
在可选的实施方式中，所述惯性传感器包括加速度传感器或陀螺仪。
在可选的实施方式中，所述传感器进一步包括地磁传感器、肌电传感器、心率传感器中的一个或多个传感器的组合。
在可选的实施方式中，所述运动识别模块根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态包括：提取所述传感器数据中数据块特征，采用机器学习或深度学习的方法识别用户的运动类型和状态。
在可选的实施方式中，所述运动参数包括：运动速度、运动强度、运动量、疲劳程度、心率、呼吸率、卡路里消耗中任一或组合。
在可选的实施方式中，所述无线方式包括：红外、蓝牙、蓝牙低功耗、433M、2.4G或WIFI连接中任一种无线连接方式。
在可选的实施方式中，所述接收端设备控制被控设备进行相应的动作或响应包括：对所述被控设备进行运动控制、音乐控制、灯光控制、语音播放控制中的任一或组合。
第三方面，本申请实施例提供一种控制玩具系统的方法，基于如前述任一实施方式所述的基于手势和运动识别的人机交互系统控制玩具系统。
第四方面，本申请实施例提供一种提供运动提示功能的方法，基于如前述任一实施方式所述的基于手势和运动识别的人机交互系统，在用户运动的运动参数处于不同阶段或程度的时候，可穿戴控制设备可以检测出来并控制被控设备播放相应的语音提示，或变换不同的灯光颜色或模式，或以文字、图像的形式显示以提醒用户。
相对现有技术，本申请实施例至少具有以下有益效果：可以结合用户的运动类型和状态将手势动作转换为不同运动场景下的控制命令，实现了不同运动场景下自适应的智能化交互控制操作，能够适应不同类型的设备的智能化控制需要，极大增加了用户操作体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请一实施例的基于手势和运动识别的人机交互方法的流程示意图；
图2是根据本申请另一实施例的基于手势和运动识别的人机交互方法的流程示意图；
图3是根据本申请实施例的接收端设备和被控设备的连接示意图；
图4是根据本申请一实施例的基于手势和运动识别的人机交互系统的结构示意图；
图5是根据本申请一实施例的控制玩具汽车方法的示例性流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
如前所述，为了实现在不同的运动场景下的自适应的智能交互控制操作，本申请实施例提出一种基于手势和运动识别的人机交互方法及其系统。
图1是根据本申请一实施例的基于手势和运动识别的人机交互方法的流程示意图。如图1所示，本申请实施例的基于手势和运动识别的人机交互方法应用于可穿戴控制设备，包括以下步骤：
步骤S110，采集传感器数据，对所述传感器数据进行预处理，所述预处理包括对所述传感器数据进行滤波以去除噪声和干扰的影响；
步骤S120，根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态；
步骤S130，根据所述预处理后的传感器数据，在连续的传感器数据流中自动检测和分割手势动作；
步骤S140，如果所述手势动作是有效的手势动作，则结合所述当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令；
步骤S150，将所述第一控制命令通过无线方式发送给与所述可穿戴控制设备配套的接收端设备。
本实施例中，可穿戴控制设备可以是智能手表、智能手环、智能戒指，或者是专门设计的智能控制腕带以及穿戴在用户身体上的任何其它产品形式。通过本实施例的方法，用户通过可穿戴控制设备以及配套的接收端设备，可以基于当前的运动类型和状态并结合用户的手势动作向被控设备发送不同运动场景下的控制命令，同时也可以接收被控设备执行控制命令的反馈信息，实现对被控设备在不同运动场景下自适应的智能交互控制操作。在一些实施方式中，被控设备可以是智能玩具、机器人、无人机、智能行李箱、购物车、健身设备、AR/VR设备、家电设备、工业设备或其它设备等。
其中，步骤S110中，传感器是内置于可穿戴控制设备中的用于检测用户的运动类型和状态，并且可以用于检测和识别用户的手势动作的各种类型的传感器。在一些实施方式中，这些传感器通常可以包括内置于可穿戴控制设备中的惯性传感器，例如加速度传感器或陀螺仪。在一些实施方式中，这些传感器还可以进一步包括内置于可穿戴控制设备中的地磁传感器、生物传感器中的一个或多个传感器的组合，以便于更准确地检测和识别用户的运动类型和状态以及执行的手势动作。在一些实施方式中，生物传感器可以包括肌电或心率传感器等。
步骤S120中，用户当前的运动类型和状态可以包括静止、走路、跑步、健身、爬山或其它多种不同的运动类型和状态。通过对采集的传感器数据的预处理，可以提取当前传感器数据块的特征，然后可以采用机器学习或者深度学习的方法识别用户当前的运动类型和状态。在一些实施方式中，机器学习可以包括决策树、随机森林、支持向量机(SVM)等多种不同的算法。深度学习包括但不限于基于神经网络模型的深度学习算法。
步骤S130中，对预处理后的传感器数据自动检测和分割当前用户可能执行的手势动作，在连续的传感器数据流中把可能的手势动作部分提取出来，具体的识别方式可以采用波形分析、模板匹配、机器学习或深度学习等多种方法来识别。
步骤S140中，如果识别出所述手势动作是有效的手势动作，则结合步骤S120中检测出的用户当前的运动类型和状态，将用户的有效的手势动作转化为不同运动场景下对应的控制命令。可穿戴控制设备可以自动检测用户当前的运动类型和状态，例如是否处于静止或处于走路、跑步、爬山，健身等某种运动，当用户开始某种运动类型或者处于某种运动状态下执行手势动作，可以将手势动作转化为对应于该运动场景下不同的控制命令，进而控制被控设备执行相应的动作或响应，可以方便直观地实现不同运动场景下智能化的交互操作。
步骤S150中，所述无线方式可以包括蓝牙、蓝牙低功耗(BLE)或WIFI连接的方式，也可以包括如红外、短距离无线通信(NFC)、433M、2.4G等其他无线连接方式。通过无线方式发送控制命令给接收端设备，使得与接收端设备耦合的被控设备可以基于控制命令做出相应的动作或响应。
图2是根据本申请另一实施例的基于手势和运动识别的人机交互方法的流程示意图。如图2所示，本实施例的方法在前述实施例基础上，进一步还包括以下步骤：
步骤S160，根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动参数；
步骤S170，根据所述当前的运动类型和状态生成第二控制命令和/或根据所述当前的运动类型和状态以及运动参数生成第三控制命令；
步骤S180，将所述第二控制命令和/或第三控制命令通过无线方式发送给与所述可穿戴控制设备配套的接收端设备。
本实施例中，用户当前的运动参数可以包括运动速度、运动强度、运动量、疲劳程度、呼吸率、卡路里消耗等其中任一或组合。在一个实施方式中，本实施例在检测到用户开始某种运动类型时，可以发出相应的控制命令，控制被控设备做出相应的动作或响应。例如，可穿戴控制设备检测到用户从静止开始走路或跑步时，可以控制被控设备，如汽车、机器人、无人机等智能玩具，或智能行李箱等其它设备相应地启动起来。当用户停下来后，可以控制被控设备也相应地也停下来，这样就达到了运动跟随和陪伴的目的。
在另一实施方式中，本实施例在用户走路、跑步或健身等运动的速度或运动量、疲劳程度、运动强度、呼吸率、卡路里消耗等处于不同阶段或程度的时候，可穿戴控制设备可以检测出来并发送语音或灯光提示命令给被控设备，控制被控设备播放相应的语音提示，或变换不同的灯光颜色或模式，或以文字、图像的形式显示以提醒用户，起到运动提示的作用。
在另一实施方式中，还可以根据可穿戴控制设备检测到用户走路或跑步的速度快慢的速度信息，控制被控设备相应地调整移动速度，和用户保持一致的移动速度。
在一些实施方式中，接收端设备可以监听和接收所述第一、第二或第三控制命令，根据所述第一、第二或第三控制命令分别控制被控设备进行相应的动作或响应。被控设备进行相应的动作或响应可以包括但不限于：对所述被控设备进行运动控制、音乐控制、灯光控制、语音播放控制、执行某种操作中的任意之一或组合。在一些实施方式中，运动控制可以包括启动、停止、前进、后退、左转、右转、加速、减速、转圈等；音乐控制可以包括切换音乐、调整音量等；灯光控制可以包括开灯、关灯、变换颜色和灯光模式等，语音播放可以包括播放相应的语音提示等，执行某种操作可以包括移动机械臂、拍照、伸缩、变形等。
在一些实施方式中，上述步骤S140中，所述结合所述当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令可以包括：
当用户当前的运动类型和状态为第一运动状态时，将所述手势动作转化为第一子控制命令；当用户当前的运动类型和状态为第二运动状态时，将所述手势动作转化为第二子控制命令。
以被控设备为玩具汽车为例，如果检测到用户当前的运动类型和状态是静止在原地，即处于静态模式(第一运动状态)，此时可以通过识别用户的不同手势动作来控制玩具汽车的启动、停止、前进、后退、转弯、加速，减速等运动操作，以及切换音乐和灯光模式，或者控制其变形等。
当可穿戴控制设备识别到用户开始走路或跑步时，即从静态模式切换到动态模式(第二运动状态)，此时可以识别用户的手势动作执行动态模式下不同的控制命令。为了在动态模式下避免误触发，可以只支持左转或右转以及停车的手势，比如采用向左右挥手或转动手腕等，来控制玩具汽车左转或右转以调整运动方向，采用向上竖直举手以控制停车等。通过本实施方式，如果可穿戴控制设备检测到用户执行了某种手势动作，可以结合当前的运动类型和运动状态，赋予用户手势不同的含义，将其转化为不同的控制命令，从而可以实现在不同运动场景下自适应的智能交互操作。
在一些实施方式中，如图3所示，与可穿戴控制设备310配套的接收端设备320可以通过内嵌或外置连接的方式耦合到被控设备330中。内嵌方式是接收端设备320作为模块内嵌在要控制的相关设备中形成整合在一起的产品形态。外置连接方式则将接收端设备320作为独立的连接模块与要控制的相关设备通过接口相连，例如可以通过USB、蓝牙适配器、智能控制插座等外置连接形式实现。
图4是根据本申请一实施例的基于手势和运动识别的人机交互系统400的结构示意图。如图4所示，本申请实施例的基于手势和运动识别的人机交互系统400包括可穿戴控制设备410和配套的接收端设备420。其中，所述可穿戴控制设备410包括以下功能模块：
传感器数据处理模块411，被配置为采集传感器数据，对所述传感器数据进行预处理，所述预处理包括对所述传感器数据进行滤波以去除噪声和干扰的影响；
运动识别模块412，被配置为根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动状态和运动类型；
手势检测和识别模块413，被配置为根据所述预处理后的传感器数据，在连续的传感器数据流中自动检测和分割手势动作；
控制模块414，被配置为如果所述手势动作是有效的手势动作，则结合当前的运动状态和运动类型将所述手势动作转化为不同运动场景下对应的第一控制命令；
发送模块415，被配置为将所述第一控制命令通过无线方式发送给所述接收端设备。
所述接收端设备420被配置为：监听和接收所述第一控制命令，根据所述第一控制命令控制被控设备进行相应的动作或响应。
在一些实施方式中，所述运动识别模块412可以进一步被配置为：根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动参数；
所述控制模块414可以进一步被配置为：根据所述当前的运动类型和状态生成第二控制命令和/或根据所述当前的运动类型和状态以及运动参数生成第三控制命令；
所述发送模块415可以进一步被配置为：将所述第二控制命令和/或第三控制命令通过无线方式发送给与所述可穿戴控制设备配套的接收端设备420；
所述接收端设备420可以进一步被配置为：监听和接收所述第二控制命令和/或第三控制命令，根据所述第二控制命令和/或第三控制命令控制被控设备进行相应的动作或响应。
在一些实施方式中，所述控制模块414可以进一步被配置为：
当用户当前的运动类型和状态为第一运动状态时，将所述手势动作转化为第一子控制命令；
当用户当前的运动类型和状态为第二运动状态时，将所述手势动作转化为第二子控制命令。
在一些实施方式中，接收端设备420还可以包括接收模块、命令解析模块以及控制接口模块。首先，接收模块通过无线连接的方式监听和接收可穿戴控制设备410发送的控制命令报文，通过命令解析模块解析出相应的控制命令，然后再将控制命令通过控制接口模块发送给被控设备的执行单元，以执行相关操作或动作控制，并将相关的反馈信息通过无线方式发送给可穿戴控制设备410。
基于前述任一实施方式的基于手势和运动识别的人机交互系统，本申请同时还提出一种控制玩具系统的方法。
以下以控制玩具汽车为例进行该方法的示意性描述。如图5所示，在步骤S501，可穿戴控制设备采集传感器数据；在步骤S502，连续检测用户的运动类型和状态。在步骤S503，判断用户当前运动类型和状态是否走路或跑步。在步骤S504，如果否，即可穿戴控制设备的运动识别模块识别用户静止在原地，则进入静态模式，则在步骤S506，可穿戴控制设备的手势检测和识别模块进一步检测和识别用户的手势动作；在步骤S507，可穿戴控制设备基于用户不同的手势动作发送控制命令来控制玩具汽车的启动、停止、前进、后退、转弯、加速、减速等运动，以及切换音乐和灯光模式，或者控制其变形等。
在步骤S505，如果是，即可穿戴控制设备的运动识别模块识别到用户开始走路或跑步时，则进入动态模式。在步骤S508，可穿戴控制设备发送前进控制命令给玩具汽车，让玩具汽车随同用户一起运动。在步骤S509，可穿戴控制设备的运动识别模块还可以检测用户当前走路或跑步的速度；在步骤S510，发送速度控制命令给玩具汽车，使得玩具汽车在开动后随时可以根据用户的运动速度调整自己的运动速度，使得其与用户运动的速度保持一致。同时，该动态模式中，在步骤S506，可穿戴控制设备的手势检测和识别模块可以进一步识别用户的手势动作，在步骤S507，可穿戴控制设备发送控制命令来控制玩具汽车，为了在动态模式下避免误触发，可以只支持左转或右转以及停车的手势，比如向左右挥手或转动手腕等，控制汽车左转或右转以调整汽车的运动方向，向上竖直举手以控制停车。
此外，在步骤S504，当可穿戴控制设备的运动识别模块识别用户停止走路或跑步时，即进入静态模式，则在步骤S511，可穿戴控制设备可以发送停止控制命令给玩具汽车，使其从运动状态停止，这样就实现了玩具汽车的运动跟随和陪伴的目的。
此外，在用户走路或跑步的速度或运动强度或疲劳程度达到一定程度的时候，可穿戴控制设备也可以检测出来并发送语音或灯光提示命令给玩具汽车，控制玩具汽车播放相应的语音或变换相应的灯光颜色和模式以提醒用户，起到运动提示的作用。
本申请实施例基于可穿戴控制设备连续采集传感器数据，自动检测识别用户的运动类型和状态以及手势动作，结合用户的运动类型和状态将手势动作转换为不同运动场景下的控制命令，或者直接根据用户的运动类型和状态，以及根据用户的运动类型和状态结合运动参数发出不同的控制命令，实现了不同运动场景下自适应的智能化交互控制操作，能够适应不同类型的设备的智能化控制需要，极大增加了用户操作体验。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于手势和运动识别的人机交互方法，应用于可穿戴控制设备，其特征在于，包括：
采集传感器数据，对所述传感器数据进行预处理，所述预处理包括对所述传感器数据进行滤波以去除噪声和干扰的影响；
根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态；
根据所述预处理后的传感器数据，在连续的传感器数据流中自动检测和分割手势动作；
如果所述手势动作是有效的手势动作，则结合所述当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令；
将所述第一控制命令通过无线方式发送给与所述可穿戴控制设备配套的接收端设备。
2.根据权利要求1所述的基于手势和运动识别的人机交互方法，其特征在于，还包括：
根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动参数；
根据所述当前的运动类型和状态生成第二控制命令和/或根据所述当前的运动类型和状态以及运动参数生成第三控制命令；
将所述第二控制命令和/或第三控制命令通过无线方式发送给所述接收端设备。
3.根据权利要求2所述的基于手势和运动识别的人机交互方法，其特征在于，还包括：
所述接收端设备监听和接收所述第一控制命令以及第二控制命令和/或第三控制命令，根据所述第一控制命令以及第二控制命令和/或第三控制命令分别控制被控设备进行相应的动作或响应，以及发送被控设备执行控制命令后的反馈信息。
4.根据权利要求3所述的基于手势和运动识别的人机交互方法，其特征在于，所述结合当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令包括：
当用户当前的运动类型和状态为第一运动状态时，将所述手势动作转化为第一子控制命令；
当用户当前的运动类型和状态为第二运动状态时，将所述手势动作转化为第二子控制命令。
5.一种基于手势和运动识别的人机交互系统，其特征在于，包括：
可穿戴控制设备和配套的接收端设备；
所述可穿戴控制设备包括：
传感器数据处理模块，被配置为采集传感器数据，对所述传感器数据进行预处理，所述预处理包括对所述传感器数据进行滤波以去除噪声和干扰的影响；
运动识别模块，被配置为根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动类型和状态；
手势检测和识别模块，被配置为根据所述预处理后的传感器数据，在连续的传感器数据流中自动检测和分割手势动作；
控制模块，被配置为如果所述手势动作是有效的手势动作，则结合当前的运动类型和状态将所述手势动作转化为不同运动场景下对应的第一控制命令；
发送模块，被配置为将所述第一控制命令通过无线方式发送给所述接收端设备；
所述接收端设备被配置为：监听和接收所述第一控制命令，根据所述第一控制命令控制被控设备进行相应的动作或响应。
6.根据权利要求5所述的基于手势和运动识别的人机交互系统，其特征在于，运动识别模块还被配置为：根据所述预处理后的传感器数据，检测佩戴有该可穿戴控制设备的用户当前的运动参数；
所述控制模块还被配置为：根据所述当前的运动类型和状态生成第二控制命令和/或根据所述当前的运动类型和状态以及运动参数生成第三控制命令；
所述发送模块还被配置为：将所述第二控制命令和/或第三控制命令通过无线方式发送给与所述接收端设备；
所述接收端设备还被配置为：监听和接收所述第二控制命令和/或第三控制命令，根据所述第二控制命令和/或第三控制命令控制被控设备进行相应的动作或响应。
7.根据权利要求6所述的基于手势和运动识别的人机交互系统，其特征在于，所述控制模块进一步被配置为：
当用户当前的运动类型和状态为第一运动状态时，将所述手势动作转化为第一子控制命令；
当用户当前的运动类型和状态为第二运动状态时，将所述手势动作转化为第二子控制命令。
8.根据权利要求7所述的基于手势和运动识别的人机交互系统，其特征在于，所述传感器包括惯性传感器。
9.一种控制玩具系统的方法，其特征在于，基于如权利要求5-8任一项所述的基于手势和运动识别的人机交互系统控制玩具系统。
10.一种提供运动提示功能的方法，其特征在于，基于如权利要求5-8任一项所述的基于手势和运动识别的人机交互系统，在用户运动的运动参数处于不同阶段或程度的时候，可穿戴控制设备可以检测出来并控制被控设备播放相应的语音提示，或变换不同的灯光颜色或模式，或以文字、图像的形式显示以提醒用户。
CN202110209378.2A 2021-02-24 2021-02-24 基于手势和运动识别的人机交互方法及其系统 Pending CN112835452A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110209378.2A CN112835452A (zh) 2021-02-24 2021-02-24 基于手势和运动识别的人机交互方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110209378.2A CN112835452A (zh) 2021-02-24 2021-02-24 基于手势和运动识别的人机交互方法及其系统

Publications (1)

Publication Number Publication Date
CN112835452A true CN112835452A (zh) 2021-05-25

Family

ID=75933362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110209378.2A Pending CN112835452A (zh) 2021-02-24 2021-02-24 基于手势和运动识别的人机交互方法及其系统

Country Status (1)

Country Link
CN (1) CN112835452A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269318A (zh) * 2021-06-04 2021-08-17 安谋科技（中国）有限公司 电子设备及其神经网络模型运行方法、存储介质
CN113568499A (zh) * 2021-07-12 2021-10-29 沈阳体育学院 能够检测姿态并支持触摸交互的智能项链及其方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598130A (zh) * 2015-01-13 2015-05-06 小米科技有限责任公司 模式切换方法、终端、可穿戴设备及装置
CN108536158A (zh) * 2017-03-03 2018-09-14 北京小米移动软件有限公司 平衡车的控制方法及装置
CN112217699A (zh) * 2020-10-09 2021-01-12 珠海格力电器股份有限公司 智能家居设备的控制方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598130A (zh) * 2015-01-13 2015-05-06 小米科技有限责任公司 模式切换方法、终端、可穿戴设备及装置
CN108536158A (zh) * 2017-03-03 2018-09-14 北京小米移动软件有限公司 平衡车的控制方法及装置
CN112217699A (zh) * 2020-10-09 2021-01-12 珠海格力电器股份有限公司 智能家居设备的控制方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269318A (zh) * 2021-06-04 2021-08-17 安谋科技（中国）有限公司 电子设备及其神经网络模型运行方法、存储介质
CN113269318B (zh) * 2021-06-04 2023-06-30 安谋科技（中国）有限公司 电子设备及其神经网络模型运行方法、存储介质
CN113568499A (zh) * 2021-07-12 2021-10-29 沈阳体育学院 能够检测姿态并支持触摸交互的智能项链及其方法

Similar Documents

Publication Publication Date Title
US7519537B2 (en) Method and apparatus for a verbo-manual gesture interface
CN109933191B (zh) 手势识别和控制方法及其系统
US7843425B2 (en) Motion recognition system and method for controlling electronic devices
US6072467A (en) Continuously variable control of animated on-screen characters
CN112835452A (zh) 基于手势和运动识别的人机交互方法及其系统
RU2422878C1 (ru) Способ управления телевизором с помощью мультимодального интерфейса
CN212112406U (zh) 一种基于用户eog信号和头部姿态的驱动装置
CN203300127U (zh) 儿童教学监护机器人
KR100757500B1 (ko) 서비스 로봇과 사람 사이의 동작기반 인터페이스 시스템 및방법
JP2001084411A (ja) スクリーン上のキャラクター制御システム
CN102932212A (zh) 一种基于多通道交互方式的智能家居控制系统
WO2017104227A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN107813306B (zh) 机器人及其动作控制方法和装置
KR20130060952A (ko) 서비스로봇 원격제어 시스템
CN106325112A (zh) 一种信息处理方法及电子设备
CN111461059A (zh) 一种多区域多分类可扩展手势识别控制装置及控制方法
CN105965475B (zh) 机器人的控制方法、控制系统及机器人
CN205516182U (zh) 跑步机
Verdadero et al. Hand gesture recognition system as an alternative interface for remote controlled home appliances
EP3392740A1 (en) Information processing device, information processing method, and program
CN113156861A (zh) 轮椅智能控制系统
CN205750354U (zh) 一种表情机器人
CN211979681U (zh) 一种多区域多分类可扩展手势识别控制装置
CN108214490B (zh) 一种机器人的交互系统
CN108297082A (zh) 一种智能机器人控制的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination