CN110297540A - 一种人机交互装置及人机交互方法 - Google Patents
一种人机交互装置及人机交互方法 Download PDFInfo
- Publication number
- CN110297540A CN110297540A CN201910540054.XA CN201910540054A CN110297540A CN 110297540 A CN110297540 A CN 110297540A CN 201910540054 A CN201910540054 A CN 201910540054A CN 110297540 A CN110297540 A CN 110297540A
- Authority
- CN
- China
- Prior art keywords
- gesture
- rotation
- eyeball angle
- eyeball
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 34
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 72
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 230000002452 interceptive effect Effects 0.000 claims abstract description 6
- 230000006399 behavior Effects 0.000 claims description 21
- 210000001508 eye Anatomy 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Abstract
本发明公开了一种人机交互装置及人机交互方法，通过监控外部对象手势/眼球转动角度，采集手势动作/眼球转动角度并将监测到的手势动作/眼球转动角度转化成相应处理指令后进行加密并送云服务终端进行比对，然后根据云服务终端比对的结果决定是否控制互动执行模块以及多个显示设备进行行为反应；触发后实时行为反应交互，实时接收外部对象手势/眼球转动角度触发转化后的处理指令，并根据指令控制互动执行模块进行行为反应从而达到与外部对象实时交互的步骤，贴合人类使用习惯，适用范围广泛，可以广泛应用于各种需要人机交互的装置上。
Description
技术领域
本发明涉及一种较大范围，具体是一种人机交互装置及人机交互方法。
背景技术
进入智能时代，触摸屏技术越来越受到关注，广泛地应用于各个领域。触摸屏不仅消除了鼠标，给用户带来极大的方便之外，给人机交互这个领域，也带来了前所未有的发展。
目前除了手机、电脑等小型设备的触摸技术之外，更趋向于研究大尺寸的触摸屏。通常使用的雷达触控，其成本高、触控精度低；红外框触摸屏，由于本身的技术问题，另外，现有的交互方法大多只有手势交互，关于眼部交互的方法极少。
发明内容
本发明的目的在于提供一种人机交互装置及人机交互方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种人机交互装置，包括：
手势识别模块，用于监控外部对象手势，采集手势并将接收到的手势转化成相应处理指令后进行中央处理；
眼部识别模块，用于监控外部对象眼球转动角度，采集眼球转动角度并将接收到的眼球转动角度信息转化成相应处理指令后进行中央处理；
中央处理模块，用于实时接收手势识别模块、眼部识别模块发送来的外部对象手势、眼球转动角度，并将手势、眼球转动角度进行加密后送云服务终端进行比对，然后根据云服务终端比对的结果决定是否控制互动执行模块以及多个显示设备进行行为反应；
互动执行模块，用于接收中央处理模块的控制指令而后针对外部对象进行实时的行为反应；
移动客户端，安装有能够与中央处理模块双向无线通讯的应用软件，用于与中央处理模块通讯；
云服务终端，存储所有所述应用软件登陆的ID、密钥、方法参数名，以及与移动客户端、中央处理模块进行双向无线通讯，
多个显示设备，用于接收中央处理模块的控制指令而后有针对性的进行显示。
作为本发明进一步的方案：所述手势识别模块将识别出外部对象触控轨迹中符合特定轨迹的操作，从而快捷地执行某个功能。
作为本发明进一步的方案：所述眼部识别模块将识别出外部对象眼球转动角度中符合特定角度的操作，从而快捷地执行某个功能。
作为本发明进一步的方案：所述云服务终端包括：
手势/眼球转动角度模型库，用于存放预设手势/眼球转动角度模型；
手势/眼球转动角度信息库，用于存放预设的针对相应手势/眼球转动角度模型的特定处理指令；
特征提取单元，用于从手势/眼球转动角度中提取最反应其本质属性的信息；
识别搜索单元，用于根据手势/眼球转动角度的特征矢量流与预设的手势/眼球转动角度模型库中内容进行匹配，得到最适合该手势/眼球转动角度的特征的手势/眼球转动角度模型；
手势/眼球转动角度分析单元，用于基于预设的手势/眼球转动角度信息库，通过对搜索得到的手势/眼球转动角度模型进行分析，得到处理指令；
学习数据单元，用于存储学习期间得以进行的过程数据；
动作模式数据单元，用于预存学习期间所产生行为反应的动作模式。
作为本发明进一步的方案：所述多个显示设备之间能够进行数据交互，在数据交互过程中，从显示设备中确定一台设备为主屏，其他设备为副屏，主屏作为输入设备，副屏与主屏进行同步显示。
作为本发明再进一步的方案：一种人机交互方法，监控外部对象手势/眼球转动角度，采集手势动作/眼球转动角度并将监测到的手势动作/眼球转动角度转化成相应处理指令后进行加密并送云服务终端进行比对，然后根据云服务终端比对的结果决定是否控制互动执行模块以及多个显示设备进行行为反应；触发后实时行为反应交互，实时接收外部对象手势/眼球转动角度触发转化后的处理指令，并根据指令控制互动执行模块进行行为反应从而达到与外部对象实时交互的步骤。
与现有技术相比，本发明的有益效果是：本发明通过监控外部对象手势/眼球转动角度，采集手势动作/眼球转动角度并将监测到的手势动作/眼球转动角度转化成相应处理指令后进行加密并送云服务终端进行比对，然后根据云服务终端比对的结果决定是否控制互动执行模块以及多个显示设备进行行为反应；触发后实时行为反应交互，实时接收外部对象手势/眼球转动角度触发转化后的处理指令，并根据指令控制互动执行模块进行行为反应从而达到与外部对象实时交互的步骤，贴合人类使用习惯，适用范围广泛，可以广泛应用于各种需要人机交互的装置上。
附图说明
图1为人机交互装置的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，一种人机交互装置，包括：
手势识别模块，用于监控外部对象手势，采集手势并将接收到的手势转化成相应处理指令后进行中央处理；
眼部识别模块，用于监控外部对象眼球转动角度，采集眼球转动角度并将接收到的眼球转动角度信息转化成相应处理指令后进行中央处理；
中央处理模块，用于实时接收手势识别模块、眼部识别模块发送来的外部对象手势、眼球转动角度，并将手势、眼球转动角度进行加密后送云服务终端进行比对，然后根据云服务终端比对的结果决定是否控制互动执行模块以及多个显示设备进行行为反应；
互动执行模块，用于接收中央处理模块的控制指令而后针对外部对象进行实时的行为反应；
移动客户端，安装有能够与中央处理模块双向无线通讯的应用软件，用于与中央处理模块通讯；
云服务终端，存储所有所述应用软件登陆的ID、密钥、方法参数名，以及与移动客户端、中央处理模块进行双向无线通讯，
多个显示设备，用于接收中央处理模块的控制指令而后有针对性的进行显示。
所述手势识别模块将识别出外部对象触控轨迹中符合特定轨迹的操作，从而快捷地执行某个功能。
所述眼部识别模块将识别出外部对象眼球转动角度中符合特定角度的操作，从而快捷地执行某个功能。
作为本发明进一步的方案：所述云服务终端包括：
手势/眼球转动角度模型库，用于存放预设手势/眼球转动角度模型；
手势/眼球转动角度信息库，用于存放预设的针对相应手势/眼球转动角度模型的特定处理指令；
特征提取单元，用于从手势/眼球转动角度中提取最反应其本质属性的信息；
识别搜索单元，用于根据手势/眼球转动角度的特征矢量流与预设的手势/眼球转动角度模型库中内容进行匹配，得到最适合该手势/眼球转动角度的特征的手势/眼球转动角度模型；
手势/眼球转动角度分析单元，用于基于预设的手势/眼球转动角度信息库，通过对搜索得到的手势/眼球转动角度模型进行分析，得到处理指令；
学习数据单元，用于存储学习期间得以进行的过程数据；
动作模式数据单元，用于预存学习期间所产生行为反应的动作模式。
所述多个显示设备之间能够进行数据交互，在数据交互过程中，从显示设备中确定一台设备为主屏，其他设备为副屏，主屏作为输入设备，副屏与主屏进行同步显示。
本发明的人机交互方法通过监控外部对象手势/眼球转动角度，采集手势动作/眼球转动角度并将监测到的手势动作/眼球转动角度转化成相应处理指令后进行加密并送云服务终端进行比对，然后根据云服务终端比对的结果决定是否控制互动执行模块以及多个显示设备进行行为反应；触发后实时行为反应交互，实时接收外部对象手势/眼球转动角度触发转化后的处理指令，并根据指令控制互动执行模块进行行为反应从而达到与外部对象实时交互的步骤，贴合人类使用习惯，适用范围广泛，可以广泛应用于各种需要人机交互的装置上。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (6)
1.一种人机交互装置，其特征在于，包括：
手势识别模块，用于监控外部对象手势，采集手势并将接收到的手势转化成相应处理指令后进行中央处理；
眼部识别模块，用于监控外部对象眼球转动角度，采集眼球转动角度并将接收到的眼球转动角度信息转化成相应处理指令后进行中央处理；
中央处理模块，用于实时接收手势识别模块、眼部识别模块发送来的外部对象手势、眼球转动角度，并将手势、眼球转动角度进行加密后送云服务终端进行比对，然后根据云服务终端比对的结果决定是否控制互动执行模块以及多个显示设备进行行为反应；
互动执行模块，用于接收中央处理模块的控制指令而后针对外部对象进行实时的行为反应；
移动客户端，安装有能够与中央处理模块双向无线通讯的应用软件，用于与中央处理模块通讯；
云服务终端，存储所有所述应用软件登陆的ID、密钥、方法参数名，以及与移动客户端、中央处理模块进行双向无线通讯，
多个显示设备，用于接收中央处理模块的控制指令而后有针对性的进行显示。
2.根据权利要求1所述的人机交互装置，其特征在于，所述手势识别模块将识别出外部对象触控轨迹中符合特定轨迹的操作，从而快捷地执行某个功能。
3.根据权利要求1-2任一项所述的人机交互装置，其特征在于，所述眼部识别模块将识别出外部对象眼球转动角度中符合特定角度的操作，从而快捷地执行某个功能。
4.根据权利要求1-3任一项所述的人机交互装置，其特征在于，所述云服务终端包括：
手势/眼球转动角度模型库，用于存放预设手势/眼球转动角度模型；
手势/眼球转动角度信息库，用于存放预设的针对相应手势/眼球转动角度模型的特定处理指令；
特征提取单元，用于从手势/眼球转动角度中提取最反应其本质属性的信息；
识别搜索单元，用于根据手势/眼球转动角度的特征矢量流与预设的手势/眼球转动角度模型库中内容进行匹配，得到最适合该手势/眼球转动角度的特征的手势/眼球转动角度模型；
手势/眼球转动角度分析单元，用于基于预设的手势/眼球转动角度信息库，通过对搜索得到的手势/眼球转动角度模型进行分析，得到处理指令；
学习数据单元，用于存储学习期间得以进行的过程数据；
动作模式数据单元，用于预存学习期间所产生行为反应的动作模式。
5.根据权利要求3所述的人机交互装置，其特征在于，所述多个显示设备之间能够进行数据交互，在数据交互过程中，从显示设备中确定一台设备为主屏，其他设备为副屏，主屏作为输入设备，副屏与主屏进行同步显示。
6.一种人机交互方法，其特征在于，监控外部对象手势/眼球转动角度，采集手势动作/眼球转动角度并将监测到的手势动作/眼球转动角度转化成相应处理指令后进行加密并送云服务终端进行比对，然后根据云服务终端比对的结果决定是否控制互动执行模块以及多个显示设备进行行为反应；触发后实时行为反应交互，实时接收外部对象手势/眼球转动角度触发转化后的处理指令，并根据指令控制互动执行模块进行行为反应从而达到与外部对象实时交互的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910540054.XA CN110297540A (zh) | 2019-06-12 | 2019-06-12 | 一种人机交互装置及人机交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910540054.XA CN110297540A (zh) | 2019-06-12 | 2019-06-12 | 一种人机交互装置及人机交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110297540A true CN110297540A (zh) | 2019-10-01 |
Family
ID=68028371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910540054.XA Pending CN110297540A (zh) | 2019-06-12 | 2019-06-12 | 一种人机交互装置及人机交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110297540A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110979214A (zh) * | 2019-12-27 | 2020-04-10 | 上海昶枫科技有限公司 | 汽车电子控制系统 |
| CN111025999A (zh) * | 2019-12-27 | 2020-04-17 | 上海昶枫科技有限公司 | 汽车电子控制器节能控制工艺 |
| CN111045521A (zh) * | 2019-12-27 | 2020-04-21 | 上海昶枫科技有限公司 | 汽车电子装置控制系统及控制方法 |
| CN111143217A (zh) * | 2019-12-27 | 2020-05-12 | 上海昶枫科技有限公司 | 汽车电子控制单元仿真系统 |
| WO2023082952A1 (zh) * | 2021-11-10 | 2023-05-19 | 华为技术有限公司 | 一种与电子设备进行交互的方法及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101344816A (zh) * | 2008-08-15 | 2009-01-14 | 华南理工大学 | 基于视线跟踪和手势识别的人机交互方法及装置 |
| US20130278837A1 (en) * | 2012-04-23 | 2013-10-24 | O2Micro Inc. | Multi-Media Systems, Controllers and Methods for Controlling Display Devices |
-
2019
- 2019-06-12 CN CN201910540054.XA patent/CN110297540A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101344816A (zh) * | 2008-08-15 | 2009-01-14 | 华南理工大学 | 基于视线跟踪和手势识别的人机交互方法及装置 |
| US20130278837A1 (en) * | 2012-04-23 | 2013-10-24 | O2Micro Inc. | Multi-Media Systems, Controllers and Methods for Controlling Display Devices |
| CN103376891A (zh) * | 2012-04-23 | 2013-10-30 | 凹凸电子（武汉）有限公司 | 多媒体系统，显示装置的控制方法及控制器 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110979214A (zh) * | 2019-12-27 | 2020-04-10 | 上海昶枫科技有限公司 | 汽车电子控制系统 |
| CN111025999A (zh) * | 2019-12-27 | 2020-04-17 | 上海昶枫科技有限公司 | 汽车电子控制器节能控制工艺 |
| CN111045521A (zh) * | 2019-12-27 | 2020-04-21 | 上海昶枫科技有限公司 | 汽车电子装置控制系统及控制方法 |
| CN111143217A (zh) * | 2019-12-27 | 2020-05-12 | 上海昶枫科技有限公司 | 汽车电子控制单元仿真系统 |
| WO2023082952A1 (zh) * | 2021-11-10 | 2023-05-19 | 华为技术有限公司 | 一种与电子设备进行交互的方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110297540A (zh) | 一种人机交互装置及人机交互方法 | |
| EP3628381A1 (en) | Game picture display method and apparatus, storage medium and electronic device | |
| CN108983636B (zh) | 人机智能共生平台系统 | |
| CN104410883A (zh) | 一种移动可穿戴非接触式交互系统与方法 | |
| CN103475754B (zh) | 基于智能手表的个人信息交换装置及方法 | |
| WO2013139181A1 (zh) | 一种用户交互系统和方法 | |
| CN104679627B (zh) | 测试方法及装置 | |
| CN102789312A (zh) | 一种用户交互系统和方法 | |
| US20130162519A1 (en) | Cross-platform human input customization | |
| CN106504748A (zh) | 一种语音控制方法和装置 | |
| CN105976814A (zh) | 头戴设备的控制方法和装置 | |
| WO2018010021A1 (en) | Pointer control in a handheld computer by way of hid commands | |
| Banerjee et al. | Centralized framework for controlling heterogeneous appliances in a smart home environment | |
| CN107943282A (zh) | 一种基于增强现实和可穿戴设备的人机交互系统及方法 | |
| CN109828660B (zh) | 一种基于增强现实的控制应用操作的方法及装置 | |
| CN113325952A (zh) | 用于展示虚拟对象的方法、装置、设备、介质和产品 | |
| US20220375092A1 (en) | Target object controlling method, apparatus, electronic device, and storage medium | |
| WO2017215671A1 (zh) | 接入设备的控制方法、装置及系统 | |
| JP2021043936A (ja) | インタラクション方法、機器、システム、電子機器及び記憶媒体 | |
| WO2024055748A1 (zh) | 一种头部姿态估计方法、装置、设备以及存储介质 | |
| KR101694011B1 (ko) | 복수 응용 소프트웨어에 대한 음성 대화 방법 및 장치 | |
| CN107591153A (zh) | 一种利用语音控制设备的方法 | |
| Vidakis et al. | Multimodal natural user interaction for multiple applications: The gesture—Voice example | |
| CN106940619A (zh) | 一种输入界面调取方法及装置、用户设备 | |
| Preventis et al. | Interact: Gesture recognition in the cloud |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191001 |