CN114327062A - 人机交互方法、装置、电子设备、存储介质和程序产品 - Google Patents
人机交互方法、装置、电子设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN114327062A CN114327062A CN202111620729.5A CN202111620729A CN114327062A CN 114327062 A CN114327062 A CN 114327062A CN 202111620729 A CN202111620729 A CN 202111620729A CN 114327062 A CN114327062 A CN 114327062A
- Authority
- CN
- China
- Prior art keywords
- interaction
- target
- posture
- state
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 369
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000002452 interceptive effect Effects 0.000 claims abstract description 105
- 230000036544 posture Effects 0.000 claims description 123
- 230000006870 function Effects 0.000 claims description 35
- 238000013507 mapping Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 description 19
- 230000006854 communication Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了人机交互方法、装置、电子设备、存储介质和程序产品；可以通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态，对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别，当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件，基于所述交互设备的交互状态，执行所述目标交互事件；在本发明实施例中，用户可以不依赖于遥控器、手机等交互工具，直接通过自身的姿态与交互设备进行交互，有利于减少用户对各类交互工具的依赖，提升用户使用智能家居设备的便捷性。
Description
技术领域
本发明涉及智能家居领域，具体涉及人机交互方法、装置、电子设备、存储介质和程序产品。
背景技术
随着当前经济和科技的快速发展，各类智能家居设备已经进入了千家万户，成为了人们生活中的一部分。各类智能家居设备也提供了也越来越丰富、完善的功能，以提升用户的使用体验。
目前，用户在控制智能家居设备时采取的主要方法是，通过类似于传统遥控器的按键式方式进行交互，例如通过智能家居设备配置的遥控器选择相应的功能进行交互，或者通过手机上的客户端选择相应的功能进行交互。但是采用这几种方案，如果通过配置的遥控器进行交互，当用户家庭东西较多时经常有找不到遥控器的困扰；同时，随着智能家居设备的功能的丰富和完善，遥控器和客户端也会随之变复杂，影响用户交互的便捷性。
发明内容
本发明实施例提供人机交互方法、装置、电子设备、存储介质和程序产品，可以减少对各类交互工具的依赖，提升用户使用智能家居设备的便捷性。
本发明实施例提供一种人机交互方法，包括：
通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态；
对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别；
当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件；
基于所述交互设备的交互状态，执行所述目标交互事件。
相应的，本发明实施例还提供一种人机交互装置，包括：
姿态确定单元，用于通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态；
姿态分类单元，用于对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别；
事件确定单元，用于当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件；
事件执行单元，用于基于所述交互设备的交互状态，执行所述目标交互事件。
可选的，所述姿态获取设备为图像拍摄设备；所述姿态确定单元，用于通过交互设备对应的图像拍摄设备，拍摄位于所述图像拍摄设备的图像拍摄区域的用户的用户图像；
对所述用户图像进行特征提取，得到所述用户图像的图像特征信息；
基于所述图像特征信息，确定所述用户的目标姿态。
可选的，所述姿态确定单元，用于根据图像特征提取模型的图像特征映射参数，将所述用户图像映射到图像特征向量空间中，基于映射结果得到目标图像特征向量，将所述目标图像特征向量作为所述用户图像的图像特征信息。
可选的，交互姿态类别包括交互状态控制姿态，所述交互状态控制姿态用于控制所述交互设备的交互状态；
对应的，所述事件确定单元，用于当所述目标姿态类别属于所述交互设备的交互状态控制姿态时，基于所述交互状态控制姿态，确定所述目标姿态对应的交互状态控制事件；
所述事件执行单元，用于当所述交互设备的交互状态与所述交互状态控制事件的目标状态相同时，保持所述交互设备的交互状态；
当所述交互设备的交互状态与所述交互状态控制事件的目标状态不同时，执行所述交互状态控制事件。
可选的，所述交互状态控制姿态包括可交互状态控制姿态，所述可交互状态控制姿态用于控制所述交互设备的交互状态为可交互状态；
对应的，所述事件确定单元，用于当所述目标姿态类别属于所述交互设备的可交互状态控制姿态时，基于所述可交互状态控制姿态，确定所述目标姿态对应的可交互状态开启事件；
所述事件执行单元，用于当所述交互设备的交互状态为可交互状态时，保持所述交互设备的可交互状态；
当所述交互设备的交互状态为不可交互状态时，执行所述可交互状态开启事件。
可选的，本发明实施例提供的人机交互装置，还包括状态超时调整单元，用于若超出预设时间阈值未获取新的姿态，将所述交互设备的交互状态调整为不可交互状态。
可选的，交互姿态类别包括交互功能姿态；所述事件确定单元，用于当所述目标姿态类别属于所述交互设备的目标交互功能姿态时，基于所述目标交互功能姿态，确定所述目标姿态对应的目标交互功能事件；
所述事件执行单元，用于当所述交互设备的交互状态为可交互状态时，执行所述目标交互功能事件。
相应的，本发明实施例还提供一种电子设备，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行本发明实施例所提供的任一种人机交互方法中的步骤。
相应的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种人机交互方法中的步骤。
此外，本发明实施例还提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现本发明实施例所提供的任一种人机交互方法中的步骤。
采用本发明实施例的方案，可以通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态，对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别，当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件，基于所述交互设备的交互状态，执行所述目标交互事件；由于在本发明实施例中，通过确定用户的姿态对应的交互设备的交互姿态类别，可以令交互设备基于用户的姿态执行对应的目标交互事件，因此用户可以不依赖于遥控器、手机等交互工具，直接通过自身的姿态与交互设备进行交互，有利于减少用户对各类交互工具的依赖，提升用户使用智能家居设备的便捷性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的人机交互方法的场景示意图；
图2是本发明实施例提供的人机交互方法的流程图；
图3是本发明实施例提供的智能电视进行人机交互的流程示意图；
图4是本发明实施例提供的人机交互装置的结构示意图；
图5是本发明实施例提供的人机交互装置的另一结构示意图；
图6是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种人机交互方法、装置、电子设备和计算机可读存储介质。具体地，本发明实施例提供适用于人机交互装置的人机交互方法，该人机交互装置可以集成在电子设备中。
该电子设备可以为终端等设备，包括但不限于移动终端和固定终端，例如移动终端包括但不限于智能手机、智能手表、平板电脑、笔记本电脑、智能车载、智能音箱等，其中，固定终端包括但不限于台式电脑、智能电视、智能冰箱、智能窗帘等。
该电子设备还可以为服务器等设备，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。
本发明实施例的人机交互方法，可以由终端实现，也可以由终端和服务器共同实现。
下面以终端实现该人机交互方法为例，对该方法进行说明。
本发明实施例提供的人机交互系统包括终端。
其中，终端可以为能够与用户进行交互的交互设备，可以用于通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态，对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别，当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件，基于所述交互设备的交互状态，执行所述目标交互事件。
下面以终端和服务器共同实现该人机交互方法为例，对该方法进行说明。
如图1所示，本发明实施例提供的人机交互系统包括终端10和服务器20等；终端10与服务器20之间通过网络连接，比如，通过有线或无线网络连接等，其中，终端10可以作为用户进行交互的交互设备存在。
其中，终端10可以用于通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态，将所述目标姿态发送给服务器20。
服务器20，可以用于对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别，当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件，将所述目标交互事件的执行指令发送给终端10。
终端10可以用于基于所述交互设备的交互状态，执行所述目标交互事件。
以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本发明实施例将从人机交互装置的角度进行描述，该人机交互装置具体可以集成在服务器或终端中。
如图2所示，本实施例的人机交互方法的具体流程可以如下：
201、通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态。
其中，交互设备为可以与用户进行交互的智能家居设备，包括但不限于如图1中所示的智能冰箱、计算机、智能电视、智能抽油烟机、智能电饭煲、智能洗衣机等等。
其中，姿态获取设备可以是照相机、摄像机、红外传感器、超声传感器、热释电传感器等等。通过姿态获取设备可以获取到用户的姿态和/或姿态变换的相关数据。
其中，姿态获取设备可以设置在交互设备中，也可以与交互设备分离设置。比如，在日常生活中，可以在用户的电视墙中心悬挂智能电视，将姿态获取设备设置在电视墙的顶部或者与电视墙相对的墙体中心，等等。
其中，姿态获取区域为姿态获取设备可以获取到用户的姿态的区域。例如，对于红外传感器，可以设置距离姿态获取设备一定距离以内的区域为姿态获取区域；对于照相机，可以设置一定角度一定距离内的区域为姿态获取区域，等等。
在一些可选的实施例中，所述姿态获取设备可以为图像拍摄设备，步骤201具体可以包括：
通过交互设备对应的图像拍摄设备，拍摄位于所述图像拍摄设备的图像拍摄区域的用户的用户图像；
对所述用户图像进行特征提取，得到所述用户图像的图像特征信息；
基于所述图像特征信息，确定所述用户的目标姿态。
例如，图像拍摄设备可以是设置在交互设备中的摄像头，或者是单独设置的照相设备或者摄像设备等。
具体的，用户的目标姿态可以是根据用户的某一个姿势，或者，可以是用户在一段时间内发生的姿势变化。
其中，步骤“对所述用户图像进行特征提取，得到所述用户图像的图像特征信息”，包括：
根据图像特征提取模型的图像特征映射参数，将所述用户图像映射到图像特征向量空间中，基于映射结果得到目标图像特征向量，将所述目标图像特征向量作为所述用户图像的图像特征信息。
例如，图像特征提取模型可以基于卷积神经网络(Convolutional NeuralNetwork,CNN)构建，图像特征映射参数具体可以包括图像特征提取模型的卷积层层数、卷积核大小、池化层的池化参数等等。
在一些示例中，图像特征提取模型可以基于SSD(Single Shot MultiBoxDetector)算法对大量图像数据集训练得到。比如，图像数据集可以是一系列包含指定的人体手部动作(包含手部肢体动作和手势)的图片，在训练时，输入为标识了识别结果类型的样本图像信息，输出为样本图像信息的识别结果。
202、对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别。
例如，对于双手X形交叉、双臂X形交叉或者双指X形交叉，可以分类为X形交叉姿态类别。对于左手五指张开后摆动和右手五指张开后摆动，可以分类为五指张开后摆动的姿态类别，等等。
具体对于目标姿态的分类方式和姿态类别，可以由用户或者技术人员根据实际使用情况自行设定。
比如，用户可以对于双手X形交叉、双臂X形交叉或者双指X形交叉设置不同的姿态类别。
其中，目标姿态类别为对目标姿态进行分类后得到的类别。某一种姿态类别下可以对应设置有一种或者多种姿态。本发明实施例对此不做限定。
203、当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件。
其中，交互姿态类别可以是交互设备对应的一种或者多种类别。例如，交互姿态类别可以分为X形交叉、T形连接、单手左右摆动、双手同时摆动、双手不同时摆动、单手滑动等等。本发明实施例对于交互姿态类别不做限定。
具体的，目标交互姿态类别可以是交互姿态类别中与目标姿态类别对应的类别。例如，目标交互姿态类别可以与目标姿态类别相同，或者，目标交互姿态类别可以与目标姿态类别之间相似度最高的类别，等等。
在实际应用过程中，通过用户姿态等生物特征的识别结果实现用户与智能家居设备的交互，如果智能家居设备始终处于交互状态，可能会存在误识别的情况。比如用户有一部分动作是希望操控智能家居设备例如电视，而有些动作则不是，因此，可以设置有对于智能家居设备是否可以交互进行控制的类别，避免误识。
也就是说，交互姿态类别可以包括交互状态控制姿态，所述交互状态控制姿态用于控制所述交互设备的交互状态；
相应的，步骤203具体可以包括：
当所述目标姿态类别属于所述交互设备的交互状态控制姿态时，基于所述交互状态控制姿态，确定所述目标姿态对应的交互状态控制事件；
相应的，步骤“基于所述交互设备的交互状态，执行所述目标交互事件”，具体可以包括：
当所述交互设备的交互状态与所述交互状态控制事件的目标状态相同时，保持所述交互设备的交互状态；
当所述交互设备的交互状态与所述交互状态控制事件的目标状态不同时，执行所述交互状态控制事件。
比如，用户可以通过不同的交互状态控制姿态将交互设备的交互状态调整为可交互或者不可交互或者一段预设时间阈值内可交互或者不可交互，等等。
在一些示例中，所述交互状态控制姿态可以包括可交互状态控制姿态，所述可交互状态控制姿态用于控制所述交互设备的交互状态为可交互状态；
对应的，步骤“当所述目标姿态类别属于所述交互设备的交互状态控制姿态时，基于所述交互状态控制姿态，确定所述目标姿态对应的交互状态控制事件”，可以包括：
当所述目标姿态类别属于所述交互设备的可交互状态控制姿态时，基于所述可交互状态控制姿态，确定所述目标姿态对应的可交互状态开启事件；
对应的，步骤“当所述交互设备的交互状态与所述交互状态控制事件的目标状态相同时，保持所述交互设备的交互状态”，具体可以包括：
当所述交互设备的交互状态为可交互状态时，保持所述交互设备的可交互状态；
步骤“当所述交互设备的交互状态与所述交互状态控制事件的目标状态不同时，执行所述交互状态控制事件”，可以包括：
当所述交互设备的交互状态为不可交互状态时，执行所述可交互状态开启事件。
在另一示例中，所述交互状态控制姿态可以包括不可交互状态控制姿态，所述不可交互状态控制姿态用于控制所述交互设备的交互状态为不可交互状态；
对应的，步骤“当所述目标姿态类别属于所述交互设备的交互状态控制姿态时，基于所述交互状态控制姿态，确定所述目标姿态对应的交互状态控制事件”，可以包括：
当所述目标姿态类别属于所述交互设备的不可交互状态控制姿态时，基于所述不可交互状态控制姿态，确定所述目标姿态对应的可交互状态关闭事件；
对应的，步骤“当所述交互设备的交互状态与所述交互状态控制事件的目标状态相同时，保持所述交互设备的交互状态”，具体可以包括：
当所述交互设备的交互状态为不可交互状态时，保持所述交互设备的不可交互状态；
步骤“当所述交互设备的交互状态与所述交互状态控制事件的目标状态不同时，执行所述交互状态控制事件”，可以包括：
当所述交互设备的交互状态为可交互状态时，执行所述可交互状态关闭事件。
如图3所示，以交互设备(智能家居设备)为智能电视为例，智能电视通过摄像头捕获图像后，通过预置的CNN模型识别图像；判断当前图像中的动作是否为锁定/解锁动作(交互状态控制姿态)，若为锁定/解锁动作，判断当前是否为锁定状态(不可交互状态)；若当前处于锁定状态且图像中的动作为解锁动作，解除当前的锁定状态，以便下一帧图像可以进行识别响应用户动作，针对下一帧图像执行通过预置的CNN模型识别图像的步骤；获取识别结果，判断识别结果，识别成功，则映射成智能电视按键键值，智能电视触发按键事件；智能电视响应按键事件，完成交互。
若当前处于锁定状态和/或图像中的动作为锁定动作，设置当前为锁定状态，下一帧图像起，除锁定/解锁动作外，不再响应输入图像中的动作，直到用户解除锁定为止；若当前图像中的动作不是锁定/解锁动作，判断当前是否为锁定状态，当前为锁定状态，不响应输入图像中的动作，直到用户解除锁定为止；若当前不是锁定状态(可交互状态)，获取识别结果，判断识别结果，识别成功，则映射成智能电视按键键值，智能电视触发按键事件；智能电视响应按键事件，完成交互。
204、基于所述交互设备的交互状态，执行所述目标交互事件。
在实际应用过程中，可以加入超时检测，超过一小段时间(例如2分钟)未识别到有效动作则自动进入锁定状态。也就是说，步骤“确定所述目标姿态对应的可交互状态开启事件”之后，本发明实施例提供的人机交互方法还可以包括：
若超出预设时间阈值未获取新的姿态，将所述交互设备的交互状态调整为不可交互状态。
可以理解的是，交互姿态类别可以包括交互功能姿态，步骤“当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件”，具体可以包括：
当所述目标姿态类别属于所述交互设备的目标交互功能姿态时，基于所述目标交互功能姿态，确定所述目标姿态对应的目标交互功能事件；
相应的，步骤“基于所述交互设备的交互状态，执行所述目标交互事件”，可以包括：
当所述交互设备的交互状态为可交互状态时，执行所述目标交互功能事件。
例如，交互姿态类别与交互事件之间的关系可以如下表所示进行设置：
| 动作 | 按键键值 | 描述 |
| 双臂X形交叉 | KEYCODE_BACK | 返回键，用于返回上一级，关闭当前活动 |
| 双臂L形相接 | KEYCODE_HOME | 桌面键，返回桌面 |
| 双臂^形相接 | KEYCODE_MENU | 菜单键，进入菜单 |
| 双掌从分离向内划至相互重合 | KEYCODE_ZOOM_IN | 缩小键 |
| 双掌从相互重合向外划至分离 | KEYCODE_ZOOM_OUT | 放大键 |
| 单掌张开向上划 | KEYCODE_DPAD_UP | 向上键 |
| 单掌张开向下划 | KEYCODE_DPAD_DOWN | 向下键 |
| 单掌张开向左划 | KEYCODE_DPAD_left | 向左键 |
| 单掌张开向右划 | KEYCODE_DPAD_right | 向右键 |
| 双臂T形相接 | KEYCODE_MEDIA_PAUSE | 暂停键 |
| 单掌张开静止，手指朝右 | KEYCODE_MEDIA_PLAY | 播放键 |
由上可知，本发明实施例可以通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态，对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别，当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件，基于所述交互设备的交互状态，执行所述目标交互事件；由于在本发明实施例中，通过确定用户的姿态对应的交互设备的交互姿态类别，可以令交互设备基于用户的姿态执行对应的目标交互事件，因此用户可以不依赖于遥控器、手机等交互工具，直接通过自身的姿态与交互设备进行交互，有利于减少用户对各类交互工具的依赖，提升用户使用智能家居设备的便捷性。
为了更好地实施以上方法，相应的，本发明实施例还提供一种人机交互装置。
参考图4，该装置包括：
姿态确定单元401，可以用于通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态；
姿态分类单元402，可以用于对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别；
事件确定单元403，可以用于当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件；
事件执行单元404，可以用于基于所述交互设备的交互状态，执行所述目标交互事件。
在一些可选的实施例中，所述姿态获取设备为图像拍摄设备；所述姿态确定单元401，可以用于通过交互设备对应的图像拍摄设备，拍摄位于所述图像拍摄设备的图像拍摄区域的用户的用户图像；
对所述用户图像进行特征提取，得到所述用户图像的图像特征信息；
基于所述图像特征信息，确定所述用户的目标姿态。
在一些可选的实施例中，所述姿态确定单元401，可以用于根据图像特征提取模型的图像特征映射参数，将所述用户图像映射到图像特征向量空间中，基于映射结果得到目标图像特征向量，将所述目标图像特征向量作为所述用户图像的图像特征信息。
在一些可选的实施例中，交互姿态类别可以包括交互状态控制姿态，所述交互状态控制姿态可以用于控制所述交互设备的交互状态；
对应的，所述事件确定单元403，可以用于当所述目标姿态类别属于所述交互设备的交互状态控制姿态时，基于所述交互状态控制姿态，确定所述目标姿态对应的交互状态控制事件；
所述事件执行单元404，可以用于当所述交互设备的交互状态与所述交互状态控制事件的目标状态相同时，保持所述交互设备的交互状态；
当所述交互设备的交互状态与所述交互状态控制事件的目标状态不同时，执行所述交互状态控制事件。
在一些可选的实施例中，所述交互状态控制姿态可以包括可交互状态控制姿态，所述可交互状态控制姿态可以用于控制所述交互设备的交互状态为可交互状态；
对应的，所述事件确定单元403，可以用于当所述目标姿态类别属于所述交互设备的可交互状态控制姿态时，基于所述可交互状态控制姿态，确定所述目标姿态对应的可交互状态开启事件；
所述事件执行单元404，可以用于当所述交互设备的交互状态为可交互状态时，保持所述交互设备的可交互状态；
当所述交互设备的交互状态为不可交互状态时，执行所述可交互状态开启事件。
在一些可选的实施例中，如图5所示，本发明实施例提供的人机交互装置还可以包括状态超时调整单元405，可以用于若超出预设时间阈值未获取新的姿态，将所述交互设备的交互状态调整为不可交互状态。
在一些可选的实施例中，交互姿态类别可以包括交互功能姿态；所述事件确定单元403，可以用于当所述目标姿态类别属于所述交互设备的目标交互功能姿态时，基于所述目标交互功能姿态，确定所述目标姿态对应的目标交互功能事件；
所述事件执行单元404，可以用于当所述交互设备的交互状态为可交互状态时，执行所述目标交互功能事件。
由上可知，通过人机交互装置，用户可以不依赖于遥控器、手机等交互工具，直接通过自身的姿态与交互设备进行交互，有利于减少用户对各类交互工具的依赖，提升用户使用智能家居设备的便捷性。
此外，本发明实施例还提供一种电子设备，该电子设备可以为终端或者服务器等等，如图6所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括射频(RF，Radio Frequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(WiFi，Wireless Fidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解，图6中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路601可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器608处理；另外，将涉及上行的数据发送给基站。通常，RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路601还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。
存储器602可用于存储软件程序以及模块，处理器608通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元603可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器608，并能接收处理器608发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元603还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器608以确定触摸事件的类型，随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图6中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
电子设备还可包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在电子设备移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路606、扬声器，传声器可提供用户与电子设备之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路606接收后转换为音频数据，再将音频数据输出处理器608处理后，经RF电路601以发送给比如另一电子设备，或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。
WiFi属于短距离无线传输技术，电子设备通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块607，但是可以理解的是，其并不属于电子设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是电子设备的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行电子设备的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器608可包括一个或多个处理核心；优选的，处理器608可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器608中。
电子设备还包括给各个部件供电的电源609(比如电池)，优选的，电源可以通过电源管理系统与处理器608逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备中的处理器608会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器608来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态；
对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别；
当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件；
基于所述交互设备的交互状态，执行所述目标交互事件。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种人机交互方法中的步骤。例如，该指令可以执行如下步骤：
通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态；
对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别；
当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件；
基于所述交互设备的交互状态，执行所述目标交互事件。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种人机交互方法中的步骤，因此，可以实现本发明实施例所提供的任一种人机交互方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述实施例中的各种可选实现方式中提供的方法。
以上对本发明实施例所提供的人机交互方法、装置、电子设备、存储介质和程序产品进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种人机交互方法，其特征在于，包括：
通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态；
对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别；
当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件；
基于所述交互设备的交互状态，执行所述目标交互事件。
2.根据权利要求1所述的人机交互方法，其特征在于，所述姿态获取设备为图像拍摄设备；
所述通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态，包括：
通过交互设备对应的图像拍摄设备，拍摄位于所述图像拍摄设备的图像拍摄区域的用户的用户图像；
对所述用户图像进行特征提取，得到所述用户图像的图像特征信息；
基于所述图像特征信息，确定所述用户的目标姿态。
3.根据权利要求2所述的人机交互方法，其特征在于，所述对所述用户图像进行特征提取，得到所述用户图像的图像特征信息，包括：
根据图像特征提取模型的图像特征映射参数，将所述用户图像映射到图像特征向量空间中，基于映射结果得到目标图像特征向量，将所述目标图像特征向量作为所述用户图像的图像特征信息。
4.根据权利要求1所述的人机交互方法，其特征在于，交互姿态类别包括交互状态控制姿态，所述交互状态控制姿态用于控制所述交互设备的交互状态；
所述当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件，包括：
当所述目标姿态类别属于所述交互设备的交互状态控制姿态时，基于所述交互状态控制姿态，确定所述目标姿态对应的交互状态控制事件；
所述基于所述交互设备的交互状态，执行所述目标交互事件，包括：
当所述交互设备的交互状态与所述交互状态控制事件的目标状态相同时，保持所述交互设备的交互状态；
当所述交互设备的交互状态与所述交互状态控制事件的目标状态不同时，执行所述交互状态控制事件。
5.根据权利要求4所述的人机交互方法，其特征在于，所述交互状态控制姿态包括可交互状态控制姿态，所述可交互状态控制姿态用于控制所述交互设备的交互状态为可交互状态；
所述当所述目标姿态类别属于所述交互设备的交互状态控制姿态时，基于所述交互状态控制姿态，确定所述目标姿态对应的交互状态控制事件，包括：
当所述目标姿态类别属于所述交互设备的可交互状态控制姿态时，基于所述可交互状态控制姿态，确定所述目标姿态对应的可交互状态开启事件；
所述当所述交互设备的交互状态与所述交互状态控制事件的目标状态相同时，保持所述交互设备的交互状态，包括：
当所述交互设备的交互状态为可交互状态时，保持所述交互设备的可交互状态；
所述当所述交互设备的交互状态与所述交互状态控制事件的目标状态不同时，执行所述交互状态控制事件，包括：
当所述交互设备的交互状态为不可交互状态时，执行所述可交互状态开启事件。
6.根据权利要求5所述的人机交互方法，其特征在于，所述确定所述目标姿态对应的可交互状态开启事件之后，所述方法还包括：
若超出预设时间阈值未获取新的姿态，将所述交互设备的交互状态调整为不可交互状态。
7.根据权利要求1所述的人机交互方法，其特征在于，交互姿态类别包括交互功能姿态；
所述当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件，包括：
当所述目标姿态类别属于所述交互设备的目标交互功能姿态时，基于所述目标交互功能姿态，确定所述目标姿态对应的目标交互功能事件；
所述基于所述交互设备的交互状态，执行所述目标交互事件，包括：
当所述交互设备的交互状态为可交互状态时，执行所述目标交互功能事件。
8.一种人机交互装置，其特征在于，包括：
姿态确定单元，用于通过交互设备对应的姿态获取设备，确定位于所述姿态获取设备的姿态获取区域的用户的目标姿态；
姿态分类单元，用于对所述目标姿态进行分类，得到所述目标姿态的目标姿态类别；
事件确定单元，用于当所述目标姿态类别属于所述交互设备的目标交互姿态类别时，基于所述目标交互姿态类别，确定所述目标姿态对应的目标交互事件；
事件执行单元，用于基于所述交互设备的交互状态，执行所述目标交互事件。
9.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至7任一项所述的人机交互方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的人机交互方法中的步骤。
11.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现如权利要求1至7中任一项所述的人机交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111620729.5A CN114327062A (zh) | 2021-12-28 | 2021-12-28 | 人机交互方法、装置、电子设备、存储介质和程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111620729.5A CN114327062A (zh) | 2021-12-28 | 2021-12-28 | 人机交互方法、装置、电子设备、存储介质和程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114327062A true CN114327062A (zh) | 2022-04-12 |
Family
ID=81015774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111620729.5A Pending CN114327062A (zh) | 2021-12-28 | 2021-12-28 | 人机交互方法、装置、电子设备、存储介质和程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114327062A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674712A (zh) * | 2019-09-11 | 2020-01-10 | 苏宁云计算有限公司 | 交互行为识别方法、装置、计算机设备和存储介质 |
| CN112115790A (zh) * | 2020-08-18 | 2020-12-22 | 北京嘀嘀无限科技发展有限公司 | 人脸识别方法、装置、可读存储介质和电子设备 |
| CN112306220A (zh) * | 2019-07-31 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 基于肢体识别的控制方法、装置、电子设备及存储介质 |
| CN112295221A (zh) * | 2020-11-12 | 2021-02-02 | 腾讯科技（深圳）有限公司 | 人机交互的处理方法、装置及电子设备 |
| CN112633196A (zh) * | 2020-12-28 | 2021-04-09 | 浙江大华技术股份有限公司 | 人体姿态检测方法、装置和计算机设备 |
| CN112860169A (zh) * | 2021-02-18 | 2021-05-28 | Oppo广东移动通信有限公司 | 交互方法及装置、计算机可读介质和电子设备 |
| CN112908325A (zh) * | 2021-01-29 | 2021-06-04 | 中国平安人寿保险股份有限公司 | 语音交互方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-28 CN CN202111620729.5A patent/CN114327062A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112306220A (zh) * | 2019-07-31 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 基于肢体识别的控制方法、装置、电子设备及存储介质 |
| CN110674712A (zh) * | 2019-09-11 | 2020-01-10 | 苏宁云计算有限公司 | 交互行为识别方法、装置、计算机设备和存储介质 |
| CN112115790A (zh) * | 2020-08-18 | 2020-12-22 | 北京嘀嘀无限科技发展有限公司 | 人脸识别方法、装置、可读存储介质和电子设备 |
| CN112295221A (zh) * | 2020-11-12 | 2021-02-02 | 腾讯科技（深圳）有限公司 | 人机交互的处理方法、装置及电子设备 |
| CN112633196A (zh) * | 2020-12-28 | 2021-04-09 | 浙江大华技术股份有限公司 | 人体姿态检测方法、装置和计算机设备 |
| CN112908325A (zh) * | 2021-01-29 | 2021-06-04 | 中国平安人寿保险股份有限公司 | 语音交互方法、装置、电子设备及存储介质 |
| CN112860169A (zh) * | 2021-02-18 | 2021-05-28 | Oppo广东移动通信有限公司 | 交互方法及装置、计算机可读介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108459797B (zh) | 一种折叠屏的控制方法及移动终端 | |
| WO2018103525A1 (zh) | 人脸关键点跟踪方法和装置、存储介质 | |
| CN108255304B (zh) | 基于增强现实的视频数据处理方法、装置和存储介质 | |
| CN108089891B (zh) | 一种应用程序启动方法、移动终端 | |
| CN108845853A (zh) | 一种应用程序启动方法及移动终端 | |
| CN107870674B (zh) | 一种程序启动方法和移动终端 | |
| CN108427873B (zh) | 一种生物特征识别方法及移动终端 | |
| CN112689201B (zh) | 弹幕信息识别方法、显示方法、服务器及电子设备 | |
| CN108958606B (zh) | 分屏显示方法、装置、存储介质和电子设备 | |
| CN107885448B (zh) | 应用触摸操作的控制方法、移动终端及可读存储介质 | |
| CN108366220A (zh) | 一种视频通话处理方法及移动终端 | |
| CN109521684A (zh) | 一种家居设备控制方法及终端设备 | |
| CN110457086A (zh) | 一种应用程序的控制方法、移动终端及服务器 | |
| CN110795002A (zh) | 一种截图方法及终端设备 | |
| CN107728877B (zh) | 一种应用推荐方法及移动终端 | |
| CN109710130A (zh) | 一种显示方法和终端 | |
| CN108600544A (zh) | 一种单手控制方法及终端 | |
| CN111190515A (zh) | 快捷面板操作方法、设备及可读存储介质 | |
| CN111142396A (zh) | 信息显示方法和电子设备 | |
| CN108089935B (zh) | 一种应用程序的管理方法及移动终端 | |
| CN109189514B (zh) | 一种终端设备的控制方法及终端设备 | |
| CN107895108B (zh) | 一种操作管理方法和移动终端 | |
| CN110312035A (zh) | 一种终端的控制方法、移动终端及计算机可读存储介质 | |
| CN111313114B (zh) | 一种充电方法及电子设备 | |
| CN108897467B (zh) | 一种显示控制方法及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |