CN114253452A - 机器人、人机交互方法、装置和存储介质 - Google Patents

机器人、人机交互方法、装置和存储介质 Download PDF

Info

Publication number
CN114253452A
CN114253452A CN202111357113.3A CN202111357113A CN114253452A CN 114253452 A CN114253452 A CN 114253452A CN 202111357113 A CN202111357113 A CN 202111357113A CN 114253452 A CN114253452 A CN 114253452A
Authority
CN
China
Prior art keywords
target
image
main body
preset
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111357113.3A
Other languages
English (en)
Inventor
王宽
杨璐雅
陈鹏
张涛
郭璁
吴翔
张陈路
朱俊安
曾飞
赖仁盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pudu Technology Co Ltd
Original Assignee
Shenzhen Pudu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pudu Technology Co Ltd filed Critical Shenzhen Pudu Technology Co Ltd
Priority to CN202111357113.3A priority Critical patent/CN114253452A/zh
Publication of CN114253452A publication Critical patent/CN114253452A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请涉及一种机器人、人机交互方法、装置和存储介质。机器人通过获取图像采集装置采集的待检测区域的检测图像；根据检测图像，获取目标主体的目标部位的状态；若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像；响应于目标主体在预设投影区域基于交互提示图像进行的用户操作，执行相应的目标操作。能够实现当处于环境声音嘈杂且操作人员因自身手部因条件限制无法进行语音、触摸方式的人机交互时，用户可以通过在预设投影区域的投影，基于交互界面，进行选择想要执行的操作，以完成人机交互。

Description

机器人、人机交互方法、装置和存储介质
技术领域
本申请涉及机器人技术领域，特别是涉及一种机器人、人机交互方法、装置和存储介质。
背景技术
随着人工智能技术的发展，带动了机器人技术的飞速提升，具备人工智能的机器人层出不穷。因此，人机交互成为了机器人在实际应用中非常关键的一部分。现有机器人的人机交互方式主要是通过用户触摸机器人屏幕进行交互、或者用户通过语音与机器人进行交互。
虽然，这两种交互方式能够满足大部分场景下人机交互的需求，然而在部分特殊应用领域，例如送餐、工厂等机器人应用场景，由于环境声音嘈杂且操作人员因手部受限的情况下，这两种交互方式难以有效应用。
发明内容
基于此，有必要针对上述技术问题，提供一种能够在环境声音嘈杂且操作人员因手部受限时完成人机交互的机器人、人机交互方法、装置和存储介质。
第一方面，本申请提供一种机器人，机器人包括图像采集装置、投影装置、存储器和处理器，存储器存储有可执行程序代码，处理器执行可执行程序代码时实现以下步骤：
获取机器人的图像采集装置采集的待检测区域的检测图像；
根据检测图像，获取目标主体的目标部位的状态；
若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像；
响应于目标主体在预设投影区域基于交互提示图像进行的用户操作，执行相应的目标操作。
在其中一个实施例中，处理器用于执行可执行程序代码时还实现如下步骤：
根据检测图像，获取目标主体的目标部位的状态，包括：
根据检测图像，确定检测图像中是否存在目标主体；
在存在目标主体时，判断目标主体是否位于机器人的预设距离范围内；
若目标主体位于机器人的与预设距离范围内，则获取目标主体的目标部位的状态。
在其中一个实施例中，所述图像采集装置为RGB摄像头或深度摄像头，处理器用于执行可执行程序代码时还实现如下步骤：
判断目标主体是否位于机器人的预设距离范围内，包括：
获取检测图像中目标主体所在区域的面积；
判断目标主体所在区域的面积是否大于预设面积阈值；
若是，则确定目标主体位于机器人的预设距离范围内；
或者，判断目标主体是否位于机器人的预设距离范围内，包括：
根据检测图像，确定目标主体的第一深度信息；
根据第一深度信息，判断目标主体是否位于机器人的预设距离范围内。
在其中一个实施例中，处理器用于执行可执行程序代码时还实现如下步骤：
获取目标主体的目标部位的状态，包括：
检测检测图像中目标部位的多个目标特征点；
根据多个目标特征点之间的位置变化量，确定目标部位的状态。
在其中一个实施例中，目标部位包括手部，目标部位的目标特征点包括：手腕特征点、手肘特征点、手臂特征点；处理器用于执行可执行程序代码时还实现如下步骤：
根据多个目标特征点之间的位置变化量，确定目标部位的状态，包括：
判断手腕特征点、手肘特征点、手臂特征点之间的相对位置变化量是否位于预设变化量范围内；
若相对位置变化量位于预设变化量范围内，则确定手部的状态为非空闲状态；
若相对位置变化量位于预设变化量范围之外，则检测手部是否持有物品；
若手部持有物品，则确定手部的状态为非空闲状态；
若手部未持有物品，则确定手部的状态为空闲状态。
在其中一个实施例中，处理器用于执行可执行程序代码时还实现如下步骤：
在根据检测图像，获取目标主体的目标部位的状态之前，获取预设空间的环境分贝值；
若环境分贝值小于等于预设分贝阈值，触发语音交互模式；
若环境分贝值大于预设分贝阈值，则根据检测图像，获取目标主体的目标部位的状态。
在其中一个实施例中，处理器用于执行可执行程序代码时还实现如下步骤：
若目标部位的状态为空闲，则触发触屏交互模式。
在其中一种实施例中，交互提示图像包括交互界面显示图像；处理器用于执行可执行程序代码时还实现如下步骤：
获取目标主体在预设的投影区域基于交互提示图像进行的用户操作，根据用户操作执行相应的目标操作，包括：
控制图像采集装置采集目标主体基于交互界面显示图像选择目标功能的深度图像；
根据深度图像，确定目标主体的用户操作；
根据用户操作执行相应的目标操作。
在其中一个实施例中，交互提示图像包括交互区域提示图像；处理器用于执行可执行程序代码时还实现如下步骤：
获取目标主体在预设的投影区域基于交互提示图像进行的用户操作，根据用户操作执行相应的目标操作，包括：
控制图像采集装置采集预设时间段内目标主体在交互区域提示图像处执行的预设动作指令的多张动作图像；
根据多张动作图像，确定目标主体的用户操作；
根据用户操作执行相应的目标操作。
第二方面，本申请提供一种人机交互方法，该方法包括上述第一方面任一项实施例中机器人实现的步骤。
第三方面，本申请提供一种人机交互装置，该装置包括：
第一获取模块，用于获取图像采集装置采集的待检测区域的检测图像；
第二获取模块，用于根据检测图像，获取目标主体的目标部位的状态；
投影模块，用于若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射的交互界面；
执行模块，用于获取目标主体在交互界面进行的用户操作，根据用户操作执行相应的目标操作。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面任一项实施例中方法的步骤。
上述机器人、人机交互方法、装置和存储介质，机器人通过获取图像采集装置采集的待检测区域的检测图像；根据检测图像，获取目标主体的目标部位的状态；若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像；响应于目标主体在预设投影区域基于交互提示图像进行的用户操作，执行相应的目标操作。能够实现当处于环境声音嘈杂且操作人员因自身手部因条件限制无法进行语音、触摸方式的人机交互时，用户可以通过在预设投影区域的投影，基于交互界面，进行选择想要执行的操作，以完成人机交互。
附图说明
图1为一个实施例中机器人的内部结构框图；
图2为一个实施例中机器人实现人机交互方法的流程示意图；
图2a为一个实施例中投影交互界面的示意图；
图2b为一个实施例中投影装置位置示意图；
图3为另一个实施例中机器人实现人机交互方法的流程示意图；
图4为另一个实施例中机器人实现人机交互方法的流程示意图；
图5为另一个实施例中机器人实现人机交互方法的流程示意图；
图6为另一个实施例中机器人实现人机交互方法的流程示意图；
图7为另一个实施例中机器人实现人机交互方法的流程示意图；
图8为一个实施例中人机交互装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中机器人的内部结构框图，在一个实施例中，提供了一种机器人，机器人包括图像采集装置101、投影装置102、存储器103和处理器104，存储器存储有可执行程序代码，如图2所示，处理器用于在执行可执行程序代码时实现以下步骤：
S202，获取图像采集装置采集的待检测区域的检测图像。
其中，该机器人可以包括图像采集装置、投影装置、存储器和处理器该机器人可以应用于送餐、工厂等应用场景。该机器人可以包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置、图像采集装置和投影装置。其中，该机器人的处理器用于提供计算和控制能力。该机器人的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和可执行程序代码。该内存储器为非易失性存储介质中的操作系统和可执行程序代码的运行提供环境。该机器人的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该可执行程序代码被处理器执行时以实现一种人机交互方法。该机器人的显示屏可以是液晶显示屏或者电子墨水显示屏，该机器人的输入装置可以是显示屏上覆盖的触摸层，也可以是机器人外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。其中，图像采集装置可以包括RGB摄像头、深度摄像头、红外摄像头等等，在此不加以限制。
具体地，机器人开机工作时，可以通过图像采集装置实时拍摄预设距离范围内的待检测区域的检测图像。
S204，根据检测图像，获取目标主体的目标部位的状态。
具体地，机器人的处理器获取到该检测图像后，可以对该检测图像进行检测分析，确定该检测图像中是否存在目标主体，在存在目标主体的情况下，获取该目标主体的目标部位的状态。其中，目标主体可以包括人体，即用户。其中，目标部位可以包括手部。目标部位的状态可以包括空闲和非空闲。示例地，若目标主体为人体，首先可以检测该检测图像中是否存在目标人体，在存在目标人体的情况下，若目标部位为手部，则可以检测人体手部的状态是否空闲，例如，手部是否持有物体。
可选地，在根据检测图像，获取目标主体的目标部位的状态之前，获取预设空间的环境分贝值；
若环境分贝值小于等于预设分贝阈值，触发语音交互模式；
若环境分贝值大于预设分贝阈值，则根据检测图像，获取目标主体的目标部位的状态。
S206，若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像。
其中，非空闲状态即目标部位无法执行交互操作的状态。预设投影区域可以包括：地面、墙面等，在此不加以限制。
具体地，若目标部位的状态为非空闲状态，则可以控制投影装置向预设投影区域投射交互提示图像。其中，交互提示图像可以包括交互界面显示图像或者交互区域提示图像。例如，若目标部位为手部，手部存在物体，无法触摸机器人屏幕以实现人机交互的状态时，此时，可以触发投影指令，控制投影装置向地面投射交互提示图像，如图2a所示。例如，若机器人为点餐机器人，则交互界面则可以为相应的菜单。其中，投影装置可以设置于如图2b中机器人的顶部、底部或者中部，在此不加以限制。
S208，响应于目标主体在预设投影区域基于交互提示图像进行的用户操作，执行相应的目标操作。
具体地，当机器人向预设投影区域投影交互界面后，用户则可以通过目标部位以外的部位在预设投影区域进行选择，例如，脚部。可以通过图像采集装置直接拍摄目标主体在交互界面选择的图像，并对该图像进行分析，即，目标主体在预设投影区域内，基于交互提示图像用脚选择需要选中的功能，触发的用户操作，此时，机器人可以响应于目标主体触发的用户操作，确定选中的功能并执行该功能。例如，机器人为点餐机器人，用户可以基于在预设投影区域投射的交互界面显示图案，以使用户基于该交互界面显示图案通过脚部确定选取的具体菜品，该选餐交互界面显示图案中包括各种不同的菜品。与此同时，图像采集装置拍摄投射的交互界面显示图案处的图像，根据该图像确定，用户选取的具体菜品是什么，生成该用户对应的点餐操作。若投射的是的交互区域提示图像，则用户可以位于该交互区域提示图像处，执行预设的相关规则动作，通过图像采集装置采集用于执行动作图像，触发用户操作。
上述机器人通过获取图像采集装置采集的待检测区域的检测图像；根据检测图像，获取目标主体的目标部位的状态；若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像；响应于目标主体在预设投影区域基于交互提示图像进行的用户操作，执行相应的目标操作。能够实现当处于环境声音嘈杂且操作人员因自身手部因条件限制无法进行语音、触摸方式的人机交互时，用户可以通过在预设投影区域的投影，基于交互界面，进行选择想要执行的操作，以完成人机交互。
上述实施例对机器人如何在目标部位非空闲时进行人机交互的方式进行了说明，现以一个实施例对在在一个实施例中，如图3所示，根据检测图像，获取目标主体的目标部位的状态，包括：
S302，根据检测图像，确定检测图像中是否存在目标主体。
具体地，首先可以根据图像采集装置采集的检测图像样本集作为输入，将目标主体的识别结果作为输出训练初始深度神经网络模型，当到达预设的迭代次数后，目标主体识别模型训练完成。当机器人正常运行时，获取到检测图像时，可以通过将监测图像输入至目标主体识别模型中，即可对检测图像进行特征识别，输出识别目标主体的结果。其中，神经网络模型可以包括：卷积神经网络、BP神经网络等等。
S304，在存在目标主体时，判断目标主体是否位于机器人的预设距离范围内。
具体地，当存在目标主体时，可能出现在一个检测图像中存在多个目标主体的情况，此时需要在目标主体中具体哪个目标主体为进行交互的用户，则可以通过判断目标主体是否位于机器人的预设距离范围内。可以通过判断各个目标主体在检测图像中所在区域的面积，根据所在区域的面积大小是否大于预设的面积阈值，确定目标主体是否位于机器人的预设距离范围内。也可以通过在预设时间段内的多张检测图像中，目标主体所在区域的面积是否逐渐增大，若逐渐增大，也可以表示目标主体靠近机器人。还可以通过确定检测图像中目标主体的深度信息，直接确定目标主体是否位于机器人的预设距离范围内，在此不加以限制。
进一步地，在一个实施例中，若图像采集装置为RGB摄像头，判断目标主体是否位于机器人的预设距离范围内，包括：
获取检测图像中目标主体所在区域的面积；
判断目标主体所在区域的面积是否大于预设面积阈值；
若是，则确定目标主体位于机器人的预设距离范围内。
具体地，可以对检测图像进行扫描分析，根据目标主体的在检测图像中对应像素点的坐标信息，则可以确定该检测图像中目标主体所在区域的面积大小。
将目标主体所在区域的面积与预设面积阈值，进行比较，确定目标主体所在区域的面积是否大于预设面积阈值。若是，则确定目标主体位于机器人的预设距离范围内。例如，将目标主体所在区域的面积与预设阈值进行作差，利用差值是否大于0。也可以将目标主体所在区域的面积与预设阈值进行做商，判断商值是否大于1。也可以直接将目标主体所在区域的面积与预设阈值进行比较大小。
进一步地，在一个实施例中，若图像采集装置为深度摄像头；判断目标主体是否位于机器人的预设距离范围内，包括：
根据检测图像，确定目标主体的第一深度信息；
根据第一深度信息，判断目标主体是否位于机器人的预设距离范围内。
其中，第一深感信息可以表征机器人到检测图像中各物体的距离信息。
具体地，深感摄像头在采集检测图像时，会生成检测图像的深感信息，即直接可以确定目标主体的第一深感信息。当机器人获取到第一深感信息后，即获取到了机器人到目标主体的距离信息，则可以判断该距离是否满足目标主体靠近机器人的距离阈值，则可以根据该第一深感信息判断目标主体是否靠近机器人。
S306，若目标主体位于机器人的与预设距离范围内，则获取目标主体的目标部位的状态。
具体地，目标主体位于机器人的与预设距离范围内，则获取目标主体的目标部位的状态。例如，手部的状态。
进一步地，如图4所示，获取主体的目标部位的状态，包括：
S402，检测检测图像中目标部位的多个目标特征点。
其中，目标特征点可以包括能够体现目标部位状态的特征点。
示例地，若目标部位为手部，则可以通过检测手肘、手腕、手臂、手指等特征点。
S404，根据多个目标特征点之间的位置变化量，确定目标部位的状态。
具体地，由于人体在运动的过程中，目标部位的目标特征点之间的相对位置会发生较大的变化，例如，在人体运动时，双臂呈现摆动动作，因此，大臂、小臂、手掌之间的位置会发生加大的变化。但是，在特殊情况下，手部持有较小的物体时，仍然可能存在摆动的状态，因此，此时则需要进一步确定手部持有物品的情况。但是若在非空闲的状态下，目标特征点之间的位置相对处于稳定不变，则可以根据目标特征点之间的位置变化量，确定目标位置的状态。例如，送餐人员在端盘子的状况下。
可选地，还可以根据多个目标特征点两两之间的连线，确定目标特征点之间的角度变化量，确定目标部位的状态。例如，若目标部位为手部，目标特征点为手腕、手肘、手臂，则可以根据手腕、手肘、手臂两两连线之间的角度变化量是否大于预设阈值，若大于则空闲，反之，则非空闲。由于当手部执行端盘子等操作时，手腕、手肘、手臂之间基本保持不变，而当正常走动时，会出现一定的摆动变化。
进一步地，如图5所示，目标部位包括手部，目标部位的目标特征点包括：手腕特征点、手肘特征点、手臂特征点；获取多个目标特征点之间的相对位置变化量，确定目标部位的状态，包括：
S502，判断手腕特征点、手肘特征点、手臂特征点之间的相对位置变化量是否位于预设变化量范围内。
具体地，由于人体在运动过程中，左右两个手部的手肘、手腕、手臂呈现规律性的变化，相对位置的变化量相对较大，即空闲的状态，而当处于餐厅的服务员，可能存在手部端盘子的状态，则手肘、手腕、手臂则应该在预设的晃动范围内，相对位置变化量处于预设范围内，即非空闲的状态。
S504，若相对位置变化量位于预设变化量范围内，则确定手部的状态为非空闲状态。
具体地，若相对位置变化量位于预设变化量范围内，即可以确定手部此时在执行一些操作动作，处于非空闲状态。
S506，若相对位置变化量位于预设变化量范围之外，则检测手部是否持有物品。
具体地，若相对位置变化量超出预设变化量范围，即可以确定手部此时可以为正常走路摆动状态，则需要进一步检测手部是否持有物体。
S508，若手部持有物品，则确定手部的状态为非空闲状态。
具体地，手部持有物品，则确定手部的状态为非空闲状态。
S510，若手部未持有物品，则确定手部的状态为空闲状态。
具体地，手部未为持有物品，则确定手部的状态为空闲状态。
可选地，若手部未持有物品，则确定手部的状态为空闲状态，触发触屏交互模式。
本实施例中，通过根据检测图像，确定检测图像中是否存在目标主体；在存在目标主体时，判断目标主体是否靠近机器人；若目标主体靠近机器人，则获取目标主体的目标部位的状态，能够准确判断需要进行交互的目标主体，并确定目标主体的目标部位是否处于非空闲状态，以满足用户在非空闲状态时，后续采用投影的方式进行交互。
上述实施例对机器人如何进行人机交互进行了说明，现以一个实施例对该交互方法中目标主体如何在预设的投影区域基于交互提示图像进行的用户操作，根据用户操作执行相应的目标操作进行说明，在一个实施例中,如图6所示，交互提示图像包括交互界面显示图像；处理器用于执行可执行程序代码时还实现如下步骤：
响应于目标主体在预设的投影区域基于交互提示图像进行的用户操作，根执行相应的目标操作，包括：
S602，控制图像采集装置采集目标主体基于交互界面显示图像选择目标功能的深度图像。
S604，根据深度图像的第二深度信息，确定目标主体的用户操作；
S606，根据用户操作执行相应的目标操作。
具体地，当图像采集装置为深度摄像机时，控制图像采集装置采集目标主体基于交互界面显示图像选择目标功能的第二深度图像，可以将该深度图像与投射的交互界面显示图像的深度图像进行比较，若第二深度图像发生了明显的深度变化，则确定目标主体的发生了用户操作，此时，则可以根据用户操作执行相应的目标操作。例如，用户基于投射的交互界面显示图像，用脚部选择了一个菜品，则可以根据图像采集装置拍摄的深度图像，检测该深度图像与投射交互界面显示图像时的深度图像是否发生了明显的变化，若发生变化，则证明用户选择了该菜品，则根据用户选择的操作，执行下单的操作。
在本实施例中，通过控制图像采集装置采集目标主体基于交互界面显示图像选择目标功能的深度图像，根据深度图像的第二深度信息，确定目标主体的用户操作，根据用户操作执行相应的目标操作。能够准确确定目标主体的用户操作，并执行对应的目标操作，完成人机交互。
上述实施例对机器人如何进行人机交互进行了说明，现以一个实施例对该交互方法中目标主体如何在预设的投影区域基于交互提示图像进行的用户操作，根据用户操作执行相应的目标操作进行说明，在一个实施例中，如图7所示，交互提示图像包括交互区域提示图像；处理器用于执行可执行程序代码时还实现如下步骤：
获取目标主体在预设的投影区域基于交互提示图像进行的用户操作，根据用户操作执行相应的目标操作，包括：
S702，控制图像采集装置采集预设时间段内目标主体在交互区域提示图像处执行的预设动作指令的多张动作图像；
S704，根据多张动作图像，确定目标主体的用户操作；
S706，根据用户操作执行相应的目标操作。
具体地，当投影装置投射交互区域提示图像在预设的投影区域后，可以提示用户位于交互区域提示图像，执行预设动作指令。图像采集装置采集预设时间段内目标主体在交互区域提示图像处执行的预设动作指令的多张动作图像，根据动作图像即可确定目标主体发生的用户操作，此时，则可以根据用户操作执行相应的目标操作。例如，采集30s内的多张用户在交互区域提示图像处作出的多张动作图像。其中，预设动作指令可以包括跺一下脚，选择第一菜品，跺两下脚，选择第二菜品。预设时间间隔可以为每秒、每0.5秒等，在此不加以限制。
在本实施例中，机器人通过控制图像采集装置采集预设时间段内目标主体在交互区域提示图像处执行的预设动作指令的多张动作图像；根据多张动作图像，确定目标主体的用户操作；根据用户操作执行相应的目标操作。能够确定用户在投射的交互区域提示图像处进行用户操作，根据用户操作执行相应的目标操作，实现在用户目标部位非空闲时，利用其他部位在预设的投影区域基于交互提示图像进行用户操作，实现人机交互。
为了便于本领域技术人员的理解，现以一个实施例对人机交互方法进一步说明，在一个实施例中，人机交互方法包括：
S801，获取机器人的图像采集装置采集的待检测区域的检测图像；若环境分贝值小于等于预设分贝阈值，触发语音交互模式。
S802，若环境分贝值大于预设分贝阈值，则根据检测图像，确定检测图像中是否存在目标主体。
S803，在存在目标主体时，图像采集装置包括RGB摄像头，获取检测图像中目标主体所在区域的面积。
S804，判断目标主体所在区域的面积是否大于预设面积阈值。
S805，若是，则确定目标主体位于机器人的预设距离范围内。
S806，若目标主体靠近机器人，检测检测图像中目标部位的多个目标特征点；目标部位的目标特征点包括：手腕特征点、手肘特征点、手臂特征点。
S807，判断手腕特征点、手肘特征点、手臂特征点之间的相对位置变化量是否位于预设变化量范围内。
S808，若相对位置变化量位于预设变化量范围内，则确定手部的状态为非空闲状态。
S809，若相对位置变化量位于预设变化量范围之外，则检测手部是否持有物品。
S810，若手部持有物品，则确定手部的状态为非空闲状态。
S811，若手部未持有物品，则确定手部的状态为空闲状态，则触发触屏交互模式。
S812，若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像；交互提示图像包括交互界面显示图像。
S813，控制图像采集装置采集目标主体基于交互界面显示图像选择目标功能的深度图像。
S814，根据深度图像的第二深度信息，确定目标主体的用户操作。
S815，根据用户操作执行相应的目标操作。
在本实施例中，机器人通过获取图像采集装置采集的待检测区域的检测图像；根据检测图像，获取目标主体的目标部位的状态；若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像；获取目标主体在预设投影区域基于交互提示图像进行的用户操作，根据用户操作执行相应的目标操作。能够实现当处于环境声音嘈杂且操作人员因自身手部因条件限制无法进行语音、触摸方式的人机交互时，用户可以通过在预设投影区域的投影，基于交互界面，进行选择想要执行的操作，以完成人机交互。
为了便于本领域技术人员的理解，现以一个实施例对人机交互方法进一步说明，在一个实施例中，人机交互方法包括：
S901，获取机器人的图像采集装置采集的待检测区域的检测图像；若环境分贝值小于等于预设分贝阈值，触发语音交互模式。
S902，若环境分贝值大于预设分贝阈值，则根据检测图像，确定检测图像中是否存在目标主体。
S903，在存在目标主体时，图像采集装置为深度摄像头，获根据检测图像，确定目标主体的第一深度信息。
S904，根据第一深度信息，判断目标主体是否位于机器人的预设距离范围内。
S905，若目标主体是否位于机器人的预设距离范围内，则确定目标主体位于机器人的预设距离范围内。
S906，若目标主体靠近机器人，检测检测图像中目标部位的多个目标特征点；目标部位的目标特征点包括：手腕特征点、手肘特征点、手臂特征点。
S907，判断手腕特征点、手肘特征点、手臂特征点之间的相对位置变化量是否位于预设变化量范围内。
S908，若相对位置变化量位于预设变化量范围内，则确定手部的状态为非空闲状态。
S909，若相对位置变化量位于预设变化量范围之外，则检测手部是否持有物品。
S910，若手部持有物品，则确定手部的状态为非空闲状态。
S911，若手部未持有物品，则确定手部的状态为空闲状态，则触发触屏交互模式。
S912，若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像；交互提示图像包括交互区域提示图像。
S913，控制图像采集装置采集预设时间段内目标主体在交互区域提示图像处执行的预设动作指令的多张动作图像。
S914，根据多张动作图像，确定目标主体的用户操作。
S915，根据用户操作执行相应的目标操作。
在本实施例中，机器人通过获取图像采集装置采集的待检测区域的检测图像；根据检测图像，获取目标主体的目标部位的状态；若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像；响应于目标主体在预设投影区域基于交互提示图像进行的用户操作，执行相应的目标操作。能够实现当处于环境声音嘈杂且操作人员因自身手部因条件限制无法进行语音、触摸方式的人机交互时，用户可以通过在预设投影区域的投影，基于交互界面，进行选择想要执行的操作，以完成人机交互。
应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种人机交互方法，关于人机交互装置的具体限定可以参见上文中对于机器人的限定，在此不再赘述。该人机交互方法，包括：
获取图像采集装置采集的待检测区域的检测图像；
根据检测图像，获取目标主体的目标部位的状态；
若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像；
响应于目标主体在预设投影区域基于交互提示图像进行的用户操作，执行相应的目标操作。
在本实施例中，通过获取图像采集装置采集的待检测区域的检测图像；根据检测图像，获取目标主体的目标部位的状态；若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像；获取目标主体在预设投影区域基于交互提示图像进行的用户操作，根据用户操作执行相应的目标操作。能够实现当处于环境声音嘈杂且操作人员因自身手部因条件限制无法进行语音、触摸方式的人机交互时，用户可以通过在预设投影区域的投影，基于交互界面，进行选择想要执行的操作，以完成人机交互。
在一个实施例中，根据检测图像，获取目标主体的目标部位的状态，包括：
根据检测图像，确定检测图像中是否存在目标主体；
在存在目标主体时，判断目标主体是否位于机器人的预设距离范围内；
若目标主体位于机器人的与预设距离范围内，则获取目标主体的目标部位的状态。
在一个实施例中，图像采集装置为RGB摄像头或深度摄像头，判断目标主体是否位于机器人的预设距离范围内，包括：
若图像采集装置为RGB摄像头，判断目标主体是否位于机器人的预设距离范围内，包括：
获取检测图像中目标主体所在区域的面积；
判断目标主体所在区域的面积是否大于预设面积阈值；
若是，则确定目标主体位于机器人的预设距离范围内；
或者，判断目标主体是否位于机器人的预设距离范围内，包括：
根据检测图像，确定目标主体的第一深度信息；
根据第一深度信息，判断目标主体是否位于机器人的预设距离范围内。
在一个实施例中，获取目标主体的目标部位的状态，包括：
检测检测图像中目标部位的多个目标特征点；
根据多个目标特征点之间的位置变化量，确定目标部位的状态。
在一个实施例中，目标部位包括手部，目标部位的目标特征点包括：手腕特征点、手肘特征点、手臂特征点；根据多个目标特征点之间的位置变化量，确定目标部位的状态，包括：
判断手腕特征点、手肘特征点、手臂特征点之间的相对位置变化量是否位于预设变化量范围内；
若相对位置变化量位于预设变化量范围内，则确定手部的状态为非空闲状态；
若相对位置变化量位于预设变化量范围之外，则检测手部是否持有物品；
若手部持有物品，则确定手部的状态为非空闲状态；
若手部未持有物品，则确定手部的状态为空闲状态。
在一个实施例中，在根据检测图像，获取目标主体的目标部位的状态之前，获取预设空间的环境分贝值；
若环境分贝值小于等于预设分贝阈值，触发语音交互模式；
若环境分贝值大于预设分贝阈值，则根据检测图像，获取目标主体的目标部位的状态。
在一个实施例中，该方法还包括：
若目标部位的状态为空闲，则触发触屏交互模式。
在一个实施例中，交互提示图像包括交互界面显示图像；
响应于目标主体在预设的投影区域基于交互提示图像进行的用户操作，执行相应的目标操作，包括：
控制图像采集装置采集目标主体基于交互界面显示图像选择目标功能的深度图像；
根据深度图像的第二深度信息，确定目标主体的用户操作；
根据用户操作执行相应的目标操作。
在一个实施例中，交互提示图像包括交互区域提示图像；获取目标主体在预设的投影区域基于交互提示图像进行的用户操作，根据用户操作执行相应的目标操作，包括：
控制图像采集装置采集预设时间段内目标主体在交互区域提示图像处执行的预设动作指令的多张动作图像；
根据多张动作图像，确定目标主体的用户操作；
根据用户操作执行相应的目标操作。
在一个实施例中，如图8所示，提供了一种人机交互装置，包括：
第一获取模块11，用于获取机器人的图像采集装置采集的待检测区域的检测图像；
第二获取模块12，用于根据检测图像，获取主体的目标部位的状态；
投影模块13，用于若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像；
执行模块14，用于响应于目标主体在预设投影区域基于交互提示图像进行的用户操作，执行相应的目标操作。
在本实施例中，通过第一获取模块获取图像采集装置采集的待检测区域的检测图像；第二获取模块根据检测图像，获取目标主体的目标部位的状态；投影模块若目标部位的状态为非空闲状态，则控制投影装置向预设投影区域投射交互提示图像；执行模块响应于目标主体在预设投影区域基于交互提示图像进行的用户操作，执行相应的目标操作。能够实现当处于环境声音嘈杂且操作人员因自身手部因条件限制无法进行语音、触摸方式的人机交互时，用户可以通过在预设投影区域的投影，基于交互界面，进行选择想要执行的操作，以完成人机交互。
在一个实施例中，第二获取模块具体用于根据检测图像，确定检测图像中是否存在目标主体；在存在目标主体时，判断目标主体是否位于机器人的预设距离范围内；若目标主体位于机器人的与预设距离范围内，则获取目标主体的目标部位的状态。
在一个实施例中，第二获取模块具体用于若图像采集装置为RGB摄像头，判断目标主体是否位于机器人的预设距离范围内，包括：
获取检测图像中目标主体所在区域的面积；
判断目标主体所在区域的面积是否大于预设面积阈值；
若是，则确定目标主体位于机器人的预设距离范围内；
若图像采集装置为深度摄像头；判断目标主体是否位于机器人的预设距离范围内，包括：
根据检测图像，确定目标主体的第一深度信息；
根据第一深度信息，判断目标主体是否位于机器人的预设距离范围内。
在一个实施例中，第二获取模块，具体用于检测检测图像中目标部位的多个目标特征点；根据多个目标特征点之间的位置变化量，确定目标部位的状态。
在一个实施例中，第二获取模块，具体用于判断手腕特征点、手肘特征点、手臂特征点之间的相对位置变化量是否位于预设变化量范围内；若相对位置变化量位于预设变化量范围内，则确定手部的状态为非空闲状态；若相对位置变化量位于预设变化量范围之外，则检测手部是否持有物品；若手部持有物品，则确定手部的状态为非空闲状态；若手部未持有物品，则确定手部的状态为空闲状态。
在一个实施例中，人机交互装置还包括：
第三获取模块，用于在根据检测图像，获取目标主体的目标部位的状态之前，获取预设空间的环境分贝值；
第一触发模块，用于若环境分贝值小于等于预设分贝阈值，触发语音交互模式；
第二触发模块，用于若环境分贝值大于预设分贝阈值，则根据检测图像，获取目标主体的目标部位的状态。
在一个实施例中，人机交互装置还包括：
第三触发模块，用于若目标部位的状态为空闲，则触发触屏交互模式。
在一个实施例中，执行模块具体用于控制图像采集装置采集目标主体基于交互界面显示图像选择目标功能的深度图像；交互提示图像包括交互界面显示图像；根据深度图像的第二深度信息，确定目标主体的用户操作；根据用户操作执行相应的目标操作。
在一个实施例中，执行模块具体用于控制图像采集装置采集预设时间段内目标主体在交互区域提示图像处执行的预设动作指令的多张动作图像；交互提示图像包括交互区域提示图像；根据多张动作图像，确定目标主体的用户操作；根据用户操作执行相应的目标操作。
关于人机交互装置的具体限定可以参见上文中对于人机交互方法的限定，在此不再赘述。上述人机交互装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于机器人中的处理器中，也可以以软件形式存储于机器人中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有可执行程序代码，可执行程序代码被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过可执行程序代码来指令相关的硬件来完成，所述的可执行程序代码可存储于一非易失性计算机可读取存储介质中，该可执行程序代码在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种机器人，所述机器人包括图像采集装置、投影装置、存储器和处理器，所述存储器存储有可执行程序代码，其特征在于，所述处理器用于在执行所述可执行程序代码时实现以下步骤：
获取所述图像采集装置采集的待检测区域的检测图像；
根据所述检测图像，获取目标主体的目标部位的状态；
若所述目标部位的状态为非空闲状态，则控制所述投影装置向预设投影区域投射交互提示图像；
响应于所述目标主体在所述预设投影区域基于所述交互提示图像进行的用户操作，执行相应的目标操作。
2.根据权利要求1所述的机器人，其特征在于，所述处理器用于执行所述可执行程序代码时还实现如下步骤：
所述根据所述检测图像，获取目标主体的目标部位的状态，包括：
根据所述检测图像，确定所述检测图像中是否存在所述目标主体；
在存在所述目标主体时，判断所述目标主体是否位于所述机器人的预设距离范围内；
若所述目标主体位于所述机器人的与预设距离范围内，则获取所述目标主体的目标部位的状态。
3.根据权利要求2所述的机器人，其特征在于，所述图像采集装置为RGB摄像头或深度摄像头，所述处理器用于执行所述可执行程序代码时还实现如下步骤：
所述判断所述目标主体是否位于所述机器人的预设距离范围内，包括：
获取所述检测图像中所述目标主体所在区域的面积；
判断所述目标主体所在区域的面积是否大于预设面积阈值；
若是，则确定所述目标主体位于所述机器人的预设距离范围内；
或者，所述判断所述目标主体是否位于所述机器人的预设距离范围内，包括：
根据所述检测图像，确定所述目标主体的第一深度信息；
根据所述第一深度信息，判断所述目标主体是否位于所述机器人的预设距离范围内。
4.根据权利要求2所述的机器人，其特征在于，所述处理器用于执行所述可执行程序代码时还实现如下步骤：
所述获取所述目标主体的目标部位的状态，包括：
检测所述检测图像中所述目标部位的多个目标特征点；
根据多个所述目标特征点之间的位置变化量，确定所述目标部位的状态。
5.根据权利要求4所述的机器人，其特征在于，所述目标部位包括手部，所述目标部位的目标特征点包括：手腕特征点、手肘特征点、手臂特征点；所述处理器用于执行所述可执行程序代码时还实现如下步骤：
所述根据多个所述目标特征点之间的位置变化量，确定所述目标部位的状态，包括：
判断所述手腕特征点、所述手肘特征点、所述手臂特征点之间的相对位置变化量是否位于预设变化量范围内；
若所述相对位置变化量位于所述预设变化量范围内，则确定所述手部的状态为非空闲状态；
若所述相对位置变化量位于所述预设变化量范围之外，则检测所述手部是否持有物品；
若所述手部持有物品，则确定所述手部的状态为非空闲状态；
若所述手部未持有物品，则确定所述手部的状态为空闲状态。
6.根据权利要求1所述的机器人，其特征在于，所述处理器用于执行所述可执行程序代码时还实现如下步骤：
在所述根据所述检测图像，获取目标主体的目标部位的状态之前，获取预设空间的环境分贝值；
若所述环境分贝值小于等于预设分贝阈值，触发语音交互模式；
若所述环境分贝值大于所述预设分贝阈值，则根据所述检测图像，获取目标主体的目标部位的状态。
7.根据权利要求1所述的机器人，其特征在于，所述处理器用于执行所述可执行程序代码时还实现如下步骤：
若所述目标部位的状态为空闲，则触发触屏交互模式。
8.根据权利要求1所述的机器人，其特征在于，所述交互提示图像包括交互界面显示图像；所述处理器用于执行所述可执行程序代码时还实现如下步骤：
所述获取所述目标主体在所述预设的投影区域基于所述交互提示图像进行的用户操作，根据所述用户操作执行相应的目标操作，包括：
控制所述图像采集装置采集所述目标主体基于所述交互界面显示图像选择目标功能的深度图像；
根据所述深度图像的第二深度信息，确定所述目标主体的用户操作；
根据所述用户操作执行相应的目标操作。
9.根据权利要求1所述的机器人，其特征在于，所述交互提示图像包括交互区域提示图像；所述处理器用于执行所述可执行程序代码时还实现如下步骤：
所述响应于所述目标主体在所述预设的投影区域基于所述交互提示图像进行的用户操作，执行相应的目标操作，包括：
控制所述图像采集装置采集预设时间段内所述目标主体在所述交互区域提示图像处执行的预设动作指令的多张动作图像；
根据多张所述动作图像，确定所述目标主体的用户操作；
根据所述用户操作执行相应的目标操作。
10.一种人机交互方法，其特征在于，所述方法包括权利要求1至9中任一项所述的机器人实现的步骤。
11.一种人机交互装置，其特征在于，所述装置包括：
第一获取模块，用于获取图像采集装置采集的待检测区域的检测图像；
第二获取模块，用于根据所述检测图像，获取目标主体的目标部位的状态；
投影模块，用于若所述目标部位的状态为非空闲状态，则控制所述投影装置向预设投影区域投射的交互界面；
执行模块，用于响应于所述目标主体在所述交互界面进行的用户操作，执行相应的目标操作。
12.一种计算机可读存储介质，其上存储有可执行程序代码，其特征在于，所述可执行程序代码被处理器执行时实现权利要求10所述的人机交互方法。
CN202111357113.3A 2021-11-16 2021-11-16 机器人、人机交互方法、装置和存储介质 Pending CN114253452A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111357113.3A CN114253452A (zh) 2021-11-16 2021-11-16 机器人、人机交互方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111357113.3A CN114253452A (zh) 2021-11-16 2021-11-16 机器人、人机交互方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN114253452A true CN114253452A (zh) 2022-03-29

Family

ID=80790915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111357113.3A Pending CN114253452A (zh) 2021-11-16 2021-11-16 机器人、人机交互方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN114253452A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221887A (zh) * 2011-06-23 2011-10-19 康佳集团股份有限公司 互动投影系统及方法
AU2011219427A1 (en) * 2011-02-23 2013-09-26 Muv Interactive Ltd. A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
CN104137173A (zh) * 2011-12-28 2014-11-05 株式会社尼康 显示装置以及投影装置
CN106462227A (zh) * 2014-08-07 2017-02-22 日立麦克赛尔株式会社 投影型影像显示装置及其控制方法
CN108536037A (zh) * 2018-07-12 2018-09-14 四川虹美智能科技有限公司 一种智能家电的控制设备、方法及智能家电
CN112068698A (zh) * 2020-08-31 2020-12-11 北京市商汤科技开发有限公司 一种交互方法、装置及电子设备、计算机存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011219427A1 (en) * 2011-02-23 2013-09-26 Muv Interactive Ltd. A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
CN102221887A (zh) * 2011-06-23 2011-10-19 康佳集团股份有限公司 互动投影系统及方法
CN104137173A (zh) * 2011-12-28 2014-11-05 株式会社尼康 显示装置以及投影装置
CN106462227A (zh) * 2014-08-07 2017-02-22 日立麦克赛尔株式会社 投影型影像显示装置及其控制方法
CN108536037A (zh) * 2018-07-12 2018-09-14 四川虹美智能科技有限公司 一种智能家电的控制设备、方法及智能家电
CN112068698A (zh) * 2020-08-31 2020-12-11 北京市商汤科技开发有限公司 一种交互方法、装置及电子设备、计算机存储介质

Similar Documents

Publication Publication Date Title
US11269481B2 (en) Dynamic user interactions for display control and measuring degree of completeness of user gestures
CN104246661B (zh) 使用手势与装置交互
KR101761050B1 (ko) 인간-컴퓨터 자연스러운 3차원 손 제스처 기반 내비게이션 방법
CN106406710B (zh) 一种录制屏幕的方法及移动终端
CN103207671A (zh) 利用深度传感器进行无接触操作的烧蚀工作站
US20200218356A1 (en) Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
CN104115099A (zh) 取决于参与的手势辨识
US11188145B2 (en) Gesture control systems
WO2022110614A1 (zh) 手势识别方法及装置、电子设备和存储介质
US10444852B2 (en) Method and apparatus for monitoring in a monitoring space
KR101654311B1 (ko) 사용자 모션 인식 방법 및 장치
TWI788607B (zh) 人機交互系統和人機交互方法
CN114253452A (zh) 机器人、人机交互方法、装置和存储介质
CN115291786A (zh) 一种基于机器学习的误触判断方法、装置和存储介质
TW201621651A (zh) 滑鼠模擬系統及方法
CN115798054B (zh) 一种基于ar/mr技术的手势识别方法及电子设备
CN113590014B (zh) 基于姿态动作的电梯召唤方法、装置和计算机设备
CN110659025B (zh) 一种推荐方法及装置
CN117961916A (zh) 一种目标物可抓取性判断、目标物抓取方法、装置及系统
CN117573224A (zh) 一种智能镜控制方法、装置及智能镜
CN107977071B (zh) 一种适用于空间系统的操作方法及装置
CN116841397A (zh) 操作执行方法、装置、电子设备及可读存储介质
CN117873312A (zh) 信息输入方法、装置、设备及计算机介质
CN117608408A (zh) 操作执行方法、装置、电子设备及可读存储介质
CN112445325A (zh) 虚拟触控方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination