CN112560572A - 一种摄像和大屏交互处理方法、装置及系统 - Google Patents

一种摄像和大屏交互处理方法、装置及系统 Download PDF

Info

Publication number
CN112560572A
CN112560572A CN202011150989.6A CN202011150989A CN112560572A CN 112560572 A CN112560572 A CN 112560572A CN 202011150989 A CN202011150989 A CN 202011150989A CN 112560572 A CN112560572 A CN 112560572A
Authority
CN
China
Prior art keywords
limb
image
screen display
characteristic
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011150989.6A
Other languages
English (en)
Inventor
周肃
张海焦
李进福
张大勇
常俊杰
许春凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Borui Weixin Technology Co ltd
Original Assignee
Beijing Borui Weixin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Borui Weixin Technology Co ltd filed Critical Beijing Borui Weixin Technology Co ltd
Priority to CN202011150989.6A priority Critical patent/CN112560572A/zh
Publication of CN112560572A publication Critical patent/CN112560572A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种摄像和大屏交互处理方法、装置及系统，包括：获取实时的肢体识别图像以及大屏显示图像；将所述肢体识别图像映射到大屏显示图像并识别操作指令；识别大屏显示图像中与所述肢体识别图像的特征肢体部位对应的第一特征区域；实时获取操作人员的眼动识别图像；将所述眼动识别图像映射到大屏显示图像；识别大屏显示图像中与所述眼动识别图像的眼动识别部位对应的第二特征区域；若所述第一特征区域与所述第二特征区域位于大屏显示图像中同一操作区域，输出有效指令以及所述操作指令；所述操作区域为依据实时的大屏显示图像预先划分的区域。

Description

一种摄像和大屏交互处理方法、装置及系统
技术领域
本申请涉及屏幕交互技术领域，尤其是涉及一种摄像和大屏交互处理方法、装置及系统。
背景技术
目前基于大屏幕显示器的操作演示已广泛应用于教育、企业、军事等领域的教室、会议室、指挥室，大屏幕展示系统得到飞速发展。
触控式投影设备等光学触控屏幕作为一种常用的大屏展示系统用具，其主要通过识别人体的肢体动作获取操作大屏显示画面的指令。但是相关设备的使用过程中，由于操作人员的肢体动作一部分为了操控大屏，但是也有一部分与大屏操控无关，使得通过识别人体肢体动作获得的指令有一部分是无效的，而系统却无法识别出这些无效的指令，导致操作人员在使用相关设备过程中经常性的发生误操作的状况。如系统识别手臂朝向大屏点击的动作为单击指令，但是当操作人员不需要单击操作却使用了手臂朝向大屏点击的动作时，系统仍会识别成接收到单击指令，并对大屏展示的内容进行操作，导致误操作的状况发生。
发明内容
为了能够降低输出到大屏的操作指令为无效操作指令状况发生的概率，提高大屏展示系统操作的便利性，本申请目的是提供一种摄像和大屏交互处理方法、装置及系统。
第一方面，本申请提供了一种摄像和大屏交互处理方法，包括：
获取实时的肢体识别图像以及大屏显示图像；
将所述肢体识别图像映射到大屏显示图像并识别操作指令；
识别大屏显示图像中与所述肢体识别图像的特征肢体部位对应的第一特征区域；
实时获取操作人员的眼动识别图像；
将所述眼动识别图像映射到大屏显示图像；
识别大屏显示图像中与所述眼动识别图像的眼动识别部位对应的第二特征区域；
若所述第一特征区域与所述第二特征区域位于大屏显示图像中同一操作区域，输出有效指令以及所述操作指令；
所述操作区域为依据实时的大屏显示图像预先划分的区域。
通过采用上述技术方案，第一特征区域与第二特征区域位于大屏显示图像中同一操作区域时，说明操作人员眼睛所关注的区域与肢体动作所对应的区域同属于大屏上的同一个操作区域，此时输出识别的操作指令，使得大屏按照操作指令进行工作。由于增加了判断人眼与肢体动作对应大屏显示图像上同一操作区域的条件，从而降低了输出到大屏的操作指令为无效操作指令的概率，进而降低了因为对操作人员肢体动作识别不准而造成的误操作状况发生的概率，提高了大屏展示系统操作的便利性。
在一较佳示例中，通过眼动仪获取所述操作人员的眼动识别图像。
在一较佳示例中，所述识别操作指令的方法为：
获取当前肢体识别图像以及与当前肢体识别图像顺序排列的多帧在先的肢体识别图像；
识别所述肢体识别图像中的特征肢体部位；
依据多帧在先的肢体识别图像以及当前肢体识别图像计算所述特征肢体部位的移动轨迹；
对比所述移动轨迹与预先存储的肢体行为数据库存储的对应每一种操作指令的肢体动作数据，当所述移动轨迹与所述肢体动作数据相同时，输出对应的所述操作指令。
通过采用上述技术方案，利用依据多帧在先的肢体识别图像以及当前肢体识别图像计算的特征肢体部位的移动轨迹判断操作指令的类型，降低了因为对操作人员肢体动作识别不准而造成的无效操作指令的识别发生概率，进一步的提高了大屏展示系统操作的便利性
在一较佳示例中，其特征在于：
若所述第一特征区域与所述第二特征区域不位于大屏显示图像中同一操作区域，不输出有效指令或所述操作指令
第二方面，本申请还提供一种摄像和大屏交互处理装置，包括：
数据获取模块，用于获取实时的肢体识别图像、大屏显示图像以及眼动识别图像；
第一数据处理模块，用于将所述肢体识别图像映射到大屏显示图像并识别操作指令；
第一识别模块，用于识别大屏显示图像中与所述肢体识别图像的特征肢体部位对应的第一特征区域；
第二数据处理模块，用于将所述眼动识别图像映射到大屏显示图像；
第二识别模块，用于识别大屏显示图像中与所述眼动识别图像的眼动识别部位对应的第二特征区域；
输出控制模块，用于在所述第一特征区域与所述第二特征区域位于大屏显示图像中同一操作区域时，输出所述有效指令以及所述操作指令；
所述操作区域为依据实时的大屏显示图像预先划分的区域。
在一较佳示例中，所述数据获取模块通过眼动仪获取所述操作人员的眼动识别图像。
在一较佳示例中，所述第一数据处理模块包括：
数据获取单元，用于获取当前肢体识别图像以及与当前肢体识别图像顺序排列的多帧在先的肢体识别图像；
特征识别单元，用于识别所述肢体识别图像中的特征肢体部位；
轨迹计算单元，用于依据多帧在先的肢体识别图像以及当前肢体识别图像计算所述特征肢体部位的移动轨迹；
指令识别单元，用于对比所述移动轨迹与预先存储的肢体行为数据库存储的对应每一种操作指令的肢体动作数据，当所述移动轨迹与所述肢体动作数据相同时，输出对应的所述操作指令。
在一较佳示例中，当所述第一特征区域与所述第二特征区域不位于大屏显示图像中同一操作区域，输出控制模块不输出有效指令或所述操作指令。
第三方面，本申请还提供一种摄像和大屏交互处理系统，所述系统包括：
一个或多个存储器，用于存储指令；以及
一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如权利要求1-6中任意一项所述的方法。
综上所述，本申请包括以下至少一种有益技术效果：
1.操作人员肢体动作识别准确，利用依据多帧在先的肢体识别图像以及当前肢体识别图像计算的特征肢体部位的移动轨迹判断操作指令的类型，降低了因为对操作人员肢体动作识别不准而造成的无效操作指令的识别发生概率；
2.大屏接收到的无效操作指令概率低，由于增加了判断人眼与肢体动作对应大屏显示图像上同一操作区域的条件，从而降低了输出到大屏的操作指令为无效操作指令的概率。
附图说明
图1是本申请其中摄像和大屏交互处理方法的流程图。
图2是本申请其中识别操作指令的流程示意图。
图3是本申请其中摄像和大屏交互处理装置的示意框图。
图4是本申请中第一数据处理模块的示意框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
本申请实施例提供一种摄像和大屏交互处理方法，所述方法的主要流程描述如下。
如图1所示：
步骤100：获取实时的肢体识别图像以及大屏显示图像。
通过安装在大屏上的摄像头实时的识别获取操作人员的肢体识别图像。摄像头采用CCD摄像头，并固定安装在大屏上，使得摄像头的图像采集区域固定。大屏显示图像为通过大屏显示过程种通过屏幕截图获得的图像。
步骤101：将所述肢体识别图像映射到大屏显示图像并识别操作指令。
如图2所示，其中，识别操作指令的方法包括：
步骤101-1：获取当前肢体识别图像以及与当前肢体识别图像顺序排列的多帧在先的肢体识别图像；
步骤101-2：识别肢体识别图像中的特征肢体部位。此处对特征肢体部位不做具体限定，在一个优选的示例种，特征肢体部位包括手指、手掌以及手臂。
步骤101-3：依据多帧在先的肢体识别图像以及当前肢体识别图像计算特征肢体部位的移动轨迹。将每一帧肢体识别图像分别映射到大屏显示图像中并获取每一肢体识别图像中特征肢体部位在大屏显示图像中的所在的特征位置，最后依据特征肢体部位的特征位置获取特征肢体部位的移动轨迹。需要注意的是，移动轨迹数量一般为多条，在识别特征肢体部位的特征位置时，依据不同的特征肢体部位进行属性分配，将同属性的特征肢体部位的特征位置拟合成对应属性的特征肢体部位的移动轨迹。如特征肢体部位包括手指、手掌以及手臂，则分别为特征肢体部位手指、手掌以及手臂分配属性a、b和c，在拟合移动轨迹时，将属性a、b、c的特征位置分别拟合成一条移动轨迹；再比如，特征肢体部位手臂包括腕关节、肘关节和肩关节，则分别为特征肢体部位腕关节、肘关节和肩关节分配述行b1、b2和b3，再拟合移动轨迹时，将属性为b1、b2和b3的特征位置分别拟合成一条移动轨迹。
步骤101-4：对比移动轨迹与预先存储的肢体行为数据库存储的对应每一种操作指令的肢体动作数据，当移动轨迹与所述肢体动作数据相同时，输出对应的操作指令。
如图1所示，步骤102：识别大屏显示图像中与所述肢体识别图像的特征肢体部位对应的第一特征区域。第一特征区域为步骤101-3中逆合成的移动轨迹所覆盖的大屏显示图像中的区域。
步骤103：通过眼动仪实时获取操作人员的眼动识别图像。
步骤104：将眼动识别图像映射到大屏显示图像。
步骤105：识别大屏显示图像中与眼动识别图像的眼动识别部位对应的第二特征区域。第二特征区域为眼动仪计算出的眼动识别图像中操作人员眼睛所注视的关注部位在大屏显示图像所覆盖的区域。
步骤106：若第一特征区域与所述第二特征区域位于大屏显示图像中同一操作区域，输出有效指令和所述操作指令，大屏同时接收到有效指令以及操作指令后依据操作指令对所显示内容进行调节，或者，输出操作指令，大屏接收到操作指令后依据操作指令对所显示内容进行调节；反之，不输出有效指令或所述操作指令。
操作区域为依据实时的大屏显示图像显示内容预先划分的区域。如大屏显示图像包括作为背景的背景区域、位于背景区域中的PPT显示区域以及位于背景区域中的视频软件界面，则依据实时的大屏显示图像预先划分的操作区域有三个，并分别表示作为背景的背景区域、位于背景区域中的PPT显示区域以及位于背景区域中的视频软件界面；再比如大屏显示图像包括多个打开状态的文件夹显示区域以及位于文件夹显示区域以外的桌面区域，则依据实时的大屏显示图像预先划分的操作区域与文件夹显示区域以及桌面显示区域一一对应。
上述的摄像和大屏交互处理方法增加了人眼与肢体动作对应大屏显示图像上同一操作区域的判断条件，从而降低了输出到大屏的操作指令为无效操作指令的概率，进而降低了因为对操作人员肢体动作识别不准而造成的误操作状况发生的概率，提高了大屏展示系统操作的便利性。
参照图3，在另一方面，本申请实施例还提供一种摄像和大屏交互处理装置，该装置包括数据获取模块、第一数据处理模块、第一识别模块、第二数据处理模块、第二识别模块以及输出模块。
数据获取模块，用于获取实时的肢体识别图像以及大屏显示图像，并通过眼动仪实时获取操作人员的眼动识别图像。
第一数据处理模块，用于将肢体识别图像映射到大屏显示图像并识别操作指令。参照图4，第一数据处理模块包括：
数据获取单元，用于获取当前肢体识别图像以及与当前肢体识别图像顺序排列的多帧在先的肢体识别图像。
特征识别单元，用于识别所述肢体识别图像中的特征肢体部位。
轨迹计算单元，用于依据多帧在先的肢体识别图像以及当前肢体识别图像计算所述特征肢体部位的移动轨迹。
指令识别单元，用于对比所述移动轨迹与预先存储的肢体行为数据库存储的对应每一种操作指令的肢体动作数据，当所述移动轨迹与所述肢体动作数据相同时，输出对应的所述操作指令。
第一识别模块，用于识别大屏显示图像中与肢体识别图像的特征肢体部位对应的第一特征区域。
第二数据处理模块，用于将眼动识别图像映射到大屏显示图像。
第二识别模块，用于识别大屏显示图像中与眼动识别图像的眼动识别部位对应的第二特征区域。
参照图3，输出控制模块，用于在第一特征区域与第二特征区域位于大屏显示图像中同一操作区域时，输出有效指令以及操作指令；反之，则不输出有效指令或操作指令。
具体的，摄像和大屏交互处理装置的工作过程可参照前述摄像和大屏交互处理方法的对应过程，在此不再赘述。
本申请实施例还公开了一种摄像和大屏交互处理系统，该系统主要由一个或多个存储器和一个或多个处理器组成：
存储器用于存储指令；
处理器，用于从存储器中调用并运行指令，执行如上述内容中所述的摄像和大屏交互处理方法。
可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
非易失性存储器可以是ROM、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，EEPROM)或闪存。
易失性存储器可以是RAM，其用作外部高速缓存。RAM有多种不同的类型，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器。
上述任一处提到的处理器，可以是一个CPU，微处理器，ASIC，或一个或多个用于控制上述的反馈信息传输的方法的程序执行的集成电路。该处理单元和该存储单元可以解耦，分别设置在不同的物理设备上，通过有线或者无线的方式连接来实现该处理单元和该存储单元的各自的功能，以支持该系统芯片实现上述实施例中的各种功能。或者，该处理单元和该存储器也可以耦合在同一个设备上。
本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (9)

1.一种摄像和大屏交互处理方法，其特征在于，包括：
获取肢体识别图像以及大屏显示图像；
将所述肢体识别图像映射到大屏显示图像并识别操作指令；
识别大屏显示图像中与所述肢体识别图像的特征肢体部位对应的第一特征区域；
实时获取操作人员的眼动识别图像；
将所述眼动识别图像映射到大屏显示图像；
识别大屏显示图像中与所述眼动识别图像的眼动识别部位对应的第二特征区域；
若所述第一特征区域与所述第二特征区域位于大屏显示图像中同一操作区域，输出有效指令以及所述操作指令；
所述操作区域为依据实时的大屏显示图像预先划分的区域。
2.根据权利要求1所述的一种摄像和大屏交互处理方法，其特征在于：通过眼动仪获取所述操作人员的眼动识别图像。
3.根据权利要求1所述的一种摄像和大屏交互处理方法，其特征在于，所述识别操作指令的方法为：
获取当前肢体识别图像以及与当前肢体识别图像顺序排列的多帧在先的肢体识别图像；
识别所述肢体识别图像中的特征肢体部位；
依据多帧在先的肢体识别图像以及当前肢体识别图像计算所述特征肢体部位的移动轨迹；
对比所述移动轨迹与预先存储的肢体行为数据库存储的对应每一种操作指令的肢体动作数据，当所述移动轨迹与所述肢体动作数据相同时，输出对应的所述操作指令。
4.根据权利要求1所述的一种摄像和大屏交互处理方法，其特征在于：
若所述第一特征区域与所述第二特征区域不位于大屏显示图像中同一操作区域，不输出有效指令或所述操作指令。
5.一种摄像和大屏交互处理装置，其特征在于，包括：
数据获取模块，用于获取肢体识别图像、大屏显示图像以及眼动识别图像；
第一数据处理模块，用于将所述肢体识别图像映射到大屏显示图像并识别操作指令；
第一识别模块，用于识别大屏显示图像中与所述肢体识别图像的特征肢体部位对应的第一特征区域；
第二数据处理模块，用于将所述眼动识别图像映射到大屏显示图像；
第二识别模块，用于识别大屏显示图像中与所述眼动识别图像的眼动识别部位对应的第二特征区域；
输出控制模块，用于在所述第一特征区域与所述第二特征区域位于大屏显示图像中同一操作区域时，输出所述有效指令以及所述操作指令；
所述操作区域为依据实时的大屏显示图像预先划分的区域。
6.根据权利要求5所述的一种摄像和大屏交互处理装置，其特征在于：所述数据获取模块通过眼动仪获取所述操作人员的眼动识别图像。
7.根据权利要求5所述的一种摄像和大屏交互处理装置，其特征在于，所述第一数据处理模块包括：
数据获取单元，用于获取当前肢体识别图像以及与当前肢体识别图像顺序排列的多帧在先的肢体识别图像；
特征识别单元，用于识别所述肢体识别图像中的特征肢体部位；
轨迹计算单元，用于依据多帧在先的肢体识别图像以及当前肢体识别图像计算所述特征肢体部位的移动轨迹；
指令识别单元，用于对比所述移动轨迹与预先存储的肢体行为数据库存储的对应每一种操作指令的肢体动作数据，当所述移动轨迹与所述肢体动作数据相同时，输出对应的所述操作指令。
8.根据权利要求5所述的一种摄像和大屏交互处理装置，其特征在于，当所述第一特征区域与所述第二特征区域不位于大屏显示图像中同一操作区域，输出控制模块不输出有效指令或所述操作指令。
9. 一种摄像和大屏交互处理系统，其特征在于，所述系统包括：
一个或多个存储器，用于存储指令；以及
一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如权利要求1-6中任意一项所述的方法。
CN202011150989.6A 2020-10-24 2020-10-24 一种摄像和大屏交互处理方法、装置及系统 Pending CN112560572A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011150989.6A CN112560572A (zh) 2020-10-24 2020-10-24 一种摄像和大屏交互处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011150989.6A CN112560572A (zh) 2020-10-24 2020-10-24 一种摄像和大屏交互处理方法、装置及系统

Publications (1)

Publication Number Publication Date
CN112560572A true CN112560572A (zh) 2021-03-26

Family

ID=75042631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011150989.6A Pending CN112560572A (zh) 2020-10-24 2020-10-24 一种摄像和大屏交互处理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN112560572A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707649A (zh) * 2009-09-29 2010-05-12 宇龙计算机通信科技(深圳)有限公司 一种投影信息的交互操作方法、系统及移动终端
CN103870802A (zh) * 2012-12-18 2014-06-18 现代自动车株式会社 使用指谷操作车辆内的用户界面的系统和方法
CN106201284A (zh) * 2015-04-29 2016-12-07 由田新技股份有限公司 用户界面同步系统、方法
CN106575160A (zh) * 2014-08-01 2017-04-19 星船自动售货机株式会社 根据用户视点识别动作的界面提供方法及提供装置
CN107145226A (zh) * 2017-04-20 2017-09-08 中国地质大学（武汉） 眼控人机交互系统及方法
US20170270506A1 (en) * 2014-08-25 2017-09-21 Zte Corporation Display terminal-based data processing method
CN108616712A (zh) * 2018-04-18 2018-10-02 深圳中电数码显示有限公司 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN111401330A (zh) * 2020-04-26 2020-07-10 四川自由健信息科技有限公司 教学系统及采用该教学系统的智能镜
CN111527468A (zh) * 2019-11-18 2020-08-11 华为技术有限公司 一种隔空交互方法、装置和设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707649A (zh) * 2009-09-29 2010-05-12 宇龙计算机通信科技(深圳)有限公司 一种投影信息的交互操作方法、系统及移动终端
CN103870802A (zh) * 2012-12-18 2014-06-18 现代自动车株式会社 使用指谷操作车辆内的用户界面的系统和方法
CN106575160A (zh) * 2014-08-01 2017-04-19 星船自动售货机株式会社 根据用户视点识别动作的界面提供方法及提供装置
US20170270506A1 (en) * 2014-08-25 2017-09-21 Zte Corporation Display terminal-based data processing method
CN106201284A (zh) * 2015-04-29 2016-12-07 由田新技股份有限公司 用户界面同步系统、方法
CN107145226A (zh) * 2017-04-20 2017-09-08 中国地质大学（武汉） 眼控人机交互系统及方法
CN108616712A (zh) * 2018-04-18 2018-10-02 深圳中电数码显示有限公司 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN111527468A (zh) * 2019-11-18 2020-08-11 华为技术有限公司 一种隔空交互方法、装置和设备
CN111401330A (zh) * 2020-04-26 2020-07-10 四川自由健信息科技有限公司 教学系统及采用该教学系统的智能镜

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI S Q等: "EyeScreen: A Vision-Based Gesture Interaction System", 《北京理工大学学报(英文版)》, vol. 16, no. 3, 31 December 2017 (2017-12-31), pages 315 - 320 *
张凤军等: "虚拟现实的人机交互综述", 《中国科学:信息科学》, vol. 46, no. 12, 31 December 2016 (2016-12-31), pages 1711 - 1736 *

Similar Documents

Publication Publication Date Title
US20180088677A1 (en) Performing operations based on gestures
US20190213392A1 (en) Face spatial positioning method, face spatial positioning system, and non-transitory computer-readable recording medium
US20200050263A1 (en) Electronic apparatus operated by head movement and operation method thereof
JP2022534666A (ja) 画像処理方法、装置、電子機器及び記憶媒体
WO2022252642A1 (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
CN109144252B (zh) 对象确定方法、装置、设备和存储介质
WO2021047587A1 (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
CN108897589B (zh) 显示设备中人机交互方法、装置、计算机设备和存储介质
US20170161903A1 (en) Method and apparatus for gesture recognition
CN111527468A (zh) 一种隔空交互方法、装置和设备
WO2022222510A1 (zh) 交互控制方法、终端设备及存储介质
CN112462941A (zh) 基于手势识别的教学互动方法、装置、系统及介质
US20210395039A1 (en) Method and apparatus for non-contact and eye-movement input of elevator floor
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
CN113977588A (zh) 一种智能仿生手的手势识别方法、装置、终端及存储介质
CN112560572A (zh) 一种摄像和大屏交互处理方法、装置及系统
US11080822B2 (en) Method, system and recording medium for building environment map
US10380440B1 (en) Method for determining correct scanning distance using augmented reality and machine learning models
CN108876713B (zh) 二维模板图像的映射方法、装置、终端设备和存储介质
CN112015316A (zh) 全景图片展示及调整方法、系统、设备和存储介质
US20220050528A1 (en) Electronic device for simulating a mouse
CN113192127B (zh) 一种图像处理方法、装置、电子设备和存储介质
CN114581916A (zh) 结合rpa和ai的基于图像的字符识别方法、装置及设备
CN110196630B (zh) 指令处理、模型训练方法、装置、计算机设备及存储介质
CN114615430B (zh) 移动终端与外部对象之间的交互方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination