CN117826978A - 基于掌部的人机交互方法、装置、设备、介质及程序产品 - Google Patents

基于掌部的人机交互方法、装置、设备、介质及程序产品 Download PDF

Info

Publication number
CN117826978A
CN117826978A CN202211196351.5A CN202211196351A CN117826978A CN 117826978 A CN117826978 A CN 117826978A CN 202211196351 A CN202211196351 A CN 202211196351A CN 117826978 A CN117826978 A CN 117826978A
Authority
CN
China
Prior art keywords
palm
interaction
action
far
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211196351.5A
Other languages
English (en)
Inventor
吕中方
郭润增
黄家宇
李胤恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211196351.5A priority Critical patent/CN117826978A/zh
Priority to PCT/CN2023/117199 priority patent/WO2024066977A1/zh
Publication of CN117826978A publication Critical patent/CN117826978A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种基于掌部的人机交互方法、装置、设备、介质及程序产品，属于计算机技术领域。该方法包括：获取至少两个接近传感器采集的传感器数据，所述至少两个接近传感器在所述掌部交互设备上阵列设置；通过所述至少两个接近传感器的传感器数据，识别所述掌部的悬空交互动作；根据所述悬空交互动作，控制所述掌部交互设备执行所述悬空交互动作对应的响应操作。本申请提供了一种新的交互方式，通过接近传感器识别掌部的悬空交互操作，从而无需触摸或任何物理性地接触便可实现用户对掌部交互设备的控制，提高了交互效率。

Description

基于掌部的人机交互方法、装置、设备、介质及程序产品
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种基于掌部的人机交互方法、装置、设备、介质及程序产品。
背景技术
随着计算机技术的发展，人机交互的方式越来越多样。
相关技术中，在一些终端中设置有触摸屏，终端通过触摸屏采集用户的触发操作并通过网络传输到服务器，从而实现人机交互。
在用户与一些具有小型屏幕的终端进行交互时，如何保证用户和终端实现准确的交互，是亟待解决的重要问题。
发明内容
本申请提供了一种基于掌部的人机交互方法、装置、设备、介质及程序产品，所述技术方案如下：
根据本申请的一方面，提供了一种基于掌部的人机交互方法，所述方法包括：
获取至少两个接近传感器采集的传感器数据，所述至少两个接近传感器在所述掌部交互设备上阵列设置；
通过所述至少两个接近传感器的传感器数据，识别所述掌部的悬空交互动作；
根据所述悬空交互动作，控制所述掌部交互设备执行所述悬空交互动作对应的响应操作。
根据本申请的一方面，提供了一种基于掌部的人机交互装置，所述装置包括：
获取模块，用于获取至少两个接近传感器采集的传感器数据，所述至少两个接近传感器在所述掌部交互设备上阵列设置；
识别模块，用于通过所述至少两个接近传感器的传感器数据，识别所述掌部的悬空交互动作；
控制模块，用于根据所述悬空交互动作，控制所述掌部交互设备执行所述悬空交互动作对应的响应操作。
在一些实施例中，控制模块，还用于根据所述偏移挥扫动作，控制所述掌部交互设备执行所述偏移挥扫动作对应的第一响应操作；
在一些实施例中，控制模块，还用于根据所述远近拍击动作，控制所述掌部交互设备执行所述远近拍击动作对应的第二响应操作。
在一些实施例中，控制模块，还用于根据所述偏移挥扫动作的动作参数值，确定出所述偏移挥扫动作对应的挥扫方向；基于所述挥扫方向控制所述掌部交互设备执行所述切换操作。
在一些实施例中，控制模块，还用于在所述掌部进入第一位置区域时，将所述掌部在所述第一位置区域的位置确定为起点，所述第一位置区域包括第一侧的所述接近传感器的第一测量区域，但不包括第二侧的所述接近传感器的第一测量区域；
在所述掌部进入第二位置区域时，将所述掌部在所述第二位置区域的位置确定为终点，所述第二位置区域包括第二侧的所述接近传感器的第一测量区域，但不包括第一侧的所述接近传感器的第一测量区域；
在所述掌部从所述起点移动至所述终点的时间小于第一时间阈值的情况下，将所述起点指向所述终点的方向确定为所述偏移挥扫动作对应的所述挥扫方向。
在一些实施例中，控制模块，还用于根据所述远近拍击动作的动作参数值，确定出所述远近拍击动作对应的所述选择操作的类别；
基于所述选择操作的类别控制所述掌部交互设备执行所述选择操作。
在一些实施例中，控制模块，还用于在所述掌部同时进入所述至少两个接近传感器的第一测量区域内时，将所述掌部进入所述第一测量区域的时间点确定为第一起始时间点；
在所述第一起始时间点后的第一时间段内，所述接近传感器测得的距离测量值同时减小，且在所述第一时间段后的第二时间段内，所述接近传感器测得的距离测量值同时增大或保持不变的情况下，确定出所述远近拍击动作对应的所述选择操作为所述确定操作，所述第一时间段大于所述第二时间段。
在一些实施例中，控制模块，还用于在所述掌部同时进入所述至少两个接近传感器的第一测量区域内时，将所述掌部进入所述第一测量区域的时间确定为第二起始时间点；
在所述第二起始时间点后的第一时间段内，且所述接近传感器测得的距离测量值同时增大的情况下，确定出所述远近拍击动作对应的所述选择操作为所述退出操作。
在一些实施例中，控制模块，还用于在所述第二起始时间点后的第一时间段内，所述接近传感器测得的距离测量值同时增大，且在所述第一时间段后的第二时间段内，所述接近传感器测得的距离测量值同时减小或保持不变的情况下，确定出所述远近拍击动作对应的所述选择操作为所述退出操作，所述第一时间段大于所述第二时间段。
在一些实施例中，获取模块，还用于通过所述摄像头获取所述掌部的掌部图像；
在一些实施例中，识别模块，还用于基于所述掌部图像确定所述掌部图像对应的对象标识；
在一些实施例中，控制模块，还用于在确定所述对象标识且所述掌部在所述接近传感器的第二测量区域停留时间大于停留时间阈值的情况下，控制所述掌部交互设备进入交互模式。
在一些实施例中，获取模块，还用于通过所述彩色摄像头获取所述掌部的彩色图像，所述彩色图像是指彩色相机基于自然光对所述掌部成像所得到的图像；
通过所述红外摄像头获取同一所述掌部的红外图像，所述红外图像是指红外相机基于红外光对所述掌部成像所得到的图像；
在一些实施例中，识别模块，还用于基于所述彩色图像和所述红外图像进行掌部对比识别处理，确定所述掌部图像对应的所述对象标识。
在一些实施例中，显示模块，用于响应于所述偏移挥扫动作，在所述显示屏上显示所述偏移挥扫动作对应的所述第一响应操作；
在一些实施例中，显示模块，还用于响应于所述远近拍击动作，在所述显示屏上显示所述远近拍击动作对应的所述第二响应操作。
根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行以实现如上方面所述的基于掌部的人机交互方法。
根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行以实现如上方面所述的基于掌部的人机交互方法。
根据本申请的另一方面，提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；所述计算机程序由计算机设备的处理器从所述计算机可读存储介质读取并执行，使得所述计算机设备执行如上方面所述的基于掌部的人机交互方法。
本申请提供的技术方案带来的有益效果至少包括：
通过掌部交互设备上阵列设置的至少两个接近传感器采集传感器数据，并基于传感器数据识别掌部的悬空交互动作，根据悬空交互动作，控制掌部交互设备执行悬空交互动作对应的响应操作。本申请提供了一种新的交互方式，通过接近传感器识别掌部的悬空交互操作，从而无需触摸或任何物理性地接触便可实现用户对掌部交互设备的控制，提高了交互效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的一种基于掌部的人机交互方法的示意图；
图2是本申请一个示例性实施例提供的计算机系统的架构示意图；
图3是本申请一个示例性实施例提供的基于掌部的人机交互方法的流程图；
图4是本申请一个示例性实施例提供的基于掌部的人机交互方法的流程图；
图5是本申请一个示例性实施例提供的掌部交互设备的示意图；
图6是本申请一个示例性实施例提供的偏移挥扫动作对应的切换操作的示意图；
图7是本申请一个示例性实施例提供的偏移挥扫动作对应的平移操作的示意图；
图8是本申请一个示例性实施例提供的偏移挥扫动作对应的调节显示比例操作的示意图；
图9是本申请一个示例性实施例提供的远近拍击动作对应的确定操作的示意图；
图10是本申请一个示例性实施例提供的远近拍击动作对应的退出操作的示意图；
图11是本申请一个示例性实施例提供的远近拍击动作对应的数量增、减操作的示意图；
图12是本申请一个示例性实施例提供的掌部交互设备进入交互模式的示意图；
图13是本申请一个示例性实施例提供的手掌中手指缝点的示意图；
图14是本申请一个示例性实施例提供的基于掌部的人机交互方法的跨设备悬空交互的示意图；
图15是本申请一个示例性实施例提供的基于掌部的人机交互装置的框图；
图16是本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请实施例涉及的若干个名词进行简介：
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
云计算(Cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
作为云计算的基础能力提供商，会建立云计算资源池，简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
按照逻辑功能划分，在IaaS(Infrastructure as a Service，基础设施即服务)层上可以部署PaaS(Platform as a Service，平台即服务)层，PaaS层之上再部署SaaS(Software as a Service，软件即服务)层，也可以直接将SaaS部署在IaaS 上。PaaS为软件运行的平台，如数据库、Web(World Wide Web，全球广域网) 容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。
计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的生物特征识别技术。
本申请实施例提供了一种基于掌部的人机交互方法的示意图，如图1所示，该方法应用于设置有接近传感器的掌部交互设备5，该方法可以由掌部交互设备 5执行。
示例性地，如图1中的(a)图所示，掌部交互设备5包括接近传感器1、摄像头2、显示屏3和光圈4。掌部交互设备5获取阵列设置的至少两个接近传感器采集的传感器数据；通过至少两个接近传感器的传感器数据，识别掌部的悬空交互动作；掌部交互设备根据悬空交互动作，控制掌部交互设备5执行悬空交互动作对应的响应操作。
接近传感器1包括四个接近传感器，分别为左上接近传感器101、左下接近传感器102、右上接近传感器103、右下接近传感器104。
可选地，在有四个接近传感器的情况下，四个接近传感器以左上、左下、右上、右下位置矩形排布；或，四个接近传感器以上、下、左、右位置菱形排布，但不限于此，本申请实施例对此不作具体限定。
光圈4呈环状，光圈4包围接近传感器1、摄像头2和显示屏3，接近传感器1以左上、左下、右上、右下位置矩形排布，显示屏3呈矩形。
光圈4用于辅助实现基于掌部的人机交互方法。例如，通过光圈4的范围确定交互的范围，操作者以光圈4的圆心为中心，在光圈4范围内或光圈4以外的第一范围内进行悬空交互动作；或，在悬空交互时，通过光圈4的颜色或亮度变化，反馈出掌部与掌部交互设备5之间的交互结果。比如，在掌部与掌部交互设备5之间交互成功后，光圈4闪一下；在掌部与掌部交互设备5之间交互失败后，光圈4连续闪动。
示例性地，悬空交互动作包括偏移挥扫动作和/或远近拍击动作中的至少一种。
如图1中的(b)图所示，悬空交互动作是指在掌部交互设备5的上方悬空区域6内触发的交互动作。也就是说，上述悬空交互动作实现了在不触摸屏幕或按键的情况下对掌部交互设备5的控制操作。
可选地，偏移挥扫动作包括从左往右挥扫、从右往左挥扫、从上往下挥扫、从下往上挥扫、斜向挥扫中的至少一种，但不限于此，本申请实施例对此不作具体限定。
可选地，远近拍击动作是指掌部朝向掌部交互设备5接近或远离的隔空动作。
示例性地，掌部交互设备5根据偏移挥扫动作，控制掌部交互设备5执行偏移挥扫动作对应的第一响应操作。
掌部交互设备5根据远近拍击动作，控制掌部交互设备5执行远近拍击动作对应的第二响应操作。
可选地，第一响应操作包括切换操作。掌部交互设备5根据偏移挥扫动作的动作参数值，确定出偏移挥扫动作对应的挥扫方向；掌部交互设备5基于挥扫方向控制掌部交互设备5执行切换操作。
示例性地，挥扫方向的确定步骤包括：在掌部进入第一位置区域时，将掌部在第一位置区域的位置确定为起点；在掌部进入第二位置区域时，将掌部在第二位置区域的位置确定为终点；在掌部从起点移动至终点的时间小于第一时间阈值的情况下，将起点指向终点的方向确定为偏移挥扫动作对应的挥扫方向。
其中，第一位置区域包括第一侧的接近传感器1的第一测量区域，但不包括第二侧的接近传感器1的第一测量区域；第二位置区域包括第二侧的接近传感器1的第一测量区域，但不包括第一侧的接近传感器1的第一测量区域。
例如，在掌部位于左侧的左上接近传感器101、左下接近传感器102的第一测量区域内，且不位于右侧的右上接近传感器103、右下接近传感器104的第一测量区域内时，将掌部在左侧的位置确定为起点。
在掌部位于右侧的右上接近传感器103、右下接近传感器104的第一测量区域内，且不位于左侧的左上接近传感器101、左下接近传感器102的第一测量区域内时，将掌部在右侧的位置确定为终点。
在掌部在5s内从起点移动至终点时，确定出偏移挥扫动作对应的切换方向为从左往右，即，切换操作为从左往右切换。
第一测量区域是指接近传感器1能够测量目标物品的有效测量区域。
第二测量区域是指接近传感器1能够测量目标物品的近距测量区域。
例如，设置近距测量区域为H1，比如，H1为0-3cm；设置有效测量区域为 H2，比如，H2为3-15cm。
可选地，为了保证测量过程中掌部与掌部交互设备5保持平齐，在掌部位于左侧的左上接近传感器101、左下接近传感器102的第一测量区域内时，左侧中的左上接近传感器101、左下接近传感器102测得的距离测量值之间的差值小于预设值；在掌部位于右侧的右上接近传感器103、右下接近传感器104的右测量区域内时，右侧中的右上接近传感器103、右下接近传感器104测得的距离测量值之间的差值小于预设值。
示例性地，第二响应操作包括选择操作。掌部交互设备5根据远近拍击动作的动作参数值，确定出远近拍击动作对应的选择操作的类别；掌部交互设备5 基于选择操作的类别控制掌部交互设备5执行选择操作。
例如，在对掌部交互设备5进行系统设置的场景下，操作者可通过远近拍击动作实现对系统界面的选择操作或退出操作。在掌部同时进入至少两个接近传感器1的第一测量区域内时，将掌部进入第一测量区域的时间点确定为第一起始时间点T1；在第一起始时间点T1后的第一时间段T2内，接近传感器1测得的距离测量值同时减小，且在第一时间段T2后的第二时间段T3内，接近传感器1测得的距离测量值同时增大或保持不变的情况下，则，确定出远近拍击动作对应的选择操作为确定操作，第一时间段大于第二时间段，T1、T2、T3为正数。
例如，在对掌部交互设备5进行系统设置的场景下，操作者可通过远近拍击动作实现对系统界面的选择操作或退出操作。在掌部同时进入至少两个接近传感器1的第一测量区域内时，确定第二起始时间点t1；在第二起始时间点t1 后的第一时间段t2内，在至少两个接近传感器1测得的距离测量值同时增大的情况下，确定出远近拍击动作对应的选择操作为退出操作。
可选地，在掌部进入接近传感器1的第一测量区域内时，确定第二起始时间点t1；在第二起始时间点t1后的第一时间段t2内，接近传感器1测得的距离测量值同时增大，且在第一时间段后的第二时间段t3内，接近传感器1测得的距离测量值同时减小或保持不变的情况下，确定出远近拍击动作对应的选择操作为退出操作，t1、t2、t3为正数。
示例性地，掌部交互设备5通过摄像头2获取掌部的掌部图像；掌部交互设备5基于掌部图像确定掌部图像对应的对象标识；在确定出对象标识且掌部在接近传感器1的第二测量区域停留时间大于停留时间阈值的情况下，控制掌部交互设备进入交互模式。
示例性地，掌部交互设备5响应于偏移挥扫动作，在显示屏3上显示偏移挥扫动作对应的第一响应操作；掌部交互设备5响应于远近拍击动作，在显示屏3上显示远近拍击动作对应的第二响应操作。
综上所述，本实施例提供的方法，通过掌部交互设备上阵列设置的至少两个接近传感器识别掌部的悬空交互动作，根据悬空交互动作，控制掌部交互设备执行悬空交互动作对应的响应操作。本申请提供了一种新的交互方式，通过接近传感器获取掌部的悬空交互动作，从而无需触摸或任何物理性地接触便可实现用户对掌部交互设备的控制，提高了交互效率。
图2示出了本申请一个实施例提供的计算机系统的架构示意图。该计算机系统可以包括：掌部交互设备掌部交互设备100和服务器200。
掌部交互设备掌部交互设备100可以是诸如手机、平板电脑、车载终端(车机)、可穿戴设备、个人计算机(Personal Computer，PC)、掌部图像识别语音交互设备、掌部图像识别家电、车载终端、飞行器、无人售货终端等电子设备。掌部交互设备100中可以安装运行目标应用程序的客户端，该目标应用程序可以是参考基于掌部交互的应用程序，也可以是提供有基于掌部交互功能的其他应用程序，本申请对此不作限定。另外，本申请对该目标应用程序的形式不作限定，包括但不限于安装在掌部交互设备100中的应用程序(Application，App)、小程序等，还可以是网页形式。
服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工掌部图像识别平台等基础云计算服务的云服务器。服务器200可以是上述目标应用程序的后台服务器，用于为目标应用程序的客户端提供后台服务。
其中，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
在一些实施例中，上述服务器还可以实现为区块链系统中的节点。区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
掌部交互设备100和服务器200之间可以通过网络进行通信，如有线或无线网络。
本申请实施例提供的基于掌部的人机交互方法，各步骤的执行主体可以是掌部交互设备，所述掌部交互设备是指具备数据计算、处理和存储能力的电子设备。以图2所示的方案实施环境为例，可以由掌部交互设备100执行基于掌部的人机交互方法(如掌部交互设备100中安装运行的目标应用程序的客户端执行基于掌部的人机交互方法)，也可以由服务器200执行该基于掌部的人机交互方法，或者由掌部交互设备100和服务器200交互配合执行，本申请对此不作限定。
图3是本申请一个示例性实施例提供的基于掌部的人机交互方法的流程图。该方法用于具有接近传感器的掌部交互设备，该方法可以由掌部交互设备执行。该方法包括：
步骤302：获取至少两个接近传感器采集的传感器数据。
示例性地，至少两个接近传感器在掌部交互设备上阵列设置。
可选地，在有四个接近传感器的情况下，四个接近传感器以左上、左下、右上、右下位置矩形排布；或，四个接近传感器以上、下、左、右位置菱形排布，但不限于此，本申请实施例对此不作具体限定。
可选地，在有两个接近传感器的情况下，两个接近传感器对称设置。
接近传感器是一种非接触式传感器，能够感知物体是否接近，或，测量物体的距离。
步骤304：通过至少两个接近传感器的传感器数据，识别掌部的悬空交互动作。
悬空交互动作是指在掌部交互设备的上方悬空区域内触发的交互动作。也就是说，上述悬空交互动作实现了在不触摸屏幕或按键的情况下对掌部交互设备的控制操作。
示例性地，悬空交互动作包括偏移挥扫动作和/或远近拍击动作中的至少一种。
可选地，偏移挥扫动作是指在同一平面进行的挥扫性的动作。偏移挥扫动作包括从左往右挥扫、从右往左挥扫、从上往下挥扫、从下往上挥扫、斜向挥扫中的至少一种，但不限于此，本申请实施例对此不作具体限定。
可选地，远近拍击动作是指掌部朝向掌部交互设备接近或远离的隔空动作。
步骤306：根据悬空交互动作，控制掌部交互设备执行悬空交互动作对应的响应操作。
示例性地，在掌部交互设备中的接近传感器识别出掌部的悬空交互动作后，掌部交互设备根据该悬空交互动作执行对应的响应操作。
例如，在对掌部交互设备进行系统设置的情况下，在掌部交互设备中的接近传感器识别出掌部是从左往右挥扫时，掌部交互设备根据该从左往右挥扫动作，执行翻页操作，即切换显示左侧的界面。
综上所述，本实施例提供的方法，通过掌部交互设备上阵列设置的至少两个接近传感器采集传感器数据，并基于传感器数据识别掌部的悬空交互动作，根据悬空交互动作，控制掌部交互设备执行悬空交互动作对应的响应操作。本申请提供了一种新的交互方式，通过接近传感器识别掌部的悬空交互操作，从而无需触摸或任何物理性地接触便可实现用户对掌部交互设备的控制，提高了交互效率。
图4是本申请一个示例性实施例提供的基于掌部的人机交互方法的流程图。该方法用于具有接近传感器的掌部交互设备，该方法可以由掌部交互设备执行。该方法包括：
步骤402：获取至少两个接近传感器采集的传感器数据。
示例性地，至少两个接近传感器在掌部交互设备上阵列设置。
步骤404：通过至少两个接近传感器的传感器数据，识别掌部的悬空交互动作。
悬空交互动作是指在掌部交互设备的上方悬空区域内触发的交互动作。也就是说，上述悬空交互动作实现了在不触摸屏幕或按键的情况下对掌部交互设备的控制操作。
示例性地，掌部交互设备响应于偏移挥扫动作，在显示屏上显示偏移挥扫动作对应的第一响应操作；掌部交互设备响应于远近拍击动作，在显示屏上显示远近拍击动作对应的第二响应操作。
如图5所示出的掌部交互设备的示意图。掌部交互设备包括四个接近传感器501、摄像头502、显示屏503和光圈504。显示屏503设置于掌部交互设备的左侧，但不限于此，本申请实施例对显示屏503的位置、大小不作具体限定。
掌部交互设备通过接近传感器501识别掌部的悬空交互动作，掌部交互设备根据悬空交互动作，控制掌部交互设备执行悬空交互动作对应的响应操作。
光圈504用于辅助实现基于掌部的人机交互方法。例如，通过光圈504的范围确定交互的范围，操作者以光圈504的圆心为中心，在光圈504范围内或光圈504以外的第一范围内进行悬空交互动作；或，在悬空交互时，通过光圈 504的颜色或亮度变化，反馈出掌部与掌部交互设备之间的交互结果。比如，在掌部与掌部交互设备之间交互成功后，光圈504闪一下；在掌部与掌部交互设备之间交互失败后，光圈504连续闪动。
步骤406：根据偏移挥扫动作，控制掌部交互设备执行偏移挥扫动作对应的第一响应操作。
偏移挥扫动作是指在同一平面进行的挥扫性的动作。
偏移挥扫动作包括从左往右挥扫、从右往左挥扫、从上往下挥扫、从下往上挥扫、斜向挥扫中的至少一种，但不限于此，本申请实施例对此不作具体限定。
示例性地，掌部交互设备根据偏移挥扫动作，控制掌部交互设备执行偏移挥扫动作对应的第一响应操作。
示例性地，第一响应操作包括切换操作、翻页操作、平移操作、调节显示比例操作中的至少一种，但不限于此，本申请实施例对此不作具体限定。
可选地，第一响应操作包括切换操作。掌部交互设备根据偏移挥扫动作的动作参数值，确定出偏移挥扫动作对应的挥扫方向；掌部交互设备基于挥扫方向控制掌部交互设备执行切换操作。
可选地，在掌部进入第一位置区域时，将掌部在第一位置区域的位置确定为起点；在掌部进入第二位置区域时，将掌部在第二位置区域的位置确定为终点；在掌部从起点移动至终点的时间小于第一时间阈值的情况下，将起点指向终点的方向确定为偏移挥扫动作对应的挥扫方向。
其中，第一位置区域包括第一侧的接近传感器的第一测量区域，但不包括第二侧的接近传感器的第一测量区域；第二位置区域包括第二侧的接近传感器的第一测量区域，但不包括第一侧的接近传感器的第一测量区域。
第一测量区域是指接近传感器能够测量目标物品的有效测量区域。
第二测量区域是指接近传感器能够测量目标物品的近距测量区域。
例如，设置近距测量区域为H1，比如，H1为远离接近传感器的0-3cm内的区域；设置有效测量区域为H2，比如，H2为远离接近传感器的3-15cm内的区域。
例如，在掌部位于左侧的接近传感器的第一测量区域内，且不位于右侧的接近传感器的第一测量区域内时，将掌部在左侧的位置确定为起点。在掌部位于右侧的接近传感器的第一测量区域内，且不位于左侧的接近传感器的第一测量区域内时，将掌部在右侧的位置确定为终点。在掌部在5s内从起点移动至终点时，确定出偏移挥扫动作对应的切换方向为从左往右，即，切换操作为从左往右切换。掌部交互设备根据偏移挥扫动作的切换方向，控制掌部交互设备执行从左往右切换的切换操作。
可选地，为了保证测量过程中掌部与掌部交互设备保持平齐，在掌部位于第一侧的接近传感器的第一测量区域内时，第一侧中的至少两个接近传感器测得的距离测量值之间的差值小于预设值；在掌部位于第二侧的接近传感器的右测量区域内时，第二侧中的至少两个接近传感器测得的距离测量值之间的差值小于预设值。
示例性地，如图6所示出的偏移挥扫动作对应的切换操作的示意图。在掌部交互设备中设置有四个接近传感器601和显示屏602，四个接近传感器601以左上、左下、右上、右下位置矩形排布。在对掌部交互设备进行系统设置的场景下，在掌部同时位于右上、右下两个接近传感器601的第一测量区域内，且不位于左上、左下两个接近传感器601的第一测量区域内时，确定当前时刻的掌部所在的位置为起点。在掌部同时位于左上、左下两个接近传感器601的第一测量区域内，且不位于右上、右下两个接近传感器601的第一测量区域内时，确定当前时刻的掌部所在位置为终点。在掌部在5s内从起点移动至终点时，确定出偏移挥扫动作对应的切换方向为从右往左，即，切换操作为从右往左切换。掌部交互设备根据偏移挥扫动作的切换方向，在显示屏602上显示从右往左切换系统界面，即，从“你好！管理员”界面切换至“设置！应用设置”界面。
在掌部同时位于左上、左下两个接近传感器601的第一测量区域内，且位于右上、右下两个接近传感器601的第一测量区域内的情况下，此时，接近传感器601测得的数据为无效数据。
在掌部从第一位置移动至第二位置的时间超过第一时间阈值(5s)的情况下，此时，接近传感器601在掌部在第一位置、第二位置测得的数据为无效数据。
可选地，第一响应操作包括平移操作。示例性地，如图7所示出的偏移挥扫动作对应的平移操作的示意图。掌部交互设备包括四个接近传感器701、摄像头702、显示屏703和光圈704。显示屏703设置于掌部交互设备的左侧，但不限于此，本申请实施例对显示屏703的位置、大小不作具体限定。掌部交互设备在基于摄像头702获取掌部图像，并确定掌部图像对应的对象标识后，在显示屏703中显示掌部对应的掌部标识705，掌部标识705在显示屏703中的移动轨迹用以表示掌部在掌部交互设备外的悬空区域的偏移挥扫动作。
例如，掌部在掌部交互设备外的悬空区域从左往右挥扫时，掌部标识705 在显示屏703中同样从左往右移动，使得用户能够实时知道掌部相对于掌部交互设备的位置。
可选地，第一响应操作包括调节显示比例操作。示例性地，如图8所示出的偏移挥扫动作对应的调节显示比例操作示意图。显示屏上包括滑动控件，滑动控件包括滑轨802和滑标801。掌部交互设备在基于摄像头获取掌部图像，并确定掌部图像对应的对象标识后，在显示屏中显示掌部对应的掌部标识803，掌部相对于掌部交互设备的位置发生变化时，在显示屏中的掌部标识803相对发生移动。在掌部标识803移动至滑标801位置时，滑标801所在的局部区域的显示比例从第一比例放大至第二比例，第二比例大于第一比例。通过移动掌部标识803，掌部标识803控制滑标801在滑轨802上移动，从而实现环境参数的调节显示比例操作。
例如，在掌部标识803移动至滑标801位置时，滑标801所在的局部区域的显示比例放大1.5倍，通过移动掌部标识803，掌部标识803控制滑标801在滑轨802上移动，掌部在掌部交互设备外的悬空区域从左往右挥扫时，环境参数对应的滑轨802上的滑标801同样从左往右调节。
步骤408：根据远近拍击动作，控制掌部交互设备执行远近拍击动作对应的第二响应操作。
示例性地，第二响应操作包括确定操作、退出操作、数量增加操作、数量减少操作中的至少一种，但不限于此，本申请实施例对此不作具体限定。
示例性地，第二响应操作包括选择操作。掌部交互设备根据远近拍击动作的动作参数值，确定出远近拍击动作对应的选择操作的类别；计算机设基于选择操作的类别控制掌部交互设备执行选择操作。
可选地，选择操作包括确定操作、退出操作中的至少一种，但不限于此。
示例性地，在掌部同时进入至少两个接近传感器的第一测量区域内时，将掌部进入第一测量区域的时间点确定为第一起始时间点；在第一起始时间点后的第一时间段内，至少两个接近传感器测得的距离测量值同时减小，且在第一时间段后的第二时间段内，至少两个接近传感器测得的距离测量值同时增大或保持不变的情况下，确定出远近拍击动作对应的选择操作为确定操作，第一时间段大于第二时间段。
例如，在对掌部交互设备进行系统设置的场景下，操作者可通过远近拍击动作实现对系统界面的选择操作。在掌部同时进入至少两个接近传感器的第一测量区域内时，确定第一起始时间点T1；在第一起始时间点T1后的第一时间段T2内，至少两个接近传感器测得的距离测量值同时减小，且在第一时间段 T2后的第二时间段T3内，至少两个接近传感器测得的距离测量值同时增大或保持不变的情况下，则，确定出远近拍击动作对应的选择操作为确定操作。
示例性地，如图9所示出的远近拍击动作对应的确定操作示意图。在掌部交互设备903中设置有四个接近传感器901和显示屏902，四个接近传感器901 以左上、左下、右上、右下位置矩形排布。在对掌部交互设备903进行系统设置的场景下，在掌部同时进入至少三个接近传感器901的第一测量区域内时，确定第一起始时间点T1；在第一起始时间点T1后的第一时间段T2内，至少三个接近传感器901测得的距离测量值同时减小，且在第一时间段T2后的第二时间段T3内，至少三个接近传感器901测得的距离测量值同时增大或保持不变的情况下，即，在时间段T1+T2内，掌部向接近掌部交互设备903的方向移动，在时间段(T1+T2)至(T1+T2+T3)内，掌部向远离掌部交互设备903的方向移动或保持不动，则，掌部交互设备确定出远近拍击动作对应的选择操作为确定操作，也可称为隔空按击操作。
示例性地，在掌部同时进入至少两个接近传感器的第一测量区域内时，将掌部同时进入第一测量区域的时间确定为第二起始时间点；在第二起始时间点后的第一时间段内，至少两个接近传感器测得的距离测量值同时增大的情况下，确定出远近拍击动作对应的选择操作为退出操作。
可选地，在掌部同时进入至少两个接近传感器的第一测量区域内时，将掌部同时进入第一测量区域的时间确定为第二起始时间点；在第二起始时间点后的第一时间段内，至少两个接近传感器测得的距离测量值同时增大，且在第一时间段后的第二时间段内，至少两个接近传感器测得的距离测量值同时减小或保持不变的情况下，确定出远近拍击动作对应的选择操作为退出操作。
例如，在对掌部交互设备进行系统设置的场景下，操作者可通过远近拍击动作实现对系统界面的退出操作。在掌部同时进入至少两个接近传感器的第一测量区域内时，确定第二起始时间点t1；在第二起始时间点t1后的第一时间段t2内，在至少两个接近传感器测得的距离测量值同时增大的情况下，确定出远近拍击动作对应的选择操作为退出操作。
可选地，在掌部同时进入至少两个接近传感器的第一测量区域内时，确定第二起始时间点t1；在第二起始时间点t1后的第一时间段t2内，至少两个接近传感器测得的距离测量值同时增大，且在第一时间段后的第二时间段t3内，至少两个接近传感器测得的距离测量值同时减小或保持不变的情况下，确定出远近拍击动作对应的选择操作为退出操作。
示例性地，如图10所示出的远近拍击动作对应的退出操作的示意图。在掌部交互设备中设置有四个接近传感器1001和显示屏1002，四个接近传感器1001 以左上、左下、右上、右下位置矩形排布。在对掌部交互设备1003进行系统设置的场景下，在掌部同时位于至少三个接近传感器001的第一测量区域内的前半部分(靠近掌部交互设备部分)时，确定第二起始时间点t1；在第二起始时间点t1后的第一时间段t2内，至少三个接近传感器1001测得的距离测量值同时增大的情况下，即，在时间段t1+t2内，掌部向远离掌部交互设备1003的方向移动，则，掌部交互设备确定出远近拍击动作对应的选择操作为退出操作，也可称为隔空回退操作。
进一步的，在掌部同时位于至少三个接近传感器001的第一测量区域内的前半部分时，确定第二起始时间点t1；在第二起始时间点t1后的第一时间段t2 内，至少三个接近传感器1001测得的距离测量值同时增大，且在第一时间段t2 后的第二时间段t3内，至少三个接近传感器1001测得的距离测量值同时减小或保持不变的情况下，即，在时间段t1+t2内，掌部向远离掌部交互设备1003的方向移动，在时间段(t1+t2)至(t1+t2+t3)内，掌部向接近掌部交互设备的方向移动或保持不动，则，掌部交互设备确定出远近拍击动作对应的选择操作为退出操作，也可称为隔空回退操作。
可选地，第二响应操作包括数量增、减操作。示例性地，如图11所示出的远近拍击动作对应的数量增、减操作的示意图。在选择点菜场景中，在显示屏 1103上显示有菜品标识1002。掌部交互设备1104在基于摄像头获取掌部图像，并确定掌部图像对应的对象标识后，在显示屏1103中显示掌部对应的掌部标识 1101，掌部相对于掌部交互设备1104的位置发生变化时，在显示屏中的掌部标识1101相对发生移动。在掌部标识1101移动至菜品标识1002位置且在菜品标识1002位置停留3s时，选中该菜品标识1002，通过远近拍击动作实现对选中菜品标识1002的份数的增、减。
例如，在掌部同时进入至少两个接近传感器的第一测量区域内时，确定第一起始时间点T1；在第一起始时间点T1后的第一时间段T2内，至少两个接近传感器测得的距离测量值同时减小，且在第一时间段T2后的第二时间段T3内，至少两个接近传感器测得的距离测量值同时增大或保持不变的情况下，则，确定出远近拍击动作对应的选择操作为数量增加操作。
在掌部同时进入至少两个接近传感器的第一测量区域内时，确定第二起始时间点t1；在第二起始时间点t1后的第一时间段t2内，至少两个接近传感器测得的距离测量值同时增大，且在第一时间段后的第二时间段t3内，至少两个接近传感器测得的距离测量值同时减小或保持不变的情况下，确定出远近拍击动作对应的选择操作为数量减少操作。
在一种可能的实现方式中，在获取至少两个接近传感器采集的传感器数据之前，还包括：掌部交互设备通过摄像头获取掌部的掌部图像；基于掌部图像确定掌部图像对应的对象标识；在确定对象标识且掌部在接近传感器的第二测量区域停留时间大于停留时间阈值的情况下，控制掌部交互设备进入交互模式。
示例性地，如图12所示出的掌部交互设备进入交互模式的示意图。在掌部交互设备中设置有四个接近传感器1201、显示屏1202和摄像头1203，四个接近传感器1201以左上、左下、右上、右下位置矩形排布。掌部交互设备通过摄像头1203获取掌部的掌部图像；掌部交互设备基于掌部图像确定掌部图像对应的对象标识；在确定对象标识且掌部在接近传感器1201的第二测量区域停留时间大于停留时间阈值的情况下，控制掌部交互设备进入交互模式，在显示屏1202 上显示设置界面。
例如，设置停留时间阈值为15s，在掌部交互设备通过摄像头1203确定对象标识，且掌部在距接近传感器1201的3cm的区域内的停留时间大于15s的情况下，掌部交互设备进入交互模式，在显示屏1202上显示设置界面。
掌部图像为待确定目标对象标识的掌部图像，该掌部图像中包含手掌，该手掌为待验证身份的目标对象的手掌，该掌部图像还可以包含其他的信息，如目标对象的手指、拍摄目标对象手掌时所处的场景等。
示例性地，如图13所示出的手掌中手指缝点的示意图，手指缝点为食指与中指之间的第一手指缝点1301，或，手指缝点为中指与无名指之间的第二手指缝点1302，或，手指缝点为无名指与小指之间的第三手指缝点1303。
由于在掌部图像中的掌部区域可能存在于该掌部图像中的任一区域，为了能够确定掌部区域在该掌部图像中的位置，通过对该掌部图像进行手指缝点检测，从而得到掌部图像的至少一个手指缝点，以便后续能够根据该至少一个手指缝点，确定掌部区域。
示例性地，掌部交互设备对对象的手掌进行拍摄，得到掌部图像。其中，该掌部图像中包含该手掌，该手掌可以为对象的左手掌，也可以为对象的右手掌。例如，该掌部交互设备为物联网设备，该物联网设备通过摄像头拍摄对象的左手掌，得到掌部图像，该物联网设备可以为掌部交互设备。
示例性地，摄像头包括彩色摄像头和红外摄像头。掌部交互设备通过彩色摄像头获取掌部的彩色图像；通过红外摄像头获取同一掌部的红外图像；掌部交互设备基于彩色图像和红外图像进行掌部对比识别处理，确定掌部图像对应的对象标识。
彩色图像是指彩色相机基于自然光对掌部成像所得到的图像。
红外图像是指红外相机基于红外光对掌部成像所得到的图像。
掌部对比识别处理是指将掌部区域的特征与数据库中的预设掌部特征进行对比识别。
预设掌部特征为存储的对象标识掌部的掌部特征，每个预设掌部特征具有对应的对象标识，表示该预设掌部特征属于该对象标识，是该对象掌部的掌部特征。该对象标识可以为任意的对象标识，如，该对象标识为支付应用中注册的对象标识，或，该对象标识为企业中登记的对象标识。
在本申请实施例中，掌部交互设备中包括数据库，该数据库中包括多个预设掌部特征，及每个预设掌部特征对应的对象标识。在该数据库中，预设掌部特征与对象标识可以是一一对应，也可以是一个对象标识对应至少两个预设掌部特征。
例如，多个对象在掌部交互设备中进行注册，通过将每个对象的预设掌部特征与对应的对象标识进行绑定，将多个对象的掌部特征与对应的对象标识对应存储于数据库中，后续对象使用掌部交互设备时，通过对红外图像、彩色图像与数据库中的预设掌部特征进行掌部对比识别处理，来确定对象标识，实现对对象的身份验证。
综上所述，本实施例提供的方法，通过掌部交互设备上阵列设置的至少两个接近传感器采集传感器数据，并基于传感器数据识别掌部的偏移挥扫动作和远近拍击动作，根据偏移挥扫动作和远近拍击动作，控制掌部交互设备执行切换操作、确定操作、退出操作。本申请提供了一种新的交互方式，通过接近传感器识别掌部的悬空交互操作，从而无需触摸或任何物理性地接触便可实现用户对掌部交互设备的控制，提高了交互效率。
需要说明的是，掌部作为生物特征的一种，具有生物唯一性与区分性。相对于目前被广泛应用于核身、支付、门禁、乘车等领域的面部识别，掌部不会受化妆、口罩、墨镜等影响，可以提高对象身份验证的准确率。在某些场景下，需要佩戴口罩遮住口鼻，这种情况下使用掌部图像进行身份验证可以作为一种更好的选择。
图14是本申请一个示例性实施例提供的基于掌部的人机交互方法的跨设备悬空交互的示意图。该方法涉及第一掌部交互设备1401、第二掌部交互设备1403 及应用服务器1402。
其中，第一掌部交互设备1401安装有应用程序，例如，支付应用，第一掌部交互设备1401基于对象标识登录支付应用，与应用服务器1402建立通信连接，通过该通信连接，第一掌部交互设备1401与应用服务器1402可以进行交互，对象可通过悬空交互动作对第一掌部交互设备1401进行控制，比如，进行支付应用设置；第二掌部交互设备1403均安装有支付应用，第二掌部交互设备 1403基于商户标识登录支付应用，与应用服务器1402建立通信连接，通过该通信连接，第二掌部交互设备1403与应用服务器1402可以进行交互，对象可通过悬空交互动作对第二掌部交互设备1403进行控制，比如，支付应用设置。
该跨设备悬空交互动流程包括：
1、对象在家中手持第一掌部交互设备1401，通过该第一掌部交互设备1401 拍摄对象自己的手掌，得到该对象的掌部图像，基于对象标识登录支付应用，向应用服务器1402发送掌部图像注册请求，该掌部图像注册请求携带该对象标识及掌部图像。
2、应用服务器1402接收到第一掌部交互设备1401发送的掌部图像注册请求，对掌部图像进行处理，得到该掌部图像的掌部特征，将该掌部特征与该对象标识进行对应存储，向第一掌部交互设备1401发送掌部图像绑定成功通知。
其中，应用服务器1402将掌部特征与对象标识进行对应存储后，将该掌部特征作为预设掌部特征，后续可以通过存储的预设掌部特征，来确定对应的对象标识。
3、第一掌部交互设备1401接收到掌部图像绑定成功通知，显示该掌部图像绑定成功通知，提示对象掌部图像与对象标识绑定。
其中，对象通过自己的第一掌部交互设备1401与应用服务器1402之间的交互，完成掌部图像注册，后续可以通过掌部图像快速实现识别，从而控制第一掌部交互设备1401进入人机交互模式，通过悬空交互动作对第一掌部交互设备1401进行控制。
4、对象在其他地方与第二掌部交互设备1403进行人机交互时，第二掌部交互设备1403拍摄该对象的手掌，得到掌部图像，基于第二掌部交互设备1403 中登录的支付应用，向应用服务器1402发送支付应用设置请求，该支付应用设置请求携带该第二掌部交互设备1403的标识、悬空交互动作及掌部图像。
5、应用服务器1402接收到支付应用设置请求后，对掌部图像进行掌部对比识别处理，确定该掌部图像的对象标识，基于悬空交互动作完成支付应用设置，在支付应用设置完成后，向第二掌部交互设备1403发送支付应用设置完成通知。
其中，对象在利用第一掌部交互设备1401进行掌部图像注册后，可以直接对第二掌部交互设备1403进行支付应用设置，无需对象在第二掌部交互设备 1403上进行掌部图像注册，从而实现了跨设备基于掌部的人机交互的效果，提高了便捷性。
6、第二掌部交互设备1403接收到支付应用设置完成通知后，显示该支付应用设置完成通知，提示对象支付应用设置完成，以使对象知悉第二掌部交互设备1403已设置完成。
示意性的，本申请实施例提供的基于掌部的人机交互功能仅为掌部交互设备中的一种功能，掌部交互设备的应用场景包括但不限于以下场景：
例如，掌部图像识别支付场景下：
商户的掌部交互设备通过拍摄对象的手掌，获取到该对象的掌部图像，采用本申请实施例提供的基于掌部的人机交互方法，确定该掌部图像的目标对象标识，将该目标对象标识对应的资源账户中的部分资源，转入到商户资源账户中，实现通过掌部自动支付。
又如，跨设备支付场景下：
对象可以在家或其他私密空间使用个人手机完成身份注册，将该对象的账号与该对象的掌部图像进行绑定，之后可以到店内设备上对该对象的掌部图像进行识别，确定该对象的账号，通过该账号直接支付。
再例如，上班打卡场景下：
掌部交互设备通过拍摄对象的手掌，获取到该对象的掌部图像，采用本申请实施例提供的基于掌部的人机交互方法，确定该掌部图像的目标对象标识，为该目标用对象标识建立打卡标记，确定该目标对象标识在当前时间已完成上班打卡。
当然，除了应用于上述场景外，本申请实施例提供方法还可以应用于其他需要基于掌部的人机交互的场景，本申请实施例并不对具体的应用场景进行限定。
图15示出了本申请一个示例性实施例提供的基于掌部的人机交互装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，该装置包括：
获取模块1501，用于获取至少两个接近传感器采集的传感器数据，所述至少两个接近传感器在所述掌部交互设备上阵列设置；
识别模块1502，用于通过所述至少两个接近传感器的传感器数据，识别所述掌部的悬空交互动作；
控制模块1503，用于根据所述悬空交互动作，控制所述掌部交互设备执行所述悬空交互动作对应的响应操作。
在一种可能的实现方式中，控制模块1503，还用于根据所述偏移挥扫动作，控制所述掌部交互设备执行所述偏移挥扫动作对应的第一响应操作。
在一种可能的实现方式中，控制模块1503，还用于根据所述远近拍击动作，控制所述掌部交互设备执行所述远近拍击动作对应的第二响应操作。
在一种可能的实现方式中，控制模块1503，还用于根据所述偏移挥扫动作的动作参数值，确定出所述偏移挥扫动作对应的挥扫方向；基于所述挥扫方向控制所述掌部交互设备执行所述切换操作。
在一种可能的实现方式中，控制模块1503，还用于在所述掌部进入第一位置区域时，将所述掌部在所述第一位置区域的位置确定为起点，所述第一位置区域包括第一侧的所述接近传感器的第一测量区域，但不包括第二侧的所述接近传感器的第一测量区域；在所述掌部进入第二位置区域时，将所述掌部在所述第二位置区域的位置确定为终点，所述第二位置区域包括第二侧的所述接近传感器的第一测量区域，但不包括第一侧的所述接近传感器的第一测量区域；在所述掌部从所述起点移动至所述终点的时间小于第一时间阈值的情况下，将所述起点指向所述终点的方向确定为所述偏移挥扫动作对应的所述挥扫方向。
在一种可能的实现方式中，控制模块1503，还用于根据所述远近拍击动作的动作参数值，确定出所述远近拍击动作对应的所述选择操作的类别；
基于所述选择操作的类别控制所述掌部交互设备执行所述选择操作。
在一种可能的实现方式中，控制模块1503，还用于在所述掌部同时进入所述至少两个接近传感器的第一测量区域内时，将所述掌部进入所述第一测量区域的时间点确定为第一起始时间点；在所述第一起始时间点后的第一时间段内，所述接近传感器测得的距离测量值同时减小，且在所述第一时间段后的第二时间段内，所述接近传感器测得的距离测量值同时增大或保持不变的情况下，确定出所述远近拍击动作对应的所述选择操作为所述确定操作，所述第一时间段大于所述第二时间段。
在一种可能的实现方式中，控制模块1503，还用于在所述掌部同时进入所述至少两个接近传感器的第一测量区域内时，将所述掌部进入所述第一测量区域的时间确定为第二起始时间点；在所述第二起始时间点后的第一时间段内，且所述接近传感器测得的距离测量值同时增大的情况下，确定出所述远近拍击动作对应的所述选择操作为所述退出操作。
在一种可能的实现方式中，控制模块1503，还用于在所述第二起始时间点后的第一时间段内，所述接近传感器测得的距离测量值同时增大，且在所述第一时间段后的第二时间段内，所述接近传感器测得的距离测量值同时减小或保持不变的情况下，确定出所述远近拍击动作对应的所述选择操作为所述退出操作，所述第一时间段大于所述第二时间段。
在一种可能的实现方式中，获取模块1501，还用于通过所述摄像头获取所述掌部的掌部图像。
在一种可能的实现方式中，识别模块1502，还用于基于所述掌部图像确定所述掌部图像对应的对象标识。
在一种可能的实现方式中，控制模块1503，还用于在确定所述对象标识且所述掌部在所述接近传感器的第二测量区域停留时间大于停留时间阈值的情况下，控制所述掌部交互设备进入交互模式。
在一种可能的实现方式中，获取模块1501，还用于通过所述彩色摄像头获取所述掌部的彩色图像，所述彩色图像是指彩色相机基于自然光对所述掌部成像所得到的图像。
在一种可能的实现方式中，获取模块1501，还用于通过所述红外摄像头获取同一所述掌部的红外图像，所述红外图像是指红外相机基于红外光对所述掌部成像所得到的图像。
在一种可能的实现方式中，识别模块1502，还用于基于所述彩色图像和所述红外图像进行掌部对比识别处理，确定所述掌部图像对应的所述对象标识。
显示模块1504，用于响应于所述偏移挥扫动作，在所述显示屏上显示所述偏移挥扫动作对应的所述第一响应操作。
在一种可能的实现方式中，显示模块1504，用于响应于所述远近拍击动作，在所述显示屏上显示所述远近拍击动作对应的所述第二响应操作。
图16示出了本申请一示例性实施例示出的计算机设备1600的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述图像计算机设备 1600包括中央处理单元(Central Processing Unit，CPU)1601、包括随机存取存储器(Random Access Memory，RAM)1602和只读存储器(Read-Only Memory， ROM)1603的系统存储器1604，以及连接系统存储器1604和中央处理单元1601 的系统总线1605。所述图像计算机设备1600还包括用于存储操作系统1609、应用程序1610和其他程序模块1611的大容量存储设备16061606。
所述大容量存储设备1606通过连接到系统总线1605的大容量存储控制器 (未示出)连接到中央处理单元1601。所述大容量存储设备1606及其相关联的计算机可读介质为图像计算机设备1600提供非易失性存储。也就是说，所述大容量存储设备1606可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory，EPROM)、电子抹除式可复写只读存储器 (Electrically-Erasable Programmable Read-Only Memory，EEPROM)闪存或其他固态存储其技术，CD-ROM、数字多功能光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1604 和大容量存储设备1606可以统称为存储器。
根据本公开的各种实施例，所述计算机设备1600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即图像计算机设备1600可以通过连接在所述系统总线1605上的网络接口单元1607连接到网络1608，或者说，也可以使用网络接口单元1607来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括至少一段计算机程序，所述至少一段计算机程序存储于存储器中，中央处理器1601通过执行该至少一段程序来实现上述各个实施例所示的基于掌部的人机交互方法中的全部或部分步骤。
本申请实施例还提供一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条程序，该至少一条程序由处理器加载并执行以实现上述各方法实施例提供的基于掌部的人机交互方法。
本申请实施例还提供一种计算机可读存储介质，该存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现上述各方法实施例提供的基于掌部的人机交互方法。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；所述计算机程序由计算机设备的处理器从所述计算机可读存储介质读取并执行，使得所述计算机设备执行以实现上述各方法实施例提供的基于掌部的人机交互方法。
可以理解的是，在本申请的具体实施方式中，涉及到的数据，历史数据，以及画像等与用户身份或特性相关的用户数据处理等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同切换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种基于掌部的人机交互方法，其特征在于，所述方法应用于掌部交互设备，所述方法包括：
获取至少两个接近传感器采集的传感器数据，所述至少两个接近传感器在所述掌部交互设备上阵列设置；
通过所述至少两个接近传感器的传感器数据，识别所述掌部的悬空交互动作；
根据所述悬空交互动作，控制所述掌部交互设备执行所述悬空交互动作对应的响应操作。
2.根据权利要求1所述的方法，其特征在于，所述悬空交互动作包括偏移挥扫动作和/或远近拍击动作；
所述根据所述悬空交互动作，控制所述掌部交互设备执行所述悬空交互动作对应的响应操作，包括：
根据所述偏移挥扫动作，控制所述掌部交互设备执行所述偏移挥扫动作对应的第一响应操作；
根据所述远近拍击动作，控制所述掌部交互设备执行所述远近拍击动作对应的第二响应操作。
3.根据权利要求2所述的方法，其特征在于，所述第一响应操作包括切换操作；
所述根据所述偏移挥扫动作，控制所述掌部交互设备执行所述偏移挥扫动作对应的第一响应操作，包括：
根据所述偏移挥扫动作的动作参数值，确定出所述偏移挥扫动作对应的挥扫方向；
基于所述挥扫方向控制所述掌部交互设备执行所述切换操作。
4.根据权利要求3所述的方法，其特征在于，所述根据所述偏移挥扫动作的动作参数值，确定出所述偏移挥扫动作对应的挥扫方向，包括：
在所述掌部进入第一位置区域时，将所述掌部在所述第一位置区域的位置确定为起点，所述第一位置区域包括第一侧的所述接近传感器的第一测量区域，但不包括第二侧的所述接近传感器的第一测量区域；
在所述掌部进入第二位置区域时，将所述掌部在所述第二位置区域的位置确定为终点，所述第二位置区域包括第二侧的所述接近传感器的第一测量区域，但不包括第一侧的所述接近传感器的第一测量区域；
在所述掌部从所述起点移动至所述终点的时间小于第一时间阈值的情况下，将所述起点指向所述终点的方向确定为所述偏移挥扫动作对应的所述挥扫方向。
5.根据权利要求2所述的方法，其特征在于，所述第二响应操作包括选择操作；
所述根据所述远近拍击动作，控制所述掌部交互设备执行所述远近拍击动作对应的第二响应操作，包括：
根据所述远近拍击动作的动作参数值，确定出所述远近拍击动作对应的所述选择操作的类别；
基于所述选择操作的类别控制所述掌部交互设备执行所述选择操作。
6.根据权利要求5所述的方法，其特征在于，所述选择操作包括确定操作；
所述根据所述远近拍击动作的动作参数值，确定出所述远近拍击动作对应的所述选择操作的类别，包括：
在所述掌部同时进入所述至少两个接近传感器的第一测量区域内时，将所述掌部进入所述第一测量区域的时间点确定为第一起始时间点；
在所述第一起始时间点后的第一时间段内，所述接近传感器测得的距离测量值同时减小，且在所述第一时间段后的第二时间段内，所述接近传感器测得的距离测量值同时增大或保持不变的情况下，确定出所述远近拍击动作对应的所述选择操作为所述确定操作，所述第一时间段大于所述第二时间段。
7.根据权利要求5所述的方法，其特征在于，所述选择操作包括退出操作；
所述根据所述远近拍击动作的动作参数值，确定出所述远近拍击动作对应的所述选择操作的类别，包括：
在所述掌部同时进入所述至少两个接近传感器的第一测量区域内时，将所述掌部进入所述第一测量区域的时间确定为第二起始时间点；
在所述第二起始时间点后的第一时间段内，且所述接近传感器测得的距离测量值同时增大的情况下，确定出所述远近拍击动作对应的所述选择操作为所述退出操作。
8.根据权利要求7所述的方法，其特征在于，所述在所述第二起始时间点后的第一时间段内，且所述接近传感器测得的距离测量值同时增大的情况下，确定出所述远近拍击动作对应的所述选择操作为所述退出操作，包括：
在所述第二起始时间点后的第一时间段内，所述接近传感器测得的距离测量值同时增大，且在所述第一时间段后的第二时间段内，所述接近传感器测得的距离测量值同时减小或保持不变的情况下，确定出所述远近拍击动作对应的所述选择操作为所述退出操作，所述第一时间段大于所述第二时间段。
9.根据权利要求1至8任一所述的方法，其特征在于，所述掌部交互设备还包括摄像头；所述方法还包括：
通过所述摄像头获取所述掌部的掌部图像；
基于所述掌部图像确定所述掌部图像对应的对象标识；
在确定所述对象标识且所述掌部在所述接近传感器的第二测量区域停留时间大于停留时间阈值的情况下，控制所述掌部交互设备进入交互模式。
10.根据权利要求9所述的方法，其特征在于，所述摄像头包括彩色摄像头和红外摄像头；
所述通过所述摄像头获取所述掌部的掌部图像，包括：
通过所述彩色摄像头获取所述掌部的彩色图像，所述彩色图像是指彩色相机基于自然光对所述掌部成像所得到的图像；
通过所述红外摄像头获取同一所述掌部的红外图像，所述红外图像是指红外相机基于红外光对所述掌部成像所得到的图像；
所述基于所述掌部图像确定所述掌部图像对应的对象标识，包括：
基于所述彩色图像和所述红外图像进行掌部对比识别处理，确定所述掌部图像对应的所述对象标识。
11.根据权利要求2至8任一所述的方法，其特征在于，所述掌部交互设备还包括显示屏；所述方法还包括：
响应于所述偏移挥扫动作，在所述显示屏上显示所述偏移挥扫动作对应的所述第一响应操作；
响应于所述远近拍击动作，在所述显示屏上显示所述远近拍击动作对应的所述第二响应操作。
12.一种基于掌部的人机交互装置，其特征在于，所述装置包括：
获取模块，用于获取至少两个接近传感器采集的传感器数据，所述至少两个接近传感器在所述掌部交互设备上阵列设置；
识别模块，用于通过所述至少两个接近传感器的传感器数据，识别所述掌部的悬空交互动作；
控制模块，用于根据所述悬空交互动作，控制所述掌部交互设备执行所述悬空交互动作对应的响应操作。
13.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条计算机程序，至少一条所述计算机程序由所述处理器加载并执行以实现如权利要求1至11中任一项所述的基于掌部的人机交互方法。
14.一种计算机存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行以实现如权利要求1至11中任一项所述的基于掌部的人机交互方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；所述计算机程序由计算机设备的处理器从所述计算机可读存储介质读取并执行，使得所述计算机设备执行如权利要求1至11中任一项所述的基于掌部的人机交互方法。
CN202211196351.5A 2022-09-29 2022-09-29 基于掌部的人机交互方法、装置、设备、介质及程序产品 Pending CN117826978A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211196351.5A CN117826978A (zh) 2022-09-29 2022-09-29 基于掌部的人机交互方法、装置、设备、介质及程序产品
PCT/CN2023/117199 WO2024066977A1 (zh) 2022-09-29 2023-09-06 基于掌部的人机交互方法、装置、设备、介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211196351.5A CN117826978A (zh) 2022-09-29 2022-09-29 基于掌部的人机交互方法、装置、设备、介质及程序产品

Publications (1)

Publication Number Publication Date
CN117826978A true CN117826978A (zh) 2024-04-05

Family

ID=90476003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211196351.5A Pending CN117826978A (zh) 2022-09-29 2022-09-29 基于掌部的人机交互方法、装置、设备、介质及程序产品

Country Status (2)

Country Link
CN (1) CN117826978A (zh)
WO (1) WO2024066977A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8432372B2 (en) * 2007-11-30 2013-04-30 Microsoft Corporation User input using proximity sensing
JP5946162B2 (ja) * 2012-11-27 2016-07-05 ネオノード インコーポレイテッド ステアリングホイール及びダッシュボード上の光ベースのタッチコントロール
US9602806B1 (en) * 2013-06-10 2017-03-21 Amazon Technologies, Inc. Stereo camera calibration using proximity data
US10168776B2 (en) * 2016-08-23 2019-01-01 International Business Machines Corporation Remote control via proximity data
CN113515987B (zh) * 2020-07-09 2023-08-08 腾讯科技（深圳）有限公司 掌纹识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2024066977A1 (zh) 2024-04-04

Similar Documents

Publication Publication Date Title
JP6684883B2 (ja) カメラエフェクトを提供する方法およびシステム
EP3567535A1 (en) Virtual reality scene-based business verification method and device
US11393256B2 (en) Method and device for liveness detection, and storage medium
CN114730546A (zh) 具有定位服务和基于位置的共享内容的交叉现实系统
CN113014863A (zh) 认证用户的方法及系统以及计算机可读记录介质
KR102362470B1 (ko) 족부 정보 처리 방법 및 장치
CN114972958B (zh) 关键点检测方法、神经网络的训练方法、装置和设备
CN116249953A (zh) 跨多个位置的混合现实电话会议
CN111782068A (zh) 鼠标轨迹生成的方法、装置和系统以及数据处理的方法
CN113569638A (zh) 由平面指纹估计手指三维姿态的方法和装置
CN111566700A (zh) 用于借助多任务学习确定对象在对象的周围环境中的姿势的方法和控制设备
CN112486394A (zh) 信息处理方法、装置、电子设备及可读存储介质
CN114397958A (zh) 屏幕控制方法、装置、非触控屏系统和电子装置
CN114282587A (zh) 数据处理方法、装置、计算机设备及存储介质
CN112818733B (zh) 信息处理方法、装置、存储介质及终端
CN104063041A (zh) 一种信息处理方法及电子设备
CN111753813A (zh) 图像处理方法、装置、设备及存储介质
CN117826978A (zh) 基于掌部的人机交互方法、装置、设备、介质及程序产品
Aravindan et al. A Smart Assistive System for Visually Impaired to Inform Acquaintance Using Image Processing (ML) Supported by IoT
KR102251076B1 (ko) 실내 이미지를 사용하여 설계도면을 추정하는 방법
CN111405175B (zh) 摄像头控制方法、装置、计算机设备和存储介质
CN114581978A (zh) 人脸识别的方法和系统
CN117456619A (zh) 掌部图像的识别方法、装置、设备、存储介质及程序产品
CN113885710B (zh) 智能设备的控制方法、控制装置及智能系统
EP4345760A1 (en) Interaction method and apparatus in three-dimensional space, storage medium, and electronic apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination