CN114721576A - 手指触摸操作显示方法及装置 - Google Patents

手指触摸操作显示方法及装置 Download PDF

Info

Publication number
CN114721576A
CN114721576A CN202011511097.4A CN202011511097A CN114721576A CN 114721576 A CN114721576 A CN 114721576A CN 202011511097 A CN202011511097 A CN 202011511097A CN 114721576 A CN114721576 A CN 114721576A
Authority
CN
China
Prior art keywords
finger
touch
information
screen
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011511097.4A
Other languages
English (en)
Inventor
林澈
张博
周逸徉
黄波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011511097.4A priority Critical patent/CN114721576A/zh
Priority to EP21905778.3A priority patent/EP4261668A4/en
Priority to PCT/CN2021/138732 priority patent/WO2022127852A1/zh
Publication of CN114721576A publication Critical patent/CN114721576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种手指触摸操作显示方法及装置。响应于实体手指在操控终端的第一屏幕的触摸操作，操控终端获取触摸操作的触摸信息，然后操控终端根据该触摸信息，还原出触摸操作的手指形态，从而在第二屏幕上以虚拟手指的形式显示该触摸操作。采用本申请的方案，根据二维的触摸信息就可以还原三维的虚拟手指，从而低成本并逼真地实现触摸操作的视觉反馈。

Description

手指触摸操作显示方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种手指触摸操作显示方法及装置。
背景技术
用户在对操控终端进行触摸操作时，如果能对该触摸操作进行视觉反馈，可以提高用户体验。
目前，用户与操控终端的实时交互显示反馈方案有以下两种：
1)如图1所示的屏幕触摸操作白点反馈的效果示意图，比如在大屏游戏场景下，用户视线停留在大屏上，利用用户在手持设备上的触点位置或在悬浮设备上方的悬浮点位置，在屏幕上以小白点的形式进行反馈。目前大多数的智能手机、悬浮设备，均采用这种反馈方式。其原理较为简单，利用屏幕的二维(2-dimensional，2d)位置输入，绘制对应的白点信息。其缺点是无法较为真实地还原用户的操作，屏幕上的视觉反馈跟用户盯着设备操作存在较大落差。
2)利用leap motion的开发套件实现，基于Unity或者Unreal Engine进行虚拟手绘制应用(application，app)开发。目前的虚拟手幻觉(virtual hand illusion，VHI)研究大多采用此种方式。其优点是真实感强，能够渲染出非常真实的手，甚至还能支持对用户手进行1比1建模，以体现更加真实的视觉反馈。其缺点是，过分依赖leap motion等设备的三维(3-dimensional，3d)关节提取信息，成本高，在用户仅持有手机等提供屏幕的2d位置输入的设备的情况下难以实现。
总体而言，上述方案均不能低成本、逼真地实现触摸操作的视觉反馈。
发明内容
本申请提供一种手指触摸操作显示方法及装置，以低成本、逼真地实现触摸操作的视觉反馈。
第一方面，提供了一种手指触摸操作显示方法，所述方法包括：响应于实体手指在操控终端的第一屏幕的触摸操作，所述操控终端获取所述触摸操作的触摸信息，其中，所述触摸信息包括以下至少一个信息：所述实体手指在所述第一屏幕上的触摸点坐标，以所述触摸点坐标为中心的触摸区域的信息，所述实体手指相对于所述第一屏幕的朝向的偏转角，所述实体手指与所述第一屏幕的夹角；以及根据所述触摸信息，在所述操控终端所操控的第二屏幕上以虚拟手指的形式显示所述触摸操作。
在该方面中，通过获取实体手指在操控终端的第一屏幕的触摸操作的触摸信息，根据该触摸信息，在操控终端所操控的第二屏幕上以虚拟手指的形式显示触摸操作，可以低成本、逼真地实现触摸操作的视觉反馈。
在一种可能的实现中，所述根据所述触摸信息，在所述操控终端所操控的第二屏幕上以虚拟手指的形式显示所述触摸操作，包括：根据所述触摸信息，获取所述实体手指的关节点信息；根据所述实体手指的关节点信息和预置的虚拟手指模型，渲染得到所述触摸操作对应的虚拟手指的形态；以及在所述第二屏幕上显示所述虚拟手指的形态。
在该实现中，根据实体手指的关节点信息对预置的虚拟手指模型进行渲染，得到触摸操作对应的虚拟手指的形态，在第二屏幕上显示虚拟手指的形态，可以逼真地实现触摸操作的视觉反馈，相比白点反馈，提高了用户体验。
在又一种可能的实现中，所述根据所述触摸信息，获取所述实体手指的关节点信息，包括：根据所述触摸信息，获取所述实体手指的标识，所述标识用于指示所述实体手指是哪一根手指；以及根据所述实体手指的标识、所述实体手指在所述第一屏幕的触摸信息和所述操作终端的运动传感信息，确定所述实体手指的关节点信息。
在该实现中，根据触摸信息，区分在第一屏幕上进行触摸操作的是哪一根实体手指，才能准确地进一步确定实体手指的关节点信息。实体手指的关节点信息能准确地反映实体手指的形态。
在又一种可能的实现中，所述根据所述触摸信息，获取所述实体手指的标识，包括：基于所述触摸信息，通过分类模型确定所述实体手指的标识。
在该实现中，可以将实体手指在第一屏幕上的触摸操作的触摸信息输入训练好的分类模型，分类模型可以输出实体手指属于哪一根手指的概率，根据最大概率可以准确地确定实体手指属于哪一根手指，即得到实体手指的标识。
在又一种可能的实现中，所述根据所述实体手指的关节点信息和预置的虚拟手指模型，渲染得到所述触摸操作对应的所述虚拟手指的形态，包括：获取所述实体手指对应的虚拟手指模型；根据所述实体手指的关节点信息和所述虚拟手指模型的关节点数据获得所述虚拟手指；以及根据所述触摸信息，对所述虚拟手指进行旋转和/或平移，得到所述触摸操作对应的所述虚拟手指的形态。
在该实现中，根据实体手指的关节点信息和虚拟手指模型的关节点数据获得虚拟手指；以及根据触摸信息，对虚拟手指进行旋转和/或平移，得到触摸操作对应的虚拟手指的形态，可以逼真地得到虚拟手指的形态。
在又一种可能的实现中，所述触摸区域为近椭圆形状，所述触摸区域的信息包括所述近椭圆形状的触摸面积、长轴和短轴。
在又一种可能的实现中，所述实体手指的关节点信息为所述实体手指的关节弯曲角度。
第二方面，提供了一种手指触摸操作显示装置，所述装置包括：第一获取单元，用于响应于实体手指在操控终端的第一屏幕的触摸操作，获取所述触摸操作的触摸信息，其中，所述触摸信息包括以下至少一个信息：所述实体手指在所述第一屏幕上的触摸点坐标，以所述触摸点坐标为中心的触摸区域的信息，所述实体手指相对于所述第一屏幕的朝向的偏转角，所述实体手指与所述第一屏幕的夹角；以及第一显示单元，用于根据所述触摸信息，在所述操控终端所操控的第二屏幕上以虚拟手指的形式显示所述触摸操作。
在一种可能的实现中，所述第一显示单元包括：第二获取单元，用于根据所述触摸信息，获取所述实体手指的关节点信息；渲染单元，用于根据所述实体手指的关节点信息和预置的虚拟手指模型，渲染得到所述触摸操作对应的虚拟手指的形态；以及第二显示单元，用于在所述第二屏幕上显示所述虚拟手指的形态。
在又一种可能的实现中，所述第二获取单元包括：第三获取单元，用于根据所述触摸信息，获取所述实体手指的标识，所述标识用于指示所述实体手指是哪一根手指；以及确定单元，用于根据所述实体手指的标识、所述实体手指在所述第一屏幕的触摸信息和所述操作终端的运动传感信息，确定所述实体手指的关节点信息。
在又一种可能的实现中，所述第三获取单元用于基于所述触摸信息，通过分类模型确定所述实体手指的标识。
在又一种可能的实现中，所述渲染单元包括：第四获取单元，用于获取所述实体手指对应的虚拟手指模型；第五获取单元，用于根据所述实体手指的关节点信息和所述虚拟手指模型的关节点数据获得所述虚拟手指；以及旋转平移单元，用于根据所述触摸信息，对所述虚拟手指进行旋转和/或平移，得到所述触摸操作对应的所述虚拟手指的形态。
在又一种可能的实现中，所述触摸区域为近椭圆形状，所述触摸区域的信息包括所述近椭圆形状的触摸面积、长轴和短轴。
在又一种可能的实现中，所述实体手指的关节点信息为所述实体手指的关节弯曲角度。
第三方面，提供了一种手指触摸操作显示装置，所述装置包括：处理器、存储器、输入装置和输出装置，所述存储器存储有指令，当所述指令被所述处理器运行时，使得所述装置执行如下操作：
响应于实体手指在操控终端的第一屏幕的触摸操作，获取所述触摸操作的触摸信息，其中，所述触摸信息包括以下至少一个信息：所述实体手指在所述第一屏幕上的触摸点坐标，以所述触摸点坐标为中心的触摸区域的信息，所述实体手指相对于所述第一屏幕的朝向的偏转角，所述实体手指与所述第一屏幕的夹角；以及根据所述触摸信息，在所述操控终端所操控的第二屏幕上以虚拟手指的形式显示所述触摸操作。
在一种可能的实现中，所述处理器执行所述根据所述触摸信息，在所述操控终端所操控的第二屏幕上以虚拟手指的形式显示所述触摸操作的操作，包括：根据所述触摸信息，获取所述实体手指的关节点信息；根据所述实体手指的关节点信息和预置的虚拟手指模型，渲染得到所述触摸操作对应的虚拟手指的形态；以及在所述第二屏幕上显示所述虚拟手指的形态。
在又一种可能的实现中，所述处理器执行所述根据所述触摸信息，获取所述实体手指的关节点信息的操作，包括：根据所述触摸信息，获取所述实体手指的标识，所述标识用于指示所述实体手指是哪一根手指；以及根据所述实体手指的标识、所述实体手指在所述第一屏幕的触摸信息和所述操作终端的运动传感信息，确定所述实体手指的关节点信息。
在又一种可能的实现中，所述处理器执行所述根据所述触摸信息，获取所述实体手指的标识的操作，包括：基于所述触摸信息，通过分类模型确定所述实体手指的标识。
在又一种可能的实现中，所述处理器执行所述根据所述实体手指的关节点信息和预置的虚拟手指模型，渲染得到所述触摸操作对应的所述虚拟手指的形态的操作，包括：获取所述实体手指对应的虚拟手指模型；根据所述实体手指的关节点信息和所述虚拟手指模型的关节点数据获得所述虚拟手指；以及根据所述触摸信息，对所述虚拟手指进行旋转和/或平移，得到所述触摸操作对应的所述虚拟手指的形态。
在又一种可能的实现中，所述触摸区域为近椭圆形状，所述触摸区域的信息包括所述近椭圆形状的触摸面积、长轴和短轴。
在又一种可能的实现中，所述实体手指的关节点信息为所述实体手指的关节弯曲角度。
第四方面，提供了一种计算机可读存储介质，包括计算机指令，当所述计算机指令在计算机上运行时，如第一方面或第一方面的任一种可能的实现所述的方法被执行。
第五方面，提供了一种包含指令的计算机程序产品，包括计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述第一方面或第一方面的任一种可能的实现所述的方法。
附图说明
图1为屏幕触摸操作白点反馈的效果示意图；
图2为示例的六种不同外观的手模型示意图；
图3为六种不同外观的手的实验结果；
图4为本申请实施例提供的一种手指触摸操作显示方法的流程示意图；
图5为实体手指在第一屏幕的触摸区域示意图；
图6为实体手指与第一屏幕的夹角(pitch)的示意图；
图7为示例的实体手指与第一屏幕的夹角(pitch)的示意图；
图8为根据本申请实施例的方案以虚拟手指的形式显示触摸操作的效果示意图；
图9为本申请实施例提供的又一种手指触摸操作显示方法的流程示意图；
图10为示例的左手食指和拇指的关节点信息示意图；
图11为虚拟手指模型的示意图；
图12为本申请实施例提供的一种手指触摸操作显示装置的结构示意图；
图13为本申请实施例提供的又一种手指触摸操作显示装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。
下面简单描述本申请可能涉及的几个概念：
橡皮手幻觉(rubber hand illusion，RHI)，指利用对橡皮手的处理来研究人体的身体归属感。
VHI，指随着虚拟现实(virtual reality，VR)等技术的演进成熟和普及，RHI演变成利用虚拟的手来进行实验，研究对虚拟手的处理如何影响人的心理感知。
目前有较多针对RHI和VHI的研究结果，其主要目的是研究人对假手被处理时的感知情况，得到人在认知神经科学上的一些规律，同时指导在VR应用设计时应该注意哪些内容。其中有多项研究虚拟手的外观跟人体感知之间的关系，例如，如图2所示，通过六个不同外观的手模型进行实验，得到如图3所示的六种不同外观的手的实验结果，并最终得出结论：
1)任何的模型都能引起参与者的感知，但是效果有所区别。
2)感知效果最强的是跟人手最接近的模型。也即，采用最真实的手外观，能引起用户更强烈的真实拥有感。
因此，用户在对某个操控终端进行触摸操作时，如果能真实地还原其在操控终端上的操作，用户的感知体验将比简单的视觉反馈要更强烈。比如在大屏游戏场景下，用户视线停留在大屏上，如果能够将用户在屏幕上的手指操作在大屏上虚拟绘制出来，并达到较为逼真的效果，相对于普通的白点反馈，将会极大地提升用户体验。
本申请提供一种手指触摸操作显示方案，通过获取实体手指在操控终端的第一屏幕的触摸操作的触摸信息，根据该触摸信息，在操控终端所操控的第二屏幕上以虚拟手指的形式显示触摸操作，可以低成本、逼真地实现触摸操作的视觉反馈。
如图4所示，为本申请实施例提供的一种手指触摸操作显示方法的流程示意图，示例性地，该方法可以包括以下步骤：
S101、响应于实体手指在操控终端的第一屏幕的触摸操作，操控终端获取触摸操作的触摸信息，其中，触摸信息包括以下至少一个信息：实体手指在第一屏幕上的触摸点坐标，以触摸点坐标为中心的触摸区域的信息，实体手指相对于第一屏幕的朝向的偏转角，实体手指与第一屏幕的夹角。
本实施例中，操控终端自身具有第一屏幕，操控终端可以将第一屏幕上显示的图像在与操控终端连接的另一个屏幕(第二屏幕)显示出来。该连接可以是有线或无线连接。在一种可能的实现中，第二屏幕的面积可以大于第一屏幕，这样，方便用户观看，当然，本申请对此不作限制。例如，该方法可应用于手机与大屏交互场景中盯着大屏玩手机游戏，或者游戏在大屏上手机作为游戏触控板玩游戏。
用户用自己的真实的手指(本实施例中称为“实体手指”，是相对于虚拟绘制出来的手指(称为“虚拟手指”)而言的)在操控终端的第一屏幕上进行触摸操作。第一屏幕一般为触摸屏。该触摸操作例如可以是点击、滑动等。
在其他一些实现方式中，实现触摸操作的也可以不是真人的手指，而是假手或触控笔等物体，也可以采用本申请实现的方法还原对应的虚拟物体，这种情况下操作终端中可以存储该物体的模型。
如图5所示的实体手指在第一屏幕的触摸区域示意图，该触摸区域为近椭圆形状。当然，该触摸区域也可以是其它形状，例如圆形、方形或其它不规则形状，本申请对此不作限制。这里以左手食指为实体手指为例，实体手指还可以是其它任意一个手指，本申请也对此不作限制。其中，触摸信息包括以下至少一个信息：实体手指在第一屏幕上的触摸点坐标(x，y，0)，以触摸点坐标为中心的触摸区域的信息，实体手指相对于第一屏幕的朝向的偏转角(yaw)θ，实体手指与第一屏幕的夹角(pitch)。以触摸区域为近椭圆形状为例，触摸区域的信息包括近椭圆形状的触摸面积S、长轴a和短轴b。
用户在手持操作终端对第二屏幕进行操控时，可能会对操作终端进行旋转、平移等，因此，该操作终端处于运动状态。因此，进一步地，还可以进一步获得操作终端的运动传感信息。该运动传感信息可以包括操作终端的加速度at和操作终端的重力加速度gy等。操作终端上设置有加速度传感器、重力传感器(例如陀螺仪)等，可以利用该加速度传感器获得操作终端的加速度at，以及利用重力传感器获得操作终端的重力加速度gy。
其中，实体手指与第一屏幕的夹角(pitch)的示意图如图6所示。该夹角可以是0°～90°中的任意值。如图7所示，示例了90°、65°、45°、25°和15°等五种夹角。该夹角与上述触摸信息相关；此外，若操作终端处于运动状态，则该夹角可能发生变化，因此，该夹角还可以与操作终端的运动传感信息相关。具体实现中，可以将上述触摸信息和操作终端的运动传感信息输入回归模型，该回归模型可以采用线性回归(linear regression)、多项式回归(polynomial regression)、岭回归(ridge regression)、套索回归(lasso regression)等。该回归模型输出实体手指与第一屏幕的夹角。
举例说明，该回归模型可以形式化描述如下公式1所示：
Ym＝xmβ+ε......公式1
其中，xm为上述触摸信息，还可以包括操作终端的运动传感信息。m为触摸信息的数量。
ym为实体手指与第一屏幕的夹角，ym的取值范围是(0°～90°)。
β为回归参数。
ε为误差值。
从而，可以根据上述触摸信息和操作终端的运动传感信息，获得实体手指与第一屏幕的夹角。
此外，还可以对回归模型进行训练。具体地，例如，将屏幕分成18ⅹ36的均匀网格，一定数量的参与用户在屏幕为横屏、竖屏的情况下，分别用左右食指、拇指在屏幕上按压，记录按压的角度，如图7所示，然后将这些参与者的触摸信息和操作终端的运动传感信息输入待训练的回归模型，得到回归模型的输出结果，即实体手指与第一屏幕的夹角。然后，根据输出结果和训练前记录的按压的角度进行比较，对输出结果进行校正。
可以理解的是，上述触摸信息是用户在操控终端上输入的2D信息。
S102、根据触摸信息，在操控终端所操控的第二屏幕上以虚拟手指的形式显示触摸操作。
本实施例，根据用户的实体手指在操作终端的第一屏幕上的触摸操作，在操控终端所操控的第二屏幕上以虚拟手指的形式显示出来，以逼真地还原实体手指在第一屏幕上的触摸操作。具体地，根据第一屏幕上的触摸信息，在第二屏幕上以虚拟手指的形式显示触摸操作，使得该虚拟手指在第二屏幕上的触摸操作与实体手指在第一屏幕上的触摸操作一致。
可以理解的是，在第二屏幕上以虚拟手指的形式显示触摸操作，是以3D的形式显示该虚拟手指的触摸操作。从而实现在第一屏幕上2D输入触摸操作(如图8的左图所示)，在第二屏幕上3D显示虚拟手指的触摸操作(如图8的右图所示)。虚拟手指的形态与第二屏幕上的图像合成在一块，逼真地还原了用户的实体手指在第一屏幕上的触摸操作。
例如，该方法可应用于手机与大屏交互场景中盯着大屏玩手机游戏，或者游戏在大屏上手机作为游戏触控板玩游戏。采用本申请的方案，可以增强用户游玩游戏的沉浸感，提升用户的注意力，进而提升用户的操作准确度。
根据本申请实施例提供的一种手指触摸操作显示方法，通过获取实体手指在操控终端的第一屏幕的触摸操作的触摸信息，根据该触摸信息，在操控终端所操控的第二屏幕上以虚拟手指的形式显示触摸操作，可以低成本、逼真地实现触摸操作的视觉反馈。
如图9所示，为本申请实施例提供的又一种手指触摸操作显示方法的流程示意图，示例性地，该方法包括以下步骤：
S201、响应于实体手指在操控终端的第一屏幕的触摸操作，操控终端获取触摸操作的触摸信息。
该步骤的具体实现可参考图4所示实施例的步骤S101。
另外，触摸信息还可以包括实体手指的标识。可以根据触摸信息，获取实体手指的标识。
具体地实现中，人的两只手的每一根手指都有一个标识(finger_id)。首先，需要识别在第一屏幕上进行触摸操作的是哪一根实体手指。因此，根据上述获取的触摸信息，获取实体手指的标识，该标识用于指示实体手指是哪一根手指。具体地，可以将上述获取的触摸信息输入到训练好的分类模型，通过分类模型确定实体手指的标识。该分类模型可以采用支持向量机(support vector machine，SVM)、随机森林(random forest)、XGBoost等分类算法。另外，在将上述触摸信息输入到分类模型之前，还可以对上述触摸信息进行预处理，以提高归一化的机器学习数据。其中，预处理方法可以是标准化(normalization)、one-hot等。
该分类模型输出每一根实体手指的概率，例如，左手拇指(finger_id1)的概率为1％，左手食指(finger_id2)的概率为90％，左手中指(finger_id3)的概率为3％，左手无名指(finger_id4)的概率为0，左手小指(finger_id5)的概率为0％，右手拇指(finger_id6)的概率为1％，右手食指(finger_id7)的概率为5％，右手中指(finger_id3)的概率为0％，右手无名指(finger_id4)的概率为0，右手小指(finger_id5)的概率为0％，则获取最大的概率对应的手指的标识作为最终的输出，即确定进行触摸操作的是左手食指。
该分类模型也可以先输出左手和右手的概率，例如，左手的概率最大，则确定进行触摸操作的左手上的手指。然后再输出左手上每根手指的概率，例如，左手拇指(finger_id1)的概率为2％，左手食指(finger_id2)的概率为95％，左手中指(finger_id3)的概率为3％，左手无名指(finger_id4)的概率为0，左手小指(finger_id5)的概率为0％，则获取最大的概率对应的手指的标识作为最终的输出，即确定进行触摸操作的是左手食指。
此外，可以利用一定数量的样本对分类模型进行训练，例如，采集若干个用户在横屏、竖屏的情况下，对屏幕采用点击(tap)、滑动(scroll)的操作，并将实际触摸的手指打上标识，将上述触摸信息输入到待训练的分类模型，然后，将分类模型的输出结果与预先打上的标识进行比较，校正分类模型的输出结果。
在获取上述触摸信息后，可以进一步将上述触摸信息和操作终端的运动传感信息输入回归模型，该回归模型输出实体手指与第一屏幕的夹角。
S202、根据触摸信息，获取实体手指的关节点信息。
实体手指触摸第一屏幕，实体手指与第一屏幕具有一定的夹角，其最终体现在实体手指的形态，即实体手指的各个关节点的状态。因此，可以根据实体手指的标识、实体手指在第一屏幕的触摸信息和操作终端的运动传感信息，确定实体手指的关节点信息。
如图10所示的示例的左手食指和拇指的关节点信息示意图，其中，拇指有两个关节点，食指有三个关节点。具体地，关节点信息可以为实体手指的关节弯曲角度。以图10中所示的拇指为例，拇指的各个关节角度为θIP，θMCP，θTMC，食指各个关节角度为θPIP，θDIP，θMCP，θCMC。其中，θIP为拇指指尖与拇指的第一个关节点之间的角度，θMCP为拇指的第一个关节点与拇指的第二个关节点之间的角度，θTMC为拇指的第二个关节点与拇指根部之间的角度；θPIP为食指指尖与食指的第一个关节点之间的角度，θDIP为食指的第一个关节点与食指的第二个关节点之间的角度，θMCP为食指的第二个关节点与食指的第三个关节点之间的角度，θCMC为食指的第三个关节点与食指的根部之间的角度。
具体实现中，可以将上述实体手指的标识、实体手指在第一屏幕的触摸信息和操作终端的运动传感信息进行融合，然后，将融合后的信息输入手指逆运动学方程(如下所示的公式2)，反推实体手指的关节点信息。
θ＝f(Inputx，y，0，yaw，pitch，id)......公式2
其中，θ为输出的食指各个关节角度θPIP，θDIP，θMCP，θCMC和拇指的各个关节角度θIP，θMCP，θTMC。
f()：为逆运动学方程算法。
Inputx，y，0，yaw，pitch，id为上述融合后的信息。
S203、根据实体手指的关节点信息和预置的虚拟手指模型，渲染得到触摸操作对应的虚拟手指的形态。
在获取了实体手指的关节点信息后，可以跟预置的虚拟手指模型进行绑定，通过渲染该虚拟手指模型得到触摸操作对应的虚拟手指的形态。
其中，步骤S203具体又可以包括以下步骤B1～B3(图中未示出)：
B1、获取实体手指对应的虚拟手指模型。
B2、根据实体手指的关节点信息和虚拟手指模型的关节点数据获得虚拟手指。
B3、根据触摸信息，对虚拟手指进行旋转和/或平移，得到触摸操作对应的虚拟手指的形态。
不同的实体手指具有对应的虚拟手指模型。虚拟手指模型可以采用标识进行标识。根据步骤B1，可以根据实体手指的标识，从操作终端本地或服务器获取实体手指的标识对应的虚拟手指模型。如图11所示的虚拟手指模型的示意图，虚拟手指模型具有3D模型对应纹理材质。虚拟手指的3D模型可以通过建模软件等方式创建。其中，该3D模型的目标文件(object，obj)包括顶点坐标、顶点参数空间、表面单元等，该3D模型的材质库文件(material library file，mtl)包括一个或多个材质，每个材质都有颜色、纹理、反射贴图等。
获得实体手指对应的虚拟手指模型后，虚拟手指模型也具有如10所示的关节点，然而该虚拟手指模型的关节弯曲角度处于一个初始状态。因此，可以根据步骤B2，采用渲染软件根据实体手指的关节点信息和虚拟手指模型的关节点数据获得虚拟手指。该渲染软件例如可以是OpenGL等。将上述获得虚拟手指的3D模型输入渲染软件的顶点缓存(vertexbuffer)中(可以称为“输入顶点操作”)。将实体手指的关节点信息和虚拟手指模型的关节点数据进行关联，即将实体手指的每个关节点信息与对应的虚拟手指模型的关节点数据进行关联，使得虚拟手指模型的各个关节的弯曲角度与实体手指的对应关节的弯曲角度一致，即可得到虚拟手指。
在获得虚拟手指后，需要获取触摸操作对应的虚拟手指的形态，该形态应与实体手指在第一屏幕上操作的形态一致。因此，根据步骤B3，根据实体手指在第一屏幕上的触摸点坐标(x，y，0)，以触摸点坐标为中心的触摸区域的信息，实体手指相对于第一屏幕的朝向的偏转角，实体手指与第一屏幕的夹角等触摸信息，对虚拟手指进行旋转和/或平移，得到触摸操作对应的虚拟手指的形态。
上述B2和B3可以称为顶点处理操作。
进一步地，还可以进行片元处理操作，即根据操控终端传感器的环境光调整虚拟手指渲染着色器的光照强度。
S204、在第二屏幕上显示虚拟手指的形态。
在获得虚拟手指的形态后，可以在系统图层上创建一个新的图层，作为虚拟手指的载体。将获得虚拟手指的形态绑定到该新的图层上，然后将载有该虚拟手指的形态的图层输入到系统合成器，与第二屏幕上的其它图像对应的图层进行合成，最终在第二屏幕上显示合成后的图像，如图8的右图所示。
操作终端将获得的触摸操作对应的虚拟手指的形态在第二屏幕上显示出来，如图8的右图所示，虚拟手指的形态与第二屏幕上的图像合成在一块，逼真地还原了用户在第一屏幕上的触摸操作。
根据本申请实施例提供的一种手指触摸操作显示方法，通过获取实体手指在操控终端的第一屏幕的触摸操作的触摸信息，利用预存储的虚拟手指模型和渲染软件，得到触摸操作对应的虚拟手指的形态，并在第二屏幕上显示虚拟手指的形态，从而可以低成本、逼真地实现触摸操作的视觉反馈。
基于上述手指触摸操作显示方法的同一构思，还提供手指触摸操作显示装置。该装置可以是上述操控终端，该终端具有可进行触摸操作的屏幕，该终端还可对其它电子设备的屏幕进行操控。
上述方法中的部分或全部可以通过软件或固件来实现，如图12所示，提供了一种手指触摸操作显示装置的结构示意图，该手指触摸操作显示装置用于执行上述手指触摸操作显示方法。具体地，该装置1000包括：
第一获取单元11，用于响应于实体手指在操控终端的第一屏幕的触摸操作，获取所述触摸操作的触摸信息，其中，所述触摸信息包括以下至少一个信息：所述实体手指在所述第一屏幕上的触摸点坐标，以所述触摸点坐标为中心的触摸区域的信息，所述实体手指相对于所述第一屏幕的朝向的偏转角，所述实体手指与所述第一屏幕的夹角；以及第一显示单元12，用于根据所述触摸信息，在所述操控终端所操控的第二屏幕上以虚拟手指的形式显示所述触摸操作。
在一种可能的实现中，所述第一显示单元12包括：第二获取单元121，用于根据所述触摸信息，获取所述实体手指的关节点信息；渲染单元122，用于根据所述实体手指的关节点信息和预置的虚拟手指模型，渲染得到所述触摸操作对应的虚拟手指的形态；以及第二显示单元123，用于在所述第二屏幕上显示所述虚拟手指的形态。
在又一种可能的实现中，所述第二获取单元121包括：第三获取单元1211，用于根据所述触摸信息，获取所述实体手指的标识，所述标识用于指示所述实体手指是哪一根手指；以及确定单元1212，用于根据所述实体手指的标识、所述实体手指在所述第一屏幕的触摸信息和所述操作终端的运动传感信息，确定所述实体手指的关节点信息。
在又一种可能的实现中，所述第三获取单元1211用于基于所述触摸信息，通过分类模型确定所述实体手指的标识。
在又一种可能的实现中，所述渲染单元122包括：第四获取单元1221，用于获取所述实体手指对应的虚拟手指模型；第五获取单元1222，用于根据所述实体手指的关节点信息和所述虚拟手指模型的关节点数据获得所述虚拟手指；以及旋转平移单元1223，用于根据所述触摸信息，对所述虚拟手指进行旋转和/或平移，得到所述触摸操作对应的所述虚拟手指的形态。
在又一种可能的实现中，所述触摸区域为近椭圆形状，所述触摸区域的信息包括所述近椭圆形状的触摸面积、长轴和短轴。
在又一种可能的实现中，所述实体手指的关节点信息为所述实体手指的关节弯曲角度。
根据本申请实施例提供的一种手指触摸操作显示装置，通过获取实体手指在该装置的第一屏幕的触摸操作的触摸信息，根据该触摸信息，在该装置所操控的第二屏幕上以虚拟手指的形式显示触摸操作，可以低成本、逼真地实现触摸操作的视觉反馈。
可选的，该手指触摸操作显示装置在具体实现时可以是芯片或者集成电路。
可选的，当上述实施例的手指触摸操作显示方法中的部分或全部通过软件或固件来实现时，可以通过图13提供的一种手指触摸操作显示装置2000来实现。如图13所示，该手指触摸操作显示装置2000可包括：
存储器23和处理器24(装置中的处理器24可以是一个或多个，图13中以一个处理器为例)，还可以包括输入装置21、输出装置22。在本实施例中，输入装置21、输出装置22、存储器23和处理器24可通过总线或其它方式连接，其中，图13中以通过总线连接为例。
其中，处理器24用于执行图4、图9中所执行的方法步骤。
具体地，处理器24用于调用所述程序指令执行如下操作：
响应于实体手指在操控终端的第一屏幕的触摸操作，获取所述触摸操作的触摸信息，其中，所述触摸信息包括以下至少一个信息：所述实体手指在所述第一屏幕上的触摸点坐标，以所述触摸点坐标为中心的触摸区域的信息，所述实体手指相对于所述第一屏幕的朝向的偏转角，所述实体手指与所述第一屏幕的夹角；以及根据所述触摸信息，在所述操控终端所操控的第二屏幕上以虚拟手指的形式显示所述触摸操作。
在一种可能的实现中，处理器24执行所述根据所述触摸信息，在所述操控终端所操控的第二屏幕上以虚拟手指的形式显示所述触摸操作的操作，包括：根据所述触摸信息，获取所述实体手指的关节点信息；根据所述实体手指的关节点信息和预置的虚拟手指模型，渲染得到所述触摸操作对应的虚拟手指的形态；以及在所述第二屏幕上显示所述虚拟手指的形态。
在又一种可能的实现中，处理器24执行所述根据所述触摸信息，获取所述实体手指的关节点信息的操作，包括：根据所述触摸信息，获取所述实体手指的标识，所述标识用于指示所述实体手指是哪一根手指；以及根据所述实体手指的标识、所述实体手指在所述第一屏幕的触摸信息和所述操作终端的运动传感信息，确定所述实体手指的关节点信息。
在又一种可能的实现中，处理器24执行所述根据所述触摸信息，获取所述实体手指的标识的操作，包括：基于所述触摸信息，通过分类模型确定所述实体手指的标识。
在又一种可能的实现中，处理器24执行所述根据所述实体手指的关节点信息和预置的虚拟手指模型，渲染得到所述触摸操作对应的所述虚拟手指的形态的操作，包括：获取所述实体手指对应的虚拟手指模型；根据所述实体手指的关节点信息和所述虚拟手指模型的关节点数据获得所述虚拟手指；以及根据所述触摸信息，对所述虚拟手指进行旋转和/或平移，得到所述触摸操作对应的所述虚拟手指的形态。
在又一种可能的实现中，所述触摸区域为近椭圆形状，所述触摸区域的信息包括所述近椭圆形状的触摸面积、长轴和短轴。
在又一种可能的实现中，所述实体手指的关节点信息为所述实体手指的关节弯曲角度。
可选的，上述手指触摸操作显示方法的程序可以存储在存储器23中。该存储器23可以是物理上独立的单元，也可以与处理器24集成在一起。该存储器23也可以用于存储数据。
可选的，当上述实施例的手指触摸操作显示方法中的部分或全部通过软件实现时，该手指触摸操作显示装置也可以只包括处理器。用于存储程序的存储器位于该手指触摸操作显示装置之外，处理器通过电路或电线与存储器连接，用于读取并执行存储器中存储的程序。
处理器可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)，或WLAN设备。
处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
存储器可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器还可以包括上述种类的存储器的组合。
输入装置21/输出装置22可以包括显示屏(display)、键盘(keyboard)，可选地，还可以包括标准的有线接口、无线接口。
需要说明的是，本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上，鉴于此，本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存取存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

Claims (16)

1.一种手指触摸操作显示方法，其特征在于，所述方法包括：
响应于实体手指在操控终端的第一屏幕的触摸操作，所述操控终端获取所述触摸操作的触摸信息，其中，所述触摸信息包括以下至少一个信息：所述实体手指在所述第一屏幕上的触摸点坐标，以所述触摸点坐标为中心的触摸区域的信息，所述实体手指相对于所述第一屏幕的偏转角，所述实体手指与所述第一屏幕的夹角；
根据所述触摸信息，在所述操控终端所操控的第二屏幕上以虚拟手指的形式显示所述触摸操作。
2.根据权利要求1所述的方法，其特征在于，所述根据所述触摸信息，在所述操控终端所操控的第二屏幕上以虚拟手指的形式显示所述触摸操作，包括：
根据所述触摸信息，获取所述实体手指的关节点信息；
根据所述实体手指的关节点信息和预置的虚拟手指模型，渲染得到所述触摸操作对应的虚拟手指的形态；
在所述第二屏幕上显示所述虚拟手指的形态。
3.根据权利要求2所述的方法，其特征在于，所述根据所述触摸信息，获取所述实体手指的关节点信息，包括：
根据所述触摸信息，获取所述实体手指的标识，所述标识用于指示所述实体手指是哪一根手指；
根据所述实体手指的标识、所述实体手指在所述第一屏幕的触摸信息和所述操作终端的运动传感信息，确定所述实体手指的关节点信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述触摸信息，获取所述实体手指的标识，包括：
基于所述触摸信息，通过分类模型确定所述实体手指的标识。
5.根据权利要求2-4任意一项所述的方法，其特征在于，所述根据所述实体手指的关节点信息和预置的虚拟手指模型，渲染得到所述触摸操作对应的所述虚拟手指的形态，包括：
获取所述实体手指对应的虚拟手指模型；
根据所述实体手指的关节点信息和所述虚拟手指模型的关节点数据获得所述虚拟手指；
根据所述触摸信息，对所述虚拟手指进行旋转和/或平移，得到所述触摸操作对应的所述虚拟手指的形态。
6.根据权利要求1～5任意一项所述的方法，其特征在于，所述触摸区域为近椭圆形状，所述触摸区域的信息包括所述近椭圆形状的触摸面积、长轴和短轴。
7.根据权利要求2～6任意一项所述的方法，其特征在于，所述实体手指的关节点信息为所述实体手指的关节弯曲角度。
8.一种手指触摸操作显示装置，其特征在于，所述装置包括：
第一获取单元，用于响应于实体手指在操控终端的第一屏幕的触摸操作，获取所述触摸操作的触摸信息，其中，所述触摸信息包括以下至少一个信息：所述实体手指在所述第一屏幕上的触摸点坐标，以所述触摸点坐标为中心的触摸区域的信息，所述实体手指相对于所述第一屏幕的偏转角，所述实体手指与所述第一屏幕的夹角；
第一显示单元，用于根据所述触摸信息，在所述操控终端所操控的第二屏幕上以虚拟手指的形式显示所述触摸操作。
9.根据权利要求8所述的装置，其特征在于，所述第一显示单元包括：
第二获取单元，用于根据所述触摸信息，获取所述实体手指的关节点信息；
渲染单元，用于根据所述实体手指的关节点信息和预置的虚拟手指模型，渲染得到所述触摸操作对应的虚拟手指的形态；
第二显示单元，用于在所述第二屏幕上显示所述虚拟手指的形态。
10.根据权利要求9所述的装置，其特征在于，所述第二获取单元包括：
第三获取单元，用于根据所述触摸信息，获取所述实体手指的标识，所述标识用于指示所述实体手指是哪一根手指；
确定单元，用于根据所述实体手指的标识、所述实体手指在所述第一屏幕的触摸信息和所述操作终端的运动传感信息，确定所述实体手指的关节点信息。
11.根据权利要求10所述的装置，其特征在于，所述第三获取单元用于基于所述触摸信息，通过分类模型确定所述实体手指的标识。
12.根据权利要求9-11任意一项所述的装置，其特征在于，所述渲染单元包括：
第四获取单元，用于获取所述实体手指对应的虚拟手指模型；
第五获取单元，用于根据所述实体手指的关节点信息和所述虚拟手指模型的关节点数据获得所述虚拟手指；
旋转平移单元，用于根据所述触摸信息，对所述虚拟手指进行旋转和/或平移，得到所述触摸操作对应的所述虚拟手指的形态。
13.根据权利要求8～12任意一项所述的装置，其特征在于，所述触摸区域为近椭圆形状，所述触摸区域的信息包括所述近椭圆形状的触摸面积、长轴和短轴。
14.根据权利要求9～13任意一项所述的装置，其特征在于，所述实体手指的关节点信息为所述实体手指的关节弯曲角度。
15.一种手指触摸操作显示装置，其特征在于，所述装置包括：处理器、存储器、输入装置和输出装置，所述存储器存储有指令，当所述指令被所述处理器运行时，使得所述装置执行如权利要求1～7任意一项所述的方法。
16.一种计算机程序产品，包括指令，其特征在于，当所述指令在计算机上运行时，如权利要求1～7任意一项所述的方法被执行。
CN202011511097.4A 2020-12-18 2020-12-18 手指触摸操作显示方法及装置 Pending CN114721576A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011511097.4A CN114721576A (zh) 2020-12-18 2020-12-18 手指触摸操作显示方法及装置
EP21905778.3A EP4261668A4 (en) 2020-12-18 2021-12-16 FINGER TOUCH OPERATION DISPLAY METHOD AND APPARATUS
PCT/CN2021/138732 WO2022127852A1 (zh) 2020-12-18 2021-12-16 手指触摸操作显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011511097.4A CN114721576A (zh) 2020-12-18 2020-12-18 手指触摸操作显示方法及装置

Publications (1)

Publication Number Publication Date
CN114721576A true CN114721576A (zh) 2022-07-08

Family

ID=82060072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011511097.4A Pending CN114721576A (zh) 2020-12-18 2020-12-18 手指触摸操作显示方法及装置

Country Status (3)

Country Link
EP (1) EP4261668A4 (zh)
CN (1) CN114721576A (zh)
WO (1) WO2022127852A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101010661A (zh) * 2004-09-03 2007-08-01 松下电器产业株式会社 输入装置
WO2010084498A1 (en) * 2009-01-26 2010-07-29 Zrro Technologies (2009) Ltd. Device and method for monitoring an object's behavior
KR101397812B1 (ko) * 2012-11-30 2014-05-20 강원대학교산학협력단 원격 터치 및 드래그 방식 입력 시스템
CN104272218A (zh) * 2012-06-30 2015-01-07 惠普发展公司，有限责任合伙企业 基于联合数据的虚拟手
WO2015093005A1 (ja) * 2013-12-16 2015-06-25 パナソニックＩｐマネジメント株式会社 表示システム
US20150355715A1 (en) * 2014-06-06 2015-12-10 Adobe Systems Incorporated Mirroring touch gestures
DE102015009113A1 (de) * 2015-07-19 2017-01-19 Alexander Luchinsky Verfahren und Einrichtung zur Präsentation der Information
CN108958471A (zh) * 2018-05-17 2018-12-07 中国航天员科研训练中心 虚拟空间中虚拟手操作物体的仿真方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7911456B2 (en) * 1992-06-08 2011-03-22 Synaptics Incorporated Object position detector with edge motion feature and gesture recognition
JP4771183B2 (ja) * 2009-01-30 2011-09-14 株式会社デンソー 操作装置
WO2012125990A2 (en) * 2011-03-17 2012-09-20 Laubach Kevin Input device user interface enhancements
US20130088434A1 (en) * 2011-10-06 2013-04-11 Sony Ericsson Mobile Communications Ab Accessory to improve user experience with an electronic display

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101010661A (zh) * 2004-09-03 2007-08-01 松下电器产业株式会社 输入装置
WO2010084498A1 (en) * 2009-01-26 2010-07-29 Zrro Technologies (2009) Ltd. Device and method for monitoring an object's behavior
US20110279397A1 (en) * 2009-01-26 2011-11-17 Zrro Technologies (2009) Ltd. Device and method for monitoring the object's behavior
CN104272218A (zh) * 2012-06-30 2015-01-07 惠普发展公司，有限责任合伙企业 基于联合数据的虚拟手
KR101397812B1 (ko) * 2012-11-30 2014-05-20 강원대학교산학협력단 원격 터치 및 드래그 방식 입력 시스템
WO2015093005A1 (ja) * 2013-12-16 2015-06-25 パナソニックＩｐマネジメント株式会社 表示システム
US20150355715A1 (en) * 2014-06-06 2015-12-10 Adobe Systems Incorporated Mirroring touch gestures
DE102015009113A1 (de) * 2015-07-19 2017-01-19 Alexander Luchinsky Verfahren und Einrichtung zur Präsentation der Information
CN108958471A (zh) * 2018-05-17 2018-12-07 中国航天员科研训练中心 虚拟空间中虚拟手操作物体的仿真方法及系统

Also Published As

Publication number Publication date
EP4261668A4 (en) 2024-06-19
WO2022127852A1 (zh) 2022-06-23
EP4261668A1 (en) 2023-10-18

Similar Documents

Publication Publication Date Title
EP3466070B1 (en) Method and device for obtaining image, and recording medium thereof
US10043308B2 (en) Image processing method and apparatus for three-dimensional reconstruction
CN110019766B (zh) 知识图谱的展示方法、装置、移动终端及可读存储介质
US10481689B1 (en) Motion capture glove
CN108027979B (zh) 用于角色动画的鲁棒的属性转移
CN110163942B (zh) 一种图像数据处理方法和装置
EP4150586A1 (en) Reinforced differentiable attribute for 3d face reconstruction
US9144744B2 (en) Locating and orienting device in space
CN109644231A (zh) 移动设备的改进的视频稳定性
CN110378947B (zh) 3d模型重建方法、装置及电子设备
JP2021524628A (ja) 照明推定
CN110473293A (zh) 虚拟对象处理方法及装置、存储介质和电子设备
CN109621415A (zh) 3d游戏中的显示控制方法及装置、计算机存储介质
CN110262763B (zh) 基于增强现实的显示方法和装置以及存储介质和电子设备
CN104067318A (zh) 使用三维光栅化的时间连续碰撞检测
EP3814876A1 (en) Placement and manipulation of objects in augmented reality environment
CN109559370A (zh) 一种三维建模方法及装置
EP4315260A1 (en) Facial synthesis for head turns in augmented reality content
CN114049674A (zh) 一种三维人脸重建方法、装置及存储介质
CN115393487B (zh) 一种虚拟角色模型处理方法、装置、电子设备及存储介质
JP7199441B2 (ja) 入力装置
JP5920858B1 (ja) プログラム、情報処理装置、深度定義方法及び記録媒体
CN114721576A (zh) 手指触摸操作显示方法及装置
CN108053492A (zh) 立体图形的展开过程呈现方法、装置、设备及存储介质
CN110941327A (zh) 虚拟对象的显示方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination