CN109683700A - 基于视觉感知的人机交互实现方法和装置 - Google Patents

基于视觉感知的人机交互实现方法和装置 Download PDF

Info

Publication number
CN109683700A
CN109683700A CN201710972959.5A CN201710972959A CN109683700A CN 109683700 A CN109683700 A CN 109683700A CN 201710972959 A CN201710972959 A CN 201710972959A CN 109683700 A CN109683700 A CN 109683700A
Authority
CN
China
Prior art keywords
dummy object
information
access control
view
control model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710972959.5A
Other languages
English (en)
Inventor
李炜
孙其民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inlife Handnet Co Ltd
Original Assignee
Inlife Handnet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inlife Handnet Co Ltd filed Critical Inlife Handnet Co Ltd
Priority to CN201710972959.5A priority Critical patent/CN109683700A/zh
Publication of CN109683700A publication Critical patent/CN109683700A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

本申请实施例公开了一种基于视觉感知的人机交互实现方法和装置。该人机交互实现方法，通过在真实环境中显示虚拟物体，基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞，若发生碰撞，则获取目标用户的多个手指相对于虚拟物体的多个方位变化信息，基于预设算法模型对多个方位变化信息进行处理，得到抓取参数值，判断抓取参数值是否大于预设阈值，若大于，则根据多个手指的运动信息，调整虚拟物体在真实环境中的显示状态，以输出增强现实的显示画面。该方案基于人的视觉感知习惯实现虚拟物体与真实场景的融合，使得用户能在无需提示的情况下抓取虚拟物体，增加了虚拟物体与真实场景之间在视觉感知上的契合度，提升了人机交互的真实性。

Description

基于视觉感知的人机交互实现方法和装置
技术领域
本申请涉及增强现实技术领域，尤其涉及一种基于视觉感知的人机交互实现方法和装置。
背景技术
AR(Augmented Reality，增强现实)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后，把真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息充、叠加。
相关技术中，可通过传感技术将虚拟对象准确地“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，使得伸出其中的用户可以更加自然的方式与环境中的真实物体及虚拟物体进行三维实时交互。
发明内容
本申请实施例提供一种基于视觉感知的人机交互实现方法和装置，提升了虚拟物体与真实场景之间在视觉感知上的契合度。
本申请实施例提供了一种基于视觉感知的人机交互实现方法，包括：
在真实环境中显示虚拟物体；
基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞；
若是，则获取目标用户的多个手指相对于虚拟物体的多个方位变化信息；
基于预设算法模型对所述多个方位变化信息进行处理，得到抓取参数值；
判断所述抓取参数值是否大于预设阈值；
若大于，则根据所述多个手指的运动信息，调整所述虚拟物体在真实环境中的显示状态，以输出增强现实的显示画面。
相应地，本申请实施例还提供一种基于视觉感知的人机交互实现装置，包括：
显示模块，用于在真实环境中显示虚拟物体；
第一判断模块，用于基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞；
获取模块，用于在第一判断模块判定为是时，获取目标用户的多个手指相对于虚拟物体的多个方位变化信息；
处理模块，用于基于预设算法模型对所述多个方位变化信息进行处理，得到抓取参数值；
第二判断模块，用于判断所述抓取参数值是否大于预设阈值；
调整模块，用于在第二判断模块判定为是时，根据所述多个手指的运动信息，调整所述虚拟物体在真实环境中的显示状态，以输出增强现实的显示画面。
本申请实施例提供的基于视觉感知的人机交互实现方法和装置，通过在真实环境中显示虚拟物体，基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞，若发生碰撞，则获取目标用户的多个手指相对于虚拟物体的多个方位变化信息，基于预设算法模型对多个方位变化信息进行处理，得到抓取参数值，判断抓取参数值是否大于预设阈值，若大于，则根据多个手指的运动信息，调整虚拟物体在真实环境中的显示状态，以输出增强现实的显示画面。该方案基于人的视觉感知习惯实现虚拟物体与真实场景的融合，使得用户能在无需提示的情况下抓取虚拟物体，增加了虚拟物体与真实场景之间在视觉感知上的契合度，提升了人机交互的真实性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于视觉感知的人机交互实现方法的一种流程示意图。
图2是本申请实施例提供的基于视觉感知的碰撞检测应用场景示意图。
图3是本申请实施例提供的手部运行分析图。
图4是本申请实施例提供的基于视觉感知的人机交互实现方法的场景架构示意图。
图5是本申请实施例提供的基于视觉感知的人机交互实现装置的一种结构示意图。
图6是本申请实施例提供的基于视觉感知的人机交互实现装置的另一种结构示意图。
图7是本申请实施例提供的基于视觉感知的人机交互实现装置的又一种结构示意图。
图8是本申请实施例提供的基于视觉感知的人机交互实现装置的再一种结构示意图。
图9是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种基于视觉感知的人机交互实现方法和装置。以下将分别进行详细说明。
在一优选实施例中，提供一种基于视觉感知的人机交互实现方法，如图1所示，流程可以如下：
101、在真实环境中显示虚拟物体。
具体地，可预先构建虚拟模型数据库，其包括多个三维虚拟物体模型，以用于进行人机交互。首先可通过摄像头获取真实环境的图像，然后从模型数据库中调用相关三维虚拟物体模型，与该真实环境的图像进行融合，并一同显示于AR头戴显示设备或其他显示器中，以呈现增强现实图像。
102、基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞；若是，执行步骤103，若否，则继续检测操作。
本申请实施例中，碰撞检测的方式可以有多种。比如，可以根据所需检测的物体相互之间的位置关系来确定是否发生碰撞。也即，步骤“基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞”可以包括以下流程：
获取目标视点位于真实环境中的第一位置信息；
获取虚拟物体的多个特征点各自对应在真实环境中的位置信息，以得到多个第二位置信息；
获取目标用户的多个手指的特征点在真实环境中的位置信息，以得到多个第三位置信息；
判断第一位置信息、多个第二位置信息、以及多个第三位置信息之间的位置关系是否满足预设条件；
若满足，则判定目标用户的多个手指与虚拟物体发生碰撞；
若不满足，则目标用户的多个手指与虚拟物体未发生碰撞。
本申请实施例中，进行碰撞检测时指尖信息是必不可少的。参考图2，本申请实施例中，以“手抓取瓶子”为例，可采用数据手套作为抓取的接口设备，用固定在手背上的磁力跟踪器来确定手的空间方位。其中，特征点可以为指尖区域(可自行定义区域大小)的某一点。手指数量与特征点数量是一一对应的，每一手指对应一特征点。
参考图3，可通过机器人学理论计算手指的空间方位，坐标系{i}相对于坐标系{i-1}的变换可以看成是以下4个子变换的乘积:绕Xi-1轴转αi-1角，沿Xi-1轴移动ai-1，绕Zi轴转θi角和沿Zi轴移动di。按照“从左到右”的原则，得到变换矩阵的一般表达式为：
仿照机器人学的解决方法可得大拇指和其他手指参数，则利用式(1)可得到相邻框之间的运动变换矩阵。最后根据和得到手指段i(i＝2，3，4)上任一点p(其在该框{i}中的齐次坐标为p＝(x，y，z，1)T)在框{0}中的坐标
在一些实施例中，碰撞检测方法可以物体的空间坐标为基础来判断两物体是否相交。继续参考图2，由于申请是基于视觉感知的方式，因此碰撞检测也是以视觉为基础进行检测的，即判断从视点出发经过指尖的直线是否与虚拟物体相交。也即，步骤“判断第一位置信息、多个第二位置信息、以及多个第三位置信息之间的位置关系是否满足预设条件”的步骤可以包括以下流程：
将多个第二位置信息与多个第三位置信息进行一一配对，形成多条相交的直线；
判断多条相交直线的交点对应在真实空间的第四位置信息，与第一位置信息是否相同；
若是，则判定位置关系满足预设条件；
若否，则判定位置关系不满足预设条件。
具体地，可利用光线几何原理进行相交计算我们把视点想象成光源，把从视点出发经过指尖的5条直线想象成光线，就可以利用光线几何原理解决碰撞检测问题，碰撞检测模型如图3所示。本申请进行两个层次的碰撞检测：外面是包围盒B，里面是圆柱状物体A。包围盒B呈矩形状实体盒，高度与圆柱状物体A相当，宽度大于圆柱状物体A的直径。先确定视点O所延伸出的光线是否与包围盒B相交(即碰撞)，若相交再进行判断是否与圆柱状物体A相交(即碰撞)。
由于人手的大小有差异，计算得到的指尖位置会和实际位置有偏差，使用包围盒便于后面的模糊计算。光线与无限长圆柱相交比较容易计算，通过包围盒可以限定它的高度。外层(包围盒)相交计算方法内层相交的计算方法如下：由于是要抓取的虚拟物体是圆柱状物体，所以应判断光线与圆柱状物体的相交.设光线的两端分别是(x1，y1，z1)和(x2，y2，z2)，将光线参数化为：
中心在(l，m，n)半径为r的无限长圆柱的公式为(x-l)2+(y-m)2＝r2.对x，y，z进行替换得到一个t的二次方程：
at2+bt+c＝0(3)
其中，a＝i2+j2，b＝2i(x1-l)+2j(y1-m)，c＝l2+m2+x1 2+y1 2+2(-l x1-my1)-r2。如果式(3)的判断值小于0，则光线不与圆柱相交；如果该判断值等于0，则光线擦过或与圆柱相切，方程的2个实数根给出相交的前后位置。用t值代入原始方程式(2)中可以得到这些点。
103、获取目标用户的多个手指相对于虚拟物体的多个方位变化信息。
本申请实施例中，可采用数据手套作为抓取的接口设备，用固定在手背上的磁力跟踪器来确定手的空间方位，然后将获取信息发送给主机进行处理，得到方位变化信息。
104、基于预设算法模型对多个方位变化信息进行处理，得到抓取参数值。
在一些实施例中，步骤“基于预设算法模型对多个方位变化信息进行处理，得到抓取参数值”可以包括以下流程：
对多个方位变化信息进行预处理，以得到多个抓取特征数据，其中，多个抓取特征数据包括：手的位置信息、手的移动速度、手指的弯曲度以及手掌的朝向参数；
基于预设算法模型对多个抓取特征数据进行处理，得到对应的抓取参数值。
具体地，可通过手指相对于手掌的运动关系，便可根据数据手套的输出信号得到手指关节的弯曲角度。确定手指相对于手掌的方位，从而确定手指的空间方位。对手的位置信息、手的移动速度、手指的弯曲度以及手掌的朝向参数等特征数据进行整合分析，结合对抓取过程进行分析，提取出抓取规则，将整个抓取过程被分为三个阶段:
阶段一、准备抓，特征：手基本不动(A2)，且手的移动速度明显变慢(A3)。
阶段二、正在抓，特征：手指弯曲度由小变大(A4)，手掌朝向用户(A5)。
阶段三、抓到，特征：手指视线与圆柱状物体相交(A1)。
根据这三个阶段可得出如下3条知识:
知识1、A2∧A3→H{h1(0.3)，h2(0.1)}；
知识2、A4∧A5→H{h1(0.5)，h2(0.1)}；
知识3、A1→H{h1(0.5)，h2(0.2)}。
知识中的证据分别对应每个步骤中的特征，这3条知识支持同一结论H，H中的元素h1代表“抓到”，h2代表“没抓到”。
从这3条知识可知，要进行证据推理，需先知道证据A1，A2，A3，A4和A5的确定性。比如，可利用模糊集合算法计算各证据的确定性。
具体过程可以为：将每个证据看作模糊集，为每个模糊集设计一个隶属函数，并用隶属函数的值代表不确定性证据的确定性。
以手指与虚拟物体相交的隶属函数为例，设定方法如下：因为2个手指也能抓起物体，所以不能以手指进入区间的多少来定隶属函数.根据抓取时每个手指的作用，为每个手指设定一个权值:大拇指(0.5)、食指(0.4)、中指(0.3)、无名指(0.1)和小拇指(0.05)。参考图2，本申请实施例中将整个空间划分为圆柱状物体内、包围盒与圆柱状物体之间、包围盒外3个区域，为每个区域也分配权值:圆柱状物体内A(1)、包围盒与圆柱状物体之间(0.8)、包围盒外(0)。
则手指视线与圆柱状物体相交的隶属函数为：
μA1＝0.5×d1+max(0.4×d2，0.3×d3)+max(0.1×d4，0.05×d5)
其中d1,d2,d3,d4,d5为大拇指、食指、中指、无名指和小拇指所处的区域值。
在得到各个证据的确定性后，最后利用预设算法模型，输入对各证据的确定性的数据，对是否抓取到虚拟物体进行概率推算，以作为抓取参数值。
105、判断抓取参数值是否大于预设阈值；若是，执行步骤106，若否，则继续判断操作。
其中，预设阈值可以由本领域技术人员或者产品生产厂商进行设置。实际应用中，其可以是多个证据准确性的综合值。若判定为大鱼预设阈值，则可认为用户抓取到虚拟物体，否则认为未抓取到虚拟物体。
106、根据多个手指的运动信息，调整虚拟物体在真实环境中的显示状态，以输出增强现实的显示画面。
具体地，在抓取到虚拟物体时，可根据用户手部动作调整虚拟物体在真实环境中的显示状态。
在一些实施例中，显示状态包括：显示位置和显示形态。则步骤“根据多个手指的运动信息，调整虚拟物体在真实环境中的显示状态”可以包括：
跟踪多个手指在真实环境中的运动信息；
根据运动信息调整实时调整虚拟物体对应在真实环境中的显示位置和显示形态。
具体地，在确定虚拟物体被抓取后，可直接根据手指在真实环境中的运动信息调整虚拟物体的显示位置和显示状态，以实现虚实结合的人机交互。
由上可知，本申请实施例提供了一种基于视觉感知的人机交互实现方法，通过在真实环境中显示虚拟物体，基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞，若发生碰撞，则获取目标用户的多个手指相对于虚拟物体的多个方位变化信息，基于预设算法模型对多个方位变化信息进行处理，得到抓取参数值，判断抓取参数值是否大于预设阈值，若大于，则根据多个手指的运动信息，调整虚拟物体在真实环境中的显示状态，以输出增强现实的显示画面。该方案基于人的视觉感知习惯实现虚拟物体与真实场景的融合，使得用户能在无需提示的情况下抓取虚拟物体，增加了虚拟物体与真实场景之间在视觉感知上的契合度，提升了人机交互的真实性。
参考图4，图4为本申请实施例提供的基于视觉感知的人机交互系统的一种场景架构示意图。
首先在真实环境中显示虚拟物体，然后基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞，若发生碰撞，则获取目标用户的多个手指相对于虚拟物体的多个方位变化信息，基于预设算法模型对多个方位变化信息进行预处理，提取出各个证据，并推算各个证据的准确性。再基于预设算法模型对更证据的准确性再次处理，以计算得出抓取参数值。通过判断抓取参数值是否满足条件，来确定虚拟物体是否被抓取，从而调整虚拟物体在真实环境中的显示状态，以输出增强现实的显示画面。
在本申请又一实施例中，还提供一种基于视觉感知的人机交互实现装置。如图5所示，该基于视觉感知的人机交互实现装置400可以包括显示模块41、第一判断模块42、获取模块43、处理模块44、第二判断模块45以及调整模块46，其中：
显示模块41，用于在真实环境中显示虚拟物体；
第一判断模块42，用于基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞；
获取模块43，用于在第一判断模块判定为是时，获取目标用户的多个手指相对于虚拟物体的多个方位变化信息；
处理模块44，用于基于预设算法模型对所述多个方位变化信息进行处理，得到抓取参数值；
第二判断模块45，用于判断所述抓取参数值是否大于预设阈值；
调整模块46，用于在第二判断模块判定为是时，根据所述多个手指的运动信息，调整所述虚拟物体在真实环境中的显示状态，以输出增强现实的显示画面。
在一些实施例中，参考图6，第一判断模块42可以包括：
第一获取子模块421，用于获取目标视点位于真实环境中的第一位置信息；
第二获取子模块422，用于获取虚拟物体的多个特征点各自对应在真实环境中的位置信息，以得到多个第二位置信息；
第三获取子模块423，用于获取目标用户的多个手指的特征点在真实环境中的位置信息，以得到多个第三位置信息；
判断子模块424，用于：
判断第一位置信息、多个第二位置信息、以及多个第三位置信息之间的位置关系是否满足预设条件；若满足，则判定目标用户的多个手指与虚拟物体发生碰撞；若不满足，则目标用户的多个手指与虚拟物体未发生碰撞。
在一些实施例中，判定子模块424进一步可用于：
将多个第二位置信息与多个第三位置信息进行一一配对，形成多条相交的直线；
判断所述多条相交直线的交点对应在真实空间的第四位置信息，与所述第一位置信息是否相同；
若是，则判定所述位置关系满足预设条件；
若否，则判定所述位置关系不满足预设条件。
在一些实施例中，参考图7，处理模块44可以包括：
信息处理子模块441，用于对所述多个方位变化信息进行预处理，以得到多个抓取特征数据，其中，所述多个抓取特征数据包括：手的位置信息、手的移动速度、手指的弯曲度以及手掌的朝向参数；
数据处理子模块442，用于基于预设算法模型对所述多个抓取特征数据进行处理，得到对应的抓取参数值。
在一些实施例中，显示状态包括：显示位置和显示形态，参考图8，调整模块46包括：
跟踪子模块461，用于跟踪所述多个手指在真实环境中的运动信息；
调整子模块462，用于根据所述运动信息调整实时调整所述虚拟物体对应在真实环境中的显示位置和显示形态。
由上可知，本申请实施例提供了一种基于视觉感知的人机交互实现装置，通过在真实环境中显示虚拟物体；基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞，若发生碰撞，则获取目标用户的多个手指相对于虚拟物体的多个方位变化信息；基于预设算法模型对所述多个方位变化信息进行处理，得到抓取参数值；判断所述抓取参数值是否大于预设阈值，若大于，则根据所述多个手指的运动信息，调整所述虚拟物体在真实环境中的显示状态，以输出增强现实的显示画面。该方案基于人的视觉感知习惯实现虚拟物体与真实场景的融合，使得用户能在无需提示的情况下抓取虚拟物体，增加了虚拟物体与真实场景之间在视觉感知上的契合度，提升了人机交互的真实性。
相应地，本申请实施例还提供一种电子设备500，该电子设备500具体可以是智能手机、平板电脑等终端设备。如图9所示，该电子设备500可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、通讯单元503、电源504、输入单元505、以及显示单元506等部件。本领域技术人员可以理解，图9中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器501是该电子设备500的控制中心，利用各种接口和线路连接整个电子设备500的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行电子设备500的各种功能和处理数据，从而对电子设备500进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块。处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。
通讯单元503可用于收发信息过程中，信号的接收和发送，特别地，通讯单元503接收终端发送的信号，并将该数据获取请求交由一个或者一个以上处理器501处理。同时，通讯单元503将处理器501发出的反馈信号发送给服务器。
电子设备500还包括给各个部件供电的电源504(比如电池)。优选的，电源可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源504还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备500还可包括输入单元505，该输入单元505可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备500还可包括显示单元506，该显示单元506可用于显示由用户输入的信息或提供给用户的信息以及电子设备500的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元508可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等
在描述本申请的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中)，应该将这些术语解释为既涵盖单数又涵盖复数。此外，除非本文中另有说明，否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值，而每个独立的值都并入本说明书中，就像这些值在本文中单独进行了陈述一样。另外，除非本文中另有指明或上下文有明确的相反提示，否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本申请的改变并不限于描述的步骤顺序。除非另外主张，否则使用本文中所提供的任何以及所有实例或示例性语言(例如，“例如”)都仅仅为了更好地说明本申请的概念，而并非对本申请的概念的范围加以限制。
以上对本申请实施例所提供的一种基于视觉感知的人机交互实现方法和装置进行了详细介绍。应理解，本文所述的示例性实施方式应仅被认为是描述性的，用于帮助理解本申请的方法及其核心思想，而并不用于限制本申请。在每个示例性实施方式中对特征或方面的描述通常应被视作适用于其他示例性实施例中的类似特征或方面。尽管参考示例性实施例描述了本申请，但可建议所属领域的技术人员进行各种变化和更改。本申请意图涵盖所附权利要求书的范围内的这些变化和更改。

Claims (10)

1.一种基于视觉感知的人机交互实现方法，其特征在于，包括：
在真实环境中显示虚拟物体；
基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞；
若是，则获取目标用户的多个手指相对于虚拟物体的多个方位变化信息；
基于预设算法模型对所述多个方位变化信息进行处理，得到抓取参数值；
判断所述抓取参数值是否大于预设阈值；
若大于，则根据所述多个手指的运动信息，调整所述虚拟物体在真实环境中的显示状态，以输出增强现实的显示画面。
2.如权利要求1所述的基于视觉感知的人机交互实现方法，其特征在于，基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞的步骤，包括:
获取目标视点位于真实环境中的第一位置信息；
获取虚拟物体的多个特征点各自对应在真实环境中的位置信息，以得到多个第二位置信息；
获取目标用户的多个手指的特征点在真实环境中的位置信息，以得到多个第三位置信息；
判断第一位置信息、多个第二位置信息、以及多个第三位置信息之间的位置关系是否满足预设条件；
若满足，则判定目标用户的多个手指与虚拟物体发生碰撞；
若不满足，则目标用户的多个手指与虚拟物体未发生碰撞。
3.如权利要求2所述的基于视觉感知的人机交互实现方法，其特征在于，判断第一位置信息、多个第二位置信息、以及多个第三位置信息之间的位置关系是否满足预设条件的步骤，包括：
将多个第二位置信息与多个第三位置信息进行一一配对，形成多条相交的直线；
判断所述多条相交直线的交点对应在真实空间的第四位置信息，与所述第一位置信息是否相同；
若是，则判定所述位置关系满足预设条件；
若否，则判定所述位置关系不满足预设条件。
4.如权利要求1所述的基于视觉感知的人机交互实现方法，其特征在于，基于预设算法模型对所述多个方位变化信息进行处理，得到抓取特征值的步骤，包括：
对所述多个方位变化信息进行预处理，以得到多个抓取特征数据，其中，所述多个抓取特征数据包括：手的位置信息、手的移动速度、手指的弯曲度以及手掌的朝向参数；
基于预设算法模型对所述多个抓取特征数据进行处理，得到对应的抓取参数值。
5.如权利要求1所述的基于视觉感知的人机交互实现方法，其特征在于，所述显示状态包括：显示位置和显示形态；
根据所述多个手指的运动信息，调整所述虚拟物体在真实环境中的显示状态的步骤，包括：
跟踪所述多个手指在真实环境中的运动信息；
根据所述运动信息调整实时调整所述虚拟物体对应在真实环境中的显示位置和显示形态。
6.一种基于视觉感知的人机交互实现装置，其特征在于，包括：
显示模块，用于在真实环境中显示虚拟物体；
第一判断模块，用于基于视觉感知判断目标用户的多个手指与虚拟物体是否发生碰撞；
获取模块，用于在第一判断模块判定为是时，获取目标用户的多个手指相对于虚拟物体的多个方位变化信息；
处理模块，用于基于预设算法模型对所述多个方位变化信息进行处理，得到抓取参数值；
第二判断模块，用于判断所述抓取参数值是否大于预设阈值；
调整模块，用于在第二判断模块判定为是时，根据所述多个手指的运动信息，调整所述虚拟物体在真实环境中的显示状态，以输出增强现实的显示画面。
7.如权利要求6所述的基于视觉感知的人机交互实现装置，其特征在于，所述第一判断模块包括：
第一获取子模块，用于获取目标视点位于真实环境中的第一位置信息；
第二获取子模块，用于获取虚拟物体的多个特征点各自对应在真实环境中的位置信息，以得到多个第二位置信息；
第三获取子模块，用于获取目标用户的多个手指的特征点在真实环境中的位置信息，以得到多个第三位置信息；
判断子模块，用于：
判断第一位置信息、多个第二位置信息、以及多个第三位置信息之间的位置关系是否满足预设条件；若满足，则判定目标用户的多个手指与虚拟物体发生碰撞；若不满足，则目标用户的多个手指与虚拟物体未发生碰撞。
8.如权利要求7所述的基于视觉感知的人机交互实现装置，其特征在于，所述判定子模块进一步用于：
将多个第二位置信息与多个第三位置信息进行一一配对，形成多条相交的直线；
判断所述多条相交直线的交点对应在真实空间的第四位置信息，与所述第一位置信息是否相同；
若是，则判定所述位置关系满足预设条件；
若否，则判定所述位置关系不满足预设条件。
9.如权利要求6所述的基于视觉感知的人机交互实现装置，其特征在于，所述处理模块包括：
信息处理子模块，用于对所述多个方位变化信息进行预处理，以得到多个抓取特征数据，其中，所述多个抓取特征数据包括：手的位置信息、手的移动速度、手指的弯曲度以及手掌的朝向参数；
数据处理子模块，用于基于预设算法模型对所述多个抓取特征数据进行处理，得到对应的抓取参数值。
10.如权利要求6所述的基于视觉感知的人机交互实现装置，其特征在于，所述调整模块包括：
跟踪子模块，用于跟踪所述多个手指在真实环境中的运动信息；
调整子模块，用于根据所述运动信息调整实时调整所述虚拟物体对应在真实环境中的显示位置和显示形态。
CN201710972959.5A 2017-10-18 2017-10-18 基于视觉感知的人机交互实现方法和装置 Pending CN109683700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710972959.5A CN109683700A (zh) 2017-10-18 2017-10-18 基于视觉感知的人机交互实现方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710972959.5A CN109683700A (zh) 2017-10-18 2017-10-18 基于视觉感知的人机交互实现方法和装置

Publications (1)

Publication Number Publication Date
CN109683700A true CN109683700A (zh) 2019-04-26

Family

ID=66184013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710972959.5A Pending CN109683700A (zh) 2017-10-18 2017-10-18 基于视觉感知的人机交互实现方法和装置

Country Status (1)

Country Link
CN (1) CN109683700A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399654A (zh) * 2020-03-25 2020-07-10 Oppo广东移动通信有限公司 信息处理方法、装置、电子设备及存储介质
CN111949112A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 对象交互方法及装置、系统、计算机可读介质和电子设备
CN112346564A (zh) * 2020-10-26 2021-02-09 江南大学 一种手抓取释放虚拟物体方法
CN115409871A (zh) * 2022-10-31 2022-11-29 浙江中测新图地理信息技术有限公司 一种基于位置智能的三维场景虚实交互方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1641701A (zh) * 1996-06-05 2005-07-20 世嘉股份有限公司 游戏用图像处理装置
US20060205502A1 (en) * 2005-03-10 2006-09-14 Nintendo Co., Ltd. Storage medium storing game program and game apparatus
CN101515198A (zh) * 2009-03-11 2009-08-26 上海大学 一种虚拟物体抓取与抛掷的人机交互方法及系统
CN103955267A (zh) * 2013-11-13 2014-07-30 上海大学 光透视增强现实系统中双手人机交互方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1641701A (zh) * 1996-06-05 2005-07-20 世嘉股份有限公司 游戏用图像处理装置
US20060205502A1 (en) * 2005-03-10 2006-09-14 Nintendo Co., Ltd. Storage medium storing game program and game apparatus
CN101515198A (zh) * 2009-03-11 2009-08-26 上海大学 一种虚拟物体抓取与抛掷的人机交互方法及系统
CN103955267A (zh) * 2013-11-13 2014-07-30 上海大学 光透视增强现实系统中双手人机交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚争为: "增强现实系统中基于视觉感知的抓取识别", 《计算机辅助设计与图形学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949112A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 对象交互方法及装置、系统、计算机可读介质和电子设备
CN111399654A (zh) * 2020-03-25 2020-07-10 Oppo广东移动通信有限公司 信息处理方法、装置、电子设备及存储介质
CN112346564A (zh) * 2020-10-26 2021-02-09 江南大学 一种手抓取释放虚拟物体方法
CN115409871A (zh) * 2022-10-31 2022-11-29 浙江中测新图地理信息技术有限公司 一种基于位置智能的三维场景虚实交互方法及装置

Similar Documents

Publication Publication Date Title
CN106471442B (zh) 可穿戴装置的用户界面控制
CN109683700A (zh) 基于视觉感知的人机交互实现方法和装置
WO2021011888A1 (en) System and method for error detection and correction in virtual reality and augmented reality environments
EP3040814A1 (en) Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
CN108983978A (zh) 虚拟手控制方法及装置
KR20220018559A (ko) 자가-햅틱 가상 키보드를 갖는 인공 현실 시스템
CN110457414A (zh) 离线地图处理、虚拟对象显示方法、装置、介质和设备
CN109478101A (zh) 为虚拟现实用户界面检测用户运动范围
CN107850948A (zh) 混合现实社交
JP2022510843A (ja) アバタ移動のためのマルチモードの手の場所および配向
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
CA2973126A1 (en) Systems and methods of monitoring activities at a gaming venue
CN113892074A (zh) 用于人工现实系统的手臂凝视驱动的用户界面元素选通
KR20220016984A (ko) 디지트-매핑된 자가-햅틱 입력 방법을 갖는 인공 현실 시스템
CN107930119A (zh) 信息处理方法、装置、电子设备及存储介质
CN102460510A (zh) 用于与空间操作系统一起使用的空间多模式控制设备
CN113841110A (zh) 具有用于选通用户界面元素的个人助理元素的人工现实系统
CN111353299B (zh) 基于人工智能的对话场景确定方法和相关装置
CN110472532A (zh) 一种视频对象行为识别方法和装置
CN113892075A (zh) 用于人工现实系统的拐角识别手势驱动的用户界面元素选通
US20220066541A1 (en) Virtual reality system with posture control
CN111966217A (zh) 基于手势和眼动的无人机控制方法和系统
CN113975812A (zh) 游戏图像的处理方法、装置、设备及存储介质
CN113633937A (zh) 虚拟现实上肢康复作业治疗系统
WO2020195017A1 (ja) 経路認識方法、経路認識装置、経路認識プログラム、及び経路認識プログラム記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426