CN107102750A - 一种基于笔式交互系统的虚拟三维空间中目标的选择方法 - Google Patents

一种基于笔式交互系统的虚拟三维空间中目标的选择方法 Download PDF

Info

Publication number
CN107102750A
CN107102750A CN201710270095.2A CN201710270095A CN107102750A CN 107102750 A CN107102750 A CN 107102750A CN 201710270095 A CN201710270095 A CN 201710270095A CN 107102750 A CN107102750 A CN 107102750A
Authority
CN
China
Prior art keywords
target
user
electronic pen
coordinate
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710270095.2A
Other languages
English (en)
Other versions
CN107102750B (zh
Inventor
陈建
杨鹏
孙晓颖
孙铭会
燕学智
林琳
温泉
康凯
于嘉鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201710270095.2A priority Critical patent/CN107102750B/zh
Publication of CN107102750A publication Critical patent/CN107102750A/zh
Application granted granted Critical
Publication of CN107102750B publication Critical patent/CN107102750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于笔式交互系统的虚拟三维空间中目标的选择方法,属于虚拟三维空间中目标的选择方法。基于超声三维笔式定位系统,获得电子笔的坐标以及电子笔的姿态信息,根据电子笔的坐标以及姿态信息实现目标的选择,考虑到大屏幕的尺寸、用户选择的便利性、用户需要移动的距离等问题,进一步根据电子笔的姿态结合按键以及定义的算法,实现目标的精确快速选择,用户可以在任意位置对三维虚拟空间中的任意目标进行精确选择,打破了空间的限制,实现了三维大空间中人机交互过程中虚拟目标精确快速选择。

Description

一种基于笔式交互系统的虚拟三维空间中目标的选择方法
技术领域
本发明涉及一种虚拟三维空间中目标的选择方法,具体涉及一种基于笔式交互系统的虚拟三维空间中目标的精确选择方法,可实现用户在大空间中任意位置对虚拟空间中任意目标的精确选择,可应用于人机交互技术、虚拟现实等领域。
背景技术
人机交互的研究愈发深入,研究也向着以人为中心自然高效的方面发展,电子笔式交互也应运而生。传统的图形用户界面基于桌面隐喻,采用的是WIMP交互范式,采用鼠标、键盘作为交互的输入设备,实现人机交互。电子笔式交互模拟了人们使用纸电子笔的习惯,充分利用了电子计算的优势,成为一种自然灵活的交互方式。笔式交互在二维平面上的研发以及应用已经趋于完善,基于纸电子笔隐喻为用户提供最大的习惯性。此外,作为的输入设备,电子笔由于其具有便于携带,使用方便,支持直接操作等优势被广泛应用于电子白板、平板电脑和移动电话等设备,在二维平面上得到广泛应用。
随着三维人机交互和虚拟现实的迅速发展,三维大空间笔式人机交互系统成为未来发展的主要方向,要在大空间进行三维操作,如果还按传统的方式进行点击操作或者真实空间与虚拟空间对称操作,势必使操作者来回走动,操作极其不便。
中国专利“一种三维大空间多通道笔式交互系统”(申请号201611157044.0)公开了一种三维大空间笔式交互系统。系统包括控制器、接收器和智能笔构成,智能笔集成PVDF压电薄膜、MEMS加速度和陀螺仪传感器、压力传感器、蓝牙通信芯片等传感器件。控制器通过接收器接收智能笔发送的超声波信号,采用超声波三维高精度无线定位技术获得智能笔的位置,采用加速度和陀螺仪信号计算智能笔姿态,通过蓝牙通信实现对智能笔姿态的读取,并能够将麦克风拾取的语音信号由蓝牙芯片上传给控制器。该发明能够提供智能笔(电子笔)的三维空间坐标和姿态信息,但未对大空间三维虚拟空间中目标的选择提供有效方法。
发明内容
本发明提供一种基于笔式交互系统的虚拟三维空间中目标的选择方法,在三维大空间人机交互中,利用电子笔的位置及姿态信息,实现虚拟空间中目标的精确选择,给用户提供了一种更加方便、自然的交互方法,提高了交互效率。
本发明采取的技术方案,包括下列步骤:
(一)以主机的左下角为坐标原点,以过原点的水平直线为X轴,以过原点且竖直向上的直线为Y轴,以过原点且垂直于XOY面的直线为Z轴,建立三维坐标系;
(二)用户操作电子笔时,电子笔将自己的空间位置信息以及姿态信息实时的传给主机,所谓电子笔的空间位置信息指的是电子笔笔尖位置A在实际空间中的绝对坐标(x0,y0,z0),姿态信息指的是电子笔俯仰角α和航向角β,系统根据电子笔所提供的信息,生成一条以电子笔尖坐标为起点,以电子笔的姿态信息确定射线的方向向量根据电子笔笔尖位置A,确定射线L的方程;
(三)当用户想要对目标M进行选择时,M所在的区域为{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax},为了使选择更加的快捷、人性化提供两种模式进行选择:
模式一、镜像模式:
1)当用户想要选择的目标M在用户当前可选择的一臂长Zbc范围{(x,y,z)|Z0≤Z≤Z0+Zbc||Z0-Zbc≤Z≤Z0}之内时,采用此方法。在系统根据电子笔笔尖位置A在实际空间中的绝对坐标(x0,y0,z0),判定当前所选虚拟空间中的平面为Z=Z0,确定所选点B的Z坐标为Z0,同时根据射线L和所选点B的Z坐标得到用户所选的点B的具体坐标(x0-2z0tanβ,y0-2z0cotα/sinβ,-z0);
2)根据用户选的点B,系统判定点B的位置,当系统判定点B落在目标M所在区域{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax}之内时,高亮突显目标M,用户之后就可以对目标M进行操作;当B不在M所包含范围之内,此时用户调整电子笔的位置,使点B落在M的范围之内,完成对目标M的选择;
模式二、同向模式:
1)当用户想要选择的目标M在用户当前可选择的一臂长Zbc范围{(x,y,z)|Z0≤Z≤Z0+Zbc||Z0-Zbc≤Z≤Z0}之外时,采用此方法。电子笔笔尖位置A在实际空间中的绝对坐标(x0,y0,z0),所选点B的具体坐标(x0-2z0tanβ,-2z0cotα/sinβ,-z0),Z0已达到用户所能选择的最远深度,仍无法选中目标M,调用模式二,用户向前移动电子笔到A1位置(x,y,z1)(x,y坐标不限),系统监测用户在Z轴上移动的距离为△z=z1-z0,此时,系统判定选点B的具体坐标(x0-2z0tanβ,y0-2z0cotα/sinβ,-z0+△z);
2)根据用户所选的点B,系统判定点B的位置,当系统判定点B落在目标M所在区域{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax}之内时,高亮突显目标M,用户之后就可以对目标M进行操作;当B不在M所包含范围之内,此时用户调整电子笔的位置,使点B落在M的范围之内,完成对目标M的选择;
进一步的,步骤(二)中根据电子笔的信息确定的射线方程计算方法如下:
根据电子笔的姿态获得电子笔的俯仰角α和航向角β,通过计算获得方向向量为由此确定空间中的射线L的方程为:
其中α为俯仰角,即指电子笔与Y轴正方向所成的角,β为航向角,即电子笔在XOZ面上的投影与X轴正方向所成的角;
进一步的,步骤(三)所提M所在区域:
{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax}的具体算法如下:
区域中xmin和xmax分别是指目标M所占区域在X轴方向上的最小和最大坐标,ymin和ymax分别是指目标M所占区域在Y轴方向上的最小和最大坐标,zmin和zmax分别是指目标M所占区域在Z轴方向上的最小和最大坐标,六个值构成一个区域,当点B落在区域内时,系统高亮突显该目标;
进一步的,步骤(三)中模式一1)所提确定用户所选点B的坐标的确定方法如下:
当电子笔尖笔尖位置A在实际空间中的坐标为(x0,y0,z0)时,此时电子笔的俯仰角为α和航向角β,那么系统此时确定用户所选点B的Z坐标为-Z0,根据射线方程求得点B的横、纵坐标,由此平面和射线方程相交得到用户所选的点B的坐标为(x0-2z0tanβ,y0-2z0cotα/sinβ,-z0);根据用户所选的点B的坐标,系统通过判定点B落在目标所属区域来选中该区域表表示的目标;
进一步的,步骤(三)所提两种工作模式来完成对目标M的选择的具体实施方法如下:
当工作在模式一时,当用户将电子笔移动到位置A(x0,y0,z0)时,确定用户选择的点B的坐标为(x0-2z0tanβ,y0-2z0cotα/sinβ,-z0);当工作在模式二时,在用户启动模式二时选择的点B基础之上,根据电子笔在Z坐标上的变化量△z=z1-z0,确定用户新选择的点B′的坐标为(x0-2z0tanβ,y0-2z0cotα/sinβ,-z0+△z)。两种模式相互切换可以实现用户在不动的情况下实现Z坐标范围为两倍臂长的范围内的目标的精确快速选择。当用户想选择目标M在此范围之外时,也只需用户移动很小的距离就能实现对目标M的精确选择。
本发明的优点在于:将电子笔的姿态信息与位置信息用于虚拟三维空间中目标的选择,实现了虚拟三维空间中目标的远距离选择,解除了大空间对用户的限制,使得交互更加便捷、自然,不仅可以直接选择虚拟空间中容易被选择的目标,对被遮挡以及体积较小的目标的选择也有了较易实现的方式,两种选择方式的结合,充分利用了三维大空间中笔式交互的优势,使得虚拟空间中目标的选择更加人性化,提高了目标选择的效率,尤其当用户在大空间中进行操作时,此种方法更加便利、快捷,改善了用户体验。
附图说明
图1本发明主机的结构示意图;
图2本发明电子笔结构示意图;
图3本发明虚拟空间中目标精确选择的原理图;
图4本发明虚拟空间中目标选择流程示意图。
具体实施方式
包括下列步骤:
(一)以主机的左下角为坐标原点,以过原点的水平直线为X轴,以过原点且竖直向上的直线为Y轴,以过原点且垂直于XOY面的直线为Z轴,建立三维坐标系;
(二)用户操作电子笔时,电子笔将自己的空间位置信息以及姿态信息实时的传给主机,所谓电子笔的空间位置信息指的是电子笔笔尖位置A在实际空间中的绝对坐标(x0,y0,z0),姿态信息指的是电子笔俯仰角α和航向角β,系统根据电子笔所提供的信息,生成一条以电子笔尖坐标为起点,以电子笔的姿态信息确定射线的方向向量根据电子笔笔尖位置A,确定射线L的方程;
(三)当用户想要对目标M进行选择时,M所在的区域为{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax},为了使选择更加的快捷、人性化提供两种模式进行选择:
模式一、镜像模式:
1)当用户想要选择的目标M在用户当前可选择的一臂长Zbc范围{(x,y,z)|Z0≤Z≤Z0+Zbc||Z0-Zbc≤Z≤Z0}之内时,采用此方法。在系统根据电子笔笔尖位置A在实际空间中的绝对坐标(x0,y0,z0),判定当前所选虚拟空间中的平面为Z=Z0,确定所选点B的Z坐标为Z0,同时根据射线L和所选点B的Z坐标得到用户所选的点B的具体坐标(x0-2z0tanβ,y0-2z0cotα/sinβ,-z0);
2)根据用户选的点B,系统判定点B的位置,当系统判定点B落在目标M所在区域{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax}之内时,高亮突显目标M,用户之后就可以对目标M进行操作;当B不在M所包含范围之内,此时用户调整电子笔的位置,使点B落在M的范围之内,完成对目标M的选择;
模式二、同向模式:
1)当用户想要选择的目标M在用户当前可选择的一臂长Zbc范围{(x,y,z)|Z0≤Z≤Z0+Zbc||Z0-Zbc≤Z≤Z0}之外时,采用此方法。电子笔笔尖位置A在实际空间中的绝对坐标(x0,y0,z0),所选点B的具体坐标(x0-2z0tanβ,-2z0cotα/sinβ,-z0),Z0已达到用户所能选择的最远深度,仍无法选中目标M,调用模式二,用户向前移动电子笔到A1位置(x,y,z1)(x,y坐标不限),系统监测用户在Z轴上移动的距离为△z=z1-z0,此时,系统判定选点B的具体坐标(x0-2z0tanβ,y0-2z0cotα/sinβ,-z0+△z);
2)根据用户所选的点B,系统判定点B的位置,当系统判定点B落在目标M所在区域{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax}之内时,高亮突显目标M,用户之后就可以对目标M进行操作;当B不在M所包含范围之内,此时用户调整电子笔的位置,使点B落在M的范围之内,完成对目标M的选择;
进一步的,步骤(二)中根据电子笔的信息确定的射线方程计算方法如下:
根据电子笔的姿态获得电子笔的俯仰角α和航向角β,通过计算获得方向向量为由此确定空间中的射线L的方程为:
其中α为俯仰角,即指电子笔与Y轴正方向所成的角,β为航向角,即电子笔在XOZ面上的投影与X轴正方向所成的角;
进一步的,步骤(三)所提M所在区域:
{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax}的具体算法如下:
区域中xmin和xmax分别是指目标M所占区域在X轴方向上的最小和最大坐标,ymin和ymax分别是指目标M所占区域在Y轴方向上的最小和最大坐标,zmin和zmax分别是指目标M所占区域在Z轴方向上的最小和最大坐标,六个值构成一个区域,当点B落在区域内时,系统高亮突显该目标;
进一步的,步骤(三)中模式一1)所提确定用户所选点B的坐标的确定方法如下:
当电子笔尖笔尖位置A在实际空间中的坐标为(x0,y0,z0)时,此时电子笔的俯仰角为α和航向角β,那么系统此时确定用户所选点B的Z坐标为-Z0,根据射线方程求得点B的横、纵坐标,由此平面和射线方程相交得到用户所选的点B的坐标为(x0-2z0tanβ,y0-2z0cotα/sinβ,-z0);根据用户所选的点B的坐标,系统通过判定点B落在目标所属区域来选中该区域表表示的目标;
进一步的,步骤(三)所提两种工作模式来完成对目标M的选择的具体实施方法如下:
当工作在模式一时,当用户将电子笔移动到位置A(x0,y0,z0)时,确定用户选择的点B的坐标为(x0-2z0tanβ,y0-2z0cotα/sinβ,-z0);当工作在模式二时,在用户启动模式二时选择的点B基础之上,根据电子笔在Z坐标上的变化量△z=z1-z0,确定用户新选择的点B′的坐标为(x0-2z0tanβ,y0-2z0cotα/sinβ,-z0+△z)。两种模式相互切换可以实现用户在不动的情况下实现Z坐标范围为两倍臂长的范围内的目标的精确快速选择。当用户想选择目标M在此范围之外时,也只需用户移动很小的距离就能实现对目标M的精确选择。
为了使本技术领域的人员更好的理解本发明,下面结合附图对本发明作进一步的详细说明。
图1和图2为本发明公开的虚拟三维空间目标的选择方法的所采用的三维笔式交互系统的组成示意图,该系统包括两个部分:主机100和电子笔200,主机100主要包含三个组成器件:显示器,白板、超声三维定位模块102和蓝牙通信模块103,显示器101完成虚拟空间的显示,显示器的尺寸根据不同的环境可以进行调整;超声三维定位模块102包括3个不在一条直线上的超声传感器1021构成的三维超声定位阵列及2个红外传感器1022;蓝牙通信模块103负责接收电子笔发送的姿态位置等信数据,并实现对电子笔的配置功能;电子笔200主要包括电子笔尖201、PVDF超声薄膜202、红外发射管203、按键204、MEMS六轴加速度/陀螺仪传感器205和蓝牙通信芯片206,PVDF压电薄膜202作为超声波发射器,为了满足360度发射超声波信号,将其设计成圆柱形;MEMS六轴加速度/陀螺仪传感器205用于提取电子笔的姿态信息。
具体的电子笔式交互实现方法如下:
触发电子笔的定位按键204时,PVDF超声薄膜202及红外发射管203分别发射超声信号及红外信号,以红外信号作为测距同步信号,通过三维超声定位技术对电子笔进行三维实时定位,随后进行超声三维电子笔迹跟踪,电子笔迹跟踪实现后,利用MEMS六轴加速度/陀螺仪205完成电子笔的姿态提取,之后重复整个过程;电子笔通过蓝牙通信芯片206将电子笔的位置信息和姿态信息传送给主机,主机100通过蓝牙通信模块103接收电子笔发送的信息,得到电子笔尖的位置信息A(x0,y0,z0)以及电子笔的姿态信息,俯仰角α和航向角β;
首先根据图3,图中α代表电子笔的俯仰角,也就是电子笔与Y轴正半轴的夹角;β代表的是电子笔的航向角,也就是电子笔在XOZ平面上的投影与X轴正方向所成的夹角;具体的计算步骤如下:主机[100]根据电子笔[200]发送的信息,在虚拟三维空间中确定电子笔尖的位置A为(x0,y0,z0),俯仰角α和航向角β;通过计算得到代表电子笔的姿态的方向向量为(sinαcosβ,cosα,sinαsinα),之后根据A的位置和方向向量得到射线的方程为
根据图3所示,用户在代表实际空间中Lm*Wm*Hm的区域302中进行交互,此区域是系统允许的电子笔能活动的范围;各种虚拟的目标分布在表示是虚拟空间301中,在人机交互过程中,用户可以对区域301中的目标进行操作;图中点A代表的是电子笔200笔尖在实际空间中的位置,若点A的坐标为(x0,y0,z0),点B是平面Z=-Z0和射线L的交点,也就是系统所确定的用户选择的点,假设此时电子笔的俯仰角为α和航向角β,结合点A的位置,根据射线方程,计算出点B的坐标为(x0-2z0tanβ,y0-2z0cotα/sinβ,-z0),系统根据点B的坐标,判定点B落在目标M303的区域{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax}内,高亮突显目标M303,用户双击按键就可以对目标进行操作;
如图3所示,当用户想要选择的目标是N304时,按照模式一的工作方式,用户需要将电子笔2002向后移动到A2的位置,选中点B′,选中点B′,系统判定对应点B′落在了目标N304之内,高亮突显目标N304;按照模式二的工作方式,用户需要将电子笔2001向前移动到A1的位置,选中点B′,系统判定对应点B′落在了目标N304之内,高亮突显目标N304,高亮突显目标N304后,用户就可以选中目标N304,之后对其进行操作。
如图4所示,整个操作过程如下:
当系统根据电子笔的姿态生成的射线判定用户指向某目标时,系统高亮突显目标,当该目标是用户想要选择的目标M时,用户双击电子笔上按键,选中该目标,之后可以对该目标进行各种操作;当所指向目标并非用户想选择的目标M时,调整电子笔的位置和姿态,系统默认操作模式是模式一,选中待选目标M的目标之后,可以对目标进行操作;当到达用户所能选择的极限深度仍无法选中目标M时,用户先选中目标M前后的目标,用户通过按住电子笔上按键来启动模式二,在模式一最后选中的B点的基础上,调整电子笔的前后位置,从而改变选中点B的前后位置,直到点B落在用户想要选择的区域之内,选中想要选择的目标,此时松开按键,选定目标,对目标进行下一步操作;若到模式二的极限位置仍未能选中目标M,此时需要用户移动自己的位置,来选中待选目标M,选中待选目标M之后对目标进行进一步操作。

Claims (5)

1.一种基于笔式交互系统的虚拟三维空间中目标的选择方法,其特征在于,包括下列步骤:
(一)以主机的左下角为坐标原点,以过原点的水平直线为X轴,以过原点且竖直向上的直线为Y轴,以过原点且垂直于XOY面的直线为Z轴,建立三维坐标系;
(二)用户操作电子笔时,电子笔将自己的空间位置信息以及姿态信息实时的传给主机,所谓电子笔的空间位置信息指的是电子笔笔尖位置A在实际空间中的绝对坐标(x0,y0,z0),姿态信息指的是电子笔俯仰角α和航向角β,系统根据电子笔所提供的信息,生成一条以电子笔尖坐标为起点,以电子笔的姿态信息确定射线的方向向量根据电子笔笔尖位置A,确定射线L的方程;
(三)当用户想要对目标M进行选择时,M所在的区域为{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax},为了使选择更加的快捷、人性化提供两种模式进行选择:
模式一、镜像模式:
1)当用户想要选择的目标M在用户当前可选择的一臂长Zbc范围{(x,y,z)|Z0≤Z≤Z0+Zbc||Z0-Zbc≤Z≤Z0}之内时,采用此方法。在系统根据电子笔笔尖位置A在实际空间中的绝对坐标(x0,y0,z0),判定当前所选虚拟空间中的平面为Z=Z0,确定所选点B的Z坐标为Z0,同时根据射线L和所选点B的Z坐标得到用户所选的点B的具体坐标(x0-2z0tanβ,y0-2z0 cotα/sinβ,-z0);
2)根据用户选的点B,系统判定点B的位置,当系统判定点B落在目标M所在区域{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax}之内时,高亮突显目标M,用户之后就可以对目标M进行操作;当B不在M所包含范围之内,此时用户调整电子笔的位置,使点B落在M的范围之内,完成对目标M的选择;
模式二、同向模式:
1)当用户想要选择的目标M在用户当前可选择的一臂长Zbc范围{(x,y,z)|Z0≤Z≤Z0+Zbc||Z0-Zbc≤Z≤Z0}之外时,采用此方法。电子笔笔尖位置A在实际空间中的绝对坐标(x0,y0,z0),所选点B的具体坐标(x0-2z0tanβ,-2z0cotα/sinβ,-z0),Z0已达到用户所能选择的最远深度,仍无法选中目标M,调用模式二,用户向前移动电子笔到A1位置(x,y,z1)(x,y坐标不限),系统监测用户在Z轴上移动的距离为△z=z1-z0,此时,系统判定选点B的具体坐标(x0-2z0 tanβ,y0-2z0 cotα/sinβ,-z0+△z);
2)根据用户所选的点B,系统判定点B的位置,当系统判定点B落在目标M所在区域{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax}之内时,高亮突显目标M,用户之后就可以对目标M进行操作;当B不在M所包含范围之内,此时用户调整电子笔的位置,使点B落在M的范围之内,完成对目标M的选择。
2.根据权利要求1所述的一种基于笔式交互系统的虚拟三维空间中目标的选择方法,其特征在于,所述步骤(二)中根据电子笔的信息确定的射线方程计算方法如下:
根据电子笔的姿态获得电子笔的俯仰角α和航向角β,通过计算获得方向向量为由此确定空间中的射线L的方程为:
<mrow> <mfrac> <mrow> <mi>x</mi> <mo>-</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> </mrow> <mrow> <mi>sin</mi> <mi>&amp;alpha;</mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;beta;</mi> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mi>y</mi> <mo>-</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> </mrow> <mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;alpha;</mi> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mi>z</mi> <mo>-</mo> <msub> <mi>z</mi> <mn>0</mn> </msub> </mrow> <mrow> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;alpha;</mi> <mi>sin</mi> <mi>&amp;beta;</mi> </mrow> </mfrac> </mrow> 1
其中α为俯仰角,即指电子笔与Y轴正方向所成的角,β为航向角,即电子笔在XOZ面上的投影与X轴正方向所成的角。
3.根据权利要求1所述的一种基于笔式交互系统的虚拟三维空间中目标的选择方法,其特征在于,所述步骤(三)所提M所在区域:
{(x,y,z)|xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax}的具体算法如下:
区域中xmin和xmax分别是指目标M所占区域在X轴方向上的最小和最大坐标,ymin和ymax分别是指目标M所占区域在Y轴方向上的最小和最大坐标,zmin和zmax分别是指目标M所占区域在Z轴方向上的最小和最大坐标,六个值构成一个区域,当点B落在区域内时,系统高亮突显该目标。
4.根据权利要求1所述的一种基于笔式交互系统的虚拟三维空间中目标的选择方法,其特征在于,所述步骤(三)中模式一1)所提确定用户所选点B的坐标的确定方法如下:
当电子笔尖笔尖位置A在实际空间中的坐标为(x0,y0,z0)时,此时电子笔的俯仰角为α和航向角β,那么系统此时确定用户所选点B的Z坐标为-Z0,根据射线方程求得点B的横、纵坐标,由此平面和射线方程相交得到用户所选的点B的坐标为(x0-2z0tanβ,y0-2z0 cotα/sinβ,-z0);根据用户所选的点B的坐标,系统通过判定点B落在目标所属区域来选中该区域表表示的目标。
5.根据权利要求1所述的一种基于笔式交互系统的虚拟三维空间中目标的选择方法,其特征在于,所述步骤(三)所提两种工作模式来完成对目标M的选择的具体实施方法如下:
当工作在模式一时,当用户将电子笔移动到位置A(x0,y0,z0)时,确定用户选择的点B的坐标为(x0-2z0 tanβ,y0-2z0 cotα/sinβ,-z0);当工作在模式二时,在用户启动模式二时选择的点B基础之上,根据电子笔在Z坐标上的变化量△z=z1-z0,确定用户新选择的点B′的坐标为(x0-2z0 tanβ,y0-2z0 cotα/sinβ,-z0+△z)。两种模式相互切换可以实现用户在不动的情况下实现Z坐标范围为两倍臂长的范围内的目标的精确快速选择。当用户想选择目标M在此范围之外时,也只需用户移动很小的距离就能实现对目标M的精确选择。
CN201710270095.2A 2017-04-23 2017-04-23 一种基于笔式交互系统的虚拟三维空间中目标的选择方法 Active CN107102750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710270095.2A CN107102750B (zh) 2017-04-23 2017-04-23 一种基于笔式交互系统的虚拟三维空间中目标的选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710270095.2A CN107102750B (zh) 2017-04-23 2017-04-23 一种基于笔式交互系统的虚拟三维空间中目标的选择方法

Publications (2)

Publication Number Publication Date
CN107102750A true CN107102750A (zh) 2017-08-29
CN107102750B CN107102750B (zh) 2019-07-26

Family

ID=59656814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710270095.2A Active CN107102750B (zh) 2017-04-23 2017-04-23 一种基于笔式交互系统的虚拟三维空间中目标的选择方法

Country Status (1)

Country Link
CN (1) CN107102750B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018758A (zh) * 2018-01-10 2019-07-16 鸿合科技股份有限公司 电子白板、电子板擦及电子笔
CN111026314A (zh) * 2019-10-25 2020-04-17 华为终端有限公司 控制显示设备的方法及便携设备
CN111381677A (zh) * 2020-03-17 2020-07-07 清华大学 一种目标选择方法、装置、设备及可读存储介质
CN111580686A (zh) * 2020-05-10 2020-08-25 吉林大学 一种融合超声定位和惯性测量单元的三维笔势识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910543A (zh) * 2004-10-12 2007-02-07 日本电信电话株式会社 三维指示方法、三维显示控制方法、三维指示装置、三维显示控制装置、三维指示程序、以及三维显示控制程序
CN102722254A (zh) * 2012-06-20 2012-10-10 清华大学深圳研究生院 一种定位交互方法及系统
CN202649936U (zh) * 2011-03-31 2013-01-02 日立民用电子株式会社 电子笔和使用该电子笔的投影系统
US20150103052A1 (en) * 2012-05-17 2015-04-16 Gachisoft Co., Ltd. Direction input device and method for operating user interface using same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910543A (zh) * 2004-10-12 2007-02-07 日本电信电话株式会社 三维指示方法、三维显示控制方法、三维指示装置、三维显示控制装置、三维指示程序、以及三维显示控制程序
CN202649936U (zh) * 2011-03-31 2013-01-02 日立民用电子株式会社 电子笔和使用该电子笔的投影系统
US20150103052A1 (en) * 2012-05-17 2015-04-16 Gachisoft Co., Ltd. Direction input device and method for operating user interface using same
CN102722254A (zh) * 2012-06-20 2012-10-10 清华大学深圳研究生院 一种定位交互方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孟祥亮: "显示表面上多触点手势研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
封家鹏: "双目标三维超声定位笔式人机交互装置", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018758A (zh) * 2018-01-10 2019-07-16 鸿合科技股份有限公司 电子白板、电子板擦及电子笔
CN110018758B (zh) * 2018-01-10 2023-10-27 鸿合科技股份有限公司 电子白板、电子板擦及电子笔
CN111026314A (zh) * 2019-10-25 2020-04-17 华为终端有限公司 控制显示设备的方法及便携设备
CN111026314B (zh) * 2019-10-25 2022-03-25 华为终端有限公司 控制显示设备的方法及便携设备
CN111381677A (zh) * 2020-03-17 2020-07-07 清华大学 一种目标选择方法、装置、设备及可读存储介质
CN111381677B (zh) * 2020-03-17 2021-06-22 清华大学 一种目标选择方法、装置、设备及可读存储介质
CN111580686A (zh) * 2020-05-10 2020-08-25 吉林大学 一种融合超声定位和惯性测量单元的三维笔势识别方法
CN111580686B (zh) * 2020-05-10 2021-07-20 吉林大学 一种融合超声定位和惯性测量单元的三维笔势识别方法

Also Published As

Publication number Publication date
CN107102750B (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN107102750B (zh) 一种基于笔式交互系统的虚拟三维空间中目标的选择方法
JP6288372B2 (ja) インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
CN103809880B (zh) 人机交互系统及方法
Sachs et al. 3-Draw: A tool for designing 3D shapes
JP4278979B2 (ja) ジェスチャーに基づいた入力及びターゲット指示のための単一カメラシステム
Piekarski et al. Interactive augmented reality techniques for construction at a distance of 3D geometry
JP5930618B2 (ja) 空間手書きシステム及び電子ペン
Shaw et al. THRED: A two-handed design system
CN106598293B (zh) 一种三维大空间多通道笔式交互系统
TWI530858B (zh) 一種立體交互系統和立體交互方法
WO2018223605A1 (zh) 一种输入方法、装置和系统
Forsberg et al. ErgoDesk: a framework for two-and three-dimensional interaction at the ActiveDesk
JP2017027206A (ja) 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
CN104637080B (zh) 一种基于人机交互的三维绘图系统及方法
CN106933385B (zh) 一种基于三维超声波定位的低功耗空鼠笔的实现方法
WO2012163124A1 (zh) 基于空间运动的输入方法及终端
CN109782914B (zh) 基于笔式装置轴向旋转的虚拟三维场景中目标的选择方法
CN205247208U (zh) 机器人系统
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
CN109102571B (zh) 一种虚拟影像的控制方法、装置、设备及其存储介质
CN104820584A (zh) 一种面向层次化信息自然操控的3d手势界面及系统
CN110122958A (zh) 三维扫描装置及使用方法
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019127325A1 (zh) 信息处理方法、装置、云处理设备及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant