CN110554784B - 输入方法、装置、显示设备及存储介质 - Google Patents

输入方法、装置、显示设备及存储介质 Download PDF

Info

Publication number
CN110554784B
CN110554784B CN201810552529.2A CN201810552529A CN110554784B CN 110554784 B CN110554784 B CN 110554784B CN 201810552529 A CN201810552529 A CN 201810552529A CN 110554784 B CN110554784 B CN 110554784B
Authority
CN
China
Prior art keywords
controller
line
indication line
input
reference indication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810552529.2A
Other languages
English (en)
Other versions
CN110554784A (zh
Inventor
伍思远
戴景文
贺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Virtual Reality Technology Co Ltd
Original Assignee
Guangdong Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Virtual Reality Technology Co Ltd filed Critical Guangdong Virtual Reality Technology Co Ltd
Priority to CN201810552529.2A priority Critical patent/CN110554784B/zh
Publication of CN110554784A publication Critical patent/CN110554784A/zh
Application granted granted Critical
Publication of CN110554784B publication Critical patent/CN110554784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种输入方法、装置、显示设备及存储介质,涉及显示技术领域。该输入方法应用于显示设备,所述显示设备与第一控制器以及第二控制器连接,所述方法包括:基于所述第一控制器的第一姿势信息,于虚拟空间中显示所述第一控制器对应的第一基准指示线;基于所述第二控制器的第二姿势信息,于虚拟空间中显示所述第二控制器对应的第二基准指示线;当检测到所述第一基准指示线与所述第二基准指示线不平行时,基于所述第一基准指示线以及所述第二基准指示线生成输入至所述显示设备的输入点。本方法能实现于虚拟世界中的空间输入点的输入,便于用户进行虚拟世界中的绘画、模型雕刻及位置获取。

Description

输入方法、装置、显示设备及存储介质
技术领域
本申请涉及显示技术领域,具体而言,涉及一种输入方法、装置、显示设备及存储介质。
背景技术
近年来,随着科技的进步,增强现实(AR,Augmented Reality)和虚拟现实(VR,Virtual Reality)等技术已逐渐成为国内外研究的热点。以增强现实为例,增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术,其将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中,来增强或修改对现实世界环境或表示现实世界环境的数据的感知。
目前在AR/VR行业中,通常利用手柄作为辅助的输入手段。在需要空间定位的应用中,三自由度(degree of freedom,DOF)的手柄通常仅能实现指示笔、教鞭模式等使用情况,不能满足在虚拟空间中进行绘画、模型雕刻、位置获取等空间中需要确定点的空间位置的需求。
发明内容
有鉴于此,本申请实施例提供了一种输入方法、装置、显示设备及存储介质,利用两个手柄对应的基准指示线在不平行的条件下可以确定一个点的原理,实现空间中的点的输入,以满足虚拟空间中的绘画、模型雕刻、位置获取等需求。
为了实现上述目的,本申请采用的技术方案如下:
第一方面,本申请实施例提供了一种输入方法,应用于显示设备,所述显示设备与第一控制器以及第二控制器连接,所述方法包括:基于所述第一控制器的第一姿势信息,于虚拟空间中显示所述第一控制器对应的第一基准指示线;基于所述第二控制器的第二姿势信息,于虚拟空间中显示所述第二控制器对应的第二基准指示线;当检测到所述第一基准指示线与所述第二基准指示线不平行时,基于所述第一基准指示线以及所述第二基准指示线生成输入至所述显示设备的输入点。
第二方面,本申请实施例提供了一种输入装置,应用于显示设备,所述显示设备与第一控制器以及第二控制器连接,所述装置包括:第一指示线显示模块、第二指示线显示模块以及输入执行模块,其中,所述第一指示线显示模块用于基于所述第一控制器的第一姿势信息,于虚拟空间中显示所述第一控制器对应的第一基准指示线;所述第二指示线显示模块用于基于所述第二控制器的第二姿势信息,于虚拟空间中显示所述第二控制器对应的第二基准指示线;所述输入执行模块用于如果满足预设几何关系,基于所述第一基准指示线以及所述第二基准指示线生成输入至所述显示设备的输入点。
第三方面,本申请实施例提供了一种显示设备,包括存储器以及处理器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时所述处理器执行上述第一方面提供的输入方法。
第四方面,本申请实施例还提供了一种具有处理器可执行的程序代码的计算机可读取存储介质,其特征在于,所述程序代码使所述处理器执行上述第一方面提供的输入方法。
本申请实施例提供的输入方法、装置、显示设备及存储介质,通过基于第一控制器的第一姿势信息在虚拟空间中显示第一控制器的第一基准指示线,基于第二控制器的第二姿势信息在虚拟空间中显示第二控制器的第二基准指示线,当检测到第一基准指示线与第二基准指示线不平行时,基于第一基准指示线以及第二基准指示线生成输入至显示设备的输入点。本方法根据两个控制器对应的基准指示线在不平行的条件下可以确定一个点的原理,实现在空间中的输入点的输入,解决现有技术中三自由度控制器不能实现空间中点的输入的问题,以及六自由度在实现空间中点输入的输入时成本高以及精度低的问题。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1示出了本申请实施例提供的显示系统的结构示意图;
图2示出了本申请实施例提供的显示系统的应用场景的示意图;
图3示出了本申请实施例提供的显示设备的结构框图;
图4示出了本申请实施例提供的输入方法的流程图;
图5示出了本申请实施例提供的输入方法中步骤S110的流程图;
图6示出了本申请实施例提供的基准指示线的显示示意图;
图7示出了本申请实施例提供的输入方法中步骤S120的流程图;
图8示出了本申请实施例提供的第一基准指示线与第二基准指示线相交时的一种示意图;
图9示出了本申请实施例提供的第一基准指示线与第二基准指示线相交时的另一种示意图;
图10示出了本申请实施例提供的第一基准指示线与第二基准指示线异面时的示意图;
图11示出了本申请实施例提供的输入装置的一种功能模块图;
图12示出了本申请实施例提供的输入装置的另一种功能模块图;
图13示出了本申请实施例提供的输入装置中第一指示线显示模块的功能模块图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在现有的移动终端的测试方案中,需要测试设备与待测试移动终端进行通信连接,而测试设备通常通过扫描待测试移动终端上显示的携带有互联网协议地址的二维码,从而得到互联网协议地址,实现与待测试移动终端的通信连接。但是在实际的测试时,存在着待测试移动终端灭屏或者被包膜等情况,这些情况下,无法扫描待测试移动终端的二维码,从而导致不能实现与待测试移动终端的通信连接。
在目前的AR/VR/MR行业,交互设计是重要的技术研发方向,用户可以通过交互技术实现与虚拟世界的互动,将真实世界的操作反馈到虚拟世界。目前的交互方式:手势交互、语音交互、控制器交互。其中,控制器交互(即使用手柄进行交互),主要有两种:3DOF(degree of freedom,自由度)手柄和6DOF(degree of freedom,自由度)手柄。
当通过手柄在需要空间定位的应用中进行交互的时候,例如将手柄作为画笔在虚拟世界中进行绘画时,需要在空间中确定输入点。而3DOF手柄(通过IMU(Inertialmeasurement unit,惯性测量单元)获取手柄的三自由度信息)由于无法感知前伸以及后移,不能实现上述操作。6DOF手柄(通过光点追踪等追踪方式及IMU获取手柄的六自由度信息)的成本较高,例如光点追踪需要相机;另外进行追踪时会有标记被遮挡的问题,以及光点追踪模式还会有光线过强问题,因此还存在精度问题。
因此,发明人提出了本申请实施例中的输入方法、装置、显示设备及存储介质。下面将结合附图具体描述本申请的各实施例。
请参见图1,示出了本申请实施例提供的显示系统10。该显示系统10包括:第一控制器100、第二控制器200以及显示设备300。其中,第一控制器100、第二控制器200与显示设备300通信连接。如图2所示为显示系统10的应用场景图,用户可以佩戴显示设备300,利用第一控制器100以及第二控制器200进行输入控制。在用户利用第一控制器100以及第二控制器200进行输入控制时,可以是用户的一只手控制第一控制器100,另一只手控制第二控制器200,实现用户对第一控制器100以及第二控制器200的按键输入、位置移动等。
在本申请实施例中,第一控制器100以及第二控制器200作为交互设备,均可以实现输入控制指令、数据等至显示设备,从而实现与显示设备300的交互。第一控制器100以及第二控制器200可以为3DOF手柄,也可以是6DOF手柄,第一控制器100以及第二控制器200的具体类型在本申请实施例中并不作为限定。
作为一种实施方式,请参见图3,显示设备300可以包括:处理器310、存储器320、显示装置330以及图像采集装置340。显示装置330、存储器320以及图像采集装置340均与处理器310连接。
图像采集装置340用于采集待拍摄物体的图像并发送至处理器310。该图像采集装置340可以为红外摄像头、彩色摄像头等,图像采集装置340的具体类型在本申请实施例中并不作为限定。
处理器310用于输出对显示内容至显示装置,还用于对第一手柄、以及第二手柄进行识别跟踪的运算。
处理器310可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器310可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器310还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如,处理器310根据预先存储的图像数据生成虚拟世界的图像数据,将其发送至显示装置进行显示;也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据,根据所接收的图像数据生成虚拟世界的图像进行显示;还可以根据图像采集装置采集的图像进行识别跟踪运算而确定在虚拟世界中对应的显示内容,发送至显示装置进行显示。可以理解的是,处理器310并不限定于装设在显示设备300内。
存储器320可用于存储软件程序以及模块,处理器310通过运行存储在存储器320内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器320可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。
在本申请实施例中,显示设备300还可以包括通信模块,通信模块与处理器310连接。通信模块用于显示设备300与其他设备之间的通信,例如与本申请实施例中的显示系统的第一手柄100以及第二手柄200之间的通信。
作为另一种实施方式,显示设备300可以包括:显示装置以及图像采集装置,显示设备的显示装置以及图像采集装置与一具有存储器的存储功能以及处理器的处理功能的终端设备连接。可以理解的是,上述实施方式中的处理器执行的处理由终端设备的处理器执行,上述实施方式中的存储器存储的数据由终端设备存储。该终端设备可以是移动终端,也可以是PC机,即在该实施方式中,头戴显示装置可以为插入手机式的,也可以为外接电脑式的。
在本申请实施例中,显示设备300可以是头戴显示装置,头戴显示装置可以实现虚拟现实(VR)、增强现实(AR)、混合现实(MR)等不同效果。
当然,本申请实施例提供的显示设备并不局限于上述实施方式中的组件,还可以包括比上述的组件更多或者更少的组件。
针对上述的显示系统,本申请实施例提供了一种通过两个手柄对应的基准指示线在不平行的条件下可以确定一个点的原理,实现在空间中的输入点的输入的方法。具体的输入方法在后续的实施例中进行详细的说明。
请参阅图4,图4示出了本申请实施例提供的输入方法的流程示意图。该方法应用于图1所示显示系统的显示设备,所述显示系统包括:第一控制器、第二控制器以及显示设备。如图4所示,该输入方法包括:
步骤S110:基于所述第一控制器的第一姿势信息,于虚拟空间中显示所述第一控制器对应的第一基准指示线。
在本申请实施例中,显示设备可以根据第一控制器的第一姿势信息,在其显示的虚拟空间中显示第一控制器对应的第一基准指示线。可以理解的是,该第一基准指示线应当与第一控制器的第一姿势信息对应,第一基准指示线用于指示用户对第一控制器的姿势进行调整,以使第一基准指示线的于虚拟空间中的姿势随第一控制器的姿势改变而变化,以达到后续确定输入点的目的。
在本申请实施例中,请参见图5,基于第一控制器的第一姿势信息,于虚拟空间中显示第一控制器对应的第一基准指示线,可以包括:
步骤S111:获得所述第一控制器的第一姿势信息。
在显示第一控制器对应的第一基准指示线时,首先可以对第一控制器的第一姿势信息进行获取。第一控制器可以利用其IMU获取第一控制器的第一姿势信息,然后将第一姿势信息发送至显示设备,从而显示设备获得第一控制器的第一姿势信息,第一姿势信息可以包括第一控制器的朝向、旋转角度等。
其中,上述的IMU为测量控制器的三轴姿态角(或角速率)以及加速度的装置。一般的,一个IMU包含了三个单轴的加速度计和三个单轴的陀螺,加速度计检测物体在载体坐标系统独立三轴的加速度信号,而陀螺检测载体相对于导航坐标系的角速度信号,测量物体在三维空间中的角速度和加速度,并以此解算出控制器的姿态。
当然,显示设备获得第一控制器的第一姿势信息的具体实施方式在本申请实施例中并不作为限定,也可以是其他现有的实施方式,例如,第一控制器上可以设置有标记图案,标记图案中有多个特征点,显示设备可以利用图像采集装置对标记图案的特征点的识别,实现对于第一控制器的第一姿势信息的获得。
步骤S112:生成所述第一姿势信息对应的直线,得到所述第一控制器对应的第一基准指示线。
在获得第一控制器的第一姿势信息之后,可以在虚拟空间中,生成一条第一姿势信息对应的直线,生成的直线可以作为第一控制器对应的第一基准指示线。
可以理解的是,第一基准指示线于虚拟空间中的姿势与第一控制器的第一姿势信息对应,例如,第一基准指示线于虚拟空间中的朝向与第一控制器的朝向相同,第一基准指示线于虚拟空间中的旋转角度与第一控制器的旋转角度相同等。
步骤S113:将所述第一基准指示线进行显示。
最后,在得到第一控制器的第一基准指示线后,再将得到的第一基准指示显示进行显示,以指示用户通过改变控制第一控制器的姿势而移动第一基准指示线的姿势的目的。
在本申请实施例中,还可以结合第一控制器的第一姿势信息以及位置生成第一基准指示线。可以对第一控制器进行空间定位,从而得到第一控制器的位置。其中,空间定位可以是采用光学或超声波的模式进行定位和测算,通过建立模型来推导第一控制器的空间位置。
例如,第一控制器上设置有多个红外点光源,显示设备利用其红外摄像头对红外点光源进行识别,从而得到第一控制器的空间位置。其中,显示设备存储有第一控制器处于多种空间位置时对应的图片上的光点的位置信息,第一控制器上设定的第一个闪光的所述红外点光源闪光,显示设备根据图像上的光斑点记录点亮的红外点光源在图像上的位置关系,第一控制器按照预先设定的闪光顺序依次点亮红外点光源,显示设备元记录相对应的闪光点的位置数据,最后显示设备根据测得的位置数据得到第一控制器的空间坐标。
在获得第一控制器的第一姿势信息以及位置之后,可以根据第一姿势信息以及位置,生经过成过第一控制器的位置的,且与第一控制器的姿势对应的直线,得到第一基准指示线。
作为其中一种实施方式,第一基准指示线可以是过第一控制器的轴线,且沿第一控制器向前的方向延伸的直线。如图6所示,第一基准指示线102沿第一控制器100的轴线101延伸。使用户可以观察到指示线,并且通过控制第一控制器的姿势改变和位置移动而达到改变第一基准指示线的位置和姿势的目的。
步骤S120:基于所述第二控制器的位置,于虚拟空间中显示所述第二控制器对应的第二基准指示线。
在本申请实施例中,由于需要根据两条直线不平行的条件下可以确定一个点的原理,来确定在空间中的输入点。因此,也需要显示第二控制器对应的指示线,以使用户可以通过移动第一控制器以及第二控制器,对第一基准指示线以及第二基准指示线在空间中的姿势进行改变,以达到第一基准指示线与第二基准指示线不平行的条件,从而可以确定出输入点的位置。
在本申请实施例中,请参见图7,基于第二控制器的位置,显示第二控制器对应的第二基准指示线,可以包括:
步骤S121:获得所述第二控制器的第二姿势信息。
在显示第二控制器对应的第二基准指示线时,首先可以对第二控制器的第二姿势信息进行获取。在本申请实施例中,
具体的显示设备获得第二控制器的第二姿势的方式,可以参见上述步骤S110中获得第一控制器位置的方式,在此不再赘述。
步骤S122:生成所述第二姿势信息对应的直线,得到所述第二控制器对应的第二基准指示线。
在得到第二控制器的第二姿势信息之后,再根据第二控制器的位置,生成显示的虚拟空间中第二姿势信息对应的直线,得到第二控制器对应的第二基准指示线。
同样的,生成第二控制器的第二基准指示线的方式,可以参见上述步骤S110中生成第一控制器的第一基准指示线的方式,在此不再赘述。
步骤S123:将所述第二基准指示线进行显示。
最后,将得到的第二控制器对应的第二基准指示显示进行显示。
在本申请实施例中,第二基准指示线也同样可以根据第二控制器的第二姿势信息和位置生成。作为一种方式,第二基准指示线可以是过第二控制器的轴线,且沿第二控制器向前的方向延伸的直线。如图6所示,第二基准指示线202沿第二控制器200的轴线201延伸。使用户可以观察到指示线,并且通过控制第二控制器移动和姿势变化而达到改变第二基准指示线的位置和姿势的目的。
步骤S130:当检测到所述第一基准指示线与所述第二基准指示线不平行时,基于所述第一基准指示线以及所述第二基准指示线生成输入至所述显示设备的输入点。
在本申请实施例中,在显示的空间中显示出第一控制器对应的第一基准指示线以及第二控制器对应的第二基准指示线之后,可以实时对第一基准指示线以及第二基准指示线的几何关系进行检测,在检测到第一基准指示线与第二基准指示线不平行时,则可以根据第一基准指示线以及第二基准指示线确定出一个点,将这个点作为输入至显示设备的显示空间中的输入点。
其中,平行是指在平面上两条直线没有任何公共点时,称它们平行。如判断第一基准指示线与第二基准指示线不满足是平面上的两条直线且没有任何公共点的条件,则两者不平行。在不平行时,第一基准指示线与第二基准指示线存在异面、相交的情况。异面是指第一基准指示线与第二基准指示线不在同一平面上,异面直线是既不相交又不平行的直线。相交是指第一基准指示线与第二基准指示线在同一平面,如果第一基准指示线与第二基准指示线只有一个公共点时,称第一基准指示线与第二基准指示线相交。
在本申请实施例中,该输入方法还可以包括:
当检测到第一基准指示线与第二基准指示线平行时,提示用户移动第一控制器和/或第二控制器,以使第一基准指示线与第二基准指示线不平行。
可以理解的是,根据生成第一基准指示线以及第二基准指示线时的空间位置参数,判断显示的第一基准指示线以及第二基准指示线是否平行,得到第一基准指示线与第二基准指示线平行的结果或者第一基准指示线与第二基准指示线不平行的结果。
在判断出第一基准指示线与第二基准指示线平行时,则表示此时不能根据第一基准指示线与第二基准指示线确定一个输入至虚拟空间中的输入点。因此,可以提示用户移动第一控制器和/或第二控制器,使第一控制器和/或第二控制器的位置发生变化。从而在第一控制器和/或第二控制器的位置发生变化时,显示设备也根据第一控制器的位置以及第二控制器的位置而改变现实的基准指示线的位置,最后使用户能根据提示将第一基准指示线以及第二基准指示线移动至不平行的情况。
在判断出第一基准指示线与第二基准指示线不平行时,则可以根据第一基准指示线以及第二基准指示线,确定出输入至显示的虚拟空间中的输入点。
在一个实施例中,如果第一基准指示线与第二基准指示线不平行时,基于第一基准指示线以及第二基准指示线生成输入至显示设备的输入点,可以包括:
如果第一基准指示线与第二基准指示线相交时,获取第一基准指示线与第二基准指示线的交点,将交点作为输入至显示设备的输入点。
可以理解的是,在第一基准指示线与第二基准指示线不平行的条件下,则第一基准指示线与第二基准指示线则可能是相交、异面或者重合的情况,而第一基准指示线与第二基准指示线重合时,不能确定唯一的一个点,即不能确定输入至显示设备的输入点。而第一基准指示线与第二基准指示线相交时,则可以确定出相交的点(唯一的点)。
因此,可以在确定出第一基准指示线与第二基准指示线相交时,获取第一基准指示线与第二基准指示线的交点,将该点作为输入至显示设备显示的虚拟空间中的输入点。请参阅图8及图9,在第一基准指示线与第二基准指示线相交时,第一基准指示线与第二基准指示线的交点103作为输入至显示设备显示的虚拟空间中的输入点。
在一个实施例中,如果第一基准指示线与第二基准指示线不平行时,基于第一基准指示线以及第二基准指示线生成输入至显示设备的输入点,可以包括:
如果第一基准指示线与第二基准指示线异面时,获取第一基准指示线以及第二基准指示线于同一面中的投影直线的交点,作为输入至显示设备的输入点。
可以理解的是,在第一基准指示线与第二基准指示线不平行的条件下,则第一基准指示线与第二基准指示线则可能是相交、异面或者重合的情况,而第一基准指示线与第二基准指示线重合时,不能确定唯一的一个点,即不能确定输入至显示设备的输入点。而第一基准指示线与第二基准指示线异面时,也可以根据第一基准指示线与第二基准指示线确定出唯一的点,即第一基准指示线以及第二基准指示线于同一面中的投影直线的交点。
因此,可以在确定出第一基准指示线与第二基准指示线异面时,获取第一基准指示线与第二基准指示线于同一平面中投影直线的交点,将该点作为输入至显示设备显示的虚拟空间中的输入点。
具体的,上述同一平面可以是任一靠近第一基准指示线或者第二基准指示线的平面,例如可以是第一基准指示线/第二基准指示线上在竖直方向上最低的点所在的水平面,也可以是第一基准指示线/第二基准指示线上在竖直方向上最高的点所在的水平面。具体的第一基准指示线以及第二基准指示线需要投影到的平面在本申请实施例中,并不作为限定。
在一个实施例中,如果第一基准指示线与第二基准指示线不平行时,基于第一基准指示线以及第二基准指示线生成输入至显示设备的输入点,包括:
如果第一基准指示线与第二基准指示线异面时,判断第一基准指示线与第二基准指示线之间的距离是否小于预设距离,其中,第一基准指示线与第二基准指示线之间的距离指的是第一基准指示线与第二基准指示线之间的最短距离,可用第一基准指示线与第二基准指示线之间的公垂线进行表示,公垂线指的是同时垂直于第一基准指示线以及第二基准指示线的线段;如果小于预设距离,获取第一基准指示线以及第二基准指示线于同一面中的投影直线的交点,作为输入至显示设备的输入点。
在本申请实施例中,还提供了一种实施方式,可以在第一基准指示线与第二基准指示线异面的情况下,满足两者之间的距离在一定范围内时,才根据第一基准指示线以及第二基准指示线确定输入至显示设备显示的虚拟空间的输入点。如图10所示,第一基准指示线为图中的AC’线段所在的直线或射线,第二基准指示线为图中的CB’线段所在的直线或射线,AC’与CB’为异面,确定出AC’与CB’之间的公垂线为IH线段所在的直线或射线,然后再判断公垂线IH的长度是否小于预设距离。
从而,避免在第一基准指示线与第二基准指示线相距较远,而用户此时并不是想确定输入点的情况。另外,也提供了用户的可选择性,使用户可以根据喜好设置输入点确定的条件,该条件可以是第一基准指示线与第二指示线之间的预设距离,第一基准指示线以及第二指示线的粗细等。可以理解的是,预设距离越大,则更容易判断出第一基准指示线与第二基准指示线之间的距离是否小于预设距离,因此越容易根据第一基准指示线与第二指示线确定输入点;第一基准指示线以及第二指示线越粗,则更容易判断出第一基准指示线与第二基准指示线之间的距离是否小于预设距离,因此越容易根据第一基准指示线与第二指示线确定输入点。
由于第一基准指示线以及第二基准指示线在虚拟空间中的位置已知,因此上述确定的输入点的坐标亦可以获得,从而实现了通过第一控制器以及第二控制器在显示设备显示的虚拟空间中输入点的输入。
在本申请实施例中,还可以在生成上述输入点时,显示出用于提升用户是否需要将该点进行输入的信息,在用户确定需要将获得的输入点进行输入时,再将该输入点进行输入,避免用户对控制器操作失误而导致获得的输入点不满足用户需求的情况。
在本申请实施例中,该输入方法还可以包括:根据用户对所述第一控制器/所述第二控制器的按键操作,锁定所述输入点;基于所述第一控制器和/或所述第二控制器的姿势改变,移动所述输入点,生成输入至所述虚拟空间的线段。
可以理解的是,在将输入点输入至虚拟空间中之后,可以通过第一控制器/第二控制器的按键锁定该点,再通过控制第一控制器和/或第二控制器的姿势的变化,拖动该点而形成线段。
例如,用户在需要于虚拟空间中进行绘制时,可以通过锁定输入点之后,利用第一控制器和/或第二控制器拖动该输入点,输入点移动的轨迹则形成线段,达到用户绘制线段的需求。
另外,该方法也适用于其他需要输入线段的场景,例如在雕刻模型时,需要对模型进行切割时,可以锁定输入点后,利用第一控制器和/或第二控制器拖动输入点,形成用于切割模型的切割线,以对需要雕刻的模型进行切割等。
当然,该形成输入至虚拟空间的线段的方法具体的应用场景在本申请实施例中并不作为限定,也可以为其他需要输入线段至虚拟空间的场景。
在本申请实施例中,该输入方法还可以包括:根据用户对所述第一控制器/所述第二控制器的按键操作,锁定所述线段;基于所述第一控制器和/或所述第二控制器的姿势改变,移动所述线段,生成输入至所述虚拟空间的面。
可以理解的是,在将线段输入至虚拟空间后,用户还可以通过第一控制器和/或第二控制器的按键,锁定该输入的线段,再通过改变第一控制器和/或第二控制器的姿势,实现对该线段的拖动,形成输入至虚拟空间的面。
例如,用户在需要于虚拟空间中进行绘制时,可以通过锁定该输入的线段之后,利用第一控制器和/或第二控制器拖动该该输入的线段,该输入的线段与其移动的轨迹形成面,达到用户绘制面的需求。
当然,该形成输入至虚拟空间的面的方法具体的应用场景在本申请实施例中并不作为限定,也可以为其他需要输入面至虚拟空间的场景,例如模型雕刻等场景。
在本申请实施例中,也还可以根据用户对第一控制器和/或第二控制器的按键操作,锁定上述输入至虚拟空间的面,再基于第一控制器和/或第二控制器的姿势的改变,移动该面,形成输入至虚拟空间的三维体。
同样的,该形成输入至虚拟空间的三维体的方法同样适用于在虚拟空间中进行绘制的场景,当然,该形成输入至虚拟空间的三维体的方法的应用场景在本申请实施例中并不作为限定。
在本申请实施例中,还可以配合按键实现例如进行锁轴、Snap特定距离等快捷操作。例如在第一控制器不需要移动的情况下,可以按住按键A来保持姿势,使真实的左手则可以放松。在按住一案件的时候,指示线的最小变化是指定的距离,如X轴的snap距离是1cm时,按住B键在X轴上移动时,只有超过1cm时,指示线才会发生变化。
在本申请实施例中,第一控制器以及第二控制器中的其中一个控制器也可以由显示设备替代,在实现上述的输入方法时,可以由显示设备显示一条预先设定的基准线(显示设备对应的基准线),再根据第一控制器或第二控制器的姿势信息生成基准线,然后通过用户对第一控制器或第二控制器的姿势的改变,使显示设备对应的基准线与控制器对应的基准线满足上述实施例中确定输入点的条件,最后在显示设备对应的基准线与控制器对应的基准线满足上述实施例中确定输入点的条件时,根据显示设备对应的基准线与控制器对应的基准线获取输入点,输入至显示设备显示的虚拟空间。从而,可以实现基于单个控制器完成虚拟空间中的空间点的输入,且操作便捷,用户体验度高。
本申请实施例提供的输入方法,仅需要两个控制器即可实现虚拟空间中空间点的确定和输入,解决了3DOF控制器不能实现空间中确定空间点和输入空间点的问题。另外,由于该方法仅需要两个控制器即可进行,同时6DOF控制器实现空间点输入时成本高的问题。并且,用户仅需要通过改变控制器位置即可实现空间点的输入,便于用户操作,提升用户的体验。
请参见图11,在一个实施例中,本申请提供了一种输入装置,应用于显示系统的显示设备,显示系统包括:第一控制器、第二控制器以及显示设备。请参见图11,输入装置400包括:第一指示线显示模块410、第二指示线显示模块420以及输入执行模块430。其中,第一指示线显示模块410用于基于第一控制器的第一姿势信息,于虚拟空间中显示第一控制器对应的第一基准指示线;第二指示线显示模块420用于基于第二控制器的第二姿势信息,于虚拟空间中显示第二控制器对应的第二基准指示线;输入执行模块430用于如果满足预设几何关系,基于第一基准指示线以及第二基准指示线生成输入至显示设备的输入点。
在本申请第二实施例中,请参见图12,输入装置400还可以包括提示模块440。提示模块440用于当检测到所述第一基准指示线与所述第二基准指示线平行时,提示用户移动所述第一控制器和/或所述第二控制器,以使所述第一基准指示线与所述第二基准指示线不平行。
进一步的,输入执行模块430可以具体用于:如果第一基准指示线与第二基准指示线相交时,获取第一基准指示线与第二基准指示线的交点,将交点作为输入至显示设备的输入点。
在本申请实施例中,输入执行模块430可以具体用于:如果第一基准指示线与第二基准指示线异面时,获取第一基准指示线以及第二基准指示线于同一面中的投影直线的交点,作为输入至显示设备的输入点。
在本申请实施例中,输入执行模块430可以具体用于:如果第一基准指示线与第二基准指示线异面时,判断第一基准指示线与第二基准指示线之间的距离是否小于预设距离;如果小于预设距离,获取第一基准指示线以及第二基准指示线于同一面中的投影直线的交点,作为输入至显示设备的输入点。
在本申请实施例中,请参见图13,第一指示线显示模块410包括:第一位置获得单元411、第一指示线生成单元412以及第一显示执行单元413。其中,第一位置获得单元411用于获得第一控制器的第一姿势信息;第一指示线生成单元412用于生成第一姿势信息对应的直线,得到第一控制器对应的第一基准指示线;第一显示执行单元413用于将第一基准指示线进行显示。
在本申请实施例中,输入装置400还可以包括:输入点锁定模块以及线段生成模块。输入点锁定模块用于根据用户对所述第一控制器/所述第二控制器的按键操作,锁定所述输入点;线段生成模块用于基于所述第一控制器和/或所述第二控制器的姿势改变,移动所述输入点,生成输入至所述虚拟空间的线段。
在本申请实施例中,输入装置400还可以包括:线段锁定模块以及面生成模块。线段锁定模块用于根据用户对所述第一控制器/所述第二控制器的按键操作,锁定所述线段;面生成模块用于基于所述第一控制器和/或所述第二控制器的姿势改变,移动所述线段,生成输入至所述虚拟空间的面。
本申请实施例提供的输入方法、装置、显示设备及存储介质,通过基于第一控制器的位置在虚拟空间中显示第一控制器的第一基准指示线,基于第二控制器的位置在虚拟空间中显示第二控制器的第二基准指示线,当检测到第一基准指示线与第二基准指示线不平行时,基于第一基准指示线以及第二基准指示线生成输入至显示设备的输入点。本方法根据两个控制器对应的基准指示线在不平行的条件下可以确定一个点的原理,实现在空间中的输入点的输入,解决现有技术中三自由度控制器不能实现空间中点的输入的问题,以及六自由度在实现空间中点输入的输入时成本高以及精度低的问题。
需要说明的是,本说明书中的各个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种输入方法,其特征在于,应用于显示设备,所述显示设备与第一控制器以及第二控制器连接,所述方法包括:
基于所述第一控制器的第一姿势信息,于虚拟空间中显示所述第一控制器对应的第一基准指示线;
基于所述第二控制器的第二姿势信息,于虚拟空间中显示所述第二控制器对应的第二基准指示线;
当检测到所述第一基准指示线与所述第二基准指示线不平行时,基于所述第一基准指示线以及所述第二基准指示线生成输入至所述显示设备的输入点;
所述当检测到所述第一基准指示线与所述第二基准指示线不平行时,基于所述第一基准指示线以及所述第二基准指示线生成输入至所述显示设备的输入点,包括:
如果所述第一基准指示线与所述第二基准指示线异面时,判断所述第一基准指示线与所述第二基准指示线之间的距离是否小于预设距离;
如果小于所述预设距离,获取所述第一基准指示线以及所述第二基准指示线于同一面中的投影直线的交点,作为输入至所述显示设备的输入点。
2.根据权利要求1所述的方法,其特征在于,在所述于虚拟空间中显示所述第二控制器对应的第二基准指示线之后,所述方法还包括:
当检测到所述第一基准指示线与所述第二基准指示线平行时,提示用户移动所述第一控制器和/或所述第二控制器,以使所述第一基准指示线与所述第二基准指示线不平行。
3.根据权利要求1所述的方法,其特征在于,所述当检测到所述第一基准指示线与所述第二基准指示线不平行时,基于所述第一基准指示线以及所述第二基准指示线生成输入至所述显示设备的输入点,包括:
如果所述第一基准指示线与所述第二基准指示线相交时,获取所述第一基准指示线与所述第二基准指示线的交点,将所述交点作为输入至所述显示设备的输入点。
4.根据权利要求2所述的方法,其特征在于,所述当检测到所述第一基准指示线与所述第二基准指示线不平行时,基于所述第一基准指示线以及所述第二基准指示线生成输入至所述显示设备的输入点,包括:
如果所述第一基准指示线与所述第二基准指示线异面时,获取所述第一基准指示线以及所述第二基准指示线于同一面中的投影直线的交点,并将所述投影直线的交点作为输入至所述显示设备的输入点。
5.根据权利要求1-4中任一项所述的方法,其特征在于,基于所述第一控制器的第一姿势信息,显示所述第一控制器对应的第一基准指示线,包括:
获得所述第一控制器的第一姿势信息;
生成所述第一姿势信息对应的直线,得到所述第一控制器对应的第一基准指示线;
将所述第一基准指示线进行显示。
6.根据权利要求1-4中任一项所述的方法,其特征在于,当检测到所述第一基准指示线与所述第二基准指示线不平行时,在基于所述第一基准指示线以及所述第二基准指示线生成输入至所述显示设备的输入点之后,所述方法还包括:
根据用户对所述第一控制器/所述第二控制器的按键操作,锁定所述输入点;
基于所述第一控制器和/或所述第二控制器的姿势改变,移动所述输入点,生成输入至所述虚拟空间的线段。
7.根据权利要求6所述的方法,其特征在于,在基于所述第一控制器和/或所述第二控制器的姿势改变,移动所述输入点,形成线段之后,所述方法还包括:
根据用户对所述第一控制器/所述第二控制器的按键操作,锁定所述线段;
基于所述第一控制器和/或所述第二控制器的姿势改变,移动所述线段,生成输入至所述虚拟空间的面。
8.一种输入装置,其特征在于,应用于显示设备,所述显示设备与第一控制器以及第二控制器连接,所述装置包括:第一指示线显示模块、第二指示线显示模块以及输入执行模块,其中,
所述第一指示线显示模块用于基于所述第一控制器的第一姿势信息,于虚拟空间中显示所述第一控制器对应的第一基准指示线;
所述第二指示线显示模块用于基于所述第二控制器的第二姿势信息,于虚拟空间中显示所述第二控制器对应的第二基准指示线;
所述输入执行模块用于当检测到所述第一基准指示线与所述第二基准指示线不平行时,基于所述第一基准指示线以及所述第二基准指示线生成输入至所述显示设备的输入点;
所述输入执行模块还用于如果所述第一基准指示线与所述第二基准指示线异面时,判断所述第一基准指示线与所述第二基准指示线之间的距离是否小于预设距离;如果小于所述预设距离,获取所述第一基准指示线以及所述第二基准指示线于同一面中的投影直线的交点,作为输入至所述显示设备的输入点。
9.一种显示设备,其特征在于,包括存储器以及处理器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时所述处理器执行如权利要求1-7任一项所述的方法。
10.一种具有处理器可执行的程序代码的计算机可读取存储介质,其特征在于,所述程序代码使所述处理器执行如权利要求1-7任一项所述的方法。
CN201810552529.2A 2018-05-31 2018-05-31 输入方法、装置、显示设备及存储介质 Active CN110554784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810552529.2A CN110554784B (zh) 2018-05-31 2018-05-31 输入方法、装置、显示设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810552529.2A CN110554784B (zh) 2018-05-31 2018-05-31 输入方法、装置、显示设备及存储介质

Publications (2)

Publication Number Publication Date
CN110554784A CN110554784A (zh) 2019-12-10
CN110554784B true CN110554784B (zh) 2023-07-14

Family

ID=68735129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810552529.2A Active CN110554784B (zh) 2018-05-31 2018-05-31 输入方法、装置、显示设备及存储介质

Country Status (1)

Country Link
CN (1) CN110554784B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710105A (zh) * 2015-07-08 2018-02-16 索尼互动娱乐股份有限公司 操作输入装置和操作输入方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
JP5824537B2 (ja) * 2014-01-16 2015-11-25 キヤノン株式会社 情報処理装置および情報処理方法
JP6223371B2 (ja) * 2015-01-15 2017-11-01 三菱電機株式会社 ポインティング装置、ポインティング方法、及びプログラム
ES2835598T3 (es) * 2015-04-16 2021-06-22 Rakuten Inc Interfaz de gesto
CN105025331A (zh) * 2015-07-22 2015-11-04 无锡天脉聚源传媒科技有限公司 一种控制视频播出的方法及装置
US10489978B2 (en) * 2016-07-26 2019-11-26 Rouslan Lyubomirov DIMITROV System and method for displaying computer-based content in a virtual or augmented environment
US10278778B2 (en) * 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710105A (zh) * 2015-07-08 2018-02-16 索尼互动娱乐股份有限公司 操作输入装置和操作输入方法

Also Published As

Publication number Publication date
CN110554784A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
US11426663B2 (en) Providing multiplayer augmented reality experiences
US20240054735A1 (en) Real-time shared augmented reality experience
US10521011B2 (en) Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US20180300953A1 (en) Method And System For Receiving Gesture Input Via Virtual Control Objects
CN110458961B (zh) 基于增强现实的系统
US10429925B2 (en) Head-mounted display, information processing device, display control method, and program
CN1307510C (zh) 确定预定义屏幕上目标点的位置的方法
US10540006B2 (en) Tracking torso orientation to generate inputs for computer systems
EP3584682B1 (en) Three-dimensional tracking of a user control device in a volume
JP6611501B2 (ja) 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
EP3283938B1 (en) Gesture interface
JP2020098614A (ja) ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
CN112527102A (zh) 头戴式一体机系统及其6DoF追踪方法和装置
CN104246664B (zh) 不显示指针的透明显示器虚拟触摸装置
WO2017213974A1 (en) Tap event location with a selection apparatus
CN110132129B (zh) 基于增强现实的检查系统及方法
CN110688002B (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
US11386612B2 (en) Non-transitory computer-readable medium, image processing method, and image processing system for controlling progress of information processing in response to a user operation
CN110554784B (zh) 输入方法、装置、显示设备及存储介质
JP2007506164A (ja) 双方向技術を使用するヴァーチャルリアリティグラフィックシステムを制御するための方法及び装置
US11789536B2 (en) Input device and display input system
KR100601001B1 (ko) 자이로와 초음파를 이용한 컴퓨터 입력장치
US9256305B2 (en) Remote control apparatus and method of audio video navigation system
JP2017084323A (ja) 情報処理装置、方法及びプログラム
CN107340889B (zh) 一种定位初始化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant