CN113467613A - 一种桌面交互系统及实现方法、存储介质 - Google Patents

一种桌面交互系统及实现方法、存储介质 Download PDF

Info

Publication number
CN113467613A
CN113467613A CN202110675887.4A CN202110675887A CN113467613A CN 113467613 A CN113467613 A CN 113467613A CN 202110675887 A CN202110675887 A CN 202110675887A CN 113467613 A CN113467613 A CN 113467613A
Authority
CN
China
Prior art keywords
interactive
pen
key
pressing
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110675887.4A
Other languages
English (en)
Inventor
符海清
许秋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Realis Multimedia Technology Co Ltd
Original Assignee
Shenzhen Realis Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Realis Multimedia Technology Co Ltd filed Critical Shenzhen Realis Multimedia Technology Co Ltd
Priority to CN202110675887.4A priority Critical patent/CN113467613A/zh
Priority to CN202210906137.8A priority patent/CN115373513A/zh
Publication of CN113467613A publication Critical patent/CN113467613A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种桌面交互系统及实现方法、存储介质，该交互系统包括：交互笔，所述交互笔包含至少三个按键，其中，每个所述按键具有按下和松开两种状态，所述按键用于接收用户的按压与及松开操作，并将所述按压与松开操作发送至所交互设备；所述交互设备，用于根据所述按压与所述松开操作对模型进行抓取、旋转、缩放以及返回操作。这样可以通过交互笔和交互设备实现用户操作UE4所开发的内容中各种静态模型和骨骼模型，能够提高用户体验。

Description

一种桌面交互系统及实现方法、存储介质
技术领域
本发明涉及数据交互领域，尤其涉及一种桌面交互系统及实现方法、存储介质。
背景技术
虚拟现实技术(virtual reality，VR)，又称灵境技术，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛，VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。
交互笔是实现虚拟场景操控的核心部件，其中交互笔的空间坐标、姿态以及交互笔的笔头指向是实现虚拟场景精确控制的关键数据。如何通过交互笔与交互设备进行交互是一个亟待解决的问题。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种桌面交互系统及实现方法、存储介质。该桌面交互系统是一套可以应用在教育教学等多个场合的产品，通过交互笔和交互设备可以让用户操作UE4所开发的内容中的各种静态模型和骨骼模型。
本发明第一方面提供了一种桌面交互系统，该交互系统包括：交互笔，所述交互笔包含至少三个按键，其中，每个所述按键具有按下和松开两种状态，所述按键用于接收用户的按压与及松开操作，并将所述按压与松开操作发送至所交互设备；所述交互设备，用于根据所述按压与所述松开操作对模型进行抓取、旋转、缩放以及返回操作。
可选地，结合第一方面，在一种可能的实现方式中，所述交互笔包括第一按键，所述第一按键用于控制抓取模型；所述交互设备，用于顺着所述交互笔所指的方向做射线检测，并将所述射线检测返回的命中结果存储为第一变量；当所述交互设备从所述交互笔处获取到所述第一按键被按下时，所述交互设备判断所述第一变量是否有效；若所述第一变量有效，则所述交互设备将所述射线检测命中结果对应的模型进行抓取。
可选地，结合第一方面，在一种可能的实现方式中，所述交互设备还用于，当判断所述第一变量无效时，抓取交互框内全部模型。
可选地，结合第一方面，在一种可能的实现方式中，所述交互笔，还用于当第二按键被按下时，获取自身的旋转角度，并将所述旋转角度发送至所述交互设备；所述交互设备，还用于根据所述旋转角度对所述抓取到的模型进行旋转。
可选地，结合第一方面，在一种可能的实现方式中，所述交互笔，还用于当第二按键被按下时，获取自身的坐标位置，并获取坐标位置的变化量，其中，所述坐标位置的变化量以第一方向为正方向，以与所述第一方向相反的方向为反方向，并将所述坐标位置的变化量发送至所述交互设备；所述交互设备，还用于将所述坐标位置的变化量映射至所述抓取到的模型的虚拟坐标中，根据所述坐标位置的变化量对所述抓取的模型进行缩放。
可选地，结合第一方面，在一种可能的实现方式中，所述交互笔还包括第三按键，当所述第三按键被单击时，所述交互设备执行返回菜单操作；当所述第三按键被长按时，所述交互设备执行数据校准。
本发明第二方面提供了一种桌面交互实现方法，该方法应用于第一方面及第一方面任意一种可能的实现方式中所述的桌面交互系统。所述方法包括：接收用户对于按键的按压与松开操作，并将按压与松开操作发送至交互设备；根据所述按压与松开操作对模型进行抓取、旋转、缩放以及返回操作。
结合第二方面，在一种可能的实现方式中，所述交互笔包括第一按键，所述第一按键用于控制抓取模型；顺着所述交互笔所指的方向做射线检测，并将所述射线检测返回的命中结果存储为第一变量；当获取到所述第一按键被按下时，判断所述第一变量是否有效；当所述第一变量有效时，将所述射线检测命中结果对应的模型进行抓取。
结合第二方面，在一种可能的实现方式中，所述方法还包括：当判断所述第一变量无效时，抓取交互框内全部模型。
结合第二方面，在一种可能的实现方式中，所述方法还包括：当第二按键被按下时，所述交互笔获取自身的旋转角度，并将所述旋转角度发送至所述交互设备；所述交互设备根据所述旋转角度对所述抓取到的模型进行旋转。
结合第二方面，在一种可能的实现方式中，所述方法还包括：当第二按键被按下时，所述交互笔获取自身的坐标位置，并获取坐标位置的变化量，其中，所述坐标位置的变化量以第一方向为正方向，以与所述第一方向相反的方向为反方向，并将所述坐标位置的变化量发送至所述交互设备；所述交互设备，将所述坐标位置的变化量映射至所述抓取到的模型的虚拟坐标中，根据所述坐标位置的变化量对所述抓取的模型进行缩放。
本发明第三方面还提供了一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述桌面交互实现方法。
本发明公开了一种桌面交互系统及实现方法、存储介质，该交互系统包括：交互笔，所述交互笔包含至少三个按键，其中，每个所述按键具有按下和松开两种状态，所述按键用于接收用户的按压与及松开操作，并将所述按压与松开操作发送至所交互设备；所述交互设备，用于根据所述按压与所述松开操作对模型进行抓取、旋转、缩放以及返回操作。这样可以通过交互笔和交互设备实现用户操作UE4所开发的内容中各种静态模型和骨骼模型，能够提高用户体验。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明提供的一种交互笔的结构示意图；
图2为本发明提供的一种添加IMUPenComponent组件的示意图；
图3为本发明提供的一种IMUPenComponent组件提供的事件示意图；
图4为本发明提供的一种桌面交互系统的示意图；
图5为本发明提供的一种桌面交互实现方法流程图；
图6为本发明提供的交互设备的结构示意图。
具体实施方式
本申请实施例提供了一种地面滤除方法，以及相关设备，旨在通过多次滤除，提高了地面滤除的可靠性。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a、b和c可以是单个，也可以是多个。值得注意的是，“至少一项(个)”还可以解释成“一项(个)或多项(个)”。
需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
本申请主要是对交互笔与交互设备形成的3D桌面交互系统进行说明，3D桌面交互系统是一套可以应用在教育教学等多种场合产品，通过使用配套的交互笔和其他设备可以让用户操作UE4所开发的内容中的各种静态模型和骨骼模型。为了方便用户的使用以及在此基础上自行开发新的场景，我们基于UE4渲染引擎和交互笔设计并开发了一个基础的交互逻辑框架。
请参见图1，图1提供了一种交互笔的示意图，图1中，该交互笔1包含至少三个按键，该三个按键可以为UE4引擎提供按键信息，每一个按键都有按下和松开两种状态。其中，本发明设置的基本交互方式为：
第一按键11：用于控制抓取模型，选中某个模型则抓取该模型，选中其他空白区域则抓取全部模型。
第二按键12：用于旋转和缩放模型，抓取空白区域视为缩放旋转全部。
第三按键13：单击返回菜单，长按用于提供给其他软件进行数据校准。
接下来对于本发明提供的桌面交互系统中涉及到的关键类进行说明：
BP_DeskController：实现交互笔功能对应的类。
BP_InteractableActor：基础的可交互物体类，实现基本的交互功能
BP_InteractionHelper：交互框架的核心类，用于辅助抓取、旋转等交互操作。
IInteractive：接口，所有的交互类(交互物、功能按钮)都要实现这个接口。CheckCanPickUp是其中的一个接口函数，交互物基类BP_InteractableActor中返回ture，按钮基类返回为false。
这个交互框架的核心思路是利用一个Acotr(BP_InteractionHelper)作为辅助工具，将用户的想要操作的模型物品Attach到该Actor上，然后调用写在该Actor上的交互方法操作这个Actor，实现对场景内交互物体的操控。
接下来对于交互逻辑框架的实现进行描述：
S1：新建一个名为“BP_DeskController”类作为与交互笔对接的类。
S2：向“BP_DeskController”中加入IMUPenComponent组件，该组件能够获取交互笔的按键状态，比如第一按键11被按下但还没有被松开的状态。请参见图2与图3，图2提供了一种添加IMUPenComponent组件的示意图。图3提供了一种IMUPenComponent组件提供的事件示意图。
请参见图4，图4提供了一种桌面交互系统的示意图，该桌面交互系统的示意图中，可以包含交互笔1与交互设备2。该交互设备2可以包括平板电脑、手机或者3D沙盘等能够显示各种静态模型和骨骼模型的设备。
如前述，该交互笔1可以包含至少三个按键，其中，每个所述按键具有按下和松开两种状态，所述按键用于接收用户的按压与及松开操作，并将所述按压与松开操作发送至所交互设备2。该交互设备2，用于根据所述按压与所述松开操作对模型进行抓取、旋转、缩放以及返回操作。以下分别对抓取模型、旋转模型、缩放模型以及返回操作进行说明：
1、对于抓取功能的实现：
该交互笔1中包括的第一按键11用于控制抓取模型。交互设备2，用于顺着交互笔1所指的方向做射线检测，并将射线检测返回的命中结果存储为第一变量；当交互设备2从交互笔1处获取到第一按键11被按下时，交互设备2判断第一变量是否有效；若第一变量有效，则交互设备2将射线检测命中结果对应的模型进行抓取。若第一变量无效时，抓取交互框内全部模型。
具体的，该交互设备2通过“BP_DeskController”顺着交互笔所指的方向一直做射线检测，并一直返回射线命中结果，并将该中结果储存为变量“TraceHit”。当第一按键11被按下时，先判断“TraceHit”中的HitActor是否是有效的。
如果是有效的，再判断该HitActor是否实现了“IInteractive”接口。这个接口内定义了基等本的抓取、缩放用于交互的接口事件，并且在可交互物体基类“BP_InteractableActor”中实现。场景中所有可以被用户交互的模型等物体都属于可交互物体，都只需要继承“BP_InteractableActor”类就能与交互笔1产生交互。将该射线指向的模型进行抓取。
如果是无效的，或是没有继承“IInteractive”接口，则判定为未击中可交互物体，在本交互框架内这视为抓取场景内的全部交互物体。先调用UE4引擎API：GetAllActorsWithInterface获取到场景中所有的继承了“IInteractive”接口的Actor，遍历这些Actors并调用接口内的函数CheckCanPickUp()，若返回为ture，则这个Actor是可抓取的，调用UE4引擎API：AttachActorToActor将所有可抓取的Actor Attach(吸附、附加)到BP_InteractionHelper上，对BP_InteractionHelper进行操作即实现了抓取全部的可交互物体的功能。
2、对于旋转功能的实现：
当该交互笔1的第二按键12被按下时，获取自身的旋转角度，并将所述旋转角度发送至所述交互设备2；所述交互设备2，还用于根据所述旋转角度对所述抓取到的模型进行旋转。需要说明的是，该旋转功能需要以抓取功能为基础，只有抓取到模型之后才能对抓取到的模型进行旋转。
具体的，无论是对单个模型进行操作还是对多个模型进行操作，都需要先将交互物Attach到BP_InteractionHelper上再操作BP_InteractionHelper。旋转是调用UE4引擎API：SetActorRotation并将交互笔自身的旋转赋值给BP_InteractionHelper。也就是说该交互笔1旋转的读书和抓取的模型旋转的度数相同。
3、对于缩放功能的实现：
当第二按键12被按下时，该交互笔1可以获取自身的坐标位置，并获取坐标位置的变化量，其中，所述坐标位置的变化量以第一方向为正方向，以与所述第一方向相反的方向为反方向，并将所述坐标位置的变化量发送至所述交互设备；所述交互设备2，还用于将所述坐标位置的变化量映射至所述抓取到的模型的虚拟坐标中，根据所述坐标位置的变化量对所述抓取的模型进行缩放。
具体的，可以实现针对不同大小的交互模型进行非线性缩放。先获取Actor并调用其内部的API：GetBounds。该API返回actor的边界球半径。使用UE4的曲线工具制作一条非线性缩放曲线，类型为CurveFloat。在可交互模型的基类BP_InteractableActor的BeginPlay事件中获取Actor的初始半径值MeshBoundsRadius。再在需要进行缩放时调用引擎API：SetActorScale3D进行缩放，缩放的参数跟据MeshBoundsRadius到缩放曲线中获取对应的缩放比例。若是整体缩放，则遍历所有交互模型，以半径最大的为MeshBoundsRadius。
可以通过交互笔1在现实中的位置和旋转映射到UE4引擎的虚拟世界中，示例性的，交互笔1向前移动视为缩小操作，向后拖动视为放大。
4、返回操作。
该第三按键13单击返回菜单，长按用于提供给其他软件进行数据校准。
本申请提供的这种桌面交互系统实现了基于3D桌面系统的UE4内容能够通过交互笔对UE4内容场景中的模型实现多种交互方式。
有鉴于上述桌面交互系统，本申请还提供了一种桌面交互方法，该桌面交互方法应用于上述桌面交互系统。请参见图5，该方法包括：
S301、接收用户对于按键的按压与松开操作，并将按压与松开操作发送至交互设备。
S302、根据按压与松开操作对模型进行抓取、旋转、缩放以及返回操作。
以下对于步骤S301与步骤S302进行整体说明：
所述交互笔包括第一按键，所述第一按键用于控制抓取模型；顺着所述交互笔所指的方向做射线检测，并将所述射线检测返回的命中结果存储为第一变量；当获取到所述第一按键被按下时，判断所述第一变量是否有效；当所述第一变量有效时，将所述射线检测命中结果对应的模型进行抓取。
当判断所述第一变量无效时，抓取交互框内全部模型。
当第二按键被按下时，所述交互笔获取自身的旋转角度，并将所述旋转角度发送至所述交互设备；所述交互设备根据所述旋转角度对所述抓取到的模型进行旋转。
当第二按键被按下时，所述交互笔获取自身的坐标位置，并获取坐标位置的变化量，其中，所述坐标位置的变化量以第一方向为正方向，以与所述第一方向相反的方向为反方向，并将所述坐标位置的变化量发送至所述交互设备；所述交互设备，将所述坐标位置的变化量映射至所述抓取到的模型的虚拟坐标中，根据所述坐标位置的变化量对所述抓取的模型进行缩放。
图6是本申请实施例提供的一种交互设备的结构示意图，该交互设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(cemtrml processimgumits，CPU)410(例如，一个或一个以上处理器)和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对交互设备400中的一系列指令操作。更进一步地，处理器410可以设置为与存储介质430通信，在交互设备400上执行存储介质430中的一系列指令操作。
交互设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口430，一个或一个以上输入输出接口460，和/或，一个或一个以上操作系统431，例如Wimdows Serve，Nmc OS X，Umix，Limux，FreeBSD等等。本领域技术人员可以理解，图6示出的交互设备结构并不构成对数据处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本申请还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述桌面交互实现方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(remd-omly nenory，RON)、随机存取存储器(rmmdon mccess nenory，RMN)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的实施例中，应该理解到，所揭露的方法，在没有超过本申请的精神和范围内，可以通过其他的方式实现。当前的实施例只是一种示范性的例子，不应该作为限制，所给出的具体内容不应该限制本申请的目的。例如，一些特征可以忽略，或不执行。
本申请方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。
以上对本申请实施例所提供的一种桌面交互系统及实现方法、存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种桌面交互系统，其特征在于，所述交互系统包括：
交互笔，所述交互笔包含至少三个按键，其中，每个所述按键具有按下和松开两种状态，所述按键用于接收用户的按压与及松开操作，并将所述按压与松开操作发送至所交互设备；
所述交互设备，用于根据所述按压与所述松开操作对模型进行抓取、旋转、缩放以及返回操作。
2.根据权利要求1所述的系统，其特征在于，所述交互笔包括第一按键，所述第一按键用于控制抓取模型；
所述交互设备，用于顺着所述交互笔所指的方向做射线检测，并将所述射线检测返回的命中结果存储为第一变量；
当所述交互设备从所述交互笔处获取到所述第一按键被按下时，所述交互设备判断所述第一变量是否有效；
若所述第一变量有效，则所述交互设备将所述射线检测命中结果对应的模型进行抓取。
3.根据权利要求2所述的系统，其特征在于，
所述交互设备还用于，当判断所述第一变量无效时，抓取交互框内全部模型。
4.根据权利要求2或3所述的系统，其特征在于，
所述交互笔，还用于当第二按键被按下时，获取自身的旋转角度，并将所述旋转角度发送至所述交互设备；
所述交互设备，还用于根据所述旋转角度对所述抓取到的模型进行旋转。
5.根据权利要求2或3所述的系统，其特征在于，
所述交互笔，还用于当第二按键被按下时，获取自身的坐标位置，并获取坐标位置的变化量，其中，所述坐标位置的变化量以第一方向为正方向，以与所述第一方向相反的方向为反方向，并将所述坐标位置的变化量发送至所述交互设备；
所述交互设备，还用于将所述坐标位置的变化量映射至所述抓取到的模型的虚拟坐标中，根据所述坐标位置的变化量对所述抓取的模型进行缩放。
6.根据权利要求1所述的系统，其特征在于，所述交互笔还包括第三按键，当所述第三按键被单击时，所述交互设备执行返回菜单操作；当所述第三按键被长按时，所述交互设备执行数据校准。
7.一种桌面交互实现方法，其特征在于，所述方法应用于权利要求1至6任意一项所述的桌面交互系统，所述方法包括：
接收用户对于按键的按压与松开操作，并将按压与松开操作发送至交互设备；
根据所述按压与松开操作对模型进行抓取、旋转、缩放以及返回操作。
8.根据权利要求7所述的方法，其特征在于，所述交互笔包括第一按键，所述第一按键用于控制抓取模型；
顺着所述交互笔所指的方向做射线检测，并将所述射线检测返回的命中结果存储为第一变量；
当获取到所述第一按键被按下时，判断所述第一变量是否有效；
当所述第一变量有效时，将所述射线检测命中结果对应的模型进行抓取。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
当判断所述第一变量无效时，抓取交互框内全部模型。
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求7至9中任一项所述的方法。
CN202110675887.4A 2021-06-17 2021-06-17 一种桌面交互系统及实现方法、存储介质 Pending CN113467613A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110675887.4A CN113467613A (zh) 2021-06-17 2021-06-17 一种桌面交互系统及实现方法、存储介质
CN202210906137.8A CN115373513A (zh) 2021-06-17 2021-06-17 一种桌面交互系统及实现方法、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110675887.4A CN113467613A (zh) 2021-06-17 2021-06-17 一种桌面交互系统及实现方法、存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210906137.8A Division CN115373513A (zh) 2021-06-17 2021-06-17 一种桌面交互系统及实现方法、存储介质

Publications (1)

Publication Number Publication Date
CN113467613A true CN113467613A (zh) 2021-10-01

Family

ID=77870453

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110675887.4A Pending CN113467613A (zh) 2021-06-17 2021-06-17 一种桌面交互系统及实现方法、存储介质
CN202210906137.8A Pending CN115373513A (zh) 2021-06-17 2021-06-17 一种桌面交互系统及实现方法、存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210906137.8A Pending CN115373513A (zh) 2021-06-17 2021-06-17 一种桌面交互系统及实现方法、存储介质

Country Status (1)

Country Link
CN (2) CN113467613A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079498A1 (en) * 2008-09-26 2010-04-01 Microsoft Corporation Multi-modal interaction for a screen magnifier
KR101595319B1 (ko) * 2014-11-13 2016-02-18 (주)컴버스테크 인터랙티브 보드용 전자펜
CN106200985A (zh) * 2016-08-10 2016-12-07 北京天远景润科技有限公司 桌面型个人沉浸虚拟现实交互设备
CN106648152A (zh) * 2016-12-14 2017-05-10 吉林大学 一种基于旋转角度和距离的三维笔式交互界面缩放方法
CN108563341A (zh) * 2018-04-13 2018-09-21 吉林大学 一种具有振动触觉反馈的三维触控电子笔及方法
CN111459265A (zh) * 2020-03-02 2020-07-28 杭州嘉澜创新科技有限公司 一种交互设备及其操作方法、计算机可读存储介质
CN112258637A (zh) * 2020-10-29 2021-01-22 潍坊学院 非遗文化项目虚拟展示方法、系统、介质、设备及终端
CN112558761A (zh) * 2020-12-08 2021-03-26 南京航空航天大学 一种面向移动端的远程虚拟现实交互系统及交互方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079498A1 (en) * 2008-09-26 2010-04-01 Microsoft Corporation Multi-modal interaction for a screen magnifier
KR101595319B1 (ko) * 2014-11-13 2016-02-18 (주)컴버스테크 인터랙티브 보드용 전자펜
CN106200985A (zh) * 2016-08-10 2016-12-07 北京天远景润科技有限公司 桌面型个人沉浸虚拟现实交互设备
CN106648152A (zh) * 2016-12-14 2017-05-10 吉林大学 一种基于旋转角度和距离的三维笔式交互界面缩放方法
CN108563341A (zh) * 2018-04-13 2018-09-21 吉林大学 一种具有振动触觉反馈的三维触控电子笔及方法
CN111459265A (zh) * 2020-03-02 2020-07-28 杭州嘉澜创新科技有限公司 一种交互设备及其操作方法、计算机可读存储介质
CN112258637A (zh) * 2020-10-29 2021-01-22 潍坊学院 非遗文化项目虚拟展示方法、系统、介质、设备及终端
CN112558761A (zh) * 2020-12-08 2021-03-26 南京航空航天大学 一种面向移动端的远程虚拟现实交互系统及交互方法

Also Published As

Publication number Publication date
CN115373513A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
EP3129871B1 (en) Generating a screenshot
EP2812770B1 (en) Image processing device, and computer program product
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20180059902A1 (en) Teleportation Links for Mixed Reality Environments
US9013509B2 (en) System and method for manipulating digital images on a computer display
EP3769509A1 (en) Multi-endpoint mixed-reality meetings
Fiorentino et al. Design review of CAD assemblies using bimanual natural interface
JP2009238218A (ja) 情報可視化システム、方法およびプログラム
RU2768526C2 (ru) Реальное присутствие рукописного ввода для сотрудничества в реальном времени
Medeiros et al. A tablet-based 3d interaction tool for virtual engineering environments
CN107079065A (zh) 电话平板装置
JP2023172893A (ja) 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体
CN110544315B (zh) 虚拟对象的控制方法及相关设备
US20210034318A1 (en) Shared volume computing architecture of a virtual reality environment and related systems and methods
CN109375866B (zh) 一种屏幕触摸点击响应的方法及实现的系统
CN113467613A (zh) 一种桌面交互系统及实现方法、存储介质
EP2889738B1 (en) Computer-implemented method for designing a three-dimensional modeled object
EP2887195B1 (en) A computer-implemented method for designing a three-dimensional modeled object
WO2023197729A1 (zh) 对象渲染方法、装置、电子设备及存储介质
Zilizi et al. Challenges of developing mobile versions for high performance desktop VR applications
Aseeri et al. Poster: Virtual reality interaction using mobile devices
Woessner et al. Interaction methods for architecture in virtual environments
CN116126133A (zh) 虚拟对象的交互方法、装置、设备、存储介质和程序产品
CN112988007A (zh) 三维素材的交互方法及装置
CN115999148A (zh) 游戏中的信息处理方法、装置、存储介质和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination