CN106371736A - 交互方法、交互设备及操作棒 - Google Patents

交互方法、交互设备及操作棒 Download PDF

Info

Publication number
CN106371736A
CN106371736A CN201610012489.3A CN201610012489A CN106371736A CN 106371736 A CN106371736 A CN 106371736A CN 201610012489 A CN201610012489 A CN 201610012489A CN 106371736 A CN106371736 A CN 106371736A
Authority
CN
China
Prior art keywords
operation rod
guidance panel
height
limb
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610012489.3A
Other languages
English (en)
Other versions
CN106371736B (zh
Inventor
杜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201610012489.3A priority Critical patent/CN106371736B/zh
Priority to US15/398,312 priority patent/US10275051B2/en
Publication of CN106371736A publication Critical patent/CN106371736A/zh
Application granted granted Critical
Publication of CN106371736B publication Critical patent/CN106371736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

本申请实施例提供了一种交互方法、交互设备及操作棒。交互方法包括：确定一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制一操作棒与一操作面板的接触来选定；至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触，所述物理特性为能够影响所述第一位置与所述第一接触部分之间的直线距离的特性。本申请实施例提供了一种混合现实的交互方案。

Description

交互方法、交互设备及操作棒
技术领域
本申请实施例涉及混合现实(Mixed Reality，简称MR)技术领域，尤其涉及一种交互方法、交互设备及操作棒。
背景技术
MR技术主要是合并现实世界和虚拟世界而产生新的可视化环境，其涵盖了虚拟现实(Virtual Reality，简称VR)技术、增强现实(Augmented Reality，简称AR)技术等。
MR应用中用户可以有多种方式与可视化环境进行交互，具体地，MR应用给用户提供的常用的输入方式包括：键盘输入、鼠标输入、手势输入、标记输入、基于惯性测量单元(Inertial Measurement Unit，简称IMU)的输入等。这些输入方式各有优缺点，例如：键盘输入和鼠标输入成熟、廉价但不够直观，手势输入方便但不够精确，标记输入廉价但功能过于简单，基于IMU的输入定位精度不够等。
发明内容
有鉴于此，本申请实施例的一个目的在于提供一种MR的交互方案。
为实现上述目的，根据本申请实施例的第一方面，提供一种交互方法，包括：
确定一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制一操作棒与一操作面板的接触来选定；
至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触。
结合第一方面，在第一方面的第一种可能的实现方式中，所述高度为所述输入位置在真实空间中映射的操作位置在第一轴线方向上相对于所述操作面板的相对高度，所述第一轴线方向为所述操作棒上所述第一接触部分的轴线方向。
结合第一方面或第一方面的上述任一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，包括：
至少根据所述高度，确定所述部分肢体与所述操作面板在所述第一轴线方向上的目标距离；
至少根据所述目标距离，控制所述第一部分的物理特性。
结合第一方面或第一方面的上述任一种可能的实现方式，在第一方面的第三种可能的实现方式中，所述确定一三维显示内容中的一输入位置的高度之前，还包括：确定所述输入位置。
结合第一方面或第一方面的上述任一种可能的实现方式，在第一方面的第四种可能的实现方式中，所述确定所述输入位置，包括：
至少根据所述三维显示内容以及真实空间与显示空间的空间映射关系，确定所述三维显示内容映射的真实空间中的三维区域；
确定所述输入位置为真实空间中所述第一轴线方向与所述三维区域的第一交点位置映射的显示空间中的一显示位置。
结合第一方面或第一方面的上述任一种可能的实现方式，在第一方面的第五种可能的实现方式中，所述方法还包括：响应于所述操作棒与所述操作面板开始接触，标定所述空间映射关系。
结合第一方面或第一方面的上述任一种可能的实现方式，在第一方面的第六种可能的实现方式中，所述确定所述输入位置，包括：
确定所述输入位置为显示空间中第二轴线方向与所述三维显示内容的第二交点位置，所述第二轴线方向为所述第一显示对象上与所述部分肢体对应的第二显示对象接触的第二接触部分的轴线方向。
结合第一方面或第一方面的上述任一种可能的实现方式，在第一方面的第七种可能的实现方式中，所述物理特性包括以下至少一种：物理长度、物理弯曲度。
结合第一方面或第一方面的上述任一种可能的实现方式，在第一方面的第八种可能的实现方式中，所述至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，包括：
响应于所述高度变大，控制所述第一部分的物理长度变大和/或控制所述第一部分的物理弯曲度变小；
响应于所述高度变小，控制所述第一部分的物理长度变小和/或控制所述第一部分的物理弯曲度变大。
结合第一方面或第一方面的上述任一种可能的实现方式，在第一方面的第九种可能的实现方式中，所述方法还包括：
控制与所述操作棒对应的第一显示对象中第二位置和第二接触部分之间的第二部分的显示外观不变，所述第一显示对象在所述第二位置与所述三维显示内容接触、在所述第二接触部分与所述部分肢体对应的第二显示对象接触。
结合第一方面或第一方面的上述任一种可能的实现方式，在第一方面的第十种可能的实现方式中，所述显示外观包括：显示长度、显示弯曲度。
为实现上述目的，根据本申请实施例的第二方面，提供一种交互设备，包括：
第一确定模块，用于确定一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制一操作棒与一操作面板的接触来选定；
第一控制模块，用于至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触。
结合第二方面，在第二方面的第一种可能的实现方式中，所述高度为所述输入位置在真实空间中映射的操作位置在第一轴线方向上相对于所述操作面板的相对高度，所述第一轴线方向为所述操作棒上所述第一接触部分的轴线方向。
结合第二方面或第二方面的上述任一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述第一控制模块包括：
第一确定单元，用于至少根据所述高度，确定所述部分肢体与所述操作面板在所述第一轴线方向上的目标距离；
控制单元，用于至少根据所述目标距离，控制所述第一部分的物理特性。
结合第二方面或第二方面的上述任一种可能的实现方式，在第二方面的第三种可能的实现方式中，所述设备还包括：第二确定模块，用于确定所述输入位置。
结合第二方面或第二方面的上述任一种可能的实现方式，在第二方面的第四种可能的实现方式中，所述第二确定模块包括：
第二确定单元，用于至少根据所述三维显示内容以及真实空间与显示空间的空间映射关系，确定所述三维显示内容映射的真实空间中的三维区域；
第三确定单元，用于确定所述输入位置为真实空间中所述第一轴线方向与所述三维区域的第一交点位置映射的显示空间中的一显示位置。
结合第二方面或第二方面的上述任一种可能的实现方式，在第二方面的第五种可能的实现方式中，所述第二确定模块还包括：空间标定单元，用于响应于所述操作棒与所述操作面开始接触，标定所述空间映射关系。
结合第二方面或第二方面的上述任一种可能的实现方式，在第二方面的第六种可能的实现方式中，所述第二确定模块包括：第四确定单元，用于确定所述输入位置为显示空间中第二轴线方向与所述三维显示内容的第二交点位置，所述第二轴线方向为所述第一显示对象上与所述部分肢体对应的第二显示对象接触的第二接触部分的轴线方向。
结合第二方面或第二方面的上述任一种可能的实现方式，在第二方面的第七种可能的实现方式中，所述物理特性包括以下至少一种：物理长度、物理弯曲度。
结合第二方面或第二方面的上述任一种可能的实现方式，在第二方面的第八种可能的实现方式中，所述第一控制模块具体用于：
响应于所述高度变大，控制所述第一部分的物理长度变大和/或控制所述第一部分的物理弯曲度变小；
响应于所述高度变小，控制所述第一部分的物理长度变小和/或控制所述第一部分的物理弯曲度变大。
结合第二方面或第二方面的上述任一种可能的实现方式，在第二方面的第九种可能的实现方式中，所述设备还包括：第二控制模块，用于控制与所述操作棒对应的第一显示对象中第二位置和第二接触部分之间的第二部分的显示外观不变，所述第一显示对象在所述第二位置与所述三维显示内容接触、在所述第二接触部分与所述部分肢体对应的第二显示对象接触。
结合第二方面或第二方面的上述任一种可能的实现方式，在第二方面的第十种可能的实现方式中，所述显示外观包括：显示长度、显示弯曲度。
为实现上述目的，根据本申请实施例的第三方面，提供一种交互设备，包括：
通信接口，用于与至少一个混合现实MR显示设备、一操作棒通信；
存储器，用于存储指令；
处理器，用于执行所述存储器存储的指令，所述指令使得所述处理器执行以下操作：
确定所述至少一个MR显示设备显示的一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制所述操作棒与一操作面板的接触来选定；
至少根据所述高度，向所述操作棒发送一控制指令，所述控制指令用于控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触。
结合第三方面，在第三方面的第一种可能的实现方式中，所述设备还包括：一摄像头，用于获取所述操作棒和所述操作面板的至少一个监控图像；
所述指令使得所述处理器还执行以下操作：
至少根据所述三维显示内容和所述至少一个监控图像，确定所述输入位置。
结合第三方面或第三方面的上述任一种可能的实现方式，在第三方面的第二种可能的实现方式中，所述物理特性包括以下至少一种：物理长度、物理弯曲度。
为实现上述目的，根据本申请实施例的第四方面，提供一种操作棒，包括：
机械部件，至少部分位于所述操作棒的一端与第一接触部分之间，所述端用于与一操作面板接触，所述第一接触部分用于与一用户的部分肢体接触，所述机械部件的物理特性可控；
通信接口，用于与至少一个混合现实MR显示设备通信；
存储器，用于存储指令；
处理器，用于执行所述存储器存储的指令，所述指令使得所述处理器执行以下操作：
确定所述至少一个MR显示设备显示的一三维显示内容中的一输入位置的高度，所述输入位置由所述用户通过所述部分肢体控制所述端与所述操作面板的接触来选定；
至少根据所述高度，控制所述机械部件的物理特性。
结合第四方面，在第四方面的第一种可能的实现方式中，所述操作棒还包括：至少一个传感器，用于检测所述操作棒的状态。
结合第四方面或第四方面的上述任一种可能的实现方式，在第四方面的第二种可能的实现方式中，所述至少一个传感器包括：设置在所述第一接触部分的一陀螺仪，所述陀螺仪用于检测所述第一接触部分的轴线方向。
结合第四方面或第四方面的上述任一种可能的实现方式，在第四方面的第三种可能的实现方式中，所述至少一个传感器包括：设置在所述端的光电传感器，所述光电传感器用于检测所述端在所述操作面板上的移动。
结合第四方面或第四方面的上述任一种可能的实现方式，在第四方面的第四种可能的实现方式中，所述机械部件为多节伸缩式结构；所述操作棒还包括：一微型马达，所述微型马达用于在所述处理器的控制下控制所述多节伸缩式结构的物理特性。
结合第四方面或第四方面的上述任一种可能的实现方式，在第四方面的第五种可能的实现方式中，所述机械部件由形变可控的材料制成。
结合第四方面或第四方面的上述任一种可能的实现方式，在第四方面的第六种可能的实现方式中，所述形变可控的材料包括以下任一种：逆压电材料、电活性聚合物EAP材料、记忆金属材料。
结合第四方面或第四方面的上述任一种可能的实现方式，在第四方面的第七种可能的实现方式中，所述机械部件由弹性系数可控的材料制成。
结合第四方面或第四方面的上述任一种可能的实现方式，在第四方面的第八种可能的实现方式中，所述弹性系数可控的材料包括以下任一种：EAP材料、金属材料。
结合第四方面或第四方面的上述任一种可能的实现方式，在第四方面的第九种可能的实现方式中，所述物理特性包括以下至少一种：物理长度、物理弯曲度。
为实现上述目的，根据本申请实施例的第五方面，提供一种操作棒包括：
机械部件，至少部分位于所述操作棒的一端与第一接触部分之间，所述端用于与一操作面板接触，所述第一接触部分用于与一用户的部分肢体接触，所述机械部件的物理特性可控；
通信接口，用于接收一控制指令；
控制器，用于根据所述控制指令，控制所述机械部件的物理特性。
结合第五方面，在第五方面的第一种可能的实现方式中，所述机械部件为多节伸缩式结构，所述控制器为微型马达。
结合第五方面或第五方面的上述任一种可能的实现方式，在第五方面的第二种可能的实现方式中，所述机械部件由形变可控的材料制成。
结合第五方面或第五方面的上述任一种可能的实现方式，在第五方面的第三种可能的实现方式中，所述形变可控的材料包括以下任一种：逆压电材料、电活性聚合物EAP材料、记忆金属材料。
结合第五方面或第五方面的上述任一种可能的实现方式，在第五方面的第四种可能的实现方式中，所述机械部件由弹性系数可控的材料制成。
结合第五方面或第五方面的上述任一种可能的实现方式，在第五方面的第五种可能的实现方式中，所述弹性系数可控的材料包括以下任一种：EAP材料、金属材料。
结合第五方面或第五方面的上述任一种可能的实现方式，在第五方面的第六种可能的实现方式中，所述物理特性包括以下至少一种：物理长度、物理弯曲度。
以上多个技术方案中的至少一个技术方案具有如下有益效果：
本申请实施例通过确定一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制一操作棒与一操作面板的接触来选定，至少根据所述高度控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触，提供了一种MR的交互方案。
附图说明
图1为本申请提供的一种交互方法实施例的流程示意图；
图2A和2B分别为第一轴线方向的一种示意图；
图3A～3C分别为操作位置、操作面板、第一轴线方向的一种关系示意图；
图4为本申请提供的一种交互设备实施例一的结构示意图；
图5～10分别为图4所示实施例的一种实现方式的结构示意图；
图11为本申请提供的一种交互设备实施例二的结构示意图；
图12～13分别为图11所示实施例的一种实现方式的结构示意图；
图14为本申请提供的一种操作棒实施例一的结构示意图；
图15～17分别为图14所示实施例的一种实现方式的结构示意图；
图18为图14所示实施例的操作棒的一种可能的外形概略图；
图19为本申请提供的一种操作棒实施例二的结构示意图。
具体实施方式
下面结合附图和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本申请提供的一种交互方法实施例的结构示意图。如图1所示，本实施例包括：
110、确定一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制一操作棒与一操作面板的接触来选定。
举例来说，本申请提供的一种交互设备实施例一或实施例二所述的交互设备，或者，本申请提供的一种操作棒实施例一所述的操作棒，作为本实施例的执行主体，执行110～120。
本实施例中，所述三维显示内容通常由至少一个显示设备向所述用户显示。其中，所述至少一个显示设备可选地为至少一个MR显示设备，比如，所述三维显示内容由所述用户佩戴的一MR头盔投射在所述用户的面前。
本实施例中，所述输入位置可选地是所述用户将要进行输入的位置。也就是说，所述用户可能要对所述三维显示内容在所述输入位置处的部分内容进行某种操作，比如设置颜色、更改形状等。
本实施例中，所述部分肢体可以是所述用户的任意部分肢体，比如所述用户的一只手。
本实施例中，所述操作棒可以是任意材质制成的一棒状物，所述棒状物可以是直的或基本上直的，或者，至少部分弯曲的。可选地，所述操作棒便于所述用户握持。可选地，所述操作棒的一端是尖的，即，类似于笔状。
本实施例中，所述操作面板可以由任意材质制成的，所述操作面板可选地由一操作台的至少一面构成。具体地，所述操作面板可选地是一平面或者一曲面。
本实施例中，将MR的空间分为真实空间和显示空间，真实的物体存在于真实空间，用户看到的虚拟的物体存在于显示空间。进一步地，显示空间中除了所述三维显示内容，通常还存在所述操作棒对应的第一显示对象和所述部分肢体对应的第二显示对象；具体地，所述三维显示内容、所述第一显示对象、所述第二显示对象均存在于显示空间中，而所述部分肢体、所述操作棒、所述操作面板均存在于真实空间中。其中，所述第一显示对象是真实空间中的所述操作棒在显示空间中的表现，所述第一显示对象是所述用户看到的“操作棒”，即虚拟的操作棒；所述第一显示对象的显示外观可选地与所述操作棒的真实外观有关，或者，所述第一显示对象的显示外观与所述操作棒的真实外观无关，比如，所述第一显示对象是一操作棒对象模板给出的标准显示对象。所述第二显示对象是真实空间中的所述部分肢体在显示空间中的表现，所述第二显示对象是所述用户看到的“部分肢体”，即虚拟的部分肢体；所述第二显示对象的显示外观可选地与所述部分肢体的真实外观有关，或者，所述第二显示对象的显示外观与所述部分肢体的真实外观无关，比如，所述第二显示对象是一肢体对象模板给出的标准显示对象。总的来说，显示空间中的所述第一显示对象和所述第二显示对象给所述用户一个视觉上的感受，即所述用户正在通过所述第二显示对象控制所述第一显示对象以选择输入位置并进行输入。另外，显示空间中可选地还存在所述操作面板对应的表现，也就是说，所述用户还可能看到“操作面板”，即虚拟的操作面板；当显示空间中存在所述操作面板对应的表现时，将所述操作面板在显示空间中对应的表现称为第三显示对象，所述第三显示对象的显示外观可选地与所述操作面板的真实外观有关，比如所述操作面板为一平面且所述第三显示对象也为一平面，或者，所述第三显示对象的显示外观与所述操作面板的真实外观无关，比如，所述操作面板为一曲面而所述第三显示对象为一平面；当显示空间中不存在所述操作面板对应的表现时，意味着所述用户看不到“操作面板”。
本实施例中，为了描述清楚，所述操作棒、所述部分肢体、所述操作面板分别是指真实空间中的操作棒、部分肢体、操作面板，即真实的操作棒、真实的部分肢体、真实的操作面板；“操作棒”、“部分肢体”、“操作面板”分别是指显示空间中的操作棒、部分肢体、操作面板，相当于虚拟的操作棒、虚拟的部分肢体、虚拟的操作面板。
本实施例中，所述输入位置可以是所述三维显示内容中的任一位置。
本实施例中，所述输入位置的高度通常可以用所述输入位置对应的操作位置相对于所述操作面板的相对高度来表示，其中，所述操作位置为显示空间中的所述输入位置在真实空间中的映射。进一步地，从所述用户的视觉感受的角度，所述操作位置可能高于所述操作面板或者低于所述操作面板或者与所述操作面板等高。举例来说，以所述部分肢体为参考，当所述操作位置与所述部分肢体位于所述操作面板的同侧时，所述操作位置高于所述操作面板，相应地，所述高度为正值；当所述操作位置与所述部分肢体位于所述操作面板的异侧时，所述操作位置低于所述操作面板，相应地，所述高度为负值；当所述操作位置位于所述操作面板上时，所述高度为零。
120、至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触。
本实施例中，所述第一部分的物理特性能够影响所述第一位置与所述第一接触部分之间的直线距离。可选地，所述物理特性包括但不限于以下至少一种：物理长度(physical length)、物理弯曲度(physicalcurvature)。举例来说，当120中控制所述第一部分的物理弯曲度不变而物理长度变小时，所述第一位置与所述第一接触部分之间的直线距离通常会变小；当120中控制所述第一部分的物理弯曲度变大而物理长度不变时，所述第一位置与所述第一接触部分之间的直线距离通常也会变小；当120中控制所述第一部分的物理弯曲度变小且物理长度变大时，所述第一位置与所述第一接触部分之间的直线距离通常会变大。需要说明的是，当所述第一部分是直的时，所述第一位置与所述第一接触部分之间的直线距离通常等于所述第一部分的物理长度，当所述第一部分至少部分弯曲时，所述第一位置与所述第一接触部分之间的直线距离通常小于所述第一部分的物理长度。
本实施例中，为了进行输入，所述用户通常要保持所述操作棒与所述操作面板的接触，相应地，当所述操作棒上所述第一位置与所述第一接触部分之间的直线距离变小时，所述用户会控制在所述第一接触部分与所述操作棒接触的所述部分肢体朝着靠近所述操作面板的方向移动，相当于所述用户降低所述部分肢体，以使所述操作棒仍与所述操作面板接触。而当所述第一位置与所述第一接触部分之间的直线距离变大时，由于所述操作棒在所述第一位置处与所述操作面板接触，所述操作面板会通过所述操作棒给所述部分肢体一个力反馈，该力反馈使得在所述第一接触部分与所述操作棒接触的所述部分肢体朝远离所述操作面板的方向移动，相当于所述用户抬高所述部分肢体。
本实施例中，所述至少根据所述高度控制所述第一部分的物理特性意味着，所述高度的大小会影响所述第一部分的物理特性。
本实施例通过确定一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制一操作棒与一操作面板的接触来选定，至少根据所述高度控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触，提供了一种MR的交互方案，并且，在所述用户通过所述部分肢体控制着所述操作棒与所述操作面板的接触来在所述三维显示内容中选择不同高度的输入位置的过程中，至少根据所述输入位置的高度来控制所述第一部分的物理特性能够给所述用户带来一种所述操作棒在高度不同的输入位置之间起伏的感觉，给所述用户一种更真实的MR体验。
以下通过一些可选的实现方式进一步地描述本实施例的方法。
本实施例中，所述输入位置的所述高度可以是所述输入位置在任意方向上的高度，即，所述高度为所述输入位置在真实空间中映射的操作位置在任意方向上相对于所述操作面板的相对高度。
在一种可能的场景中，所述高度为所述操作位置在第一轴线方向上相对于所述操作面板的相对高度，所述第一轴线方向为所述操作棒上所述第一接触部分的轴线方向。图2A和2B分别为第一轴线方向的一种示意图。如图2A所示，所述操作棒基本上是直的，所述第一接触部分为所述操作棒中灰色的区域，所述第一部分为所述操作棒中圆点填充的区域，所述第一轴线方向如图中虚线所示，所述第一轴线方向经过所述第一位置。如图2B所示，所述第一接触部分为所述操作棒中灰色的区域，所述第一部分为所述操作棒中圆点填充的区域，所述第一轴线方向如图中虚线所示，所述第一位置与所述第一接触部分之间的所述第一部分是部分弯曲的，可以看出，所述第一轴线方向不过所述第一位置。
图3A～3C分别为操作位置、操作面板、第一轴线方向的一种关系示意图。如图3A所示，所述操作位置如图中圆点所示、高于所述操作面板，所述操作位置在所述第一轴线方向到所述操作面板的距离用d1表示，相应地，所述操作位置在所述第一轴线方向相对于所述操作面板的相对高度为d1，即所述输入位置的高度为d1。如图3B所示，所述操作位置如图中圆点所示、低于所述操作面板，所述操作位置在所述第一轴线方向到所述操作面板的距离用d2表示，相应地，所述操作位置在所述第一轴线方向相对于所述操作面板的相对高度为-d2，即所述输入位置的高度为-d2。如图3C所示，所述操作位置如图中圆点所示、在所述操作面板上，相应地，所述操作位置在所述第一轴线方向相对于所述操作面板的相对高度为0，即所述输入位置的高度为0。需要说明的是，图3A～3C中为了清楚地体现操作位置、操作面板、第一轴线方向之间的关系，省略了操作棒的视图。
本实施例中，120有多种实现方式。
在一种可选的实现方式中，所述至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，包括：
至少根据所述高度，确定所述部分肢体与所述操作面板在所述第一轴线方向上的目标距离；
至少根据所述目标距离，控制所述第一部分的物理特性。
也就是说，当所述部分肢体与所述操作面板在所述第一轴线方向上的距离为所述目标距离时，所述用户感觉所述部分肢体处于与所述高度对应的位置。
其中，所述目标距离与所述高度通常正相关，即，当所述高度越大时确定的所述目标距离越大，当所述高度越小时确定的所述目标距离越小。可选地，所述高度与所述目标距离是一种线性的关系。可选地，D＝n*H+m，其中，D表示所述目标距离，H表示所述高度，m、n分别为一个常数。举例来说，若n＝1、m＝5厘米，则当所述高度为5厘米时，确定所述目标距离为10厘米，当所述高度为-2厘米时，确定所述目标距离为3厘米。又举例来说，若n＝0.5、m＝2厘米，则当所述高度为5厘米时，确定所述目标距离为4.5厘米，当所述高度为-2厘米时，确定所述目标距离为1厘米。
其中，所述至少根据所述目标距离控制所述第一部分的物理特性的目的是，在所述用户通过与所述操作棒在所述第一接触部分的接触来控制所述操作棒与所述操作面板保持接触的过程中，所述第一部分的物理特性能够使得所述部分肢体与所述操作面板在所述第一轴线方向上的距离达到或者基本达到所述目标距离。
在又一种可选的实现方式中，所述至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，包括：
响应于所述高度变大，控制所述第一部分的物理长度变大和/或控制所述第一部分的物理弯曲度变小；
响应于所述高度变小，控制所述第一部分的物理长度变小和/或控制所述第一部分的物理弯曲度变大。
其中，所述高度变大意味着当前输入位置的高度大于上一输入位置的高度；所述高度变小意味着当前输入位置的高度小于上一输入位置的高度。具体地，所述当前输入位置是本次执行本实施例的方法时的输入位置，所述上一输入位置是上次执行本实施例的方法时的输入位置。
具体地，当控制所述第一部分的物理长度变大和/或控制所述第一部分的物理弯曲度变小时，所述第一位置与所述第一接触部分之间的直线距离会变大，所述操作面板的力反馈使得所述部分肢体朝远离所述操作面板的方向移动，使得所述用户抬高所述部分肢体，这种肢体位置变化的感觉与所述用户看到的输入位置的高度变大的视觉感受匹配；当控制所述第一部分的物理长度变小和/或控制所述第一部分的物理弯曲度变大时，所述第一位置与所述第一接触部分之间的直线距离会变小，为了保持所述操作棒与所述操作面板的接触，所述用户控制所述部分肢体朝着靠近所述操作面板的方向移动，相当于所述用户降低所述部分肢体，这种肢体位置变化的感觉与所述用户看到的输入位置的高度变小的视觉感受匹配。
需要说明的是，120的上述两种实现方式是从不同的角度对120的进一步细化，可以结合。在120的上述第一种可选的实现方式中，可选地，所述至少根据所述目标距离，控制所述第一部分的物理特性，包括：
响应于所述目标距离变大，控制所述第一部分的物理长度变大和/或控制所述第一部分的物理弯曲度变小；
响应于所述目标距离变小，控制所述第一部分的物理长度变小和/或控制所述第一部分的物理弯曲度变大。
其中，如何控制所述第一部分的物理长度或物理弯曲度变化均有多种可选的实现方式。举例来说，当所述第一部分中设置有一长度可变的机械结构和用于控制所述机械结构的长度的一微型马达，则本实施例的执行主体可以通过控制所述微型马达来控制所述第一部分的物理长度。又举例来说，当所述第一部分的至少部分由形变可控的材料制成，则本实施例的执行主体可以通过控制该至少部分的形状来控制所述第一部分的物理长度和/或物理弯曲度。又举例来说，当所述第一部分的至少部分由弹性系数可控的材料制成，则本实施例的执行主体可以通过控制该至少部分的弹性系数来控制所述第一部分的物理长度和/或物理弯曲度。
本实施例中，在110之前，通常还包括：确定所述输入位置。进一步地，有多种方式来确定所述输入位置。
在一种可选的实现方式中，所述确定所述输入位置，包括：
至少根据所述三维显示内容以及真实空间与显示空间的空间映射关系，确定所述三维显示内容映射的真实空间中的三维区域；
确定所述输入位置为真实空间中所述第一轴线方向与所述三维区域的第一交点位置映射的显示空间中的一显示位置。
其中，所述空间映射关系是真实空间的第一空间坐标系与显示空间的第二空间坐标系之间的映射关系，所述空间映射关系保证了真实空间中的位置与显示空间中的位置是一一对应的。相应地，确定所述三维显示内容映射的真实空间中的三维区域具体是：确定所述三维显示内容在显示空间中的位置映射的真实空间的三维区域。
其中，所述第一轴线方向与所述三维区域容通常有至少一个交点。进一步地，所述至少根据所述三维显示内容以及真实空间与显示空间的空间映射关系，确定所述三维显示内容映射的真实空间中的三维区域具体为：至少根据所述三维显示内容的当前操作表面以及所述空间映射关系，确定所述当前操作表面映射的真实空间中的表面区域；相应地，所述确定所述输入位置为真实空间中所述第一轴线方向与所述三维区域的第一交点位置映射的显示空间中的一显示位置具体为：确定所述输入位置为真实空间中所述第一轴线方向与所述表面区域的第一交点位置映射的显示空间中的一显示位置。其中，所述当前操作表面是由用户选定的，可以是所述三维显示内容的最外层的表面，或者内部的表面。
在此实现方式中，可选地，本实施例还包括：
响应于所述操作棒与所述操作面板开始接触，标定所述空间映射关系。
其中，所述操作棒是否与所述操作面板接触可以有多种方式来确定。举例来说，可以在所述操作棒中设置一些传感器，比如光发射器和光接收器，从而根据这些传感器的感测数据来判断所述操作棒是否与所述操作面板接触。又举例来说，可以对所述操作面板和所述操作棒所处的真实空间进行视频监控，根据对监控画面的图像分析结果来判断所述操作棒是否与所述操作面板接触。
其中，所述操作棒与所述操作面板开始接触意味着，所述操作棒与所述操作面板从不接触变为接触。
其中，标定所述空间映射关系具体可以是，确定从真实空间的第一空间坐标系到显示空间的第二空间坐标系的转换矩阵。具体地，该转换矩阵表示了从所述第一空间坐标系到所述第二空间坐标系的转换方式，该转换方式包括但不限于以下至少一种：平移、缩放、旋转。
需要说明的是，在标定所述空间映射关系的同时，可选地还标定120的上述实现方式中所述高度与所述目标距离之间的关系，也称之为高度距离关系。举例来说，当所述操作棒与所述操作面板开始接触时，标定所述空间映射关系，同时确定当前输入位置的当前高度以及所述部分肢体与所述操作面板在所述第一轴线方向上的当前距离；然后，至少根据所述操作棒上所述第一位置和所述第一接触部分的直线长度的可变化范围以及所述操作面板的状态估计在所述用户选择不同的输入位置的过程中所述部分肢体与所述操作面板在所述第一轴线方向上的距离的第一变化范围，并且，确定所述三维显示内容中各输入位置的高度的第二变化范围；最后，至少根据所述当前高度、所述当前距离、所述第一变化范围、所述第二变化范围标定所述高度距离关系。
在又一种可选的实现方式中，所述确定所述输入位置，包括：
确定所述输入位置为显示空间中第二轴线方向与所述三维显示内容的第二交点位置，所述第二轴线方向为所述第一显示对象上与所述第二显示对象接触的第二接触部分的轴线方向。
其中，所述第二轴线方向通常是真实空间中的上述第一轴线方向映射的显示空间中的一方向。
其中，所述第二轴线方向与所述三维显示内容通常有至少一个交点，所述第二轴线方向与所述三维显示内容的任一个表面通常只有一个交点。进一步地，所述确定所述输入位置为显示空间中第二轴线方向与所述三维显示内容的第二交点位置具体为：确定所述输入位置为显示空间中所述第二轴线方向与所述三维显示内容的当前操作表面的第二交点位置。其中，所述当前操作表面是由用户选定的，可以是所述三维显示内容的最外层的表面，或者内部的表面。
本实施例中，当所述第一部分的物理特性发生变化时，所述第一部分的真实外观通常也会发生变化，然而，这个变化无需让所述用户在视觉上感受到。
在一种可选的实现方式中，本实施例还包括：
控制与所述操作棒对应的第一显示对象中第二位置和第二接触部分之间的第二部分的显示外观不变，所述第一显示对象在所述第二位置与所述三维显示内容接触、在所述第二接触部分与所述第二显示对象接触。
其中，所述第二位置和所述输入位置在显示空间的第二空间坐标系中的坐标值相同或相近。
其中，所述显示外观包括但不限于：显示长度(apparent length)、显示弯曲度(apparent curvature)。举例来说，当120中控制所述第一部分的物理长度导致所述第一部分的物理长度变化时，在此实现方式中控制所述第二部分的显示外观不变，即，至少控制所述第二部分的显示长度和显示弯曲度均不变。也就是说，无论真实的操作棒的外观随着所述第一部分的物理特性的改变如何变化，所述用户看到的“操作棒”的外观都不变。
其中，相比于所述操作棒在所述第一位置与所述操作面板的接触、在所述第一接触部分与所述部分肢体的接触均是真实空间中的接触，即真实的接触，所述第一显示对象在所述第二位置与所述三维显示内容的接触、在所述第二接触部分与所述第二显示对象的接触均是显示空间中的接触，可以看作是虚拟的接触。
在此实现方式中，可选地，还包括：控制所述第一显示对象和所述第二显示对象的相对接触不变。也就是说，显示空间中所述第二显示对象不与所述第一显示对象产生相对移动，所述第二显示对象始终接触所述第一显示对象的同一部分，即所述第二接触部分不变。
图4为本申请提供的一种交互设备实施例一的结构示意图。如图4所示，交互设备200包括：
第一确定模块21，用于确定一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制一操作棒与一操作面板的接触来选定；
第一控制模块22，用于至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触。
本实施例中，所述三维显示内容通常由至少一个显示设备向所述用户显示。其中，所述至少一个显示设备可选地为至少一个MR显示设备，比如，所述三维显示内容由所述用户佩戴的一MR头盔投射在所述用户的面前。
本实施例中，所述输入位置可选地是所述用户将要进行输入的位置。也就是说，所述用户可能要对所述三维显示内容在所述输入位置处的部分内容进行某种操作，比如设置颜色、更改形状等。
本实施例中，所述部分肢体可以是所述用户的任意部分肢体，比如所述用户的一只手。
本实施例中，所述操作棒可以是任意材质制成的一棒状物，所述棒状物可以是直的或基本上直的，或者，至少部分弯曲的。可选地，所述操作棒便于所述用户握持。可选地，所述操作棒的一端是尖的，即，类似于笔状。
本实施例中，所述操作面板可以由任意材质制成的，所述操作面板可选地由一操作台的至少一面构成。具体地，所述操作面板可选地是一平面或者一曲面。
本实施例中，将MR的空间分为真实空间和显示空间，真实的物体存在于真实空间，用户看到的虚拟的物体存在于显示空间。进一步地，显示空间中除了所述三维显示内容，通常还存在所述操作棒对应的第一显示对象和所述部分肢体对应的第二显示对象；具体地，所述三维显示内容、所述第一显示对象、所述第二显示对象均存在于显示空间中，而所述部分肢体、所述操作棒、所述操作面板均存在于真实空间中。其中，所述第一显示对象是真实空间中的所述操作棒在显示空间中的表现，所述第一显示对象是所述用户看到的“操作棒”，即虚拟的操作棒；所述第一显示对象的显示外观可选地与所述操作棒的真实外观类似，或者，所述第一显示对象的显示外观与所述操作棒的真实外观无关，比如，所述第一显示对象是一操作棒对象模板给出的标准显示对象。所述第二显示对象是真实空间中的所述部分肢体在显示空间中的表现，所述第二显示对象是所述用户看到的“部分肢体”，即虚拟的部分肢体；所述第二显示对象的显示外观可选地与所述部分肢体的真实外观类似，或者，所述第二显示对象的显示外观与所述部分肢体的真实外观无关，比如，所述第二显示对象是一肢体对象模板给出的标准显示对象。总的来说，显示空间中的所述第一显示对象和所述第二显示对象给所述用户一个视觉上的感受，即所述用户正在通过所述第二显示对象控制所述第一显示对象以选择输入位置并进行输入。另外，显示空间中可选地还存在所述操作面板对应的表现，也就是说，所述用户还可能看到“操作面板”，即虚拟的操作面板；当显示空间中存在所述操作面板对应的表现时，将所述操作面板在显示空间中对应的表现称为第三显示对象，所述第三显示对象的显示外观可选地与所述操作面板的真实外观有关，比如所述操作面板为一平面且所述第三显示对象也为一平面，或者，所述第三显示对象的显示外观与所述操作面板的真实外观无关，比如，所述操作面板为一曲面而所述第三显示对象为一平面；当显示空间中不存在所述操作面板对应的表现时，意味着所述用户看不到“操作面板”。
本实施例中，为了描述清楚，所述操作棒、所述部分肢体、所述操作面板分别是指真实空间中的操作棒、部分肢体、操作面板，即真实的操作棒、真实的部分肢体、真实的操作面板；“操作棒”、“部分肢体”、“操作面板”分别是指显示空间中的操作棒、部分肢体、操作面板，相当于虚拟的操作棒、虚拟的部分肢体、虚拟的操作面板。
本实施例中，所述输入位置可以是所述三维显示内容中的任一位置。
本实施例中，所述输入位置的高度通常可以用所述输入位置对应的操作位置相对于所述操作面板的相对高度来表示，其中，所述操作位置为显示空间中的所述输入位置在真实空间中的映射。进一步地，从所述用户的视觉感受的角度，所述操作位置可能高于所述操作面板或者低于所述操作面板或者与所述操作面板等高。举例来说，以所述部分肢体为参考，当所述操作位置与所述部分肢体位于所述操作面板的同侧时，所述操作位置高于所述操作面板，相应地，所述高度为正值；当所述操作位置与所述部分肢体位于所述操作面板的异侧时，所述操作位置低于所述操作面板，相应地，所述高度为负值；当所述操作位置位于所述操作面板上时，所述高度为零。
本实施例中，所述第一部分的物理特性能够影响所述第一位置与所述第一接触部分之间的直线距离。可选地，所述物理特性包括但不限于以下至少一种：物理长度、物理弯曲度。举例来说，当第一控制模块22控制所述第一部分的物理弯曲度不变而物理长度变小时，所述第一位置与所述第一接触部分之间的直线距离通常会变小；当第一控制模块22控制所述第一部分的物理弯曲度变大而物理长度不变时，所述第一位置与所述第一接触部分之间的直线距离通常也会变小；当第一控制模块22控制所述第一部分的物理弯曲度变小且物理长度变大时，所述第一位置与所述第一接触部分之间的直线距离通常会变大。需要说明的是，当所述第一部分是直的时，所述第一位置与所述第一接触部分之间的直线距离通常等于所述第一部分的物理长度，当所述第一部分至少部分弯曲时，所述第一位置与所述第一接触部分之间的直线距离通常小于所述第一部分的物理长度。
本实施例中，为了进行输入，所述用户通常要保持所述操作棒与所述操作面板的接触，相应地，当所述操作棒上所述第一位置与所述第一接触部分之间的直线距离变小时，所述用户会控制在所述第一接触部分与所述操作棒接触的所述部分肢体朝着靠近所述操作面板的方向移动，相当于所述用户降低所述部分肢体，以使所述操作棒仍与所述操作面板接触。而当所述第一位置与所述第一接触部分之间的直线距离变大时，由于所述操作棒在所述第一位置处与所述操作面板接触，所述操作面板会通过所述操作棒给所述部分肢体一个力反馈，该力反馈使得在所述第一接触部分与所述操作棒接触的所述部分肢体朝远离所述操作面板的方向移动，相当于所述用户抬高所述部分肢体。
本实施例中，第一控制模块22至少根据所述高度控制所述第一部分的物理特性意味着，所述高度的大小会影响所述第一部分的物理特性。
本实施例的交互设备通过第一确定模块确定一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制一操作棒与一操作面板的接触来选定，第一控制模块至少根据所述高度控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触，提供了一种MR的交互方案，并且，在所述用户通过所述部分肢体控制着所述操作棒与所述操作面板的接触来在所述三维显示内容中选择不同高度的输入位置的过程中，至少根据所述输入位置的高度来控制所述第一部分的物理特性能够给所述用户带来一种所述操作棒在高度不同的输入位置之间起伏的感觉，给所述用户一种更真实的MR体验。
以下通过一些可选的实现方式进一步地描述本实施例的交互设备。
本实施例中，所述输入位置的所述高度可以是所述输入位置在任意方向上的高度，即，所述高度为所述输入位置在真实空间中映射的操作位置在任意方向上相对于所述操作面板的相对高度。
在一种可能的场景中，所述高度为所述操作位置在第一轴线方向上相对于所述操作面板的相对高度，所述第一轴线方向为所述操作棒上所述第一接触部分的轴线方向。
图2A和2B分别为第一轴线方向的一种示意图。相关说明参见本申请提供的一种交互方法实施例中的相应部分，此处不再赘述。
图3A～3C分别为操作位置、操作面板、第一轴线方向的一种关系示意图。相关说明参见本申请提供的一种交互方法实施例中的相应部分，此处不再赘述。
本实施例中，第一控制模块22有多种实现方式。
在一种可选的实现方式中，如图5所示，第一控制模块22包括：
第一确定单元221，用于至少根据所述高度，确定所述部分肢体与所述操作面板在所述第一轴线方向上的目标距离；
控制单元222，用于至少根据所述目标距离，控制所述第一部分的物理特性。
在又一种可选的实现方式中，第一控制模块22具体用于：
响应于所述高度变大，控制所述第一部分的物理长度变大和/或控制所述第一部分的物理弯曲度变小；
响应于所述高度变小，控制所述第一部分的物理长度变小和/或控制所述第一部分的物理弯曲度变大。
需要说明的是，第一控制模块22的上述两种实现方式是从不同的角度对第一控制模块22的进一步细化，可以结合。在第一控制模块22的上述第一种可选的实现方式中，控制单元222具体用于：
响应于所述目标距离变大，控制所述第一部分的物理长度变大和/或控制所述第一部分的物理弯曲度变小；
响应于所述目标距离变小，控制所述第一部分的物理长度变小和/或控制所述第一部分的物理弯曲度变大。
本实施例中，如图6所示，交互设备200通常还包括：
第二确定模块23，用于确定所述输入位置。
具体地，第二确定模块23有多种实现方式。
在一种可选的实现方式中，如图7所示，第二确定模块23包括：
第二确定单元231，用于至少根据所述三维显示内容以及真实空间与显示空间的空间映射关系，确定所述三维显示内容映射的真实空间中的三维区域；
第三确定单元232，用于确定所述输入位置为真实空间中所述第一轴线方向与所述三维区域的第一交点位置映射的显示空间中的一显示位置。
在此实现方式中，可选地，如图8所示，第二确定模块23还包括：
空间标定单元233，用于响应于所述操作棒与所述操作面开始接触，标定所述空间映射关系。
在又一种可选的实现方式中，如图9所示，所述第二确定模块23包括：
第四确定单元234，用于确定所述输入位置为显示空间中第二轴线方向与所述三维显示内容的第二交点位置，所述第二轴线方向为所述第一显示对象上与所述部分肢体对应的第二显示对象接触的第二接触部分的轴线方向。
本实施例中，当所述第一部分的物理特性发生变化时，所述第一部分的真实外观通常也会发生变化，然而，这个变化无需让所述用户在视觉上感受到。
在一种可选的实现方式中，如图10所示，交互设备200还包括：
第二控制模块24，用于控制与所述操作棒对应的第一显示对象中第二位置和第二接触部分之间的第二部分的显示外观不变，所述第一显示对象在所述第二位置与所述三维显示内容接触、在所述第二接触部分与所述部分肢体对应的第二显示对象接触。
其中，所述显示外观包括但不限于：显示长度、显示弯曲度。
本实施例的任一实现方式、任一场景的具体说明均可参照本申请提供的一种交互方法实施例中的相应部分。
图11为本申请提供的一种交互设备实施例二的结构示意图。如图11所示，交互设备300包括：
通信接口31，用于与至少一个MR显示设备、一操作棒通信；
存储器32，用于存储指令；
处理器33，用于执行所述存储器32存储的指令，所述指令使得所述处理器33执行以下操作：
确定所述至少一个MR显示设备显示的一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制所述操作棒与一操作面板的接触来选定；
至少根据所述高度，向所述操作棒发送一控制指令，所述控制指令用于控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触。
本实施例中，通信接口31与所述至少一个MR显示设备、所述操作棒之间可以采用任意通信技术进行通信，比如，通信接口32与所述至少一个MR显示设备之间采用有线通信技术进行通信，与所述操作棒之间采用无线通信技术进行通信。
本实施例中，存储器32可选地包括高速随机存储器(Random-Access Memory，简称RAM)，可选地还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
本实施例中，所述指令可选地以一个程序的形式存储在存储器32中。
本实施例中，处理器33可能是一个中央处理器(CentralProcessing Unit，简称CPU)，或者是特定集成电路(Application SpecificIntegrated Circuit，简称ASIC)，或者是被配置成执行上述操作的一个或多个集成电路。所述指令使得处理器33执行的上述操作可以参照上述交互方法实施例中的相应描述，不同之处仅在于：本实施例中处理器33执行的操作“至少根据所述高度，向所述操作棒发送一控制指令，所述控制指令用于控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性”相当于将上述交互方法实施例中的120具体为：至少根据所述高度，通过向所述操作棒发送一控制指令来控制所述操作棒上第一部分的物理特性。
本实施例中，交互设备300中各模块或单元之间的通信和控制可选地通过通信总线来实现。在一种可选的实现方式中，如图12所示，交互设备300还包括：通信总线34。其中，通信接口31、存储器32、处理器33通过通信总线34完成相互间的通信和控制。
本实施例中，处理器33有多种方式来确定所述输入位置的高度。
在一种可选的实现方式中，如图13所示，交互设备300还包括：一摄像头35，用于获取所述操作棒和所述操作面板的至少一个监控图像；
所述指令使得所述处理器33还执行以下操作：
至少根据所述三维显示内容和所述至少一个监控图像，确定所述输入位置。
其中，摄像头35可选地与所述至少一个MR显示设备设置在一起。比如，当所述至少一个MR显示设备为一MR头盔时，摄像头35可以设置在该MR头盔上。
其中，所述至少一个监控图像至少揭示了所述操作棒与所述操作面板的相对位置关系，比如，所述操作棒是否与所述操作面板接触，以及所述操作棒的空间姿态，比如所述第一接触部分的轴线方向。
在又一种可选的实现方式中，所述至少一个MR显示设备或所述操作棒确定所述输入位置的高度，并将所述输入位置的高度封装在一条消息中通过通信接口31发送给处理器33，也就是说，处理器33通过解析通过通信接口31接收到的该消息，确定所述输入位置的高度。
本实施例中，交互设备300可选地与所述至少一个MR显示设备一体设置，或者，与所述操作棒一体设置，或者，与所述至少一个MR显示设备、所述操作棒分离设置。
图14为本申请提供的一种操作棒实施例一的结构示意图。如图14所示，操作棒400包括：
机械部件41，至少部分位于操作棒400的一端与第一接触部分之间，所述端用于与一操作面板接触，所述第一接触部分用于与一用户的部分肢体接触，机械部件41的物理特性可控；
通信接口42，用于与至少一个MR显示设备通信；
存储器43，用于存储指令；
处理器44，用于执行存储器43存储的指令，所述指令使得处理器44执行以下操作：
确定所述至少一个MR显示设备显示的一三维显示内容中的一输入位置的高度，所述输入位置由所述用户通过所述部分肢体控制所述端与所述操作面板的接触来选定；
至少根据所述高度，控制机械部件41的物理特性。
本实施例中，机械部件41至少部分位于操作棒400的一端与第一接触部分之间是指，机械部件41全部位于操作棒400的一端与第一接触部分之间，或者，机械部件41的部分位于操作棒400的一端与第一接触部分之间。在机械部件41的部分位于操作棒400的一端与第一接触部分之间的场景中，机械部件41的其它部分可选地位于第一接触部分内，也就是说，操作棒400上与所述部分肢体接触的部分也可能发生物理特性的改变。
本实施例中，机械部件41的物理特性能够影响所述端与所述第一接触部分之间的直线距离。可选地，所述物理特性可选地包括但不限于以下至少一种：物理长度、物理弯曲度。
本实施例中，通信接口42与所述至少一个MR显示设备之间可以采用任意通信技术进行通信，比如，通信接口42与所述至少一个MR显示设备之间采用蓝牙(BlueTooth，简称BT)技术进行通信。
本实施例中，存储器43可选地包括高速RAM，可选地还包括非易失性存储器，例如至少一个磁盘存储器。
本实施例中，所述指令可选地以一个程序的形式存储在存储器43中。
本实施例中，处理器44可能是一个CPU，或者ASIC，或者是被配置成执行上述操作的一个或多个集成电路。所述指令使得处理器44执行的上述操作可以参照上述交互方法实施例中的相应描述，此处不再赘述。
本实施例中，机械部件41有多种实现方式。
在一种可选的实现方式中，机械部件41为多节伸缩式结构；如图15所示，操作棒400还包括：一微型马达45，用于在处理器44的控制下控制机械部件41的物理特性。
在此实现方式中，所述多节伸缩式结构可选地由多节套杆组成，该多节套杆可依直径大小依次伸展或收缩，具体地，该多节套杆的伸展和收缩由所述微型马达控制。
在此实现方式中，所述物理特性通常为物理长度。
在又一种可选的实现方式中，机械部件41由形变可控的材料制成。
其中，所述形变可控的材料包括但不限于以下任一种：逆压电材料、电活性聚合物(Electroactive Polymer，简称EAP)材料、记忆金属材料。
在此实现方式中，处理器44控制机械部件41的物理特性是通过控制机械部件41的形状来实现的。进一步地，处理器44具体如何控制机械部件41的形状取决于制成机械部件41的材料。举例来说，若机械部件41由逆压电材料或EAP材料制成，则处理器44可选地通过控制施加于机械部件41的电场来控制机械部件41的形状；若机械部件41由记忆金属材料制成，则处理器44可选地通过控制机械部件41的温度来控制机械部件41的形状，进一步地，处理器44可以通过控制流经机械部件41的电流来控制机械部件41的温度。
在又一种可选的实现方式中，机械部件41由弹性系数可控的材料制成。
其中，所述弹性系数可控的材料包括但不限于以下任一种：EAP材料、金属材料。
在此实现方式中，处理器44可以通过控制机械部件41的弹性系数来控制机械部件41的物理特性，进一步地，在处理器44控制机械部件41的弹性系数的过程中，通常要考虑所述部分肢体对操作棒400的作用力。
本实施例中，可选地，如图16所示，操作棒400还包括：至少一个传感器46，用于检测操作棒400的状态。
具体地，不同类型的传感器46可以用来检测操作棒400不同类型的状态。
在一种可能的场景中，至少一个传感器46包括：设置在所述第一接触部分的一陀螺仪，所述陀螺仪用于检测所述第一接触部分的轴线方向。
在又一种可能的场景中，至少一个传感器46包括：设置在所述端的光电传感器，所述光电传感器用于检测所述端在所述操作面板上的移动。具体地，所述光电传感器的工作原理与光电鼠标类似，此处不再赘述。
本实施例中，由于操作棒400是用户进行输入的一个工具，操作棒400上通常还设置有至少一个按键，所述至少一个按键可以辅助所述用户进行与输入相关的设定。
本实施例中，操作棒400中各模块或单元之间的通信和控制可选地通过通信总线来实现。在一种可选的实现方式中，如图17所示，操作棒400还包括：通信总线47。
图18为本实施例的操作棒的一种可能的外形概略图。如图18所示，操作棒400整体呈笔状，在其中部偏上的位置有一凹陷处，便于用户握持，也就是说，所述第一接触部分通常位于所述凹陷处；在凹陷处和笔尖之间浅色的部分为物理特性可控的部分，即机械部件41所处的区域。在图18所示的外形基础上，可以按照如下的方式设置操作棒400的上述各模块或单元：在笔尖处设置光电传感器，在凹陷处设置一陀螺仪；在机械部件41和顶端之间至少设置通信接口42、存储器43、处理器44。
图19为本申请提供的一种操作棒实施例二的结构示意图。如图19所示，操作棒500包括：
机械部件51，至少部分位于操作棒500的一端与第一接触部分之间，所述端用于与一操作面板接触，所述第一接触部分用于与一用户的部分肢体接触，机械部件51的物理特性可控；
通信接口52，用于接收一控制指令；
控制器53，用于根据所述控制指令，控制机械部件51的物理特性。
本实施例中，机械部件51至少部分位于操作棒500的一端与第一接触部分之间是指，机械部件51全部位于操作棒500的一端与第一接触部分之间，或者，机械部件51的部分位于操作棒500的一端与第一接触部分之间。在机械部件51的部分位于操作棒500的一端与第一接触部分之间的场景中，机械部件51的其它部分可选地位于第一接触部分内，也就是说，操作棒500上与所述部分肢体接触的部分也可能发生物理特性的改变。
本实施例中，机械部件51的物理特性能够影响所述端与所述第一接触部分之间的直线距离。可选地，所述物理特性可选地包括但不限于以下至少一种：物理长度、物理弯曲度。
本实施例中，通信接口52可以从任意外部设备接收所述控制指令，比如，从本申请提供的一种交互设备实施例二所述的交互设备处接收所述控制指令；进一步地，通信接口52可以采用任意通信技术来接收所述控制指令，比如，通信接口52采用BT技术接收所述控制指令。
本实施例中，机械部件51有多种实现方式。
在一种可选的实现方式中，机械部件51为多节伸缩式结构，控制器53为微型马达。
在此实现方式中，所述多节伸缩式结构可选地由多节套杆组成，该多节套杆可依直径大小依次伸展或收缩，具体地，该多节套杆的伸展和收缩由所述微型马达控制。
在此实现方式中，所述物理特性通常为物理长度。
在又一种可选的实现方式中，机械部件51由形变可控的材料制成。
其中，所述形变可控的材料包括但不限于以下任一种：逆压电材料、EAP材料、记忆金属材料。
在此实现方式中，控制器53通过控制机械部件51的形状来控制机械部件51的物理特性。进一步地，控制器53具体如何控制机械部件51的形状取决于制成机械部件51的材料。举例来说，若机械部件51由逆压电材料或EAP材料制成，则控制器53可选地通过控制施加于机械部件51的电场来控制机械部件51的形状；若机械部件51由记忆金属材料制成，则控制器53可选地通过控制机械部件51的温度来控制机械部件51的形状，进一步地，控制器53可以通过控制流经机械部件51的电流来控制机械部件51的温度。
在又一种可选的实现方式中，机械部件51由弹性系数可控的材料制成。
其中，所述弹性系数可控的材料包括但不限于以下任一种：EAP材料、金属材料。
在此实现方式中，控制器53可以通过控制机械部件51的弹性系数来控制机械部件51的物理特性，进一步地，在控制器53控制机械部件51的弹性系数的过程中，通常要考虑所述部分肢体对操作棒500的作用力。
本实施例中，操作棒500的一种可能的外形如图18所示，此处不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种交互方法，其特征在于，所述方法包括：
确定一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制一操作棒与一操作面板的接触来选定；
至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触。
2.根据权利要求1所述的方法，其特征在于，所述高度为所述输入位置在真实空间中映射的操作位置在第一轴线方向上相对于所述操作面板的相对高度，所述第一轴线方向为所述操作棒上所述第一接触部分的轴线方向。
3.根据权利要求2所述的方法，其特征在于，所述至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，包括：
至少根据所述高度，确定所述部分肢体与所述操作面板在所述第一轴线方向上的目标距离；
至少根据所述目标距离，控制所述第一部分的物理特性。
4.根据权利要求1～3中任一所述的方法，其特征在于，所述物理特性包括以下至少一种：物理长度、物理弯曲度。
5.根据权利要求4所述的方法，其特征在于，所述至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，包括：
响应于所述高度变大，控制所述第一部分的物理长度变大和/或控制所述第一部分的物理弯曲度变小；
响应于所述高度变小，控制所述第一部分的物理长度变小和/或控制所述第一部分的物理弯曲度变大。
6.根据权利要求1～5中任一所述的方法，其特征在于，所述方法还包括：
控制与所述操作棒对应的第一显示对象中第二位置和第二接触部分之间的第二部分的显示外观不变，所述第一显示对象在所述第二位置与所述三维显示内容接触、在所述第二接触部分与所述部分肢体对应的第二显示对象接触。
7.一种交互设备，其特征在于，所述设备包括：
第一确定模块，用于确定一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制一操作棒与一操作面板的接触来选定；
第一控制模块，用于至少根据所述高度，控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触。
8.一种交互设备，其特征在于，所述设备包括：
通信接口，用于与至少一个混合现实MR显示设备、一操作棒通信；
存储器，用于存储指令；
处理器，用于执行所述存储器存储的指令，所述指令使得所述处理器执行以下操作：
确定所述至少一个MR显示设备显示的一三维显示内容中的一输入位置的高度，所述输入位置由一用户通过部分肢体控制所述操作棒与一操作面板的接触来选定；
至少根据所述高度，向所述操作棒发送一控制指令，所述控制指令用于控制所述操作棒中第一位置和第一接触部分之间的第一部分的物理特性，所述操作棒在所述第一位置与所述操作面板接触、且在所述第一接触部分与所述部分肢体接触。
9.一种操作棒，其特征在于，所述操作棒包括：
机械部件，至少部分位于所述操作棒的一端与第一接触部分之间，所述端用于与一操作面板接触，所述第一接触部分用于与一用户的部分肢体接触，所述机械部件的物理特性可控；
通信接口，用于与至少一个混合现实MR显示设备通信；
存储器，用于存储指令；
处理器，用于执行所述存储器存储的指令，所述指令使得所述处理器执行以下操作：
确定所述至少一个MR显示设备显示的一三维显示内容中的一输入位置的高度，所述输入位置由所述用户通过所述部分肢体控制所述端与所述操作面板的接触来选定；
至少根据所述高度，控制所述机械部件的物理特性。
10.一种操作棒，其特征在于，所述操作棒包括：
机械部件，至少部分位于所述操作棒的一端与第一接触部分之间，所述端用于与一操作面板接触，所述第一接触部分用于与一用户的部分肢体接触，所述机械部件的物理特性可控；
通信接口，用于接收一控制指令；
控制器，用于根据所述控制指令，控制所述机械部件的物理特性。
CN201610012489.3A 2016-01-08 2016-01-08 交互方法、交互设备及操作棒 Active CN106371736B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610012489.3A CN106371736B (zh) 2016-01-08 2016-01-08 交互方法、交互设备及操作棒
US15/398,312 US10275051B2 (en) 2016-01-08 2017-01-04 Interaction method, interaction device, and operation stick

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610012489.3A CN106371736B (zh) 2016-01-08 2016-01-08 交互方法、交互设备及操作棒

Publications (2)

Publication Number Publication Date
CN106371736A true CN106371736A (zh) 2017-02-01
CN106371736B CN106371736B (zh) 2019-11-08

Family

ID=57880815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610012489.3A Active CN106371736B (zh) 2016-01-08 2016-01-08 交互方法、交互设备及操作棒

Country Status (2)

Country Link
US (1) US10275051B2 (zh)
CN (1) CN106371736B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897446A (zh) * 2020-07-31 2020-11-06 维沃移动通信有限公司 手写笔、电子设备和输入设备套装

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11334174B2 (en) 2019-07-18 2022-05-17 Eyal Shlomot Universal pointing and interacting device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508563A (zh) * 2011-11-03 2012-06-20 深圳超多维光电子有限公司 一种立体交互方法以及被操作设备
CN102508562A (zh) * 2011-11-03 2012-06-20 深圳超多维光电子有限公司 一种立体交互系统
US20120206419A1 (en) * 2011-02-11 2012-08-16 Massachusetts Institute Of Technology Collapsible input device
CN102822784A (zh) * 2010-03-31 2012-12-12 诺基亚公司 用于虚拟触笔的装置、方法和计算机程序
CN103744518A (zh) * 2014-01-28 2014-04-23 深圳超多维光电子有限公司 立体交互方法及其显示装置和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170100664A1 (en) * 2015-10-12 2017-04-13 Osterhout Group, Inc. External user interface for head worn computing
US9703400B2 (en) * 2015-10-09 2017-07-11 Zspace, Inc. Virtual plane in a stylus based stereoscopic display system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102822784A (zh) * 2010-03-31 2012-12-12 诺基亚公司 用于虚拟触笔的装置、方法和计算机程序
US20120206419A1 (en) * 2011-02-11 2012-08-16 Massachusetts Institute Of Technology Collapsible input device
CN102508563A (zh) * 2011-11-03 2012-06-20 深圳超多维光电子有限公司 一种立体交互方法以及被操作设备
CN102508562A (zh) * 2011-11-03 2012-06-20 深圳超多维光电子有限公司 一种立体交互系统
CN103744518A (zh) * 2014-01-28 2014-04-23 深圳超多维光电子有限公司 立体交互方法及其显示装置和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897446A (zh) * 2020-07-31 2020-11-06 维沃移动通信有限公司 手写笔、电子设备和输入设备套装
CN111897446B (zh) * 2020-07-31 2022-05-31 维沃移动通信有限公司 手写笔、电子设备和输入设备套装

Also Published As

Publication number Publication date
CN106371736B (zh) 2019-11-08
US20170199589A1 (en) 2017-07-13
US10275051B2 (en) 2019-04-30

Similar Documents

Publication Publication Date Title
US11010016B2 (en) Automatic orientation for mixed reality information delivery system
US10303323B2 (en) System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
CN110753898B (zh) 沉浸式环境内与虚拟对象的基于悬停的用户交互
JP4679661B1 (ja) 情報提示装置、情報提示方法及びプログラム
JP6288372B2 (ja) インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
CN107250891A (zh) 头戴式显示器与真实世界对象之间的相互通信
KR100953931B1 (ko) 혼합현실 구현 시스템 및 그 방법
CN110603509A (zh) 计算机介导的现实环境中直接和间接交互的联合
EP1804154A2 (en) Computer input device enabling three degrees of freedom and related input and feedback methods
US20050174361A1 (en) Image processing method and apparatus
JP5656514B2 (ja) 情報処理装置及び方法
KR20220018559A (ko) 자가-햅틱 가상 키보드를 갖는 인공 현실 시스템
JP2014221636A (ja) 車両インターフェース用ジェスチャ基準制御システム
US9703400B2 (en) Virtual plane in a stylus based stereoscopic display system
KR20220016984A (ko) 디지트-매핑된 자가-햅틱 입력 방법을 갖는 인공 현실 시스템
CN106371736A (zh) 交互方法、交互设备及操作棒
US20210149500A1 (en) Sensing movement of a hand-held controller
GB2434227A (en) Mouse that can sense rotation and lateral movements with the mouse processing the rotation data using location data send back by the computer
JP4769942B2 (ja) ３ｄデザイン支援システム及び３ｄデザイン支援方法
US20040243538A1 (en) Interaction with a three-dimensional computer model
WO2023207226A1 (zh) 操作界面的生成方法、控制方法和装置
US20230300310A1 (en) Wearable device and control method thereof
JP2023531302A (ja) 動的な形状スケッチングのためのシステム及び方法
CN116778115A (zh) 可穿戴装置及其控制方法
JP2023531303A (ja) 誇張されたコンテンツを用いた動的なスケッチのためのシステム及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant