CN115617166A - 交互控制方法、装置及电子设备 - Google Patents

交互控制方法、装置及电子设备 Download PDF

Info

Publication number
CN115617166A
CN115617166A CN202211213281.XA CN202211213281A CN115617166A CN 115617166 A CN115617166 A CN 115617166A CN 202211213281 A CN202211213281 A CN 202211213281A CN 115617166 A CN115617166 A CN 115617166A
Authority
CN
China
Prior art keywords
ith
application
terminal equipment
canvas area
virtual screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211213281.XA
Other languages
English (en)
Inventor
李昱锋
史高建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202211213281.XA priority Critical patent/CN115617166A/zh
Publication of CN115617166A publication Critical patent/CN115617166A/zh
Priority to PCT/CN2023/111789 priority patent/WO2024066754A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开实施例公开了一种交互控制方法、装置及电子设备，该方法包括：获取终端设备本地的应用的应用属性信息；在智能眼镜头戴显示设备的显示区域显示本地的应用的图标和名称；基于检测到的终端设备发送的射线事件，从所显示的本地的应用的图标和名称中确定出第i个应用的图标和名称，以启动第i个应用；在显示区域建立与第i个应用对应的第i个画布区，并记录第i个画布区和第i个应用的应用属性信息之间的映射关系；将映射关系发送至终端设备，以使终端设备根据映射关系启动第i个虚拟屏运行第i个应用，并获取第i个虚拟屏的显示数据发送至第i个画布区进行显示。

Description

交互控制方法、装置及电子设备
技术领域
本公开实施例涉及穿戴设备技术领域，更具体地，本公开实施例涉及一种交互控制方法、一种交互控制装置、及一种电子设备。
背景技术
随着增强现实(Augmented Reality，AR)技术的不断发展，各大厂商推出了越来越多的AR产品和AR应用，无线串流技术是AR产品例如AR眼镜中的一种常用技术，用户使用无线串联技术将手机屏幕中的内容传输到AR眼镜中。手机中的惯性测量单元(InertialMeasurement Unit，IMU)作为手柄控制AR眼镜是一种交互方式，手机将IMU的姿态信息传递到AR眼镜端控制射线进行交互。
然而，在这种场景下，手机IMU作为手柄控制时，控制器应用必须运行在前台，导致此时手机的物理屏幕被占用，无法将其他应用串流到AR眼镜。若打开其他应用进行串流，则会因为控制器应用进入后台而导致控制模块无法正常使用。其次，由于AR眼镜无限空间的特性，手机中的应用完全可以在AR眼镜中传输多个应用的信息，使得在同一时间开启多个应用，例如在前台在观影、办公等。但是现有的技术难以实现这样的使用场景。
发明内容
本公开实施例的目的在于提供一种交互控制方法、装置及电子设备。
根据本公开的第一方面，提供了一种交互控制方法，所述方法包括：
获取终端设备本地的应用的应用属性信息；其中，所述应用属性信息至少包括所述应用的图标和名称；
在所述头戴显示设备的显示区域显示所述本地的应用的图标和名称；
基于检测到的所述终端设备发送的射线事件，从所显示的所述本地的应用的图标和名称中确定出第i个应用的图标和名称，以启动所述第i个应用；其中，i的取值为1至N的每个整数，N为大于0且小于或等于M的整数，M为所述本地的应用的数量；
在所述显示区域建立与所述第i个应用对应的第i个画布区，并记录所述第i个画布区和所述第i个应用的应用属性信息之间的映射关系；
将所述映射关系发送至所述终端设备，以使所述终端设备根据所述映射关系启动第i个虚拟屏运行所述第i个应用，并获取所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示。
根据本公开的第二方面，提供了一种交互控制方法，所述方法包括：
接收头戴显示设备发送的映射关系；其中，所述映射关系反映所述头戴显示设备的第i个画布区和第i个应用的应用属性信息之间的关系；
根据所述映射关系，启动第i个虚拟屏运行所述第i个应用；
获取所述第i个虚拟屏的显示数据；
将所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示；
其中，i的取值为1至N的每个整数，N为大于0且小于或等于M的整数，M为所述终端设备的本地的应用的数量。
根据本公开的第三方面，提供了一种交互控制装置，所述装置包括：
获取模块，用于获取终端设备本地的应用的应用属性信息；其中，所述应用属性信息至少包括所述应用的图标和名称；
显示模块，用于在所述头戴显示设备的显示区域显示所述本地的应用的图标和名称；
确定模块，用于基于检测到的所述终端设备发送的射线事件，从所显示的所述本地的应用的图标和名称中确定出第i个应用的图标和名称，以启动所述第i个应用；其中，i的取值为1至N的每个整数，N为大于0且小于或等于M的整数，M为所述本地的应用的数量；
建立模块，用于在所述显示区域建立与所述第i个应用对应的第i个画布区，并记录所述第i个画布区和所述第i个应用的应用属性信息之间的映射关系；
发送模块，用于将所述映射关系发送至所述终端设备，以使所述终端设备根据所述映射关系启动第i个虚拟屏运行所述第i个应用，并获取所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示。
根据本公开的第四方面，提供了一种交互控制装置，所述装置包括：
接收模块，用于接收头戴显示设备发送的映射关系；其中，所述映射关系反映所述头戴显示设备的第i个画布区和第i个应用的应用属性信息之间的关系；
获取模块，用于获取所述第i个虚拟屏的显示数据；
发送模块，用于将所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示；
其中，i的取值为1至N的每个整数，N为大于0且小于或等于M的整数，M为所述终端设备的本地的应用的数量。
根据本公开的第五方面，所述电子设备包括：存储器，用于存储可执行的计算机指令；处理器，用于根据所述可执行的计算机指令的控制，执行根据以上第一方面或第二方面所述的交互控制方法。
本公开实施例的一个有益效果在于，其能够获取终端设备本地的应用的应用属性信息，应用属性信息至少包括应用的图标和名称，使得在头戴显示设备的显示区域能够显示本地的应用的图标和名称，并基于检测到的终端设备发送的射线事件，从所显示的本地的应用的图标和名称中确定出第i个应用的图标和名称，以启动第i个应用，同时在显示区域建立与第i个应用对应的第i个画布区，并记录第i个画布区和第i个应用的应用属性信息之间的映射关系发送至终端设备，以使终端设备根据映射关系启动第i个虚拟屏运行第i个应用，并获取第i个虚拟屏的显示数据发送至第i个画布区进行显示。即，串流内容不必占用终端设备的物理屏幕，且可以实现在串流中实现应用多开。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例，并且连同其说明一起用于解释本说明书的原理。
图1是根据本公开实施例的交互系统的硬件配置示意图；
图2是根据本公开实施例的交互控制方法的流程示意图；
图3是根据本公开另一实施例的交互控制方法的流程示意图；
图4是根据本公开实施例的交互控制装置的原理框图；
图5是根据本公开另一实施例的交互控制装置的原理框图；
图6是根据本公开实施例的电子设备的原理框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开实施例的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
图1是根据本公开实施例的交互系统的硬件配置的框图。如图1所示，该交互系统100包括头戴显示设备1000和终端设备2000，头戴显示设备1000和终端设备2000通过网络3000通信连接。
如图1所示，该头戴显示设备1000可以是智能眼镜，该智能眼镜可以是AR眼镜，当然还可以是其他设备，本公开实施例对此不作限定。
在一个实施例中，如图1所示，头戴显示设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。
其中，处理器1100可以包括但不限于中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括各种总线接口，例如串行总线接口(包括USB接口)、并行总线接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、LED显示屏、OLED(Organic Light-Emitting Diode)显示屏等。输入装置1600例如包括触摸屏、键盘、手柄等。头戴显示设备1000可以通过扬声器1700输出音频信息，可以通过麦克风1800采集音频信息。
本领域技术人员应当理解，尽管在图1中示出了头戴显示设备1000的多个装置，但是，本说明书实施例的头戴显示设备1000可以仅涉及其中的部分装置，也可以还包含其他装置，在此不做限定。
本实施例中，头戴显示设备1000的存储器1200用于存储指令，该指令用于控制处理器1100进行操作以实施或者支持实施根据任意实施例的交互控制方法。技术人员可以根据本说明书所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
如图1所示，终端设备2000可以是手机、便携式电脑等。
在一个实施例中，如图1所示，终端设备2000可以包括处理器2100、存储器2200、接口装置2300、通信装置2400、显示装置2500、输入装置2600、扬声器2700、麦克风2800等等。
其中，处理器2100可以包括但不限于中央处理器CPU、微处理器MCU等。存储器2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如包括各种总线接口，例如串行总线接口(包括USB接口)、并行总线接口等。通信装置2400例如能够进行有线或无线通信。显示装置2500例如是液晶显示屏、LED显示屏、OLED(Organic Light-Emitting Diode)显示屏等。输入装置2600例如包括触摸屏、键盘、手柄等。终端设备2000可以通过扬声器2700输出音频信息，可以通过麦克风2800采集音频信息。
本领域技术人员应当理解，尽管在图1中示出了终端设备2000的多个装置，但是，本说明书实施例的终端设备2000可以仅涉及其中的部分装置，也可以还包含其他装置，在此不做限定。
本实施例中，终端设备2000的存储器2200用于存储指令，该指令用于控制处理器2100进行操作以实施或者支持实施根据任意实施例的交互控制方法。技术人员可以根据本说明书所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
应当理解的是，尽管图1仅示出一个头戴显示设备1000、一个终端设备2000，但不意味着限制各自的数量，交互系统100中可以包含多个头戴显示设备1000和多个终端设备2000。
<方法实施例一>
图2示出了本公开的一个实施例的交互控制方法，该交互控制方法可以由头戴显示设备实施，也可以是由独立于头戴显示设备的控制设备和头戴显示设备共同实施，还可以是由云端服务器和头戴显示设备共同实施。
如图2所示，该实施例的交互控制方法可以包括如下步骤S2100～步骤S2500：
步骤S2100，获取终端设备本地的应用的应用属性信息。
所述应用属性信息至少包括所述应用的图标和名称。
可选地，本步骤S2100获取终端设备本地的应用的应用属性信息可以进一步包括：基于与所述终端设备建立的无线串流连接，获取所述终端设备本地的应用程序的应用属性信息。
在一个具体地实施例中，以头戴显示设备为智能眼镜例如AR眼镜，终端设备为手机为例，手机和AR眼镜建立无线串流连接，此时手机的物理屏幕显示的内容为手机作为手柄的控制界面，手机的物理屏幕中的内容不需要传输到AR眼镜中。在手机与AR眼镜建立无线串流连接的同时，手机抓取本地的应用的应用属性信息，并将本地的应用的应用属性信息传输至AR眼镜。
随后，进入步骤S2200，在所述头戴显示设备的显示区域显示所述本地的应用的图标和名称。
在一个具体地实施例中，AR眼镜接收手机发送的本地的应用的应用属性信息例如应用的图标和名称，并将应用的图标和名称显示在AR眼镜的显示区域即AR眼镜的Launcher上。
随后，进入步骤S2300，基于检测到的所述终端设备发送的射线事件，从所显示的所述本地的应用的图标和名称中确定出第i个应用的图标和名称，以启动所述第i个应用。
i的取值为1至N的每个整数，N为大于0且小于或等于M的整数，M为所述本地的应用的数量。
可选地，在执行本步骤S2300之前，需要执行确定检测到终端设备发送的射线事件的步骤，具体包括：获取终端设备的姿态信息；根据姿态信息，控制虚拟射线进行旋转；在虚拟射线与显示区域的交点指向第i个应用的图标或者名称的情况下，确定检测到终端设备发送的射线事件。
其中，终端设备的姿态信息可以通过终端设备的IMU数据计算得到。
随后，进入步骤S2400，在所述显示区域建立与所述第i个应用对应的第i个画布区，并记录所述第i个画布区和所述第i个应用的应用属性信息之间的映射关系。
在一个具体地实施例中，AR眼镜基于射线事件确定出应用打开，建立与该应用对应的画布区texture，并对该画布区进行编号，与此同时，基于该画布区的编号和应用的名称建立映射关系，并将该映射关系传输至手机。
随后，进入步骤S2500，将所述映射关系发送至所述终端设备，以使所述终端设备根据所述映射关系启动第i个虚拟屏运行所述第i个应用，并获取所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示。
在一个具体地实施例中，手机根据映射关系即该画布区的编号和应用的名称，在手机端启动对应的虚拟屏运行该应用。与此同时，手机将该应用的显示数据发送至对应的画布区进行显示。在此，可以基于以上步骤S2200～步骤2500，可以实现应用多开的显示。
根据本公开实施例，其能够获取终端设备本地的应用的应用属性信息，应用属性信息至少包括应用的图标和名称，使得在头戴显示设备的显示区域显示本地的应用的图标和名称，并基于检测到的终端设备发送的射线事件，从所显示的本地的应用的图标和名称中确定出第i个应用的图标和名称，以启动第i个应用，同时在显示区域建立与第i个应用对应的第i个画布区，并记录第i个画布区和第i个应用的应用属性信息之间的映射关系发送至终端设备，以使终端设备根据映射关系启动第i个虚拟屏运行第i个应用，并获取第i个虚拟屏的显示数据发送至第i个画布区进行显示。即，串流内容不必占用终端设备的物理屏幕，且可以实现在串流中实现应用多开。
在一个实施例中，在将映射关系发送至终端设备之后，本公开实施例的交互控制方法还包括如下步骤S3100～步骤S3200:
步骤S3100，接收所述终端设备发送的用户对所述终端设备的显示界面的触控输入。
触控输入可以是针对终端设备的显示界面的点击输入。本实施例对此不做限定。
步骤S3200，响应于所述触控输入，向所述终端设备发送第一位置的位置信息，以使所述终端设备根据所述第一位置的位置信息，确定目标虚拟屏中与所述第一位置对应的第二位置的位置信息，并根据所述第二位置的位置信息，执行针对所述第二位置所触发的交互事件。
所述第一位置为虚拟射线与目标画布区的交点在目标画布区的相对位置，目标虚拟屏与目标画布区对应。可选地，AR眼镜可以是先获取虚拟射线与目标画布区的交点的第二位置的位置信息、及目标画布区的第三位置的位置信息，进而根据第二位置的位置信息和第三位置的位置信息，得到第一位置的位置信息。
可以理解的是，目标画布区的第三位置的位置信息可以是目标画布区在世界坐标系中的位置信息。
根据本公开实施例，手机开启应用后，通过头戴显示设备可以实现对手机中的虚拟屏的交互。
<方法实施例二>
图3示出了本公开的一个实施例的交互控制方法，该交互控制方法可以由终端设备实施，也可以是由独立于终端设备的控制设备和终端设备共同实施，还可以是由云端服务器和终端设备共同实施。
如图3所示，该实施例的交互控制方法可以包括如下步骤S3100～步骤S3400：
步骤S3100，接收头戴显示设备发送的映射关系；其中，所述映射关系反映所述头戴显示设备的第i个画布区和第i个应用的应用属性信息之间的关系。
步骤S3200，根据所述映射关系，启动第i个虚拟屏运行所述第i个应用。
步骤S3300，获取所述第i个虚拟屏的显示数据。
步骤S3400，将所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示。
i的取值为1至N的每个整数，N为大于0且小于或等于M的整数，M为所述终端设备的本地的应用的数量。
根据本公开实施例，其可以接收头戴显示设备发送的映射数据，该映射关系反映头戴显示设备的第i个画布区和第i个应用的应用属性信息之间的关系，并根据映射关系启动第i个虚拟屏运行第i个应用，以及获取第i个虚拟屏的显示数据，以将第i个虚拟屏的显示数据发送至第i个画布区进行显示。即，串流内容不必占用终端设备的物理屏幕，且可以实现在串流中实现应用多开。
在一个实施例中，在将所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示之后，本公开实施例的交互控制方法还包括如下步骤S4100～步骤S4400：
步骤S4100，接收用户对所述终端设备的显示界面的触控输入。
步骤S4200，将所述触控输入发送至所述头戴显示设备，并接收所述头戴显示设备响应于所述触控输入返回的第一位置的位置信息；其中，所述第一位置为虚拟射线与目标画布区的交点在所述目标画布区的相对位置。
步骤S4300，根据所述第一位置的位置信息，确定目标虚拟屏中与所述第一位置对应的第二位置的位置信息；其中，所述目标虚拟屏与所述目标画布区对应。
步骤S4400，根据所述第二位置的位置信息，执行针对所述第二位置所触发的交互事件。
根据本公开实施例，手机开启应用后，通过头戴显示设备可以实现对手机中的虚拟屏的交互。
<例子>
接下来以头戴显示设备为AR眼镜、终端设备为手机为例，示出一个例子的交互控制方法，该交互控制方法可以包括如下步骤：
步骤S601，手机和AR眼镜建立无线串流连接，此时手机物理屏幕显示的内容为手机作为手柄的控制界面，手机物理屏幕中的内容无需传输到AR眼镜中。
步骤S602，手机抓取本地的应用的应用属性信息，并将应用属性信息发送至AR眼镜。
步骤S603，AR眼镜接收手机本地的应用的应用属性信息，并在AR眼镜的显示区域显示手机本地的应用的图标和名称。
步骤S604，AR眼镜基于检测到的终端设备发送的射线事件，从所显示的本地的应用的图标和名称中确定出所需打开的应用的图标和名称，以启动该应用。并在显示区域建立与该应用对应的画布区，以及记录画布区的编号和该应用的名称之间的映射关系发送至手机。
步骤S605，手机接收画布区的编号和该应用的名称之间的映射关系，并启动对应的虚拟屏运行该应用。与此同时，手机将该虚拟屏的显示数据发送至对应的画布区进行显示。若打开其他应用，则可以重复执行以上步骤S604和本步骤S605。
步骤S606，用户通过手机的IMU信息控制射线操作应用，AR眼镜根据接收到的射线与画布区的交点的坐标值、及画布区在世界坐标系中的坐标值，计算出该交点在画布区中的相对位置，将该相对位置实时传递给手机。
步骤S607，手机接收AR眼镜传递过来的相对位置和控制器中的点击事件，根据相对位置计算出虚拟屏中对应的映射位置，并触发touch事件，完成对虚拟屏的交互。
<装置实施例一>
图4是根据一个实施例的交互控制装置的原理示意图，参照图4所示，所述装置400包括获取模块410、显示模块420、确定模块430、建立模块440和发送模块450。
获取模块410，用于获取终端设备本地的应用的应用属性信息；其中，所述应用属性信息至少包括所述应用的图标和名称；
显示模块420，用于在所述头戴显示设备的显示区域显示所述本地的应用的图标和名称；
确定模块430，用于基于检测到的所述终端设备发送的射线事件，从所显示的所述本地的应用的图标和名称中确定出第i个应用的图标和名称，以启动所述第i个应用；其中，i的取值为1至N的每个整数，N为大于0且小于或等于M的整数，M为所述本地的应用的数量；
建立模块440，用于在所述显示区域建立与所述第i个应用对应的第i个画布区，并记录所述第i个画布区和所述第i个应用的应用属性信息之间的映射关系；
发送模块450，用于将所述映射关系发送至所述终端设备，以使所述终端设备根据所述映射关系启动第i个虚拟屏运行所述第i个应用，并获取所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示。
在一个实施例中，装置400还包括控制模块(图中均未示出)。
获取模块410，用于获取所述终端设备的姿态信息；
控制模块，用于根据所述姿态信息，控制虚拟射线进行旋转；
确定模块430，用于在所述虚拟射线与所述显示区域的交点指向所述第i个应用的图标或者名称的情况下，确定检测到所述终端设备发送的射线事件。
在一个实施例中，装置400还包括接收模块(图中未示出)。
接收模块，用于接收所述终端设备发送的用户对所述终端设备的显示界面的触控输入；
发送模块450，用于响应于所述触控输入，向所述终端设备发送第一位置的位置信息，以使所述终端设备根据所述第一位置的位置信息，确定目标虚拟屏中与所述第一位置对应的第二位置的位置信息，并根据所述第二位置的位置信息，执行针对所述第二位置所触发的交互事件；
其中，所述第一位置为虚拟射线与目标画布区的交点在所述目标画布区的相对位置，所述目标虚拟屏与所述目标画布区对应。
在一个实施例中，获取模块410，还用于获取所述虚拟射线与所述目标画布区的交点的第二位置的位置信息；获取所述目标画布区的第三位置的位置信息；根据所述第二位置的位置信息和所述第三位置的位置信息，得到所述第一位置的位置信息。
根据本公开实施例，其能够获取终端设备本地的应用的应用属性信息，应用属性信息至少包括应用的图标和名称，使得在头戴显示设备的显示区域显示本地的应用的图标和名称，并基于检测到的终端设备发送的射线事件，从所显示的本地的应用的图标和名称中确定出第i个应用的图标和名称，以启动第i个应用，同时在显示区域建立与第i个应用对应的第i个画布区，并记录第i个画布区和第i个应用的应用属性信息之间的映射关系发送至终端设备，以使终端设备根据映射关系启动第i个虚拟屏运行第i个应用，并获取第i个虚拟屏的显示数据发送至第i个画布区进行显示。即，串流内容不必占用终端设备的物理屏幕，且可以实现在串流中实现应用多开。
<装置实施例二>
图5是根据一个实施例的交互控制装置的原理示意图，参照图5所示，所述装置500包括接收模块510、获取模块520和发送模块530。
接收模块510，用于接收头戴显示设备发送的映射关系；其中，所述映射关系反映所述头戴显示设备的第i个画布区和第i个应用的应用属性信息之间的关系；
获取模块520，用于获取所述第i个虚拟屏的显示数据；
发送模块530，用于将所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示；
其中，i的取值为1至N的每个整数，N为大于0且小于或等于M的整数，M为所述终端设备的本地的应用的数量。
在一个实施例中，装置还包括确定模块和执行模块(图中未示出)。
接收模块510，用于接收用户对所述终端设备的显示界面的触控输入；
发送模块530，用于将所述触控输入发送至所述头戴显示设备；
接收模块510，用于接收所述头戴显示设备响应于所述触控输入返回的第一位置的位置信息；其中，所述第一位置为虚拟射线与目标画布区的交点在所述目标画布区的相对位置；
确定模块，用于根据所述第一位置的位置信息，确定目标虚拟屏中与所述第一位置对应的第二位置的位置信息；其中，所述目标虚拟屏与所述目标画布区对应；
执行模块，用于根据所述第二位置的位置信息，执行针对所述第二位置所触发的交互事件。
根据本公开实施例，其可以接收头戴显示设备发送的映射数据，该映射关系反映头戴显示设备的第i个画布区和第i个应用的应用属性信息之间的关系，并根据映射关系启动第i个虚拟屏运行第i个应用，以及获取第i个虚拟屏的显示数据，以将第i个虚拟屏的显示数据发送至第i个画布区进行显示。即，串流内容不必占用终端设备的物理屏幕，且可以实现在串流中实现应用多开。
<设备实施例>
图6是根据一个实施例的电子设备的硬件结构示意图。如图6所示，该电子设备600包括处理器610和存储器620。
该存储器620可以用于存储可执行的计算机指令。
该处理器610可以用于根据所述可执行的计算机指令的控制，执行根据本公开方法实施例所述的交互控制方法。
该电子设备600可以是如图1所示的头戴显示设备1000，也可以图1所示的终端设备2000，在此不做限定。
在另外的实施例中，该电子设备600可以包括以上交互控制装置400和交互控制装置500。
在一个实施例中，以上交互控制装置400和交互控制装置500的各模块可以通过处理器610运行存储器620中存储的计算机指令实现。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种交互控制方法，其特征在于，所述方法包括：
获取终端设备本地的应用的应用属性信息；其中，所述应用属性信息至少包括所述应用的图标和名称；
在头戴显示设备的显示区域显示所述本地的应用的图标和名称；
基于检测到的所述终端设备发送的射线事件，从所显示的所述本地的应用的图标和名称中确定出第i个应用的图标和名称，以启动所述第i个应用；其中，i的取值为1至N的每个整数，N为大于0且小于或等于M的整数，M为所述本地的应用的数量；
在所述显示区域建立与所述第i个应用对应的第i个画布区，并记录所述第i个画布区和所述第i个应用的应用属性信息之间的映射关系；
将所述映射关系发送至所述终端设备，以使所述终端设备根据所述映射关系启动第i个虚拟屏运行所述第i个应用，并获取所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述终端设备的姿态信息；
根据所述姿态信息，控制虚拟射线进行旋转；
在所述虚拟射线与所述显示区域的交点指向所述第i个应用的图标或者名称的情况下，确定检测到所述终端设备发送的射线事件。
3.根据权利要求1所述的方法，其特征在于，在将所述映射关系发送至所述终端设备之后，还包括：
接收所述终端设备发送的用户对所述终端设备的显示界面的触控输入；
响应于所述触控输入，向所述终端设备发送第一位置的位置信息，以使所述终端设备根据所述第一位置的位置信息，确定目标虚拟屏中与所述第一位置对应的第二位置的位置信息，并根据所述第二位置的位置信息，执行针对所述第二位置所触发的交互事件；
其中，所述第一位置为虚拟射线与目标画布区的交点在所述目标画布区的相对位置，所述目标虚拟屏与所述目标画布区对应。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括获取所述第一位置的位置信息的步骤，
所述获取所述第一位置的位置信息，包括：
获取所述虚拟射线与所述目标画布区的交点的第二位置的位置信息；
获取所述目标画布区的第三位置的位置信息；
根据所述第二位置的位置信息和所述第三位置的位置信息，得到所述第一位置的位置信息。
5.根据权利要求1所述的方法，其特征在于，所述获取终端设备本地的应用程序的应用属性，包括：
基于与所述终端设备建立的无线串流连接，获取所述终端设备本地的应用程序的应用属性信息。
6.一种交互控制方法，其特征在于，所述方法包括：
接收头戴显示设备发送的映射关系；其中，所述映射关系反映所述头戴显示设备的第i个画布区和第i个应用的应用属性信息之间的关系；
根据所述映射关系，启动第i个虚拟屏运行所述第i个应用；
获取所述第i个虚拟屏的显示数据；
将所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示；
其中，i的取值为1至N的每个整数，N为大于0且小于或等于M的整数，M为终端设备的本地的应用的数量。
7.根据权利要求6所述的方法，其特征在于，在所述将所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示之后，还包括：
接收用户对所述终端设备的显示界面的触控输入；
将所述触控输入发送至所述头戴显示设备，并接收所述头戴显示设备响应于所述触控输入返回的第一位置的位置信息；其中，所述第一位置为虚拟射线与目标画布区的交点在所述目标画布区的相对位置；
根据所述第一位置的位置信息，确定目标虚拟屏中与所述第一位置对应的第二位置的位置信息；其中，所述目标虚拟屏与所述目标画布区对应；
根据所述第二位置的位置信息，执行针对所述第二位置所触发的交互事件。
8.一种交互控制装置，其特征在于，所述装置包括：
获取模块，用于获取终端设备本地的应用的应用属性信息；其中，所述应用属性信息至少包括所述应用的图标和名称；
显示模块，用于在头戴显示设备的显示区域显示所述本地的应用的图标和名称；
确定模块，用于基于检测到的所述终端设备发送的射线事件，从所显示的所述本地的应用的图标和名称中确定出第i个应用的图标和名称，以启动所述第i个应用；其中，i的取值为1至N的每个整数，N为大于0且小于或等于M的整数，M为所述本地的应用的数量；
建立模块，用于在所述显示区域建立与所述第i个应用对应的第i个画布区，并记录所述第i个画布区和所述第i个应用的应用属性信息之间的映射关系；
发送模块，用于将所述映射关系发送至所述终端设备，以使所述终端设备根据所述映射关系启动第i个虚拟屏运行所述第i个应用，并获取所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示。
9.一种交互控制装置，其特征在于，所述装置包括：
接收模块，用于接收头戴显示设备发送的映射关系；其中，所述映射关系反映所述头戴显示设备的第i个画布区和第i个应用的应用属性信息之间的关系；
获取模块，用于获取所述第i个虚拟屏的显示数据；
发送模块，用于将所述第i个虚拟屏的显示数据发送至所述第i个画布区进行显示；
其中，i的取值为1至N的每个整数，N为大于0且小于或等于M的整数，M为终端设备的本地的应用的数量。
10.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行的计算机指令；
处理器，用于根据所述可执行的计算机指令的控制，执行根据权利要求1-7中任意一项所述的交互控制方法。
CN202211213281.XA 2022-09-29 2022-09-29 交互控制方法、装置及电子设备 Pending CN115617166A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211213281.XA CN115617166A (zh) 2022-09-29 2022-09-29 交互控制方法、装置及电子设备
PCT/CN2023/111789 WO2024066754A1 (zh) 2022-09-29 2023-08-08 交互控制方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211213281.XA CN115617166A (zh) 2022-09-29 2022-09-29 交互控制方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115617166A true CN115617166A (zh) 2023-01-17

Family

ID=84860869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211213281.XA Pending CN115617166A (zh) 2022-09-29 2022-09-29 交互控制方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN115617166A (zh)
WO (1) WO2024066754A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117111728A (zh) * 2023-03-06 2023-11-24 荣耀终端有限公司 人机交互方法、相关设备及系统
WO2024066754A1 (zh) * 2022-09-29 2024-04-04 歌尔股份有限公司 交互控制方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10838574B2 (en) * 2018-04-09 2020-11-17 Spatial Systems Inc. Augmented reality computing environments—workspace save and load
CN110347305A (zh) * 2019-05-30 2019-10-18 华为技术有限公司 一种vr多屏显示方法及电子设备
CN113391734A (zh) * 2020-03-12 2021-09-14 华为技术有限公司 图像处理方法和图像显示设备、存储介质和电子设备
CN116301485A (zh) * 2020-08-31 2023-06-23 华为技术有限公司 一种图标显示方法及其装置
CN115617166A (zh) * 2022-09-29 2023-01-17 歌尔科技有限公司 交互控制方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024066754A1 (zh) * 2022-09-29 2024-04-04 歌尔股份有限公司 交互控制方法、装置及电子设备
CN117111728A (zh) * 2023-03-06 2023-11-24 荣耀终端有限公司 人机交互方法、相关设备及系统

Also Published As

Publication number Publication date
WO2024066754A1 (zh) 2024-04-04

Similar Documents

Publication Publication Date Title
CN115617166A (zh) 交互控制方法、装置及电子设备
CN107948708B (zh) 弹幕展示方法及装置
CN112015314B (zh) 信息展示方法、装置、电子设备和介质
EP2736008A1 (en) Dynamic tag generating apparatus and dynamic tag generating method thereof for use in display apparatus
CN107820131B (zh) 分享评论信息的方法及装置
CN107509051A (zh) 远程控制方法、装置、终端及计算机可读存储介质
US20170185422A1 (en) Method and system for generating and controlling composite user interface control
CN108449255B (zh) 评论交互方法、设备、客户端装置及电子设备
US11003707B2 (en) Image processing in a virtual reality (VR) system
US20150326705A1 (en) Mobile Device Data Transfer Using Location Information
CN115576457A (zh) 显示控制方法和装置、增强现实头戴设备及介质
TWI514319B (zh) 藉由虛擬物件編輯資料之方法及系統，及相關電腦程式產品
CN116244024A (zh) 交互控制方法、装置、头戴显示设备及介质
CN115599206A (zh) 显示控制方法、装置、头戴显示设备及介质
CN115396741A (zh) 全景视频的播放方法、装置、电子设备及可读存储介质
CN115543138A (zh) 显示控制方法和装置、增强现实头戴设备及介质
CN115834754B (zh) 交互控制方法、装置、头戴显示设备及介质
CN111696214A (zh) 房屋展示方法、装置和电子设备
CN117148966A (zh) 控制方法、装置、头戴显示设备及介质
CN115834754A (zh) 交互控制方法、装置、头戴显示设备及介质
CN110580100A (zh) 调节头戴显示设备屏幕刷新率的方法、装置、设备及系统
CN110704141A (zh) 页面切换方法、装置及电子设备
CN115617165A (zh) 显示控制方法、装置、头戴显示设备及介质
CN116149535A (zh) 交互控制方法、装置、头戴显示设备及介质
CN117215688A (zh) 控制方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination