CN117032462A - 需求功能的提供方法、装置、设备及介质 - Google Patents

需求功能的提供方法、装置、设备及介质 Download PDF

Info

Publication number
CN117032462A
CN117032462A CN202311034703.1A CN202311034703A CN117032462A CN 117032462 A CN117032462 A CN 117032462A CN 202311034703 A CN202311034703 A CN 202311034703A CN 117032462 A CN117032462 A CN 117032462A
Authority
CN
China
Prior art keywords
function
sub
interface
target
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311034703.1A
Other languages
English (en)
Inventor
杨明明
李保成
邱绪东
杨青河
李昱锋
史高建
陈永富
陈曰清
李佳明
张同全
李国鑫
罗谞胥
孙九鉴
朱志鹏
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN202311034703.1A priority Critical patent/CN117032462A/zh
Publication of CN117032462A publication Critical patent/CN117032462A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本申请公开了一种需求功能的提供方法、装置、设备及介质，涉及头戴技术领域。其中方法应用于头戴设备的控制设备，包括：接收多个可执行控制设备的第一需求功能的第一子程序，其中，第一需求功能中至少包括多设备融合功能以及对头戴设备的串流设备的控制功能；根据第一子程序，生成对应第一需求功能的第一子功能模块；接收选择第一子功能模块中目标第一子功能模块的第一输入；响应于第一输入，提供目标第一子功能模块的接口以及接口说明信息。通过该方法，控制设备可向用户提供符合需求的服务。即控制设备可为用户提供个性化服务。

Description

需求功能的提供方法、装置、设备及介质
技术领域
本申请涉及头戴技术领域，更具体地，涉及一种需求功能的提供方法、需求功能的提供装置、控制设备以及一种计算机可读存储介质。
背景技术
随着科技与经济的发展，头戴显示设备(例如AR设备及VR设备等)已经被越来越广泛的使用。
头戴显示设备分为分体式头戴设备以及一体式头戴设备这两种类型。然而，分体式头戴设备相比于一体式头戴设备，具备功耗、续航、重量以及散热性优良，因此，分体式头戴设备成为市场以及技术发展的趋势。对于分体式头戴设备，其通常适配有作为处理单元的PUCK设备。
目前，提供给用户的PUCK设备所能实现的功能固定的。因此，PUCK设备无法为用户提供个性化的服务。
发明内容
本申请的一个目的是提供一种用于提供需求功能的新技术方案。
根据本申请的第一方面，提供了一种需求功能的提供方法，应用于头戴设备的控制设备，包括：
接收多个可执行所述控制设备的第一需求功能的第一子程序，其中，所述第一需求功能中至少包括多设备融合功能以及对所述头戴设备的串流设备的控制功能；
根据所述第一子程序，生成对应第一需求功能的第一子功能模块；
接收选择所述第一子功能模块中目标第一子功能模块的第一输入；
响应于所述第一输入，提供所述目标第一子功能模块的接口以及接口说明信息。
可选地，所述方法还包括：
接收基于目标接口对应的接口说明信息的第二输入；
响应于所述第二输入，运行与所述目标接口对应目标第一子功能模块。
可选地，所述目标接口为多设备融合功能对应的目标第一子功能模块的接口，所述响应于所述第二输入，运行与所述目标接口对应目标第一子功能模块，包括：
按照所述目标接口对应接口说明信息获取至少一个串流设备的图像以及所述控制设备本地的图像；
融合至少一个串流设备的图像以及所述控制设备本地的图像，得到融合图像；
将所述融合图像发送至所述头戴设备，以由所述头戴设备显示所述融合图像。
可选地，所述方法还包括：
在眼动交互模式下，获取所述头戴设备的佩戴者的注视状态，以及执行与所述注视状态相匹配的操作；
在虚拟标识与眼动双重交互模式下，获取所述头戴设备的注视位置以及所述虚拟标识在所述融合图像中的投射位置，执行与所述注视位置以及所述投射位置相匹配的操作。
可选地，接收至少一个作为可执行所述控制设备的第二需求功能的第二子程序，所述第二需求功能为新增需求功能；
根据所述第二子程序，生成所述第二需求功能的第二子功能模块；
在接收到选择所述第二子功能模块的第三输入的情况下，响应于所述第三输入，提供第二子功能模块的接口以及接口说明信息。
可选地，接收多个可执行所述头戴设备的第三需求功能的第三子程序；
根据所述第三子程序，生成对应第三需求功能的第三子功能模块；
在所述控制设备与所述头戴设备通信连接的情况下，向所述头戴设备发送所述第三子功能模块的接口以及接口说明信息。
可选地，接收多个可执行所述串流设备的第四需求功能的第四子程序；
根据所述第四子程序，生成对应第四需求功能的第四子功能模块；
在所述控制设备与所述串流设备通信连接的情况下，向所述串流设备发送所述第四子功能模块的接口以及接口说明信息。
可选地，所述响应于所述第一输入，提供所述目标第一子功能模块的接口以及接口说明信息，包括：
响应于所述第一输入，按照软件安装包的方式提供所述目标第一子功能模块的接口以及接口说明信息。
根据本申请的第二方面，提供了一种需求功能的提供装置，应用于头戴设备的控制设备，包括：
第一接收模块，用于接收多个可执行所述控制设备的第一需求功能的第一子程序，其中，所述第一需求功能中至少包括多设备融合功能以及对所述头戴设备的串流设备的控制功能；
生成模块，用于根据所述第一子程序，生成对应第一需求功能的第一子功能模块；
第二接收模块，用于接收选择所述第一子功能模块中目标第一子功能模块的第一输入；
提供模块，用于响应于所述第一输入，提供所述目标第一子功能模块的接口以及接口说明信息。
根据本申请的第三方面，提供了一种控制设备，所述控制设备包括如第二方面所述的需求功能的提供装置；或者，
所述控制设备包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如第一方面中任一项所述的需求功能的提供方法。
根据本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任一项所述的需求功能的提供方法。
在本申请实施例中，提供了一种需求功能的提供方法，该方法应用于头戴设备的控制设备，以及该方法通过接收多个可执行控制设备的第一需求功能的第一子程序，其中，第一需求功能中至少包括多设备融合功能以及对头戴设备的串流设备的控制功能，以及根据第一子程序，生成对应第一需求功能的第一子功能模块这两个步骤，可完成对控制设备的第一需求功能的模块化，得到每一第一需求功能对应的第一子功能模块。进一步的，基于接收选择第一子功能模块中目标第一子功能模块的第一输入，响应于第一输入，提供目标第一子功能模块的接口以及接口说明信息这两个步骤，可完成对符合需求的目标第一需求功能的指定，以及对控制设备中的第一需求功能的定制。在此基础上，控制设备可向用户提供符合需求的服务。即控制设备可为用户提供个性化服务。
通过以下参照附图对本申请的示例性实施例的详细描述，本申请的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且连同其说明一起用于解释本申请的原理。
图1是实现本申请实施例提供的一种需求功能的提供方法的控制设备的硬件配置的框图一；
图2是实现本申请实施例提供的一种需求功能的提供方法的流程示意图；
图3是实现本申请实施例提供的一种控制设备、头戴设备以及串流设备的功能架构的示意图；
图4是实现本申请实施例提供的一种需求功能的提供装置的结构示意图；
图5是实现本申请实施例提供的一种需求功能的提供方法的控制设备的硬件配置的框图二。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1是实现本申请实施例提供的一种需求功能的提供方法的控制设备的硬件配置的框图一。
其中，控制设备具体为头戴设备的数据处理单元。控制设备为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，当然还可以为其他可能的操作系统，对此本申请实施例不作具体限定。以及，头戴设备为分体式头戴设备。分体式头戴设备可以为AR、MR、VR或XR等分体式头戴设备。
控制设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800，等等。其中，处理器1100可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。
尽管在图1中对控制设备1000均示出了多个装置，但是，本申请可以仅涉及其中的部分装置，例如，控制设备1000只涉及存储器1200和处理器1100。
应用于本申请的实施例中，控制设备1000的存储器1200用于存储指令，该指令用于控制处理器1100执行本申请实施例提供的需求功能的提供方法。
在上述描述中，技术人员可以根据本申请所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
本申请实施例提供了一种需求功能的提供方法，该方法应用于头戴设备的控制设备，如图2所示，该方法包括如下S2100-S2400:
S2100、接收多个可执行控制设备的第一需求功能的第一子程序。
其中，第一需求功能中至少包括设备融合以及对头戴设备的串流设备的控制。
需要说明的是，在本申请实施例提供的需求功能提供方法应用于串流场景。该场景包括控制设备、头戴设备以及串流设备，以及，头戴设备和串流设备分别与控制设备通信连接。其中，通信连接的方式可以为Wifi或者USB的方式。串流设备可示例性的为手机、PAD或PC等。
在本申请实施例中，第一需求功能为初始状态下控制设备默认的需求功能。一个第一需求功能对应一个第一子程序，即第一需求功能和第一子程序为一一对应关系。
在本申请的一个实施例中，第一需求功能可示例性的分别包括：串流/通信功能、对头戴设备的串流设备的控制功能、对控制设备本地的控制功能、应用多开功能、第三方算法功能、插件功能、OpenXR Loader功能、多设备融合功能。其中，多设备融合功能可通过XRRuntime功能来实现。
对于上述内容，串流/通信功能包括串流功能和通信功能，其中串流功能具体值的是：接收串流设备的显示图像的功能，对串流设备的显示图像进行显示的功能，以及通信功能具体指的是：串流设备和控制设备之间的控制命令传输功能，以及控制设备与头戴设备之间的3Dof/6Dof、Audio、Camera等数据的传输功能；
多设备融合功能具体指的是：完成控制设备本地显示图像和串流设备的显示图像的融合，以及将融合得到的图像传输至头戴设备的功能；
应用多开功能具体指的是：同时启动多个应用(本地应用和/或串流设备上的应用)，使得每个应用运行在头戴设备的不同的屏幕上，这些应用都处于前台，并且应用启动的后续应用、窗口等必须和该应用运行在同一屏幕上，该功能需要Framework层进行定制；
对头戴设备的串流设备的控制功能具体指的是：支持射线、手势、语音等多种交互方式控制串流设备上的应用，以及支持多开后头戴设备上的每个屏幕的鼠标、键盘交互，支持基于屏幕的音量控制等，该功能需要Framework层进行定制；
对控制设备本地的控制功能具体指的是：支持射线、手势、语音等多种交互方式控制本地应用，以及支持多开后头戴设备上的每个屏幕的鼠标、键盘交互，支持基于屏幕的音量控制等，该功能需要Framework层进行定制；
第三方算法功能具体指的是：使用头戴设备的3Dof/6Dof、Camera数据实现空间锚定、手势识别、平面检测等功能。
对于上述任一第一需求功能，由开发人员向控制设备输入可执行(即实现)第一需求功能的程序。在本申请实施例中，将前述程序记为第一子程序。基于此，控制设备接收到多个可执行控制设备的第一需求功能的第一子程序。
S2200、根据第一子程序，生成对应第一需求功能的第一子功能模块。
在本申请实施例中，对于任一第一子程序，控制设备将第一子程序进行封装保护，得到对应第一子功能模块。以及，第一子功能模块具备调用其中第一子程序的接口以及该接口的接口说明信息。其中，接口说明信息用于描述如何使用该接口。
基于上述S2100和S2200，可实现对控制设备的第一需求功能的模块化。这样可为后续的用户定制符合自身需求的第一需求功能提供定制基础。S2300、接收选择第一子功能模块中目标第一子功能模块的第一输入。
在本申请实施例中，将第一子功能模块中符合用户需求的第一子功能模块记为目标第一子功能模块。第一输入为从第一子功能模块中选择目标第一子功能模块的输入。
目标第一子功能可以至少一个。需要说明的是，在本申请实施例中目标第一子功能的数量不做限定。
通过上述S2300可完成对符合需求的目标第一需求功能的指定。
S2400、响应于第一输入，提供目标第一子功能模块的接口以及接口说明信息。
在本申请实施例中，将基于第一输入所选择的第一子功能模块作为目标第一子功能模块。在确定出目标第一子功能模块后，提供目标第一子功能模块的接口以及接口说明信息。这样，基于接口的说明信息，可确定对应接口如何调用。以及，基于接口的说明信息对接口调用后，可使得控制设备可执行接口对应的目标第一子功能模块所对应的第一需求功能。
在一个示例中，在目标第一子功能模块为多设备融合功能以及对头戴设备的串流设备的控制功能的第一子功能模块的情况下，基于上述S2400，控制设备可仅实现多设备融合功能以及对头戴设备的串流设备的控制功能。
通过上述S2400，则可完成对控制设备中的第一需求功能的定制。这样，可使得控制设备向用户提供符合需求的服务。即控制设备可为用户提供个性化服务。
在本申请的一个实施例中，上述S2400可示例性的按照如下S2410来实现：
S2410、响应于第一输入，按照软件安装包的方式提供目标第一子功能模块的接口以及接口信息。
在本申请实施例中，目标第一子功能接口以及接口信息通过软件安装包(Software Development Kit，SDK)的方式向用户呈现。由于SDK为用户常用的方式，且按照软件安装包的方式所提供的接口信息中还包括接口操作示例等信息，因此通过上述S2410，可使得用户便于对控制设备的使用。
在本申请实施例中，提供了一种需求功能的提供方法，该方法应用于头戴设备的控制设备，以及该方法通过接收多个可执行控制设备的第一需求功能的第一子程序，其中，第一需求功能中至少包括多设备融合功能以及对头戴设备的串流设备的控制功能，以及根据第一子程序，生成对应第一需求功能的第一子功能模块这两个步骤，可完成对控制设备的第一需求功能的模块化，得到每一第一需求功能对应的第一子功能模块。进一步的，基于接收选择第一子功能模块中目标第一子功能模块的第一输入，响应于第一输入，提供目标第一子功能模块的接口以及接口说明信息这两个步骤，可完成对符合需求的目标第一需求功能的指定，以及对控制设备中的第一需求功能的定制。在此基础上，控制设备可向用户提供符合需求的服务。即控制设备可为用户提供个性化服务。
在本申请的一个实施例中，本申请实施例提供的需求功能的提供方法还包括如下S2510和S2511：
S2510、接收基于目标接口对应的接口说明信息的第二输入。
在本申请实施例中，目标接口为符合用户调用需求的接口。用户根据目标接口的接口说明信息，执行对目标接口调用操作的输入。基于此，控制设备接收到第二输入。
S2511、响应于第二输入，运行目标接口对应目标第一子功能模块。
在本申请实施例中，在接收到第二输入的情况下，控制设备执行第二输所调用的目标第一子功能模块所对应的第一子程序。此时，控制设备可完成第二输入所调用的目标第一子功能模块对应的需求功能。
在上述S2510和S2511所示实施例的基础上，在目标接口为多设备融合功能对应的目标第一子功能模块的接口的情况下，上述S2511具体通过下述S2511-1至S2511-3来实现：
S2511-1、按照目标接口对应接口说明信息获取至少一个串流设备的图像以及控制设备本地的图像。
SS2511-2、融合至少一个串流设备的图像以及控制设备本地的图像，得到融合图像。
S2511-3、将融合图像发送至头戴设备，以由头戴设备显示融合图像。
在本申请实施例中，按照目标接口对应接口说明信息所规定的获取方式，获取至少一个串流设备的图像以及控制设备本地的图像。以及，将至少一个串流设备的图像以及控制设备本地的图像进行拼接，得到融合图像。基于此完成图像融合。进一步的，控制设备将融合图像发送至头戴设备，以由头戴设备进行显示。
在本申请实施例中，在用户调用多设备融合功能对应的目标第一子功能模块的接口的情况下，通过上述S2511-1至S2511-3，控制设备可完成多设备融合功能。
在上述S2511-1至S2511-3所示实施例的基础上，本申请实施例提供的需求功能的提供方法还包括如下S2511-4和S2511-5：
S2511-4、在眼动交互模式下，获取头戴设备的佩戴者的注视状态，以及执行与注视状态相匹配的操作。
S2511-5、在虚拟标识与眼动双重交互模式下，获取头戴设备的佩戴者的注视位置以及虚拟标识在融合图像中的投射位置，执行与注视位置以及投射位置相匹配的操作。
在本申请实施例中，对融合图像的交互，具备两种交互模式。这两种交互模式分别为：眼动交互模式、虚拟标识与眼动双重交互模式。
在本申请实施例中，眼动交互模式指的是由头戴设备的佩戴者的眼睛与融合图像进行交互的方式。
虚拟标识与眼动双重交互模式指的是由控制设备所发射的虚拟标识与头戴设备的佩戴者的眼睛共同与融合图像进行交互的方式。在本申请的一个实施例中，虚拟标识用于描述在佩戴者手执控制设备以指向融合图像上的交互位置的情况下，控制设备与交互位置所在路径。在一个示例中，虚拟标识可以是直线、射线或曲线，对此本申请实施例不做限定。
在本申请的一个实施例中，上述的两种交互模式可由用户根据自身需求进行选择，或者根据控制设备当前运行应用的应用类型进行自动选择。对此，本申请实施例不做限定。
在本申请的一个实施例中，在眼动追踪模式下，可通过眼动追踪算法确定出佩戴者在融合图像上的注视位置以及注视位置对应的注视时间段。在本申请实施例中，将注视位置以及注视时间段记为注视状态。
以及，在眼动追踪模式下，对于不同的注视状态，控制设备执行不同的操作。例如，在注视状态表示注视位置不发生变化，该注视位置对应的注视时间段达到预设时长的情况下，则确定佩戴者为凝视注视位置的状态，此时执行与凝视注视位置的状态相匹配的操作。其中，与凝视注视位置的状态相匹配的操作可预先进行指定。在一个示例性中，与凝视注视位置的状态相匹配的操作，可以为确认操作。
又例如，在注视状态表示注视位置不变，但是该注视位置对应的注视时间段为不连续的两个较短的时间段的情况下，则确定佩戴者为两次眨眼的状态，此时执行与对注视位置进行两次眨眼的状态相匹配的操作。相同的，与对注视位置进行眨眼的状态相匹配的操作可预先进行指定。在一个示例性中，与对注视位置进行眨眼的状态相匹配的操作，可以为复制操作。
在本申请的一个实施例中，在虚拟标识与眼动双重交互模式下，则可通过眼动追踪算法确定出佩戴者在融合图像上的注视位置。以及通过传统的确定虚拟标识在融合图像上的投射位置的方式，获取虚拟标识在融合图像中的投射位置。在上述内容的基础上，上述S2511-5中的执行与注视位置以及所述投射位置相匹配的操作的操作具体为：
在虚拟标识在融合图像上的位置与佩戴者的注视位置的差距小于预设阈值的情况下，则确定虚拟标识在融合图像上的位置与佩戴者的注视位置重合，此时执行注视位置和/或虚拟标识在投射位置处对应的操作。例如，在注视位置和/或虚拟标识在投射位置处对应的按钮为“确认”按钮的情况下，则执行该按钮对应的确认操作。
对应的，在虚拟标识在融合图像上的位置与佩戴者的注视位置的差距小于预设阈值的情况下，则确定虚拟标识在融合图像上的位置与佩戴者的注视位置不重合，此时则不执行任何操作。
对于虚拟标识和眼动双重交互模式，对于其中的眼动追踪的精度要求低，这样可降低控制设备的功耗。对应的，在眼动交互模式下，对眼动追踪的精度要求高。
在本申请的一个实施例中，本申请实施例提供的需求功能的提供方法还包括如下S2610-S2612：
S2610、接收至少一个作为可执行控制设备的第二需求功能的第二子程序。
其中，第二需求功能为新增需求功能。
在本申请实施例中，在开发人员在默认的需求功能即第一需求功能的基础上，增加新的需求功能即第二需求功能的情况下，开发人员向控制设备输入可执行第二需求功能的程序。在本申请实施例中，将前述程序记为第二子程序。基于此，控制设备接收到至少一个可执行控制设备的第二需求功能的第二子程序。
S2611、根据第二子程序，生成第二需求功能的第二子功能模块。
在本申请实施例中，上述S2611的具体实现与上述S2200的具体实现相同，这里不再赘述。
S2612、在接收到选择第二子功能模块的第三输入的情况下，响应于第三输入，提供第二子功能模块的接口以及接口说明信息。
在本申请的一个实施例中，上述S2612的具体实现可以为：在接收到选择第二子功能模块的第三输入的情况下，按照软件安装包的方式响应于第三输入，提供第二子功能模块的接口以及接口说明信息。
在本申请实施例中，第三输入为用户选择第二子功能模块的输入。在接收到第三输入的情况下，则说明用户希望控制设备能够实现第二子功能模块对应的第二需求功能。此时，控制设备提供第二子功能模块的接口以及接口说明信息以供用户对第二子功能模块的调用。
在本申请实施例中，通过上述S2610-S2612可实现对控制设备的需求功能的新增。以及，供用户对新增的需求功能的调用。
在本申请的一个实施例中，本申请实施例提供的需求功能的提供方法还包括如下S2710-S2712：
S2710、接收多个可执行头戴设备的第三需求功能的第三子程序。
S2711、根据第三子程序，生成对应第三需求功能的第三子功能模块。
S2712、在控制模块与头戴设备通信连接的情况下，向头戴设备发送第三子功能模块的接口以及接口说明信息。
需要说明的是，上述S2710和S2711的具体实现与上述S2100与S2200的具体实现相同，这里不再赘述。
在本申请的一个实施例中，上述S2712的具体实现可以为：在控制模块与头戴设备通信连接的情况下，向头戴设备发送按照软件安装包的方式提供的第三子功能模块的接口以及接口说明信息。
在本申请实施例中，头戴设备与控制设备相适配，两者之间相辅相成。因此，头戴设备需实现适配于控制设备的需求功能。在本申请实施例中，将头戴设备适配于控制设备的需求的功能，记为第三需求功能。
以及，由控制设备生成第三需求功能的第三子功能模块，以及将第三子功能模块的接口以及接口说明信息，基于控制设备与头戴设备之间的通信连接，发送至头戴设备。这样，在头戴设备适配控制设备的情况下，无需在头戴设备侧进行改进。
在本申请的一个实施例中，第三需求功能可示例性的分别包括：获取头戴设备侧的Camera数据的功能、获取头戴设备侧的Audio数据的功能、向控制设备提供头戴设备侧的3Dof/6Dof数据的功能、编解码功能、TimeWarp功能、渲染上屏功能、串流/通信功能等。
对应于上一实施例，在本申请的一个实施例中，本申请实施例提供的需求功能的提供方法还包括如下S2810-S2812：
S2810、根据多个可执行所述串流设备的第四需求功能的第四子程序。
S2811、根据所述第四子程序，生成对应第四需求功能的第四子功能模块。
S2812、在所述控制设备与所述串流设备通信连接的情况下，向所述串流设备发送所述第四子功能模块的接口以及接口说明信息。
需要说明的是，上述S2810和S2811的具体实现与上述S2100与S2200的具体实现相同，这里不再赘述。
在本申请的一个实施例中，上述S2812的具体实现可以为：在控制模块与串流设备通信连接的情况下，向串流设备发送按照软件安装包的方式提供的第四子功能模块的接口以及接口说明信息。
在本申请实施例中，串流设备与控制设备相适配，两者之间相辅相成。因此，串流设备需实现适配于控制设备的需求功能。在本申请实施例中，将串流设备适配于控制设备的需求的功能，记为第四需求功能。
以及，由控制设备生成第四需求功能的第四子功能模块，以及将第四子功能模块的接口以及接口说明信息，基于控制设备与串流设备之间的通信连接，发送至串流设备。这样，在串流设备适配控制设备的情况下，无需在串流设备侧进行改进。
在本申请的一个实施例中，第四需求功能可示例性的分别包括：串流/通信功能、接收控制设备侧的控制指令的功能、将控制指令转换成坐标时间上报给串流设备的应用的功能。
结合上述内容，本申请实施例中的控制设备、头戴设备以及串流设备的功能架构如图3所示。
其中，图3中以控制设备支持OpenXR标准，且具备的操作系统为安卓操作系统为例进行示出。基于此，控制设备的软件安装包SDK划分为：Plugin层、Graphic Plugin层、Platform Plugin层、Runtime process层。且SDK作为APP层的服务层。以及，对头戴设备的串流设备的控制功能、对控制设备本地的控制功能以及应用多开实质上是基于framework层实现。以及，在基于framework层实现对头戴设备的串流设备的控制功能、对控制设备本地的控制功能以及应用多开时，framework层包括：应用管理、权限管理、屏幕管理、Audio管理、显示管理、窗口管理、Input管理以及Camera管理。
本申请实施例还提供了一种需求功能的提供装置400，应用于头戴设备的控制设备，如图4所示，包括：
第一接收模块410，用于接收多个可执行所述控制设备的第一需求功能的第一子程序，其中，所述第一需求功能中至少包括多设备融合功能以及对所述头戴设备的串流设备的控制功能；
生成模块420，用于根据所述第一子程序，生成对应第一需求功能的第一子功能模块；
第二接收模块430，用于接收选择所述第一子功能模块中目标第一子功能模块的第一输入；
提供模块440，用于响应于所述第一输入，提供所述目标第一子功能模块的接口以及接口说明信息。
基于本申请实施例提供的需求功能的提供装置，控制设备可向用户提供符合需求的服务。即控制设备可为用户提供个性化服务。
在本申请的一个实施例中，本申请实施例提供的需求功能的提供装置400还包括：
第三接收模块，接收基于目标接口对应的接口说明信息的第二输入；
运行模块，响应于所述第二输入，运行与所述目标接口对应目标第一子功能模块。
在本申请的一个实施例中，所述目标接口为多设备融合功能对应的目标第一子功能模块的接口，运行模块具体用于：
按照所述目标接口对应接口说明信息获取至少一个串流设备的图像以及所述控制设备本地的图像；
融合至少一个串流设备的图像以及所述控制设备本地的图像，得到融合图像；
将所述融合图像发送至所述头戴设备，以由所述头戴设备显示所述融合图像。
在本申请的一个实施例中，运行模块还用于：
在眼动交互模式下，获取所述头戴设备的佩戴者的注视状态，以及执行与所述注视状态相匹配的操作；
在虚拟标识与眼动双重交互模式下，获取所述头戴设备的注视位置以及所述虚拟标识在所述融合图像中的投射位置，执行与所述注视位置以及所述投射位置相匹配的操作。
在本申请的一个实施例中，第一接收模块410，还用于接收至少一个作为可执行所述控制设备的第二需求功能的第二子程序，所述第二需求功能为新增需求功能；
生成模块420，还用于根据所述第二子程序，生成所述第二需求功能的第二子功能模块；
提供模块440，还用于在接收到选择所述第二子功能模块的第三输入的情况下，响应于所述第三输入，提供第二子功能模块的接口以及接口说明信息。
在本申请的一个实施例中，第一接收模块410，还用于接收多个可执行所述头戴设备的第三需求功能的第三子程序；
生成模块420，还用于根据所述第三子程序，生成对应第三需求功能的第三子功能模块；
在本实施例中，需求功能的提供装置400还包括：
发送模块，用于在所述控制设备与所述头戴设备通信连接的情况下，向所述头戴设备发送所述第三子功能模块的接口以及接口说明信息。
在本申请的一个实施例中，第一接收模块410，还用于接收多个可执行所述串流设备的第四需求功能的第四子程序；
生成模块420，还用于根据所述第四子程序，生成对应第四需求功能的第四子功能模块；
发送模块，还用于在所述控制设备与所述串流设备通信连接的情况下，向所述串流设备发送所述第四子功能模块的接口以及接口说明信息。
在本申请的一个实施例中，提供模块440，具体用于响应于所述第一输入，按照软件安装包的方式提供所述目标第一子功能模块的接口以及接口说明信息。
本申请实施例还提供了一种控制设备500，该控制设备500包括如上述任一装置实施例提供的需求功能的提供装置400。
或者，如图5所示，控制设备500包括存储器510和处理器520，所述存储器510用于存储计算机指令，所述处理器520用于从所述存储器510中调用所述计算机指令，以执行如上述方法实施例中任一项所述的需求功能的提供方法。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据上述方法实施例中任一项所述的需求功能的提供方法。
本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本申请的范围由所附权利要求来限定。

Claims (11)

1.一种需求功能的提供方法，其特征在于，应用于头戴设备的控制设备，包括：
接收多个可执行所述控制设备的第一需求功能的第一子程序，其中，所述第一需求功能中至少包括多设备融合功能以及对所述头戴设备的串流设备的控制功能；
根据所述第一子程序，生成对应第一需求功能的第一子功能模块；
接收选择所述第一子功能模块中目标第一子功能模块的第一输入；
响应于所述第一输入，提供所述目标第一子功能模块的接口以及接口说明信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收基于目标接口对应的接口说明信息的第二输入；
响应于所述第二输入，运行与所述目标接口对应目标第一子功能模块。
3.根据权利要求2所述的方法，其特征在于，所述目标接口为多设备融合功能对应的目标第一子功能模块的接口，所述响应于所述第二输入，运行与所述目标接口对应目标第一子功能模块，包括：
按照所述目标接口对应接口说明信息获取至少一个串流设备的图像以及所述控制设备本地的图像；
融合至少一个串流设备的图像以及所述控制设备本地的图像，得到融合图像；
将所述融合图像发送至所述头戴设备，以由所述头戴设备显示所述融合图像。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在眼动交互模式下，获取所述头戴设备的佩戴者的注视状态，以及执行与所述注视状态相匹配的操作；
在虚拟标识与眼动双重交互模式下，获取所述头戴设备的注视位置以及所述虚拟标识在所述融合图像中的投射位置，执行与所述注视位置以及所述投射位置相匹配的操作。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收至少一个作为可执行所述控制设备的第二需求功能的第二子程序，所述第二需求功能为新增需求功能；
根据所述第二子程序，生成所述第二需求功能的第二子功能模块；
在接收到选择所述第二子功能模块的第三输入的情况下，响应于所述第三输入，提供第二子功能模块的接口以及接口说明信息。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收多个可执行所述头戴设备的第三需求功能的第三子程序；
根据所述第三子程序，生成对应第三需求功能的第三子功能模块；
在所述控制设备与所述头戴设备通信连接的情况下，向所述头戴设备发送所述第三子功能模块的接口以及接口说明信息。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收多个可执行所述串流设备的第四需求功能的第四子程序；
根据所述第四子程序，生成对应第四需求功能的第四子功能模块；
在所述控制设备与所述串流设备通信连接的情况下，向所述串流设备发送所述第四子功能模块的接口以及接口说明信息。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述响应于所述第一输入，提供所述目标第一子功能模块的接口以及接口说明信息，包括：
响应于所述第一输入，按照软件安装包的方式提供所述目标第一子功能模块的接口以及接口说明信息。
9.一种需求功能的提供装置，其特征在于，应用于头戴设备的控制设备，包括：
第一接收模块，用于接收多个可执行所述控制设备的第一需求功能的第一子程序，其中，所述第一需求功能中至少包括多设备融合功能以及对所述头戴设备的串流设备的控制功能；
生成模块，用于根据所述第一子程序，生成对应第一需求功能的第一子功能模块；
第二接收模块，用于接收选择所述第一子功能模块中目标第一子功能模块的第一输入；
提供模块，用于响应于所述第一输入，提供所述目标第一子功能模块的接口以及接口说明信息。
10.一种控制设备，其特征在于，所述控制设备包括如权利要求9所述的需求功能的提供装置；或者，
所述控制设备包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如权利要求1-8中任一项所述的需求功能的提供方法。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的需求功能的提供方法。
CN202311034703.1A 2023-08-16 2023-08-16 需求功能的提供方法、装置、设备及介质 Pending CN117032462A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311034703.1A CN117032462A (zh) 2023-08-16 2023-08-16 需求功能的提供方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311034703.1A CN117032462A (zh) 2023-08-16 2023-08-16 需求功能的提供方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117032462A true CN117032462A (zh) 2023-11-10

Family

ID=88636985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311034703.1A Pending CN117032462A (zh) 2023-08-16 2023-08-16 需求功能的提供方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117032462A (zh)

Similar Documents

Publication Publication Date Title
US10691319B2 (en) Instant-messaging-based picture sending method and device
US10402625B2 (en) Intelligent electronic device and method of operating the same
KR102248474B1 (ko) 음성 명령 제공 방법 및 장치
US20170011557A1 (en) Method for providing augmented reality and virtual reality and electronic device using the same
US9239661B2 (en) Methods and apparatus for displaying images on a head mounted display
WO2021057408A1 (zh) 执行命令的方法、装置及设备
US11032532B2 (en) Electronic device and method for providing virtual device via at least portion of content
US20130288753A1 (en) Headset Computer (HSC) As Auxiliary Display With ASR and HT Input
TWI709070B (zh) 資料處理方法和裝置、終端設備、伺服器
EP3202157B1 (en) Mobile terminal and method of controlling the same
CN110727343A (zh) 智能接触镜片控制系统
CN112420217B (zh) 消息推送方法、装置、设备及存储介质
KR20150125464A (ko) 메시지 표시 방법 및 전자 장치
KR20200113349A (ko) 전자 장치 및 멀티 태스킹 지원 방법
CN110601933A (zh) 物联网设备的控制方法、装置、设备及存储介质
WO2023124141A9 (zh) 一种输入法调用方法及相关设备
CN110750226A (zh) 中控设备管理方法、装置、计算机设备和存储介质
CN105334955A (zh) 一种信息处理方法及电子设备
WO2022134691A1 (zh) 一种终端设备中啸叫处理方法及装置、终端
CN110515623B (zh) 图形操作实现方法、装置、电子设备及存储介质
CN107463256A (zh) 基于虚拟现实的用户朝向控制方法与装置
CN117032462A (zh) 需求功能的提供方法、装置、设备及介质
CN117032461A (zh) 需求功能的提供方法、装置、设备及介质
US20180267600A1 (en) Method and device for controlling virtual reality helmets
CN113448635A (zh) 头戴显示设备的配置方法、装置及头戴显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination