CN109496293B - 扩展内容显示方法、装置、系统及存储介质 - Google Patents

扩展内容显示方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN109496293B
CN109496293B CN201880001631.1A CN201880001631A CN109496293B CN 109496293 B CN109496293 B CN 109496293B CN 201880001631 A CN201880001631 A CN 201880001631A CN 109496293 B CN109496293 B CN 109496293B
Authority
CN
China
Prior art keywords
screen
display device
visible
extended
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880001631.1A
Other languages
English (en)
Other versions
CN109496293A (zh
Inventor
周梁
冯智勇
季佳松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of CN109496293A publication Critical patent/CN109496293A/zh
Application granted granted Critical
Publication of CN109496293B publication Critical patent/CN109496293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开是关于一种扩展内容显示方法、装置、系统及存储介质，属于显示控制技术领域。所述方法包括：可透视近眼显示设备创建n个虚拟扩展屏；计算组件根据可透视近眼显示设备的位姿信息和FOV以及n个虚拟扩展屏的位姿信息，确定可见虚拟扩展屏；计算组件从主显示设备获取可见虚拟扩展屏对应的扩展显示内容，并将扩展显示内容发送给可透视近眼显示设备；可透视近眼显示设备在可见虚拟扩展屏中显示扩展显示内容。本公开通过可透视近眼显示设备创建虚拟扩展屏，将扩展显示内容在虚拟扩展屏中显示；相较于物理扩展屏，虚拟扩展屏不受主显示设备的输出接口数量的限制，扩展性和便捷性强。

Description

扩展内容显示方法、装置、系统及存储介质
技术领域
本公开涉及显示控制技术领域，特别涉及一种扩展内容显示方法、装置、系统及存储介质。
背景技术
多屏扩展技术可以实现将内容投放至多个不同的屏幕中进行展示，从而为用户提供更为丰富的交互体验。
在相关技术中，终端可以通过视频输出接口与物理扩展屏连接，从而将扩展显示内容投放至物理扩展屏中显示。终端可以通过多个不同的视频输出接口，分别与多个不同的物理扩展屏连接，实现多屏扩展功能。
发明内容
本公开实施例提供了一种扩展内容显示方法、装置、系统及存储介质，所述技术方案如下：
根据本公开实施例的第一方面，提供了一种扩展内容显示方法，所述方法包括：
获取可透视近眼显示设备的位姿信息以及所述可透视近眼显示设备所创建的n个虚拟扩展屏的位姿信息，所述n为正整数；
根据所述可透视近眼显示设备的位姿信息、所述可透视近眼显示设备的视场角FOV(Field of View，视场角)和所述n个虚拟扩展屏的位姿信息，确定所述n个虚拟扩展屏中的可见虚拟扩展屏；其中，所述可见虚拟扩展屏是指在所述可透视近眼显示设备的FOV内的虚拟扩展屏；
获取所述可见虚拟扩展屏对应的扩展显示内容；
将所述扩展显示内容发送给所述可透视近眼显示设备，以便所述可透视近眼显示设备在所述可见虚拟扩展屏中显示所述扩展显示内容。
可选地，所述获取所述可见虚拟扩展屏对应的扩展显示内容，包括：
向主显示设备发送内容获取请求，所述内容获取请求中包括所述可见虚拟扩展屏的标识信息；
接收所述主显示设备发送的所述可见虚拟扩展屏对应的扩展显示内容。
可选地，所述内容获取请求中还包括所述可见虚拟扩展屏的可见区域的位置信息，所述可见虚拟扩展屏的可见区域是指所述可见虚拟扩展屏在所述可透视近眼显示设备的FOV内的显示区域；
所述接收所述主显示设备发送的所述可见虚拟扩展屏对应的扩展显示内容，包括：
接收所述主显示设备发送的所述可见虚拟扩展屏的可见区域对应的扩展显示内容。
可选地，所述方法还包括：
根据所述可见虚拟扩展屏的可见区域的位置信息，从所述可见虚拟扩展屏对应的扩展显示内容中，提取所述可见虚拟扩展屏的可见区域对应的扩展显示内容；其中，所述可见虚拟扩展屏的可见区域是指所述可见虚拟扩展屏在所述可透视近眼显示设备的FOV内的显示区域；
所述将所述扩展显示内容发送给所述可透视近眼显示设备，包括：
将所述可见虚拟扩展屏的可见区域对应的扩展显示内容发送给所述可透视近眼显示设备。
可选地，所述方法还包括：
获取对应于所述n个虚拟扩展屏中的第i个虚拟扩展屏的位姿调整参数，所述i为小于等于n的正整数；
根据所述第i个虚拟扩展屏的位姿信息和所述第i个虚拟扩展屏的位姿调整参数，确定所述第i个虚拟扩展屏调整后的位姿信息；
向所述可透视近眼显示设备发送所述第i个虚拟扩展屏调整后的位姿信息，以便所述可透视近眼显示设备调整所述第i个虚拟扩展屏的位姿。
可选地，所述获取可透视近眼显示设备的位姿信息，包括：
接收所述可透视近眼显示设备通过位姿传感器采集的传感器数据；
根据所述传感器数据确定所述可透视近眼显示设备的位姿信息。
可选地，所述可透视近眼显示设备的位姿信息包括：所述可透视近眼显示设备的当前位置相对于基准位置的距离偏移信息，以及所述可透视近眼显示设备的当前朝向相对于基准朝向的角度偏移信息。
根据本公开实施例的第二方面，提供了一种扩展内容显示方法，应用于扩展内容显示系统中，所述系统包括：可透视近眼显示设备、计算组件和主显示设备；所述方法包括：
所述可透视近眼显示设备创建n个虚拟扩展屏，所述n为正整数；
所述计算组件根据所述可透视近眼显示设备的位姿信息、所述可透视近眼显示设备的FOV和所述n个虚拟扩展屏的位姿信息，确定所述n个虚拟扩展屏中的可见虚拟扩展屏；其中，所述可见虚拟扩展屏是指在所述可透视近眼显示设备的FOV内的虚拟扩展屏；
所述计算组件从所述主显示设备获取所述可见虚拟扩展屏对应的扩展显示内容；
所述计算组件将所述扩展显示内容发送给所述可透视近眼显示设备；
所述可透视近眼显示设备在所述可见虚拟扩展屏中显示所述扩展显示内容。
可选地，所述计算组件从所述主显示设备获取所述可见虚拟扩展屏对应的扩展显示内容，包括：
所述计算组件向所述主显示设备发送内容获取请求，所述内容获取请求中包括所述可见虚拟扩展屏的标识信息；
所述主显示设备根据所述内容获取请求，生成所述可见虚拟扩展屏对应的扩展显示内容；
所述主显示设备向所述计算组件发送所述扩展显示内容。
可选地，所述内容获取请求中还包括所述可见虚拟扩展屏的可见区域的位置信息，所述可见虚拟扩展屏的可见区域是指所述可见虚拟扩展屏在所述可透视近眼显示设备的FOV内的显示区域；
所述主显示设备根据所述内容获取请求，生成所述可见虚拟扩展屏对应的扩展显示内容，包括：
所述主显示设备根据所述可见虚拟扩展屏的可见区域的位置信息，生成所述可见虚拟扩展屏的可见区域对应的扩展显示内容。
可选地，所述方法还包括:
所述计算组件根据所述可见虚拟扩展屏的可见区域的位置信息，从所述可见虚拟扩展屏对应的扩展显示内容中，提取所述可见虚拟扩展屏的可见区域对应的扩展显示内容；其中，所述可见虚拟扩展屏的可见区域是指所述可见虚拟扩展屏在所述可透视近眼显示设备的FOV内的显示区域；
所述计算组件将所述扩展显示内容发送给所述可透视近眼显示设备，包括：
所述计算组件将所述可见虚拟扩展屏的可见区域对应的扩展显示内容发送给所述可透视近眼显示设备。
可选地，所述方法还包括：
所述计算组件获取对应于所述n个虚拟扩展屏中的第i个虚拟扩展屏的位姿调整参数，所述i为小于等于n的正整数；
所述计算组件根据所述第i个虚拟扩展屏的位姿信息和所述第i个虚拟扩展屏的位姿调整参数，确定所述第i个虚拟扩展屏调整后的位姿信息；
所述计算组件向所述可透视近眼显示设备发送所述第i个虚拟扩展屏调整后的位姿信息；
所述可透视近眼显示设备根据所述第i个虚拟扩展屏调整后的位姿信息，展示所述第i个虚拟扩展屏。
可选地，所述方法还包括：
所述可透视近眼显示设备通过位姿传感器采集传感器数据，向所述计算组件发送所述传感器数据；
所述计算组件根据所述传感器数据，确定所述可透视近眼显示设备的位姿信息。
可选地，所述方法还包括：
所述主显示设备生成主屏幕对应的主显示内容，所述主屏幕是指所述主显示设备的屏幕；
所述主显示设备在所述主屏幕中显示所述主显示内容。
可选地，所述计算组件集成于所述可透视近眼显示设备中；
或者，
所述计算组件集成于所述主显示设备中；
或者，
所述计算组件是独立于所述可透视近眼显示设备和所述主显示设备的装置。
根据本公开实施例的第三方面，提供了一种扩展内容显示装置，所述装置包括：
位姿获取模块，被配置为获取可透视近眼显示设备的位姿信息以及所述可透视近眼显示设备所创建的n个虚拟扩展屏的位姿信息，所述n为正整数；
可见屏确定模块，被配置为根据所述可透视近眼显示设备的位姿信息、所述可透视近眼显示设备的FOV和所述n个虚拟扩展屏的位姿信息，确定所述n个虚拟扩展屏中的可见虚拟扩展屏；其中，所述可见虚拟扩展屏是指在所述可透视近眼显示设备的FOV内的虚拟扩展屏；
内容获取模块，被配置为获取所述可见虚拟扩展屏对应的扩展显示内容；
内容发送模块，被配置为将所述扩展显示内容发送给所述可透视近眼显示设备，以便所述可透视近眼显示设备在所述可见虚拟扩展屏中显示所述扩展显示内容。
可选地，所述内容获取模块，包括：
请求发送单元，被配置为向主显示设备发送内容获取请求，所述内容获取请求中包括所述可见虚拟扩展屏的标识信息；
内容接收单元，被配置为接收所述主显示设备发送的所述可见虚拟扩展屏对应的扩展显示内容。
可选地，所述内容获取请求中还包括所述可见虚拟扩展屏的可见区域的位置信息，所述可见虚拟扩展屏的可见区域是指所述可见虚拟扩展屏在所述可透视近眼显示设备的FOV内的显示区域；
所述内容接收单元，被配置为接收所述主显示设备发送的所述可见虚拟扩展屏的可见区域对应的扩展显示内容。
可选地，所述装置还包括:
内容提取模块，被配置为根据所述可见虚拟扩展屏的可见区域的位置信息，从所述可见虚拟扩展屏对应的扩展显示内容中，提取所述可见虚拟扩展屏的可见区域对应的扩展显示内容；其中，所述可见虚拟扩展屏的可见区域是指所述可见虚拟扩展屏在所述可透视近眼显示设备的FOV内的显示区域；
所述内容发送模块，被配置为将所述可见虚拟扩展屏的可见区域对应的扩展显示内容发送给所述可透视近眼显示设备。
可选地，所述装置还包括:
参数获取模块，被配置为获取对应于所述n个虚拟扩展屏中的第i个虚拟扩展屏的位姿调整参数，所述i为小于等于n的正整数；
位姿确定模块，被配置为根据所述第i个虚拟扩展屏的位姿信息和所述第i个虚拟扩展屏的位姿调整参数，确定所述第i个虚拟扩展屏调整后的位姿信息；
位姿发送模块，被配置为向所述可透视近眼显示设备发送所述第i个虚拟扩展屏调整后的位姿信息，以便所述可透视近眼显示设备调整所述第i个虚拟扩展屏的位姿。
可选地，所述位姿获取模块，包括：
数据接收单元，被配置为接收所述可透视近眼显示设备通过位姿传感器采集的传感器数据；
位姿确定单元，被配置为根据所述传感器数据确定所述可透视近眼显示设备的位姿信息。
可选地，所述可透视近眼显示设备的位姿信息包括：所述可透视近眼显示设备的当前位置相对于基准位置的距离偏移信息，以及所述可透视近眼显示设备的当前朝向相对于基准朝向的角度偏移信息。
根据本公开实施例的第四方面，提供了一种扩展内容显示系统，所述系统包括：可透视近眼显示设备、计算组件和主显示设备；
所述可透视近眼显示设备，被配置为创建n个虚拟扩展屏，所述n为正整数；
所述计算组件，被配置为根据所述可透视近眼显示设备的位姿信息、所述可透视近眼显示设备的FOV和所述n个虚拟扩展屏的位姿信息，确定所述n个虚拟扩展屏中的可见虚拟扩展屏；其中，所述可见虚拟扩展屏是指在所述可透视近眼显示设备的FOV内的虚拟扩展屏；
所述计算组件，还被配置为从所述主显示设备获取所述可见虚拟扩展屏对应的扩展显示内容；
所述计算组件，还被配置为将所述扩展显示内容发送给所述可透视近眼显示设备；
所述可透视近眼显示设备，被配置为在所述可见虚拟扩展屏中显示所述扩展显示内容。
根据本公开实施例的第五方面，提供了一种扩展内容显示装置，所述装置包括：
处理器；
用于存储所述处理器的可执行指令的存储器；
其中，所述处理器被配置为：
获取可透视近眼显示设备的位姿信息以及所述可透视近眼显示设备所创建的n个虚拟扩展屏的位姿信息，所述n为正整数；
根据所述可透视近眼显示设备的位姿信息、所述可透视近眼显示设备的FOV和所述n个虚拟扩展屏的位姿信息，确定所述n个虚拟扩展屏中的可见虚拟扩展屏；其中，所述可见虚拟扩展屏是指在所述可透视近眼显示设备的FOV内的虚拟扩展屏；
获取所述可见虚拟扩展屏对应的扩展显示内容；
将所述扩展显示内容发送给所述可透视近眼显示设备，以便所述可透视近眼显示设备在所述可见虚拟扩展屏中显示所述扩展显示内容。
根据本公开实施例的第六方面，提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。
本公开实施例提供的技术方案可以包括以下有益效果：
通过可透视近眼显示设备创建虚拟扩展屏，将扩展显示内容在虚拟扩展屏中进行显示；相较于物理扩展屏，虚拟扩展屏的数量不会受制于主显示设备所具备的视频输出接口的数量限制，扩展性更强，且比物理扩展屏更具便捷性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种实施环境的示意图；
图2是根据一示例性实施例示出的一种扩展内容显示方法的流程图；
图3示例性示出了一种可见虚拟扩展的屏示意图；
图4是根据另一示例性实施例示出的一种扩展内容显示方法的流程图；
图5是根据另一示例性实施例示出的一种扩展内容显示方法的流程图；
图6是根据一示例性实施例示出的一种扩展内容显示过程的示意图；
图7是根据一示例性实施例示出的一种扩展内容显示装置的框图；
图8是根据另一示例性实施例示出的一种扩展内容装置的框图；
图9是根据一示例性实施例示出的一种装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种实施环境的示意图，该实施环境可以包括：可透视近眼显示设备101、计算组件102和主显示设备103。
可透视近眼显示(see-through near-eye display)设备101是指能够在用户眼睛的视野范围内创建虚拟图像，且能够让用户看到现实场景的佩戴式光学显示设备。可选地，可透视近眼显示设备101为AR(Augumented Reality，增强现实)显示设备或MR(MixedReality，混合现实)显示设备。例如，可透视近眼显示设备101可以是诸如AR眼镜、AR头盔、MR眼镜、MR头盔之类的头戴式显示设备。在本公开实施例中，可透视近眼显示设备101能够创建虚拟扩展屏，并在虚拟扩展屏中显示相关内容。
计算组件102是指具有数据计算和处理能力的装置。计算组件102可以对可透视近眼显示设备101和主显示设备103传来的数据执行相应的处理工作。可选地，计算组件102集成于可透视近眼显示设备101中；或者，计算组件102集成于主显示设备103中；又或者，计算组件102是独立于可透视近眼显示设备101和主显示设备103的装置。
主显示设备103是指提供主屏幕的显示设备。例如，主显示设备103可以是诸如PC(Personal Computer，个人计算机)、手机、平板电脑等电子设备。在本公开实施例中，主显示设备103用于生成主屏幕和虚拟扩展屏各自的显示内容，并将上述显示内容投放至响应的屏幕进行展示。
当计算组件102集成于可透视近眼显示设备101中，或者计算组件102集成于主显示设备103中时，可透视近眼显示设备101和主显示设备103之间可以通过有线或者无线的方式建立通信连接。当计算组件102是独立于可透视近眼显示设备101和主显示设备103的装置时，计算组件102和可透视近眼显示设备101之间可以通过有线或者无线的方式建立通信连接，且计算组件102和主显示设备103之间也可以通过有线或者无线的方式建立通信连接。可选地，上述有线方式可以是基于视频输出接口的有线连接，如HDMI(High DefinitionMultimedia Interface，高清晰度多媒体接口)、VGA(Video Graphics Array，视频图形阵列)接口等。可选地，上述无线方式可以是基于无线网络建立的连接，如无线局域网等。
图2是根据一示例性实施例示出的一种扩展内容显示方法的流程图。该方法可应用于图1所示的实施环境中。该方法可以包括如下几个步骤。
在步骤201中，可透视近眼显示设备创建n个虚拟扩展屏，n为正整数。
虚拟扩展屏是指由可透视近眼显示设备展示的非物理扩展屏。用户只有使用可透视近眼显示设备才能看到虚拟扩展屏，例如用户戴上AR眼镜之后可以看到AR眼镜所展示的虚拟扩展屏。
在本公开实施例中，对于可透视近眼显示设备所创建的虚拟扩展屏的数量不作限定。可透视近眼显示设备可以创建1个虚拟扩展屏，也可以创建多个虚拟扩展屏。可透视近眼显示设备可以根据用户需求来创建虚拟扩展屏。例如，可透视近眼显示设备在接收到创建指令之后，根据创建指令创建n个虚拟扩展屏。其中，创建指令可以是由用户触发，并由主显示设备发送给可透视近眼显示设备。可透视近眼显示设备所创建的虚拟扩展屏的数量，可以由用户指定并携带在创建指令中，也可以是预先设定的默认值。
另外，虚拟扩展屏的初始位姿，可以由用户指定并携带在创建指令中，也可以由计算组件确定并发送给可透视近眼显示设备，或者是预先设定的默认初始位姿。在一个示例中，计算组件确定虚拟扩展屏的初始位姿信息，将该初始位姿信息发送给可透视近眼显示设备，可透视近眼显示设备根据该初始位姿信息创建虚拟扩展屏。可选地，计算组件可以根据用户历史习惯或者预配置信息，确定虚拟扩展屏的初始位姿信息。
在一个示例中，虚拟扩展屏的位姿是固定的、不可调整的。在另一个示例中，虚拟扩展屏的位姿是非固定的、可调整的，例如虚拟扩展屏的位置是可移动的，且虚拟扩展屏的朝向是可调整的，以使得虚拟扩展屏更具灵活性，更好地满足用户需求。
在步骤202中，计算组件根据可透视近眼显示设备的位姿信息、可透视近眼显示设备的FOV和n个虚拟扩展屏的位姿信息，确定n个虚拟扩展屏中的可见虚拟扩展屏。
在本公开实施例中，可见虚拟扩展屏是指在可透视近眼显示设备的FOV内的虚拟扩展屏。也即，可见虚拟扩展屏是指用户能够看见的虚拟扩展屏。由于可透视近眼显示设备的FOV有限，可透视近眼显示设备创建的各个虚拟扩展屏中，可能有的在上述FOV内，而有的不在上述FOV内。用户可以通过调整可透视近眼显示设备的位置和朝向，来查看不同的虚拟扩展屏。另外，当某一虚拟扩展屏的全部或者部分区域在可透视近眼显示设备的FOV内时，该虚拟扩展屏即为可见虚拟扩展屏；当某一虚拟扩展屏的全部区域均不在可透视近眼显示设备的FOV内时，该虚拟扩展屏则不是可见虚拟扩展屏。
可透视近眼显示设备的位姿信息用于指示可透视近眼显示设备在空间中的位置和姿态。可透视近眼显示设备的位姿信息可以采用可透视近眼显示设备相对于基准位姿信息的相对位姿信息来表示，也可以采用可透视近眼显示设备在空间中的绝对位姿信息来表示。上述基准位姿信息可以预先设定，例如将可透视近眼显示设备在某一时刻的位姿信息确定为基准位姿信息。
可选地，可透视近眼显示设备的位姿信息包括：可透视近眼显示设备的当前位置相对于基准位置的距离偏移信息，以及可透视近眼显示设备的当前朝向相对于基准朝向的角度偏移信息。示例性地，可透视近眼显示设备的位姿信息可以采用6个参数来表示；其中距离偏移信息包括三个维度的参数，如(x,y,z)；角度偏移信息也包括三个维度的参数，如(pitch,yaw,roll)。可透视近眼显示设备的位姿信息可以由可透视近眼显示设备提供给计算组件。例如，可透视近眼显示设备通过位姿传感器来获取上述位姿信息。位姿传感器可以是视觉传感器，也可以是运动传感器，包括加速度传感器、陀螺仪等。
可透视近眼显示设备的FOV即为可透视近眼显示设备的视场角，可透视近眼显示设备的FOV由其自身的硬件性能决定。可透视近眼显示设备的FOV可以预存在计算组件中，也可以由可透视近眼显示设备发送给计算组件。
虚拟扩展屏的位姿信息用于指示虚拟扩展屏的位置和姿态。虚拟扩展屏的位姿信息可以采用虚拟扩展屏相对于基准位姿信息的相对位姿信息来表示。上述基准位姿信息可以预先设定，例如将虚拟扩展屏的初始位姿信息确定为基准位姿信息。另外，此处所介绍的虚拟扩展屏的基准位姿信息，与上文介绍的可透视近眼显示设备的基准位姿信息，两者可以相同，也可以不同，本公开实施例对此不作限定。
可选地，虚拟扩展屏的位姿信息包括：虚拟扩展屏的当前位置相对于基准位置的距离偏移信息，以及虚拟扩展屏的当前朝向相对于基准朝向的角度偏移信息。另外，此处所介绍的虚拟扩展屏的基准位置和基准朝向，与上文介绍的可透视近眼显示设备的基准位置和基准朝向，可以相同，也可以不同，本公开实施例对此不作限定。与可透视近眼显示设备的位姿信息类似，虚拟扩展屏的位姿信息也可以采用6个参数来表示；其中距离偏移信息包括三个维度的参数，如(x,y,z)；角度偏移信息也包括三个维度的参数，如(pitch,yaw,roll)。
计算组件可以根据可透视近眼显示设备的位姿信息、可透视近眼显示设备的FOV，确定可透视近眼显示设备的FOV，然后结合n个虚拟扩展屏的位姿信息，将上述FOV内的虚拟扩展屏确定为可见虚拟扩展屏。
结合参考图3，其示例性示出了可见虚拟扩展屏的示意图。如图3所示，可透视近眼显示设备101创建了两个虚拟扩展屏，即扩展屏1和扩展屏2。其中，扩展屏1在可透视近眼显示设备101的FOV内，所以扩展屏1为可见虚拟扩展屏。
在步骤203中，计算组件从主显示设备获取可见虚拟扩展屏对应的扩展显示内容。
在本公开实施例中，主显示设备用于渲染生成显示内容。主显示设备可配备有显卡，该显卡用于渲染生成显示内容。可选地，主显示设备生成的显示内容，包括主屏幕对应的主显示内容，以及可见虚拟扩展屏对应的扩展显示内容。其中，主屏幕是指主显示设备的屏幕，其是物理屏幕，而非虚拟屏幕。可选地，主显示设备将主显示内容和扩展显示内容拼接渲染，得到拼接显示内容，然后从拼接显示内容中分别提取主显示内容和扩展显示内容。
在一个示例中，主显示设备可以渲染生成上述n个虚拟扩展屏各自对应的扩展显示内容，并将该n个虚拟扩展屏各自对应的扩展显示内容发送给计算组件，由计算组件从中选取可见虚拟扩展屏对应的扩展显示内容。
在另一个示例中，计算组件在确定可见虚拟扩展屏之后，可以将可见虚拟扩展屏的标识信息发送给主显示设备，主显示设备根据可见虚拟扩展屏的标识信息，仅渲染生成可见虚拟扩展屏对应的扩展显示内容，然后将可见虚拟扩展屏对应的扩展显示内容发送给计算组件。这种方式可以节省主显示设备的处理开销。
另外，主显示设备可以通过与计算组件之间建立的连接，向计算组件发送扩展显示内容。例如，主显示设备可以通过视频输出接口，向计算组件发送扩展显示内容。
在步骤204中，计算组件将可见虚拟扩展屏对应的扩展显示内容发送给可透视近眼显示设备。
计算组件可以通过与可透视近眼显示设备之间建立的连接，向可透视近眼显示设备发送扩展显示内容。例如，计算组件可以通过视频输出接口，向可透视近眼显示设备发送扩展显示内容。
在步骤205中，可透视近眼显示设备在可见虚拟扩展屏中显示扩展显示内容。
可透视近眼显示设备接收到可见虚拟扩展屏对应的扩展显示内容之后，在可见虚拟扩展屏中显示上述扩展显示内容。
可选地，当可见虚拟扩展屏的数量为一个时，可透视近眼显示设备将接收到的扩展显示内容，在这个可见虚拟扩展屏中显示；当可见虚拟扩展屏的数量为多个时，可透视近眼显示设备分别将每一个可见虚拟扩展屏对应的扩展显示内容，在对应的可见虚拟扩展屏中显示。例如，可见虚拟扩展屏的数量为2个，可透视近眼显示设备在一个可见虚拟扩展屏中显示办公软件的文档编辑界面，在另一个可见虚拟扩展屏中显示社交应用的聊天会话界面。
另外，主显示设备还可以在主屏幕中显示主显示内容。
综上所述，本公开实施例提供的技术方案中，通过可透视近眼显示设备创建虚拟扩展屏，将扩展显示内容在虚拟扩展屏中进行显示；相较于物理扩展屏，虚拟扩展屏的数量不会受制于主显示设备所具备的视频输出接口的数量限制，扩展性更强，且比物理扩展屏更具便捷性。
图4是根据另一示例性实施例示出的一种扩展内容显示方法的流程图。该方法可应用于图1所示的实施环境中。该方法可以包括以下几个步骤。
在步骤401中，可透视近眼显示设备创建n个虚拟扩展屏，n为正整数。
在步骤402中，可透视近眼显示设备通过位姿传感器采集传感器数据。
在步骤403中，可透视近眼显示设备向计算组件发送上述传感器数据。
在步骤404中，计算组件根据传感器数据，确定可透视近眼显示设备的位姿信息。
在步骤405中，计算组件根据可透视近眼显示设备的位姿信息、可透视近眼显示设备的FOV和n个虚拟扩展屏的位姿信息，确定n个虚拟扩展屏中的可见虚拟扩展屏。
上述步骤401-405的介绍说明，可参见图2实施例，本实施例对此不再赘述。
在步骤406中，计算组件向主显示设备发送内容获取请求，内容获取请求中包括可见虚拟扩展屏的标识信息，以及可见虚拟扩展屏的可见区域的位置信息。
内容获取请求用于请求获取扩展显示内容。可见虚拟扩展屏的标识信息用于唯一指示该可见虚拟扩展屏。不同的虚拟扩展屏具有不同的标识信息。
可选地，内容获取请求中包括可见虚拟扩展屏的标识信息，以便主显示设备根据该可见虚拟扩展屏的标识信息，生成该可见虚拟扩展屏对应的扩展显示内容。
可选地，内容获取请求中还包括可见虚拟扩展屏的可见区域的位置信息，可见虚拟扩展屏的可见区域是指可见虚拟扩展屏在可透视近眼显示设备的FOV内的显示区域。可见区域的位置信息用于指示可见区域在可见虚拟扩展屏中的位置。例如，可见区域的位置信息可以包括可见区域的一个顶点的坐标，以及可见区域的长和宽。
当可见虚拟扩展屏的整个屏幕区域在可透视近眼显示设备的FOV内时，该可见虚拟扩展屏的可见区域是整个屏幕区域；当可见虚拟扩展屏的一部分屏幕区域在可透视近眼显示设备的FOV内，且另一部分屏幕区域在可透视近眼显示设备的FOV外时，该可见虚拟扩展屏的可见区域是部分屏幕区域。
在步骤407中，主显示设备根据可见虚拟扩展屏的可见区域的位置信息，生成可见虚拟扩展屏的可见区域对应的扩展显示内容。
在本实施例中，主显示设备仅渲染生成可见虚拟扩展屏的可见区域对应的扩展显示内容，其它非可见的虚拟扩展屏以及可见虚拟扩展屏的非可见区域对应的扩展显示内容，主显示设备并不渲染生成，从而节省主显示设备的处理开销。
在步骤408中，主显示设备向计算组件发送可见虚拟扩展屏的可见区域对应的扩展显示内容。
在步骤409中，计算组件将可见虚拟扩展屏的可见区域对应的扩展显示内容发送给可透视近眼显示设备。
在步骤410中，可透视近眼显示设备在可见虚拟扩展屏中显示上述可见区域对应的扩展显示内容。
另外，主显示设备还可以生成主屏幕对应的主显示内容，并在主屏幕中显示主显示内容。
综上所述，本公开实施例提供的技术方案中，通过计算组件将可见虚拟扩展屏的可见区域的位置信息发送给主显示设备，主显示设备可以仅渲染生成可见虚拟扩展屏的可见区域对应的扩展显示内容，而其它非可见的虚拟扩展屏以及可见虚拟扩展屏的非可见区域对应的扩展显示内容，主显示设备不必不渲染生成，从而节省主显示设备的处理开销。
图5是根据另一示例性实施例示出的一种扩展内容显示方法的流程图。该方法可应用于图1所示的实施环境中。该方法可以包括以下几个步骤。
在步骤501中，可透视近眼显示设备创建n个虚拟扩展屏，n为正整数。
在步骤502中，可透视近眼显示设备通过位姿传感器采集传感器数据。
在步骤503中，可透视近眼显示设备向计算组件发送上述传感器数据。
在步骤504中，计算组件根据传感器数据，确定可透视近眼显示设备的位姿信息。
在步骤505中，计算组件根据可透视近眼显示设备的位姿信息、可透视近眼显示设备的FOV和n个虚拟扩展屏的位姿信息，确定n个虚拟扩展屏中的可见虚拟扩展屏。
上述步骤501-505的介绍说明，可参见图2实施例，本实施例对此不再赘述。
在步骤506中，计算组件向主显示设备发送内容获取请求，内容获取请求中包括可见虚拟扩展屏的标识信息。
在步骤507中，主显示设备根据内容获取请求，生成可见虚拟扩展屏对应的扩展显示内容。
在步骤508中，主显示设备向计算组件发送可见虚拟扩展屏对应的扩展显示内容。
在步骤509中，计算组件根据可见虚拟扩展屏的可见区域的位置信息，从可见虚拟扩展屏对应的扩展显示内容中，提取可见虚拟扩展屏的可见区域对应的扩展显示内容。
在本实施例中，主显示设备将可见虚拟扩展屏的整个屏幕区域的扩展显示内容发送给计算组件，由计算组件从中提取可见区域对应的扩展显示内容。在可透视近眼显示设备的位姿发生变化时，由于可透视近眼显示设备的FOV发生变化，因此可见区域会发生变化，使得所展示的扩展显示内容需要相应调整。相较于图4实施例，本实施例提供的方案中，当可见区域发生变化时，由于变化后的可见区域对应的扩展显示内容已经渲染生成并发送给计算组件，因此响应更加及时流畅。
在步骤510中，计算组件将可见虚拟扩展屏的可见区域对应的扩展显示内容发送给可透视近眼显示设备。
在步骤511中，可透视近眼显示设备在可见虚拟扩展屏中显示上述可见区域对应的扩展显示内容。
另外，主显示设备还可以生成主屏幕对应的主显示内容，并在主屏幕中显示主显示内容。
综上所述，本公开实施例提供的技术方案中，通过主显示设备将可见虚拟扩展屏对应的扩展显示内容发送给计算组件，由计算组件根据可见虚拟扩展屏的可见区域的位置信息，从可见虚拟扩展屏对应的扩展显示内容中，提取可见虚拟扩展屏的可见区域对应的扩展显示内容，从而当可见区域发生变化时，响应更加及时流畅。
图6是根据一示例性实施例示出的一种扩展内容显示过程的示意图。如图6所示，可透视近眼显示设备101在主显示设备103左右两侧各创建了一个虚拟扩展屏，即扩展屏1和扩展屏2。在图6的上侧部分中，扩展屏1在可透视近眼显示设备101的FOV内，因此扩展屏1为可见虚拟扩展屏。主显示设备103的显卡渲染生成扩展屏1对应的扩展显示内容，以及渲染生成主显示设备103的主屏幕对应的主显示内容。主显示设备103将扩展屏1对应的扩展显示内容发送给计算组件102，并在主屏幕上显示主显示内容。计算组件102将扩展屏1对应的扩展显示内容发送给可透视近眼显示设备101，可透视近眼显示设备101在扩展屏1上显示上述扩展显示内容。
当可透视近眼显示设备101的位姿发生变化，如图6的下侧部分所示，扩展屏2的部分区域在可透视近眼显示设备101的FOV内，因此扩展屏2为可见虚拟扩展屏，其左侧阴影区域为扩展屏2的可见区域。在一个示例中，主显示设备103的显卡渲染生成扩展屏2对应的扩展显示内容，以及渲染生成主屏幕对应的主显示内容。主显示设备103将扩展屏2对应的扩展显示内容发送给计算组件102，并在主屏幕上显示主显示内容。计算组件102根据扩展屏2的可见区域的位置信息，从扩展屏2对应的扩展显示内容中，提取扩展屏2的可见区域对应的扩展显示内容，并将其发送给可透视近眼显示设备101，可透视近眼显示设备101在扩展屏2的上述可见区域中显示接收到的扩展显示内容。
在一种可能的实现场景中，主显示设备103为笔记本电脑，可透视近眼显示设备101为AR眼镜。用户佩戴AR眼镜，使用AR眼镜在笔记本电脑左右两侧各创建一个虚拟扩展屏。笔记本电脑的主屏幕上可以显示桌面界面，用户可以将某一文档从主屏幕拖动到左侧的虚拟扩展屏，将即时通信应用的聊天界面从主屏幕拖动到右侧的虚拟扩展屏。例如，用户可以通过鼠标、AR手柄或手势动作完成上述拖动。当用户看向左侧的虚拟扩展屏时，左侧的虚拟扩展屏中显示相应的文档内容，用户可以编辑文档；当用户看向右侧的虚拟扩展屏时，右侧的虚拟扩展屏中显示相应的聊天界面，用户可以进行聊天会话。
在基于上述任一实施例提供的另一个可选实施例中，还提供了对虚拟扩展屏的位姿的调整功能。该调整过程可以包括如下几个步骤：
1、计算组件获取对应于n个虚拟扩展屏中的第i个虚拟扩展屏的位姿调整参数，i为小于等于n的正整数。
2、计算组件根据第i个虚拟扩展屏的位姿信息和第i个虚拟扩展屏的位姿调整参数，确定第i个虚拟扩展屏调整后的位姿信息。
3、计算组件向可透视近眼显示设备发送第i个虚拟扩展屏调整后的位姿信息。
4、可透视近眼显示设备根据第i个虚拟扩展屏调整后的位姿信息，展示第i个虚拟扩展屏。
用户可以通过手势、AR手柄或者鼠标等输入组件，执行对应于虚拟扩展屏的位姿的调整操作。相应地，计算组件可以根据上述调整操作，获取位姿调整参数。在本实施例中，仅以针对第i个虚拟扩展屏进行位姿调整为例进行介绍说明，任意一个虚拟扩展屏的位姿调整过程均可参见本实施例提供的方法流程。
可选地，位姿调整参数包括：位置调整参数和/或姿态调整参数。位置调整参数用于对虚拟扩展屏的位置进行调整，姿态调整参数用于对虚拟扩展屏的姿态进行调整。
通过上述方式，实现了对虚拟扩展屏的位姿进行调整，使得虚拟扩展屏的显示更具灵活性，更好地满足用户需求。
需要说明的是，在上述方法实施例中，仅从可透视近眼显示设备、计算组件和主显示设备交互的角度，对本公开技术方案进行了介绍说明。上述实施例中有关可透视近眼显示设备的步骤可以单独实现成为可透视近眼显示设备一侧的扩展内容显示方法，有关计算组件的步骤可以单独实现成为计算组件一侧的扩展内容显示方法，有关主显示设备的步骤可以单独实现成为主显示设备一侧的扩展内容显示方法。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图7是根据一示例性实施例示出的一种扩展内容显示装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以包括：位姿获取模块710、可见屏确定模块720、内容获取模块730和内容发送模块740。
位姿获取模块710，被配置为获取增强现实可透视近眼显示设备的位姿信息以及可透视近眼显示设备所创建的n个虚拟扩展屏的位姿信息，n为正整数。
可见屏确定模块720，被配置为根据可透视近眼显示设备的位姿信息、可透视近眼显示设备的FOV和n个虚拟扩展屏的位姿信息，确定n个虚拟扩展屏中的可见虚拟扩展屏；其中，可见虚拟扩展屏是指在可透视近眼显示设备的FOV内的虚拟扩展屏。
内容获取模块730，被配置为获取可见虚拟扩展屏对应的扩展显示内容。
内容发送模块740，被配置为将扩展显示内容发送给可透视近眼显示设备，以便可透视近眼显示设备在可见虚拟扩展屏中显示扩展显示内容。
综上所述，本公开实施例提供的技术方案中，通过可透视近眼显示设备创建虚拟扩展屏，将扩展显示内容在虚拟扩展屏中进行显示；相较于物理扩展屏，虚拟扩展屏的数量不会受制于主显示设备所具备的视频输出接口的数量限制，扩展性更强，且比物理扩展屏更具便捷性。
在基于图7实施例提供的一个可选实施例中，如图8所示，上述内容获取模块730，包括：请求发送单元731和内容接收单元732。
请求发送单元731，被配置为向主显示设备发送内容获取请求，内容获取请求中包括可见虚拟扩展屏的标识信息。
内容接收单元732，被配置为接收主显示设备发送的可见虚拟扩展屏对应的扩展显示内容。
可选地，上述内容获取请求中还包括可见虚拟扩展屏的可见区域的位置信息，可见虚拟扩展屏的可见区域是指可见虚拟扩展屏在可透视近眼显示设备的FOV内的显示区域。
上述内容接收单元732，被配置为接收主显示设备发送的可见虚拟扩展屏的可见区域对应的扩展显示内容。
在基于图7实施例提供的另一个可选实施例中，如图8所示，上述装置还包括：内容提取模块750。
内容提取模块750，被配置为根据可见虚拟扩展屏的可见区域的位置信息，从可见虚拟扩展屏对应的扩展显示内容中，提取可见虚拟扩展屏的可见区域对应的扩展显示内容；其中，可见虚拟扩展屏的可见区域是指可见虚拟扩展屏在可透视近眼显示设备的FOV内的显示区域。
内容发送模块740，被配置为将可见虚拟扩展屏的可见区域对应的扩展显示内容发送给可透视近眼显示设备。
在基于图7实施例或者上述任一可选实施例提供的另一个可选实施例中，如图8所示，上述装置还包括：参数获取模块760、位姿确定模块770和位姿发送模块780。
参数获取模块760，被配置为获取对应于n个虚拟扩展屏中的第i个虚拟扩展屏的位姿调整参数，i为小于等于n的正整数。
位姿确定模块770，被配置为根据第i个虚拟扩展屏的位姿信息和第i个虚拟扩展屏的位姿调整参数，确定第i个虚拟扩展屏调整后的位姿信息。
位姿发送模块780，被配置为向可透视近眼显示设备发送第i个虚拟扩展屏调整后的位姿信息，以便可透视近眼显示设备调整第i个虚拟扩展屏的位姿。
在基于图7实施例或者上述任一可选实施例提供的另一个可选实施例中，如图8所示，上述位姿获取模块710，包括：数据接收单元711、位姿确定单元712和位姿获取单元713。
数据接收单元711，被配置为接收可透视近眼显示设备通过位姿传感器采集的传感器数据。
位姿确定单元712，被配置为根据传感器数据确定可透视近眼显示设备的位姿信息。
位姿获取单元713，被配置为获取可透视近眼显示设备所创建的n个虚拟扩展屏的位姿信息。
在基于图7实施例或者上述任一可选实施例提供的另一个可选实施例中，可透视近眼显示设备的位姿信息包括：可透视近眼显示设备的当前位置相对于基准位置的距离偏移信息，以及可透视近眼显示设备的当前朝向相对于基准朝向的角度偏移信息。
需要说明的一点是，上述实施例提供的装置在实现其功能时，仅以上述各个功能模块的划分进行举例说明，实际应用中，可以根据实际需要而将上述功能分配由不同的功能模块完成，即将设备的内容结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开一示例性实施例还提供了一种扩展内容显示系统，上述系统可以包括：可透视近眼显示设备、计算组件和主显示设备。
可透视近眼显示设备，被配置为创建n个虚拟扩展屏，n为正整数。
计算组件，被配置为根据可透视近眼显示设备的位姿信息、可透视近眼显示设备的FOV和n个虚拟扩展屏的位姿信息，确定n个虚拟扩展屏中的可见虚拟扩展屏；其中，可见虚拟扩展屏是指在可透视近眼显示设备的FOV内的虚拟扩展屏。
计算组件，还被配置为从主显示设备获取可见虚拟扩展屏对应的扩展显示内容。
计算组件，还被配置为将扩展显示内容发送给可透视近眼显示设备。
可透视近眼显示设备，被配置为在可见虚拟扩展屏中显示扩展显示内容。
本公开一示例性实施例还提供了一种扩展内容显示装置，能够实现本公开提供的扩展内容显示方法。该装置包括：处理器，以及用于存储处理器的可执行指令的存储器。其中，处理器被配置为：
获取可透视近眼显示设备的位姿信息以及可透视近眼显示设备所创建的n个虚拟扩展屏的位姿信息，n为正整数；
根据可透视近眼显示设备的位姿信息、可透视近眼显示设备的FOV和n个虚拟扩展屏的位姿信息，确定n个虚拟扩展屏中的可见虚拟扩展屏；其中，可见虚拟扩展屏是指在可透视近眼显示设备的FOV内的虚拟扩展屏；
获取可见虚拟扩展屏对应的扩展显示内容；
将扩展显示内容发送给可透视近眼显示设备，以便可透视近眼显示设备在可见虚拟扩展屏中显示扩展显示内容。
可选地，处理器被配置为：
向主显示设备发送内容获取请求，内容获取请求中包括可见虚拟扩展屏的标识信息；
接收主显示设备发送的可见虚拟扩展屏对应的扩展显示内容。
可选地，内容获取请求中还包括可见虚拟扩展屏的可见区域的位置信息；
相应地，处理器还被配置为：
接收主显示设备发送的可见虚拟扩展屏的可见区域对应的扩展显示内容。
可选地，处理器还被配置为：
根据可见虚拟扩展屏的可见区域的位置信息，从可见虚拟扩展屏对应的扩展显示内容中，提取可见虚拟扩展屏的可见区域对应的扩展显示内容；
将可见虚拟扩展屏的可见区域对应的扩展显示内容发送给可透视近眼显示设备。
可选地，处理器还被配置为：
获取对应于n个虚拟扩展屏中的第i个虚拟扩展屏的位姿调整参数，i为小于等于n的正整数；
根据第i个虚拟扩展屏的位姿信息和第i个虚拟扩展屏的位姿调整参数，确定第i个虚拟扩展屏调整后的位姿信息；
向可透视近眼显示设备发送第i个虚拟扩展屏调整后的位姿信息，以便可透视近眼显示设备调整第i个虚拟扩展屏的位姿。
可选地，处理器被配置为：
接收可透视近眼显示设备通过位姿传感器采集的传感器数据；
根据传感器数据确定可透视近眼显示设备的位姿信息。
可选地，所述可透视近眼显示设备的位姿信息包括：所述可透视近眼显示设备的当前位置相对于基准位置的距离偏移信息，以及所述可透视近眼显示设备的当前朝向相对于基准朝向的角度偏移信息。
图9是根据一示例性实施例示出的一种装置900的框图。例如，装置900可以是上文介绍的可透视近眼显示设备、计算组件或主显示设备。
参照图9，装置900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出接口912，传感器组件914，以及通信组件916。
处理组件902通常控制装置900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在装置900的操作。这些数据的示例包括用于在装置900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件906为装置900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为装置900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当装置900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当装置900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
输入/输出接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器，用于为装置900提供各个方面的状态评估。例如，传感器组件914可以检测到装置900的打开/关闭状态，组件的相对定位，例如所述组件为装置900的显示器和小键盘，传感器组件914还可以检测装置900或装置900一个组件的位置改变，用户与装置900接触的存在或不存在，装置900方位或加速/减速和装置900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由装置900的处理器920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令(或计算机程序)由装置900的处理器执行时，使得装置900能够执行上述扩展内容显示方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (25)

1.一种扩展内容显示方法，其特征在于，所述方法包括：
获取可透视近眼显示设备的位姿信息以及所述可透视近眼显示设备所创建的n个虚拟扩展屏的位姿信息，所述n为正整数；
根据所述可透视近眼显示设备的位姿信息、所述可透视近眼显示设备的视场角FOV和所述n个虚拟扩展屏的位姿信息，确定所述n个虚拟扩展屏中的可见虚拟扩展屏；其中，所述可见虚拟扩展屏是指在所述可透视近眼显示设备的视场角FOV内的虚拟扩展屏；
获取所述可见虚拟扩展屏对应的扩展显示内容；
将所述扩展显示内容发送给所述可透视近眼显示设备，以便所述可透视近眼显示设备在所述可见虚拟扩展屏中显示所述扩展显示内容。
2.根据权利要求1所述的方法，其特征在于，所述获取所述可见虚拟扩展屏对应的扩展显示内容，包括：
向主显示设备发送内容获取请求，所述内容获取请求中包括所述可见虚拟扩展屏的标识信息；
接收所述主显示设备发送的所述可见虚拟扩展屏对应的扩展显示内容。
3.根据权利要求2所述的方法，其特征在于，所述内容获取请求中还包括所述可见虚拟扩展屏的可见区域的位置信息，所述可见虚拟扩展屏的可见区域是指所述可见虚拟扩展屏在所述可透视近眼显示设备的FOV内的显示区域；
所述接收所述主显示设备发送的所述可见虚拟扩展屏对应的扩展显示内容，包括：
接收所述主显示设备发送的所述可见虚拟扩展屏的可见区域对应的扩展显示内容。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述可见虚拟扩展屏的可见区域的位置信息，从所述可见虚拟扩展屏对应的扩展显示内容中，提取所述可见虚拟扩展屏的可见区域对应的扩展显示内容；其中，所述可见虚拟扩展屏的可见区域是指所述可见虚拟扩展屏在所述可透视近眼显示设备的FOV内的显示区域；
所述将所述扩展显示内容发送给所述可透视近眼显示设备，包括：
将所述可见虚拟扩展屏的可见区域对应的扩展显示内容发送给所述可透视近眼显示设备。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
获取对应于所述n个虚拟扩展屏中的第i个虚拟扩展屏的位姿调整参数，所述i为小于等于n的正整数；
根据所述第i个虚拟扩展屏的位姿信息和所述第i个虚拟扩展屏的位姿调整参数，确定所述第i个虚拟扩展屏调整后的位姿信息；
向所述可透视近眼显示设备发送所述第i个虚拟扩展屏调整后的位姿信息，以便所述可透视近眼显示设备调整所述第i个虚拟扩展屏的位姿。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述获取可透视近眼显示设备的位姿信息，包括：
接收所述可透视近眼显示设备通过位姿传感器采集的传感器数据；
根据所述传感器数据确定所述可透视近眼显示设备的位姿信息。
7.根据权利要求1至4任一项所述的方法，其特征在于，所述可透视近眼显示设备位姿信息包括：所述可透视近眼显示设备的当前位置相对于基准位置的距离偏移信息，以及所述可透视近眼显示设备的当前朝向相对于基准朝向的角度偏移信息。
8.一种扩展内容显示方法，其特征在于，应用于扩展内容显示系统中，所述系统包括：增强现实可透视近眼显示设备、计算组件和主显示设备；所述方法包括：
所述可透视近眼显示设备创建n个虚拟扩展屏，所述n为正整数；
所述计算组件根据所述可透视近眼显示设备的位姿信息、所述可透视近眼显示设备的视场角FOV和所述n个虚拟扩展屏的位姿信息，确定所述n个虚拟扩展屏中的可见虚拟扩展屏；其中，所述可见虚拟扩展屏是指在所述可透视近眼显示设备的FOV内的虚拟扩展屏；
所述计算组件从所述主显示设备获取所述可见虚拟扩展屏对应的扩展显示内容；
所述计算组件将所述扩展显示内容发送给所述可透视近眼显示设备；
所述可透视近眼显示设备在所述可见虚拟扩展屏中显示所述扩展显示内容。
9.根据权利要求8所述的方法，其特征在于，所述计算组件从所述主显示设备获取所述可见虚拟扩展屏对应的扩展显示内容，包括：
所述计算组件向所述主显示设备发送内容获取请求，所述内容获取请求中包括所述可见虚拟扩展屏的标识信息；
所述主显示设备根据所述内容获取请求，生成所述可见虚拟扩展屏对应的扩展显示内容；
所述主显示设备向所述计算组件发送所述扩展显示内容。
10.根据权利要求9所述的方法，其特征在于，所述内容获取请求中还包括所述可见虚拟扩展屏的可见区域的位置信息，所述可见虚拟扩展屏的可见区域是指所述可见虚拟扩展屏在所述可透视近眼显示设备的FOV内的显示区域；
所述主显示设备根据所述内容获取请求，生成所述可见虚拟扩展屏对应的扩展显示内容，包括：
所述主显示设备根据所述可见虚拟扩展屏的可见区域的位置信息，生成所述可见虚拟扩展屏的可见区域对应的扩展显示内容。
11.根据权利要求8所述的方法，其特征在于，所述方法还包括：
所述计算组件根据所述可见虚拟扩展屏的可见区域的位置信息，从所述可见虚拟扩展屏对应的扩展显示内容中，提取所述可见虚拟扩展屏的可见区域对应的扩展显示内容；其中，所述可见虚拟扩展屏的可见区域是指所述可见虚拟扩展屏在所述可透视近眼显示设备的FOV内的显示区域；
所述计算组件将所述扩展显示内容发送给所述可透视近眼显示设备，包括：
所述计算组件将所述可见虚拟扩展屏的可见区域对应的扩展显示内容发送给所述可透视近眼显示设备。
12.根据权利要求8至11任一项所述的方法，其特征在于，所述方法还包括：
所述计算组件获取对应于所述n个虚拟扩展屏中的第i个虚拟扩展屏的位姿调整参数，所述i为小于等于n的正整数；
所述计算组件根据所述第i个虚拟扩展屏的位姿信息和所述第i个虚拟扩展屏的位姿调整参数，确定所述第i个虚拟扩展屏调整后的位姿信息；
所述计算组件向所述可透视近眼显示设备发送所述第i个虚拟扩展屏调整后的位姿信息；
所述可透视近眼显示设备根据所述第i个虚拟扩展屏调整后的位姿信息，展示所述第i个虚拟扩展屏。
13.根据权利要求8至11任一项所述的方法，其特征在于，所述方法还包括：
所述可透视近眼显示设备通过位姿传感器采集传感器数据，向所述计算组件发送所述传感器数据；
所述计算组件根据所述传感器数据，确定所述可透视近眼显示设备的位姿信息。
14.根据权利要求8至11任一项所述的方法，其特征在于，所述方法还包括：
所述主显示设备生成主屏幕对应的主显示内容，所述主屏幕是指所述主显示设备的屏幕；
所述主显示设备在所述主屏幕中显示所述主显示内容。
15.根据权利要求8至11任一项所述的方法，其特征在于，
所述计算组件集成于所述可透视近眼显示设备中；
或者，
所述计算组件集成于所述主显示设备中；
或者，
所述计算组件是独立于所述可透视近眼显示设备和所述主显示设备的装置。
16.一种扩展内容显示装置，其特征在于，所述装置包括：
位姿获取模块，被配置为获取可透视近眼显示设备的位姿信息以及所述可透视近眼显示设备所创建的n个虚拟扩展屏的位姿信息，所述n为正整数；
可见屏确定模块，被配置为根据所述可透视近眼显示设备的位姿信息、所述可透视近眼显示设备的视场角FOV和所述n个虚拟扩展屏的位姿信息，确定所述n个虚拟扩展屏中的可见虚拟扩展屏；其中，所述可见虚拟扩展屏是指在所述可透视近眼显示设备的FOV内的虚拟扩展屏；
内容获取模块，被配置为获取所述可见虚拟扩展屏对应的扩展显示内容；
内容发送模块，被配置为将所述扩展显示内容发送给所述可透视近眼显示设备，以便所述可透视近眼显示设备在所述可见虚拟扩展屏中显示所述扩展显示内容。
17.根据权利要求16所述的装置，其特征在于，所述内容获取模块，包括：
请求发送单元，被配置为向主显示设备发送内容获取请求，所述内容获取请求中包括所述可见虚拟扩展屏的标识信息；
内容接收单元，被配置为接收所述主显示设备发送的所述可见虚拟扩展屏对应的扩展显示内容。
18.根据权利要求17所述的装置，其特征在于，所述内容获取请求中还包括所述可见虚拟扩展屏的可见区域的位置信息，所述可见虚拟扩展屏的可见区域是指所述可见虚拟扩展屏在所述可透视近眼显示设备的FOV内的显示区域；
所述内容接收单元，被配置为接收所述主显示设备发送的所述可见虚拟扩展屏的可见区域对应的扩展显示内容。
19.根据权利要求16所述的装置，其特征在于，所述装置还包括：
内容提取模块，被配置为根据所述可见虚拟扩展屏的可见区域的位置信息，从所述可见虚拟扩展屏对应的扩展显示内容中，提取所述可见虚拟扩展屏的可见区域对应的扩展显示内容；其中，所述可见虚拟扩展屏的可见区域是指所述可见虚拟扩展屏在所述可透视近眼显示设备的FOV内的显示区域；
所述内容发送模块，被配置为将所述可见虚拟扩展屏的可见区域对应的扩展显示内容发送给所述可透视近眼显示设备。
20.根据权利要求16至19任一项所述的装置，其特征在于，所述装置还包括：
参数获取模块，被配置为获取对应于所述n个虚拟扩展屏中的第i个虚拟扩展屏的位姿调整参数，所述i为小于等于n的正整数；
位姿确定模块，被配置为根据所述第i个虚拟扩展屏的位姿信息和所述第i个虚拟扩展屏的位姿调整参数，确定所述第i个虚拟扩展屏调整后的位姿信息；
位姿发送模块，被配置为向所述可透视近眼显示设备发送所述第i个虚拟扩展屏调整后的位姿信息，以便所述可透视近眼显示设备调整所述第i个虚拟扩展屏的位姿。
21.根据权利要求16至19任一项所述的装置，其特征在于，所述位姿获取模块，包括：
数据接收单元，被配置为接收所述可透视近眼显示设备通过位姿传感器采集的传感器数据；
位姿确定单元，被配置为根据所述传感器数据确定所述可透视近眼显示设备的位姿信息。
22.根据权利要求16至19任一项所述的装置，其特征在于，所述可透视近眼显示设备的位姿信息包括：所述可透视近眼显示设备的当前位置相对于基准位置的距离偏移信息，以及所述可透视近眼显示设备的当前朝向相对于基准朝向的角度偏移信息。
23.一种扩展内容显示系统，其特征在于，所述系统包括：可透视近眼显示设备、计算组件和主显示设备；
所述可透视近眼显示设备，被配置为创建n个虚拟扩展屏，所述n为正整数；
所述计算组件，被配置为根据所述可透视近眼显示设备的位姿信息、所述可透视近眼显示设备的视场角FOV和所述n个虚拟扩展屏的位姿信息，确定所述n个虚拟扩展屏中的可见虚拟扩展屏；其中，所述可见虚拟扩展屏是指在所述可透视近眼显示设备的FOV内的虚拟扩展屏；
所述计算组件，还被配置为从所述主显示设备获取所述可见虚拟扩展屏对应的扩展显示内容；
所述计算组件，还被配置为将所述扩展显示内容发送给所述可透视近眼显示设备；
所述可透视近眼显示设备，被配置为在所述可见虚拟扩展屏中显示所述扩展显示内容。
24.一种扩展内容显示装置，其特征在于，所述装置包括：
处理器；
用于存储所述处理器的可执行指令的存储器；
其中，所述处理器被配置为：
获取可透视近眼显示设备的位姿信息以及所述可透视近眼显示设备所创建的n个虚拟扩展屏的位姿信息，所述n为正整数；
根据所述可透视近眼显示设备的位姿信息、所述可透视近眼显示设备的视场角FOV和所述n个虚拟扩展屏的位姿信息，确定所述n个虚拟扩展屏中的可见虚拟扩展屏；其中，所述可见虚拟扩展屏是指在所述可透视近眼显示设备的FOV内的虚拟扩展屏；
获取所述可见虚拟扩展屏对应的扩展显示内容；
将所述扩展显示内容发送给所述可透视近眼显示设备，以便所述可透视近眼显示设备在所述可见虚拟扩展屏中显示所述扩展显示内容。
25.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201880001631.1A 2018-10-12 2018-10-12 扩展内容显示方法、装置、系统及存储介质 Active CN109496293B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/110138 WO2020073334A1 (zh) 2018-10-12 2018-10-12 扩展内容显示方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN109496293A CN109496293A (zh) 2019-03-19
CN109496293B true CN109496293B (zh) 2020-12-04

Family

ID=65713825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880001631.1A Active CN109496293B (zh) 2018-10-12 2018-10-12 扩展内容显示方法、装置、系统及存储介质

Country Status (2)

Country Link
CN (1) CN109496293B (zh)
WO (1) WO2020073334A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109831662B (zh) * 2019-03-22 2021-10-08 芋头科技（杭州）有限公司 Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质
CN110069230A (zh) * 2019-04-24 2019-07-30 北京小米移动软件有限公司 扩展内容显示方法、装置及存储介质
CN111913674A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、系统、终端设备及存储介质
CN111913560A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、系统、终端设备及存储介质
CN111176520B (zh) * 2019-11-13 2021-07-16 联想(北京)有限公司 一种调整方法及装置
CN111708504A (zh) * 2020-06-16 2020-09-25 成都忆光年文化传播有限公司 一种扩展屏幕的显示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059954A (zh) * 2006-04-20 2007-10-24 松下电器产业株式会社 显示装置以及显示方法
CN101726296A (zh) * 2009-12-22 2010-06-09 哈尔滨工业大学 空间机器人视觉测量、路径规划、gnc一体化仿真系统
CN102771121A (zh) * 2010-01-06 2012-11-07 佳能株式会社 照相机平台系统
CN102782747A (zh) * 2009-12-15 2012-11-14 Ati科技无限责任公司 用于将显示面分割成多个虚拟显示区域的装置和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013059494A1 (en) * 2011-10-18 2013-04-25 Reald Inc. Electronic display tiling apparatus and method thereof
KR102191867B1 (ko) * 2013-07-10 2020-12-16 엘지전자 주식회사 복수의 유저 인터페이스 포맷을 포함하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059954A (zh) * 2006-04-20 2007-10-24 松下电器产业株式会社 显示装置以及显示方法
CN102782747A (zh) * 2009-12-15 2012-11-14 Ati科技无限责任公司 用于将显示面分割成多个虚拟显示区域的装置和方法
CN101726296A (zh) * 2009-12-22 2010-06-09 哈尔滨工业大学 空间机器人视觉测量、路径规划、gnc一体化仿真系统
CN102771121A (zh) * 2010-01-06 2012-11-07 佳能株式会社 照相机平台系统

Also Published As

Publication number Publication date
WO2020073334A1 (zh) 2020-04-16
CN109496293A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN109496293B (zh) 扩展内容显示方法、装置、系统及存储介质
EP3540571B1 (en) Method and device for editing virtual scene, and non-transitory computer-readable storage medium
US11803055B2 (en) Sedentary virtual reality method and systems
CN107977083B (zh) 基于vr系统的操作执行方法及装置
CN107515669B (zh) 显示方法及装置
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
CN106774849B (zh) 虚拟现实设备控制方法及装置
US20220157274A1 (en) Method and apparatus for adjusting brightness, display device, and storage medium
CN107797662B (zh) 视场角控制方法、装置及电子设备
CN108346179B (zh) Ar设备显示方法和装置
CN110782532B (zh) 图像生成方法、生成装置、电子设备及存储介质
US20230409192A1 (en) Device Interaction Method, Electronic Device, and Interaction System
CN112331158B (zh) 终端显示调节方法、装置、设备及存储介质
EP3599763A2 (en) Method and apparatus for controlling image display
WO2023115777A1 (zh) 光标控制方法、装置、电子设备和存储介质
CN115914721A (zh) 直播画面处理方法、装置、电子设备及存储介质
CN107918514B (zh) 展示方法及装置、电子设备、计算机可读存储介质
CN114116106A (zh) 图表显示方法及装置、电子设备和存储介质
CN106598217B (zh) 显示方法、显示装置和电子设备
CN106775245B (zh) 基于虚拟现实的用户属性设置方法及装置
CN110955328B (zh) 电子设备的控制方法、装置及存储介质
KR102262019B1 (ko) 네트워크 속도 반응형 확장현실(xr) 커뮤니케이션 방법 및 시스템
US20220291890A1 (en) Method for interaction between devices and medium
CN108596719B (zh) 图像显示方法及装置
CN115793846A (zh) 设备交互方法、设备交互装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant