CN115834754A - 交互控制方法、装置、头戴显示设备及介质 - Google Patents

交互控制方法、装置、头戴显示设备及介质 Download PDF

Info

Publication number
CN115834754A
CN115834754A CN202211204524.3A CN202211204524A CN115834754A CN 115834754 A CN115834754 A CN 115834754A CN 202211204524 A CN202211204524 A CN 202211204524A CN 115834754 A CN115834754 A CN 115834754A
Authority
CN
China
Prior art keywords
target
display window
attribute information
interaction
screen picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211204524.3A
Other languages
English (en)
Inventor
陈永富
史高建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202211204524.3A priority Critical patent/CN115834754A/zh
Publication of CN115834754A publication Critical patent/CN115834754A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种交互控制方法、装置、头戴显示设备及介质,方法包括:显示多个显示窗口;多个显示窗口位于头戴显示设备的显示区域的不同位置,不同显示窗口显示不同终端设备传输的不同屏幕画面;若多个显示窗口中的目标显示窗口接收到交互指令的情况下,则获取交互指令的交互位置、目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息;根据交互位置、第一属性信息和第二属性信息,确定交互位置对应至目标屏幕画面的映射位置;发送映射位置和第二属性信息至目标屏幕画面所属的目标终端设备,以根据映射位置和第二属性信息将交互指令重新封装分发至目标屏幕画面进行响应。

Description

交互控制方法、装置、头戴显示设备及介质
技术领域
本公开实施例涉及穿戴设备技术领域,更具体地,涉及一种交互控制方法、一种交互控制装置、一种头戴显示设备、及一种计算机可读存储介质。
背景技术
在头戴显示设备例如AR眼镜的使用中,支持终端设备例如手机将自身屏幕数据通过网络传输到AR眼镜上,然后由AR眼镜将屏幕数据渲染之后显示。在一个具体地场景中,每个手机上同时开启多个应用,多个应用同时运行,但只有一个应用实际运行在手机物理屏幕上,其他应用运行在使用者看不到的虚拟屏幕上,但是通过串流的方式,可以将使用者所看不到的其他虚拟屏幕数据发送到AR眼镜上,由AR眼镜将该手机的每个屏幕数据分别渲染在一个独立的显示窗口上显示。而且,不仅支持同一手机多屏幕数据串流到AR眼镜进行显示,还支持多个手机多屏幕数据串流到AR眼镜进行显示。
然而,由于手机端只有一个屏幕显示在最前端,其他屏幕在后台运行导致用户看不到画面。这样只是将手机的画面显示在AR眼镜上,而画面中显示的每个应用实际是运行在每个手机上,当佩戴者在AR眼镜上与每个应用进行交互,比如播放视频、暂停视频等,在AR眼镜端的响应并不能控制手机。
发明内容
本公开实施例的一个目的是提供一种交互控制的新的技术方案。
根据本公开实施例的第一方面,提供一种交互控制方法,所述方法包括:
显示多个显示窗口;其中,多个所述显示窗口位于头戴显示设备的显示区域的不同位置,不同所述显示窗口显示不同终端设备传输的不同屏幕画面;
若多个所述显示窗口中的目标显示窗口接收到交互指令,则获取所述交互指令的交互位置、所述目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息;
根据所述交互位置、所述第一属性信息和所述第二属性信息,确定所述交互位置对应至所述目标屏幕画面的映射位置;
发送所述映射位置和所述第二属性信息至所述目标屏幕画面所属的目标终端设备,以根据所述映射位置和所述第二属性信息将所述交互指令重新封装分发至所述目标屏幕画面进行响应。
可选地,所述第一属性信息包括所述目标显示窗口的尺寸和所述目标显示窗口的左上角坐标位置,所述第二属性信息包括所述目标屏幕画面的尺寸,
所述根据所述交互位置、所述第一属性信息和所述第二属性信息,确定所述交互位置对应至所述目标屏幕画面的映射位置,包括:
根据所述目标显示窗口的左上角坐标位置和所述交互位置,确定所述交互位置在所述目标显示窗口内的相对位置;
根据所述相对位置和所述目标显示窗口的尺寸,确定所述相对位置在所述目标显示窗口的伸缩比例;
根据所述伸缩比例和所述目标屏幕画面的尺寸,确定所述交互位置对应至所述目标屏幕画面的映射位置。
可选地,所述交互位置在所述目标显示窗口内的相对位置包括:所述交互位置在所述目标显示窗口内的水平方向相对位置、及所述交互位置在所述目标显示窗口内的竖直方向相对位置,
所述根据所述目标显示窗口的左上角坐标位置和所述交互位置,确定所述交互位置在所述目标显示窗口内的相对位置,包括:
根据所述交互位置的水平方向坐标位置和所述目标显示窗口的左上角水平方向坐标位置,获得所述交互位置在所述目标显示窗口内的水平方向相对位置;
根据所述交互位置的竖直方向坐标位置和所述目标显示窗口的左上角竖直方向坐标位置,获得所述交互位置在所述目标显示窗口内的竖直方向相对位置。
可选地,所述相对位置在所述目标显示窗口的伸缩比例包括:所述相对位置在所述目标显示窗口的水平方向伸缩比例、及所述相对位置在所述目标显示窗口的竖直方向伸缩比例,
所述根据所述相对位置和所述目标显示窗口的尺寸,确定所述相对位置在所述目标显示窗口的伸缩比例,包括:
根据所述交互位置在所述目标显示窗口内的水平方向相对位置和所述目标显示窗口的宽度,获得所述相对位置在所述目标显示窗口的水平方向伸缩比例;
根据所述交互位置在所述目标显示窗口内的竖直方向相对位置和所述目标显示窗口的高度,获得所述相对位置在所述目标显示窗口的竖直方向伸缩比例。
可选地,所述交互位置对应至所述目标屏幕画面的映射位置包括:所述交互位置对应至所述目标屏幕画面的水平方向映射位置、及所述交互位置对应至所述目标屏幕画面的竖直方向映射位置,
所述根据所述伸缩比例和所述目标屏幕画面的尺寸,确定所述交互位置对应至所述目标屏幕画面的映射位置,包括:
根据所述相对位置在所述目标显示窗口的水平方向伸缩比例和所述目标屏幕画面的宽度,获得所述交互位置对应至所述目标屏幕画面的水平方向映射位置;
根据所述相对位置在所述目标显示窗口的竖直方向伸缩比例和所述目标屏幕画面的高度,获得所述交互位置对应至所述目标屏幕画面的竖直方向映射位置。
可选地,所述第二属性信息包括所述目标终端设备的网络通信IP地址和端口号;
所述将所述映射位置和所述第二属性信息发送至所述目标屏幕画面所属的目标终端设备,包括:
基于所述目标终端设备的网络通信IP地址和端口号,将所述映射位置和所述第二属性信息发送至所述目标屏幕画面所属的目标终端设备。
可选地,获取所述目标显示窗口的第一属性信息和目标屏幕画面的第二属性信息,包括:
获取设定的映射数据;其中,所述设定的映射数据包括不同屏幕画面的第一属性信息及其对应的显示窗口的第二属性信息;
根据所述映射数据,确定出所述目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息。
根据本公开实施例的第二方面,提供了一种交互控制装置,所述装置包括:
显示模块,用于显示多个显示窗口;其中,多个所述显示窗口位于头戴显示设备的显示区域的不同位置,不同所述显示窗口显示不同终端设备传输的不同屏幕画面;
接收模块,用于通过所述多个显示窗口中的目标显示窗口接收交互指令;
获取模块,用于获取所述交互指令的交互位置、所述目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息;
确定模块,用于根据所述交互位置、所述第一属性信息和所述第二属性信息,确定所述交互位置对应至所述目标屏幕画面上的映射位置;
发送模块,用于将所述映射位置和所述第二属性信息发送至所述目标屏幕画面所属的目标终端设备,以根据所述映射位置和所述第二属性信息将所述交互指令重新封装分发至所述目标屏幕画面进行响应。
根据本公开实施例的第三方面,提供了一种头戴显示设备,所述头戴显示设备包括:
存储器,用于存储可执行的计算机指令;
处理器,用于根据所述可执行的计算机指令的控制,执行根据以上第一方面所述的交互控制方法。
根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令被处理器运行时执行以上第一方面所述的交互控制方法。
本公开实施例的一个有益效果在于,其在头戴显示设备的多个显示窗口中的目标显示窗口接收到交互指令的情况下,会先获取交互指令的交互位置、目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息,以及根据交互位置、第一属性信息和第二属性信息,确定交互位置对应至目标屏幕画面的映射位置,并发送映射位置和第二属性信息至目标屏幕画面所属的目标终端设备,以根据映射位置和第二属性信息将交互指令重新封装分发至目标屏幕画面进行响应。即,当多个终端设备同时开启多个屏幕并且同时串流投屏到头戴显示设备上之后,通过头戴显示设备选择某一个显示窗口进行交互时,头戴显示设备能够准确计算出交互位置所属终端设备、所属终端设备的对应显示屏幕及在对应显示屏幕上的映射位置,进而在该终端设备上模拟交互指令分发至对应的显示屏幕响应。
通过以下参照附图对本说明书的示例性实施例的详细描述,本说明书的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例,并且连同其说明一起用于解释本说明书的原理。
图1是根据本公开实施例的头戴显示设备的硬件配置示意图;
图2是根据本公开实施例的头戴显示设备和手机的交互示意图;
图3是根据本公开实施例的交互控制方法的流程示意图;
图4是根据本公开实施例的虚拟屏幕的显示示意图;
图5是根据本公开实施例的交互控制装置的原理框图;
图6是根据本公开实施例的头戴显示设备的原理框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开实施例的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
图1是根据本公开实施例的头戴显示设备1000的硬件配置的框图。
如图1所示,该头戴显示设备1000可以是智能眼镜,该智能眼镜可以是AR眼镜,当然还可以是其他设备,本公开实施例对此不作限定。
在一个实施例中,如图1所示,头戴显示设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。
其中,处理器1100可以包括但不限于中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括各种总线接口,例如串行总线接口(包括USB接口)、并行总线接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、LED显示屏、OLED(Organic Light-Emitting Diode)显示屏等。输入装置1600例如包括触摸屏、键盘、手柄等。头戴显示设备1000可以通过扬声器1700输出音频信息,可以通过麦克风1800采集音频信息。
本领域技术人员应当理解,尽管在图1中示出了头戴显示设备1000的多个装置,但是,本说明书实施例的头戴显示设备1000可以仅涉及其中的部分装置,也可以还包含其他装置,在此不做限定。
本实施例中,头戴显示设备1000的存储器1200用于存储指令,该指令用于控制处理器1100进行操作以实施或者支持实施根据任意实施例的交互控制方法。技术人员可以根据本说明书所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
在上述描述中,技术人员可以根据本公开所提供的方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
图1所示的头戴显示设备仅是解释性的,并且决不是为了要限制本公开、其应用或用途。
下面,参照附图描述根据本公开的各个实施例和例子。
<方法实施例>
图3示出了本公开的一个实施例的交互控制方法,该交互控制方法可以由头戴显示设备实施,也可以是由独立于头戴显示设备的控制设备和头戴显示设备共同实施,还可以是由云端服务器、头戴显示设备和终端设备共同实施,其中,头戴显示设备可以是AR眼镜,终端设备可以是手机。
如图3所示,该实施例的交互控制方法可以包括如下步骤S3100~步骤S3400:
步骤S3100,显示多个显示窗口;其中,多个所述显示窗口位于头戴显示设备的显示区域的不同位置,不同所述显示窗口显示不同终端设备传输的不同屏幕画面。
以手机和AR眼镜交互为例,参照图2所示,手机1将屏幕画面1、屏幕画面2和屏幕画面3的屏幕数据串流至AR眼镜,手机2将屏幕画面4、屏幕画面5和屏幕画面6的屏幕数据串流至AR眼镜,手机3将屏幕画面7、屏幕画面8和屏幕画面9的屏幕数据串流至AR眼镜。
与此同时,AR眼镜的桌面启动器Launcher支持多个显示窗口,例如AR眼镜的显示窗口1显示屏幕画面1,AR眼镜的显示窗口2显示屏幕画面2,AR眼镜的显示窗口3显示屏幕画面3。AR眼镜的显示窗口4显示屏幕画面4,AR眼镜的显示窗口5显示屏幕画面5,AR眼镜的显示窗口6显示屏幕画面6。AR眼镜的显示窗口7显示屏幕画面7,AR眼镜的显示窗口8显示屏幕画面8,AR眼镜的显示窗口9显示屏幕画面9。可以理解的是,对于手机1、手机2、手机3,其通常仅有一个屏幕画面显示在最前端,其他屏幕画面在后台运行但是对于用户而言是不可见的。
随后,进入步骤S3200,若多个所述显示窗口中的目标显示窗口接收到交互指令,则获取所述交互指令的交互位置、所述目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息。
可选地,交互指令可以是交互设备发送的射线事件,该交互设备可以是手机、手柄、鼠标等设备。例如,当用鼠标交互时,可以将接收到的鼠标交互点信息,模拟一个交互事件。
可选地,交互指令可以是用户针对头戴显示设备的桌面启动器Launcher的触摸输入。
交互指令的交互位置为,交互指令与头戴显示设备的显示区域的交互点的位置,图2和图4所示的黑色圆圈为交互点,交互指令的交互位置为(x、y),其中,x为交互位置的水平方向坐标位置,Y为交互位置的竖直方向坐标位置。
目标显示窗口的第一属性信息包括:目标显示窗口的尺寸和目标显示窗口的左上角坐标位置。其中,目标显示窗口的尺寸包括目标显示窗口的宽度displayWidth和高度displayHeight。其中,目标显示窗口的左上角坐标位置为图4所示的(x1,y1),其中,x1为目标显示窗口的左上角水平方向坐标位置、y1为目标显示窗口的左上角竖直方向坐标位置。
目标屏幕画面的第二属性信息包括:目标屏幕画面的尺寸、目标屏幕画面在所属终端设备的唯一标识Id、目标屏幕画面所属目标终端设备的唯一标识Id、目标屏幕画面所属目标终端设备的网络通信IP地址和端口号。其中,目标屏幕画面的尺寸包括目标屏幕画面的宽度displayWidth和高度displayHeight。
本实施例中,本步骤S3200中获取所述目标显示窗口的第一属性信息和目标屏幕画面的第二属性信息可以进一步包括:获取设定的映射数据;其中,所述设定的映射数据包括不同屏幕画面的第一属性信息及其对应的显示窗口的第二属性信息;根据所述映射数据,确定出所述目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息。
可以理解的是,头戴显示设备每接收到一个投屏过来的终端设备的屏幕画面,便需要记录对应的屏幕信息,例如但不限于记录屏幕画面所在终端设备的唯一标识id、网络通信IP地址和端口号;屏幕画面在对应终端设备上的唯一Id、屏幕画面的尺寸(例如屏幕画面的宽度screenWidth和高度screenHeight);在头戴显示设备上显示屏幕画面时显示窗口的尺寸(例如显示窗口的宽度displayWidth和高度displayHeight)、显示窗口的左上角坐标位置(x1,y1),其中,x1为显示窗口的左上角水平方向坐标位置,y1表示显示窗口的左上角竖直方向坐标位置。并且,每一个屏幕信息保存一条记录以组成映射数据,当虚拟屏幕显示应用退出同时也有删除对应的记录,以对映射数据进行更新。
参照图4,以目标显示窗口为显示窗口3,目标屏幕画面为手机1的屏幕画面3为例,在此,需要获取显示窗口3的尺寸例如显示窗口3的宽度displayWidth和高度displayHeight,以及显示窗口3的左上角坐标位置(x1,y1),屏幕画面1的唯一标识Id和屏幕画面1的尺寸例如屏幕画面的宽度screenWidth和高度screenHeight,手机1的唯一标识Id,手机1的网络通信IP地址和端口号。
随后,进入步骤S3300,根据所述交互位置、所述第一属性信息和所述第二属性信息,确定所述交互位置对应至所述目标屏幕画面的映射位置。
本实施例中,本步骤S3300根据所述交互位置、所述第一属性信息和所述第二属性信息,确定所述交互位置对应至所述目标屏幕画面的映射位置可以进一步包括如下步骤S3310~步骤S3330:
步骤S3310,根据所述目标显示窗口的左上角坐标位置和所述交互位置,确定所述交互位置在所述目标显示窗口内的相对位置。
所述交互位置在所述目标显示窗口内的相对位置(Rel_x,Rel_y)包括:所述交互位置在所述目标显示窗口内的水平方向相对位置Rel_x、及所述交互位置在所述目标显示窗口内的竖直方向相对位置Rel_y。
可选地,本步骤S3310中根据所述目标显示窗口的左上角坐标位置和所述交互位置,确定所述交互位置在所述目标显示窗口内的相对位置可以进一步包括:根据所述交互位置的水平方向坐标位置和所述目标显示窗口的左上角水平方向坐标位置,获得所述交互位置在所述目标显示窗口内的水平方向相对位置;根据所述交互位置的竖直方向坐标位置和所述目标显示窗口的左上角竖直方向坐标位置,获得所述交互位置在所述目标显示窗口内的竖直方向相对位置。
继续上述示例,可以基于如下公式(1)计算交互位置在显示窗口3内的水平方向相对位置Rel_x:
Rel_x=x–xl (1)
其中,x表示交互位置的水平方向坐标位置,xl表示显示窗口3的左上角水平方向坐标位置。
以及,可以基于如下公式(2)计算交互位置在显示窗口1内的竖直方向相对位置Rel_y:
Rel_y=y–yl (2)
其中,y表示交互位置的竖直方向坐标位置,yl表示显示窗口3的左上角竖直方向坐标位置。
步骤S3320,根据所述相对位置和所述目标显示窗口的尺寸,确定所述相对位置在所述目标显示窗口的伸缩比例。
伸缩比例用于表示将目标屏幕画面投屏至目标显示窗口进行显示时的画面伸缩程度。
所述相对位置在所述目标显示窗口的伸缩比例包括:所述相对位置在所述目标显示窗口的水平方向伸缩比例Dx、及所述相对位置在所述目标显示窗口的竖直方向伸缩比例Dy。
可选地,本步骤S3320中根据所述相对位置和所述目标显示窗口的尺寸,确定所述相对位置在所述目标显示窗口的伸缩比例可以进一步包括:根据所述交互位置在所述目标显示窗口内的水平方向相对位置和所述目标显示窗口的宽度,获得所述相对位置在所述目标显示窗口的水平方向伸缩比例;根据所述交互位置在所述目标显示窗口内的竖直方向相对位置和所述目标显示窗口的高度,获得所述相对位置在所述目标显示窗口的竖直方向伸缩比例。
继续上述示例,可以基于如下公式(3)计算相对位置在显示窗口3的水平方向伸缩比例Dx:
Dx=Rel_x/displayWidth (3)
其中,Rel_x表示交互位置在显示窗口3内的水平方向相对位置,displayWidth表示显示窗口3的宽度。
以及,可以基于如下公式(4)计算相对位置在显示窗口3的竖直方向伸缩比例Dy:
Dy=Rel_y/displayHeight (4)
其中,Rel_y表示交互位置在显示窗口3内的竖直方向相对位置,displayHeight表示显示窗口3的高度。
步骤S3330,根据所述伸缩比例和所述目标屏幕画面的尺寸,确定所述交互位置对应至所述目标屏幕画面的映射位置。
所述交互位置对应至所述目标屏幕画面的映射位置(Px,Py)包括:所述交互位置对应至所述目标屏幕画面的水平方向映射位置Px、及所述交互位置对应至所述目标屏幕画面的竖直方向映射位置Py。
可选地,本步骤S3330根据所述伸缩比例和所述目标屏幕画面的尺寸,确定所述交互位置对应至所述目标屏幕画面的映射位置可以进一步包括:根据所述相对位置在所述目标显示窗口的水平方向伸缩比例和所述目标屏幕画面的宽度,获得所述交互位置对应至所述目标屏幕画面的水平方向映射位置;根据所述相对位置在所述目标显示窗口的竖直方向伸缩比例和所述目标屏幕画面的高度,获得所述交互位置对应至所述目标屏幕画面的竖直方向映射位置。
继续上述示例,可以基于如下公式(5)计算交互位置对应至屏幕画面1的水平方向映射位置Px:
Px=Dx*screenWidth (5)
其中,Dx表示相对位置在显示窗口3的水平方向伸缩比例,screenWidth表示显示画面3的宽度。
以及,可以基于如下公式(6)计算交互位置对应至屏幕画面1的竖直方向映射位置Py:
Py=Dy*screenHeight (6)
其中,Dy表示相对位置在显示窗口3的竖直方向伸缩比例,screenHeight表示显示画面3的高度。
随后,进入步骤S3400,发送所述映射位置和所述第二属性信息至所述目标屏幕画面所属的目标终端设备,以根据所述映射位置和所述第二属性信息将所述交互指令重新封装分发至所述目标屏幕画面进行响应。
本实施例中,本步骤S3400中发送所述映射位置和所述第二属性信息至所述目标屏幕画面所属的目标终端设备可以进一步包括:基于所述目标终端设备的网络通信IP地址和端口号,将所述映射位置和所述第二属性信息发送至所述目标屏幕画面所属的目标终端设备。
本实施例中,将目标屏幕画面所属的目标终端设备的唯一标识Id、目标屏幕画面的唯一标识Id、映射位置(Px、Py)发送到对应的手机1上,手机1有相应的通信服务负责接收该数据,然后基于接收到的目标屏幕画面的唯一标识Id和映射位置(Px、Py),模拟成Android系统交互指令,最后就是Android标准的交互指令分发和响应流程,交互指令分发到显示屏幕3,由该显示屏幕3上所展示的应用负责响应。
根据本公开实施例,其在头戴显示设备的多个显示窗口中的目标显示窗口接收到交互指令的情况下,会先获取交互指令的交互位置、目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息,以及根据交互位置、第一属性信息和第二属性信息,确定交互位置对应至目标屏幕画面的映射位置,并发送映射位置和第二属性信息至目标屏幕画面所属的目标终端设备,以根据映射位置和第二属性信息将交互指令重新封装分发至目标屏幕画面进行响应。即,当多个终端设备同时开启多个屏幕并且同时串流投屏到头戴显示设备上之后,通过头戴显示设备选择某一个显示窗口进行交互时,头戴显示设备能够准确计算出交互位置所属终端设备、所属终端设备的对应显示屏幕及在对应显示屏幕上的映射位置,进而在该终端设备上模拟交互指令分发至对应的显示屏幕响应。
<装置实施例>
图5是根据一个实施例的交互控制装置的原理示意图,参照图5所示,所述装置500包括显示模块510、接收模块520、获取模块530、确定模块540和发送模块550。
显示模块510,用于显示多个显示窗口;其中,多个所述显示窗口位于头戴显示设备的显示区域的不同位置,不同所述显示窗口显示不同终端设备传输的不同屏幕画面;
接收模块520,用于通过所述多个显示窗口中的目标显示窗口接收交互指令;
获取模块530,用于获取所述交互指令的交互位置、所述目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息;
确定模块540,用于根据所述交互位置、所述第一属性信息和所述第二属性信息,确定所述交互位置对应至所述目标屏幕画面上的映射位置;
发送模块550,用于将所述映射位置和所述第二属性信息发送至所述目标屏幕画面所属的目标终端设备,以根据所述映射位置和所述第二属性信息将所述交互指令重新封装分发至所述目标屏幕画面进行响应。
在一个实施例中,所述第一属性信息包括所述目标显示窗口的尺寸和所述目标显示窗口的左上角坐标位置,所述第二属性信息包括所述目标屏幕画面的尺寸,
确定模块540,用于根据所述目标显示窗口的左上角坐标位置和所述交互位置,确定所述交互位置在所述目标显示窗口内的相对位置;根据所述相对位置和所述目标显示窗口的尺寸,确定所述相对位置在所述目标显示窗口的伸缩比例;根据所述伸缩比例和所述目标屏幕画面的尺寸,确定所述交互位置对应至所述目标屏幕画面的映射位置。
在一个实施例中,所述交互位置在所述目标显示窗口内的相对位置包括:所述交互位置在所述目标显示窗口内的水平方向相对位置、及所述交互位置在所述目标显示窗口内的竖直方向相对位置,
确定模块540,用于根据所述交互位置的水平方向坐标位置和所述目标显示窗口的左上角水平方向坐标位置,获得所述交互位置在所述目标显示窗口内的水平方向相对位置;根据所述交互位置的竖直方向坐标位置和所述目标显示窗口的左上角竖直方向坐标位置,获得所述交互位置在所述目标显示窗口内的竖直方向相对位置。
在一个实施例中,所述相对位置在所述目标显示窗口的伸缩比例包括:所述相对位置在所述目标显示窗口的水平方向伸缩比例、及所述相对位置在所述目标显示窗口的竖直方向伸缩比例,
确定模块540,用于根据所述交互位置在所述目标显示窗口内的水平方向相对位置和所述目标显示窗口的宽度,获得所述相对位置在所述目标显示窗口的水平方向伸缩比例;根据所述交互位置在所述目标显示窗口内的竖直方向相对位置和所述目标显示窗口的高度,获得所述相对位置在所述目标显示窗口的竖直方向伸缩比例。
在一个实施例中,所述交互位置对应至所述目标屏幕画面的映射位置包括:所述交互位置对应至所述目标屏幕画面的水平方向映射位置、及所述交互位置对应至所述目标屏幕画面的竖直方向映射位置,
确定模块540,用于根据所述相对位置在所述目标显示窗口的水平方向伸缩比例和所述目标屏幕画面的宽度,获得所述交互位置对应至所述目标屏幕画面的水平方向映射位置;根据所述相对位置在所述目标显示窗口的竖直方向伸缩比例和所述目标屏幕画面的高度,获得所述交互位置对应至所述目标屏幕画面的竖直方向映射位置。
在一个实施例中,所述第二属性信息包括所述目标终端设备的网络通信IP地址和端口号;
发送模块550,用于基于所述目标终端设备的网络通信IP地址和端口号,将所述映射位置和所述第二属性信息发送至所述目标屏幕画面所属的目标终端设备。
在一个实施例中,获取模块530,用于获取设定的映射数据;其中,所述设定的映射数据包括不同屏幕画面的第一属性信息及其对应的显示窗口的第二属性信息;根据所述映射数据,确定出所述目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息。
根据本公开实施例,其在头戴显示设备的多个显示窗口中的目标显示窗口接收到交互指令的情况下,会先获取交互指令的交互位置、目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息,以及根据交互位置、第一属性信息和第二属性信息,确定交互位置对应至目标屏幕画面的映射位置,并发送映射位置和第二属性信息至目标屏幕画面所属的目标终端设备,以根据映射位置和第二属性信息将交互指令重新封装分发至目标屏幕画面进行响应。即,当多个终端设备同时开启多个屏幕并且同时串流投屏到头戴显示设备上之后,通过头戴显示设备选择某一个显示窗口进行交互时,头戴显示设备能够准确计算出交互位置所属终端设备、所属终端设备的对应显示屏幕及在对应显示屏幕上的映射位置,进而在该终端设备上模拟交互指令分发至对应的显示屏幕响应。
<设备实施例>
图6是根据一个实施例的头戴显示设备的硬件结构示意图。如图6所示,该头戴显示设备600包括处理器610和存储器620。
该存储器620可以用于存储可执行的计算机指令。
该处理器610可以用于根据所述可执行的计算机指令的控制,执行根据本公开方法实施例所述的交互控制方法。
该头戴显示设备600可以是如图1所示的头戴显示设备1000,也可以是具备其他硬件结构的设备,在此不做限定。
在另外的实施例中,该头戴显示设备600可以包括以上交互控制装置500。
在一个实施例中,以上交互控制装置500的各模块可以通过处理器610运行存储器620中存储的计算机指令实现。
<计算机可读存储介质>
本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令被处理器运行时执行本公开实施例提供的交互控制方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种交互控制方法,其特征在于,所述方法包括:
显示多个显示窗口;其中,多个所述显示窗口位于头戴显示设备的显示区域的不同位置,不同所述显示窗口显示不同终端设备传输的不同屏幕画面;
若多个所述显示窗口中的目标显示窗口接收到交互指令,则获取所述交互指令的交互位置、所述目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息;
根据所述交互位置、所述第一属性信息和所述第二属性信息,确定所述交互位置对应至所述目标屏幕画面的映射位置;
发送所述映射位置和所述第二属性信息至所述目标屏幕画面所属的目标终端设备,以根据所述映射位置和所述第二属性信息将所述交互指令重新封装分发至所述目标屏幕画面进行响应。
2.根据权利要求1所述的方法,其特征在于,所述第一属性信息包括所述目标显示窗口的尺寸和所述目标显示窗口的左上角坐标位置,所述第二属性信息包括所述目标屏幕画面的尺寸,
所述根据所述交互位置、所述第一属性信息和所述第二属性信息,确定所述交互位置对应至所述目标屏幕画面的映射位置,包括:
根据所述目标显示窗口的左上角坐标位置和所述交互位置,确定所述交互位置在所述目标显示窗口内的相对位置;
根据所述相对位置和所述目标显示窗口的尺寸,确定所述相对位置在所述目标显示窗口的伸缩比例;
根据所述伸缩比例和所述目标屏幕画面的尺寸,确定所述交互位置对应至所述目标屏幕画面的映射位置。
3.根据权利要求2所述的方法,其特征在于,所述交互位置在所述目标显示窗口内的相对位置包括:所述交互位置在所述目标显示窗口内的水平方向相对位置、及所述交互位置在所述目标显示窗口内的竖直方向相对位置,
所述根据所述目标显示窗口的左上角坐标位置和所述交互位置,确定所述交互位置在所述目标显示窗口内的相对位置,包括:
根据所述交互位置的水平方向坐标位置和所述目标显示窗口的左上角水平方向坐标位置,获得所述交互位置在所述目标显示窗口内的水平方向相对位置;
根据所述交互位置的竖直方向坐标位置和所述目标显示窗口的左上角竖直方向坐标位置,获得所述交互位置在所述目标显示窗口内的竖直方向相对位置。
4.根据权利要求2所述的方法,其特征在于,所述相对位置在所述目标显示窗口的伸缩比例包括:所述相对位置在所述目标显示窗口的水平方向伸缩比例、及所述相对位置在所述目标显示窗口的竖直方向伸缩比例,
所述根据所述相对位置和所述目标显示窗口的尺寸,确定所述相对位置在所述目标显示窗口的伸缩比例,包括:
根据所述交互位置在所述目标显示窗口内的水平方向相对位置和所述目标显示窗口的宽度,获得所述相对位置在所述目标显示窗口的水平方向伸缩比例;
根据所述交互位置在所述目标显示窗口内的竖直方向相对位置和所述目标显示窗口的高度,获得所述相对位置在所述目标显示窗口的竖直方向伸缩比例。
5.根据权利要求2所述的方法,其特征在于,所述交互位置对应至所述目标屏幕画面的映射位置包括:所述交互位置对应至所述目标屏幕画面的水平方向映射位置、及所述交互位置对应至所述目标屏幕画面的竖直方向映射位置,
所述根据所述伸缩比例和所述目标屏幕画面的尺寸,确定所述交互位置对应至所述目标屏幕画面的映射位置,包括:
根据所述相对位置在所述目标显示窗口的水平方向伸缩比例和所述目标屏幕画面的宽度,获得所述交互位置对应至所述目标屏幕画面的水平方向映射位置;
根据所述相对位置在所述目标显示窗口的竖直方向伸缩比例和所述目标屏幕画面的高度,获得所述交互位置对应至所述目标屏幕画面的竖直方向映射位置。
6.根据权利要求1所述的方法,其特征在于,所述第二属性信息包括所述目标终端设备的网络通信IP地址和端口号;
所述将所述映射位置和所述第二属性信息发送至所述目标屏幕画面所属的目标终端设备,包括:
基于所述目标终端设备的网络通信IP地址和端口号,将所述映射位置和所述第二属性信息发送至所述目标屏幕画面所属的目标终端设备。
7.根据权利要求1所述的方法,其特征在于,获取所述目标显示窗口的第一属性信息和目标屏幕画面的第二属性信息,包括:
获取设定的映射数据;其中,所述设定的映射数据包括不同屏幕画面的第一属性信息及其对应的显示窗口的第二属性信息;
根据所述映射数据,确定出所述目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息。
8.一种交互控制装置,其特征在于,所述装置包括:
显示模块,用于显示多个显示窗口;其中,多个所述显示窗口位于头戴显示设备的显示区域的不同位置,不同所述显示窗口显示不同终端设备传输的不同屏幕画面;
接收模块,用于通过所述多个显示窗口中的目标显示窗口接收交互指令;
获取模块,用于获取所述交互指令的交互位置、所述目标显示窗口的第一属性信息及其对应的目标屏幕画面的第二属性信息;
确定模块,用于根据所述交互位置、所述第一属性信息和所述第二属性信息,确定所述交互位置对应至所述目标屏幕画面上的映射位置;
发送模块,用于将所述映射位置和所述第二属性信息发送至所述目标屏幕画面所属的目标终端设备,以根据所述映射位置和所述第二属性信息将所述交互指令重新封装分发至所述目标屏幕画面进行响应。
9.一种头戴显示设备,其特征在于,所述头戴显示设备包括:
存储器,用于存储可执行的计算机指令;
处理器,用于根据所述可执行的计算机指令的控制,执行根据权利要求1-7中任意一项所述的交互控制方法。
10.一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令被处理器运行时执行权利要求1-7中任意一项所述的交互控制方法。
CN202211204524.3A 2022-09-29 2022-09-29 交互控制方法、装置、头戴显示设备及介质 Pending CN115834754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211204524.3A CN115834754A (zh) 2022-09-29 2022-09-29 交互控制方法、装置、头戴显示设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211204524.3A CN115834754A (zh) 2022-09-29 2022-09-29 交互控制方法、装置、头戴显示设备及介质

Publications (1)

Publication Number Publication Date
CN115834754A true CN115834754A (zh) 2023-03-21

Family

ID=85524244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211204524.3A Pending CN115834754A (zh) 2022-09-29 2022-09-29 交互控制方法、装置、头戴显示设备及介质

Country Status (1)

Country Link
CN (1) CN115834754A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017063324A1 (zh) * 2015-10-16 2017-04-20 青岛海信移动通信技术股份有限公司 一种窗口显示方法及移动终端
CN107197194A (zh) * 2017-06-27 2017-09-22 维沃移动通信有限公司 一种视频通话方法及移动终端
US20190391710A1 (en) * 2017-09-25 2019-12-26 Tencent Technology (Shenzhen) Company Limited Information interaction method and apparatus, storage medium, and electronic apparatus
CN113613072A (zh) * 2021-08-02 2021-11-05 海信视像科技股份有限公司 一种多路投屏显示方法及显示设备
CN114157889A (zh) * 2020-08-18 2022-03-08 海信视像科技股份有限公司 一种显示设备及触控协助交互方法
CN114510205A (zh) * 2021-12-30 2022-05-17 京东方科技集团股份有限公司 显示交互方法、显示设备、电子设备和存储介质
CN114579034A (zh) * 2022-03-02 2022-06-03 北京字节跳动网络技术有限公司 一种信息交互方法、装置、显示设备及存储介质
CN114625248A (zh) * 2022-03-04 2022-06-14 上海晨兴希姆通电子科技有限公司 Ar多窗口全息交互方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017063324A1 (zh) * 2015-10-16 2017-04-20 青岛海信移动通信技术股份有限公司 一种窗口显示方法及移动终端
CN106598404A (zh) * 2015-10-16 2017-04-26 青岛海信移动通信技术股份有限公司 一种窗口显示方法及移动终端
CN107197194A (zh) * 2017-06-27 2017-09-22 维沃移动通信有限公司 一种视频通话方法及移动终端
US20190391710A1 (en) * 2017-09-25 2019-12-26 Tencent Technology (Shenzhen) Company Limited Information interaction method and apparatus, storage medium, and electronic apparatus
CN114157889A (zh) * 2020-08-18 2022-03-08 海信视像科技股份有限公司 一种显示设备及触控协助交互方法
CN113613072A (zh) * 2021-08-02 2021-11-05 海信视像科技股份有限公司 一种多路投屏显示方法及显示设备
CN114510205A (zh) * 2021-12-30 2022-05-17 京东方科技集团股份有限公司 显示交互方法、显示设备、电子设备和存储介质
CN114579034A (zh) * 2022-03-02 2022-06-03 北京字节跳动网络技术有限公司 一种信息交互方法、装置、显示设备及存储介质
CN114625248A (zh) * 2022-03-04 2022-06-14 上海晨兴希姆通电子科技有限公司 Ar多窗口全息交互方法及系统

Similar Documents

Publication Publication Date Title
KR102463304B1 (ko) 비디오 처리 방법 및 장치, 전자기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램
US10061552B2 (en) Identifying the positioning in a multiple display grid
US9485493B2 (en) Method and system for displaying multi-viewpoint images and non-transitory computer readable storage medium thereof
US20160350595A1 (en) Feedback based remote maintenance operations
US20150130836A1 (en) Adapting content to augmented reality virtual objects
CN109831662B (zh) Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质
CN108260020B (zh) 在全景视频中显示互动信息的方法和装置
US10802784B2 (en) Transmission of data related to an indicator between a user terminal device and a head mounted display and method for controlling the transmission of data
CN115617166A (zh) 交互控制方法、装置及电子设备
US20170185422A1 (en) Method and system for generating and controlling composite user interface control
CN109840114A (zh) 页面处理方法及移动终端
CN110825997A (zh) 信息流页面的显示方法、装置、终端设备及系统
US10042419B2 (en) Method and apparatus for providing additional information of digital signage content on a mobile terminal using a server
CN108196780B (zh) 一种大屏幕显示终端触摸控制方法与系统
CN111737603B (zh) 判断兴趣点是否可视的方法、装置、设备以及存储介质
CN107291340B (zh) 实现界面效果的方法、计算设备及存储介质
WO2024066752A1 (zh) 显示控制方法、装置、头戴显示设备及介质
CN110879676A (zh) 调试控制方法、主控设备、调试服务器、被控设备及系统
CN115834754A (zh) 交互控制方法、装置、头戴显示设备及介质
CN115576457A (zh) 显示控制方法和装置、增强现实头戴设备及介质
CN115396741A (zh) 全景视频的播放方法、装置、电子设备及可读存储介质
CN112367295B (zh) 插件展示方法及装置、存储介质及电子设备
CN109727315B (zh) 一对多集群渲染方法、装置、设备及存储介质
CN113031781A (zh) 增强现实资源显示方法及装置、电子设备和存储介质
CN115617165A (zh) 显示控制方法、装置、头戴显示设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination