CN116389565A - 应用于元宇宙的消息传输方法、装置及可读存储介质 - Google Patents
应用于元宇宙的消息传输方法、装置及可读存储介质 Download PDFInfo
- Publication number
- CN116389565A CN116389565A CN202310341536.9A CN202310341536A CN116389565A CN 116389565 A CN116389565 A CN 116389565A CN 202310341536 A CN202310341536 A CN 202310341536A CN 116389565 A CN116389565 A CN 116389565A
- Authority
- CN
- China
- Prior art keywords
- space
- subscription
- client
- digital content
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000005540 biological transmission Effects 0.000 title claims abstract description 67
- 230000000007 visual effect Effects 0.000 claims abstract description 41
- 230000004044 response Effects 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 32
- 238000013507 mapping Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000009466 transformation Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种应用于元宇宙的消息传输方法、装置及可读存储介质,应用于终端设备的方法包括:建立与现实空间重叠的数字空间并通过终端设备的显示部件呈现所述数字空间;获取终端设备的空间位置信息,向服务端订阅当前空间通道及主题,所述当前空间通道的空间范围不小于数字空间呈现的可视空间范围;响应于接收到服务端推送的订阅空间通道内的符合订阅主题的数字内容,将所述数字内容叠加到数字空间中;监测终端设备的空间位置是否发生变换,响应于终端设备的空间位置发生了变换,向服务端取消原订阅空间通道,并订阅当前空间通道。本发明实施例能够适应元宇宙空间特点,既达到了为客户端推送主题消息的目的,也减小了推送的数据量。
Description
技术领域
本发明涉及元宇宙技术领域,还涉及消息传送技术领域,具体涉及一种应用于元宇宙的消息传输方法、装置及可读存储介质。
背景技术
元宇宙是一种集合了信息技术、通信技术、AR、VR等虚拟技术的一种开放与共享的线上平台,是一个巨大的、正在发展的虚拟宇宙。虽然受限于现有技术的发展水平,目前的应用场景主要包括游戏、社交、广告营销与宣传和虚拟办公等等,但是随着时间的推移、技术的提高,应用场景将越来越多,越来越多的人也将进入元宇宙生活。其中,实现元宇宙的系统通常包括客户端设备和服务端设备,用户利用客户端设备上的摄像机采集当前空间环境图像并利用设备上的定位设备定位自身所在的空间位置,包括高度、方位、地理坐标等等,将这些信息发送给服务端设备。服务端设备中存储有与客户端设备所在空间成1:1比例的数字空间,基于客户端设备的环境图像及空间位置定位该客户端设备在数字空间的位置,而后将当前数字空间中叠加的处于用户视野(用户客户端设备上摄像机的视觉采集范围)的数字内容推送给用户的客户端,在用户的客户端设备上显示出数字内容,从而使用户通过客户端设备屏幕看到现实空间中没有的内容。
当同一个元宇宙空间中有多个用户时,此时则组成了一个用户群组,基于具体的应用场景,用户群组中的用户应能够及时体验到元宇宙空间中增加的数字内容及相应的变化,此时的应用场景与现有技术中的一些群组通信的应用场景相类似,但是由于元宇宙空间的特点,现有技术中的群组通信机制并不能完成上述任务。例如,物联网系统中的设备、客户端和服务端之间基于IoT消息机制进行消息同步,具体的物联协议有MQTT、CoAP、Lora等。但是在IoT消息机制中,每个设备具有不同的ID,当一个设备以一个已在网络中使用的ID接入网络时,会导致相同ID的其他设备下线。而对于元宇宙群组场景,同一业务的数字内容具有相同的业务ID,并应允许不同用户发送具有同一业务ID的数字内容,即不同用户应能以同一业务ID接入网络,显然现有技术中的IoT消息机制无法实现元宇宙群组场景的消息同步。现有技术中应用于群组通讯的另一种技术是后台消中件,采用后台消中件在同一局域网中传递消息、通知,应用的协议例如Kafka、RabbitMQ等。然而后台消息中间件适用于少量客户端的、大数据量的消息同步和分发,无法支持大量客户端,而元宇宙群组场景应能支持海量的客户端,因而后台消息中间件也不适用元宇宙中的群组场景。另有一些定制性的消息通讯机制,如为CS对战游戏定制的消息通讯机制,通常只适应于具体的定制场景,而无法作为一种通用机制适应元宇宙场景的群组消息同步。
发明内容
有鉴于此,本发明实施例提供一种应用于元宇宙的消息传输方法、装置及可读存储介质,用于解决元宇宙群组场景的消息同步技术问题。
根据本发明的一个方面,本发明提供了一种应用于元宇宙的消息传输方法,其应用于终端设备,包括以下步骤:
建立与现实空间重叠的数字空间并通过终端设备的显示部件呈现所述数字空间;
获取终端设备的空间位置信息,向服务端订阅当前空间通道及主题,所述当前空间通道的空间范围与数字空间呈现的可视空间范围相对应;以及
响应于接收到服务端推送的订阅空间通道内的符合订阅主题的数字内容,将所述数字内容叠加到数字空间中。
根据本发明的另一个方面,本发明还提供了一种应用于元宇宙的消息传输方法,应用于服务器,包括以下步骤:
响应于接收到客户端发送的空间通道的订阅请求,从所述订阅请求中提取出终端设备的空间位置信息及订阅主题信息;
基于所述空间位置信息确定客户端终端设备的订阅空间通道,所述订阅空间通道的空间范围与客户端终端设备当前数字空间呈现的可视空间范围相对应;
将位于订阅空间通道内的符合订阅主题的数字内容推送给客户端;以及
响应于接收到客户端发送对原订阅空间通道的订阅取消请求,停止向所述客户端推送原订阅空间通道的数字内容。
根据本发明的另一个方面,本发明还提供了一种应用于元宇宙的消息传输装置,其应用于终端设备,包括数字空间创建模块、订阅模块和内容融合模块,其中,所述数字空间创建模块经配置以建立与现实空间重叠的数字空间并通过终端设备的显示部件呈现所述数字空间;所述订阅模块经配置以获取终端设备的空间位置信息,向服务端订阅当前空间通道及主题;其中所述当前空间通道的空间范围与数字空间呈现的可视空间范围相对应;所述内容融合模块经配置以响应于接收到服务端推送的订阅空间通道内的符合订阅主题的数字内容,将所述数字内容叠加到数字空间中。
根据本发明的另一个方面,本发明还提供了一种应用于元宇宙的消息传输装置,其于服务器,包括订阅处理模块和内容推送模块,其中,所述订阅处理模块经配置以响应于接收到客户端发送的空间通道的订阅请求,从所述订阅请求中提取出终端设备的空间位置信息,基于所述空间位置信息确定客户端终端设备的订阅空间通道,所述订阅空间通道的空间范围与客户端终端设备当前数字空间呈现的可视空间范围相对应;响应于接收到客户端发送对原订阅空间通道的订阅取消请求,取消对应的原原订阅空间通道;所述内容推送模块经配置将位于订阅空间通道内的符合订阅主题的数字内容推送给所述客户端;停止向已取消的订阅空间通道对应的客户端推送数字内容。
根据本发明的另一个方面,本发明还提供了一种终端设备,包括处理器以及存储有计算机程序指令的存储器,所述处理器执行所述计算机程序指令时实现前述的应用于元宇宙的消息传输方法。
根据本发明的另一个方面,本发明还提供了一种服务器,包括处理器以及存储有计算机程序指令的存储器;所述处理器执行所述计算机程序指令时实现前述的应用于元宇宙的消息传输方法。
根据本发明的另一个方面,本发明还提供了一种计算机可读存储介质,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述的应用于元宇宙的消息传输方法。
根据本发明的另一个方面,本发明还提供了一种计算机程序产品,其包括计算机程序指令,所述计算机程序指令被处理器执行时实现前述的应用于元宇宙的消息传输方法。
本发明的客户端在订阅主题时还订阅一个用户可视的空间范围,服务端仅向客户端推送其可视空间范围内的数字内容,既达到了为客户端推送主题消息的目的,而且也缩小了推送的数据量。对于一个海量客户端场景来说,本发明有效地减小了传输数据量和对网络的堵塞,提高了数据推送的及时性,减小了数据的传输延时,使用户对元宇宙空间具有良好的体验感。
附图说明
为了更清楚地说明本发明实施例的实现方式,以下对本发明实施例中的附图作简单介绍。
图1是根据本发明一个实施例的基于服务器和终端设备的元宇宙系统架构示意图。
图2是根据本发明一个实施例的应用于元宇宙的消息传输方法流程图。
图3是根据本发明一个实施例的多个客户端的空间通道示意图。
图4是现有现技术中客户端与服务端采用IoT协议进行消息传输时的原理示意图。
图5是根据本发明一个实施例的客户端与服务端进行消息传输时的原理示意图。
图6是根据本发明一个实施例的客户端在进行消息的订阅与发布时的处理流程图。
图7是根据本发明一个实施例的监测手机空间位置的处理流程图。
图8是根据本发明一个实施例对一个数字内容进行监控的处理方法流程图。
图9是根据本发明一个实施例的应用于元宇宙的消息传输装置的原理框图。
图10是根据本发明另一个实施例的应用于元宇宙的消息传输装置的原理框图。
图11是根据本发明一个实施例的一种电子设备的结构示意图。
图12是根据本发明一个实施例的示例性终端设备的软件结构示意图。
具体实施方式
以下将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,提供这些实施方式的目的是为了使本发明的原理和精神更加清楚和透彻,使本领域技术人员能够更好地理解进而实现本发明的原理和精神。本文中提供的示例性实施方式仅是本发明的一部分实施方式,而不是全部的实施方式。基于本文中的实施方式,本领域普通技术人员在不付出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
本领域技术人员知晓,本发明的实施方式可以实现为一种系统、装置、设备、方法、计算机可读存储介质或计算机程序产品。因此,本发明可以具体实现为以下至少一种形式:完全的硬件、完全的软件,或者硬件与软件结合的形式。根据本发明的具体实施方式,本发明请求保护一种应用于元宇宙的消息传输方法、装置、终端设备、服务器、计算机可读存储介质及计算机程序产品。
在本文中,诸如第一、第二、第三之类的用语,仅用来将一个实体(或操作)与另一个实体(或操作)区分开来,而不在于要求或暗示这些实体(或操作)之间存在任何顺序或关联。
本发明的实施例可应用于服务器和终端设备。请参考图1,示意性地示出了一种基于服务器和终端设备的元宇宙系统架构示意图。元宇宙系统架构包括服务器10和若干终端设备20。在一些示例中,终端设备20为客户端设备,例如其可以为专用设备,例如头戴式设备(Head-mounted displays,HMD)、智能手套、服饰等智能可穿戴电子设备。在一些示例中,终端设备20可为通用的AR/VR(Augmented Reality,增强现实/Virtual Reality,虚拟现实)设备,例如手机、便携式计算机、笔记本电脑、平板电脑、AR眼镜、车载设备、导航设备、游戏设备等等。
以AR头盔或AR眼镜为例,可将头戴式显示器、机器视觉系统、移动计算机等集成、设置在可绑定佩戴的设备中,该设备具有外形类似眼镜的显示器,工作时佩戴在使用者头部,该设备能将增强现实类信息传输至显示器上或投射至使用者的眼球中,从而增强用户的视觉沉浸感。在一些示例中,AR设备还具有摄像头,可为广角摄像头、长焦摄像头,还可为结构光摄像头(也称点云深度摄像头、3D结构光摄像头或深度摄像头)。其中结构光摄像头基于3D视觉技术,可获取物体的平面和深度信息。结构光摄像头可通过近红外激光器将具有一定结构特征的光线投射到被拍摄物体上,再由红外摄像头采集反射光,由处理器芯片处理,其计算原理是根据物体导致的光信号的变化计算物体位置和深度信息,呈现3D图像。通常的终端设备例如手机上呈现二维图像,并不能显示图像上不同位置的深度,利用结构光摄像头可拍摄获取3D图像信息数据,即不仅可获得图像中不同位置的颜色等信息,还可获得不同位置的深度信息,可用于AR测距。当然,普通的终端设备也可以基于光学摄像头采集2D图像并结合深度学习算法等方式获取2D图像的深度信息,最终也可呈现3D图像。在一些示例中,终端设备20中还包括用于定位的部件,如GPS系统、陀螺仪、IMU单元等传感器,通过SLAM(Simultaneous Localization And Mapping,同步定位与地图构建)、V-SLAM(Visual Simultaneous Localization And Mapping,视觉同步定位与地图构建)等技术基于采集的传感器信息和环境图像信息构建环境地图,其中,在构建环境地图的同时也同步计算终端设备的自身位置,即确定终端设备自身在当前环境地图中的位置。也可以通过提取环境空间的视觉特征,基于已有当前场景的数字空间模型,通过视觉特征的匹配来确定终端设备自身在当前场景的位置。
在一些示例中,终端设备20中安装有具备AR/VR功能的元宇宙客户端软件或APP(Application,应用程序),并集成有具备联网功能的模块,例如无线保真(Wireless-Fidelity,Wifi)模块、蓝牙模块、2G/3G/4G/5G通信模块等,以便通过网络连接到服务器10。用户可通过安装在终端设备20中的客户端软件或APP登录用户账号。服务器10提供元宇宙系统,配合用户基于终端设备20中的客户客户端软件或APP的操作实现各种应用场景。服务器10可以为一台服务器,也可以为多台服务器组成的服务器集群,也可以为云服务器或称云端服务器等。
本发明的实施例涉及终端设备和/或服务器,以下将通过若干示例性实施例或代表性实施方式,对本发明的原理和精神进行详细阐释。
图2是根据本发明一个实施例的应用于元宇宙的消息传输方法流程图,图2示出了在一个客户端终端设备和服务器之间的消息传输方法的处理流程,包括以下步骤:
步骤S101,在客户端建立与现实空间重叠的数字空间,并通过终端设备的显示部件呈现所述数字空间。例如,基于用户通过终端设备的摄像头采集的环境图像,基于V-SLAM技术建立与现实环境重合的三维数字空间,并通过终端设备的显示部件呈现所述数字空间,此时用户通过终端设备的显示部件看到的内容与当前现实环境重合。
步骤S102,获取终端设备的空间位置信息。在一个实施例中,基于终端设备的定位部件,如GPS系统获得终端设备当前位置的地理坐标,基于设定的标准方位,确定终端设备与标准方位所呈的角度,将终端设备当前位置的地理坐标和终端设备与标准方位所呈的角度作为终端设备的空间位置信息。
步骤S103,向服务端订阅当前空间通道及主题。客户端基于具体的应用场景向服务端发送订阅请求,在所述订阅请求中至少包括终端设备的空间位置信息和订阅主题。所述的订阅主题例如为当前应用场景提供的业务主题,例如“放河灯”、“放孔明灯”、“游戏对战”等。在本发明中,将用户通过终端设备的显示部件呈现的数字空间所对应的空间范围称为空间通道,该空间范围是用户的可视范围,在订阅主题的同时订阅当前数字空间呈现的可视空间范围,即订阅当前空间通道。
步骤S201,对应地,服务端从所述订阅请求中提取出终端设备的空间位置信息。当服务端接收到客户端发送的空间通道的订阅请求,从所述订阅请求中提取信息,如客户端ID、客户端终端设备的空间位置信息等。
步骤S202,服务端基于所述空间位置信息确定客户端终端设备的订阅空间通道。服务端根据客户端空间位置信息中的地理坐标能够确定出客户端终端设备在元宇宙空间中的位置。所述的元宇宙空间为与用户当前所在现实空间呈1:1比例的三维虚拟空间。服务端再基于终端设备与标准方位所呈的角度则可以确定出用户在客户端设备中的数字空间的可视范围。在一个实施例中,将某个预置的固定视角范围作为客户端终端设备的可视范围,即客户端的空间通道。例如,如图3所示,图3是根据本发明一个实施例的多个客户端的空间通道示意图。图中为“放河灯”应用场景,当前元宇宙空间场景中有多个用户,其中图3示出了三个用户的客户端C0、C1、C2,在本实施例中,以客户端设备所在的空间点为顶点,在客户端设备朝向所呈的30度的角度范围认为是用户的可视范围,并称之为空间通道。为了标记每个客户端设备的空间通道,以指北针作为标准方位,向右转为正方向。如图3所示,客户端C0的可视范围的左边界与指北针的夹角为0°,右边界与指北针的夹角为30°,因而可视范围对应的角度为0°~30°,其订阅空间通道是以空间坐标(x0,y0,z0)为起始点的0°~30°的可视范围。同理客户端C1的可视范围对应的角度为-5°~25°,其订阅空间通道是以空间坐标(x1,y1,z1)为起始点的-5°~25°的可视范围。客户端C2的可视范围对应的角度为-15°~15°,其订阅空间通道是以空间坐标(x2,y2,z2)为起始点的-15°~15°的可视范围。在另一些实施例中,基于不同类型的客户端终端设备,其可视范围对应的角度各不同相同,例如,对于摄像头采用普通视角的客户端终端设备,可视范围对应的角度为30°,对于一些采用广角摄像头的客户端设备,可视范围对应的角度为60°。服务端基于上述信息建立订阅表,用以记录每一个客户端进入元宇宙空间订阅的主题及当前的订阅空间通道。例如下表1所示:
表1
其中的类型Sub表示订阅,Topic1表示订阅的主题,如元宇宙场景中服务的主题活动,如“放河灯”、“游戏对战”等。
步骤S203,服务端将位于订阅空间通道内的符合订阅主题的数字内容推送给所述客户端。当服务端确定了一个客户端终端设备的订阅空间通道后,将位于订阅空间通道内的符合订阅主题的数字内容推送给所述客户端。如图3中所示,客户端C0释放的河灯O0为数字内容,其位于当前客户端C1的订阅空间通道中,此时服务端将客户端C0释放的河灯O0推送给所述客户端C1。
步骤S104,客户端在接收到服务端推送的订阅空间通道内的符合订阅主题的数字内容后,将所述数字内容叠加到数字空间中,从而用户可以通过显示部件看到数字空间呈现的数字内容。
步骤S105,客户端监测终端设备的空间位置是否发生变换。当终端设备的空间位置发生了变换,在步骤S106向服务端取消原订阅空间通道,并订阅当前空间通道,即向服务端发送订阅取消请求,并发送新的订阅请求,在新的订阅请求中包括终端设备新的空间位置信息。
对应地,服务端在接收到客户端的订阅取消请求后,在步骤S204停止对原订阅空间通道的数字内容的推送,将原订阅空间通道从订阅表中删除。在接收到新的订阅请求后,在步骤S205增计算新订阅空间通道,将新订阅空间通道增加到订阅表中。在步骤S206将位于新订阅空间通道的符合订阅主题的数字内容推送给所述客户端。
步骤S107,客户端接收服务端推送的变换后的订阅空间通道内的符合订阅主题的数字内容,将所述数字内容叠加数字空间中,并删除数字空间中叠加的原数字内容。
由于元宇宙空间的消息通常为客户端发出的数字内容,为了将数字内容推送给元宇宙空间中海量的客户端,本发明采用订阅/发布的机制,客户端主动订阅,服务端基于订阅请求,为客户端推送符合其订阅主题的数字内容。基于元宇宙空间的特点,客户端在订阅主题时还订阅一个用户可视的空间范围,服务端仅向客户端推送其可视空间范围内的数字内容,既达到了为客户端推送主题消息的目的,也缩小了推送的数据量。对于一个海量客户端场景来说,本发明有效地减小了传输数据量和对大量数据对网络的堵塞,提高了数据推送的及时性,减小了数据延时,使用户对元宇宙空间具有良好的体验感。
根据本发明的实施例,在客户端终端设备侧,客户端加入到元宇宙空间时,为了能接收到元宇宙空间中增加的数字内容,如看到其他用户放的河灯,客户端需要向服务端订阅主题及空间通道。在一个实施例中,客户端在向服务端订阅空间通道之前采用客户端ID与服务端建立订阅链接。当服务端接收到客户端发送的订阅请求时,基于订阅请求中的客户端ID为所述客户端创建订阅链接ID,并创建客户端ID与订阅链接ID的第一ID映射关系,并基于所述第一ID映射关系与所述第一客户端建立订阅链接。此时,服务端维持有ID映射表,至少包括客户端ID与订阅链接ID的映射关系。当所述的客户端ID为业务ID(如“放河灯”ID)时,由于可能有大量不同的客户端以同一个业务ID接入元宇宙空间,为了识别具有相同业务ID的不同客户端,在一个实施例中,服务端还在ID映射表中增加一个别名属性的字段,将客户端设置的ID(如用户ID)赋值给该字段,用于区别当前订阅链接ID对应的真实的客户端。
客户端除了能够接收元宇宙空间中增加的数字内容,客户端也可以发布数字内容,如前述的“放河灯”场景,除了可以使用户看到其他用户放的河灯,用户也可以自己放河灯,这些河灯可以为任何用户可见,即客户端能够发布消息。为了使客户端能将数字内容以消息的形式发布出去,客户端在发布之前与服务端建立发布链接。在一个实施例中,客户端在发布数字内容时,向服务端发送发布请求,在该发布请求中包括客户端ID,如业务ID、用户ID等。服务端在接收到客户端发送的发布请求时,基于发布请求中的客户端ID为所述客户端创建发布链接ID,并创建客户端ID与发布链接ID的第二ID映射关系,基于所述第二ID映射关系与所述客户端建立发布链接。当发布链接建立后,客户端可以将其数字内容发布到元宇宙空间。其中,服务端第二ID映射关系建立客户端ID与发布链接ID的映射表,由于客户端ID通常为业务ID,同一个元宇宙场景中有多个相同业务ID的不同客户端,为了区分这些客户端,在一个实施例中,服务端还在ID映射表中增加一个别名属性的字段,将客户端设置的ID(如用户ID)赋值给该字段,用于区别当前发布链接ID对应的真实的客户端。在一个实施例中,将建立订阅链接时的映射表与建立发布链接时的映射表合为一个映射表,如表2所示:
表2
业务ID | 别名 | 订阅链接ID | 发布链接ID |
001 | xxx | 0011xxx | 0012xxx |
001 | yyy | 0011yyy | 0012yyy |
002 | xxy | 0021xxy | 0022xxy |
…… | …… | …… | …… |
其中,业务ID代表不同的业务场景,如“放河灯”、“放孔明灯”等,别名中的内容为客户端设置的ID,如用户ID、用户昵称等,订阅链接ID和发布链接ID分别为对同一个客户端建立的两个链接。其中,为了适应客户端设备的位置随时变化而导致需要经常切换订阅空间通道,因而在一个实施例中,客户端与服务端之间建立的订阅链接为长链接,即在订阅完成后仍然保持连接状态,以方便随时发生的空间通道的取消订阅和重新订阅。用于消息发布的发布链接既可以是长链接也可以是短链接。在一个实施例中,发布链接为短链接,即在消息发布完成后断开链接,在需要发布消息时再重新建立发布链接,从而减少网络端口和网络资源的占用。
图4是现有现技术中客户端与服务端采用IoT协议进行消息传输时的原理示意图。如图4所示,以三个客户端对同一个主题(/Topic1)进行订阅并发布为例,每个客户端采用不同的ID与服务端建立Sub(订阅)的TCP长链接,如图4中的三个客户端分别以ID=1、ID=2、ID=3与服务端建立TCP长链接,并订阅了主题Topic1,如图中的粗实线所示。当一个客户端Pub(发布)消息时,采用另外的ID临时与服务端建立Pub(发布)TCP短连接,如第一个客户端以ID=1’建立用于发布的TCP短链接,如图中的细实线所示。该客户端不能采用ID=1建立用于发布的TCP短链接,这是因为,基于IoT协议,当采用ID=1建立用于发布的TCP短链接时,会将同一ID建立的用于订阅的TCP长链接踢下线。另外两个客户端在需要发布消息时分别以ID=2’、ID=3’建立Pub TCP短连接,由于当前这两个客户端并未发布消息,因而还未建立用于发布的TCP短链接。从而可见,现有技术中采用IoT协议进行消息传输时,客户端需要采用两个不同的ID与服务端建立订阅链接和发布链接。图中的第一个客户端与服务端建立短TCP链接,发布了一个关于Topic1的消息,服务端其该消息推送给所有的客户端,如图中虚线所示。
图5是根据本发明一个实施例的客户端与服务端进行消息传输时的原理示意图。在本实施例中,每个客户端采用一个客户端ID与服务端分别建立用于订阅的TCP长链接和用于发布的TCP长/短链接。如图中的三个客户端,分别以ID=1、ID=2和ID=3建立用于订阅的TCP长链接,在发布消息时,仍以原来的ID=1、ID=2和ID=3建立用于发布的TCP长/短链接。当第一个客户端发布了一条消息{“Data”:“join”}后,服务端将该消息推送给其他两个客户端,如图中虚线所示。在本发明中,服务端为每一个发布的消息设置有源字段,源字段中的值为发布该消息的客户端,服务端在推送消息时,过滤掉发布所述消息的源客户端,因而如图5所示,当第一个客户端发送消息后,并不会接收从服务端推送来的相同的消息,因而服务端减少了推送数据量,客户端也减少了对推送消息的处理量,进而有利于提高消息传输效率。
图6是根据本发明一个实施例的客户端在进行消息的订阅与发布时的处理流程图。本实施例中的客户端设备为手机,其中安装有客户端应用,所述的客户端应用能够提供多个元宇宙空间场景,每个元宇宙空间场景对应于一种具体的业务场景,用户可以选择一个具体的业务场景,所述客户端应用基于用户的选择操作进入相应元宇宙空间场景,并进行消息的传输。本实施例中的元宇宙空间场景为“放孔明灯”场景。
步骤S301,基于用户对客户端应用的启动操作,提供场景选择界面,向用户显示多个不同的元宇宙空间场景。
步骤S302,基于用户选择的元宇宙空间场景建立与现实空间重叠的数字空间,并通过手机屏幕呈现所述数字空间。此时用户通过手机屏幕看到的是与当前现实场景完全重合的场景。在本实施例中,每一个元宇宙空间场景对应的业务由业务ID标识。
步骤S303,与服务端建立订阅长链接。具体地,获取手机的空间位置信息,向服务端发送订阅请求,所述订阅请求中包括手机的空间位置信息、业务ID、用户设置的ID。服务端响应所述订阅请求,与客户端建立起订阅长链接。当建立长链接时,服务端同时还建立ID映射表,如前述实施例所述,在此不再赘述。服务端根据手机的空间位置信息确定订阅空间通道,所述当前空间通道的空间范围不小于数字空间呈现的可视空间范围。
步骤S304,接收服务端推送的消息,并将消息中的数字内容叠加到手机屏幕中呈现的数字空间中。其中,服务端检测到有新的客户端接入,并确定了其订阅空间通道后,确定是否需要向其推送消息。在一个实施例中,服务端遍历符合订阅主题的数字内容所在的空间通道,用以确定位于订阅空间通道内的符合订阅主题的数字内容;或者遍历位于该客户端订阅空间通道中的数字资源,从所述数字资源中确定位于订阅空间通道内的符合订阅主题的数字内容。当确定有数字内容需要推送时,提取适应于订阅空间通道角度、位置关系的数字内容数据及数字内容与空间的叠加位置及遮挡关系,再将这些数据以消息的形式通过订阅长链接推送给客户端。因而客户端在接收到推送的消息时,从消息中提取出数字内容数据及数字内容与空间的位置关系数据,基于数字内容与空间的位置关系确定在当前数字空间的叠加位置及数字内容与数字空间的遮挡关系,按照数字内容与数字空间的遮挡关系在确定的叠加位置上渲染出数字内容。此时用户可以通过其手机屏幕看到现实场景中并不存在的孔明灯,孔明灯的形态与其在场景中的位置一致。例如,当孔明灯在高于手机摄像头的位置时,孔明灯的形态是用户是以一定的仰角看到的形态。孔明灯的位置与当前场景中的其他物体具有应有的遮挡关系,例如,当前场景还有其他行人时,孔明灯被一个行人遮挡住部分,由于服务端在推送该孔明灯数据中包含了该部分的遮挡关系数据,因而客户端依据该遮挡关系数据在行人处渲染出未被遮挡的孔明灯,从而使用户看到的是3D效果逼真的孔明灯。
此时,用户仅通过对客户端应用的启动操作和对具体元宇宙空间场景用户的选择操作,即可以看到元宇宙空间场景的数字内容。
当用户想要发布一个孔明灯时,调出消息发布界面,在该界面生成一个孔明灯。在一个实施例中,消息发布界面中能够包括各种工具,如绘图工具、文本填加工具和特效工具等等,用户基于这些工具制作出一个满意的孔明灯,填加到屏幕呈现的数字空间中,通过点击发布按钮发出发布指令。
步骤S305,客户端基于所述发布指令,与服务端建立发布短链接。具体地,客户端向服务端发送发布请求,所述发布请求中包括业务ID、用户设置的客户端ID。服务端响应所述发布请求,与客户端建立起发布短链接。在建立发布短链接时,服务端同时还建立ID映射表,如前述实施例所述,在此不再赘述。
步骤S306,客户端将用户生成的孔明灯数据以消息的形成经发布短链接发布到元宇宙空间中。所述的孔明灯数据包括孔明灯本身数据及其在数字内容中的位置数据。当用户将制作好的孔明灯填加到屏幕呈现的数字空间中时,计算其空间位置得到位置数据,在发送孔明灯时,将其位置数据同孔明灯数据一起发布出去。
步骤S307,断开与服务端的发布短链接。
从前述的客户端订阅与发布消息的处理流程可见,当一个元宇宙空间有大量用户接入时,为了向用户提供空间中增加的大量的数字内容,服务端需要进行大量的计算和处理,本发明提供了一种应用于元宇宙的消息传输方法有效地减少了计算量,提高了消息传输效率。
在前述的整体过程中,客户端还监测手机的空间位置,一旦手机的空间位置发生变化,客户端需要重新订阅空间通道。图7是根据本发明一个实施例的监测手机空间位置的处理流程图。
步骤S401,判断手机位置是否发生了变化,当手机位置发生了变化时执行步骤S402,如果没有发生变化,则返回步骤S401。其中,当用户走动时会使其手持的手机地理位置发生变化,当用户转动身体,会使其手持的手机朝向发生变化,当用户抬高或降低手机,会使手机的高度、空间角度发生变化。客户端实时获取手机的平面地理坐标、高度、空间角度等位置信息,并与之前的平面地理坐标、高度、空间角度等位置信息进行比较,当任一个位置信息发生变化时,执行步骤S402。
步骤S402,向服务端发送原空间通道的取消订阅的请求。当服务端接收到该请求时,在步骤S501释放原空间通道的资源,如删除前述表1中的空间通道标识对应的角度及空间坐标。
步骤S403,计算手机的空间位置信息。
步骤S404,判断手机位置是否停止变化,如果停止了变化,则在步骤S405向服务端发送订阅空间通道请求,所述订阅空间通道请求中包括了计算得到的手机的新空间位置信息。对应地,服务端在步骤S502响应该请求,基于空间位置信息确定新订阅空间通道,并更新表1。在步骤S503重新确定位于新订阅空间通道的数字内容,并推送给客户端。其中,服务端在向客户端推送消息时,滤除消息的源客户端,从而不再将一个客户端发布的消息重复推送给客户端。
步骤S406,接收数字内容并叠加到数字空间中,返回步骤S401。
客户端实时监测客户端设备的空间位置,通过与服务端的配合实现对空间通道的随时切换,能够保证无论客户端的位置如何变化,都能接收到其可视范围内的数字内容。
在某些应用场景中,客户端发布到元宇宙空间的数字内容是可移动的,例如放到河中的河灯会随着河水的流动而逐水漂流,放到空中的孔明灯会因风而飘动,首先,数字内容的这种位置变化应实时呈现到客户端,其次,即使客户端设备的空间位置没有变化,由于数字内容空间位置的移动,数字内容会移动到客户端的可视范围之外。因而,服务端还包括监测数字内容位置及处理的方法流程,由于元宇宙空间有多个数字内容,对每一个数字内容的处理相同,因而以对一个数字内容的处理为例进行说明。图8是根据本发明一个实施例对一个数字内容进行监控的处理方法流程图。参见图8,所述方法流程包括:
步骤S601,监测数字内容的位置是否发生变化。如果发生了变化,则执行步骤S602,如果没有,则返回步骤S601。其中,服务端记录有每一个数字内容的具体信息,例如发布所述数字内容的源客户端,数字内容的位置信息,数字内容所在空间位置位于其他N个客户端的订阅空间通道等等。
步骤S602,计算数字内容的实时位置。
步骤S603,确定计算范围,并遍历计算数字内容的当前实时位置与计算范围内的所有订阅空间通道的位置关系,如计算数字内容与所有形成订阅空间通道起始点的角度。所述的计算范围可以是数字内容在本次计算之前上一次计算确定的订阅空间通道。
步骤S604,以一个订阅空间通道为目标空间通道。
步骤S605,判断数字内容是否移出所述目标空间通道,如果移出,则在步骤S606停止向所述目标空间通道对应的客户端推送所述数字内容,并执行步骤S607。如果没有移出,则在步骤S609向所述目标空间通道对应的客户端推送所述数字内容,并执行步骤S610。其中,数字内容没有移出所述目标空间通道时,提取适应于订阅空间通道角度、位置关系的数字内容数据及数字内容与空间的叠加位置及遮挡关系,将这些数据推送给所述客户端。
步骤S607,判断数字内容是否进入新的订阅空间通道,如果数字内容的当前实时位置进入了新的订阅空间通道,在步骤S608将所述新的订阅空间通道加入到下一次计算范围。如果没有,则执行步骤S609。
步骤S610,判断计算范围中是否还有订阅空间通道未处理,如果有,则返回步骤S604,如果计算范围中的所有订阅空间通道都已经处理完,则完成一次监测计算。该过程在应用场景中将一直进行,直至所述应用场景结束。
以图3所示的客户端订阅空间通道与数字内容为例,服务端基于图8所示的处理流程计算并维护以下表3的内容:
表3
通道标识 | O0(t0) | O0(t1) | O0(t2) | …… |
/C0/+ | 15° | 5° | -5° | …… |
/C1/+ | 20° | 10° | -3° | …… |
/C2/+ | 22° | 10° | -10° | …… |
在本实施例中,服务端以北指针为标准,定时遍历计算数字内容O0的位置及其与各个形成订阅通道的客户端设备的空间坐标点与呈的角度。表3中的第一栏为订阅空间通道标识,第二、三和四栏分别为在t0、t1、t2三个时刻计算得到的数字内容O0与订阅空间通道所呈的角度,在每个时刻计算完得到的数字内容O0与订阅空间通道所呈的角度时,将计算得到的角度与订阅空间通道的角度进行对比,结合表1,在t0时刻,数字内容O0位于客户端C0、C1的订阅空间通道内,位于客户端C2的订阅空间通道外,此时服务端向客户端C1推送数字内容O0。而在t1时刻,数字内容O0位于客户端C0、C1、C2的订阅空间通道内,此时,服务端向客户端C1、C2推送数字内容O0。在t1时刻,数字内容O0位于客户端C1、C2的订阅空间通道内,位于客户端C0的订阅空间通道外,此时,服务端向客户端C1、C2推送数字内容O0。
由于本发明的服务端为每一个发布的消息设置有源字段,源字段中的值为发布该消息的客户端,服务端在推送消息时,过滤掉发布所述消息的源客户端,基于所述设置,本发明能够实现组消息过滤。以游戏对战场景为例,多个用户在同一个元宇宙空间组队进行射击对战,服务端将同一战队的用户发出的消息的源字段设置为相同ID,如该用户所在的战队ID。当一组用户中的用户以另一组的一个用户作为目标用户向其发射子弹时,用户操作客户端向摄像机采集的当前可视范围内的目标用户发射子弹,所述的子弹为数字空间的数字内容,服务端在将该用户发出的子弹推送给元宇宙空间中的用户的客户端时,过滤掉与所述子弹源字段中ID相同的客户端,因而与发出子弹的同一战队的用户接收不到该子弹,从效果上来看,用户发射的子弹不会击中同一战队的队友,进一步扩展了应用场景,提高了用户对元宇宙空间的应用体验感。
对于元宇宙的群组应用场景,当用户数量大,需要传递海量数字内容时,由本发明提供的方法并不进行全量计算,仅向客户端传递客户端可视范围的数字内容,因而有效地减少了计算量和消息传输的数据量,即使是普通性能的客户端设备和服务端设备,也能维持流畅而及时的消息传输,有效地避免了数据延迟、计算量大带来的卡顿感,从而提高了用户在元宇宙空间的体验感。
需要说明,对于本发明的各个实施例,为描述清楚,均表述为一系列的动作或处理的组合。本领域技术人员应知悉,其实现过程不受所描述的动作或处理的顺序限制,本发明实施例中的某些步骤可以采用其他顺序处理或者同时进行处理。
另一方面,本发明还提供了一种应用于元宇宙的消息传输装置,如图9所示,图9是根据本发明一个实施例的应用于元宇宙的消息传输装置的原理框图,其中包括应用于用户终端设备300的应用于元宇宙的第一消息传输装置100和应用于服务器的应用于元宇宙的第二消息传输装置200。第一消息传输装置100包括数字空间创建模块110、订阅模块120和内容融合模块130。用户终端设备300包括设备端通信模块310,如Wifi模块、蓝牙模块、2G/3G/4G/5G通信模块等,用于与服务器400通信。用户终端设备300还包括位置信息模块320,如GPS系统、陀螺仪、IMU单元等传感器,用于获取用户终端设备300的实时空间位置信息,如平面地理坐标、高度、空间角度等等。用户终端设备300还包括显示屏幕330。用户终端设备300还包括其他模块,如摄像头等等。
其中,所述数字空间创建模块110分别与位置信息模块320和摄像头连接,基于用户终端设备300的空间位置及环境图像建立与现实空间重叠的数字空间并通过显示屏幕330呈现所述数字空间。所述订阅模块120分别与所述位置信息模块320和设备端通信模块310连接,用于获取终端设备的空间位置信息,向服务端订阅当前空间通道及主题;同时监测终端设备的空间位置是否发生变换,响应于终端设备的空间位置发生了变换,向服务端取消原订阅空间通道,并订阅当前空间通道;其中,所述当前空间通道的空间范围与数字空间呈现的可视空间范围相对应,或者所述当前空间通道的空间范围不小于数字空间呈现的可视空间范围。所述内容融合模块130通过设备端通信模块310接收服务端推送的订阅空间通道内的符合订阅主题的数字内容,将所述数字内容叠加到数字空间中。应用于服务器的应用于元宇宙的第二消息传输装置200包括订阅处理模块210和内容推送模块220。服务器包括服务端通信模块410及其他的必要模块,如数据库等等。其中,所述订阅处理模块210接收并处理客户端发送的空间通道的订阅请求和取消请求,当接收的是订阅请求时,从所述订阅请求中提取出终端设备的空间位置信息,基于所述空间位置信息确定客户端终端设备的订阅空间通道。当接收的是订阅空间通道的取消请求时,释放针对该客户端的订阅空间通道资源,即取消该客户端已订阅的空间通道,并向所述内容推送模块220发送停止推送通知。所述内容推送模块220将位于订阅空间通道内的符合订阅主题的数字内容推送给所述客户端;在接收到停止推送通知时,停止向客户端推送已经被取消的订阅空间通道的数字内容。
所述订阅模块120在向服务端订阅当前空间通道之前采用客户端ID与服务端建立订阅链接。在一个实施例中,所述的订阅链接为长链接。
所述内容融合模块130在将所述数字内容叠加到数字空间中时,从服务端推送的订阅空间通道内的数字内容中提取出数字内容数据及数字内容与空间的位置关系数据;基于数字内容与空间的位置关系确定在当前数字空间的叠加位置及数字内容与数字空间的遮挡关系;按照数字内容与数字空间的遮挡关系在确定的叠加位置上渲染数字内容。
所述订阅处理模块210在与在接收到客户端发送的空间通道的订阅请求时,基于订阅请求中的客户端ID为所述客户端创建订阅链接ID,并创建客户端ID与订阅链接ID的第一ID映射,基于所述第一ID映射与所述第一客户端建立订阅链接。
所述内容推送模块220遍历符合订阅主题的数字内容所在的空间通道,以确定位于订阅空间通道内的符合订阅主题的数字内容;或者遍历位于订阅空间通道中的数字资源,从所述数字资源中确定位于订阅空间通道内的符合订阅主题的数字内容;在确定了要推送的数字内容后,提取适应于订阅空间通道角度、位置关系的数字内容数据及数字内容与空间的叠加位置及遮挡关系;将适应于订阅空间通道角度、位置关系的数字内容数据及包含数字内容与空间叠加位置及遮挡关系的位置关系数据以消息的形式推送给客户端时。另外,所述内容推送模块220在向多个客户端推送数字内容时,从中过滤掉发布所述数字内容的源客户端。所述内容推送模块220还监测数字内容的位置是否发生变化,在数字内容的位置发生变化时,实时计算数字内容的实时位置与客户端订阅空间通道的位置关系;当数字内容的实时位置移出客户端的订阅空间通道时,停止向所述客户端推送所述数字内容数据;当数字内容的实时位置在客户端的订阅空间通道中时,提取适应于订阅空间通道角度、位置关系的数字内容数据及数字内容与空间的叠加位置及遮挡关系,并推送给所述客户端。
图10是根据本发明另一个实施例的应用于元宇宙的消息传输装置的原理框图。其中包括应用于用户终端设备300的应用于元宇宙的第一消息传输装置100和应用于服务器400的应用于元宇宙的第二消息传输装置200。与图9所示的装置相比,本实施例中的第一消息传输装置100还包括发布模块140,在用户发布数字内容时,通过发布模块140、经设备端通信模块310与服务器建立发布链接,如长链接或短链接,而而将数字内容以消息的形式发布到元宇宙空间中。在发布的消息中包括数字内容在其当前空间中的位置信息。对应地,第二消息传输装置200还包括发布处理模块230,基于客户端发送的发布请求与其建立发布链接,并按照客户端消息中的数字内容的位置信息将所述数字内容增加到元宇宙空间中,并发送新消息通知给内容推送模块220,内容推送模块220基于数字内容的位置确定其所在的订阅空间通道,将数字内容推送给相应的客户端。
本领域技术人员应理解,本文中所描述的实施例属于优选实施例,所涉及的动作、步骤或模块等并不一定是本发明实施例所必须的。在上述实施例中,本发明实施例对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
图11是根据本发明实施例的一种电子设备的结构示意图,电子设备60包括处理器61、存储器62以及用于连接处理器61和存储器62的通信总线,其中在存储器62中存储有可以在处理器61上运行的计算机程序,处理器61运行该计算机程序时可执行或称实现本发明中各个实施例的方法中的步骤。电子设备60还包括通信接口,用于接收和发送数据。电子设备60可以是本发明实施例中的服务器,电子设备60也可以是云端服务器。电子设备60也可以是本发明实施例中的终端设备或AR设备。在合适的情况下电子设备也可称为计算设备。
在一些实施例中,处理器61可以是中央处理器(Central Processing Unit,CPU)、图形处理器(graphics processing unit,GPU)、应用处理器(application processor,AP)、调制解调处理器、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器、神经网络处理器(neural-network processing unit,NPU)等;处理器61还可以是其他通用处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器,也可以是任何常规的处理器等。其中,神经网络处理器NPU通过借鉴生物神经网络结构,可对输入信息快速处理,还可以不断进行自我学习。通过NPU电子设备60可以实现智能认知等应用,例如图像识别、人脸识别、语义识别、语音识别、文本理解等。
在一些实施例中,存储器62可以是电子设备60的内部存储单元,例如电子设备60的硬盘或内存;存储器62也可以是电子设备60的外部存储设备,例如电子设备60上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。存储器62还可以既包括电子设备60的内部存储单元也包括外部存储设备。存储器62可用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如计算机程序的程序代码等。存储器62包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)或便携式只读存储器(compact disc read-only memory,CD-ROM)。存储器62用于存储电子设备60所执行的程序代码和所传输的数据。存储器62还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员可以理解,图11仅是电子设备60的举例,并不构成对电子设备60的限定,电子设备60可以包括比图示更多或更少的部件,或者组合某些部件,或者包括不同的部件,例如还可以包括输入输出设备、网络接入设备等。
当所述电子设备60为本发明前述的终端设备时,存储器62中存储有用于实现本发明前述实施例中的应用于元宇宙的消息传输方法的计算机程序指令,当处理器61执行所述计算机程序指令时实现客户端应用于元宇宙的消息传输方法。
当所述电子设备60为本发明前述的服务器时,存储器62中存储有用于实现本发明前述实施例中的应用于元宇宙的消息传输方法的计算机程序指令,当处理器61执行所述计算机程序指令时实现服务端应用于元宇宙的消息传输方法。
前述的存储器62构成了一种计算机可读存储介质,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现客户端和/或服务端的应用于元宇宙的消息传输方法。
存储器62中存储的计算机程序指令构成了一种计算机程序产品,其可以以应用安装包、插件等形式安装在电子设备中,由电子设备的处理器执行来实现客户端和/或服务端的应用于元宇宙的消息传输方法。
图12是本发明实施例的终端设备的软件结构示意图。以手机操作系统为Android系统为例,在一些实施例中,将Android系统分为四层,分别为:应用程序层、应用程序框架层(framework,FWK)、系统层以及硬件抽象层,层与层之间通过软件接口通信。
首先,应用程序层可以包括多个应用程序包,应用程序包可以是例如通话、相机、视频、导航、天气、即时通讯、教育等各种应用程序app,也可以是基于AR技术的应用程序app。
第二,应用程序框架层FWK为应用程序层的应用程序提供应用编程接口(application programming interface,API)和编程框架。应用程序框架层可以包括一些预先定义的函数,例如用于接收应用程序框架层所发送的事件的函数。
应用程序框架层可以包括窗口管理器、资源管理器以及通知管理器等。
其中,窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
其中,资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
其中,通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
此外,应用程序框架层还可以包括视图系统,视图系统包括可视控件,例如显示文字的控件、显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的,例如短信通知图标的显示界面上可以包括显示文字的视图以及显示图片的视图。
第三,系统层可以包括多个功能模块,例如传感器服务模块、物理状态识别模块、三维图形处理库(例如:OpenGLES),等等。
其中,传感器服务模块用于对硬件层各类传感器上传的传感器数据进行监测,确定手机的物理状态;物理状态识别模块用于对用户手势、人脸等进行分析和识别;三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
此外,系统层还可以包括表面管理器和媒体库。表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。
最后,硬件抽象层是硬件和软件之间的层。硬件抽象层可以包括显示驱动、摄像头驱动、传感器驱动等,用于驱动硬件层的相关硬件,如显示屏、摄像头、传感器等。
本领域技术人员应该知悉,本发明实施例所描述的方法、步骤或者相关模块/单元的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式来实现,也可以是由处理器执行计算机程序指令的方式来实现。其中,该计算机程序产品包括至少一个计算机程序指令,计算机程序指令可以由相应的软件模块组成,软件模块可以被存放于RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。该计算机程序指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。例如,该计算机程序指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质、或者半导体介质(如SSD)等。
关于上述实施例中描述的各个装置/产品,其中包含的模块/单元可以是软件模块/单元,也可以是硬件模块/单元,还可以部分是软件模块/单元,部分是硬件模块/单元。例如,对于应用或集成于芯片的装置/产品,其包含的各个模块/单元可以都用电路等硬件的方式实现,或者,至少部分模块/单元采用软件程序的方式实现,运行于芯片内部集成的处理器,剩余的部分模块/单元采用电路等硬件方式实现。又如,对于应用或集成于终端的装置/产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,或者,至少部分模块/单元采用软件程序的方式实现,运行于终端内部集成的处理器,剩余部分模块/单元可以采用电路等硬件方式实现。
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (21)
1.一种应用于元宇宙的消息传输方法,其特征在于,应用于终端设备,包括:
建立与现实空间重叠的数字空间并通过终端设备的显示部件呈现所述数字空间;
获取终端设备的空间位置信息,向服务端订阅当前空间通道及主题,所述当前空间通道的空间范围与数字空间呈现的可视空间范围相对应;以及
响应于接收到服务端推送的订阅空间通道内的符合订阅主题的数字内容,将所述数字内容叠加到数字空间中。
2.根据权利要求1所述的应用于元宇宙的消息传输方法,其特征在于,将所述数字内容叠加到数字空间中的步骤包括:
从服务端推送的数字内容中提取出数字内容数据及数字内容与空间的位置关系数据;
基于数字内容与空间的位置关系确定在当前数字空间的叠加位置及数字内容与数字空间的遮挡关系;以及
按照数字内容与数字空间的遮挡关系在确定的叠加位置上渲染数字内容。
3.根据权利要求1所述的应用于元宇宙的消息传输方法,其特征在于,进一步包括:
向服务端订阅当前空间通道之前采用客户端ID与服务端建立订阅链接。
4.根据权利要求3所述的应用于元宇宙的消息传输方法,其特征在于,进一步包括:
采用客户端ID与服务端建立发布链接;以及
经所述发布链接向服务端发布数字内容。
5.根据权利要求4所述的应用于元宇宙的消息传输方法,其特征在于,所述的订阅链接为长链接,所述的发布链接为长链接或短链接。
6.根据权利要求4所述的应用于元宇宙的消息传输方法,其特征在于,所述客户端ID包括业务ID,同组用户的业务ID相同。
7.根据权利要求1所述的应用于元宇宙的消息传输方法,其特征在于,当监测到终端设备的空间位置发生了变化时进一步包括:
向服务端发送取消原订阅空间通道的取消请求;以及
在终端设备的空间位置变换完成时,向服务端发送订阅当前空间通道的订阅请求。
8.一种应用于元宇宙的消息传输方法,其特征在于,应用于服务器,包括:
响应于接收到客户端发送的空间通道的订阅请求,从所述订阅请求中提取出终端设备的空间位置信息及订阅主题信息;
基于所述空间位置信息确定客户端终端设备的订阅空间通道,所述订阅空间通道的空间范围与客户端终端设备当前数字空间呈现的可视空间范围相对应;
将位于订阅空间通道内的符合订阅主题的数字内容推送给客户端;以及
响应于接收到客户端发送对原订阅空间通道的订阅取消请求,停止向所述客户端推送原订阅空间通道的数字内容。
9.根据权利要求8所述的应用于元宇宙的消息传输方法,其特征在于,进一步包括:
遍历符合订阅主题的数字内容所在的空间通道以确定位于订阅空间通道内的符合订阅主题的数字内容;或者遍历位于订阅空间通道中的数字资源,从所述数字资源中确定位于订阅空间通道内的符合订阅主题的数字内容;以及
提取适应于订阅空间通道角度、位置关系的数字内容数据及数字内容与空间的叠加位置及遮挡关系;
对应地,在将位于订阅空间通道内的符合订阅主题的数字内容推送给客户端时,推送的数字内容包括适应于订阅空间通道角度、位置关系的数字内容数据及包含数字内容与空间叠加位置及遮挡关系的位置关系数据。
10.根据权利要求8所述的应用于元宇宙的消息传输方法,其特征在于,在接收到客户端发送的空间通道的订阅请求时进一步包括:基于订阅请求中的客户端ID为所述客户端创建订阅链接ID,并创建客户端ID与订阅链接ID的第一ID映射关系,基于所述第一ID映射关系与所述第一客户端建立订阅链接。
11.根据权利要求10所述的应用于元宇宙的消息传输方法,其特征在于,进一步包括:在接收到客户端发送的发布请求时,基于发布请求中的客户端ID为所述客户端创建发布链接ID,并创建客户端ID与发布链接ID的第二ID映射关系,基于所述第二ID映射关系与所述第一客户端建立发布链接。
12.根据权利要求11所述的应用于元宇宙的消息传输方法,其特征在于,所述的订阅链接为长链接,所述的发布链接为长链接或短链接;当所述的发布链接为短链接时,在接收到客户端发布的数字内容后,断开与所述客户端的发布链接。
13.根据权利要求8所述的应用于元宇宙的消息传输方法,其特征在于,将位于订阅空间通道内的符合订阅主题的数字内容推送给客户端的步骤包括:
确定订阅空间通道的一个或多个客户端作为目标客户端;
确定订阅空间通道内的符合订阅主题的一个或多个目标数字内容及发布目标数据字内容的源客户端;
从目标客户端中过滤掉发布所述数字内容的源客户端;以及
将目标数字内容推送给过滤后的目标客户端。
14.根据权利要求8所述的应用于元宇宙的消息传输方法,其特征在于,进一步包括:
监测到有新发布的数字内容时,确定所述数字内容所在的空间通道;
确定订阅所述空间通道的客户端,并从中过滤掉发布所述数字内容的源客户端;以及
向过滤后的订阅所述空间通道的客户端推送所述数字内容。
15.根据权利要求8所述的应用于元宇宙的消息传输方法,其特征在于,进一步包括:
监测数字内容的位置是否发生变化;
响应于数字内容的位置发生变化,实时计算数字内容的实时位置与客户端订阅空间通道的位置关系;
响应于数字内容的实时位置移出客户端的订阅空间通道,停止向所述客户端推送所述数字内容数据;以及
响应于数字内容的实时位置在客户端的订阅空间通道中,提取适应于订阅空间通道角度、位置关系的数字内容数据及数字内容与空间的叠加位置及遮挡关系,并推送给所述客户端。
16.一种应用于元宇宙的消息传输装置,其特征在于,应用于终端设备,包括:
数字空间创建模块,经配置以建立与现实空间重叠的数字空间并通过终端设备的显示部件呈现所述数字空间;
订阅模块,经配置以获取终端设备的空间位置信息,向服务端订阅当前空间通道及主题;其中所述当前空间通道的空间范围与数字空间呈现的可视空间范围相对应;以及
内容融合模块,经配置以响应于接收到服务端推送的订阅空间通道内的符合订阅主题的数字内容,将所述数字内容叠加到数字空间中。
17.一种应用于元宇宙的消息传输装置,其特征在于,应用于服务器,包括:
订阅处理模块,经配置以响应于接收到客户端发送的空间通道的订阅请求,从所述订阅请求中提取出终端设备的空间位置信息,基于所述空间位置信息确定客户端终端设备的订阅空间通道,所述订阅空间通道的空间范围与客户端终端设备当前数字空间呈现的可视空间范围相对应;响应于接收到客户端发送对原订阅空间通道的订阅取消请求,取消对应的原原订阅空间通道;以及
内容推送模块,经配置将位于订阅空间通道内的符合订阅主题的数字内容推送给所述客户端;停止向已取消的订阅空间通道对应的客户端推送数字内容。
18.一种终端设备,其特征在于,包括处理器以及存储有计算机程序指令的存储器,所述处理器执行所述计算机程序指令时实现如权利要求1-7中任一项所述的应用于元宇宙的消息传输方法。
19.一种服务器,其特征在于,包括:处理器以及存储有计算机程序指令的存储器;所述处理器执行所述计算机程序指令时实现如权利要求8-15中任一项所述的应用于元宇宙的消息传输方法。
20.一种计算机可读存储介质,其特征在于,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-15中任一项所述的应用于元宇宙的消息传输方法。
21.一种计算机程序产品,其特征在于,其包括计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-15中任一项所述的应用于元宇宙的消息传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310341536.9A CN116389565A (zh) | 2023-03-31 | 2023-03-31 | 应用于元宇宙的消息传输方法、装置及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310341536.9A CN116389565A (zh) | 2023-03-31 | 2023-03-31 | 应用于元宇宙的消息传输方法、装置及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116389565A true CN116389565A (zh) | 2023-07-04 |
Family
ID=86965133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310341536.9A Pending CN116389565A (zh) | 2023-03-31 | 2023-03-31 | 应用于元宇宙的消息传输方法、装置及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116389565A (zh) |
-
2023
- 2023-03-31 CN CN202310341536.9A patent/CN116389565A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11195332B2 (en) | Information interaction method based on virtual space scene, computer equipment and computer-readable storage medium | |
US10127736B1 (en) | Method and system for performing interaction based on augmented reality | |
KR102367928B1 (ko) | 표면 인식 렌즈 | |
US10567449B2 (en) | Apparatuses, methods and systems for sharing virtual elements | |
US10356216B2 (en) | Methods and systems for representing real-world input as a user-specific element in an immersive virtual reality experience | |
CN112074797A (zh) | 用于将虚拟对象锚定到物理位置的系统和方法 | |
US10863310B2 (en) | Method, server and terminal for information interaction | |
EP2974509B1 (en) | Personal information communicator | |
CN112312111A (zh) | 虚拟图像的显示方法、装置、电子设备及存储介质 | |
CN113407084B (zh) | 展示内容更新方法、头戴式显示设备和计算机可读介质 | |
US20240281192A1 (en) | Location-based shared augmented reality experience system | |
CN108959311B (zh) | 一种社交场景配置方法及装置 | |
WO2019137212A1 (zh) | 可视化公益活动的实现方法和装置 | |
CN116389565A (zh) | 应用于元宇宙的消息传输方法、装置及可读存储介质 | |
US20180048760A1 (en) | Method and device for information exchange | |
CN116389219A (zh) | 元宇宙消息的传输处理方法、系统及可读存储介质 | |
CN116633890A (zh) | 3d式消息处理方法、装置、电子设备及可读存储介质 | |
CN116610396A (zh) | 原生内容与元宇宙内容共享拍摄的方法、装置、电子设备 | |
CN117710577A (zh) | 三维可视化模型显示方法、系统、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |