CN117440140B - 一种基于虚拟现实技术的多人异地过节服务系统 - Google Patents

一种基于虚拟现实技术的多人异地过节服务系统 Download PDF

Info

Publication number
CN117440140B
CN117440140B CN202311764612.3A CN202311764612A CN117440140B CN 117440140 B CN117440140 B CN 117440140B CN 202311764612 A CN202311764612 A CN 202311764612A CN 117440140 B CN117440140 B CN 117440140B
Authority
CN
China
Prior art keywords
dimensional
user
image
service
festival
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311764612.3A
Other languages
English (en)
Other versions
CN117440140A (zh
Inventor
苏孟姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Normal University
Original Assignee
Sichuan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Normal University filed Critical Sichuan Normal University
Priority to CN202311764612.3A priority Critical patent/CN117440140B/zh
Publication of CN117440140A publication Critical patent/CN117440140A/zh
Application granted granted Critical
Publication of CN117440140B publication Critical patent/CN117440140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A63B22/0235—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Abstract

本申请公开了一种基于虚拟现实技术的多人异地过节服务系统，涉及虚拟现实技术领域。所述系统包括有云服务器、多个异地过节服务亭和多个边缘处理设备，其中，多个异地过节服务亭与多名用户一一对应并分别部署在不同的用户所在地，异地过节服务亭的内部配置有人机交互机、深度相机、3D全息眼镜、室内定位标签和室内定位基站，并通过它们的通信连接关系及功能设计，可以借助服务亭为异地的多个用户提供在诸如灯会、庙会或特别节日活动场所等三维虚拟场景中的人体三维模型融入并进行联动阅览服务，使他们能够获取一定的过节沉浸感，进而可利于异地维护用户间关系，并实现降低异地亲朋好友们当前过节的时间需求及出行成本的目的。

Description

一种基于虚拟现实技术的多人异地过节服务系统
技术领域
本发明属于虚拟现实(英文名称：Virtual Reality，缩写为VR)技术领域，具体涉及一种基于虚拟现实技术的多人异地过节服务系统。
背景技术
节日是指生活中值得纪念的重要日子，是世界人民为适应生产和生活的需要而共同创造的一种民俗文化，是世界民俗文化的重要组成部分。为了在节日进行庆祝等活动，亲朋好友们往往会聚在一起过节，例如一起出席诸如灯会、庙会、旅游景点、著名广场或特别节日活动现场等实地场所。但是目前大多亲朋好友们是日常工作生活在异地，使得要在节日聚在一起过节是非常困难的，例如时间不够和出行成本高就是非常显著的阻碍因素。
虚拟现实技术是20世纪发展起来的一项全新的实用技术，囊括了计算机、电子信息和仿真技术，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。随着社会生产力和科学技术的不断发展，各行各业对虚拟现实技术的需求日益旺盛，已经广泛应用在诸如娱乐、军事训练、医疗培训和产品三维虚拟展示等多个领域。因此如何基于虚拟现实技术为亲朋好友们提供异地聚集于三维虚拟场景中以获取过节沉浸感的信息服务，实现降低异地亲朋好友们当前过节的时间需求及出行成本的目的，是本领域技术人员亟需研究的课题。
发明内容
本发明的目的是提供一种基于虚拟现实技术的多人异地过节服务系统，用以解决异地亲朋好友们当前过节所存在时间不够及出行成本高的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种基于虚拟现实技术的多人异地过节服务系统，包括有云服务器、多个异地过节服务亭和多个边缘处理设备，其中，所述多个异地过节服务亭与多名用户一一对应并分别部署在不同的用户所在地，所述异地过节服务亭的内部配置有人机交互机、深度相机、3D全息眼镜、室内定位标签和室内定位基站，所述室内定位标签的数目有多个并分别固定布置在所述3D全息眼镜的各个不同部位，所述室内定位基站的数目有多个并分别固定布置在所属服务亭内的各个不同位置，所述多个边缘处理设备与所述多个异地过节服务亭一一对应；
所述人机交互机，通信连接与所属服务亭对应的所述边缘处理设备，用于供与所属服务亭对应的用户选择多人过节三维虚拟场景及入场位置，并将选择结果传送至与所属服务亭对应的所述边缘处理设备；
所述深度相机，通信连接与所属服务亭对应的所述边缘处理设备，用于实时采集与所属服务亭对应的用户的全身深度图像，并将所述全身深度图像实时传送至与所属服务亭对应的所述边缘处理设备；
所述3D全息眼镜，通信连接与所属服务亭对应的所述边缘处理设备，用于供与所属服务亭对应的用户佩戴使用，并接收展示来自与所属服务亭对应的所述边缘处理设备的3D眼前影像数据；
所述室内定位标签，通信连接所述室内定位基站，用于实时向各个所述室内定位基站发送定位用脉冲信号；
所述室内定位基站，通信连接与所属服务亭对应的所述边缘处理设备，用于针对各个所述室内定位标签，根据对应标签发送的所述定位用脉冲信号实时确定基站至对应标签的空间距离，并将所述空间距离实时传送至与所属服务亭对应的所述边缘处理设备；
所述边缘处理设备，通信连接所述云服务器，用于将所述选择结果上传至所述云服务器，以及根据所述全身深度图像实时生成对应的用户的人体三维模型和人体位置信息，并将所述人体三维模型及所述人体位置信息实时上传至所述云服务器，以及还针对各个所述室内定位标签，根据各个所述室内定位基站的已知布置坐标和各个所述室内定位基站至对应标签的空间距离，应用定位算法实时确定对应标签的空间坐标，并根据各个所述室内定位标签的空间坐标确定对应的3D全息眼镜的眼镜位置信息，然后将所述眼镜位置信息实时上传至所述云服务器，其中，所述人体位置信息是指用户身体各部位相对于异地过节服务亭的第一相对位置信息，所述眼镜位置信息是指3D全息眼镜的各部位相对于异地过节服务亭的第二相对位置信息；
所述云服务器，用于开展如下处理方式：（A）根据所述多名用户的所述选择结果，确定所述多名用户统一选定的多人过节三维虚拟场景，以及还确定在所述多名用户中的各名用户在所述多人过节三维虚拟场景中的初始所处虚拟位置；（B）针对所述各名用户，根据对应的所述初始所处虚拟位置以及所述人体位置信息实时更新对应用户在所述多人过节三维虚拟场景中的实时所处虚拟位置；（C）根据所述各名用户的所述实时所处虚拟位置，将所述各名用户的所述人体三维模型实时加载到所述多人过节三维虚拟场景中，得到实时3D场景影像数据；（D）针对所述各名用户，先从所述实时3D场景影像数据中分割出用于在对应用户的实时所处虚拟位置周围呈现近处事物影像的3D周围近景影像数据，再根据对应用户的所述人体位置信息确定对应用户对该3D周围近景影像数据的互动影响，并更新得到在互动影响后的且对应的3D周围近景影像新数据，最后将所述实时3D场景影像数据中的该3D周围近景影像数据刷新为该3D周围近景影像新数据；（E）针对所述各名用户，先根据对应用户佩戴的所述3D全息眼镜的所述眼镜位置信息确定该3D全息眼镜的虚拟视野范围，再从所述实时3D场景影像数据中分割出用于在该虚拟视野范围内呈现所有事物影像的3D眼前影像数据，最后将该3D眼前影像数据下发至该3D全息眼镜的所属体验亭的边缘处理设备；
所述边缘处理设备，还用于将来自所述云服务器的3D眼前影像数据转发至对应的3D全息眼镜。
基于上述发明内容，提供了一种基于虚拟现实技术为亲朋好友们提供异地聚集于三维虚拟场景中以获取过节沉浸感的信息服务方案，即包括有云服务器、多个异地过节服务亭和多个边缘处理设备，其中，所述多个异地过节服务亭与多名用户一一对应并分别部署在不同的用户所在地，所述异地过节服务亭的内部配置有人机交互机、深度相机、3D全息眼镜、室内定位标签和室内定位基站，所述多个边缘处理设备与所述多个异地过节服务亭一一对应，并通过它们的通信连接关系及功能设计，可以借助服务亭为异地的多个用户提供在诸如灯会、庙会或特别节日活动场所等三维虚拟场景中的人体三维模型融入并进行联动阅览服务，使他们能够获取一定的过节沉浸感，进而可利于异地维护用户间关系，并实现降低异地亲朋好友们当前过节的时间需求及出行成本的目的，便于实际应用和推广。
在一个可能的设计中，所述异地过节服务亭的内部还配置有转台、跑步带和跑步带驱动电机，其中，所述转台的顶部载物面用于作为所属服务亭的内部地面，所述跑步带嵌设在所述顶部载物面中，所述跑步带驱动电机位于所述跑步带的下方；
所述转台，通信连接与所属服务亭对应的所述边缘处理设备，用于根据来自与所属服务亭对应的所述边缘处理设备的且根据所述人体位置信息实时确定的用户行走方向，旋转所述顶部载物面、所述跑步带和所述跑步带驱动电机，使所述跑步带的运动方向与该用户行走方向维持相反；
所述跑步带驱动电机，通信连接与所属服务亭对应的所述边缘处理设备，用于根据来自与所属服务亭对应的所述边缘处理设备的且根据所述人体位置信息实时确定的用户行走速度大小，驱动所述跑步带，使所述跑步带的运动速度大小与该用户行走速度大小维持相等。
在一个可能的设计中，所述人机交互机采用触控屏并设置在所述异地过节服务亭的内侧壁面上。
在一个可能的设计中，所述深度相机的数目有2×P个，并有P个所述深度相机环向等间距地布置在所述异地过节服务亭的内侧壁面顶部区域中，以及还有另外P个所述深度相机环向等间距地布置在所述异地过节服务亭的内侧壁面底部区域中，其中，P表示大于等于3的正整数。
在一个可能的设计中，根据所述全身深度图像实时生成对应的用户的人体位置信息，包括：
将某名用户的所述全身深度图像实时导入已完成预训练的人体关键点检测模型，实时输出得到所述某名用户的人体关键点检测结果，其中，所述人体关键点检测结果包含有多个人体关键点在某个相机坐标系下的三维坐标，其中，所述某个相机坐标系是指与所述某名用户对应的深度相机的相机坐标系；
针对在所述多个人体关键点中的各个人体关键点，根据对应点在所述某个相机坐标系下的三维坐标以及某个相机与某个异地过节服务亭的已知相对位置关系，换算得到对应点相对于所述某个异地过节服务亭的相对位置信息，其中，所述某个相机是指与所述某名用户对应的深度相机，所述某个异地过节服务亭是指与所述某名用户对应的异地过节服务亭；
汇总所述各个人体关键点的且相对于所述某个异地过节服务亭的相对位置信息，得到所述某名用户的人体位置信息，其中，所述人体位置信息是指用户身体各部位相对于异地过节服务亭的第一相对位置信息。
在一个可能的设计中，所述眼镜位置信息包含有左眼镜片位置信息和/或右眼镜片位置信息，其中，所述左眼镜片位置信息是指左眼镜片相对于异地过节服务亭的第三相对位置信息，所述右眼镜片位置信息是指右眼镜片相对于异地过节服务亭的第四相对位置信息；
针对所述各名用户，先根据对应用户佩戴的所述3D全息眼镜的所述眼镜位置信息确定该3D全息眼镜的虚拟视野范围，再从所述实时3D场景影像数据中分割出用于在该虚拟视野范围内呈现所有事物影像的3D眼前影像数据，包括：针对所述各名用户，先根据对应用户佩戴的所述3D全息眼镜的所述左眼镜片位置信息确定该3D全息眼镜的左眼虚拟视野范围，再从所述实时3D场景影像数据中分割出用于在该左眼虚拟视野范围内呈现所有事物影像的3D左眼前影像数据；和/或，先根据对应用户佩戴的所述3D全息眼镜的所述右眼镜片位置信息确定该3D全息眼镜的右眼虚拟视野范围，再从所述实时3D场景影像数据中分割出用于在该右眼虚拟视野范围内呈现所有事物影像的3D右眼前影像数据；
接收展示来自与所属服务亭对应的所述边缘处理设备的3D眼前影像数据，包括：在接收到来自与所属服务亭对应的所述边缘处理设备的3D左眼前影像数据后，将该3D左眼前影像数据传送至左眼影像显示镜片进行输出展示；和/或，在接收到来自与所属服务亭对应的所述边缘处理设备的3D右眼前影像数据后，将该3D右眼前影像数据传送至右眼影像显示镜片进行输出展示。
在一个可能的设计中，当所述多人过节三维虚拟场景为某个节日活动实地场所的实景三维场景时，所述多人过节三维虚拟场景预先采用如下步骤构建得到：
获取由无人机倾斜摄影设备对所述某个节日活动实地场所采集的倾斜摄影数据以及与所述倾斜摄影数据同步记录的无人机姿态测量数据或像控测量数据；
根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述某个节日活动实地场所的实景三维场景，其中，所述实景三维场景包含有多个现场物体的三维模型。
在一个可能的设计中，根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述某个节日活动实地场所的实景三维场景，包括：
根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述某个节日活动实地场所的初始实景三维场景，其中，所述初始实景三维场景包含有多个现场物体的初始三维模型；
针对在所述多个现场物体中的各个现场物体，根据对应的初始三维模型，抠取得到对应的模型表面初始二维图像；
对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果；
针对所述各个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，否则直接将对应的模型表面初始二维图像作为对应的模型表面完整二维图像；
针对所述各个现场物体，将对应的模型表面完整二维图像渲染到对应的初始三维模型的表面上，得到对应的最终三维模型；
在所述初始实景三维场景中，将所述各个现场物体的初始三维模型更新为对应的最终三维模型，得到所述某个节日活动实地场所的最终实景三维场景。
在一个可能的设计中，针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，包括：
针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则按照区域面积从小到大顺序依次排列所述至少一个建模空洞区域，得到一个建模空洞区域序列；
针对在所述建模空洞区域序列中的第k个建模空洞区域，基于生成对抗神经网络GAN对与在所述建模空洞区域序列中的第k-1个建模空洞区域对应的模型表面修复二维图像进行图像修复处理，得到对应的模型表面修复二维图像，其中，k表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像；
将与在所述建模空洞区域序列中的最末一个建模空洞区域对应的模型表面修复二维图像作为所述某个现场物体的模型完整最终二维图像。
在一个可能的设计中，对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果，包括：
针对在所述多个现场物体中的某个现场物体，将对应的模型表面初始二维图像导入基于YOLO目标检测算法的且已完成预训练的建模空洞区域识别模型，输出得到对应的建模空洞区域识别结果；
若所述某个现场物体的建模空洞区域识别结果指示在所述某个现场物体的模型表面初始二维图像中存在有至少一个建模空洞区域标记框，则根据所述至少一个建模空洞区域标记框，从所述某个现场物体的模型表面初始二维图像中截取出与所述至少一个建模空洞区域标记框一一对应的至少一个建模空洞区域图像；
对所述至少一个建模空洞区域图像分别依次进行图像去噪处理、灰度转换处理和基于预设灰度阈值的二值化处理，得到与所述至少一个建模空洞区域图像一一对应的至少一个二值化图像，其中，所述预设灰度阈值根据建模空洞区域灰度值来预先设定；
针对在所述至少一个二值化图像中的各个二值化图像，基于Canny算法提取得到对应的中心连通域，并将该中心连通域作为在对应建模空洞区域标记框内的建模空洞区域；
汇总所有的所述建模空洞区域，得到所述某个现场物体的且最终的建模空洞区域识别结果。
上述方案的有益效果：
（1）本发明创造性提供了一种基于虚拟现实技术为亲朋好友们提供异地聚集于三维虚拟场景中以获取过节沉浸感的信息服务方案，即包括有云服务器、多个异地过节服务亭和多个边缘处理设备，其中，所述多个异地过节服务亭与多名用户一一对应并分别部署在不同的用户所在地，所述异地过节服务亭的内部配置有人机交互机、深度相机、3D全息眼镜、室内定位标签和室内定位基站，所述多个边缘处理设备与所述多个异地过节服务亭一一对应，并通过它们的通信连接关系及功能设计，可以借助服务亭为异地的多个用户提供在诸如灯会、庙会或特别节日活动场所等三维虚拟场景中的人体三维模型融入并进行联动阅览服务，使他们能够获取一定的过节沉浸感，进而可利于异地维护用户间关系，并实现降低异地亲朋好友们当前过节的时间需求及出行成本的目的，便于实际应用和推广；
（2）还可通过转台、跑步带和跑步带驱动电机的具体功能设计，确保用户无论如何行走，都能呆在原地，避免出现撞墙现象；
（3）还可以实现对基于无人机倾斜摄影的实景三维建模初步成果进行再加工以修复三维模型空洞区域的目的，进而可得到节日活动实地场所的克隆式实景三维场景，保障用户的视听体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于虚拟现实技术的多人异地过节服务系统的结构示意图。
图2为本申请实施例提供的异地过节服务亭的透视结构示意图。
图3为本申请实施例提供的室内定位标签在3D全息眼镜上的布置示例图。
图4为本申请实施例提供的眼镜定位标签、左眼镜片定位标签和右眼镜片定位标签在3D全息眼镜上的布置示例图。
图5为本申请实施例提供的3D远景影像数据、3D周围近景影像数据和3D眼前近景影像数据的3D呈现区域关系示例图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；又例如，A、B和/或C，可以表示存在A、B和C中的任意一种或他们的任意组合；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例
如图1～4所示，本实施例第一方面提供的且基于虚拟现实技术的多人异地过节服务系统，包括但不限于有云服务器、多个异地过节服务亭和多个边缘处理设备等，其中，所述多个异地过节服务亭与多名用户一一对应并分别部署在不同的用户所在地，所述异地过节服务亭的内部配置但不限于有人机交互机、深度相机、3D全息眼镜、室内定位标签和室内定位基站等，所述室内定位标签的数目有多个并分别固定布置在所述3D全息眼镜的各个不同部位，所述室内定位基站的数目有多个并分别固定布置在所属服务亭内的各个不同位置，所述多个边缘处理设备与所述多个异地过节服务亭一一对应。
所述人机交互机，通信连接与所属服务亭对应的所述边缘处理设备，用于供与所属服务亭对应的用户选择多人过节三维虚拟场景及入场位置，并将选择结果传送至与所属服务亭对应的所述边缘处理设备。所述多人过节三维虚拟场景可以但不限于是预先建立的且诸如灯会、庙会、旅游景点、著名广场或特别节日活动现场等三维虚拟场景，因此所述入场位置可以但不限于为这些三维虚拟场景的虚拟入口位置；所述多人过节三维虚拟场景及入场位置可以通过常规选择方式选定得到。为了方便用户选择操作，优选的，所述人机交互机采用触控屏并设置在所述异地过节服务亭的内侧壁面上。此外，所述多人过节三维虚拟场景可以是完全基于想象设计而构建的三维虚拟场景，也可以是基于某个节日活动实地场所（例如实地庙会、旅游景点或著名广场等）而构建的实景三维场景。
所述深度相机，通信连接与所属服务亭对应的所述边缘处理设备，用于实时采集与所属服务亭对应的用户的全身深度图像，并将所述全身深度图像实时传送至与所属服务亭对应的所述边缘处理设备。所述深度相机是一种可获取包含有图像中每个点离摄像头距离的深度信息的现有相机设备，因此所述全身深度图像中的每个点都有在相机坐标系下的三维坐标，可以利于后续常规生成用户的人体三维模型。为了确保所述人体三维模型的生成完整性，优选的，所述深度相机的数目有2×P个，并有P个所述深度相机环向等间距地布置在所述异地过节服务亭的内侧壁面顶部区域中，以及还有另外P个所述深度相机环向等间距地布置在所述异地过节服务亭的内侧壁面底部区域中，其中，P表示大于等于3的正整数。如图2所示，P举例为4，即共有8个所述深度相机，并可以但不限于分别布置于由B1～B8所示的位置。此外，所述深度相机可以但不限于采用现有双目相机产品实现。
所述3D全息眼镜，通信连接与所属服务亭对应的所述边缘处理设备，用于供与所属服务亭对应的用户佩戴使用，并接收展示来自与所属服务亭对应的所述边缘处理设备的3D眼前影像数据。为了避免出现线缆干扰用户活动的问题，所述3D全息眼镜优选通过无线通讯方式通信连接与所属服务亭对应的所述边缘处理设备。此外，所述3D全息眼镜具体可采用现有眼镜产品实现。
所述室内定位标签，通信连接所述室内定位基站，用于实时向各个所述室内定位基站发送定位用脉冲信号。如图2～3所示，所述室内定位标签的数目举例有4个并分别固定布置于所述3D全息眼镜（在图2中由符号G予以表示）的前后左右处（即由A1～A4所示的位置）；所述定位用脉冲信号可以但不限于为UWB（Ultra Wideband，超宽带）定位用脉冲信号。
所述室内定位基站，通信连接与所属服务亭对应的所述边缘处理设备，用于针对各个所述室内定位标签，根据对应标签发送的所述定位用脉冲信号实时确定基站至对应标签的空间距离，并将所述空间距离实时传送至与所属服务亭对应的所述边缘处理设备。如图2所示，所述室内定位基站的数目举例有8个并分别固定布置于由B1～B8所示的位置。此外，根据定位用脉冲信号实时确定基站至标签的空间距离的具体方式为现有常规方式，例如采用TOA(Time of Arrival,到达时间)测距方式。
所述边缘处理设备，通信连接所述云服务器，用于将所述选择结果上传至所述云服务器，以及根据所述全身深度图像实时生成对应的用户的人体三维模型和人体位置信息，并将所述人体三维模型及所述人体位置信息实时上传至所述云服务器，以及还针对各个所述室内定位标签，根据各个所述室内定位基站的已知布置坐标和各个所述室内定位基站至对应标签的空间距离，应用定位算法实时确定对应标签的空间坐标，并根据各个所述室内定位标签的空间坐标确定对应的3D全息眼镜的眼镜位置信息，然后将所述眼镜位置信息实时上传至所述云服务器，其中，所述人体位置信息是指用户身体各部位相对于异地过节服务亭的第一相对位置信息，所述眼镜位置信息是指3D全息眼镜的各部位相对于异地过节服务亭的第二相对位置信息。前述根据全身深度图像实时生成用户的人体三维模型的具体方式为现有常规方式，例如基于常规的深度图像处理技术生成所述人体三维模型（此3D模型数据是1：1的，具体包含但不限于有诸如胸围、腰围、臀围、腹围、腰臀比和腿围等百余种身体维度数据以及诸如高低肩、驼背和骨盆前倾等多种体姿体态信息，等等）。考虑直接生成的所述人体三维模型会包含有3D全息眼镜的三维模型，这是不需要在所述多人过节三维虚拟场景中予以展示的，因此还需要在所述人体三维模型中扣除所述3D全息眼镜的已知三维模型，并替换上在用户佩戴所述3D全息眼睛前所采集生成的用户眼部三维模型，得到更新的人体三维模型。此外，所述定位算法为现有定位算法，例如采用三角定位算法。
具体的，根据所述全身深度图像实时生成对应的用户的人体位置信息，包括但不限于有如下步骤S61～S63。
S61.将某名用户的所述全身深度图像实时导入已完成预训练的人体关键点检测模型，实时输出得到所述某名用户的人体关键点检测结果，其中，所述人体关键点检测结果包含有多个人体关键点在某个相机坐标系下的三维坐标，其中，所述某个相机坐标系是指与所述某名用户对应的深度相机的相机坐标系。
在所述步骤S61中，所述人体关键点检测模型即为基于现有人体关键点检测算法而常规训练得到的检测模型。所述多个人体关键点具体包括但不限于有如下的14个主要关键点：左右手肘、左右手腕、左右肩膀、头、脖子、左右脚踝、左右膝盖和左右臀等。
S62.针对在所述多个人体关键点中的各个人体关键点，根据对应点在所述某个相机坐标系下的三维坐标以及某个相机与某个异地过节服务亭的已知相对位置关系，换算得到对应点相对于所述某个异地过节服务亭的相对位置信息，其中，所述某个相机是指与所述某名用户对应的深度相机，所述某个异地过节服务亭是指与所述某名用户对应的异地过节服务亭。
在所述步骤S62中，具体换算过程为现有几何公知常识，于此不再赘述。
S63.汇总所述各个人体关键点的且相对于所述某个异地过节服务亭的相对位置信息，得到所述某名用户的人体位置信息，其中，所述人体位置信息是指用户身体各部位相对于异地过节服务亭的第一相对位置信息。
所述云服务器，用于开展如下处理方式（A）～（E）：
（A）根据所述多名用户的所述选择结果，确定所述多名用户统一选定的多人过节三维虚拟场景，以及还确定在所述多名用户中的各名用户在所述多人过节三维虚拟场景中的初始所处虚拟位置。
在所述方式（A）中，所述多名用户可先线下约定统一选择某个多人过节三维虚拟场景，以便能够根据所述多名用户的所述选择结果确定该某个多人过节三维虚拟场景。
（B）针对所述各名用户，根据对应的所述初始所处虚拟位置以及所述人体位置信息实时更新对应用户在所述多人过节三维虚拟场景中的实时所处虚拟位置。
在所述方式（B）中，由于实时的所述人体位置信息会反映用户的身体姿态实时变化情况，因此可以基于这些身体姿态实时变化情况常规地实时确定用户行走方向及用户行走速度大小，进而可以基于用户的初始所处虚拟位置和这些用户行走方向及用户行走速度大小，实时确定用户在所述多人过节三维虚拟场景中的行走轨迹以及实时所处虚拟位置。
（C）根据所述各名用户的所述实时所处虚拟位置，将所述各名用户的所述人体三维模型实时加载到所述多人过节三维虚拟场景中，得到实时3D场景影像数据。
（D）针对所述各名用户，先从所述实时3D场景影像数据中分割出用于在对应用户的实时所处虚拟位置周围呈现近处事物影像的3D周围近景影像数据，再根据对应用户的所述人体位置信息确定对应用户对该3D周围近景影像数据的互动影响，并更新得到在互动影响后的且对应的3D周围近景影像新数据，最后将所述实时3D场景影像数据中的该3D周围近景影像数据刷新为该3D周围近景影像新数据。
在所述方式（D）中，所述所处虚拟位置的周围半径可基于远景与近景的预定义分界线（例如基于异地过节服务亭的内部区域大小预先确定的远近分界线）来确定，一般为2～50米；如图2所示，当所述异地过节服务亭的区域空间举例为由位置B1～B8所确定的一个立体空间时，所述所处虚拟位置的周围空间即举例为该立体空间。所述3D周围近景影像数据的具体分割方式可基于现有的影像解码方式实现；如图5所示，所述3D周围近景影像数据的对应呈现区域即为B区（其包含C区）。此外，所述近处事物影像可以但不限于包含有在用户身边的虚拟人、虚拟狗和/或虚拟车等。
在所述方式（D）中，所述互动影响是指通过与所述近处事物影像的互动而产生的且会改变近处事物影像的影响，例如手掌会因位置的不同而对在用户身边的虚拟人、虚拟狗和/或虚拟车等造成不同的遮挡影响，此时需要添加起到该遮挡影响的手掌影像作为新的近处事物影像；又例如用户身边有一个虚拟人，用户用手掌触碰，那么该虚拟人就会做出反映，使得该虚拟人的影像也会发生变化，因此可以根据所述人体位置信息进行互动影响确定，并通过常规数据处理方式更新得到所述3D周围近景影像新数据；如图5所示，所述3D周围近景影像新数据的对应呈现区域仍为B区（其包含C区）。
（E）针对所述各名用户，先根据对应用户佩戴的所述3D全息眼镜的所述眼镜位置信息确定该3D全息眼镜的虚拟视野范围，再从所述实时3D场景影像数据中分割出用于在该虚拟视野范围内呈现所有事物影像的3D眼前影像数据，最后将该3D眼前影像数据下发至该3D全息眼镜的所属体验亭的边缘处理设备。
在所述方式（E）中，由于所述眼镜位置信息是指3D全息眼镜的各部位相对于异地过节服务亭的第二相对位置信息，因此可以异地过节服务亭为同一参考物，根据所述眼镜位置信息确定所述3D全息眼镜的虚拟视野范围，例如用户在低头、仰头、转头或走动等时，可基于这些时候的所述眼镜位置信息，确定相应的虚拟视野范围。所述3D眼前影像数据的具体分割方式依然可基于现有的影像解码方式实现；如图5所示，所述3D眼前影像数据的对应呈现区域即有C区和A1区。
另外还考虑所述3D全息眼镜是要呈现3D显示效果，即需要让左眼和右眼看到的画面稍有差异，而具体差异取决于对左右眼所在位置的定位信息再结合要达到3D显示效果所需的参数，并分别输出稍有差异的画面给左眼和右眼，以便最终让用户看到具有3D显示效果的图像，因此优选的，所述眼镜位置信息还包含但不限于有左眼镜片位置信息和/或右眼镜片位置信息，其中，所述左眼镜片位置信息是指左眼镜片相对于异地过节服务亭的第三相对位置信息，所述右眼镜片位置信息是指右眼镜片相对于异地过节服务亭的第四相对位置信息。具体的，用于确定所述左眼镜片位置信息的多个左眼镜片定位标签可如图4所示固定布置于所述3D全息眼镜的左眼镜片边缘处（即由L1～L4表示的位置）；用于确定所述右眼镜片位置信息的多个右眼镜片定位标签可如图4所示固定布置于所述3D全息眼镜的右眼镜片边缘处（即由R1～R4表示的位置）。同时针对所述各名用户，先根据对应用户佩戴的所述3D全息眼镜的所述眼镜位置信息确定该3D全息眼镜的虚拟视野范围，再从所述实时3D场景影像数据中分割出用于在该虚拟视野范围内呈现所有事物影像的3D眼前影像数据，包括但不限于：针对所述各名用户，先根据对应用户佩戴的所述3D全息眼镜的所述左眼镜片位置信息确定该3D全息眼镜的左眼虚拟视野范围，再从所述实时3D场景影像数据中分割出用于在该左眼虚拟视野范围内呈现所有事物影像的3D左眼前影像数据；和/或，先根据对应用户佩戴的所述3D全息眼镜的所述右眼镜片位置信息确定该3D全息眼镜的右眼虚拟视野范围，再从所述实时3D场景影像数据中分割出用于在该右眼虚拟视野范围内呈现所有事物影像的3D右眼前影像数据。
所述边缘处理设备，还用于将来自所述云服务器的3D眼前影像数据转发至对应的3D全息眼镜。同样考虑所述3D全息眼镜是要呈现3D显示效果，使得在接收展示来自与所属服务亭对应的所述边缘处理设备的3D眼前影像数据时，具体包括：在接收到来自与所属服务亭对应的所述边缘处理设备的3D左眼前影像数据后，将该3D左眼前影像数据传送至左眼影像显示镜片进行输出展示；和/或，在接收到来自与所属服务亭对应的所述边缘处理设备的3D右眼前影像数据后，将该3D右眼前影像数据传送至右眼影像显示镜片进行输出展示。
由此通过前述多人异地过节服务系统的详细结构描述，提供了一种基于虚拟现实技术为亲朋好友们提供异地聚集于三维虚拟场景中以获取过节沉浸感的信息服务方案，即包括有云服务器、多个异地过节服务亭和多个边缘处理设备，其中，所述多个异地过节服务亭与多名用户一一对应并分别部署在不同的用户所在地，所述异地过节服务亭的内部配置有人机交互机、深度相机、3D全息眼镜、室内定位标签和室内定位基站，所述多个边缘处理设备与所述多个异地过节服务亭一一对应，并通过它们的通信连接关系及功能设计，可以借助服务亭为异地的多个用户提供在诸如灯会、庙会或特别节日活动场所等三维虚拟场景中的人体三维模型融入并进行联动阅览服务，使他们能够获取一定的过节沉浸感，进而可利于异地维护用户间关系，并实现降低异地亲朋好友们当前过节的时间需求及出行成本的目的，便于实际应用和推广。
本实施例在前述第一方面的技术方案基础上，还提供了一种如何避免用户在亭内行走时出现撞墙现象的可能设计一，即所述异地过节服务亭的内部还配置有转台、跑步带27和跑步带驱动电机，其中，所述转台的顶部载物面261用于作为所属服务亭的内部地面，所述跑步带27嵌设在所述顶部载物面261中，所述跑步带驱动电机位于所述跑步带27的下方；所述转台，通信连接与所属服务亭对应的所述边缘处理设备，用于根据来自与所属服务亭对应的所述边缘处理设备的且根据所述人体位置信息实时确定的用户行走方向，旋转所述顶部载物面261、所述跑步带27和所述跑步带驱动电机，使所述跑步带27的运动方向与该用户行走方向维持相反；所述跑步带驱动电机，通信连接与所属服务亭对应的所述边缘处理设备，用于根据来自与所属服务亭对应的所述边缘处理设备的且根据所述人体位置信息实时确定的用户行走速度大小，驱动所述跑步带27，使所述跑步带27的运动速度大小与该用户行走速度大小维持相等。前述转台可具体采用现有旋转机构实现，前述跑步带27及跑步带驱动电机可具体采用现有跑步机结构实现。
由此基于前述可能设计一，还可通过转台、跑步带和跑步带驱动电机的具体功能设计，确保用户无论如何行走，都能呆在原地，避免出现撞墙现象。此外，所述异地过节服务亭的内部还可配置有与所属服务亭对应的所述边缘处理设备通信连接的拾音器和语音喇叭，以便还通过该拾音器常规地采集用户语音并融入到所述人过节三维虚拟场景中，同时还通过该语音喇叭常规地播放与所述3D眼前影像数据同步的语音内容，进一步提升用户过节沉浸感。
本实施例在前述第一方面的技术方案基础上，还提供了一种如何预先得到用于作为多人过节三维虚拟场景的实景三维场景的可能设计二，即当所述多人过节三维虚拟场景为某个节日活动实地场所的实景三维场景时，所述多人过节三维虚拟场景预先采用如下步骤S1～S2构建得到。
S1.获取由无人机倾斜摄影设备对所述某个节日活动实地场所采集的倾斜摄影数据以及与所述倾斜摄影数据同步记录的无人机姿态测量数据或像控测量数据。
在所述步骤S1中，具体的，所述无人机倾斜摄影设备优选采用典型的五镜头倾斜云台，由于其在工作状态下，中间相机光轴垂直于水平面，四个方向上分别分布一个光轴与水平面成45°角的相机，因此可满足在无人机一次飞行过程中，同时完成同一地物或特征点三张以上不同角度影像的覆盖（同时由于对同一地物获取的不同角度影像的覆盖度和重叠度越高，其解算的模型越精细，所以在获取实景三维建模数据时，会尽量增加飞行中影像的重叠度；但是又考虑到重叠度越高就意味着，增加了额外的工作量；因此，考虑到效率和飞行器在飞行中的倾斜等问题，一般将航线设置为航向重叠度大于 80%，旁向重叠度大于60%）。
S2.根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述某个节日活动实地场所的实景三维场景，其中，所述实景三维场景包含有多个现场物体的三维模型。
在所述步骤S2中，具体的，所述无人机倾斜摄影实景三维建模软件优选采用ContextCapture软件。考虑基于无人机倾斜摄影的实景三维建模技术，虽然可从多角度观测同一地物，使地物纹理更加丰富，效果更加真实，是未来三维城市建模的主流方向，但是由于受到航摄盲区以及特征点匹配错误等影响，会使得自动生成的三维模型产生空洞区域，因此为了保障骑行人员的视听体验，优选的，根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述某个节日活动实地场所的实景三维场景，包括但不限于有如下步骤S21～S26。
S21.根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述某个节日活动实地场所的初始实景三维场景，其中，所述初始实景三维场景包含有多个现场物体的初始三维模型。
S22.针对在所述多个现场物体中的各个现场物体，根据对应的初始三维模型，抠取得到对应的模型表面初始二维图像。
S23.对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果。
在所述步骤S23中，具体包括但不限于有：针对所述各个现场物体，将对应的模型表面初始二维图像导入基于YOLO目标检测算法的且已完成预训练的建模空洞区域识别模型，输出得到对应的建模空洞区域识别结果。所述YOLO（You only look once）目标检测算法是一种用于在图片中将里面的物体识别出来且标记出物体位置的现有人工智能识别算法，其YOLO V4版本的具体模型结构由三部分组成，分别是骨干网络backbone、颈部网络neck和头部网络head。所述骨干网络Backbone可采用CSPDarknet53（CSP表示Cross StagePartial) 网络，用于提取特征。所述颈部网络neck由SPP（Spatial Pyramid Poolingblock）块和PANet（Path Aggregation Network）网络组成，前者用于增加感受野以及分离出最重要的特征，后者用于保证同时从高级别层接受语义特征和从横向骨干网络的低级别层接收细粒度的特征。所述头部网络head是基于锚框进行检测，并对三种不同尺寸（即13×13、26×26和52×52）的特征图进行检测，分别用于检测从大到小的目标（在这里，尺寸大的特征图包含到信息更加丰富，因此，52×52尺寸的特征图用于检测小目标，反之亦然）。前述的建模空洞区域识别模型可通过常规的样本训练方式训练得到，以便在输入测试图像后，可以输出有无建模空洞区域的识别结果以及它们的置信度预测值等信息。
在所述步骤S23中，为了精准确定在模型表面初始二维图像中的建模空洞区域，优选的，对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果，包括但不限于有如下步骤S231～S235。
S231.针对在所述多个现场物体中的某个现场物体，将对应的模型表面初始二维图像导入基于YOLO目标检测算法的且已完成预训练的建模空洞区域识别模型，输出得到对应的建模空洞区域识别结果。
S232.若所述某个现场物体的建模空洞区域识别结果指示在所述某个现场物体的模型表面初始二维图像中存在有至少一个建模空洞区域标记框，则根据所述至少一个建模空洞区域标记框，从所述某个现场物体的模型表面初始二维图像中截取出与所述至少一个建模空洞区域标记框一一对应的至少一个建模空洞区域图像。
S233.对所述至少一个建模空洞区域图像分别依次进行图像去噪处理、灰度转换处理和基于预设灰度阈值的二值化处理，得到与所述至少一个建模空洞区域图像一一对应的至少一个二值化图像，其中，所述预设灰度阈值根据建模空洞区域灰度值来预先设定。
S234.针对在所述至少一个二值化图像中的各个二值化图像，基于Canny算法提取得到对应的中心连通域，并将该中心连通域作为在对应建模空洞区域标记框内的建模空洞区域。
S235.汇总所有的所述建模空洞区域，得到所述某个现场物体的且最终的建模空洞区域识别结果。
S24.针对所述各个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，否则直接将对应的模型表面初始二维图像作为对应的模型表面完整二维图像。
在所述步骤S24中，所述生成对抗神经网络（Generative Adversarial Nets，GAN）是一种估计生成模型的新框架：同时训练两个模型，分别为用于捕获数据分布的生成模型和用于判别数据是真实数据还是生成数据（伪数据）的判别模型；图像处理任务利用如CNN的神经网络对输入图像进行分析处理，得到跟输入图像内容相关的信息；与图像处理任务相反，在图像生成任务中，图像生成模型根据输入的跟输入图像内容相关的信息来生成图像；对于图像生成任务来说，图像生成模型的输入是不确定的，具体取决于场景以及特定的模型设计，其中风格迁移就属于其中的一种场景；生成对抗神经网络（GAN）可以应用于风格迁移。在所述生成对抗神经网络中有两个核心的组成：生成器（Generator，即前述的生成模型）与判别器（Discriminator，即前述的判别模型）；所述判别器与所述生成器可以都由多层感知机（可以看成全连接神经网络，即FC）构成，并在训练过程中，体现“对抗”的关键步骤是：先固定生成器的参数，训练优化判别器，使得判别器能够尽可能准确地区分“真图像”与“假图像”；然后固定判别器的参数，训练优化生成器，尽可能使得判别器无法准确地区分“真图像”与“假图像”，如此在模型训练完成后，即可使用经训练的生成器（Generator）来生成图像了。此外，所述判别器也可使用卷积神经网络（Strided Convolution，普通的卷积运算，若不Padding则会使通道减小），以及所述生成器也可使用转置卷积（TransposedConvolution）（也可以看做是反卷积）来实现。
在所述步骤S24中，为了快速有效地完成图像修复处理，优选采用如下的先易后难修复方案，即：针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，包括但不限于有如下步骤S241～S243。
S241.针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则按照区域面积从小到大顺序依次排列所述至少一个建模空洞区域，得到一个建模空洞区域序列。
S242.针对在所述建模空洞区域序列中的第k个建模空洞区域，基于生成对抗神经网络GAN对与在所述建模空洞区域序列中的第k-1个建模空洞区域对应的模型表面修复二维图像进行图像修复处理，得到对应的模型表面修复二维图像，其中，k表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像。
在所述步骤S242中，具体包括但不限于有如下步骤S2421～S2425。
S2421.应用在基于生成对抗神经网络GAN的且已完成预训练的完整图像生成模型中的图像生成器生成一个新图像，然后执行步骤S2422。
在所述步骤S2421中，详细的，所述完整图像生成模型的训练过程包括但不限于有：先获取真实的多个物体表面二维图像；然后应用所述多个物体表面二维图像，对包括有图像生成器和图像鉴别器的生成对抗神经网络GAN进行训练，得到所述完整图像生成模型。
S2422.应用在所述完整图像生成模型中的图像鉴别器判断所述新图像是否为完整图像，若是，则执行步骤S2423，否则再次应用所述图像生成器生成一个新图像，然后执行步骤S2422。
S2423.根据所述新图像和与第k-1个建模空洞区域对应的模型表面修复二维图像，计算得到两图像在非建模空洞区域内各个像素点的颜色差值，然后执行步骤S2424，其中，k表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像。
S2424.判断所述两图像在所述各个像素点的颜色差值的标准差是否达到预设标准差阈值，若是，则将所述新图像作为与在所述建模空洞区域序列中的第k个建模空洞区域对应的模型表面修复二维图像，否则执行步骤S2425。
S2425.将所述两图像在所述各个像素点的颜色差值作为内容损失惩罚项数据导入所述图像生成器，并再次应用所述图像生成器生成一个新图像，然后执行步骤S2422。
S243.将与在所述建模空洞区域序列中的最末一个建模空洞区域对应的模型表面修复二维图像作为所述某个现场物体的模型表面最终二维图像。
S25.针对所述各个现场物体，将对应的模型表面完整二维图像渲染到对应的初始三维模型的表面上，得到对应的最终三维模型。
S26.在所述初始实景三维场景中，将所述各个现场物体的初始三维模型更新为对应的最终三维模型，得到所述某个节日活动实地场所的最终实景三维场景。
由此基于前述可能设计二，还可以实现对基于无人机倾斜摄影的实景三维建模初步成果进行再加工以修复三维模型空洞区域的目的，进而可得到节日活动实地场所的克隆式实景三维场景，保障用户的视听体验。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于虚拟现实技术的多人异地过节服务系统，其特征在于，包括有云服务器、多个异地过节服务亭和多个边缘处理设备，其中，所述多个异地过节服务亭与多名用户一一对应并分别部署在不同的用户所在地，所述异地过节服务亭的内部配置有人机交互机、深度相机、3D全息眼镜、室内定位标签和室内定位基站，所述室内定位标签的数目有多个并分别固定布置在所述3D全息眼镜的各个不同部位，所述室内定位基站的数目有多个并分别固定布置在所属服务亭内的各个不同位置，所述多个边缘处理设备与所述多个异地过节服务亭一一对应；
所述人机交互机，通信连接与所属服务亭对应的所述边缘处理设备，用于供与所属服务亭对应的用户选择多人过节三维虚拟场景及入场位置，并将选择结果传送至与所属服务亭对应的所述边缘处理设备；
所述深度相机，通信连接与所属服务亭对应的所述边缘处理设备，用于实时采集与所属服务亭对应的用户的全身深度图像，并将所述全身深度图像实时传送至与所属服务亭对应的所述边缘处理设备；
所述3D全息眼镜，通信连接与所属服务亭对应的所述边缘处理设备，用于供与所属服务亭对应的用户佩戴使用，并接收展示来自与所属服务亭对应的所述边缘处理设备的3D眼前影像数据；
所述室内定位标签，通信连接所述室内定位基站，用于实时向各个所述室内定位基站发送定位用脉冲信号；
所述室内定位基站，通信连接与所属服务亭对应的所述边缘处理设备，用于针对各个所述室内定位标签，根据对应标签发送的所述定位用脉冲信号实时确定基站至对应标签的空间距离，并将所述空间距离实时传送至与所属服务亭对应的所述边缘处理设备；
所述边缘处理设备，通信连接所述云服务器，用于将所述选择结果上传至所述云服务器，以及根据所述全身深度图像实时生成对应的用户的人体三维模型和人体位置信息，并将所述人体三维模型及所述人体位置信息实时上传至所述云服务器，以及还针对各个所述室内定位标签，根据各个所述室内定位基站的已知布置坐标和各个所述室内定位基站至对应标签的空间距离，应用定位算法实时确定对应标签的空间坐标，并根据各个所述室内定位标签的空间坐标确定对应的3D全息眼镜的眼镜位置信息，然后将所述眼镜位置信息实时上传至所述云服务器，其中，所述人体位置信息是指用户身体各部位相对于异地过节服务亭的第一相对位置信息，所述眼镜位置信息是指3D全息眼镜的各部位相对于异地过节服务亭的第二相对位置信息；
所述云服务器，用于开展如下处理方式：（A）根据所述多名用户的所述选择结果，确定所述多名用户统一选定的多人过节三维虚拟场景，以及还确定在所述多名用户中的各名用户在所述多人过节三维虚拟场景中的初始所处虚拟位置；（B）针对所述各名用户，根据对应的所述初始所处虚拟位置以及所述人体位置信息实时更新对应用户在所述多人过节三维虚拟场景中的实时所处虚拟位置；（C）根据所述各名用户的所述实时所处虚拟位置，将所述各名用户的所述人体三维模型实时加载到所述多人过节三维虚拟场景中，得到实时3D场景影像数据；（D）针对所述各名用户，先从所述实时3D场景影像数据中分割出用于在对应用户的实时所处虚拟位置周围呈现近处事物影像的3D周围近景影像数据，再根据对应用户的所述人体位置信息确定对应用户对该3D周围近景影像数据的互动影响，并更新得到在互动影响后的且对应的3D周围近景影像新数据，最后将所述实时3D场景影像数据中的该3D周围近景影像数据刷新为该3D周围近景影像新数据；（E）针对所述各名用户，先根据对应用户佩戴的所述3D全息眼镜的所述眼镜位置信息确定该3D全息眼镜的虚拟视野范围，再从所述实时3D场景影像数据中分割出用于在该虚拟视野范围内呈现所有事物影像的3D眼前影像数据，最后将该3D眼前影像数据下发至该3D全息眼镜的所属体验亭的边缘处理设备；
所述边缘处理设备，还用于将来自所述云服务器的3D眼前影像数据转发至对应的3D全息眼镜。
2.如权利要求1所述的多人异地过节服务系统，其特征在于，所述异地过节服务亭的内部还配置有转台、跑步带（27）和跑步带驱动电机，其中，所述转台的顶部载物面（261）用于作为所属服务亭的内部地面，所述跑步带（27）嵌设在所述顶部载物面（261）中，所述跑步带驱动电机位于所述跑步带（27）的下方；
所述转台，通信连接与所属服务亭对应的所述边缘处理设备，用于根据来自与所属服务亭对应的所述边缘处理设备的且根据所述人体位置信息实时确定的用户行走方向，旋转所述顶部载物面（261）、所述跑步带（27）和所述跑步带驱动电机，使所述跑步带（27）的运动方向与该用户行走方向维持相反；
所述跑步带驱动电机，通信连接与所属服务亭对应的所述边缘处理设备，用于根据来自与所属服务亭对应的所述边缘处理设备的且根据所述人体位置信息实时确定的用户行走速度大小，驱动所述跑步带（27），使所述跑步带（27）的运动速度大小与该用户行走速度大小维持相等。
3.如权利要求1所述的多人异地过节服务系统，其特征在于，所述人机交互机采用触控屏并设置在所述异地过节服务亭的内侧壁面上。
4.如权利要求1所述的多人异地过节服务系统，其特征在于，根据所述全身深度图像实时生成对应的用户的人体位置信息，包括：
将某名用户的所述全身深度图像实时导入已完成预训练的人体关键点检测模型，实时输出得到所述某名用户的人体关键点检测结果，其中，所述人体关键点检测结果包含有多个人体关键点在某个相机坐标系下的三维坐标，其中，所述某个相机坐标系是指与所述某名用户对应的深度相机的相机坐标系；
针对在所述多个人体关键点中的各个人体关键点，根据对应点在所述某个相机坐标系下的三维坐标以及某个相机与某个异地过节服务亭的已知相对位置关系，换算得到对应点相对于所述某个异地过节服务亭的相对位置信息，其中，所述某个相机是指与所述某名用户对应的深度相机，所述某个异地过节服务亭是指与所述某名用户对应的异地过节服务亭；
汇总所述各个人体关键点的且相对于所述某个异地过节服务亭的相对位置信息，得到所述某名用户的人体位置信息，其中，所述人体位置信息是指用户身体各部位相对于异地过节服务亭的第一相对位置信息。
5.如权利要求1所述的多人异地过节服务系统，其特征在于，所述眼镜位置信息包含有左眼镜片位置信息和/或右眼镜片位置信息，其中，所述左眼镜片位置信息是指左眼镜片相对于异地过节服务亭的第三相对位置信息，所述右眼镜片位置信息是指右眼镜片相对于异地过节服务亭的第四相对位置信息；
针对所述各名用户，先根据对应用户佩戴的所述3D全息眼镜的所述眼镜位置信息确定该3D全息眼镜的虚拟视野范围，再从所述实时3D场景影像数据中分割出用于在该虚拟视野范围内呈现所有事物影像的3D眼前影像数据，包括：针对所述各名用户，先根据对应用户佩戴的所述3D全息眼镜的所述左眼镜片位置信息确定该3D全息眼镜的左眼虚拟视野范围，再从所述实时3D场景影像数据中分割出用于在该左眼虚拟视野范围内呈现所有事物影像的3D左眼前影像数据；和/或，先根据对应用户佩戴的所述3D全息眼镜的所述右眼镜片位置信息确定该3D全息眼镜的右眼虚拟视野范围，再从所述实时3D场景影像数据中分割出用于在该右眼虚拟视野范围内呈现所有事物影像的3D右眼前影像数据；
接收展示来自与所属服务亭对应的所述边缘处理设备的3D眼前影像数据，包括：在接收到来自与所属服务亭对应的所述边缘处理设备的3D左眼前影像数据后，将该3D左眼前影像数据传送至左眼影像显示镜片进行输出展示；和/或，在接收到来自与所属服务亭对应的所述边缘处理设备的3D右眼前影像数据后，将该3D右眼前影像数据传送至右眼影像显示镜片进行输出展示。
6.如权利要求1所述的多人异地过节服务系统，其特征在于，当所述多人过节三维虚拟场景为某个节日活动实地场所的实景三维场景时，所述多人过节三维虚拟场景预先采用如下步骤构建得到：
获取由无人机倾斜摄影设备对所述某个节日活动实地场所采集的倾斜摄影数据以及与所述倾斜摄影数据同步记录的无人机姿态测量数据或像控测量数据；
根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述某个节日活动实地场所的实景三维场景，其中，所述实景三维场景包含有多个现场物体的三维模型。
7.如权利要求6所述的多人异地过节服务系统，其特征在于，根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述某个节日活动实地场所的实景三维场景，包括：
根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述某个节日活动实地场所的初始实景三维场景，其中，所述初始实景三维场景包含有多个现场物体的初始三维模型；
针对在所述多个现场物体中的各个现场物体，根据对应的初始三维模型，抠取得到对应的模型表面初始二维图像；
对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果；
针对所述各个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，否则直接将对应的模型表面初始二维图像作为对应的模型表面完整二维图像；
针对所述各个现场物体，将对应的模型表面完整二维图像渲染到对应的初始三维模型的表面上，得到对应的最终三维模型；
在所述初始实景三维场景中，将所述各个现场物体的初始三维模型更新为对应的最终三维模型，得到所述某个节日活动实地场所的最终实景三维场景。
8.如权利要求7所述的多人异地过节服务系统，其特征在于，针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，包括：
针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则按照区域面积从小到大顺序依次排列所述至少一个建模空洞区域，得到一个建模空洞区域序列；
针对在所述建模空洞区域序列中的第k个建模空洞区域，基于生成对抗神经网络GAN对与在所述建模空洞区域序列中的第k-1个建模空洞区域对应的模型表面修复二维图像进行图像修复处理，得到对应的模型表面修复二维图像，其中，k表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像；
将与在所述建模空洞区域序列中的最末一个建模空洞区域对应的模型表面修复二维图像作为所述某个现场物体的模型完整最终二维图像。
9.根据权利要求7所述的多人异地过节服务系统，其特征在于，对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果，包括：
针对在所述多个现场物体中的某个现场物体，将对应的模型表面初始二维图像导入基于YOLO目标检测算法的且已完成预训练的建模空洞区域识别模型，输出得到对应的建模空洞区域识别结果；
若所述某个现场物体的建模空洞区域识别结果指示在所述某个现场物体的模型表面初始二维图像中存在有至少一个建模空洞区域标记框，则根据所述至少一个建模空洞区域标记框，从所述某个现场物体的模型表面初始二维图像中截取出与所述至少一个建模空洞区域标记框一一对应的至少一个建模空洞区域图像；
对所述至少一个建模空洞区域图像分别依次进行图像去噪处理、灰度转换处理和基于预设灰度阈值的二值化处理，得到与所述至少一个建模空洞区域图像一一对应的至少一个二值化图像，其中，所述预设灰度阈值根据建模空洞区域灰度值来预先设定；
针对在所述至少一个二值化图像中的各个二值化图像，基于Canny算法提取得到对应的中心连通域，并将该中心连通域作为在对应建模空洞区域标记框内的建模空洞区域；
汇总所有的所述建模空洞区域，得到所述某个现场物体的且最终的建模空洞区域识别结果。
CN202311764612.3A 2023-12-21 2023-12-21 一种基于虚拟现实技术的多人异地过节服务系统 Active CN117440140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311764612.3A CN117440140B (zh) 2023-12-21 2023-12-21 一种基于虚拟现实技术的多人异地过节服务系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311764612.3A CN117440140B (zh) 2023-12-21 2023-12-21 一种基于虚拟现实技术的多人异地过节服务系统

Publications (2)

Publication Number Publication Date
CN117440140A CN117440140A (zh) 2024-01-23
CN117440140B true CN117440140B (zh) 2024-03-12

Family

ID=89558664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311764612.3A Active CN117440140B (zh) 2023-12-21 2023-12-21 一种基于虚拟现实技术的多人异地过节服务系统

Country Status (1)

Country Link
CN (1) CN117440140B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062875A (zh) * 2017-12-30 2018-05-22 上海通创信息技术股份有限公司 一种基于虚拟现实及大数据在线分析的云驾驶培训系统
CN109191590A (zh) * 2018-09-26 2019-01-11 浙江优创信息技术有限公司 一种用于制作虚拟现实应用的处理系统及处理方法
CN110609622A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 结合3d与虚拟现实技术实现多人交互方法、系统及介质
US10909761B1 (en) * 2016-07-07 2021-02-02 Google Llc 2D video with option for projected viewing in modeled 3D space
CN112337086A (zh) * 2020-09-28 2021-02-09 湖南泽途体育文化有限公司 基于vr技术的多人竞技系统及方法
KR20210015624A (ko) * 2019-08-01 2021-02-10 한국전자통신연구원 드론 기반 재난상황 관제 방법 및 시스템
CN112486315A (zh) * 2019-09-11 2021-03-12 广西南宁平行视界科技有限公司 一种基于计算机视觉的多人协同方法
CN114170407A (zh) * 2022-02-15 2022-03-11 北京所思信息科技有限责任公司 输入设备的模型映射方法、装置、设备和存储介质
CN216562123U (zh) * 2021-07-15 2022-05-17 广西农业职业技术学院 一种vr虚拟现实互动交流教学系统
WO2022259253A1 (en) * 2021-06-09 2022-12-15 Alon Melchner System and method for providing interactive multi-user parallel real and virtual 3d environments
CN218092265U (zh) * 2022-08-01 2022-12-20 湖南集智创意展览服务有限公司 一种基于vr技术的箱体式移动展馆
CN116301379A (zh) * 2023-03-21 2023-06-23 李双江 3d场景影像全息显示方法、装置、系统、设备及存储介质
CN116580174A (zh) * 2023-06-01 2023-08-11 北京金商祺科技有限公司 一种虚拟场景实时构建方法
CN117197388A (zh) * 2023-09-15 2023-12-08 中国人民大学 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643399B2 (en) * 2017-08-29 2020-05-05 Target Brands, Inc. Photorealistic scene generation system and method
US10818078B2 (en) * 2018-09-25 2020-10-27 Sony Corporation Reconstruction and detection of occluded portions of 3D human body model using depth data from single viewpoint
US11348315B2 (en) * 2019-03-19 2022-05-31 Obsess, Inc. Generating and presenting a 3D virtual shopping environment
IL270429B2 (en) * 2019-11-05 2023-08-01 Simbionix Ltd A method and system for an enveloping mixed reality space(s).

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909761B1 (en) * 2016-07-07 2021-02-02 Google Llc 2D video with option for projected viewing in modeled 3D space
CN108062875A (zh) * 2017-12-30 2018-05-22 上海通创信息技术股份有限公司 一种基于虚拟现实及大数据在线分析的云驾驶培训系统
CN109191590A (zh) * 2018-09-26 2019-01-11 浙江优创信息技术有限公司 一种用于制作虚拟现实应用的处理系统及处理方法
KR20210015624A (ko) * 2019-08-01 2021-02-10 한국전자통신연구원 드론 기반 재난상황 관제 방법 및 시스템
CN112486315A (zh) * 2019-09-11 2021-03-12 广西南宁平行视界科技有限公司 一种基于计算机视觉的多人协同方法
CN110609622A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 结合3d与虚拟现实技术实现多人交互方法、系统及介质
CN112337086A (zh) * 2020-09-28 2021-02-09 湖南泽途体育文化有限公司 基于vr技术的多人竞技系统及方法
WO2022259253A1 (en) * 2021-06-09 2022-12-15 Alon Melchner System and method for providing interactive multi-user parallel real and virtual 3d environments
CN216562123U (zh) * 2021-07-15 2022-05-17 广西农业职业技术学院 一种vr虚拟现实互动交流教学系统
CN114170407A (zh) * 2022-02-15 2022-03-11 北京所思信息科技有限责任公司 输入设备的模型映射方法、装置、设备和存储介质
CN218092265U (zh) * 2022-08-01 2022-12-20 湖南集智创意展览服务有限公司 一种基于vr技术的箱体式移动展馆
CN116301379A (zh) * 2023-03-21 2023-06-23 李双江 3d场景影像全息显示方法、装置、系统、设备及存储介质
CN116580174A (zh) * 2023-06-01 2023-08-11 北京金商祺科技有限公司 一种虚拟场景实时构建方法
CN117197388A (zh) * 2023-09-15 2023-12-08 中国人民大学 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"新媒体技术在中国节日系列节目中的应用";徐兆丹等;《电视技术》;20230715;第47卷(第07期);全文 *
VR全景摄影在云南少数民族传统节日记录与传播中的应用;何滢;唐晓敏;;智富时代;20180810(第08期);全文 *

Also Published As

Publication number Publication date
CN117440140A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
US11900536B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10469546B2 (en) System and method for augmented and virtual reality
US10410328B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
Kumar et al. Monocular fisheye camera depth estimation using sparse lidar supervision
CN110335337A (zh) 一种基于端到端半监督生成对抗网络的视觉里程计的方法
CN110956651A (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
CN105378796A (zh) 可伸缩体积3d重构
CN106897697A (zh) 一种基于可视化编译器的人物和姿势检测方法
CN105144236A (zh) 实时立体匹配
CN102663722A (zh) 使用深度图像的活动对象分割
US11769306B2 (en) User-exhibit distance based collaborative interaction method and system for augmented reality museum
WO2023056544A1 (en) Object and camera localization system and localization method for mapping of the real world
Chakravarty et al. GEN-SLAM: Generative modeling for monocular simultaneous localization and mapping
CN112365604A (zh) 基于语义分割和slam的ar设备景深信息应用方法
US20240038086A1 (en) Three-dimensional (3d) integrated teaching field system based on flipped platform and method for operating same
CN113506377A (zh) 一种基于虚拟漫游技术的教学培训方法
CN115900710A (zh) 基于视觉信息的动态环境导航方法
Yu et al. Intelligent visual-IoT-enabled real-time 3D visualization for autonomous crowd management
Huang et al. A review of 3D human body pose estimation and mesh recovery
Li et al. Tourism information data processing method based on multi-source data fusion
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN117440140B (zh) 一种基于虚拟现实技术的多人异地过节服务系统
Diaz et al. To veer or not to veer: Learning from experts how to stay within the crosswalk
Khan et al. A review of benchmark datasets and training loss functions in neural depth estimation
Hu et al. Computer vision for sight: Computer vision techniques to assist visually impaired people to navigate in an indoor environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant