CN115997187A - 远程出席和参与系统和方法 - Google Patents
远程出席和参与系统和方法 Download PDFInfo
- Publication number
- CN115997187A CN115997187A CN202180053861.4A CN202180053861A CN115997187A CN 115997187 A CN115997187 A CN 115997187A CN 202180053861 A CN202180053861 A CN 202180053861A CN 115997187 A CN115997187 A CN 115997187A
- Authority
- CN
- China
- Prior art keywords
- data
- client
- space
- experience
- polyhedron
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Abstract
一种传递数据的方法可包括将体验空间划分为包括互连平面的网络的多面体。可以经由分布式传感器阵列收集体验空间的体验空间数据片。分布式传感器阵列中的每个传感器可以包括对应的体验空间数据片。可以选择一个多面体作为客户位置多面体。可以从体验空间数据中提取客户位置数据。客户位置数据可以对应于客户位置多面体。提取可以是通过将体验空间数据片中的多个体验空间数据片相交以形成多面体数据集。
Description
技术领域
用于使能远程出席和参与的方法和系统包括传递体验空间数据和客户空间数据中的一者或两者。可以收集、传递、提取和插入多面体数据集,以使得远程客户能够出席体验空间,并使得远程客户能够参与体验空间。
背景技术
新闻广播讲述韩国体育事件。在棒球比赛中填满空的体育场的尝试是经由无声的视觉海报,但没有声音,因为Covid-19不允许球迷挤满体育场。最近,已经安装了屏幕来显示球迷的图像。但是,这些球迷并没有像坐在体育场里一样体验比赛,球员也没有像活跃的参与者在场一样体验比赛。
发明内容
本文所公开的方法和设备克服了上述缺点,并且通过至少远程出席系统和方法、用于向体验空间(诸如建筑空间或自然环境)提供音频输入的系统和方法、以及用于显示客户参与的系统和方法来改进现有技术。这些可以包括计算机可读介质和携带机器可读指令的机器可读介质。
一种用于与指定空间交互的系统和方法可以包括第一收发机,该第一收发机包括第一广播设备,其用于收集包括指定空间的音频和视频素材(footage)的第一素材,并且用于将向第二收发机广播所收集的素材。可以包括第一输出设备,用于从第二收发机接收并发射所接收到的音频或视频反馈。第二收发机可以包括第二广播设备,其被配置用于收集包括客户或客户空间的音频和视频素材中的一者或两者的第二素材,并且用于向第一输出设备广播所收集的素材。
一种传递数据的方法可以包括进行划分、收集和提取以形成多面体数据集。以这种方式组织数据改进了基于数据的用户体验的真实性,并且改进了数据集的可扩展插入、插值和提取。
一种传递数据的方法可以包括将体验空间划分为包括互连平面的网络的多面体。可以经由分布式传感器阵列收集体验空间的体验空间数据片(sheet)。分布式传感器阵列的每个传感器可以包括对应的体验空间数据片。可以选择一个多面体作为客户位置多面体。可以从体验空间数据中提取客户位置数据。客户位置数据可以对应于客户位置多面体。提取可以是通过将体验空间数据片中的多个体验空间数据片相交以形成多面体数据集。
可选地,多面体包括二十面体和四面体的组合。
可选地,分布式传感器阵列的传感器包括用于收集二维数据的材料片,并且该方法包括从二维数据中提取形成多面体数据集的三维多面体。
可选地,提取三维多面体包括指派实际节点和虚拟节点中的一者或两者以形成三维多面体的顶点。实际节点或虚拟节点可以从二维数据中读取或从二维数据插值。
可选地,可以对准多面体数据集中的客户数据多面体,并且可以将客户数据多面体投影到体验空间中。
可选地,可以在体验空间内应用焦点指示符,并且可以调整多面体数据集的焦点以与焦点指示符对准。
可选地,多面体数据集可以被展开成平面数据图,并且平面数据图可以被封包以用于通过数据网络传输。
可选地,可以在客户端收发机设备处接收封包的平面数据图。平面数据图可以被折叠成多面体数据集。并且,多面体数据集可以被投影到客户空间中以模拟体验空间。
可选地,可以通过经由分布式客户端传感器阵列收集客户空间的客户空间数据片来形成客户数据多面体。分布式客户端传感器阵列中的每个传感器可以包括对应的客户空间数据片。可以通过将客户空间数据片中的多个客户空间数据片相交来从客户空间数据中提取客户数据多面体。
可选地,可以执行从分布式客户端传感器阵列读取分布式客户端传感器阵列的数据或者对分布式客户端传感器阵列的数据进行插值,以将客户空间数据片中的多个客户空间数据片相交。
可选地,将多面体数据集展开成平面数据图可以包括将所收集的二维数据扭转成可折叠的三角形序列。
可选地,可以通过将数据的第一部分分配给红色光谱的像素值,将数据的第二部分分配给绿色光谱的像素值,以及将数据的第三部分分配给蓝色光谱的像素值,将平面数据图转码成RGB格式。
可选地,可以将光谱移位应用于经RGB格式化的平面数据图,以偏移红色光谱、绿色光谱和蓝色光谱的一个或多个像素值。
一种系统可以至少包括处理器和存储指令的存储介质,该指令当由机器的处理器执行时使得系统执行本文中的方法。
机器可读介质可以携带机器可读指令,该机器可读指令当由机器的处理器执行时使得机器执行本文中的方法。
附加的目的和优点将部分地在下面的描述中阐述,并且部分地将从描述中显而易见,或者可以通过本公开的实践获悉。目的和优点也将通过随附的权利要求中特别指出的元素和组合来实现和获得。
附图说明
图1A是地球作为二十面体的视图。
图1B是图1A的地球的平面图的一个示例的视图。在图1B的二维平面图中可以看到图1A的三维二十面体的三角形部分的扭转。
图1C示出了图1A的二十面体的分解图。
图2A是事件空间的透视图。
图2B是叠加有可伸缩四面体和二十面体的事件空间的座位部分的俯视图。
图3是客户作为远程用户观看体验空间的一部分的视图。
图4A和图4B是客户空间被投影到体验空间中的替代表示。
图5A和图5B是示例性收发机设备的视图。
图6A是连接客户空间和体验空间的示例性网络的视图。
图6B和图6C是根据本文中的教导的方法的流程图。
具体实施方式
现在将详细参考附图中所示的示例。只要可能,相同的附图标记将在所有附图中用于指代相同或者类似的部分。
本公开捕获并传达人群的欢呼声以及人们在建筑或其他体验空间中产生的声音。体验空间数据可以是收集、传递、提取和/或插入的数据,以使得远程客户能够出席体验空间并使得远程客户参与体验空间。通过在客户空间中收集数据,也可以在体验空间中数字地表示客户。客户空间数据可以与体验空间数据聚合,以使得体验的出席者和提供者也可以从远程客户的添加中受益。远程客户还从他们选择的体验空间的一部分的有利点接收体验空间数据,这允许远程客户“坐”在体验空间中。可以具有用于收集、传递、提取或插入体验空间数据或客户空间数据以便利远程出席和参与的新方法和系统。
低压数字和无线设备可以在体验空间ES1中被组装和安装为化身或收发机设备D1、D2、…Dn。对于在图6中所示的收发机设备D1,存在许多替代物。壳体可以被设计成包括至少一个传感器S1、接收机R1和发射机T1。
收发机设备组件还可以包括一个或多个被安装用于从远程位置进行语音投影的有线或无线扬声器(诸如高音扬声器、低音扬声器、电容器等)、识别系统(诸如但不限于链接到移动应用以查看并与远程客户通信的QR码或条形码)、以及其他可选的设计特征。收发机设备D1-Dn可以包括诸如(一个或多个)麦克风、(一个或多个)视频相机的设备以流式传输或流式传输和记录(诸如迷你摄像机、摄像机、网络摄像机、动作摄像机等),被设计成适合主场地的各种安装选项,诸如支架、底座、吊杆、延伸臂、三脚架或其他附件、硬件或适配器(诸如吸管杯、夹具、夹子、螺纹连接、拇指螺钉、插头、转环、把手等),占用指示器或运动检测器,识别系统,耳语墙或挡风玻璃,防护罩或其他保护罩。用于流式传输或记录素材的其他便利手段可以包括DVR、HD(高清)、AVI、MPEG、MJPEG或其他编程或连接。可以包括存储器设备,诸如RAM、ROM、EPROM、MicroSD、TF、USB棒、SD卡或其他替代方案。可以包括具有电光转换的电光混合计算机,如光信号处理器。可以使用电声光计算。可以使用对RF、无线电、卫星的模拟等。电池组可以是可充电或可更换的,或者可以使用对电源的硬接线或插头。可再生能源可用于对收发机设备D1-Dn供电。附加能力可以包括用于热点、WiFi、CAT5、SDHC、COAX、5G、RF或其他连接的设备。升级可以改进体验和参与,并且可以包括诸如团队颜色表示或可移动部件,以模拟人浪效果。可具有许多的选项组合以适应客户环境和提供者环境。
收发机设备D1-Dn可包括各种安装选项,诸如底板或地板安装、三脚架或杆安装、座椅支架、天花板安装、电线悬挂系统、墙壁安装、夹子安装等。在图5A和图5B中示出了示例性四面体收发机设备D6的部分。在图5A中,示出了具有可被折叠的三角形部分TP1-TP4的基底。其他多面体形式可以用适当的折叠调整替代,并且不限于二十面体、八面体和四面体。
在图5B中,以分解图示出了收发机设备D6具有附接夹具51、电缆52和底座53。夹具51可以包括对收发机设备D6的公型或母型附件。夹具52或底座53可以被配置为旋转以传达欢呼效果。电缆52可包括电源线、接地和可塑杆或弹簧,以使得收发机设备D6能够相对于底座53定位。底座可包括电池或其他电源连接,其可与各种端口组合,诸如数据端口、USB、microSD、USB-C、micro USD、显示端口、HDMI、以太网、光纤、音频插孔、VGA等。或者,代替底座,三角形部分TP1-TP4中的一个可以专用于这些电源连接或其他端口。每个三角形部分TP1-TP4可以包括各种各样的入口P,通过入口P,可以通过安装传感器S1-Sn、发射机T1-Tn和接收机R1-Rn的组合来发送或接收信号。收发机设备D6可以具有许多修改以容纳其他安装布置。
接收机R1-Rn可以被配置为在其体验空间ES1或客户空间CS1中视情况从协作的收发机设备D1-Dn接收数据。接收机R1-Rn可以被配置为接受已经发送给它们的内容,并且因此,即使下文没有特别指出,也可以将对应的传输技术结合到收发机设备中。接收机R1-Rn可以包括与通信传输兼容的光学、无线或有线连接。作为示例,这可包括同轴、光纤、5G、4G、WiFi、LiFi(光保真)、可见光通信(VLC)、自由空间光学(FSO)、光学相机通信(OCC)、光纤无线电(RoF)、光学无线(OWC)、其他激光通信、矩阵向量乘法器(MVM)、微环调制器、空间光调制器(SLM)、自由光谱范围设备(FSR)、补充出站复用器的解复用器、视线(LoS)设备、模拟数字转换器等。如图所示,接收机R1-Rn可以成对以用于冗余,并且还可以被布置以与RGB数据通信系统交互。红外(IR)传感器可被包括以用于与其他收发机设备D1-Dn的RGB或其他光子通信。作为一个工作示例,3组模拟传感器可以被配置为将所接收到的光信号转换为数字信号,其中对应的ADC0804板与微控制器同步以接收和转码RGB信号。例如,一个或多个接收机R8可以用于红色RGB信号,一个或多个接收机R9可以用于蓝色RGB信号,并且一个或多个接收机R7可以用于绿色RGB信号。由于本文的教导与2020年9月25日提交的PCT/US2020/052945“RGB Network and Devices(RGB网络和设备)”兼容,因此,收发机设备D6可以发送和接收RBG数据。作为示例,发送可以经由比特或光学装置,并且可以包括频率调制。为了与其他技术兼容,可以根据附接的网络发送和接收二进制信号,包括例如5G、WiFi、FiOS、COAX、CAT5、IEEE标准化数据等。
发射机T1-Tn可包括一个或多个扬声器或一个或多个投影设备。可以使用LED、LIDAR、复用器等与接收机R1-Rn和传感器S1-Sn兼容的许多其他设备。当安装在体育场中作为体验空间ES1时,扬声器可以至少发出远程客户的声音。生物特征可以被复制或模仿,例如,LED发射器可以模仿客户的心跳加速,或者附加物(appendage)可以模仿挥手。或者,收发机可以响应于在体验空间中所感测到的红外检测而发出振动等。附加的周围环境可以被聚集或被数字地移除或被数字地改变,以使得远程客户的声音对于其他观察者来说似乎来自收发机设备D1安装在体育场中的位置。剥离或包括来自客户的远程位置的背景噪声可以使用在声学行业中众所周知的用于诸如头戴式耳机和其他耳机的设备的这种噪声消除技术来实现。发射机T1-Tn允许客户像在现场一样在事件中欢呼,给事件的参与者(诸如球员、出席者等)一种充满体育场事件的感觉。与发射机T1-Tn一起可以包括附加的结构,诸如全息图投影仪、显示设备或用于将客户发送到体验空间中或用于将体验空间ES发送到客户空间CS中的其他设备。
一个或多个传感器S1-Sn可以收集体验空间数据ESD,体验空间数据可以包括任何数量的可检测信息。可以收集来自事件的声音、照明、大气压力、温度、风压、振动、气味、生物特征数据以及其他许多其它传感器可捕获数据。传感器S1-Sn可以包括许多类型和组合,诸如光探测器、换能器、二极管、光子集成电路。这些体验空间数据ESD可以被处理并传达到客户的远程位置。可包括触觉设备的客户端设备的适当调制可以复制在客户的远程位置的体验空间,如通过加湿器、风扇、扬声器系统、气动装置、液压装置、嗅觉模拟器、照明系统、空调系统等。发射机T1-Tn可以调制客户端设备,或者在将远程客户投影到体验空间ES1中的情况下,发射机T1-Tn可以调制体验空间ES1中的设备。可以调整所收集的数据的幅度。例如,客户可以在其远程位置选择比在体验空间中所收集的更低的分贝输出。作为另一个示例,客户可以降低风扇脉动的强度,以复制体验空间的感觉。相反,例如,客户可以增加振动模拟器的幅度,以获得更强烈的踢球体验。
本文中的教导与许多技术兼容,以使得远程出席和参与系统可以代表远程客户的感觉,诸如但不限于:他们的耳朵和眼睛,以使得他们可以说话、听到、看到、被看到和听到,并且从他们的远程位置被共同投影到物理环境中。与之兼容的,物理环境可以被投影到远程位置,以至少将体验空间ES1的景象和声音复制到客户空间CS1中。
作为时间框架提供者,除了上述的空间框架示例之外,可以收集事件或客户交互的时间,并与其他时间框架同步,以用于在另一时间的远程出席。这允许重新播放客户交互或事件。想象在体验空间或客户空间向你的配偶求婚,然后将其投影在新的时间框架内,诸如誓言更新仪式。或者,可以一次扫描体验空间以建立经渲染的虚拟体验空间,然后在稍晚的时间,可以与远程出席者一起主持全虚拟事件。
与此兼容,2020年9月25日提交的PCT/US2020/052945“RGB Network and Devices(RGB网络和设备)”包括说明客户和提供者如何参与数据共享的公开内容。该申请的一个目标是允许客户与提供者连接。本申请通过使得客户能够选择事件并参与事件来进一步促进该目标,尽管客户处于远离事件的位置。或者,即使在事件中,它也允许客户参与事件内的各种位置。远程出席和参与系统中的用户可以受益。事件的提供者(场馆所有者、表演者、运动员、名人、教师、导游、以及许多其他事件主办方)可以经由常规方式(诸如在线销售、售票点、或者RGB网络和设备)提供事件的门票。客户可以经由购票、访问代码、账号登录、站点链接等获取对事件的访问。通过设置兼容的收发机设备D1、D2、…Dn,客户可以访问体验空间ES1(体育场、剧院、动物园、演讲厅、天文台、风景远眺、迪斯科舞厅、家庭以及其他场所)。客户可以向远程位置传达体验空间数据ESD以在远程位置中模拟事件。替代地或者附加地,客户可以被投影到体验空间中。使用座位表等,被投影到体验空间中的客户可以彼此交互,他们的交互是私人的或被聚集到事件的嘈杂声中。编程可以允许客户在体验空间中移动,有效地从一个座位移动到另一个座位。作为示例,这可以使得客户能够在社交事件中“混合(mingle)”、在歌剧院中改变声学位置、或者在体育事件中跟随一场比赛。
在图1A中,示出了二十面体ICO。它可以包括20个四面体A-T,其中的中心八面体由两个附加的四面体组成。使用等边三角形和四边金字塔的组合可以设计24个三角形面。这种柏拉图立体是将球体变换为空间的准确地图的准确方法,诸如地球、月球或其上的场地。二十面体的节点和平面性质产生有用的空间框架和时间框架。采用以这种方式的空间和时间框架,三角形面和连接的节点可以用于促进远程出席和参与。框架是可伸缩的,以容纳不同尺寸的事件。
外缘(perimeter)四面体A-T可以向内指向中心八面体。图1C示出了所有四面体被展开的二十面体ICO的分解图。作为柏拉图立体,四面体、八面体和二十面体非常适合于本文所讨论的种类的数据处理应用。高的表面积和低的内部体积促进紧凑且高效的数据封包。立方体和十二面体可以包括使本文所教导的对准和处理复杂化的形状和角的混合。因此,工作示例聚焦于共享三角形形状的形状、以及特别有益的等边三角形形状。与大多数其他通信介质的方波相反,这种三角形形状非常适合发送和接收三角波。三角波促进更真实和更愉悦的用户体验。三角形形状促进对要在客户空间和体验空间之间传达的光和声音的镜面和漫反射分量的有效捕获。鉴于立方体形状和方波不利于声音和光传播,方波对于时钟信号和触发微控制器的同步逻辑是有用的。如果方波设备对于不受欢迎的用途是必要的,则替代方案是使用诸如数据插值和波函数卷积的技术来将方波平滑成三角波,以更平滑地与本文中的形状相称。
二十面体ICO可以表示地球、体验空间ES1或客户空间CS1。节点N1-N36可以表示四面体A-T的接触点。节点N1-N36可以指示收发机设备D1-Dn可以被放置以收集体验空间数据ESD或客户空间数据CSD的位置。或者,节点N1-N36可以通过从体验空间数据ESD或客户空间数据CSD中提取节点来被数字地求解或数字地表示。可以用LIDAR扫描体验空间ES1(诸如体育场或剧院)以制作体验空间ES2的模型。模型可以被转换成用于选择实际节点和虚拟节点以及用于选择收发机设备布置的虚拟模型。
图1C示出了个体四面体A-T组成二十面体ICO。每个四面体可以从二十面体ICO中提取。共享表面和共享节点N1-N36可导致体验空间数据ESD和客户空间数据CSD的重复,这些重复可以从聚合数据集中减去或者可以分发给共享体验的用户。
图1B示出了二十面体ICO可以“被展开”成二维结构。针对二十面体ICO的每个三角形件所收集的体验数据片或客户数据片可以面向矩阵形式通信技术。数据分组可以连同报头、页脚和电信传输的其他方面(诸如IEEE标准化数据传输技术)一起建立。可以应用加密、数据密钥以及其他选项。
在附加的替代功能中,体验数据片或客户数据片可以包括向其他数据集中的一个或多个数据集倾斜的数据集。因此,并不是严格地从左到右或从上到下读取,而是可以具有扭转的数据集,如图1B中的字母的取向最佳示出的。虽然数据可以在三维二十面体ICO中从左到右或从上到下地组装,但是如字母的相同取向所建议的,将3D对象“展开”为2D对象可以对数据进行重新取向。该重新取向可以添加保护数据的另一个方面,因为从左到右或从上到下读取的黑客现在也必须考虑数据取向的扭转。由于存在用于“展开”或“折叠”二十面体的许多替代方案,因此,可以改变用于从左到右取向的起始点。采用适当的定时算法以改变二维数据的起始点,可以增强其中的数据的安全。
与2020年9月25日提交的PCT/US2020/052945“RGB Network and Devices(RGB网络和设备)”兼容,图1B的二维数据集包括对RGB格式和像素值的引用。因此,在本文中,000到255个像素光谱可以被应用于数据。数据集可以被划分,以使得存在红色像素数据、蓝色像素数据和绿色像素数据。“where(何处)”、“what(什么)”和“when(何时)”模式可以被附加到经由二十面体ICO收集的数据。可以具有附加的颜色分配以用于表示诸如光或声音的幅度、振动的强度、客户或提供者的回复、焦点信息以及可被感测或传达的许多替代数据的事物。
由于柏拉图立体可以在不受重力限制的情况下被构造,因此,可以创建虚拟结构,而不考虑接地的锚点。在虚拟世界中,你并不试图超越重力来建立结构。因此,二十面体ICO可以包括具有相同三角形相位的其他柏拉图立体,诸如四面体或八面体。虽然立方体更适合于组织数据本身,但是,其他柏拉图立体非常适合于创建不受现实世界重力约束的连接和关系。当我们感觉到、看到和听到重力的影响时,本文中的柏拉图立体在脉冲传播以填充多面体空间时提供自然的信号衰减。由收发机设备发射的脉冲可以被编程具有指数衰减和发散,并且可以具有必要的可调节焦点以添加体验的真实感。二十面体的近径向结构适合复制理想和真实的体验。
作为一个示例,体育场是图2A和图2B中的体验空间ES1。收集光、声音等的信号,所收集的数据可用于生成与周围的多面体的空间框架和时间框架相关的空间和时间信号。再次使用二十面体ICO,但是可以替代地使用截断的四面体框架来代表体验空间ES1。圆顶的结构本身可以由适当尺度的二十面体表示,以便包括体验空间节点ESN1-ESNn。体验空间二十面体EICO及其座位布置的小环可以是二十面体ICO的子集。二十面体ICO可以是世界视图,其中体育场具有其相对于全球二十面体ICO的位置。因此,体育场(体验空间二十面体EICO)可以与全球二十面体ICO共享一个或多个节点(在本示例中是N9和N36)。可以指定许多体验空间节点以描绘诸如层座位、包厢座位、站立室、边线、更衣室小巷等的特征。在该示例中,运动场F1和运动场F1上的球员是期望的焦点。因此,焦点二十面体FPICO可以环绕运动场F1,并且球员二十面体PICO可以环绕球员。如由阴影四面体所表示的,可以收集数据片或对其进行插值以放大体验空间ES1。所收集的信号可用于将虚拟体验空间渲染为真实体验空间ES1的一部分,以使得远程用户可以通过填充在虚拟体验空间中生成的多面体客户位置并将这些填充的空间投影到体验空间ES2中来受益于集市的文化优势。
收发机设备D1-Dn可以被称为提供者设备,并且可以被分布在体验空间ES1中。分布可以包括例如收发机设备D1-Dn被悬挂在天花板或悬挂结构上(也被表示为天花板设备DC),或被安装在座椅上(被表示为克拉(carat),包括客户选择的收发机设备DU1),或被安装在杆上(被表示为杆设备Dp),或者被安装在墙壁上,以形成体验空间节点ESN1-ESNn。被表示为二十面体的体验空间ES1可以具有许多四面体子单元(其具有许多对应的节点Nn)。对应的节点Nn可以是由收发机设备D1-Dn形成的数字节点或实际的物理节点。也就是说,收发机设备D1-Dn可以被设置在运动场F1附近的杆上,或者被设置在任何其他座位或结构上,或者甚至被设置在体育场的地面上,以用作二十面体的节点。在未安装或无法安装收发机设备的实例中,可以根据周围收集的数据对节点进行插值。
客户可以从提供者处获得座位。现在,客户可以远程出席事件。图2A示出了在体育场中排列的多个用户U1-U10。如由在收发机设备D1-D7处的二十面体所表示的,用户U1-U10可以转移到体育场内的其他位置,或者转移到由克拉表示的其他位置。
一个或多个球员或其他感兴趣的特征可以佩戴触觉设备,诸如RFID标签或其他发射机。球员可以是可选择的或指定的焦点FP1。客户和提供者可以选择焦点FP1作为从其提取他们的数据片的消失点。
在图3中示出了在客户二十面体CICO内的客户U1。示出了客户端节点CN1-CN9,尽管存在36个节点可用作客户二十面体CICO的接触点。客户U1通过连接到收发机设备(图2B中的客户选择的收发机设备DU1)来安排远程出席在体验空间ES1处的事件。存在许多销售渠道来连接到客户选择的收发机设备DU1,诸如通过在2020年9月25日提交的PCT/US2020/052945“RGB Network and Devices(RGB网络和设备)”中教导的技术进行互联网售票或日历。
在客户空间CS1中安装采用客户端收发机设备(也称为客户端节点CN1-CN5)形式的收发机设备。客户空间中的墙壁、天花板、插座、墙壁插孔、家具或其他结构可用于安装客户端收发机设备CN1-CN5。在本示例中仅有5个设备,客户二十面体CICO的一些节点必须根据所收集的数据来插值。至少一个客户端收发机设备CN1-CN5连接到显示设备10(被示出为电视)。电话、膝上型电脑、平板电脑、投影仪、全息系统、虚拟现实系统和其他权宜之计作为替代方案存在。焦点FP1被显示。显示设备10的扬声器(如果可用)可以被调制以传达将会在客户选择的收发机设备DU1的位置出现的声音。或者,客户端收发机设备CN1-CN5可以被调制以传达将会在客户选择的收发机设备DU1的位置出现的声音。
客户端收发机设备CN1-CN5使用它们对应的传感器S1-Sn来从客户空间CS1收集数据,诸如手势、话语等。客户端收发机设备CN1-CN5可以彼此通信以传达所收集的数据。例如,仅有一个收发机可以连接到互联网,而其它收发机不连接,从而允许在不同价格点处的收发机的等级。由传感器S1-Sn收集的数据通过云(在该示例中是RGB网络)被转发,以导致客户U1被投影到体验空间ES1中。
在图4B中,在客户空间CS2中使用更少的客户端收发机设备CN11、CN21、CN31、CN41。较低的数据包可以与较少数量的客户端收发机设备相关联,或者可以应用可伸缩性方面。在任何情况下,在客户空间CS2中形成包括两个四面体的八面体,其中八面体的两个节点是根据由其他客户端收发机设备CN11、CN21、CN31、CN41收集的数据插值的。由于三角形相位在全球二十面体ICO内是一致和可堆叠的,因此,可以进行柏拉图立体的这种替代。这可以在图2B中看到,其中具有三角形相位的四面体作为其他二十面体的一片进行投影。实际上,代替八面体或二十面体,客户空间可以包括数据的四面体。图4B示出了客户可以以八面体形式被投影到体验空间ES1中。
传递数据的方法促进用于远程出席和参与的数据的数字化。图6B和图6C描绘了用于实现远程出席和参与的补充步骤。图6B的部分可以被散布在图6C中。
步骤S621包括将体验空间或客户空间划分为多面体的平面。这可以如在图2B中完成的。图2B示出了包括互连平面的网络的多面体。四面体S与体验空间节点ESN7共享节点,可以从中导出较小的四面体,并且将该较小的四面体缩小到与运动场二十面体FPICO共享的节点。作为包括期望焦点的场所,运动场F1还包括用于诸如球员及其装备这种附加特征的四面体。运动场F1上的球或球员可以包括触觉或其他发射机,其变成体验空间中的注意焦点。四面体可以指向该焦点,以使得焦点变成针对每个多面体所收集的数据片的消失点。与焦点共享节点的四面体容易变成传播出去的光和声音的中心,以填充数据片。因此,以焦点为中心的二十面体也变成用于由收发机设备收集的数据传播的中心。二十面体ICO的对称形式允许使用用于波信息(光、声音、振动)的中心发射点和用于合成关于波信息的数据的框架。在平面中对准的节点可用于收集从焦点发出的数据。三角测量可用于建立节点之间的数据片,作为本文所讨论的其他插值的替代方案。
在步骤S623中,收发机设备(DU1、D1-Dn、Dc、Dp等)经由分布式传感器阵列收集体验空间E1的体验空间数据ESD片。由于大多数传感器是平面的,因此,分布式传感器阵列中的每个传感器可包括对应的体验空间数据ESD片。由于每个收发机设备(DU1、D1-Dn、Dc、Dp等)可以包括许多传感器S1-Sn,因此,可以错开传感器的深度或者排列传感器以从各种角度(诸如立体地)拾取数据。传感器S1-Sn可以经由一个或多个收发机设备(DU1、D1-Dn、Dc、Dp等)被排列以从多个有利点收集数据,以使得传感器S1-Sn或收发机设备(DU1、D1Dn、Dd、Dp等)中的一者或两者形成至少一个实际节点N1-N36、ESN1-ESN36等。然后,数据片从多于一个有利点表示体验空间或客户空间。
在步骤S625中,可以选择一个多面体作为客户位置多面体。如图2B所示,可以在体验空间ES1中生成多个多面体。诸如数据包、数据速率、带宽、收发机设备分辨率等事项可影响客户位置多面体的大小和节点数量。由于是虚拟的,因此,客户位置多面体不受重力约束。可以在座位或站立区域、在无障碍的观看或聆听区域、或在体验空间ES1中可以被指定的任何其他空间中选择它。这种虚拟座位的集群可以被聚集,以使得远程客户可以在被投影到体验空间ES1中时混合。
在步骤S627中,通过将多个体验空间数据ESD片相交以形成多面体数据集,可以从体验空间ES1数据中提取与客户位置多面体对应的客户位置数据。在图2B中,这会需要在客户想要观看事件的位置有节点,该节点期望地采用客户选择的收发机设备DU1(用克拉表示)的形式。与对运动场F1上的球员和球所做的类似,多面体阵列可以被缩小到客户选择的收发机设备DU1以表示最终的客户位置多面体。可以通过将体验空间数据片相交来形成数字多面体。形成节点的传感器S1-Sn和收发机设备D1-Dn、Dp、Dc等在多个方向上收集数据,如图5B的示例所示。收发机设备D6的一个示例本身是四面体,其被排列成通过收集可以相交的数据片来收集附加的四面体。
作为示例,体验空间节点ESN5可以收集与由体验空间节点ESN4、ESN7和ESN8形成的平面相交的三角形数据片。二十面体节点N9可以进而收集由体验空间节点ESN4、ESN5和ESN7、或者由ESN5、ESN7和ESN8、或者由ESN4、ESN7和ESN8形成的一个或多个附加三角形数据片。可以在体验空间节点ESN7处连接三角形数据片,该节点ESN7可以收集由体验空间节点ESN4、ESN5和ESN8形成的平面中的附加的三角形数据片。三个三角形片可以相交以形成用于数字多面体的多面体数据集。插值可用于提取在已知其他数据之间的数据。例如,传感器S1-Sn可以包括有限数量的采集点,但更大的分辨率可以通过插值来数学求解。可以在已知的其他数据点之间求解期望数据点。
以图2B作为工作示例,原理可以被应用于体验空间ES1的多个可用节点,也可以被应用于客户空间CS1、CS2。在图3中示出客户U1在客户端二十面体CICO中远程观看显示设备10上的事件。相比图4A和图4B,客户U1、U2可以在其客户空间CS1、CS2中参与,其中一个或多个收发机设备收集关于客户U1和U2的数据。可以在客户空间CS1、CS2之间定制不同的带宽、数据速率、分辨率、像素化以及其他特征。可以应用滤波来移除客户U1、U2不希望共享的背景噪声或远程位置的方面。例如,客户U1、U2可以关闭投影他们的外表的能力,或者可以允许投影外表而不是声音,或者客户U1、U2可以选择根本不投影到体验空间ES1中。因此,步骤S629和S631是替代方案。在步骤S631中,客户U1、U2可以将采用虚拟客户多面体VU1、VU2形式的客户空间数据CSD1、CSD2投影到体验空间ES1中。然后,他们对事件的欢呼和其他响应可以是体验空间ES1的一部分。虚拟客户多面体VU1、VU2可以在客户位置多面体的参数内进行投影。客户U1、U2可以与客户选择的收发机设备DU1的发射机T1-Tn一起被投影在客户位置多面体中。以该多面体方式发送客户空间数据CSD为周围的事件参与者提供了更丰富的体验。发射机T1-Tn到达以采用用户实际与空间交互的维度方式填充客户位置多面体。这与在单个方向上复制声音的单点发射机不同。代替像将电话保持在耳边那样的声音体验,事件参与者将客户空间数据CSD发射到多个平面。多面体的体积用光、声音和其他可传输振动或谐波的传输来填充,并且多面体的表面可以用实际的和经插值的数据点来致密,以使得客户被更广泛地投影到体验空间ES1中。
步骤S629指示体验空间数据ESD被投影到客户空间CS1、CS2中。客户U1、U2同样可以通过一个或多个客户端收发机设备CN1-CN36的努力来体验事件的丰富性,该一个或多个客户端收发机设备伸出以用多个体验空间数据ESD片环绕客户U1和U2。客户U1、U2可以在若干节点CN1-CN36、CN11、CN21、CN31、CN41中的一些节点处具有多个客户端收发机设备,以使得光或声音的小波可以被投影到客户多面体的平面中。同样,被安装在体验空间ES1中的其他收发机设备可以投影以复制虚拟客户多面体VU1、VU2的片。因此,球员和观众可以从分布式收发机设备的多个有利点体验客户输入。
多面体可包括二十面体和四面体的组合。这允许复制三角形形状。平面容易通过在三角形形状的顶端的三个点(节点)来构造。很像图5A的片材,其可折叠以构造四面体收发机设备D6,较大的二十面体形式可以像二维片一样形成。这些折叠很好地适用于在IEEE802制度中惯用的矩阵数据分布。
分布式传感器阵列的传感器可包括用于收集二维数据的材料片。板或层或衬底或板等可用于将传感器嵌入或安装在实际平面或连接平面中。连接平面可以经由收发机设备或个体收发机的组件之间的三角测量技术来形成。如上所述,存在半导体衬底、二极管、温度传感器、声学传感器、光耦合器以及许多替代方案。作为一个示例,二极管条可以按栅格图案安装在衬底上,以收集二维矩阵的光学输入。或者,相邻的收发机设备可以池化它们的声学集合以对声学数据平面插值。可以操纵所收集的二维数据以提取形成多面体数据集的三维多面体。可以应用插值算法或其他渲染算法、以及用于将所收集的数据点从其采集点投影出来的其他技术。
作为一种技术,当连续的感测板不可用时,或者当传感器本身未覆盖区域而导致所收集的空间被未收集的空间中断时,提取三维多面体可以包括指派实际节点和虚拟节点中的一者或两者以形成三维多面体的顶点。假设客户U2仅在客户端节点CN21、CN11和CN41处安装客户端收发机设备,则可以将这些节点指派为实际节点。然而,剩余节点CN31等是虚拟节点。在客户端节点CN21、CN11和CN41处收集的数据被用于近似、插值或渲染节点CN31等应当收集的数据。这可以通过从二维数据中读取或从二维数据插值以构造客户数据多面体来完成。因此,可以从实际节点或虚拟节点构造体验空间或客户空间多面体数据集。
节点和使用三角形形状对于对准多面体数据集中的客户数据多面体很有用。如图2B和图1C所阐明的,四面体、八面体和二十面体在接触点(节点)处连接,并具有交叉点和共享线。可枚举节点可以与不可枚举节点穿插在一起,以合并笛卡尔空间和连续体的两个无限。在体验空间中可以容纳许多远程出席者。节点可用于将世界视图二十面体(图1A)拆分成体验空间ES1、客户空间CS1、CS2和客户位置多面体。一个或多个时间框架可以与空间框架一起被包括。一个柏拉图立体可以被指定为其他多面体可以投影到其中的空间框架。通过所示出的基于三角形的柏拉图立体的选择,堆叠和对准多面体变成简单的任务。共享节点(如与体验空间二十面体EICO的节点重叠的二十面体节点N9)很好地提供了可伸缩性、数据重用、冗余和确认数据正确性的能力。具有平行线和互补角度,客户数据多面体可以在任何数量的可选择位置处被投影到体验空间中。
作为围绕体验空间ES1构建静态多面体的替代方案,可以应用图6B的原理。在步骤S601中,可以选择诸如球、球员、表演者等的焦点。选择可以是数字的,如通过在所收集的数据中挑选点,或者选择可以是实际的,如通过应用触觉或其他发射机。选择可导致在实际或虚拟的体验空间ES1内应用虚拟或物理的焦点指示符。如果尚未完成,则步骤S603可以包括在焦点周围建立节点。在步骤S605中,传感器S1-Sn可以与焦点对准以收集在焦点的方向上的数据。收发机设备D1-Dn、Dc、Dp可以平移或缩放到所选择的焦点。如图1C所示,组成二十面体ICO的四面体A-T可以被配置为指向二十面体ICO的中间,这可以是焦点。如果收发机设备D1-Dn、Dp、Dc没有物理地移动(旋转、跟踪、平移等),则可以在所收集的传感器数据中对缩放进行数字处理。这将物理地或虚拟地调整多面体数据集的焦点,以与焦点指示符对准。在步骤S607中,可以在传感器处或者从传感器所收集的数据中生成S607体验或客户空间数据片,随后在步骤S609中进行插值或提取以形成数字三维多面体数据集。
虽然来自传感器阵列的数据片对于渲染、插值或以其他方式提取三维多面体是有用的,但是,使用在市场上容易可得的矩阵形式通信标准是方便的。因此,为了进一步采用多面体远程出席技术的努力,如在步骤S611中,将三维多面体数据集展开成如图1B所示的二维平面数据图是有益的。可以在文献中找到四面体A-T的三角形表面的其他布置,因此,图1B的精确布局是一个示例,并且鼓励替代方案,实际上替代方案改进了数据传输的安全性,如在本文其他地方所讨论的。在将平面数据图封包以用于通过数据网络传输之前或之后,可以应用步骤S613的RGB转码。这种转码将像素值指派给平面数据图的数据,并且这些像素值可以被移位以用于进一步安全和保障。实际上,客户空间数据CSD可被指派针对被指派给体验空间数据ESD的像素值的红色、蓝色和绿色光谱中的互补像素值。当虚拟客户多面体VU1、VU2与体验空间ES1中的客户位置多面体实现对准时,像素值的准直可以指示虚拟客户多面体VU1、VU2的形成中的匹配。或者,可以应用手性映射(chiral mapping),其中客户空间数据形成到客户位置多面体的手的一个镜像的手性。然后,平面数据图可以被折叠为左手或右手。可以实现手动数据集的算法匹配,其中图1B的原则应用以增强安全性。
因此,与将客户空间数据映射到体验空间非常类似,客户端收发机设备可以接收封包的平面数据图。这在图6A中示出。客户端设备(无论是在电话或平板电脑上安装中的应用,还是在计算机上安装的软件,或者是收发机设备中的固件)可以将平面数据图折叠成多面体数据集。多面体数据集可以被投影到客户空间中以模拟体验空间。
如上文更一般地解释的,可以通过经由分布式客户端传感器阵列收集客户空间的客户空间数据片来形成客户数据多面体。分布式客户端传感器阵列的每个传感器可以包括对应的客户空间数据片。客户数据多面体可以通过将多个客户空间数据片相交来从客户空间数据中提取。而且,可以从分布式客户端传感器阵列读取数据或者对分布式客户端传感器阵列的数据进行插值以将多个客户空间数据片相交。客户空间数据可以像体验空间数据一样被平面化和转码。
本文中的方法可以包括将多面体数据集展开成平面数据图,这包括将所收集的二维数据扭转成可折叠的三角形序列。在上文概述了该图1B的概念,并且对矩阵分组中的数据添加了安全性。因此,通过将平面数据图转码为RGB格式,也添加了安全性,如通过将数据的第一部分指派给红色光谱的像素值,将数据的第二部分指派给绿色光谱的像素值,以及将数据的第三部分指派给蓝色光谱的像素值。另一种安全措施可以包括对经RGB格式化的平面数据图进行频谱移位,以偏移红色光谱、绿色光谱和蓝色光谱的一个或多个像素值。
如在图6A中所概述的,系统可以包括一个或多个处理器和存储指令的一个或多个存储介质,该指令当由机器的处理器执行时,使得系统执行本文中的方法。因此,机器可读介质也可以携带机器可读指令,该机器可读指令当由机器的处理器执行时,使得机器执行本文中的方法。虽然下文讨论了请求、访问和调度,其与PCT/US2002/052945中的教导一致,但是,在RGB颜色方案中可以替代其他数据,诸如声音、光、时间以及其他所收集的数据。
在图6A中,提供者设备62被配置为经由网络60与数据库阵列64通信。提供者设备62被配置为以第一网络频谱向数据库阵列64的红色数据数据库RDB传送红色提供者请求数据像素、红色提供者访问数据像素和红色提供者调度数据像素。这些提供者公报可以对应于体验空间ES1的各方面。
提供者设备62可以被配置有各种双向通信工具。在65处一般性地示出了通信云。示出了用于各种通信网络频谱的图标,包括卫星、无线(诸如4G或5G)、激光、雷达和传统的有线。作为用于提供者设备通信和客户端设备通信两者的安全措施,可以由客户端设备61和提供者设备62以不同的网络频谱(光纤、电话、无线、WIFI等)完成用于跨网络传输的每一行数据。作为替代方案,红色行、绿色行或蓝色行中只有一行以不同的网络频谱发送,而其他两行使用相同的网络频谱。
为了继续示例,绿色提供者请求数据像素、绿色提供者访问数据像素和绿色提供者调度数据像素以第二网络频谱被发送到数据库阵列64的绿色数据数据库GDB。并且,蓝色提供者请求数据像素、蓝色提供者访问数据像素和蓝色提供者调度数据像素以第三网络频谱被发送到数据库阵列64的蓝色数据数据库BDB。网络60可以被配置为使得第一网络频谱与第二网络频谱和第三网络频谱都不同,并且第二网络频谱与第三网络频谱不同。
同样,数据库阵列可以被配置为经由网络60的通信云65与客户端设备61进行双向通信。客户端设备61可以将经RGB格式化的客户端输入以第四网络频谱传送到红色数据数据库、以第五网络频谱传送到绿色数据数据库以及以第六网络频谱传送到蓝色数据数据库。客户端网络频谱可以与提供者网络频谱不同。
为了在客户空间数据与体验空间数据之间进行匹配,可以搜索数据库阵列。体验空间数据的提供者数据行可以在提供者设备62的存储器设备621中被存储和搜索,或者可以在网络60的数据库阵列64中的提供者数据行中被存储和搜索。存储器设备621可以存储体验空间数据ESD和客户空间数据CSD以用于处理。数据库阵列进一步被配置为经由网络60的通信云65与客户端设备61进行双向通信。客户端设备可以被配置为传送客户端输入,该客户端输入至少包括:被RGB格式化为包括红色客户端请求数据像素、绿色客户端请求数据像素和蓝色客户端请求数据像素的客户端请求数据;被RGB格式化为包括红色客户端访问数据像素、绿色客户端请求数据像素和蓝色客户端请求数据像素的客户端访问数据;以及被RGB格式化为包括红色客户端调度数据像素、绿色客户端调度数据像素和蓝色客户端调度数据像素的客户端调度数据。
客户端设备61可以被配置为在其计算设备中接收、存储和处理网络输入。网络输入可以是通过通信云65被转发的提供者输入,无论是直接来自提供者62还是来自数据库阵列64。客户端设备61可以在存储器611中存储算法、客户空间数据CSD以及所转发的体验空间数据ESD。包括合成器613的处理器612可以接收至少包括提供者请求数据、提供者访问数据和提供者调度数据的网络输入。客户端设备61在合成器613处处理客户端处理器中的网络输入。合成器613可以将客户端数据列的行与提供者数据列的列进行合成,这包括将经RGB格式化的网络输入与经RGB格式化的客户端输入进行准直,以产生一行准直像素值。可以丢弃该行准直像素值,诸如当客户端收发机不能发出体验空间的方面或者反之亦然时,或者当该行准直像素值包括在预定像素值范围之外的一个或多个像素值时,或者当该行准直像素值包括一个或多个非白色像素值时。当该行准直像素值在预定范围内准直时,或者当该行准直像素值准直到所有白色像素值时,处理器可以经由客户端算法在客户端显示设备上显示匹配的标记。可以替代用于转码、合成和存储的附加替代方案。
可以在提供者设备62中处理体验空间数据ESD的许多方面。网络60可包括被配置为与网络60进行双向通信的提供者设备62。提供者设备62可以在至少包括提供者处理器622和提供者存储器设备621的提供者计算设备中数字地接收、存储和处理体验空间数据ESD和其他提供者输入。提供者输入可以至少包括提供者请求数据、提供者访问数据和提供者调度数据,这些数据可以与客户端输入互补。合成器623可以与合成器613类似地针对体验空间数据ESD和提供者输入执行。合成器613可以将客户空间数据CSD与体验空间数据ESD缝合在一起,以在客户位置多面体中对准客户空间数据SD,以用于最终投影虚拟客户多面体VU1、VU2。客户端合成器613可以通过丢弃针对客户端收发机上的调制不兼容的数据或者对兼容的数据进行排队,缝合体验空间数据ESD以符合在客户端节点CN1-CN36、CN11、CN21、CN31、CN41处的客户端收发机的能力。
提供者设备62可以利用被存储在提供者存储器设备621中的所存储的提供者算法来处理提供者处理器622中的提供者输入。提供者算法可以被配置为将从触摸屏、键盘或其他提供者输入设备接收的数字提供者输入转码为提供者经RGB格式化的数据。这样的转码可以直接在提供者设备62上进行,以使得提供者输入具有被应用于客户端输入的RGB相关安全特征。可替代地,可以将数字提供者输入转发到服务器63以用于RGB格式化和在数据库阵列64中的分布。对于网络60存在许多替代方案。
作为机器可读介质和系统的工作示例,可以使用在诸如电视、计算机、平板电脑、电话、膝上型电脑、智能电视等设备上的移动应用。可以使用投影的或构造的屏幕的透视画(diorama)。远程客户经由连接与系统一起提供的远程客户端设备或者被允许和许可与系统连接的现有设备的集合的应用程序来操作控件。
收发机设备可以具有标识符,包括但不限于QR码或嵌入式设备、或广播设备、或信号或分组地址。标识符允许使用移动应用的不同远程客户端CS1、CS2选择在其远程位置处通过网络60看到彼此并彼此通信。标识符链接到移动应用并与多个系统交互,诸如体验空间ES1内部相机,以在大屏幕或电视广播器上特写远程客户,以随机放映人群中的远程客户。此外,在物理上出席事件的任何人可以经由在他们自己的个人计算机设备上的标识符或者通过简单地发起对话来与远程客户U1、U2交互。
远程客户、主办方客户和普通公众之间的交互所提供的基本上比人群的人类行为更多,因为这是超越环境和建筑空间的物理障碍而形成的人群。此外,远程出席和参与系统扩展了客户可用的空间和时间,因为任何人可以同时部分地出席多个事件。
使用远程出席和参与系统的远程客户可以彼此认识或不认识。在这种情况下,机会被抛到了混合中。机会(有意从网络和仅限邀请的会议中消除的一些东西)现在是远程出席和参与系统的一部分。因此,无论该系统被安装在何处,人们都可以在共同感兴趣的环境中有机会相遇。它可以是在帝国大厦的顶部,或者在卢浮宫远程观看《蒙娜丽莎》。它可以是在火星之旅中为尝试远程旅行的勇敢的宇航员们加油。也许,它在歌剧的中场休息期间或在亚马逊丛林中。任何目的地、演出、设置、工作室或家庭可以具有远程出席和参与系统,以提供在世界各地的现场体验。
该系统将人们和(一个或多个)设备与软件相连接,从而新的出席和参与任何现场演示、表演或活动的方式。远程出席和参与系统还提供了新的旅行、观察和遇见来自世界各地的人的方式。
组合的硬件和软件系统允许世界上任何地方的人利用WIFI互联网、5G连接或其他互联网服务来容易且独立地虚拟占用或租用远程出席和参与系统。收发机设备D1-Dn、Dc、Dp可以由体验空间ES1的主办方设置和订购。主办方提供空间,并且远程客户控制收发机设备,以产生用于远程客户在特定时间帧期间[When]、在特定位置处[Where]、在事件[What]处转身并抬头或低头观看、听到、说话、欢呼或鼓掌的独特体验。
远程客户可以经由远程控制来控制收发机设备在xy平面中旋转360度或在yz平面中旋转180度。如果视频相机安装有缩放功能,这是有利的。作为发射机T1-Tn的扬声器可以将客户的声音欢呼、鼓掌和其他声音投射到体验空间ES1的物理空间中。即使整个人群由参与的远程出席者组成,他们也可以被主持人、表演者或运动员听到。传感器S1-Sn可以包括麦克风,以捕获体验空间中的将被投射到远程客户空间CS1中的环境声音,以给予客户U1、U2作为人群的一部分的感觉。代替取决于另一个人或摄影师拍摄,使用移动应用程序的远程客户从他们的观点控制事件的景象和声音。客户可以控制:经由视频相机3a的视图的角度;演讲者的可听性和清晰度;以及客户的语音和环境的可听性;麦克风从设备拾取环境声音或者从固定位置拾取声音;以及在客户在体验空间中的位置处的收发机设备(图2A中的克拉)。
体验空间,诸如但不限于剧院或体育场,可以建立用于声音放大、声音衰减或声音的均匀分布。场所是以谐振或非谐振、反射或吸收来建立或自然地出现。这些架构现实难以用算法来解释。订购现场评估以根据需要进行验证和设计以确定体验空间ES1的什么区域非常适合可出现的每种类型的声音或光调制是昂贵的。不是在算法上考虑事件空间或自然环境中的自然形成中的设计选择,收发机设备D1-Dn、Dc、Dp、DU1、D6从参与者的有利点和在参与者会占据的体积中收集体验空间数据。多面体“容器”可以被填充在虚拟客户多面体处收集的体验空间数据ESD,并且可以被填充投影到体验空间ES1中的客户空间数据CSD。现在,场所被更真实地填充,并且用户具有更真实的体验。
主办方客户可以是私人财产的任何所有人、私人财产的承租人、公共财产的承租人、或公共或私人财产的保管人。在所有者批准之后,主办方可以安装系统,以用于远程客户按分钟或小时租用远程出席和参与系统设备,以欣赏风景、环境或在主办方的场所会见某人。当不“出租”给个人时,系统可用于出于安全目的来监测场地。作为附加的安全系统的连接或到其现有安全系统的连接是可选的。物理出席者可以与远程出席者交互,以用于在由主机确定的邀请时参与。
主办方客户(诸如但不限于博物馆或画廊)可以从天花板安装(一个或多个)设备以查看和讨论收藏的物品。如果场所是安静的位置,则对话可以经由移动应用经由消息传递或通过应用在线进行。远景、牧场、动物园和其他观光位置、旅游位置、运输路线、健身课、芭蕾或戏剧场所可以受益于本文中的教导。客户很难或不可能到达的场地(比如高尔夫球场上的旗杆或空间站)可以受益。
根据考虑本文所公开的示例的说明书和实践,其他实施方式对于本领域技术人员来说将是明显的。
Claims (15)
1.一种传递数据的方法,包括:
将体验空间划分成包括互连平面的网络的多面体;
经由分布式传感器阵列收集所述体验空间的体验空间数据片,所述分布式传感器阵列的每个传感器包括对应的体验空间数据片;
选择所述多面体中的一个多面体作为客户位置多面体;以及
通过将所述体验空间数据片中的多个体验空间数据片相交以形成多面体数据集,从所述体验空间数据中提取与所述客户位置多面体对应的客户位置数据。
2.根据权利要求1所述的方法,其中,所述多面体包括二十面体和四面体的组合。
3.根据权利要求1或2所述的方法,其中,所述分布式传感器阵列的传感器包括用于收集二维数据的材料片,并且其中,所述方法包括:从所述二维数据中提取形成所述多面体数据集的三维多面体。
4.根据权利要求3所述的方法,其中,提取三维多面体包括:指派实际节点和虚拟节点中的一者或两者以形成所述三维多面体的顶点;以及从所述二维数据中读取所述实际节点或所述虚拟节点,或者从所述二维数据插值所述实际节点或所述虚拟节点。
5.根据权利要求3或4所述的方法,包括:对准所述多面体数据集中的客户数据多面体;以及将所述客户数据多面体投影到所述体验空间中。
6.根据权利要求1至4中的任一项所述的方法,包括:在所述体验空间内应用焦点指示符;以及调整所述多面体数据集的焦点以与所述焦点指示符对准。
7.根据权利要求1至6中的任一项所述的方法,包括:将所述多面体数据集展开成平面数据图;以及将所述平面数据图封包以用于通过数据网络传输。
8.根据权利要求7所述的方法,包括:在客户端收发机设备处接收经封包的平面数据图;将所述平面数据图折叠成所述多面体数据集;以及将所述多面体数据集投影到客户空间中以模拟所述体验空间。
9.根据权利要求1至8中的任一项所述的方法,包括:通过经由分布式客户端传感器阵列收集客户空间的客户空间数据片来形成客户数据多面体,所述分布式客户端传感器阵列的每个传感器包括对应的客户空间数据片;以及通过将所述客户空间数据片中的多个客户空间数据片相交来从所述客户空间数据中提取所述客户数据多面体。
10.根据权利要求9所述的方法,包括:从所述分布式客户端传感器阵列中读取所述分布式客户端传感器阵列的数据或者对所述分布式客户端传感器阵列的数据进行插值,以将所述客户空间数据片中的多个客户空间数据片相交。
11.根据权利要求7所述的方法,其中,将所述多面体数据集展开成平面数据图包括:将所收集的二维数据扭转成可折叠的三角形序列。
12.根据权利要求7或10所述的方法,包括:通过将所述数据的第一部分指派给红色光谱的像素值,将所述数据的第二部分指派给绿色光谱的像素值,以及将所述数据的第三部分指派给蓝色光谱的像素值,来将所述平面数据图转码成RGB格式。
13.根据权利要求12所述的方法,包括:将光谱移位应用于经RGB格式化的平面数据图以偏移所述红色光谱、所述绿色光谱和所述蓝色光谱的一个或多个像素值。
14.一种系统,包括处理器和存储指令的存储介质,所述指令当由机器的所述处理器执行时,使得所述系统执行根据权利要求1至13中的任一项所述的方法。
15.一种携带机器可读指令的机器可读介质,所述机器可读指令当由机器的处理器执行时,使得所述机器执行根据权利要求1至15中的任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063047934P | 2020-07-03 | 2020-07-03 | |
US63/047,934 | 2020-07-03 | ||
PCT/US2021/040263 WO2022006504A1 (en) | 2020-07-03 | 2021-07-02 | Remote attendance and participation systems and methods |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115997187A true CN115997187A (zh) | 2023-04-21 |
Family
ID=77168418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180053861.4A Pending CN115997187A (zh) | 2020-07-03 | 2021-07-02 | 远程出席和参与系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230239446A1 (zh) |
EP (1) | EP4176334A1 (zh) |
CN (1) | CN115997187A (zh) |
WO (1) | WO2022006504A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10217189B2 (en) * | 2015-09-16 | 2019-02-26 | Google Llc | General spherical capture methods |
KR102360179B1 (ko) * | 2016-02-02 | 2022-02-08 | 삼성전자주식회사 | 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라 |
KR102381370B1 (ko) * | 2016-02-19 | 2022-03-31 | 삼성전자주식회사 | 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스 |
CN110115026B (zh) * | 2016-12-19 | 2021-07-13 | 三星电子株式会社 | 在电子装置中在矩形投影上产生360度内容的方法和系统 |
US10556185B2 (en) * | 2017-09-29 | 2020-02-11 | Sony Interactive Entertainment America Llc | Virtual reality presentation of real world space |
AU2020360221A1 (en) * | 2019-10-03 | 2022-04-14 | Pfetch, Inc. | RGB network and devices |
-
2021
- 2021-07-02 WO PCT/US2021/040263 patent/WO2022006504A1/en active Application Filing
- 2021-07-02 US US18/011,929 patent/US20230239446A1/en active Pending
- 2021-07-02 CN CN202180053861.4A patent/CN115997187A/zh active Pending
- 2021-07-02 EP EP21749419.4A patent/EP4176334A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022006504A1 (en) | 2022-01-06 |
US20230239446A1 (en) | 2023-07-27 |
EP4176334A1 (en) | 2023-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11290681B2 (en) | System and methods for facilitating virtual presence | |
JP6531760B2 (ja) | 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム | |
US20080030573A1 (en) | Volumetric panoramic sensor systems | |
Tennent et al. | Thresholds: Embedding virtual reality in the museum | |
US11356639B1 (en) | System and method for performing immersive audio-visual communications | |
US10523931B2 (en) | System for projecting immersive audiovisual content | |
US11902349B1 (en) | System and method for providing a real-time digital virtual audience | |
US10015444B1 (en) | Network architecture for immersive audio-visual communications by temporary communication structures | |
CN108322474B (zh) | 基于共享桌面的虚拟现实系统、相关装置及方法 | |
US20110134209A1 (en) | Virtual Structure | |
US20230239446A1 (en) | Remote attendance and participation systems and methods | |
US20230247231A1 (en) | Apparatus and method for event participation by spectators | |
CN108989327B (zh) | 一种虚拟现实服务器系统 | |
US20240005618A1 (en) | Volumetric heat maps for intelligently distributing virtual objects of interest | |
WO2021117503A1 (ja) | テレプレゼンスシステム | |
WO2021117504A1 (ja) | テレプレゼンスシステム | |
Handa et al. | Immersive Media for Connecting with Remote Family and Friends: Development of Space-Sharing Content Viewing System | |
TENNENT et al. | MATT COLLISHAW, Artist, UK | |
Gibson et al. | Experiential Signal Processing (ESP) and Experiential Telecommunications (ET) | |
WO2024020452A1 (en) | Multi-screen presentation in a virtual videoconferencing environment | |
IL289178A (en) | An advanced multimedia system for accurate analysis and simulation of live events | |
Navratil et al. | Performing Arts Across the Continents: Our Way to Digital Humanities and Arts | |
WO2005032148A1 (fr) | Procede de visualisation d'informations audiovisuelles, procede de visualisation d'informations visuelles, systemes de mise en oeuvre et dispositif d'affichage |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |