CN111240625A - 一种无限视觉边界的图像动态渲染的计算方法及系统 - Google Patents

一种无限视觉边界的图像动态渲染的计算方法及系统 Download PDF

Info

Publication number
CN111240625A
CN111240625A CN202010022466.7A CN202010022466A CN111240625A CN 111240625 A CN111240625 A CN 111240625A CN 202010022466 A CN202010022466 A CN 202010022466A CN 111240625 A CN111240625 A CN 111240625A
Authority
CN
China
Prior art keywords
calculation
relationship
rendering
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010022466.7A
Other languages
English (en)
Other versions
CN111240625B (zh
Inventor
张卿
杨平
陈凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dunyu Shanghai Internet Technology Co ltd
Original Assignee
Dunyu Shanghai Internet Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dunyu Shanghai Internet Technology Co ltd filed Critical Dunyu Shanghai Internet Technology Co ltd
Priority to CN202010022466.7A priority Critical patent/CN111240625B/zh
Publication of CN111240625A publication Critical patent/CN111240625A/zh
Priority to PCT/CN2020/133479 priority patent/WO2021139456A1/zh
Application granted granted Critical
Publication of CN111240625B publication Critical patent/CN111240625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明提供了一种无限视觉边界的图像动态渲染计算方法及系统,包括:一个最大的球形域由若干个方块显示区域组成,每个方块都是一个显示器;将平面图像的内容在球形域上进行曲面映射;每个方块显示器都有三种角色的计算关系,即每个显示屏建立树形计算网络,完成无限视觉边界的图像动态渲染的计算;所述三种计算关系包括:一级计算关系、二级计算关系和三级计算关系;所述一级计算关系:计算当前显示器待渲染输出的图像数据本身;所述二级计算关系:计算当前相邻的显示器的虚拟渲染区域;所述三级计算关系:计算没有直接连接显示器的渲染输出。本发明可依赖目前计算力的硬件和若干个屏幕来提供大面积的可堆叠可延伸动态实时无限边界的图像渲染。

Description

一种无限视觉边界的图像动态渲染的计算方法及系统
技术领域
本发明涉及视觉增强、动态渲染,图像融合,虚拟现实技术领域,具体地,涉及一种无限视觉边界的图像动态渲染的计算方法及系统。
背景技术
随着对大面积视觉沉浸感和更加贴近的视网膜像素分辨率的消费需求增加,图像渲染的任务始终和专有图像处理硬件的极限能力并驾齐驱,而非头戴式(N-HMD:None HeadMount Devices)虚拟现实场景中,因为大面积对抗眩晕感会更加苛刻,对实时图像一系列计算也提出时间更低延迟的要求。
市面上解决此类问题的方法,是HMD头戴式显示技术在非常近距离提供小视觉窗口,根据眼球和身体的移动来提供新的视觉内容以获得无边界视野。但这极大的限制了使用和佩戴的方式,也加重佩戴的身体负担。而佩戴近距离呈像会对视网膜造成影响,对佩戴有身体不适的群体有不方便之处。
并且,如果不佩戴近距离头戴显示屏(N-HMD),想通过外部大面积成像屏幕实现观看空间的包裹,为了沉浸需要超宽(180度~360度)视角都可直视观看。近距离也有接近视网膜辨识像素,而物理4K、8K的处理和成像硬件即便继续升级换代,也难达成无边界视觉体验。这些是市面上仍未解决问题。这些问题和在实践中遇到的计算局促和输出限制就是本专利有待解决的目标。
专利文献CN110475080A(申请号:201910783451.X)公开了一种基于GPU的多屏幕融合矫正显示处理方法,涉及屏幕融合技术领域,包括基于GPU的GPU控制模块、GPU控制模块相关联的人机交互终端、GPU控制模块相关联的图像传输模块、GPU控制模块相关联的图像显示模块、GPU控制模块相关连的图像矫正模块与GPU控制模块相关联的投影拼接模块,该方法包括以下步骤:步骤一,屏幕融合命令发送;步骤二,启动图像传输;步骤三,启动图像矫正;步骤四,图像调整和图像修剪;步骤五,启动投影拼接;步骤六,边界缝合和基点重合。
技术要点比较:本发明是无边界无限制的扩展渲染设计,每个屏幕的主渲染是独立和专属的,融合后成像的最终总输出像素没有4K/8K上限,理论设计的像素最大是540x4K。动态实时计算补充的渲染也不单单增强一个物理屏幕,也就是本发明最终还是多个屏幕而非一个合成屏幕。
专利文献CN110035275A(申请号:201910237297.6)公开了一种基于大屏幕融合投影的城市全景动态显示系统及方法,涉及城市全景动态显示技术领域,旨在解决现有的展现三维图像的方法应用在城市全景展示中时展示效果不佳的问题。其技术方案要点是,包括用于构建城市的三维模型的构建模块、用于将多台投影机的投影图像拼接为整体投影图像的拼接模块、用于生成转换方程的转换模块、用于生成匹配方程的匹配模块、用于生成第一变换方程的第一变换模块、用于生成第二变换方程的第二变换模块、以及用于获取车辆特征点并对整体投影图像进行像素变换计算的投影模块。
技术要点比较:一种基于大屏幕融合投影的城市全景动态显示系统及方法在拼接实施上做的技术落脚,本发明在渲染扩展上发力,本发明将渲染分成直接,间接和增强,再交给不同的硬件设备来配合计算完成,通过本专利的计算方法支持,可以达到堆叠和扩展的效果。
专利文献CN110244988A(申请号:201910539133.9)公开了一种基于CG实时渲染的游戏场景生成系统,包括:用户终端、云渲染系统、游戏供应商服务器、实时渲染插件;所述用户终端用于登陆用户的游戏账号、运行游戏,还用于接收所述游戏供应商发送的实时渲染生成的游戏场景;所述游戏供应商服务器用于获取用户游戏时的实时数据信息,并根据所述实时数据信息调用用户周边视角环境内出现的3D模型参数,将生成的游戏场景发送给用户终端;所述云渲染系统用于对3D模型参数进行实时渲染,生成游戏场景,并将生成的游戏场景发送给游戏供应商服务器。
技术要点比较:增强渲染是提供特定的图像科学计算,而不是用来做全局输出渲染,提供的科学计算会给每个屏幕的主渲染硬件来做二次合成,而非直接输出,这与云端游戏渲染不同。
专利文献CN206353330U(申请号:201720026223.4)公开了一种真三维实时渲染处理系统,包括计算机操作端、无线传输单元以及云服务器,计算机操作端通过无线传输单元连接云服务器;其中,计算机操作端包括三维模型库、贴图材质库、渲染设置单元、渲染主机、渲染显示单元以及图像存储器。
技术要点比较:本发明切入点是无限延伸的动态渲染,而不是单一屏幕远程渲染后输出,更不是纯粹的把待渲染图像数据抛给特定的服务器离线计算。可输出的数据始终经由每个屏幕连接的主服务器来提供。
专利文献CN103049927B(申请号:201310017768.5)公开了一种基于GPU集群的实时光线跟踪渲染方法,包括如下步骤:预先将要渲染的每帧任务以屏幕空间上划分成若干的子任务;利用动态负载均衡机制将子任务分配到集群中的各个渲染机器节点上;利用GPU在每个渲染节点内部并行地对每个子任务的屏幕空间每个像素进行并行光线跟踪计算;在各个渲染节点上的子任务渲染完成后,发送中间图像给管理机器节点,管理机器节点在接收到所有子任务的渲染结果图像后,将所有子任务的渲染结果图像拼接成最终的结果图像。
技术要点比较:本发明切入点是无限延申的动态渲染,而不是单一屏幕的渲染输出,更不是纯粹的把待渲染图像数据抛给特定的服务器离线计算,也包括特定的光线计算。可输出的数据始终经由每个屏幕连接的主服务器来提供,光线渲染(含追踪)。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种无限视觉边界的图像动态渲染的计算方法及系统。
根据本发明提供的一种无限视觉边界的图像动态渲染的计算方法,包括:
步骤M1:一个最大的球形域由若干个方块显示区域组成,每个方块都是一个显示器;将平面图像的内容在球形域上进行曲面映射;
步骤M2:每个方块显示器都有三种角色的计算关系,即每个显示屏建立树形计算网络,完成无限视觉边界的图像动态渲染的计算;
所述三种角色的计算关系包括:一级计算关系、二级计算关系和三级计算关系;
所述一级计算关系包括计算当前显示器待渲染输出的图像数据本身;
所述二级计算关系包括计算当前相邻的显示器的虚拟渲染区域;
所述三级计算关系包括计算没有直接连接显示器的渲染输出。
优选地,所述步骤M1包括:平面图像的长宽对应球形的预设对等角度,进行曲面映射。
优选地,所述步骤M2中二级计算关系中虚拟渲染区域包括:渲染区域像素放大两倍、渲染区域像素放大四倍和/或渲染区域像素放大九倍。
优选地,所述步骤M2中二级计算关系包括:边缝对齐和视角水平垂直融合,二级计算关系沿用相应一级计算关系中相同的曲面变换和图像中的物理逻辑计算;
所述图像中的物理逻辑计算包括关照计算、反射计算、力学关系计算和/或视差计算。
优选地,所述三级计算关系包括:根据数据流间的关系进行全局辅助物理引擎计算;
三级计算关系步骤M1:从连接显示器的三级计算设备之间业务分配和权责关系;
三级计算关系步骤M2:经过业务分配和权责关系后,通过没有直接连接显示器的多台三级计算设备履行单项物理逻辑通过预设次数迭代计算,得到全局结果,即图像渲染矩阵;
三级计算关系步骤M3:将图像渲染矩阵依靠二级计算设备完成补充的增强渲染输出;
所述迭代计算包括:物理引擎、光线和阴影计算,光源干扰、光线追踪、视觉蒙版、纹理叠加、物体分割、机理仿真的叠加的实时科学计算和点面移动计算。
所述物理逻辑是指符合物理世界真实数学和力学关系的方程,就是物理逻辑;
所述数据流间的关系是指三级计算关系中应运而生的图像渲染矩阵和同步任务。
根据本发明提供的一种无限视觉边界的图像动态渲染的计算系统,包括:
模块M1:一个最大的球形域由若干个方块显示区域组成,每个方块都是一个显示器;将平面图像的内容在球形域上进行曲面映射;
模块M2:每个方块显示器都有三种角色的计算关系,即每个显示屏建立树形计算网络,完成无限视觉边界的图像动态渲染的计算;
所述三种角色的计算关系包括:一级计算关系、二级计算关系和三级计算关系;
所述一级计算关系包括计算当前显示器待渲染输出的图像数据本身;
所述二级计算关系包括计算当前相邻的显示器的虚拟渲染区域;
所述三级计算关系包括计算没有直接连接显示器的渲染输出。
优选地,所述模块M1包括:平面图像的长宽对应球形的预设对等角度,进行曲面映射。
优选地,所述模块M2中二级计算关系中虚拟渲染区域包括:渲染区域像素放大两倍、渲染区域像素放大四倍和/或渲染区域像素放大九倍。
优选地,所述模块M2中二级计算关系包括:边缝对齐和视角水平垂直融合,二级计算关系沿用相应一级计算关系中相同的曲面变换和图像中的物理逻辑计算;
所述图像中的物理逻辑计算包括关照计算、反射计算、力学关系计算和/或视差计算。
优选地,所述三级计算关系包括:根据数据流间的关系进行全局辅助物理引擎计算;
三级计算关系模块M1:从连接显示器的三级计算设备之间业务分配和权责关系;
三级计算关系模块M2:经过业务分配和权责关系后,通过没有直接连接显示器的多台三级计算设备履行单项物理逻辑通过预设次数迭代计算,得到全局结果,即图像渲染矩阵;
三级计算关系模块M3:将图像渲染矩阵依靠二级计算设备完成补充的增强渲染输出;
所述迭代计算包括:物理引擎、光线和阴影计算,光源干扰、光线追踪、视觉蒙版、纹理叠加、物体分割、机理仿真的叠加的实时科学计算和点面移动计算。
所述物理逻辑是指符合物理世界真实数学和力学关系的方程,就是物理逻辑;
所述数据流间的关系是指三级计算关系中应运而生的图像渲染矩阵和同步任务。
与现有技术相比,本发明具有如下的有益效果:
1、本发明可依赖目前计算力的硬件和若干个屏幕来提供大面积的可堆叠可延伸动态实时无限边界的图像渲染;
2、针对在室内想营造无极的包裹视觉并且单位面积的像素不受成像屏幕物理技术指标限制。
3、用来改善N-HMD裸眼虚拟现实的现场体验感。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为屏幕近似曲面堆叠组成图;
图2为多个屏幕间的一二级渲染计算;
图3为多个屏幕间的多级协同渲染;
图4为多层级多角色关系权责图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明的目的是采用存量市场上的计算和成像硬件。组成图灵链网状结构,在视觉环境和面积上达到一个灵活的沉浸输出屏环境;根据当前显示面的图像和四边相邻四块图像边界相融和图像逻辑关联,以及角相邻的四块图像逻辑关联,对当前显示面上的渲染图像做叠加计算,获得每一个面视觉真实感和整体一致物理逻辑和过渡感;多次递归形成混合型的计算链条关系,链条上的每一个负责计算图像的节点可平行对等的处理当前面图像,单个面可支持高清,也可4K,再通过网络协同多个主机输出若干这样的屏幕,组成大面积同步的渲染输出;因为每一层级都是对等关系的图像计算,决定灵活组合,可以无限构造没有边界的视觉动态渲染能力,较少受物理环境和硬件能力的制约。
根据本发明提供的一种无限视觉边界的图像动态渲染的计算方法,包括:
步骤M1:一个最大的球形域由若干个方块显示区域组成,每个方块都是一个显示器;将平面图像的内容在球形域上进行曲面映射;一个最大的球形域理论极限,比如:15个~540个“15x 4x 9=540”若干个方块显示区域组成。
步骤M2:每个方块显示器都有三种角色的计算关系,如图2所示,图3所示,即每个显示屏建立树形计算网络,完成无限视觉边界的图像动态渲染的计算;
图3中白色区域也就是除了直接的边和角相连外的所有显示区域,对当前显示区域内容的计算动态影响。
每个方块显示器是逻辑显示区域与物理显示区域重叠的,因为在计算过程中,摄像机的位置发生移动后,单一逻辑显示区域是会发生变化的,从而影响一二三级的待计算内容,而物理屏幕显示区域是固定的,在组成曲面和曲面转换过程中的每个专指物理屏幕。其他业务过程中每个方块指代逻辑显示区域。
所述三种角色的计算关系包括:一级计算关系、二级计算关系和三级计算关系;
所述一级计算关系包括计算当前显示器待渲染输出的图像数据本身;
所述二级计算关系包括计算当前相邻的显示器的虚拟渲染区域;
所述三级计算关系包括计算没有直接连接显示器的渲染输出。
在现实世界中,物质和世界边界都是连续的,只要观察者连续的无限的移动就有无限的视野,而光线的连续性也在现实世界中连接了视线中的各种物质。所以三种角色就是为了满足当前、相邻、相关的三种计算任务而设计。
具体地,所述步骤M1包括:平面图像的长宽对应球形的预设对等角度近似曲面效果,平面图像的长宽在球形显示设备中要对应进行原本投影矩形的曲面映射,也就是新的长宽会与原本的由局部差别,如图1所示;
标准的映射往往是按照正球体来做映射,考虑到本算法的映射面不限制是正球体,所以提出根据球形和球面积的特定角度,类似曲面屏幕那样,可确保观察者看到每个屏幕上的像素对应的内容,在逻辑上与物理上保证是等距离的。
具体地,所述步骤M2中二级计算关系中虚拟渲染区域包括:渲染区域像素放大两倍、渲染区域像素放大四倍和/或渲染区域像素放大九倍。
具体地,所述步骤M2中二级计算关系包括:边缝对齐和视角水平垂直融合,二级计算关系沿用相应一级计算关系中相同的曲面变换和图像中的物理逻辑计算;
所述图像中的物理逻辑计算包括关照计算、反射计算、力学关系计算和/或视差计算。光照强度,亮度,反射后的光线强度,亮度,反射物质的系数,表面等等这些物理特有的引入的视觉因素。因为真实环境中物理和光线现象有动态发生的环节,无法提前知道而关联的成像区域在计算这些动态内容时非常消耗计算,本设计将物理逻辑计算的内容作为相邻的计算协处理继承过来。
具体地,所述三级计算关系包括:根据数据流间的关系进行全局辅助物理引擎计算;可以对二级计算中的全局物理逻辑在待渲染计算内容影响和同步;同步是发生响应和变化的时间连续性同时性,待渲染计算内容是指当前显示区域外的区域需要显示的内容,做计算;
三级计算关系步骤M1:从连接显示器的三级计算设备之间业务分配和权责关系;如图4所示;
业务分配包含一个待显示输出的世界按照特定摄像机观察的视角分配的每个时刻特定的待显示内容,也包含对应视野距离的显示面积所要做的曲面映射。
权责即是自己本区域的主显示区域,也是与临接显示区域的同步显示区域,确保物理和逻辑连续性,更是所显示内容直接和间接影响到周围的显示区域的叠加计算。
三级计算关系步骤M2:经过业务分配和权责关系后,通过没有直接连接显示器的多台三级计算设备履行单项物理逻辑通过预设次数迭代计算,得到全局结果,即图像渲染矩阵;具体全局过程是一个叠加视觉图像增强矩阵和时间同步上的逻辑关系响应矩阵,这些将会在实际输出屏幕之前算出最终每块屏幕上输出的内容表现像素是什么。
所述全局结果包括全平面、全球面和/或全曲面。
三级计算关系步骤M3:将图像渲染矩阵依靠二级计算设备完成补充的增强渲染输出;可以类比是偏移数值或叠加图像矩阵。
此处多出现在离屏渲染的实现中,但实现的主体不同。本专利是通过二级计算设备(也同时是另外一块屏幕的一级计算设备)来完成,这样就确保了图像的连续性和逻辑的连续性。只有要输出显示的内容,才会发生多级的计算联动关系。
所述迭代计算包括:物理引擎、光线和阴影计算,光源干扰、光线追踪、视觉蒙版、纹理叠加、物体分割、机理仿真的叠加的实时科学计算和点面移动计算。
所述物理逻辑是指符合物理世界真实数学和力学关系的方程,就是物理逻辑。计算方法就是遵循这些方程,及满足物理逻辑。
所述数据流间的关系是指三级计算关系中应运而生的图像渲染矩阵和同步任务。
多级计算最直接影响的是力学和光学,鉴于每个一级都进行了直接输出的图像计算,但物质的连续性,时间的同步,属于物理力学的多级计算。另外第一级的光的照度和强度是主体计算,就好比手电筒的灯前最近区域很亮,但光线还有一定的衰减范围,这些范围的光强到底衰减到什么程序,需要有什么样的照度,有什么样的阴影面积,就交给多级计算来落实在三级区域去。
根据本发明提供的一种无限视觉边界的图像动态渲染的计算系统,包括:
模块M1:一个最大的球形域由若干个方块显示区域组成,每个方块都是一个显示器;将平面图像的内容在球形域上进行曲面映射;一个最大的球形域理论极限,比如:15个~540个“15x 4x 9=540”若干个方块显示区域组成。
模块M2:每个方块显示器都有三种角色的计算关系,如图2所示,图3所示,即每个显示屏建立树形计算网络,完成无限视觉边界的图像动态渲染的计算;
图3中白色区域也就是除了直接的边和角相连外的所有显示区域,对当前显示区域内容的计算动态影响。
每个方块显示器是逻辑显示区域与物理显示区域重叠的,因为在计算过程中,摄像机的位置发生移动后,单一逻辑显示区域是会发生变化的,从而影响一二三级的待计算内容,而物理屏幕显示区域是固定的,在组成曲面和曲面转换过程中的每个专指物理屏幕。其他业务过程中每个方块指代逻辑显示区域。
所述三种角色的计算关系包括:一级计算关系、二级计算关系和三级计算关系;
所述一级计算关系包括计算当前显示器待渲染输出的图像数据本身;
所述二级计算关系包括计算当前相邻的显示器的虚拟渲染区域;
所述三级计算关系包括计算没有直接连接显示器的渲染输出。
在现实世界中,物质和世界边界都是连续的,只要观察者连续的无限的移动就有无限的视野,而光线的连续性也在现实世界中连接了视线中的各种物质。所以三种角色就是为了满足当前、相邻、相关的三种计算任务而设计。
具体地,所述模块M1包括:平面图像的长宽对应球形的预设对等角度近似曲面效果,平面图像的长宽在球形显示设备中要对应进行原本投影矩形的曲面映射,也就是新的长宽会与原本的由局部差别,如图1所示;
标准的映射往往是按照正球体来做映射,考虑到本算法的映射面不限制是正球体,所以提出根据球形和球面积的特定角度,类似曲面屏幕那样,可确保观察者看到每个屏幕上的像素对应的内容,在逻辑上与物理上保证是等距离的。
具体地,所述模块M2中二级计算关系中虚拟渲染区域包括:渲染区域像素放大两倍、渲染区域像素放大四倍和/或渲染区域像素放大九倍。
具体地,所述模块M2中二级计算关系包括:边缝对齐和视角水平垂直融合,二级计算关系沿用相应一级计算关系中相同的曲面变换和图像中的物理逻辑计算;
所述图像中的物理逻辑计算包括关照计算、反射计算、力学关系计算和/或视差计算。光照强度,亮度,反射后的光线强度,亮度,反射物质的系数,表面等等这些物理特有的引入的视觉因素。因为真实环境中物理和光线现象有动态发生的环节,无法提前知道而关联的成像区域在计算这些动态内容时非常消耗计算,本设计将物理逻辑计算的内容作为相邻的计算协处理继承过来。
具体地,所述三级计算关系包括:根据数据流间的关系进行全局辅助物理引擎计算;可以对二级计算中的全局物理逻辑在待渲染计算内容影响和同步;同步是发生响应和变化的时间连续性同时性,待渲染计算内容是指当前显示区域外的区域需要显示的内容,做计算;
三级计算关系模块M1:从连接显示器的三级计算设备之间业务分配和权责关系;如图4所示;
业务分配包含一个待显示输出的世界按照特定摄像机观察的视角分配的每个时刻特定的待显示内容,也包含对应视野距离的显示面积所要做的曲面映射。
权责即是自己本区域的主显示区域,也是与临接显示区域的同步显示区域,确保物理和逻辑连续性,更是所显示内容直接和间接影响到周围的显示区域的叠加计算。
三级计算关系模块M2:经过业务分配和权责关系后,通过没有直接连接显示器的多台三级计算设备履行单项物理逻辑通过预设次数迭代计算,得到全局结果,即图像渲染矩阵;具体全局过程是一个叠加视觉图像增强矩阵和时间同步上的逻辑关系响应矩阵,这些将会在实际输出屏幕之前算出最终每块屏幕上输出的内容表现像素是什么。
所述全局结果包括全平面、全球面和/或全曲面。
三级计算关系模块M3:将图像渲染矩阵依靠二级计算设备完成补充的增强渲染输出;可以类比是偏移数值或叠加图像矩阵。
此处多出现在离屏渲染的实现中,但实现的主体不同。本专利是通过二级计算设备(也同时是另外一块屏幕的一级计算设备)来完成,这样就确保了图像的连续性和逻辑的连续性。只有要输出显示的内容,才会发生多级的计算联动关系。
所述迭代计算包括:物理引擎、光线和阴影计算,光源干扰、光线追踪、视觉蒙版、纹理叠加、物体分割、机理仿真的叠加的实时科学计算和点面移动计算。
所述物理逻辑是指所述物理逻辑是指符合物理世界真实数学和力学关系的方程,就是物理逻辑。计算方法就是遵循这些方程,及满足物理逻辑。
所述数据流间的关系是指三级计算关系中应运而生的图像渲染矩阵和同步任务。
多级计算最直接影响的是力学和光学,鉴于每个一级都进行了直接输出的图像计算,但物质的连续性,时间的同步,属于物理力学的多级计算。另外第一级的光的照度和强度是主体计算,就好比手电筒的灯前最近区域很亮,但光线还有一定的衰减范围,这些范围的光强到底衰减到什么程序,需要有什么样的照度,有什么样的阴影面积,就交给多级计算来落实在三级区域去。
以下实施例对本发明作进一步说明:
实施方式1:渲染输出的计算业务可以分布在多台机器中拆分实现。
实施方式2:多屏幕的图像渲染融合是已知坐标系和观察焦点坐标平移的结果。
实施方式3:每个屏幕的主渲染节点的算力资源充足,辅助层级的计算节点的扩展性强,可分离共同的物理引擎,光线计算等算力资源消耗,节点间的通讯带宽效率很高。
实施举例1:沉浸式无限巨幕情景再现,交互型体感剧场和裸眼虚拟现实游戏。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种无限视觉边界的图像动态渲染的计算方法,其特征在于,包括:
步骤M1:一个最大的球形域由若干个方块显示区域组成,每个方块都是一个显示器;将平面图像的内容在球形域上进行曲面映射;
步骤M2:每个方块显示器都有三种角色的计算关系,即每个显示屏建立树形计算网络,完成无限视觉边界的图像动态渲染的计算;
所述三种角色的计算关系包括:一级计算关系、二级计算关系和三级计算关系;
所述一级计算关系包括计算当前显示器待渲染输出的图像数据本身;
所述二级计算关系包括计算当前相邻的显示器的虚拟渲染区域;
所述三级计算关系包括计算没有直接连接显示器的渲染输出。
2.根据权利要求1所述的一种无限视觉边界的图像动态渲染的计算方法,其特征在于,所述步骤M1包括:平面图像的长宽对应球形的预设对等角度,进行曲面映射。
3.根据权利要求1所述的一种无限视觉边界的图像动态渲染的计算方法,其特征在于,所述步骤M2中二级计算关系中虚拟渲染区域包括:渲染区域像素放大两倍、渲染区域像素放大四倍和/或渲染区域像素放大九倍。
4.根据权利要求1所述的一种无限视觉边界的图像动态渲染的计算方法,其特征在于,所述步骤M2中二级计算关系包括:边缝对齐和视角水平垂直融合,二级计算关系沿用相应一级计算关系中相同的曲面变换和图像中的物理逻辑计算;
所述图像中的物理逻辑计算包括关照计算、反射计算、力学关系计算和/或视差计算。
5.根据权利要求1所述的一种无限视觉边界的图像动态渲染的计算方法,其特征在于,所述三级计算关系包括:根据数据流间的关系进行全局辅助物理引擎计算;
三级计算关系步骤M1:从连接显示器的三级计算设备之间业务分配和权责关系;
三级计算关系步骤M2:经过业务分配和权责关系后,通过没有直接连接显示器的多台三级计算设备履行单项物理逻辑通过预设次数迭代计算,得到全局结果,即图像渲染矩阵;
三级计算关系步骤M3:将图像渲染矩阵依靠二级计算设备完成补充的增强渲染输出;
所述迭代计算包括:物理引擎、光线和阴影计算,光源干扰、光线追踪、视觉蒙版、纹理叠加、物体分割、机理仿真的叠加的实时科学计算和点面移动计算;
所述物理逻辑是指符合物理世界真实数学和力学关系的方程,就是物理逻辑;
所述数据流间的关系是指三级计算关系中应运而生的图像渲染矩阵和同步任务。
6.一种无限视觉边界的图像动态渲染的计算系统,其特征在于,包括:
模块M1:一个最大的球形域由若干个方块显示区域组成,每个方块都是一个显示器;将平面图像的内容在球形域上进行曲面映射;
模块M2:每个方块显示器都有三种角色的计算关系,即每个显示屏建立树形计算网络,完成无限视觉边界的图像动态渲染的计算;
所述三种角色的计算关系包括:一级计算关系、二级计算关系和三级计算关系;
所述一级计算关系包括计算当前显示器待渲染输出的图像数据本身;
所述二级计算关系包括计算当前相邻的显示器的虚拟渲染区域;
所述三级计算关系包括计算没有直接连接显示器的渲染输出。
7.根据权利要求6所述的一种无限视觉边界的图像动态渲染的计算系统,其特征在于,所述模块M1包括:平面图像的长宽对应球形的预设对等角度,进行曲面映射。
8.根据权利要求6所述的一种无限视觉边界的图像动态渲染的计算系统,其特征在于,所述模块M2中二级计算关系中虚拟渲染区域包括:渲染区域像素放大两倍、渲染区域像素放大四倍和/或渲染区域像素放大九倍。
9.根据权利要求6所述的一种无限视觉边界的图像动态渲染的计算系统,其特征在于,所述模块M2中二级计算关系包括:边缝对齐和视角水平垂直融合,二级计算关系沿用相应一级计算关系中相同的曲面变换和图像中的物理逻辑计算;
所述图像中的物理逻辑计算包括关照计算、反射计算、力学关系计算和/或视差计算。
10.根据权利要求6所述的一种无限视觉边界的图像动态渲染的计算系统,其特征在于,所述三级计算关系包括:根据数据流间的关系进行全局辅助物理引擎计算;
三级计算关系模块M1:从连接显示器的三级计算设备之间业务分配和权责关系;
三级计算关系模块M2:经过业务分配和权责关系后,通过没有直接连接显示器的多台三级计算设备履行单项物理逻辑通过预设次数迭代计算,得到全局结果,即图像渲染矩阵;
三级计算关系模块M3:将图像渲染矩阵依靠二级计算设备完成补充的增强渲染输出;
所述迭代计算包括:物理引擎、光线和阴影计算,光源干扰、光线追踪、视觉蒙版、纹理叠加、物体分割、机理仿真的叠加的实时科学计算和点面移动计算;
所述物理逻辑是指符合物理世界真实数学和力学关系的方程,即为物理逻辑;
所述数据流间的关系是指三级计算关系中应运而生的图像渲染矩阵和同步任务。
CN202010022466.7A 2020-01-09 2020-01-09 一种无限视觉边界的图像动态渲染的计算方法及系统 Active CN111240625B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010022466.7A CN111240625B (zh) 2020-01-09 2020-01-09 一种无限视觉边界的图像动态渲染的计算方法及系统
PCT/CN2020/133479 WO2021139456A1 (zh) 2020-01-09 2020-12-03 一种无限视觉边界的图像动态渲染的计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010022466.7A CN111240625B (zh) 2020-01-09 2020-01-09 一种无限视觉边界的图像动态渲染的计算方法及系统

Publications (2)

Publication Number Publication Date
CN111240625A true CN111240625A (zh) 2020-06-05
CN111240625B CN111240625B (zh) 2022-03-18

Family

ID=70866095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010022466.7A Active CN111240625B (zh) 2020-01-09 2020-01-09 一种无限视觉边界的图像动态渲染的计算方法及系统

Country Status (2)

Country Link
CN (1) CN111240625B (zh)
WO (1) WO2021139456A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651882A (zh) * 2021-01-15 2021-04-13 北京字节跳动网络技术有限公司 界面展示方法及装置、电子设备和计算机可读存储介质
WO2021139456A1 (zh) * 2020-01-09 2021-07-15 盾钰(上海)互联网科技有限公司 一种无限视觉边界的图像动态渲染的计算方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0522204B1 (en) * 1989-10-23 1998-03-11 McCutchen, David Method and apparatus for dodecahedral imaging system
CN1971504A (zh) * 2006-12-15 2007-05-30 浙江大学 大规模立体拼接显示墙的校正方法
CN101017315A (zh) * 2007-02-13 2007-08-15 上海水晶石信息技术有限公司 一种适用于不规则幕的多屏幕播放自动融合预处理方法
CN101458824A (zh) * 2009-01-08 2009-06-17 浙江大学 一种基于web的全景图的光照渲染方法
US20100001997A1 (en) * 2007-01-04 2010-01-07 Hajime Narukawa Information Processing Method
CN102254340A (zh) * 2011-07-29 2011-11-23 北京麒麟网信息科技有限公司 一种基于gpu加速的环境光遮挡图像绘制方法及系统
CN103530083A (zh) * 2013-10-31 2014-01-22 广东粤铁瀚阳科技有限公司 一种基于云计算的海量信息超级显示平台
CN104282014A (zh) * 2013-07-13 2015-01-14 哈尔滨点石仿真科技有限公司 基于nurbs曲面的多通道几何校正与边缘融合方法
US20160339338A1 (en) * 2013-05-10 2016-11-24 Google Inc. Multiplayer game for display across multiple devices
CN106469463A (zh) * 2016-09-27 2017-03-01 上海上大海润信息系统有限公司 一种基于cpu与gpu混合的渲染方法
CN106600672A (zh) * 2016-11-29 2017-04-26 上海金陵电子网络股份有限公司 一种基于网络的分布式同步渲染系统和方法
CN106897108A (zh) * 2017-01-20 2017-06-27 华南理工大学 一种基于WebVR的虚拟现实全景漫游的实现方法
CN108681987A (zh) * 2018-05-10 2018-10-19 广州腾讯科技有限公司 生成全景切片图的方法和装置
CN109792561A (zh) * 2016-08-12 2019-05-21 三星电子株式会社 图像显示设备及其操作方法
CN110087048A (zh) * 2019-05-24 2019-08-02 广州触派电子科技有限公司 投影机系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054121B (zh) * 2009-11-04 2012-12-05 沈阳迅景科技有限公司 3d全景实景网络游戏平台构建方法
CN202523337U (zh) * 2012-04-16 2012-11-07 北京金立翔艺彩科技股份有限公司 一种模组式led显示装置
CN102855654B (zh) * 2012-09-07 2015-04-22 中国人民解放军理工大学 一种超大规模天气效果渲染方法
CN103106679B (zh) * 2013-01-05 2016-03-30 广东威创视讯科技股份有限公司 分布式3d多通道渲染方法、系统和平台
US9582929B2 (en) * 2013-06-04 2017-02-28 Confetti Interactive Inc. Dynamic skydome system
CN104363427A (zh) * 2014-11-28 2015-02-18 北京黎阳之光科技有限公司 一种全实景视频智能监控系统
CN208156956U (zh) * 2018-05-18 2018-11-27 深圳裸眼威阿科技有限公司 一种球形显示屏
CN111240625B (zh) * 2020-01-09 2022-03-18 盾钰(上海)互联网科技有限公司 一种无限视觉边界的图像动态渲染的计算方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0522204B1 (en) * 1989-10-23 1998-03-11 McCutchen, David Method and apparatus for dodecahedral imaging system
CN1971504A (zh) * 2006-12-15 2007-05-30 浙江大学 大规模立体拼接显示墙的校正方法
US20100001997A1 (en) * 2007-01-04 2010-01-07 Hajime Narukawa Information Processing Method
CN101017315A (zh) * 2007-02-13 2007-08-15 上海水晶石信息技术有限公司 一种适用于不规则幕的多屏幕播放自动融合预处理方法
CN101458824A (zh) * 2009-01-08 2009-06-17 浙江大学 一种基于web的全景图的光照渲染方法
CN102254340A (zh) * 2011-07-29 2011-11-23 北京麒麟网信息科技有限公司 一种基于gpu加速的环境光遮挡图像绘制方法及系统
US20160339338A1 (en) * 2013-05-10 2016-11-24 Google Inc. Multiplayer game for display across multiple devices
CN104282014A (zh) * 2013-07-13 2015-01-14 哈尔滨点石仿真科技有限公司 基于nurbs曲面的多通道几何校正与边缘融合方法
CN103530083A (zh) * 2013-10-31 2014-01-22 广东粤铁瀚阳科技有限公司 一种基于云计算的海量信息超级显示平台
CN109792561A (zh) * 2016-08-12 2019-05-21 三星电子株式会社 图像显示设备及其操作方法
CN106469463A (zh) * 2016-09-27 2017-03-01 上海上大海润信息系统有限公司 一种基于cpu与gpu混合的渲染方法
CN106600672A (zh) * 2016-11-29 2017-04-26 上海金陵电子网络股份有限公司 一种基于网络的分布式同步渲染系统和方法
CN106897108A (zh) * 2017-01-20 2017-06-27 华南理工大学 一种基于WebVR的虚拟现实全景漫游的实现方法
CN108681987A (zh) * 2018-05-10 2018-10-19 广州腾讯科技有限公司 生成全景切片图的方法和装置
CN110087048A (zh) * 2019-05-24 2019-08-02 广州触派电子科技有限公司 投影机系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139456A1 (zh) * 2020-01-09 2021-07-15 盾钰(上海)互联网科技有限公司 一种无限视觉边界的图像动态渲染的计算方法及系统
CN112651882A (zh) * 2021-01-15 2021-04-13 北京字节跳动网络技术有限公司 界面展示方法及装置、电子设备和计算机可读存储介质
CN112651882B (zh) * 2021-01-15 2023-11-07 抖音视界有限公司 界面展示方法及装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
WO2021139456A1 (zh) 2021-07-15
CN111240625B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
US11838518B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
US11538229B2 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
US9818228B2 (en) Mixed reality social interaction
Raskar et al. Table-top spatially-augmented realty: bringing physical models to life with projected imagery
JP5891425B2 (ja) 追体験映像を提供することができる映像提供装置、映像提供方法、映像提供プログラム
US10192363B2 (en) Math operations in mixed or virtual reality
CN109683701A (zh) 基于视线跟踪的增强现实交互方法和装置
CN111240625B (zh) 一种无限视觉边界的图像动态渲染的计算方法及系统
US20200342656A1 (en) Efficient rendering of high-density meshes
CN114401442B (zh) 视频直播及特效控制方法、装置、电子设备及存储介质
CN114385289B (zh) 一种渲染显示方法、装置、计算机设备及存储介质
CN110889384A (zh) 场景切换方法及装置、电子设备和存储介质
CN113724309A (zh) 图像生成方法、装置、设备及存储介质
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
CN109949396A (zh) 一种渲染方法、装置、设备和介质
CN114241172A (zh) 基于全息投影的三维模型展示方法、装置和计算机设备
US10275939B2 (en) Determining two-dimensional images using three-dimensional models
US11089282B2 (en) Blended mode three dimensional display systems and methods
KR20230013099A (ko) 실시간 깊이 맵을 사용한 지오메트리 인식 증강 현실 효과
Santos et al. The daylight blocking optical stereo see-through HMD
JP4028113B2 (ja) ゲーム装置及び情報記憶媒体
CN113436343B (zh) 用于虚拟演播厅的画面生成方法及装置、介质及电子设备
CN108629826A (zh) 一种纹理映射方法、装置、计算机设备及介质
CN116030228B (zh) 一种基于web的mr虚拟画面展示方法及装置
US20240161390A1 (en) Method, apparatus, electronic device and storage medium for control based on extended reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant