CN110913200B - 一种多屏拼接同步的多视点图像生成系统及方法 - Google Patents

一种多屏拼接同步的多视点图像生成系统及方法 Download PDF

Info

Publication number
CN110913200B
CN110913200B CN201911039203.0A CN201911039203A CN110913200B CN 110913200 B CN110913200 B CN 110913200B CN 201911039203 A CN201911039203 A CN 201911039203A CN 110913200 B CN110913200 B CN 110913200B
Authority
CN
China
Prior art keywords
client
camera
parameters
projection matrix
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911039203.0A
Other languages
English (en)
Other versions
CN110913200A (zh
Inventor
桑新柱
陈莹莹
邢树军
管延鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201911039203.0A priority Critical patent/CN110913200B/zh
Publication of CN110913200A publication Critical patent/CN110913200A/zh
Application granted granted Critical
Publication of CN110913200B publication Critical patent/CN110913200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Abstract

本发明提供一种多屏拼接同步的多视点图像生成系统及方法,系统包括服务端和多个客户端;每一个客户端,用于将自身的相机参数和模型参数设置为与服务端的相机参数和模型参数相同;每一个客户端,还用于根据接收的分屏参数、自身的屏幕编码和三维模型场景,采用错切变换方式计算其上显示的目标场景;以及对目标场景进行多视点编码,得到用于同步拼接的多视点图像。本发明在实现多屏拼接的过程中,通过布置多个客户端主机,每一个客户端主机对应一个屏幕,通过客户端主机对自身对应的屏幕进行控制计算,能够实现对屏幕数量的扩展,以及减轻了每一个客户端主机的负担,降低了每一个客户端主机的硬件性能要求,以及实现了多屏拼接的三维模型的显示。

Description

一种多屏拼接同步的多视点图像生成系统及方法
技术领域
本发明属于图像拼接技术领域,尤其涉及一种多屏拼接同步的多视点图像生成系统及方法。
背景技术
三维显示系统是一种自由立体式三维显示设备,具有视场角大、视点密集、可同时提供水平视差和竖直视差的优势。传统的自由立体式显示系统的设计中,由一块屏幕显示三维模型图像,受限于显示硬件的局限,通常无法对大尺寸模型进行精细的展示,需要不断增大显示屏等的硬件尺寸,对技术工艺以及运输条件都有很大的要求。
为了解决这个问题,拼接三维显示设备通过将多个单独的三维显示设备拼接成一个大的三维显示屏幕,从而满足了高分辨率超大尺寸裸眼三维显示实际应用的需求。在实现时,通过一台客户端主机控制多个屏幕拼接显示。
其中,通过一台客户端主机同时控制多个屏幕,由于多屏拼接过程中涉及的计算量非常大,一台客户端主机的计算能力有限,因此,要更好地实现多屏拼接,对客户端主机的硬件性能要求非常高。另外,对分屏的数量扩展有限。
发明内容
为克服上述现有问题或者至少部分地解决上述问题,本发明实施例提供一种多屏拼接同步的多视点图像生成系统及方法。
根据本发明实施例的第一方面,提供一种多屏拼接同步的多视点图像生成系统,服务端和多个客户端;
所述服务端,用于向所有客户端广播所述服务端的相机参数、模型参数和分屏参数;
每一个客户端,用于将自身的相机参数和模型参数设置为与接收的所述服务端的相机参数和模型参数相同,使得所述客户端采用与所述服务端相同的相机参数和模型参数对模型场景进行渲染;
每一个客户端,还用于根据接收的所述分屏参数、自身的屏幕编码和三维模型图像,采用错切变换方式计算其上显示的目标场景;以及对所述目标场景进行多视点编码,得到用于同步拼接的多视点图像。
根据本发明实施例第二方面提供一种多屏拼接同步的多视点图像生成方法,包括:
每一个客户端接收服务端广播的服务端的相机参数、模型参数和分屏参数;
将自身的相机参数和模型参数设置为与所述服务端的相机参数和模型参数相同,使得所述客户端采用与所述服务端相同的相机参数和模型参数对模型场景进行渲染;
每一个客户端根据接收的所述分屏参数、自身的屏幕编码和所述三维模型图像,采用错切变换方式计算其上显示的目标场景;
对所述目标场景进行多视点编码,得到用于同步拼接的多视点图像。
在上述技术方案的基础上,本发明还可以作如下改进。
进一步的,每一个客户端根据接收的所述分屏参数、自身的屏幕编码和所述三维模型图像,采用错切变换方式计算其上显示的目标场景包括:
根据每一个客户端的屏幕编码,对第一原始相机投影矩阵进行调整,得到调整后的第一相机投影矩阵;
根据所述调整后的第一相机投影矩阵和所述三维模型图像,计算每一个客户端上显示的目标场景。
进一步的,通过如下公式对所述第一原始相机投影矩阵进行调整,得到调整后的第一相机投影矩阵包括:
Mprojectio=Moffset1×Mprojection
Figure BDA0002252387870000031
A=Δxp/D=tan(Hfov/2);
B=Δyp/D==tan(Vfov/2);
其中,Mprojection0为第一原始投影矩阵,Mprojection1为调整后的第一相机投影矩阵,Moffset1为第一变换矩阵,Δxp为从Mprojection0对应的视椎体移动到Mprojection1对应的视椎体对应的零平面水平方向移动位移,Δyp为从Mprojection0对应的视椎体移动到Mprojection1对应的视椎体对应的零平面竖直方向移动位移,D为相机与视椎体零平面的距离,Hfov为相机水平视场角,Vfov为相机竖直视场角。
进一步的,所述对所述目标场景进行多视点编码,得到用于同步拼接的多视点图像包括:
对于任一客户端上显示的目标场景,确定多个视点;
对于任一视点对应的视椎体,采用相机投影矩阵的错切变换,将所述任一视点对应的视椎体焦平面错切回所述目标场景所在的位置,得到所述任一客户端对应的多视点图像。
进一步的,所述多个视点等间距分布,所述多个视点的中心位置与所述目标场景的中心位置处于同一竖直平面。
进一步的,所述对于任一视点对应的视椎体,采用相机投影矩阵的错切变换,将所述任一视点对应的视椎体零平面错切回所述目标场景所在的位置包括:
通过如下公式得到调整后的相机投影矩阵Mprojection2
Mprojection=Moffset3×Mprojection1
Figure BDA0002252387870000041
offset=DeltaX/(2n-1);
Δx=offset×viewE-0.5×DeltaX;
C=Δx/Distance;
其中,Mprojection为第二原始相机投影矩阵,Mprojection为调整后的第二相机投影矩阵,2n为视点的总数量,viewE为视点的编号,Distance为每一个视点与视椎体焦平面之间的距离,DeltaX为2n个视点之间的总距离;
根据所述调整后的第二相机投影矩阵,将所述任一视点对应的视椎体焦平面错切回所述目标场景所在的位置,得到所述任一客户端对应的多视点图像。
进一步的,所述模型参数包括模型大小参数、模型方向参数和模型位置参数。
本发明实施例提供一种多屏拼接同步的多视点图像生成系统及方法,本发明在实现多屏拼接的过程中,通过布置多个客户端主机,每一个客户端主机对应一个屏幕,即对于每一个屏幕均对应有一个客户端主机来控制,通过客户端主机对自身对应的屏幕进行控制计算,能够实现对屏幕数量的扩展,以及减轻了每一个客户端主机的负担,在对图像生成的过程中,执行效率高、帧率高,且拼接的效果比较好,采用多个客户端主机,相比于现有的采用一个主机来控制多个屏幕,降低了每一个客户端主机的硬件性能要求,以及实现了多屏拼接的三维模型的显示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的多屏拼接同步的多视点图像生成系统整体结构框图;
图2为本发明一个实施例提供的多屏拼接同步的多视点图像生成方法流程图;
图3为通过错切变换方式计算每一个客户端的目标场景流程图;
图4为错切变换方式对应的示意图;
图5为通过错切变换方式计算每一个客户端的多视点图像的流程图;
图6为多视点编码方式对应的示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
在本发明的一个实施例中提供一种多屏拼接同步的多视点图像生成系统,图1为本发明实施例提供的多屏拼接同步的多视点图像生成系统的整体结构示意图,该系统包括服务端和多个客户端。
所述服务端,用于向所有客户端广播所述服务端的相机参数、模型参数和分屏参数;
每一个客户端,用于将自身的相机参数和模型参数设置为与接收的所述服务端的相机参数和模型参数相同,使得所述客户端采用与所述服务端相同的相机参数和模型参数对模型场景进行渲染;
每一个客户端,还用于根据接收的所述分屏参数、自身的屏幕编码和三维模型图像,采用错切变换方式计算其上显示的目标场景;以及对所述目标场景进行多视点编码,得到用于同步拼接的多视点图像。
可以理解的是,现有技术中对三维模型图像进行展示主要是通过一块屏幕展示三维模型图像,这种展示方式受限于硬件,限定了三维模型的展示尺寸大小。为解决现有技术中的该问题,本发明实施例提供一种多屏拼接同步的多视点图像生成系统,该系统包括一个服务端和多个客户端,服务端和每一个客户端均对应有一个显示屏幕,服务端和每一个客户端通过LAN(Local Area Network,局域网)总线通信连接。
服务端和每一个客户端均拥有自身的相机和模型,可以根据客户端的布置在服务端设置分屏参数,即分屏数量。服务端将自身的相机参数、模型参数和分屏参数广播给所有的客户端。对于每一个客户端,当客户端接收到服务端广播的服务端的相机参数和模型参数,将自身的相机参数和模型参数设置为与服务端相同的相机参数和模型参数,这样,使得客户端采用与所述服务端相同的相机参数和模型参数对模型场景进行渲染。需要说明的是,在本发明实施例中,服务端显示的图像为模型的二维图像,每一个客户端上显示的图像为模型的三维图像。
对于每一个客户端,根据服务端广播的分屏参数以及自身的屏幕编码,采用画面错切方式计算其上显示的目标场景,并对客户端上的目标场景进行多视点编码,得到客户端对应的用于拼接同步的多视点图像。
本发明在实现多屏拼接的过程中,通过布置多个客户端主机,每一个客户端主机对应一个屏幕,即对于每一个屏幕均对应有一个客户端主机来控制,通过客户端主机对自身对应的屏幕进行控制计算,能够实现对屏幕数量的扩展,以及减轻了每一个客户端主机的负担,在对图像生成的过程中,执行效率高、帧率高,且拼接的效果比较好,采用多个客户端主机,相比于现有的采用一个主机来控制多个屏幕,降低了每一个客户端主机的硬件性能要求,以及实现了多屏拼接的三维模型的显示。
参见图2,提供了本发明一个实施例的多屏拼接同步的多视点图像生成方法,该方法包括:每一个客户端接收服务端广播的服务端的相机参数、模型参数和分屏参数;将自身的相机参数和模型参数设置为与服务端的相机参数和模型参数相同,使得客户端采用与服务端相同的相机参数和模型参数对模型场景进行渲染;每一个客户端根据接收的分屏参数、自身的屏幕编码和所述三维模型图像,采用错切变换方式计算其上显示的目标场景;对目标场景进行多视点编码,得到用于同步拼接的多视点图像。
可以理解的是,现有技术中对三维模型图像进行展示主要是通过一块屏幕展示三维模型图像,这种展示方式受限于硬件,限定了三维模型的展示尺寸大小。为解决现有技术中的该问题,本发明实施例提供一种多屏拼接同步的多视点图像生成系统,该系统包括一个服务端和多个客户端,服务端和每一个客户端均对应有一个显示屏幕。
服务端和每一个客户端均拥有自身的相机和模型,可以根据客户端的布置在服务端设置分屏参数,即分屏数量。服务端将自身的相机参数、模型参数和分屏参数广播给所有的客户端。对于每一个客户端,当客户端接收到服务端广播的服务端的相机参数和模型参数,将自身的相机参数和模型参数设置为与服务端相同的相机参数和模型参数,这样,客户端拼接显示的三维模型图像与服务端上显示的二维模型图像对应。需要说明的是,在本发明实施例中,服务端显示的图像为模型的二维图像,每一个客户端上显示的图像为模型的三维图像。
对于每一个客户端,根据服务端广播的分屏参数以及自身的屏幕编码,采用画面错切方式计算其上显示的目标场景,并对客户端上的目标场景进行多视点编码,得到客户端对应的用于拼接同步的多视点图像。
本发明在实现多屏拼接的过程中,通过布置多个客户端主机,每一个客户端主机对应一个屏幕,即对于每一个屏幕均对应有一个客户端主机来控制,通过客户端主机对自身对应的屏幕进行控制计算,能够实现对屏幕数量的扩展,以及减轻了每一个客户端主机的负担,在对图像生成的过程中,执行效率高、帧率高,且拼接的效果比较好,采用多个客户端主机,相比于现有的采用一个主机来控制多个屏幕,降低了每一个客户端主机的硬件性能要求,以及实现了多屏拼接的三维模型的显示。
参见图3,在上述实施例的基础上,本发明实施例中,每一个客户端根据接收的所述分屏参数、自身的屏幕编码和三维模型图像,采用错切变换方式计算其上显示的目标场景包括:
根据每一个客户端的屏幕编码,对第一原始相机投影矩阵进行调整,得到调整后的第一相机投影矩阵;
根据所述调整后的第一相机投影矩阵和所述三维模型图像,计算每一个客户端上显示的目标场景。
可以理解的是,在本发明实施例中,可通过上下左右键去移动相机,通过Z、C键推远或拉近相机,通过w、a、s和d键移动模型,m和n键放大或缩小模型。通过鼠标左键拖动来旋转模型,以及通过屏幕选项来触发模型的不同动作,即在服务端上通过快捷键可设置相机参数、模型参数和分屏参数,并将服务端的相机参数、模型参数和分屏参数广播至所有的客户端。
对于任一客户端,当接收到服务端的相机参数和模型参数后,将自身(该任一客户端)的相机参数和模型参数设置得与服务端的相机参数和模型参数一致,使得客户端采用与服务端相同的相机参数和模型参数对模型场景进行渲染。
根据接收到的服务端的分屏参数以及多个客户端的布置,确定本客户端的屏幕编码,根据每一个客户端的屏幕编码和三维模型场景,采用相机投影矩阵的错切变换方式计算每一个客户端需要显示的目标场景。简单来说,每一个客户端只会显示三维场景其中的一块,可根据客户端的屏幕编码来确定。当选定要形成3*3的九块分屏的时候,然后根据自身的屏幕编码和整个三维模型图像,来计算自身需要显示的目标场景,其中,场景中包括显示的部分三维模型图像。
其中,在客户端上显示整块图像与显示其中的一块图像是通过对相机矩阵来实现的。具体为,通过对第一原始相机投影矩阵进行调整,得到调整后的第一相机投影矩阵;根据调整后的第一相机投影矩阵,计算每一个客户端上显示的目标场景。
在上述各实施例的基础上,本发明实施例中,在每一个客户端上呈现什么样的场景画面,需要对相机投影矩阵进行调整改变。从观察空间转换到裁剪空间中,用于变换的矩阵叫做裁剪矩阵,也被称为相机投影矩阵。只有位于裁剪空间的图元才会被保留,因此正确的改变相机投影矩阵,就能对画面进行正确的错切。
可参见图4,图4为采用相机投影矩阵对视椎体进行错切的示意图。所谓的视椎体,即相机对三维图像模型拍摄时,在相机中产生的。将视椎体抽象为图4中三角形(其中,相机中初始形成的视椎体形状为图4中实线所示的形状),已知服务端和客户端的参数都一致,那么它们的原始相机投影矩阵也一致。对于每一个客户端,改变其相机投影矩阵,就改变了其上显示的场景。当将图4左图中实线视椎体形状改变为虚线三角形表示的视椎体形状时,这个时候在客户端上显示的画面,就是半个三维图像模型,另外半部分为空白;当将图4右图中实线视椎体形状改变为虚线三角形表示的视椎体形状时,这个时候在客户端上显示的画面,就是全部空白。
具体的,通过如下公式对第一原始相机投影矩阵进行调整,得到调整后的第一相机投影矩阵包括:Mprojection=Moffse×Mprojection
Figure BDA0002252387870000101
A=Δxp/D=tan(Hfov/2);
B=Δyp/D==tan(Vfov/2);
其中,Mprojection0为第一原始投影矩阵,Mprojection1为调整后的第一相机投影矩阵,Moffse为第一变换矩阵,Δxp为从Mprojection0对应的视椎体移动到Mprojection对应的视椎体对应的零平面水平方向移动位移,Δyp为从Mprojection0对应的视椎体移动到Mprojection1对应的视椎体对应的零平面竖直方向移动位移,D为相机与视椎体零平面的距离,Hfov为相机水平视场角,Vfov为相机竖直视场角。
通过上述方式对客户端的相机投影矩阵进行调整,来实现客户端上需要显示的目标场景的计算。
参见图5,在上述各实施例的基础上,本发明实施例中,对目标场景进行多视点编码,得到用于同步拼接的多视点图像包括:
对于任一客户端上显示的目标场景,确定多个视点;
对于任一视点对应的视椎体,采用相机投影矩阵的错切变换,将所述任一视点对应的视椎体焦平面错切回所述目标场景所在的位置,得到所述任一客户端对应的多视点图像。
可以理解的是,通过上述实施例错切变换方式计算出每一个客户端上需要显示的目标场景,需要对目标场景进行多视点编码,得到多视点图像,对多视点图像进行像素编码,才能够得到客户端显示的三维模型图像。
具体为,对于任一客户端对应的目标场景,首先确定多个视点的位置,本发明实施例中,通过使用划分视点之间的总距离的方法来确定视点的位置。如图6所示,比如设置64个虚拟视点,虚拟视点平行于相机焦平面在水平方向上以相等间隔排布,其中,虚拟视点之间的总距离是DeltaX,从视点到焦平面的距离是Distance。在本发明实施例中,多个视点等间距分布,多个视点的中心位置与目标场景的中心位置处于同一竖直平面。
对于每一个视点对应的视椎体,采用相机投影矩阵的错切变换,将任一视点对应的视椎体焦平面错切回目标场景所在的位置,对于任一客户端,遍历每一个视点,即将每一个视点对应的视椎体焦平面都错切回目标场景所在的位置,得到任一客户端对应的多视点图像。
在上述各实施例的基础上,本发明实施例中,对于任一视点对应的视椎体,采用相机投影矩阵的错切变换,将任一视点对应的视椎体零平面错切回所述目标场景所在的位置包括:
通过如下公式得到调整后的相机投影矩阵Mprojection2
Mprojection=Moffs×Mprojection
Figure BDA0002252387870000111
offset=DeltaX/(2n-1);
Δx=offset×viewE-0.5×DeltaX;
C=Δx/Distance;
其中,Mprojection为第二原始相机投影矩阵,Mprojection2为调整后的第二相机投影矩阵,2n为视点的总数量,viewE为视点的编号,Distance为每一个视点与视椎体焦平面之间的距离,DeltaX为2n个虚拟视点之间的总距离。
根据所述调整后的第二相机投影矩阵,将任一视点对应的视椎体焦平面错切回所述目标场景所在的位置,得到任一客户端对应的多视点图像。
通过相机投影矩阵的错切方式得到每一个客户端的多视点图像,对多视点图像进行像素编码,即可得到在每一个客户端上显示的三维模型图像。
本发明实施例提供的一种多屏拼接同步的多视点图像生成系统及方法,通过布置多个客户端主机,每一个客户端主机对应一个屏幕,即对于每一个屏幕均对应有一个客户端主机来控制,通过客户端主机对自身对应的屏幕进行控制计算,能够实现对屏幕数量的扩展,以及减轻了每一个客户端主机的负担,在对图像生成的过程中,执行效率高、帧率高,且拼接的效果比较好,采用多个客户端主机,相比于现有的采用一个主机来控制多个屏幕,降低了每一个客户端主机的硬件性能要求,以及实现了多屏拼接的三维模型的显示。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种多屏拼接同步的多视点图像生成系统,其特征在于,包括服务端和多个客户端;
所述服务端,用于向所有客户端广播所述服务端的相机参数、模型参数和分屏参数;
每一个客户端,用于将自身的相机参数和模型参数设置为与接收的所述服务端的相机参数和模型参数相同,使得所述客户端采用与所述服务端相同的相机参数和模型参数对模型场景进行渲染;
每一个客户端,还用于根据接收的所述分屏参数、自身的屏幕编码和三维模型图像,采用错切变换方式计算其上显示的目标场景;以及对所述目标场景进行多视点编码,得到用于同步拼接的多视点图像;其中,所述每一个客户端根据接收的所述分屏参数、自身的屏幕编码和所述三维模型图像,采用错切变换方式计算其上显示的目标场景包括:
根据每一个客户端的屏幕编码,对第一原始相机投影矩阵进行调整,得到调整后的第一相机投影矩阵;
根据所述调整后的第一相机投影矩阵和所述三维模型图像,计算每一个客户端上显示的目标场景;
通过如下公式对所述第一原始相机投影矩阵进行调整,得到调整后的第一相机投影矩阵包括:
Mprojection1=Moffset1×Mprojection0
Figure FDA0002900377270000011
A=Δxp/D=tan(Hfov/2);
B=Δyp/D==tan(Vfov/2);
其中,Mprojection0为第一原始投影矩阵,Mprojection1为调整后的第一相机投影矩阵,Moffset1为第一变换矩阵,Δxp为从Mprojection0对应的视椎体移动到Mprojection1对应的视椎体对应的零平面水平方向移动位移,Δyp为从Mprojection0对应的视椎体移动到Mprojection1对应的视椎体对应的零平面竖直方向移动位移,D为相机与视椎体零平面的距离,Hfov为相机水平视场角,Vfov为相机竖直视场角。
2.一种多屏拼接同步的多视点图像生成方法,其特征在于,包括:
每一个客户端接收服务端广播的服务端的相机参数、模型参数和分屏参数;
将自身的相机参数和模型参数设置为与所述服务端的相机参数和模型参数相同,使得所述客户端采用与所述服务端相同的相机参数和模型参数对模型场景进行渲染;
每一个客户端根据接收的所述分屏参数、自身的屏幕编码和所述三维模型图像,采用错切变换方式计算其上显示的目标场景;
对所述目标场景进行多视点编码,得到用于同步拼接的多视点图像;
其中,每一个客户端根据接收的所述分屏参数、自身的屏幕编码和所述三维模型图像,采用错切变换方式计算其上显示的目标场景包括:
根据每一个客户端的屏幕编码,对第一原始相机投影矩阵进行调整,得到调整后的第一相机投影矩阵;
根据所述调整后的第一相机投影矩阵和所述三维模型图像,计算每一个客户端上显示的目标场景;
还包括,通过如下公式对所述第一原始相机投影矩阵进行调整,得到调整后的第一相机投影矩阵包括:
Mprojection1=Moffset1×Mprojection0
Figure FDA0002900377270000031
A=Δxp/D=tan(Hfov/2);
B=Δyp/D==tan(Vfov/2);
其中,Mprojection0为第一原始投影矩阵,Mprojection1为调整后的第一相机投影矩阵,Moffset1为第一变换矩阵,Δxp为从Mprojection0对应的视椎体移动到Mprojection1对应的视椎体对应的零平面水平方向移动位移,Δyp为从Mprojection0对应的视椎体移动到Mprojection1对应的视椎体对应的零平面竖直方向移动位移,D为相机与视椎体零平面的距离,Hfov为相机水平视场角,Vfov为相机竖直视场角。
3.根据权利要求2所述的多视点图像生成方法,其特征在于,所述对所述目标场景进行多视点编码,得到用于同步拼接的多视点图像包括:
对于任一客户端上显示的目标场景,确定多个视点;
对于任一视点对应的视椎体,采用相机投影矩阵的错切变换,将所述任一视点对应的视椎体焦平面错切回所述目标场景所在的位置,得到所述任一客户端对应的多视点图像。
4.根据权利要求3所述的多视点图像生成方法,其特征在于,所述多个视点等间距分布,所述多个视点的中心位置与所述目标场景的中心位置处于同一竖直平面。
5.根据权利要求3所述的多视点图像生成方法,其特征在于,所述对于任一视点对应的视椎体,采用相机投影矩阵的错切变换,将所述任一视点对应的视椎体零平面错切回所述目标场景所在的位置包括:
通过如下公式得到调整后的相机投影矩阵Mprojection2
Mprojection2=Moffset3×Mprojection1
Figure FDA0002900377270000041
offset=DeltaX/(2n-1);
Δx=offset×viewE-0.5×DeltaX;
C=Δx/Distance;
其中,Mprojection1为第二原始相机投影矩阵,Mprojection2为调整后的第二相机投影矩阵,2n为视点的总数量,viewE为视点的编号,Distance为每一个视点与视椎体焦平面之间的距离,DeltaX为2n个视点之间的总距离;
根据所述调整后的第二相机投影矩阵,将所述任一视点对应的视椎体焦平面错切回所述目标场景所在的位置,得到所述任一客户端对应的多视点图像。
6.根据权利要求2所述的多视点图像生成方法,其特征在于,所述模型参数包括模型大小参数、模型方向参数和模型位置参数。
CN201911039203.0A 2019-10-29 2019-10-29 一种多屏拼接同步的多视点图像生成系统及方法 Active CN110913200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911039203.0A CN110913200B (zh) 2019-10-29 2019-10-29 一种多屏拼接同步的多视点图像生成系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911039203.0A CN110913200B (zh) 2019-10-29 2019-10-29 一种多屏拼接同步的多视点图像生成系统及方法

Publications (2)

Publication Number Publication Date
CN110913200A CN110913200A (zh) 2020-03-24
CN110913200B true CN110913200B (zh) 2021-09-28

Family

ID=69816064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911039203.0A Active CN110913200B (zh) 2019-10-29 2019-10-29 一种多屏拼接同步的多视点图像生成系统及方法

Country Status (1)

Country Link
CN (1) CN110913200B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992906B (zh) * 2021-09-22 2024-04-05 上海船舶工艺研究所(中国船舶集团有限公司第十一研究所) 一种基于Unity3D的CAVE系统多通道同步仿真方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509334A (zh) * 2011-09-21 2012-06-20 北京捷成世纪科技股份有限公司 一种将虚拟3d场景转换为立体视图的方法
CN103927780A (zh) * 2014-05-05 2014-07-16 广东威创视讯科技股份有限公司 一种多显卡渲染的方法与三维显示系统
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
CN106796735A (zh) * 2014-10-08 2017-05-31 株式会社麦克斯 用于将3d图像多屏幕实时同步的系统
CN108093245A (zh) * 2017-12-20 2018-05-29 浙江科澜信息技术有限公司 一种多屏融合方法、系统、装置和计算机可读存储介质
CN110246146A (zh) * 2019-04-29 2019-09-17 北京邮电大学 基于多次深度图像渲染的全视差光场内容生成方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108174184A (zh) * 2013-09-04 2018-06-15 北京三星通信技术研究有限公司 快速集成图像生成方法及与用户交互的裸眼三维显示系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509334A (zh) * 2011-09-21 2012-06-20 北京捷成世纪科技股份有限公司 一种将虚拟3d场景转换为立体视图的方法
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
CN103927780A (zh) * 2014-05-05 2014-07-16 广东威创视讯科技股份有限公司 一种多显卡渲染的方法与三维显示系统
CN106796735A (zh) * 2014-10-08 2017-05-31 株式会社麦克斯 用于将3d图像多屏幕实时同步的系统
CN108093245A (zh) * 2017-12-20 2018-05-29 浙江科澜信息技术有限公司 一种多屏融合方法、系统、装置和计算机可读存储介质
CN110246146A (zh) * 2019-04-29 2019-09-17 北京邮电大学 基于多次深度图像渲染的全视差光场内容生成方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《虚拟场景的3D显示控制关键技术研究》;李晨雨;《中国优秀硕士学位论文全文数据库信息科技辑》;20180430;第五章 *

Also Published As

Publication number Publication date
CN110913200A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
EP3721635B1 (en) Scalable fov+ for vr 360 video delivery to remote end users
US9401041B2 (en) Multi view synthesis method and display devices with spatial and inter-view consistency
KR102023587B1 (ko) 카메라 리그 및 입체 이미지 캡쳐
KR102317524B1 (ko) 이미지 스플라이싱 방법 및 장치, 그리고 저장 매체
KR101391377B1 (ko) 다면 상영 시스템
US8890922B2 (en) Video communication method, device and system
US9462184B2 (en) Capturing panoramic or semi-panoramic 3D scenes
US10623609B1 (en) Virtual video environment display systems
CN104216671B (zh) 一种在多套拼接显示屏上实现同步协同显示的方法
WO2005081547A1 (en) Three-dimensional television system and method for providing three-dimensional television
US20210218890A1 (en) Spherical image processing method and apparatus, and server
WO2006114898A1 (en) 3d image generation and display system
CN105144681B (zh) 用频率提高来创建图像中的细节
CN104519340A (zh) 基于多深度图像变换矩阵的全景视频拼接方法
US9196080B2 (en) Medial axis decomposition of 2D objects to synthesize binocular depth
US8019180B2 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
CN110913200B (zh) 一种多屏拼接同步的多视点图像生成系统及方法
KR101987062B1 (ko) Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법
JP6775220B2 (ja) 立体画像表示装置
JP2001236521A (ja) 画像分割方式による仮想現実システム
JP2021140458A (ja) 画像生成システム、その制御方法及びプログラム。
US9794534B2 (en) Image processing methods, and image processing devices and system for a scalable multi-projection system
CN110677600B (zh) 超宽画面的多组显示方法和系统、点播设备和点播系统
KR20140063534A (ko) 다면 상영 시스템
JP2013105000A (ja) 映像表示装置及び映像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant