CN107396133A - 自由视点视频导播方法及系统 - Google Patents
自由视点视频导播方法及系统 Download PDFInfo
- Publication number
- CN107396133A CN107396133A CN201710596856.3A CN201710596856A CN107396133A CN 107396133 A CN107396133 A CN 107396133A CN 201710596856 A CN201710596856 A CN 201710596856A CN 107396133 A CN107396133 A CN 107396133A
- Authority
- CN
- China
- Prior art keywords
- video
- viewpoint
- disparity map
- view point
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 17
- 238000003786 synthesis reaction Methods 0.000 claims description 17
- 150000001875 compounds Chemical class 0.000 claims description 12
- 238000004804 winding Methods 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种自由视点视频导播方法，包括以下步骤：S1：采集多视点视频；S2：对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；S3：根据用户的视点位置有选择地向用户传输所述“视点+视差图”视频；S4：依据所述“视点+视差图”视频，合成虚拟视点视频。基于上述自由视点视频导播方法，本发明还提出一种自由视点视频导播系统。本发明的自由视点视频导播方法及系统，通过相邻视点与其对应视差图形成的“视点+视差图”视频，能够合成任意视点的虚拟视点视频，从而能够向用户提供自由可选的观看视点视频。
Description
技术领域
本发明涉及计算机视觉领域，特别涉及虚拟视点的合成方法，以及一种基于虚拟视点合成的交互性自由视点视频导播方法及系统。
背景技术
传统的影视以及广播电视中，观众只能被动的接受拍摄者所拍摄或者导播员所导播的镜头，而且在视角或者镜头的切换过程中存在视点位置和视频画面的跳跃，导致观众缺乏观看的临场感和体验感。随着近年来多媒体显示技术的快速发展，尤其是多媒体终端处理能力的提升，多媒体信息采集设备的采集质量的提升，以及多种多样显示设备的发展，自由视点视频技术应运而生，向观众提供自由可选的观看视点成为一种需求。
舞台场景是最典型的广播电视场景之一。为实现向观众提供多方位、多方向观看体验的目的，舞台场景通常需采用如图1所示的相机拓扑结构进行拍摄。在多视点视频的传输过程中，所需带宽为单一视点视频传输的N倍，N是拍摄相机的数目。相机数目越多，越能够向观众提供更加平滑的视点切换。增加相机的数目提高了对传输带宽的需求，同时提高了采集系统的成本。此外，增加相机的数目也会增大视频录制时的压缩存储压力。自由视点视频需要保留场景不同视角的透视图像信息的正确性，采集到的多个视角的视频不能够进行融合。同时向观众传输N个点的视频增大了网络传输的压力，所需网络带宽为传输单一视点视频的N倍，随着视点数目增多，自由视点传输变成了不可能。
发明内容
本发明的目的是为了解决现有技术中的自由视点视频传输的问题，提出一种自由视点视频导播方法及系统。
本发明的自由视点视频导播方法，包括以下步骤：S1：采集多视点视频；S2：对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；S3：根据用户的视点位置有选择地向用户传输所述“视点+视差图”视频；S4：依据所述“视点+视差图”视频，合成虚拟视点视频。
选优地，所述步骤S1中，通过宽基线稀疏相机阵列采集多视点视频。
选优地，所述步骤S2中，首先通过对采集到的所述多视点视频进行基于光流的宽基线多视点匹配处理，得到各相邻视点的视差图，然后再将所述多视点视频转换为“视点+视差图”的视频格式。
选优地，所述步骤S3中，根据客户端反馈的视点位置，向用户有选择地传输与所述视点位置相邻的“视点+视差图”视频。
选优地，所述步骤S4中，通过“卷绕”的方法，依据所述“视点+视差图”视频合成虚拟视点视频。
本发明还提出一种自由视点视频导播系统，包括：多视点采集装置，同步采集多视点视频；匹配装置，对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；合成装置，依据所述“视点+视差图”视频合成虚拟视点视频。
选优地，所述多视点采集装置包括：会聚式相机阵列，采集多视点视频；外同步控制器，控制多相机设备的同步，使得通过所述会聚式相机阵列采集的多视点视频信号一致；视频压缩器，对采集到的所述多视点视频进行压缩处理；视频存储服务器，对所述压缩处理后的多视点视频进行存储。
选优地，所述匹配装置中含有基于光流的宽基线多视点匹配方法程序，所述方法程序能够被执行，用于通过采集到的多视点视频得到各相邻视点的视差图。
选优地，所述合成装包含虚拟视点合成部件和客户端，所述客户端能够向匹配装置反馈用户的视点位置信息，所述虚拟视点合成部件能够依据所述“视点+视差图”视频合成虚拟视点视频。
选优地，所述虚拟视点合成部件中含有卷绕的方法程序，所述卷绕的方法程序能够被执行，用于根据所述“视点+视差图”视频合成虚拟视点视频。
与现有技术相比，本发明的有益效果有：
本发明的自由视点视频导播方法及系统，通过对采集到的多视点视频进行匹配处理，得到各相邻视点的视差图，然后根据用户的视点位置，通过相邻视点与其对应视差图形成的“视点+视差图”视频，能够合成任意视点的虚拟视点视频，从而能够向用户提供自由可选的观看视点视频。由于本发明自由视点视频导播方法及系统，能够根据用户的视点位置有选择地向用户传输“视点+视差图”视频，而不是将采集到的全部视点视频都进行传输，从而降低了网络传输的压力，降低了对传输带宽的需求。
进一步地，本发明通过采用宽基线稀疏相机阵列采集多视点视频，相比于现有的采用相机拓扑结构的采集技术，减少了相机的数量，降低了采集设备的成本，同时也减少了所采集的视点数目，减轻了视频的压缩存储压力。
进一步地，本发明通过对采集到的所述多视点视频进行基于光流的宽基线多视点匹配处理，得到各相邻视点的视差图，又通过“卷绕”的方法，依据所述“视点+视差图”视频合成虚拟视点视频，提高了虚拟视点合成的准确性。
附图说明
图1是本发明现有技术中的相机拓扑结构示意图。
图2是本发明基于虚拟视点合成的自由视点视频导播方法的流程示意图。
图3是本发明基于虚拟视点合成的自由视点视频导播系统的结构示意图。
图4是本发明多视点相机阵列同步采集装置的结构示意图。
图5是本发明基于光流的宽基线多视点匹配方法的流程示意图。
图6是本发明基于卷绕方法生成虚拟视点视频的流程示意图。
具体实施方式
下面结合具体实施方式并对照附图对本发明做进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
针对舞台场景，针对大基线相机阵列采集，本专利提出了一种基于虚拟视点合成的可交互的自由视点视频导播系统及方法，使得自由视点视频导播成为可能。
本发明基于虚拟视点合成的可交互的自由视点视频导播方法，如图2所示，包括以下步骤：S1：采集多视点视频；S2：对采集到的多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；S3：根据用户的视点位置有选择地向用户传输“视点+视差图”视频；S4：依据“视点+视差图”视频合成虚拟视点视频。其中，步骤S1和S2中所说的多视点视频是指2个或2个以上视点视频。
另外，在步骤S2中，首先通过对采集到的多视点视频进行匹配处理，求得各相邻视点的视差图，然后再将多视点视频转换为“视点+视差图”的视频格式；在步骤S3中，根据客户端反馈的视点位置，向用户有选择地传输与所述视点位置相邻的“视点+视差图”视频。
另外，为减少采集设备的成本和减轻压缩存储压力，在步骤S1中，本发明采用宽基线稀疏相机阵列采集多视点视频，相比于现有的技术采用相机拓扑结构，减少了相机的数量，降低了采集设备的成本，减少了所采集的视点数目，减轻了视频的压缩存储压力；在步骤S2中，本发明使用基于光流的匹配算法对采集到的多视点视频进行处理，得到各相邻视点的视差图，然后再将所述多视点视频转换为“视点+视差图”的视频格式，“视点+视差图”的视频格式与原视点的视频格式相比，所占用的存储空间基本相同。因此，整体来说，本发明的基于虚拟视点合成的可交互的自由视点视频导播方法，降低了采集设备的成本，并且减轻了压缩存储压力。
为了降低视频的网络传输压力，在步骤S3中，本发明根据用户的视点位置有选择地向用户传输所述“视点+视差图”视频，或者更优选的方案，根据客户端反馈的视点位置，有选择地向用户传输与所述视点位置相邻的“视点+视差图”视频，而不是将采集到的全部视点视频都进行传输，从而降低了网络传输的压力，降低了对传输带宽的需求。
为保证客户端虚拟视点合成的准确性，两个相邻左右视点视频，左视点相对右视点的视差图，右视点相对左视点的视差图被计算，并被同时传给客户端，用于虚拟视点的生成。在步骤S4中，本发明采用一种基于“卷绕(warping)”的方法生成虚拟视点图像。
本发明基于虚拟视点合成的自由视点视频导播系统的结构示意图，如图3所示。该系统结构由三个主部分组成，一是多视点采集装置，具体的是多视点相机阵列同步采集装置；二是匹配装置，具体的是基于光流法的宽基线多视点匹配装置，其内部含有基于光流的宽基线多视点匹配的方法程序；三是合成装置，具体的是基于虚拟视点合成自由视点视频的合成装置，该合成装置包括虚拟视点合成部件和客户端，虚拟视点合成部件中含有卷绕的方法程序。客户端能够向匹配装置反馈用户的视点位置，通过客户端反馈的视点位置，匹配装置有选择地向虚拟视点合成部件传输与所述视点位置相邻的“视点+视差图”视频，虚拟视点合成部件依据“视点+视差图”视频，合成虚拟视点视频，然后再传输到客户端进行播放。由于客户端能够自由地向匹配装置反馈用户所在的任意视点位置，因此，虚拟视点合成部件依据“视点+视差图”视频，能够合成任意视点的虚拟视点视频，从而能够向用户提供自由可选的观看视点视频。
多视点相机阵列同步采集装置如图4所示，包括会聚式相机阵列、外同步控制器、视频压缩器和视频存储服务器。通过会聚式相机阵列对舞台场景进行采集，采集相机阵列采用宽基线稀疏相机阵列。为保证相机采集信号的一致性，相机阵列采用外同步控制，通过外同步控制器控制多相机设备的同步。采集到的多视点视频通过视频压缩器进行压缩，然后通过视频存储服务器进行存储。
为了满足观众交互性自由视点视频导播的需求，采集到的宽基线稀疏多视点视频需要进行匹配处理，生成“视点+视差图”的视频，以方便进行有效的内容传输和在客户端的基于虚拟视点生成的任意自由视点的播放。如图3所示，对左右两个视点，进行基于光流的宽基线多视点匹配，生成左视差图和右视差图，这里所说的左视点和右视点是左右位置的相对概念，例如在发明的图3中，视点2在视点3的左边，则视点2就是左视点，视点3就是右视点。
如图3中加粗线条所示，视点2和视点3经过匹配装置，将同一像素在视点3中的位置减去在视点2中的位置，然后将所求得的值填充在视点2中所述像素所在的位置，即生成了视点3相对视点2的视差图，简称视点2的左视差图D2L，同理，也得到了视点2相对视点3的视差图，简称视点3的右视差图D3R，将对应视点与对应视差图进行拼接组合，形成“视点+视差图”的视频格式用于打包传输。例如，将左视点2与左视点2的左视差图D2L拼接组合，得到左视点2L|左视差图D2L，将右视点3与右视点3的右视差图D3R拼接组合，得到右视点3R|右视差图D3R。假设客户端向匹配装置反馈的用户所在的视点位置在视点2和视点3之间，则左视点2L|左视差图D2L，右视点3R|左视差图D3R将同时传输到客户端，用于进行虚拟视点的合成。
基于光流的宽基线多视点匹配方法如图5所示，该过程求取的是左视点IL(I＝1…N)相对右视点(I+1)R的视差值，通过取得的视差值来进一步获得左视点IL相对右视点(I+1)R的视差图。左右两个视点分别进行高斯金字塔分解，视点分解到多尺度空间。分解过程如公式(1)所示，公式(1)中Gi代表空间频带i(i＝1…N)，↓表示下采样操作，采样率为0.5，*表示卷积操作，σ表示窗口大小为5x5的高斯核。其中G1＝IL。
Gi＝↓σ*Gi-1 (1)
对尺度空间的最高层进行局部块匹配，求得初始光流。针对中的一个像素(x,y)，取中某一像素(x′,y′)进行局部块匹配，通过求取块状区域的差异绝对值之和(SAD)来衡量匹配度，从而求得最初的光流。如公式(2)所示，2*Patch+1为匹配块的宽度。
在式(2)中，为左视点IL的第N个空间频带；为右视点(I+1)R的第N个空间频带；SAD为块状区域的差异绝对值之和；Patch为匹配块的半宽。
光流的追踪和上采样的过程如公式(3)、公式(4)所示，其中▽为求梯度运算符，↑为上采样运算符，采样率为2。公式(3)为多尺度图像梯度差值平方和,用Error表示，(x，y)为像素位置，表示空间频带N的x向光流值，表示空间频带N的y向光流值，公式(4)表示光流的调整迭代方式，使多尺度图像梯度差值平方和Error朝着梯度下降最多的方向进行变换，Gradstep定义为梯度变化步长。最终求得光流D1为左视点IL相对右视点(I+1)R的光流，即垂直和水平的视差值。
DN-1＝↑σ*DN-Gradstep·▽Error (4)
相应地，右视点(I+1)R相对左视点IL(I＝1…N)的视差值，也可以通过上述方法求得，然后通过取得的视差值来进一步获得右视点(I+1)R相对左视点IL的视差图。
对采集到的多视点视频进行匹配完成后，得到了各相邻视点与其对应视差图形成的“视点+视差图”视频，通过客户端反馈的视点位置，匹配装置有选择地向虚拟视点合成部件传输与所述视点位置相邻的“视点+视差图”视频，最虚拟视点合成部件依据“视点+视差图”视频合成虚拟视点视频。
本发明采用卷绕(warping)的方法，通过左右视点与其对应视差图生成虚拟视点视频，如图6所示。假设相邻相机阵列之间视差角为Δv，如图4所示，设观众的观看视角为v，确定所需传输的“视点+视差图”视频，如公式(5)所示。确定虚拟视点合成所需要的偏移量如公式(6)(7)所示。αL为观看视点相对左视点IL的归一化偏移量，αR为观看视点相对右视点(I+1)R的归一化偏移量。这里的观看时点是指客户端向匹配装置反馈的用户所在的视点位置。偏移量与对应视差值的乘积为所需进行的变换量，定义为ω，如公式(8)所示，α取值αL或者αR，由需要合成的虚拟视点位置确定，(x，y)表示像素的位置，ω又被称为视点I中像素点的移动值。基于卷绕的虚拟视点生成可以定义为公式(9)，在公式(9)中，ψ(I,ω)定义为卷绕操作，输入量是视点I和视点I中像素点的移动值ω。Isynth为合成的虚拟视点，ω-1为ω的反向变换。由不同的观看位置决定所需合成的虚拟视点，如公式(10)。为由左视点IL和左视差图DIL生成的虚拟视点图，为右视点(I+1)R和右视差图D(I+1)R生成的虚拟视点图。当需要求取的虚拟位置靠近左相机视点IL时(即：aL≤0.5)，当需要求取的虚拟位置靠近右相机视点(I+1)R时(即：aL＞0.5)，
αL＝(v-n·Δv)/Δv (6)
αR＝1-αL (7)
ω(x,y)＝α·D(x,y) (8)
Isynth(x,y):＝ψ(I,ω)(x,y):＝I(ω-1(x,y)) (9)
本发明的自由视点视频导播方法及系统，客户端能够向匹配装置反馈用户的视点位置，通过客户端反馈的视点位置，匹配装置有选择地向虚拟视点合成部件传输与所述视点位置相邻的“视点+视差图”视频，虚拟视点合成部件依据“视点+视差图”视频，合成虚拟视点视频，然后再传输到客户端进行播放。由于客户端能够自由地向匹配装置反馈用户所在的任意视点位置，因此，虚拟视点合成部件依据“视点+视差图”视频，能够合成任意视点的虚拟视点视频，从而能够向用户提供自由可选的观看视点视频。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (10)
1.一种自由视点视频导播方法，其特征在于，包括以下步骤：
S1：采集多视点视频；
S2：对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；
S3：根据用户的视点位置有选择地向用户传输所述“视点+视差图”视频；
S4：依据所述“视点+视差图”视频，合成虚拟视点视频。
2.根据权利要求1所述的自由视点视频导播方法，其特征在于，所述步骤S1中，通过宽基线稀疏相机阵列采集多视点视频。
3.根据权利要求1所述的自由视点视频导播方法，其特征在于，所述步骤S2中，首先通过对采集到的所述多视点视频进行基于光流的宽基线多视点匹配处理，得到各相邻视点的视差图，然后再将所述多视点视频转换为“视点+视差图”的视频格式。
4.根据权利要求1所述的自由视点视频导播方法，其特征在于，所述步骤S3中，根据客户端反馈的视点位置，向用户有选择地传输与所述视点位置相邻的“视点+视差图”视频。
5.根据权利要求1所述的自由视点视频导播方法，其特征在于，所述步骤S4中，通过“卷绕”的方法，依据所述“视点+视差图”视频合成虚拟视点视频。
6.一种自由视点视频导播系统，其特征在于，包括：
多视点采集装置，同步采集多视点视频；
匹配装置，对采集到的所述多视点视频进行匹配处理，得到各相邻视点与其对应视差图形成的“视点+视差图”视频；
合成装置，依据所述“视点+视差图”视频合成虚拟视点视频。
7.根据权利要求6所述的自由视点视频导播系统，其特征在于，所述多视点采集装置包括：
会聚式相机阵列，采集多视点视频；
外同步控制器，控制多相机设备的同步，使得通过所述会聚式相机阵列采集的多视点视频信号一致；
视频压缩器，对采集到的所述多视点视频进行压缩处理；
视频存储服务器，对所述压缩处理后的多视点视频进行存储。
8.根据权利要求6所述的自由视点视频导播系统，其特征在于，所述匹配装置中含有基于光流的宽基线多视点匹配方法程序，所述方法程序能够被执行，用于通过采集到的多视点视频得到各相邻视点的视差图。
9.根据权利要求6所述的自由视点视频导播系统，其特征在于，所述合成装包含虚拟视点合成部件和客户端，所述客户端能够向匹配装置反馈用户的视点位置信息，所述虚拟视点合成部件能够依据所述“视点+视差图”视频合成虚拟视点视频。
10.根据权利要求9所述的自由视点视频导播系统，其特征在于，所述虚拟视点合成部件中含有卷绕的方法程序，所述卷绕的方法程序能够被执行，用于根据所述“视点+视差图”视频合成虚拟视点视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710596856.3A CN107396133B (zh) | 2017-07-20 | 2017-07-20 | 自由视点视频导播方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710596856.3A CN107396133B (zh) | 2017-07-20 | 2017-07-20 | 自由视点视频导播方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107396133A true CN107396133A (zh) | 2017-11-24 |
| CN107396133B CN107396133B (zh) | 2020-05-22 |
Family
ID=60337231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710596856.3A Active CN107396133B (zh) | 2017-07-20 | 2017-07-20 | 自由视点视频导播方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107396133B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111405262A (zh) * | 2019-01-02 | 2020-07-10 | 中国移动通信有限公司研究院 | 一种视点信息生成方法、装置、系统、设备和介质 |
| WO2021093584A1 (zh) * | 2019-11-13 | 2021-05-20 | 南京大学 | 基于深度卷积神经网络的自由视点视频生成及交互方法 |
| CN113542896A (zh) * | 2021-05-19 | 2021-10-22 | 广州速启科技有限责任公司 | 一种自由视角的视频直播方法、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101035261A (zh) * | 2007-04-11 | 2007-09-12 | 宁波大学 | 一种交互式多视点视频系统的图像信号处理方法 |
| CN102307309A (zh) * | 2011-07-29 | 2012-01-04 | 杭州电子科技大学 | 一种基于自由视点的体感交互导播系统及方法 |
| CN102447934A (zh) * | 2011-11-02 | 2012-05-09 | 吉林大学 | 稀疏镜头采集的组合立体图像系统中立体元的合成方法 |
| CN102547350A (zh) * | 2012-02-02 | 2012-07-04 | 北京大学 | 一种基于梯度光流算法合成虚拟视点方法及立体显示装置 |
-
2017
- 2017-07-20 CN CN201710596856.3A patent/CN107396133B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101035261A (zh) * | 2007-04-11 | 2007-09-12 | 宁波大学 | 一种交互式多视点视频系统的图像信号处理方法 |
| CN102307309A (zh) * | 2011-07-29 | 2012-01-04 | 杭州电子科技大学 | 一种基于自由视点的体感交互导播系统及方法 |
| CN102447934A (zh) * | 2011-11-02 | 2012-05-09 | 吉林大学 | 稀疏镜头采集的组合立体图像系统中立体元的合成方法 |
| CN102547350A (zh) * | 2012-02-02 | 2012-07-04 | 北京大学 | 一种基于梯度光流算法合成虚拟视点方法及立体显示装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111405262A (zh) * | 2019-01-02 | 2020-07-10 | 中国移动通信有限公司研究院 | 一种视点信息生成方法、装置、系统、设备和介质 |
| WO2021093584A1 (zh) * | 2019-11-13 | 2021-05-20 | 南京大学 | 基于深度卷积神经网络的自由视点视频生成及交互方法 |
| CN113542896A (zh) * | 2021-05-19 | 2021-10-22 | 广州速启科技有限责任公司 | 一种自由视角的视频直播方法、设备及介质 |
| CN113542896B (zh) * | 2021-05-19 | 2024-02-23 | 广州速启科技有限责任公司 | 一种自由视角的视频直播方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107396133B (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2862356B1 (en) | Method and apparatus for fusion of images | |
| US9094660B2 (en) | Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video | |
| US10438633B2 (en) | Method and system for low cost television production | |
| US6704042B2 (en) | Video processing apparatus, control method therefor, and storage medium | |
| WO2021093584A1 (zh) | 基于深度卷积神经网络的自由视点视频生成及交互方法 | |
| EP3065049A2 (en) | Interactive video display method, device, and system | |
| US20160277772A1 (en) | Reduced bit rate immersive video | |
| CN105933726A (zh) | 虚拟现实终端及其视频分辨率的适应方法及装置 | |
| CN105939481A (zh) | 一种交互式三维虚拟现实视频节目录播和直播方法 | |
| JP2014529930A (ja) | ネイティブ画像の一部の選択的キャプチャとその表示 | |
| CN113382177B (zh) | 一种多视角环绕拍摄方法及系统 | |
| CN104335243A (zh) | 处理全景画面 | |
| CN107396133A (zh) | 自由视点视频导播方法及系统 | |
| CN115668913A (zh) | 现场演出的立体显示方法、装置、介质及系统 | |
| CN114004927A (zh) | 3d视频模型重建方法、装置、电子设备及存储介质 | |
| KR20100073080A (ko) | 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치 | |
| CN108769755A (zh) | 高分辨率全景视频直播拍照系统与方法 | |
| CN107835435A (zh) | 一种赛事宽视角直播设备和相关联的直播系统和方法 | |
| CN111147883A (zh) | 直播方法、装置、头戴显示设备和可读存储介质 | |
| CN113963094A (zh) | 深度图及视频处理、重建方法、装置、设备及存储介质 | |
| CN114500849B (zh) | 一种多视角环绕拍摄矫正方法及系统 | |
| US11010923B2 (en) | Image encoding method and technical equipment for the same | |
| Gurrieri et al. | Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos | |
| EP2852149A1 (en) | Method and apparatus for generation, processing and delivery of 3D video | |
| CN114040184A (zh) | 图像显示方法、系统、存储介质及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |