CN112365407B - 视角可配置的摄像机全景拼接方法 - Google Patents

视角可配置的摄像机全景拼接方法 Download PDF

Info

Publication number
CN112365407B
CN112365407B CN202110042844.2A CN202110042844A CN112365407B CN 112365407 B CN112365407 B CN 112365407B CN 202110042844 A CN202110042844 A CN 202110042844A CN 112365407 B CN112365407 B CN 112365407B
Authority
CN
China
Prior art keywords
image
camera
images
projection
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110042844.2A
Other languages
English (en)
Other versions
CN112365407A (zh
Inventor
龚勋
文超豪
劳博基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202110042844.2A priority Critical patent/CN112365407B/zh
Publication of CN112365407A publication Critical patent/CN112365407A/zh
Application granted granted Critical
Publication of CN112365407B publication Critical patent/CN112365407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机视觉和计算机图像及图形学技术领域，具体地说，涉及一种视角可配置的摄像机全景拼接方法，包括以下步骤：一、多个IP摄像机输入视频流数据在GPU中解码，得到多个解码图像；二、对解码图像进行图像配准：包括图像特征提取、图像特征匹配和相机参数估计、优化与矫正；三、对配准后的图像进行图像融合，得到全景图像：图像融合包括映射变换、投影变换、分割填充和接缝两侧区域融合；四、全景图像在GPU上编码，然后使用标准视频流RTSP协议推送到视频流服务器供客户端拉取。本发明能实时的将不同摄像头不同角度采集到具有重叠区域的多幅图像拼接为高分辨率的全景图像流。

Description

视角可配置的摄像机全景拼接方法
技术领域
本发明涉及计算机视觉和计算机图像及图形学技术领域，具体地说，涉及一种视角可配置的摄像机全景拼接方法。
背景技术
由于现实物理原理和摄像机的技术发展受到瓶颈限制，单个相机并不能拍出一张既视野宽广又能够保持足够多细节的图像。目前的视频监控应用场景中，如停车场、车站和机场等公共场所，为了得到视野范围更广的监控范围，人们通常采用的是多个摄像头呈放不同角度拍摄，然后分开显示和存放。然而人们通常更适合观察一些连贯的信息，因此提出了在摄像头采集到图像后进行物理场景意义的拼接，然后在监控室显示一副完整的场景图和全景视频存放，这样就会使得我们更方便的查看监控视频和从中提取信息或者为后续的目标检测和识别提供基础。
目前现有技术几乎都是基于图像采集后再基于视频材料拼接，并不能应用到全景实时监控场景中。近几年随着计算机算力的提升，使得通过软件算法设计，实现多个高分辨率摄像机的全景监控图像实时拼接成为可能，但是拼接效果不够理想。
发明内容
本发明的内容是提供一种视角可配置的摄像机全景拼接方法，其能够克服现有技术的某种或某些缺陷。
根据本发明的一种视角可配置的摄像机全景拼接方法，其包括以下步骤：
一、多个IP摄像机输入视频流数据在GPU中解码，得到多个解码图像；
二、对解码图像进行图像配准：包括图像特征提取、图像特征匹配和相机参数估计、优化与矫正；
三、对配准后的图像进行图像融合，得到全景图像：图像融合包括映射变换、投影变换、分割填充和接缝两侧区域融合；
四、全景图像在GPU上编码，然后使用标准视频流RTSP协议推送到视频流服务器供客户端拉取。
作为优选，步骤一中，在GPU解码中，解码器首先得到视频数据流包，从视频流的第一个数据包中读取预先配置的参数来配置解码器，然后解码为YUV格式图像。
作为优选，步骤二中，先将YUV图像转为RGB图像，然后在RGB图像序列下进行配准。
作为优选，步骤二中，图像特征提取采用SURF算法。
作为优选，步骤二中，图像特征匹配采用KNN匹配和RANSAC优化匹配方法；KNN匹配公式为：
Figure 518200DEST_PATH_IMAGE001
式中，ρ表示匹配阈值，
Figure 622291DEST_PATH_IMAGE002
和
Figure 605291DEST_PATH_IMAGE003
为两个特征点的距离；
而RANSAC优化匹配方法为：先利用匹配点计算单应性矩阵，然后利用重投影误差判定某一个匹配是否为正确匹配，不正确则剔除。
作为优选，步骤二中，相机参数估计、优化与矫正的方法为：先使用最大树生成法在多幅图像中找到基准图像，然后计算相机内外参数，接着使用光束平差法矫正，最后进行波形矫正。
作为优选，步骤三中，映射变换的公式为：
Figure 190380DEST_PATH_IMAGE004
式中，
Figure 676856DEST_PATH_IMAGE005
为图像坐标系，
Figure 686270DEST_PATH_IMAGE006
为世界坐标系，
Figure 77937DEST_PATH_IMAGE007
为旋转矩阵，
Figure 214520DEST_PATH_IMAGE008
为相机 的内参数矩阵。
作为优选，步骤三中，投影变换选择球体投影方法进行投影，球体投影正向投影公式为：
Figure 70349DEST_PATH_IMAGE010
Figure 1396DEST_PATH_IMAGE011
表示尺度；
反向投影公式为：
Figure 211185DEST_PATH_IMAGE012
由
Figure 620301DEST_PATH_IMAGE013
得到
Figure 878107DEST_PATH_IMAGE014
的公式为：
Figure 229323DEST_PATH_IMAGE015
最后根据投影公式计算出图像变换Map。
作为优选，步骤三中，分割填充的方法为：根据投影变换参数，选择基于距离准则的逐点法计算接缝线，即原图像分割线，然后对源图像裁剪和目标全景图像填充。
作为优选，步骤三中，接缝两侧区域融合的方法为：对接缝线进行了平滑虚化处理，通过渐变权重的方法达到自然衔接的效果，其公式为：
Figure 408631DEST_PATH_IMAGE016
；
式中
Figure 667443DEST_PATH_IMAGE017
表示融合后新图像的像素矩阵，
Figure 248597DEST_PATH_IMAGE018
和
Figure 505135DEST_PATH_IMAGE019
分别表示源图像接缝线两侧区域内 的像素矩阵，
Figure 171740DEST_PATH_IMAGE020
和
Figure 984975DEST_PATH_IMAGE021
分别为
Figure 129956DEST_PATH_IMAGE022
和
Figure 291816DEST_PATH_IMAGE023
的对应权重矩阵，即在接缝区域两幅图像对应像素点 的值乘以对应的权值，然后相加得到新的像素点，组成的新的图像。
本发明能够实时的将不同摄像头不同角度采集到具有重叠区域的多幅图像拼接为高分辨率的全景图像流，效果佳。
附图说明
图1为实施例1中一种视角可配置的摄像机全景拼接方法的流程图；
图2为实施例1中旋转一定角度的多个摄像头示意图；
图3为实施例1中特征配准效果的示意图；
图4为实施例1中球面投影的示意图；
图5为实施例1中接缝区域未融合与融合对比效果图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
实施例1
本实施例提供了一种视角可配置的摄像机全景拼接方法，其包括以下步骤：
一、多个IP摄像机输入视频流数据在GPU（Graphics Processing Unit）中解码，得到多个解码图像；
二、对解码图像进行图像配准：包括图像特征提取、图像特征匹配和相机参数估计、优化与矫正；
三、对配准后的图像进行图像融合，得到全景图像：图像融合包括映射变换、投影变换、分割填充和接缝两侧区域融合；
四、全景图像在GPU上编码，然后使用标准视频流RTSP（Real Time StreamingProtocol）协议推送到视频流服务器供客户端拉取。
对于高清的视频解码，CPU上做软件编解码速度较慢，通常选择的是硬件编解码，除了专用的硬件解码芯片，更多的是使用显卡进行编解码。目前常用的编码有H264/H265，他们俩都是以YUV格式图像作为输入，也都包括5个基本的部分：帧间和帧内预测、变换和反变换、量化和反量化、环路滤波、熵编码，输出则为相应的视频流数据包。视频解码为编码的一个逆过程，在GPU解码中，解码器首先得到视频数据流包，从视频流的第一个数据包中读取预先配置的参数来配置解码器，然后解码为YUV格式图像。
由于解码出的图像为YUV格式图像，先将YUV图像转为RGB图像，然后在RGB图像序列下进行配准。图像配准一般包括特征提取、特征匹配和相机参数估计、优化与矫正三部分，特征配准效果如图3所示。
图像特征提取采用SURF算法。SURF包括构建Hessian矩阵生成所有兴趣点、构造高斯金字塔、定位特征点、确定特征点主方向、构造特征描述子。
图像特征匹配采用KNN（K邻近匹配）匹配和RANSAC优化匹配方法；KNN匹配公式为：
Figure 180137DEST_PATH_IMAGE024
式中，ρ表示匹配阈值，
Figure 249593DEST_PATH_IMAGE025
和
Figure 336498DEST_PATH_IMAGE026
为两个特征点的距离；
而RANSAC优化匹配方法为：先利用匹配点计算单应性矩阵，然后利用重投影误差判定某一个匹配是否为正确匹配，不正确则剔除。
相机参数估计、优化与矫正：相机成像与真实物理世界坐标系呈现出某种关系，其关系可表达为如下式子：
Figure 465997DEST_PATH_IMAGE028
式中
Figure 841615DEST_PATH_IMAGE029
为图像坐标系，
Figure 186533DEST_PATH_IMAGE030
为物理世界坐标系，
Figure 393523DEST_PATH_IMAGE031
为相机内参，
Figure 444656DEST_PATH_IMAGE032
为相机外参，
Figure 291258DEST_PATH_IMAGE033
为投影矩阵。多幅图像配准通常以一副图像为基准，其他图像通过旋转等变 换到该基准图像上，使用最大树生成法可以找到基准图像，然后计算相机内外参数。但是由 于缺乏多张图像的约束，一般会造成累计误差，所以需要使用光束平差法矫正。然而因为拍 摄角度和光束平差法会引起波形效应，最后需要进行波形矫正。矫正过程主要是寻找每幅 图形的“上升向量”，约束函数如下：
Figure 453249DEST_PATH_IMAGE034
由于每张图像都是在不同角度拍摄出来的，并不会在同一个成像平面，直接裁剪拼接会破坏物理场景视觉一致性，所以需要对图像根据相机参数进行扭曲变换，映射变换的公式为：
Figure 498434DEST_PATH_IMAGE035
式中，
Figure 454889DEST_PATH_IMAGE036
为图像坐标系，
Figure 54366DEST_PATH_IMAGE037
为世界坐标系，
Figure 816786DEST_PATH_IMAGE038
为旋转矩阵，
Figure 670473DEST_PATH_IMAGE039
为相机 的内参数矩阵。
常见的投影变换有平面投影、柱形投影和球面投影（如图4所示），而人眼可以认为是一种球体投影，所以本实施例为了显得更加自然，选择球体投影方法。从源图像到目标图像为正向投影，有目标图像到源图像称为反向投影，球体投影正向投影公式为：
Figure 846763DEST_PATH_IMAGE041
Figure 418690DEST_PATH_IMAGE042
表示尺度；其他符号与映射变换公式保持一致；
反向投影公式为：
Figure 719222DEST_PATH_IMAGE043
由
Figure 942261DEST_PATH_IMAGE044
得到
Figure 37256DEST_PATH_IMAGE045
的公式为：
Figure 345747DEST_PATH_IMAGE046
最后根据投影公式计算出图像变换Map（像素点映射图）。
分割填充的方法为：根据投影变换参数，本实施例为了达到实时拼接，综合考虑妥协下，选择基于距离准则的逐点法（相比于其他几种寻找接缝线，逐点法更加稳定，在视频中不会出现其他动态算法的闪烁现象）计算接缝线，即原图像分割线，然后对源图像裁剪和目标全景图像填充。
接缝两侧区域融合的方法为：如果只是简单在接缝线两侧选取不同的图像，接缝线将会出现不连贯的现象，看起来还是会比较突兀。所以本实施例对接缝线进行了平滑虚化处理，通过渐变权重的方法达到自然衔接的效果，图5展示了融合与未融合之间的差异（图5左侧为未融合效果图，右侧为融合效果图），其公式为：
Figure 449969DEST_PATH_IMAGE047
；
式中
Figure 12669DEST_PATH_IMAGE048
表示融合后新图像的像素矩阵，
Figure 793412DEST_PATH_IMAGE049
和
Figure 543193DEST_PATH_IMAGE050
分别表示源图像接缝线两侧区域内 的像素矩阵，
Figure 703303DEST_PATH_IMAGE051
和
Figure DEST_PATH_IMAGE052
分别为
Figure DEST_PATH_IMAGE053
和
Figure DEST_PATH_IMAGE054
的对应权重矩阵，即在接缝区域两幅图像对应像素点 的值乘以对应的权值，然后相加得到新的像素点，组成的新的图像。
视频解码后的图像为YUV格式，本实施例为了提高计算性能，减少不必要的操作，所以在计算完Map之后，所有操作都是基于YUV格式的，减少了YUV转RGB和RGB转YUV两个耗时操作。
对于抽帧采样视频拼接方法则失去高清视频拼接的意义和1080P视频拼接并不能满足如机场监控等场景应用的不足，本实施例提供了基于CUDA固定视角场景下的实时、高效的全景图像拼接方法。针对固定视角（多个摄像头按照垂直轴线旋转一定角度装置，如图2所示）的多个高清摄像头的视频拼接提出优化，达到实际使用的要求。本实施例采用SURF（Speeded Up Robust Features）对图像进行特征提取匹配，然后根据关系把图像序列投影到同一像素空间进行融合，其中关键技术在于上面的操作直接在于对视频流解码得到的YUV图像上进行直接操作并得到相同的YUV格式图像进行最后编码推流，这是本实施例相对于其他方法能够提升拼接速度的主要原因。本实施例在笔记本电脑GTX1650平台下对4个4K高清视频做到高达50FPS（Frame Per Second）的实时拼接，而理论上则不限于对4个视频进行拼接。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (7)

1.视角可配置的摄像机全景拼接方法，其特征在于：包括以下步骤：
一、多个IP摄像机输入视频流数据在GPU中解码，得到多个解码图像；
二、对解码图像进行图像配准：包括图像特征提取、图像特征匹配和相机参数估计、优化与矫正；
相机参数估计、优化与矫正的方法为：先使用最大树生成法在多幅图像中找到基准图像，然后计算相机内外参数，接着使用光束平差法矫正，最后进行波形矫正；
三、对配准后的图像进行图像融合，得到全景图像：图像融合包括映射变换、投影变换、分割填充和接缝两侧区域融合；
投影变换选择球体投影方法进行投影，球体投影正向投影公式为：
Figure FDA0002974949000000011
s表示尺度；
反向投影公式为：
Figure FDA0002974949000000012
由(X，Y，Z)得到(u，v，1)的公式为：
Figure FDA0002974949000000013
(u，v，1)为图像坐标系，(X，Y，Z)为世界坐标系，R为旋转矩阵，K为相机的内参数矩阵；
最后根据投影公式计算出图像变换Map；
分割填充的方法为：根据投影变换参数，选择基于距离准则的逐点法计算接缝线，即原图像分割线，然后对源图像裁剪和目标全景图像填充；
四、全景图像在GPU上编码，然后使用标准视频流RTSP协议推送到视频流服务器供客户端拉取。
2.根据权利要求1所述的视角可配置的摄像机全景拼接方法，其特征在于：步骤一中，在GPU解码中，解码器首先得到视频数据流包，从视频流的第一个数据包中读取预先配置的参数来配置解码器，然后解码为YUV格式图像。
3.根据权利要求2所述的视角可配置的摄像机全景拼接方法，其特征在于：步骤二中，先将YUV图像转为RGB图像，然后在RGB图像序列下进行配准。
4.根据权利要求3所述的视角可配置的摄像机全景拼接方法，其特征在于：步骤二中，图像特征提取采用SURF算法。
5.根据权利要求4所述的视角可配置的摄像机全景拼接方法，其特征在于：步骤二中，图像特征匹配采用KNN匹配和RANSAC优化匹配方法；KNN匹配公式为：
Figure FDA0002974949000000021
式中，ρ表示匹配阈值，Lab和Lac为两个特征点的距离；
而RANSAC优化匹配方法为：先利用匹配点计算单应性矩阵，然后利用重投影误差判定某一个匹配是否为正确匹配，不正确则剔除。
6.根据权利要求5所述的视角可配置的摄像机全景拼接方法，其特征在于：步骤三中，映射变换的公式为：
Figure FDA0002974949000000022
式中，(u，v，1)为图像坐标系，(X，Y，Z)为世界坐标系，R为旋转矩阵，K为相机的内参数矩阵。
7.根据权利要求6所述的视角可配置的摄像机全景拼接方法，其特征在于：步骤三中，接缝两侧区域融合的方法为：对接缝线进行了平滑虚化处理，通过渐变权重的方法达到自然衔接的效果，其公式为：
P＝I1W1+I2W2；
式中P表示融合后新图像的像素矩阵，I1和I2分别表示源图像接缝线两侧区域内的像素矩阵，W1和W2分别为I1和I2的对应权重矩阵，即在接缝区域两幅图像对应像素点的值乘以对应的权值，然后相加得到新的像素点，组成的新的图像。
CN202110042844.2A 2021-01-13 2021-01-13 视角可配置的摄像机全景拼接方法 Active CN112365407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110042844.2A CN112365407B (zh) 2021-01-13 2021-01-13 视角可配置的摄像机全景拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110042844.2A CN112365407B (zh) 2021-01-13 2021-01-13 视角可配置的摄像机全景拼接方法

Publications (2)

Publication Number Publication Date
CN112365407A CN112365407A (zh) 2021-02-12
CN112365407B true CN112365407B (zh) 2021-04-20

Family

ID=74534900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110042844.2A Active CN112365407B (zh) 2021-01-13 2021-01-13 视角可配置的摄像机全景拼接方法

Country Status (1)

Country Link
CN (1) CN112365407B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096012A (zh) * 2021-03-30 2021-07-09 上海西井信息科技有限公司 单目多帧视频图像拼接系统、方法、设备及存储介质
CN113645443B (zh) * 2021-07-16 2022-05-13 南京理工大学 基于fpga的环绕视频拼接显示方法及系统
CN113808022B (zh) * 2021-09-22 2023-05-30 南京信息工程大学 一种基于端侧深度学习的手机全景拍摄与合成方法
CN113902905A (zh) * 2021-10-11 2022-01-07 北京百度网讯科技有限公司 图像处理方法、装置和电子设备
CN114466165A (zh) * 2022-01-23 2022-05-10 北京北电科林电子有限公司 基于ais与雷达联动的船舶监控方法
CN114972023A (zh) * 2022-04-21 2022-08-30 合众新能源汽车有限公司 图像拼接处理方法、装置、设备及计算机存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103162622B (zh) * 2013-02-28 2016-06-29 西安交通大学 单目视觉系统及其使用的便携式球靶标及其测量方法
CN103226822B (zh) * 2013-05-15 2015-07-29 清华大学 医疗影像拼接方法
CN103294832B (zh) * 2013-06-27 2017-02-08 西安工业大学 一种基于反馈学习的运动捕获数据检索方法
CN105718867A (zh) * 2016-01-16 2016-06-29 深圳先进技术研究院 一种基于导航飞艇的城市空中街景处理系统及方法
CN106339981A (zh) * 2016-08-25 2017-01-18 安徽协创物联网技术有限公司 一种全景拼接方法
CN106469444B (zh) * 2016-09-20 2020-05-08 天津大学 消除拼接缝隙的快速图像融合方法
CN108171759A (zh) * 2018-01-26 2018-06-15 上海小蚁科技有限公司 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端
CN109040700A (zh) * 2018-09-10 2018-12-18 合肥巨清信息科技有限公司 一种基于大场景多gpu模式的视频拼接系统
US20200294194A1 (en) * 2019-03-11 2020-09-17 Nvidia Corporation View synthesis using neural networks
CN111277764B (zh) * 2020-03-10 2021-06-01 西安卓越视讯科技有限公司 基于gpu加速的4k实时视频全景拼接方法

Also Published As

Publication number Publication date
CN112365407A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112365407B (zh) 视角可配置的摄像机全景拼接方法
CN109194923B (zh) 基于局部非均匀分辨率的视频图像处理设备、系统及方法
US8264524B1 (en) System for streaming multiple regions deriving from a wide-angle camera
EP2328125B1 (en) Image splicing method and device
US20140340404A1 (en) Method and apparatus for generating 3d free viewpoint video
US20170118475A1 (en) Method and Apparatus of Video Compression for Non-stitched Panoramic Contents
US20080253685A1 (en) Image and video stitching and viewing method and system
US11037308B2 (en) Intelligent method for viewing surveillance videos with improved efficiency
CN104301677A (zh) 面向大场景的全景视频监控的方法及装置
KR101933037B1 (ko) 360도 동영상에서의 가상현실 재생 장치
CN107426491B (zh) 一种360度全景视频的实现方法
US11068699B2 (en) Image processing device, image processing method, and telecommunication system to generate an output image for telecommunication
US10958950B2 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
WO2022022348A1 (zh) 视频压缩方法、解压方法、装置、电子设备及存储介质
CN101521823B (zh) 空间相关的全景数据压缩方法
CN202841372U (zh) 分布式全景监控系统
US20200145695A1 (en) Apparatus and method for decoding a panoramic video
CN111277764B (zh) 基于gpu加速的4k实时视频全景拼接方法
CN114049464A (zh) 一种三维模型的重建方法及设备
CN111757087A (zh) Vr视频的处理方法、装置和电子设备
CN117278731B (zh) 多视频与三维场景融合方法、装置、设备及存储介质
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
JP2017207818A (ja) 画像処理装置、画像処理方法、プログラム
US11044399B2 (en) Video surveillance system
US11272209B2 (en) Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant