CN111242975A - 自动调整视角的全景视频渲染方法、存储介质及计算机设备 - Google Patents

自动调整视角的全景视频渲染方法、存储介质及计算机设备 Download PDF

Info

Publication number
CN111242975A
CN111242975A CN202010015724.9A CN202010015724A CN111242975A CN 111242975 A CN111242975 A CN 111242975A CN 202010015724 A CN202010015724 A CN 202010015724A CN 111242975 A CN111242975 A CN 111242975A
Authority
CN
China
Prior art keywords
video frame
panoramic
current
tracked
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010015724.9A
Other languages
English (en)
Other versions
CN111242975B (zh
Inventor
陈聪
谢亮
姜文杰
刘靖康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202010015724.9A priority Critical patent/CN111242975B/zh
Publication of CN111242975A publication Critical patent/CN111242975A/zh
Priority to PCT/CN2020/141477 priority patent/WO2021139583A1/zh
Application granted granted Critical
Publication of CN111242975B publication Critical patent/CN111242975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请适用于全景视频处理领域，提供了一种自动调整视角的全景视频渲染方法、存储介质及计算机设备。方法包括：获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和当前视频帧和前一视频帧对应的多路鱼眼图像；分别提取前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列，并对其进行跟踪，获取待跟踪的匹配点对；根据匹配点对，对当前视频帧相对前一视频帧的位移量进行优化，并将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用旋转量和旋转矩阵对当前视频帧进行转场渲染。本申请可以自动计算全景相机的运动方向，并跟随运动方向自动调整全景视频的视角，保持全景相机视频镜头始终在全景相机前进的方向上。

Description

自动调整视角的全景视频渲染方法、存储介质及计算机设备
技术领域
本申请属于全景视频处理领域，尤其涉及一种自动调整视角的全景视频渲染方法、存储介质及计算机设备。
背景技术
现有技术对全景视频进行渲染时，通常是以固定全景相机的绝对视角或者平滑旋转全景相机的视角来作为虚拟相机的视角。然而，固定全景相机的绝对视角作为虚拟相机的视角时，这个固定的视角可能并不是用户一直感兴趣的视角；平滑旋转全景相机的视角来作为虚拟相机的视角时，可能大多数视角都不是用户感兴趣的视角。实际情况下用户一般会更关注全景相机拍摄的前方。而现有技术对全景视频进行渲染的方法无法满足用户的需求。
发明内容
本申请的目的在于提供一种自动调整视角的全景视频渲染方法、装置、计算机可读存储介质、计算机设备及全景相机，旨在解决现有技术对全景视频进行渲染的方法无法满足用户更关注全景相机拍摄的前方的需求的问题。
本申请提供了一种自动调整视角的全景视频渲染方法，所述方法包括：
获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像；
分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；
分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；
根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；
将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
进一步地，所述分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列包括：
分别对全景视频的前一视频帧对应的多路鱼眼图像采用好的特征点跟踪Goodfeature to track特征点检测方式提取角点，形成待跟踪的角点序列；
或者，
分别对全景视频的前一视频帧对应的多路鱼眼图像采用Harris角点检测方式提取角点，形成待跟踪的角点序列。
进一步地，所述分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列之后，所述方法还包括：
分别将每路鱼眼图像分成I*J个子块，其中，I和J是大于或者等于2的整数，I和J相等或不相等；
分别检测每个子块中待跟踪的角点数；
判断每个子块中待跟踪的角点数是否小于预设最小特征点数，如果是，则对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列。
进一步地，所述对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列包括：
当子块中待跟踪的角点数c小于预设最小特征点数n时，采用Fast特征点检测算法检测所述子块的新的特征点，将满足条件的新的特征点添加到所述待跟踪的角点序列，其中c和n是正整数；所述满足条件为：统计所有与已有角点之间的距离大于预设的最小距离m的新的特征点，并进行排序，获取相应最大的前n-c个新的特征点作为满足条件的新的特征点。
进一步地，所述分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对包括：
获取前一视频帧对应的鱼眼图像的待跟踪的角点序列中任一角点Mt-1；
跟踪角点Mt-1在当前视频帧对应的鱼眼图像中对应匹配的角点Mt，将角点Mt-1和匹配的角点Mt作为匹配点对；其中，角点Mt-1和匹配的角点Mt为鱼眼图像中的二维坐标。
进一步地，所述分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对之后，所述方法还包括：
分别将角点Mt-1和匹配的角点Mt采用鱼眼映射模型投影到球面模型，分别获得全景相机坐标系下的三维坐标
Figure BDA0002358799020000031
和
Figure BDA0002358799020000032
根据所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量分别将全景相机坐标系下的三维坐标
Figure BDA0002358799020000033
和
Figure BDA0002358799020000034
旋转到世界坐标系下，获得世界坐标系下归一化的三维坐标
Figure BDA0002358799020000035
和
Figure BDA0002358799020000036
检测当前视频帧和前一视频帧对应的鱼眼图像中每个待跟踪的匹配点对在世界坐标系之间的视差；
删除视差大于预设最大值dmax的匹配点对和视差小于预设最小值dmin的匹配点对，将视差在预设最大值dmax和预设最小值dmin之间的匹配点对作为最终的匹配点对。
进一步地，所述检测当前视频帧和前一视频帧对应的鱼眼图像中每个待跟踪的匹配点对在世界坐标系之间的视差包括：
在世界坐标系中，设角点Mt-1在世界坐标系下归一化的三维坐标
Figure BDA0002358799020000037
的坐标为(xt-1,yt-1,zt-1)，匹配点Mt在世界坐标系下归一化的三维坐标
Figure BDA0002358799020000038
的坐标为(xt,yt,zt)，
Figure BDA0002358799020000039
和
Figure BDA00023587990200000310
为在世界坐标系下归一化的三维坐标，该匹配点对的视差为d＝1-(xt·xt-1+yt·yt-1+zt·zt-1)。
进一步地，所述根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量包括：
初始化全景相机运动的初始位移量T0为(0,0,1)，T0是t＝1时的位移量；
计算t-2时刻视频帧相对t-1时刻视频帧的第一位移量Tt-1，并用第一位移量Tt-1作为当前视频帧相对前一视频帧的第二位移量Tt；
根据所述匹配点对，优化第二位移量Tt，得到优化后的位移量
Figure BDA0002358799020000041
进一步地，所述根据所述匹配点对，优化第二位移量Tt，得到优化后的位移量
Figure BDA0002358799020000042
包括：
采用目标函数
Figure BDA0002358799020000043
优化第二位移量Tt，Tt用高斯牛顿或者LM迭代求解，其中，F为待优化的代价函数，i为匹配点对序号，t表示时刻，ρ(·)为Loss函数，N为优化的特征点的数目，a为平滑参数，a＝0.1，dt,i和dt-1,i分别为
Figure BDA0002358799020000044
和
Figure BDA0002358799020000045
对应的深度，
Figure BDA0002358799020000046
和
Figure BDA0002358799020000047
分别表示世界坐标系里当前视频帧和前一视频帧对应的匹配点对；
Figure BDA0002358799020000048
，其中，
Figure BDA0002358799020000049
，a＝0.01，s＝Fi(Tt)；
对于Fi(tt)迭代过程具体为：
首先对所有匹配点对采用最小二乘法求解深度，
Figure BDA00023587990200000410
结果用
Figure BDA00023587990200000411
表示；当
Figure BDA00023587990200000412
时，则使
Figure BDA00023587990200000413
当
Figure BDA00023587990200000414
时,则使
Figure BDA00023587990200000415
然后计算残差
Figure BDA00023587990200000416
以及Fi(Tt)的Jacob函数
Figure BDA00023587990200000417
其中，k为迭代次数，Tt k为迭代k次后的Tt，
Figure BDA00023587990200000418
和
Figure BDA00023587990200000419
分别为迭代k次后的dt,i和dt-1,i，
Figure BDA00023587990200000420
和
Figure BDA0002358799020000051
分别为
Figure BDA0002358799020000052
和
Figure BDA0002358799020000053
的逆深度。
进一步地，所述全景视频是经防抖处理后的全景视频。
进一步地，所述将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染包括：
根据当前t时刻全景相机相对于世界坐标系的旋转量
Figure BDA0002358799020000054
将优化后的位移量
Figure BDA0002358799020000055
作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵Rv；所述当前虚拟相机的旋转矩阵Rv＝[e0；e1；e2]，其中
Figure BDA0002358799020000056
e2＝e0×e1；
Figure BDA0002358799020000057
为世界坐标系的向上方向；e0表示向前方向的向量值，e1表示向左方向的向量值，e2表示向上方向的向量值；
利用当前t时刻全景相机相对于世界坐标系的旋转量
Figure BDA0002358799020000058
和所述当前虚拟相机的旋转矩阵Rv对当前视频帧进行矩阵旋转生成虚拟相机的渲染画面。
进一步地，所述将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染之前还包括：
采用扩展卡尔曼滤波器或FIR对优化后的位移量进行滤波得到平滑运动向量；
所述将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染包括：
将平滑运动向量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
本申请提供了一种自动调整视角的全景视频渲染装置，所述装置包括：
获取模块，用于获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像；
提取模块，用于分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；
匹配点对获取模块，用于分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；
优化模块，用于根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；
渲染模块，用于将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述的自动调整视角的全景视频渲染方法的步骤。
本申请提供了一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的自动调整视角的全景视频渲染方法的步骤。
本申请提供了一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的自动调整视角的全景视频渲染方法的步骤。
在本申请中，由于分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。因此可以自动计算全景相机的运动方向，并跟随全景相机的运动方向自动调整全景视频的视角，保持全景相机视频镜头始终在全景相机前进的方向上，可以实现更贴近人观看模式的全景相机转场模式，实现全景视频的镜头场景自动视角渲染效果。
附图说明
图1是本申请一实施例提供的自动调整视角的全景视频渲染方法的应用场景示意图。
图2是本申请一实施例提供的自动调整视角的全景视频渲染方法的流程图。
图3是本申请一实施例提供的自动调整视角的全景视频渲染装置示意图。
图4是本申请一实施例提供的计算机设备的具体结构框图。
图5是本申请一实施例提供的全景相机的具体结构框图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
请参阅图1，本申请一实施例提供的自动调整视角的全景视频渲染方法的应用场景包括相连接的计算机设备100和全景相机200。计算机设备100和全景相机200中可运行至少一个的应用程序。计算机设备100可以是台式计算机、移动终端等，移动终端包括手机、平板电脑、笔记本电脑、个人数字助理等。计算机设备100或者是全景相机200执行本申请一实施例提供的自动调整视角的全景视频渲染方法对全景视频的当前视频帧进行转场渲染。
请参阅图2，是本申请一实施例提供的自动调整视角的全景视频渲染方法的流程图，本实施例主要以该自动调整视角的全景视频渲染方法应用于计算机设备或全景相机为例来举例说明，本申请一实施例提供的自动调整视角的全景视频渲染方法包括以下步骤：
S101、获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像。
在本申请一实施例中，全景相机是安装有多个鱼眼镜头的全景相机，鱼眼镜头的数量不限。
获取全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像具体为：
获取与全景视频的当前视频帧和前一视频帧对应的，由全景相机的每个鱼眼镜头拍摄的图像，例如当全景相机安装有双鱼眼镜头时，所述多路鱼眼图像为2路鱼眼图像，当全景相机安装有四个鱼眼镜头时，所述多路鱼眼图像为4路鱼眼图像。
获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量具体可以为：
获取拍摄当前视频帧时全景相机的陀螺仪数值，计算出当前t时刻全景相机相对于世界坐标系的旋转量
Figure BDA0002358799020000081
其中
Figure BDA0002358799020000082
为t时刻陀螺仪到世界坐标系的旋转量，
Figure BDA0002358799020000091
为t时刻全景相机到陀螺仪的旋转量。
全景相机相对于世界坐标系的旋转量也可以采用现有技术的其他方式获取。
S102、分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列。
在本申请一实施例中，S102具体可以为：
分别对全景视频的前一视频帧对应的多路鱼眼图像采用Good feature to track(好的特征点跟踪)特征点检测方式提取角点，形成待跟踪的角点序列；
或者，
分别对全景视频的前一视频帧对应的多路鱼眼图像采用Harris角点检测方式提取角点，形成待跟踪的角点序列。
在本申请一实施例中，所述分别对全景视频的前一视频帧对应的多路鱼眼图像采用Good feature to track(好的特征点跟踪)特征点检测方式提取角点，形成待跟踪的角点序列之后，所述方法还可以包括：
分别将每路鱼眼图像分成I*J个子块，其中，I和J是大于或者等于2的整数，I和J相等或不相等；每个子块可以均是具有角点的子块；
分别检测每个子块中待跟踪的角点数；
判断每个子块中待跟踪的角点数是否小于预设最小特征点数，如果是，则对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列。
所述对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列具体可以为：
当子块中待跟踪的角点数c小于预设最小特征点数n时，采用Fast特征点检测算法检测所述子块的新的特征点，将满足条件的新的特征点添加到所述待跟踪的角点序列，其中c和n是正整数。所述满足条件为：统计所有与已有角点之间的距离大于预设的最小距离m的新的特征点，并进行排序，获取相应最大的前n-c个新的特征点作为满足条件的新的特征点。
S103、分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对。
在本申请一实施例中，S103具体可以包括：
获取前一视频帧，即第t-1视频帧，对应的鱼眼图像的待跟踪的角点序列中任一角点Mt-1；
跟踪角点Mt-1在当前视频帧，即第t视频帧，对应的鱼眼图像中对应的匹配的角点Mt，将角点Mt-1和匹配的角点Mt作为匹配点对；其中，角点Mt-1和匹配的角点Mt为鱼眼图像中的二维坐标。
在本申请一实施例中，S103之后，所述方法还可以包括：
S1031、分别将角点Mt-1和匹配的角点Mt采用鱼眼映射模型投影到球面模型，分别获得全景相机坐标系下的三维坐标
Figure BDA0002358799020000101
和
Figure BDA0002358799020000102
S1032、根据所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量分别将全景相机坐标系下的三维坐标
Figure BDA0002358799020000103
和
Figure BDA0002358799020000104
旋转到世界坐标系下，获得世界坐标系下归一化的三维坐标
Figure BDA0002358799020000105
和
Figure BDA0002358799020000106
S1033、检测当前视频帧和前一视频帧对应的鱼眼图像中每个待跟踪的匹配点对在世界坐标系之间的视差；
具体为，在世界坐标系中，设角点Mt-1在世界坐标系下归一化的三维坐标
Figure BDA0002358799020000107
的坐标为(xt-1,yt-1,zt-1)，匹配点Mt在世界坐标系下归一化的三维坐标
Figure BDA0002358799020000108
的坐标为(xt,yt,zt)，
Figure BDA0002358799020000109
和
Figure BDA00023587990200001010
为在世界坐标系下归一化的三维坐标，该匹配点对的视差为d＝1-(xt·xt-1+yt·yt-1+zt·zt-1)；
S1034、删除视差大于预设最大值dmax的匹配点对(即可能的错误匹配点)和视差小于预设最小值dmin的匹配点对(即无穷远点和鱼眼边缘上的定点)，将视差在预设最大值dmax和预设最小值dmin之间匹配点对作为最终的匹配点对。
其中，获得全景相机坐标系下的三维坐标
Figure BDA00023587990200001011
和
Figure BDA00023587990200001012
的方式和获得世界坐标系下归一化的三维坐标
Figure BDA0002358799020000111
和
Figure BDA0002358799020000112
的方式可以采用本申请人申请的申请号为201710225056.0、201811549643.6、201711015180.0、201810217087.6、201811548507.5、201811549643.6、201811550596.7中采用的方式。
S104、根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量。
在本申请一实施例中，S104具体可以包括:
S1041、初始化全景相机运动的初始位移量T0为(0,0,1)，T0是t＝1时的位移量；
S1042、计算t-2时刻视频帧相对t-1时刻视频帧的第一位移量Tt-1，并用第一位移量Tt-1作为当前视频帧相对前一视频帧的第二位移量Tt；
S1043、根据所述匹配点对，优化第二位移量Tt，得到优化后的位移量
Figure BDA0002358799020000113
S1043具体可以为：
采用目标函数
Figure BDA0002358799020000114
得到优化后的位移量
Figure BDA0002358799020000115
Tt用高斯牛顿或者LM迭代求解，其中，F为待优化的代价函数，i为匹配点对序号，t表示时刻，ρ(·)为Loss函数，N为优化的特征点的数目，α为平滑参数，α＝0.1，dt,i和dt-1,i分别为
Figure BDA0002358799020000116
和
Figure BDA0002358799020000117
对应的深度，
Figure BDA0002358799020000118
和
Figure BDA0002358799020000119
分别表示世界坐标系里当前视频帧和前一视频帧对应的匹配点对；
Figure BDA00023587990200001110
其中，
Figure BDA00023587990200001111
a＝0.01，s＝Fi(Tt)；
对于Fi(Tt)迭代过程具体为：
首先对所有匹配点对采用最小二乘法求解深度，
Figure BDA00023587990200001112
为提高精度，结果用
Figure BDA00023587990200001113
表示；当
Figure BDA0002358799020000121
时，则使
Figure BDA0002358799020000122
当
Figure BDA0002358799020000123
时,则使
Figure BDA0002358799020000124
然后计算残差
Figure BDA0002358799020000125
以及Fi(Tt)的Jacob函数
Figure BDA0002358799020000126
其中，k为迭代次数，Tt k为迭代k次后的Tt，
Figure BDA0002358799020000127
和
Figure BDA0002358799020000128
分别为迭代k次后的dt,i和dt-1,i，
Figure BDA0002358799020000129
和
Figure BDA00023587990200001210
分别为
Figure BDA00023587990200001211
和
Figure BDA00023587990200001212
的逆深度。
S105、将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
所述全景视频可以是经防抖处理后的全景视频。
在本申请一实施例中，S105具体可以包括：
S1051、根据当前t时刻全景相机相对于世界坐标系的旋转量
Figure BDA00023587990200001213
S1052、将优化后的位移量
Figure BDA00023587990200001214
作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵Rv；
所述当前虚拟相机的旋转矩阵Rv＝[e0；e1；e2]，其中
Figure BDA00023587990200001215
e2＝e0×e1；
Figure BDA00023587990200001216
为世界坐标系的向上方向；e0表示向前方向的向量值，e1表示向左方向的向量值，e2表示向上方向的向量值。
S1053、利用当前t时刻全景相机相对于世界坐标系的旋转量
Figure BDA00023587990200001217
和所述当前虚拟相机的旋转矩阵Rv对当前视频帧进行矩阵旋转生成虚拟相机的渲染画面。
具体为：
采用公式：
Figure BDA00023587990200001218
其中
Figure BDA00023587990200001219
是当前t时刻虚拟相机相对于世界坐标系的旋转量；
利用
Figure BDA00023587990200001220
对当前视频帧进行渲染。
在本申请一实施例中，S105之前还可以包括以下步骤：
采用扩展卡尔曼滤波器、FIR等对优化后的位移量进行滤波得到平滑运动向量；
具体为：根据所述全景相机当前视频帧相对前一视频帧的位移量和优化后的位移量进行加权，得到当前时刻全景相机前进方向的平滑运动向量。
则S105具体为：根据所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和平滑运动向量对全景视频的当前视频帧进行转场渲染。
请参阅图3，本申请一实施例提供的自动调整视角的全景视频渲染装置可以是运行于计算机设备或全景相机中的一个计算机程序或一段程序代码，例如该自动调整视角的全景视频渲染装置为一个应用软件；该自动调整视角的全景视频渲染装置可以用于执行本申请实施例提供的自动调整视角的全景视频渲染方法中的相应步骤。本申请一实施例提供的自动调整视角的全景视频渲染装置包括：
获取模块11，用于获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像；
提取模块12，用于分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；
匹配点对获取模块13，用于分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；
优化模块14，用于根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；
渲染模块15，用于将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
本申请一实施例提供的自动调整视角的全景视频渲染装置与本申请一实施例提供的自动调整视角的全景视频渲染方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
本申请一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请一实施例提供的自动调整视角的全景视频渲染方法的步骤。
图4示出了本申请一实施例提供的计算机设备的具体结构框图，该计算机设备可以是图1中所示的计算机设备，一种计算机设备100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本申请一实施例提供的自动调整视角的全景视频渲染方法的步骤。
计算机设备可以是台式计算机、移动终端等，移动终端包括手机、平板电脑、笔记本电脑、个人数字助理等。
图5示出了本申请一实施例提供的全景相机的具体结构框图，该全景相机可以是图1中所示的全景相机，一种全景相机200包括：一个或多个处理器201、存储器202、以及一个或多个计算机程序，其中所述处理器201和所述存储器202通过总线连接，所述一个或多个计算机程序被存储在所述存储器202中，并且被配置成由所述一个或多个处理器201执行，所述处理器201执行所述计算机程序时实现如本申请一实施例提供的自动调整视角的全景视频渲染方法的步骤。
在本申请中，由于分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。因此可以自动计算全景相机的运动方向，并跟随全景相机的运动方向自动调整全景视频的视角，保持全景相机视频镜头始终在全景相机前进的方向上，可以实现更贴近人观看模式的全景相机转场模式，实现全景视频的镜头场景自动视角渲染效果。
又由于采用扩展卡尔曼滤波器、FIR等对优化后的位移量进行滤波得到平滑运动向量；根据所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和平滑运动向量对全景视频的当前视频帧进行转场渲染，因此可以得到稳定的视角过渡路径。
应该理解的是，本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (17)

1.一种自动调整视角的全景视频渲染方法，其特征在于，所述方法包括：
获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像；
分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；
分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；
根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；
将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
2.如权利要求1所述的方法，其特征在于，所述获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量包括：
获取拍摄当前视频帧时全景相机的陀螺仪数值，计算出当前t时刻全景相机相对于世界坐标系的旋转量
Figure FDA0002358799010000011
其中
Figure FDA0002358799010000012
为t时刻陀螺仪到世界坐标系的旋转量，
Figure FDA0002358799010000013
为t时刻全景相机到陀螺仪的旋转量。
3.如权利要求1所述的方法，其特征在于，所述分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列包括：
分别对全景视频的前一视频帧对应的多路鱼眼图像采用好的特征点跟踪Goodfeature to track特征点检测方式提取角点，形成待跟踪的角点序列；
或者，
分别对全景视频的前一视频帧对应的多路鱼眼图像采用Harris角点检测方式提取角点，形成待跟踪的角点序列。
4.如权利要求1所述的方法，其特征在于，所述分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列之后，所述方法还包括：
分别将每路鱼眼图像分成I*J个子块，其中，I和J是大于或者等于2的整数，I和J相等或不相等；
分别检测每个子块中待跟踪的角点数；
判断每个子块中待跟踪的角点数是否小于预设最小特征点数，如果是，则对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列。
5.如权利要求4所述的方法，其特征在于，所述对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列包括：
当子块中待跟踪的角点数c小于预设最小特征点数n时，采用Fast特征点检测算法检测所述子块的新的特征点，将满足条件的新的特征点添加到所述待跟踪的角点序列，其中c和n是正整数；所述满足条件为：统计所有与已有角点之间的距离大于预设的最小距离m的新的特征点，并进行排序，获取相应最大的前n-c个新的特征点作为满足条件的新的特征点。
6.如权利要求1、4或5所述的方法，其特征在于，所述分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对包括：
获取前一视频帧对应的鱼眼图像的待跟踪的角点序列中任一角点Mt-1；
跟踪角点Mt-1在当前视频帧对应的鱼眼图像中对应匹配的角点Mt，将角点Mt-1和匹配的角点Mt作为匹配点对；其中，角点Mt-1和匹配的角点Mt为鱼眼图像中的二维坐标。
7.如权利要求6所述的方法，其特征在于，所述分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对之后，所述方法还包括：
分别将角点Mt-1和匹配的角点Mt采用鱼眼映射模型投影到球面模型，分别获得全景相机坐标系下的三维坐标Pc t-1和Pc t；
根据所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量分别将全景相机坐标系下的三维坐标Pc t-1和Pc t旋转到世界坐标系下，获得世界坐标系下归一化的三维坐标
Figure FDA0002358799010000031
和
Figure FDA0002358799010000032
检测当前视频帧和前一视频帧对应的鱼眼图像中每个待跟踪的匹配点对在世界坐标系之间的视差；
删除视差大于预设最大值dmax的匹配点对和视差小于预设最小值dmin的匹配点对，将视差在预设最大值dmax和预设最小值dmin之间的匹配点对作为最终的匹配点对。
8.如权利要求7所述的方法，其特征在于，所述检测当前视频帧和前一视频帧对应的鱼眼图像中每个待跟踪的匹配点对在世界坐标系之间的视差包括：
在世界坐标系中，设角点Mt-1在世界坐标系下归一化的三维坐标
Figure FDA0002358799010000033
的坐标为(xt-1,yt-1,zt-1)，匹配点Mt在世界坐标系下归一化的三维坐标
Figure FDA0002358799010000034
的坐标为(xt,yt,zt)，
Figure FDA0002358799010000035
和
Figure FDA0002358799010000036
为在世界坐标系下归一化的三维坐标，该匹配点对的视差为d＝1-(xt·xt-1+yt·yt-1+zt·zt-1)。
9.如权利要求1、6或7所述的方法，其特征在于，所述根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量包括：
初始化全景相机运动的初始位移量T0为(0,0,1)，T0是t＝1时的位移量；
计算t-2时刻视频帧相对t-1时刻视频帧的第一位移量Tt-1，并用第一位移量Tt-1作为当前视频帧相对前一视频帧的第二位移量Tt；
根据所述匹配点对，优化第二位移量Tt，得到优化后的位移量
Figure FDA0002358799010000037
10.如权利要求9所述的方法，其特征在于，所述根据所述匹配点对，优化第二位移量Tt，得到优化后的位移量
Figure FDA0002358799010000041
包括：
采用目标函数
Figure FDA0002358799010000042
优化第二位移量Tt，Tt用高斯牛顿或者LM迭代求解，其中，F为待优化的代价函数，i为匹配点对序号，t表示时刻，ρ(·)为Loss函数，N为优化的特征点的数目，a为平滑参数，a＝0.1，dt,i和dt-1,i分别为
Figure FDA0002358799010000043
和
Figure FDA0002358799010000044
对应的深度，
Figure FDA0002358799010000045
和
Figure FDA0002358799010000046
分别表示世界坐标系里当前视频帧和前一视频帧对应的匹配点对；
Fi(Tt)＝||norm(dt,i·Pw t,i-Tt)-Pw t-1,i||+||norm(dt-1,i·Pw t-1,i+Tt)-Pw t,i||，
其中，
Figure FDA0002358799010000047
，
a＝0.01，s＝Fi(Tt)；
对于Fi(tt)迭代过程具体为：
首先对所有匹配点对采用最小二乘法求解深度，
Figure FDA0002358799010000048
结果用
Figure FDA0002358799010000049
Figure FDA00023587990100000410
表示；当
Figure FDA00023587990100000411
时，则使
Figure FDA00023587990100000412
当
Figure FDA00023587990100000413
时,则使
Figure FDA00023587990100000414
然后计算残差
Figure FDA00023587990100000415
以及Fi(Tt)的Jacob函数
Figure FDA00023587990100000416
其中，k为迭代次数，Tt k为迭代k次后的Tt，
Figure FDA00023587990100000417
和
Figure FDA00023587990100000418
分别为迭代k次后的dt,i和dt-1,i，
Figure FDA00023587990100000419
和
Figure FDA00023587990100000420
分别为
Figure FDA00023587990100000421
和
Figure FDA00023587990100000422
的逆深度。
11.如权利要求1所述的方法，其特征在于，所述全景视频是经防抖处理后的全景视频。
12.如权利要求2所述的方法，其特征在于，所述将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染包括：
根据当前t时刻全景相机相对于世界坐标系的旋转量
Figure FDA0002358799010000051
将优化后的位移量
Figure FDA0002358799010000052
作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵Rv；所述当前虚拟相机的旋转矩阵Rv＝[e0；e1；e2]，其中
Figure FDA0002358799010000053
e2＝e0×e1；
Figure FDA0002358799010000054
为世界坐标系的向上方向；e0表示向前方向的向量值，e1表示向左方向的向量值，e2表示向上方向的向量值；
利用当前t时刻全景相机相对于世界坐标系的旋转量
Figure FDA0002358799010000055
和所述当前虚拟相机的旋转矩阵Rv对当前视频帧进行矩阵旋转生成虚拟相机的渲染画面。
13.如权利要求1所述的方法，其特征在于，所述将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染之前还包括：
采用扩展卡尔曼滤波器或FIR对优化后的位移量进行滤波得到平滑运动向量；
所述将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染包括：
将平滑运动向量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
14.一种自动调整视角的全景视频渲染装置，其特征在于，所述装置包括：
获取模块，用于获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像；
提取模块，用于分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；
匹配点对获取模块，用于分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；
优化模块，用于根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；
渲染模块，用于将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至13任一项所述的自动调整视角的全景视频渲染方法的步骤。
16.一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至13任一项所述的自动调整视角的全景视频渲染方法的步骤。
17.一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至13任一项所述的自动调整视角的全景视频渲染方法的步骤。
CN202010015724.9A 2020-01-07 2020-01-07 自动调整视角的全景视频渲染方法、存储介质及计算机设备 Active CN111242975B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010015724.9A CN111242975B (zh) 2020-01-07 2020-01-07 自动调整视角的全景视频渲染方法、存储介质及计算机设备
PCT/CN2020/141477 WO2021139583A1 (zh) 2020-01-07 2020-12-30 自动调整视角的全景视频渲染方法、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010015724.9A CN111242975B (zh) 2020-01-07 2020-01-07 自动调整视角的全景视频渲染方法、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN111242975A true CN111242975A (zh) 2020-06-05
CN111242975B CN111242975B (zh) 2023-08-25

Family

ID=70874341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010015724.9A Active CN111242975B (zh) 2020-01-07 2020-01-07 自动调整视角的全景视频渲染方法、存储介质及计算机设备

Country Status (2)

Country Link
CN (1) CN111242975B (zh)
WO (1) WO2021139583A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017216A (zh) * 2020-08-06 2020-12-01 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112017215A (zh) * 2020-08-06 2020-12-01 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112258581A (zh) * 2020-09-25 2021-01-22 湖北久之洋红外系统股份有限公司 一种多鱼眼镜头全景相机的现场标定方法
CN112804444A (zh) * 2020-12-30 2021-05-14 影石创新科技股份有限公司 一种视频处理方法、装置、计算设备及存储介质
WO2021139583A1 (zh) * 2020-01-07 2021-07-15 影石创新科技股份有限公司 自动调整视角的全景视频渲染方法、存储介质及计算机设备
WO2022028407A1 (zh) * 2020-08-03 2022-02-10 影石创新科技股份有限公司 一种全景视频剪辑方法、装置、存储介质及设备
WO2024055967A1 (zh) * 2022-09-13 2024-03-21 影石创新科技股份有限公司 视频处理方法、装置、计算机设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114024944B (zh) * 2021-11-02 2024-03-29 广州虎牙科技有限公司 媒体内容植入方法、装置、电子设备及存储介质
CN117014651A (zh) * 2022-04-29 2023-11-07 北京字跳网络技术有限公司 一种视频生成方法及装置
CN116567350B (zh) * 2023-05-19 2024-04-19 上海国威互娱文化科技有限公司 全景视频数据处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106659A (zh) * 2013-01-28 2013-05-15 中国科学院上海微系统与信息技术研究所 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
CN106027852A (zh) * 2016-06-24 2016-10-12 西北工业大学 一种用于微纳卫星的视频稳像方法
CN109978911A (zh) * 2019-02-22 2019-07-05 青岛小鸟看看科技有限公司 一种图像特征点跟踪方法和相机

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565029B2 (en) * 2005-07-08 2009-07-21 Seiko Epson Corporation Method for determining camera position from two-dimensional images that form a panorama
US8417062B2 (en) * 2009-10-19 2013-04-09 Ut-Battelle, Llc System and method for stabilization of fisheye video imagery
CN106529538A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的定位方法和装置
CN109040575B (zh) * 2017-06-09 2020-12-08 株式会社理光 全景视频的处理方法、装置、设备、计算机可读存储介质
CN109561253B (zh) * 2018-12-18 2020-07-10 影石创新科技股份有限公司 一种全景视频防抖的方法、装置、便携式终端及存储介质
CN110070564B (zh) * 2019-05-08 2021-05-11 广州市百果园信息技术有限公司 一种特征点匹配方法、装置、设备及存储介质
CN111242975B (zh) * 2020-01-07 2023-08-25 影石创新科技股份有限公司 自动调整视角的全景视频渲染方法、存储介质及计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106659A (zh) * 2013-01-28 2013-05-15 中国科学院上海微系统与信息技术研究所 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
CN106027852A (zh) * 2016-06-24 2016-10-12 西北工业大学 一种用于微纳卫星的视频稳像方法
CN109978911A (zh) * 2019-02-22 2019-07-05 青岛小鸟看看科技有限公司 一种图像特征点跟踪方法和相机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
廖松等: "应用AR 技术的道路场景视频内容增强方法" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139583A1 (zh) * 2020-01-07 2021-07-15 影石创新科技股份有限公司 自动调整视角的全景视频渲染方法、存储介质及计算机设备
WO2022028407A1 (zh) * 2020-08-03 2022-02-10 影石创新科技股份有限公司 一种全景视频剪辑方法、装置、存储介质及设备
CN112017216A (zh) * 2020-08-06 2020-12-01 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112017215A (zh) * 2020-08-06 2020-12-01 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
WO2022028595A1 (zh) * 2020-08-06 2022-02-10 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112017216B (zh) * 2020-08-06 2023-10-27 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112258581A (zh) * 2020-09-25 2021-01-22 湖北久之洋红外系统股份有限公司 一种多鱼眼镜头全景相机的现场标定方法
CN112804444A (zh) * 2020-12-30 2021-05-14 影石创新科技股份有限公司 一种视频处理方法、装置、计算设备及存储介质
WO2024055967A1 (zh) * 2022-09-13 2024-03-21 影石创新科技股份有限公司 视频处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111242975B (zh) 2023-08-25
WO2021139583A1 (zh) 2021-07-15

Similar Documents

Publication Publication Date Title
CN111242975B (zh) 自动调整视角的全景视频渲染方法、存储介质及计算机设备
CN108564617B (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
CN106875451B (zh) 相机标定方法、装置及电子设备
US9153014B2 (en) Image correction method and related image correction system thereof
US8131113B1 (en) Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching
CN112017216B (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
CN107507277B (zh) 三维点云重构方法和装置、服务器及可读存储介质
CN107767339B (zh) 一种双目立体图像拼接方法
CN111105367B (zh) 人脸畸变校正方法、装置、电子设备及存储介质
CN108345821B (zh) 面部追踪方法及设备
WO2014045026A1 (en) Systems and methods for reducing noise in video streams
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
CN106952247B (zh) 一种双摄像头终端及其图像处理方法和系统
WO2021003807A1 (zh) 一种图像深度估计方法及装置、电子设备、存储介质
KR20170070620A (ko) 스테레오 영상 매칭 방법 및 장치
CN107833245B (zh) 基于单目视觉特征点匹配的slam方法及系统
CN112017215B (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
CN115705651A (zh) 视频运动估计方法、装置、设备和计算机可读存储介质
CN112907657A (zh) 一种机器人重定位方法、装置、设备及存储介质
US10148929B2 (en) Method of prompting proper rotation angle for image depth establishing
CN113034345B (zh) 一种基于sfm重建的人脸识别方法及系统
CN116266356A (zh) 全景视频转场渲染方法、装置和计算机设备
CN114187206A (zh) 图像畸变校正方法、装置、电子设备、芯片及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant