CN111242975B - 自动调整视角的全景视频渲染方法、存储介质及计算机设备 - Google Patents

自动调整视角的全景视频渲染方法、存储介质及计算机设备 Download PDF

Info

Publication number
CN111242975B
CN111242975B CN202010015724.9A CN202010015724A CN111242975B CN 111242975 B CN111242975 B CN 111242975B CN 202010015724 A CN202010015724 A CN 202010015724A CN 111242975 B CN111242975 B CN 111242975B
Authority
CN
China
Prior art keywords
video frame
panoramic
current
displacement
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010015724.9A
Other languages
English (en)
Other versions
CN111242975A (zh
Inventor
陈聪
谢亮
姜文杰
刘靖康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202010015724.9A priority Critical patent/CN111242975B/zh
Publication of CN111242975A publication Critical patent/CN111242975A/zh
Priority to PCT/CN2020/141477 priority patent/WO2021139583A1/zh
Application granted granted Critical
Publication of CN111242975B publication Critical patent/CN111242975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请适用于全景视频处理领域，提供了一种自动调整视角的全景视频渲染方法、存储介质及计算机设备。方法包括：获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和当前视频帧和前一视频帧对应的多路鱼眼图像；分别提取前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列，并对其进行跟踪，获取待跟踪的匹配点对；根据匹配点对，对当前视频帧相对前一视频帧的位移量进行优化，并将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用旋转量和旋转矩阵对当前视频帧进行转场渲染。本申请可以自动计算全景相机的运动方向，并跟随运动方向自动调整全景视频的视角，保持全景相机视频镜头始终在全景相机前进的方向上。

Description

自动调整视角的全景视频渲染方法、存储介质及计算机设备
技术领域
本申请属于全景视频处理领域，尤其涉及一种自动调整视角的全景视频渲染方法、存储介质及计算机设备。
背景技术
现有技术对全景视频进行渲染时，通常是以固定全景相机的绝对视角或者平滑旋转全景相机的视角来作为虚拟相机的视角。然而，固定全景相机的绝对视角作为虚拟相机的视角时，这个固定的视角可能并不是用户一直感兴趣的视角；平滑旋转全景相机的视角来作为虚拟相机的视角时，可能大多数视角都不是用户感兴趣的视角。实际情况下用户一般会更关注全景相机拍摄的前方。而现有技术对全景视频进行渲染的方法无法满足用户的需求。
发明内容
本申请的目的在于提供一种自动调整视角的全景视频渲染方法、装置、计算机可读存储介质、计算机设备及全景相机，旨在解决现有技术对全景视频进行渲染的方法无法满足用户更关注全景相机拍摄的前方的需求的问题。
本申请提供了一种自动调整视角的全景视频渲染方法，所述方法包括：
获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像；
分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；
分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；
根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；
将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
进一步地，所述分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列包括：
分别对全景视频的前一视频帧对应的多路鱼眼图像采用好的特征点跟踪Goodfeature to track特征点检测方式提取角点，形成待跟踪的角点序列；
或者，
分别对全景视频的前一视频帧对应的多路鱼眼图像采用Harris角点检测方式提取角点，形成待跟踪的角点序列。
进一步地，所述分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列之后，所述方法还包括：
分别将每路鱼眼图像分成I*J个子块，其中，I和J是大于或者等于2的整数，I和J相等或不相等；
分别检测每个子块中待跟踪的角点数；
判断每个子块中待跟踪的角点数是否小于预设最小特征点数，如果是，则对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列。
进一步地，所述对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列包括：
当子块中待跟踪的角点数c小于预设最小特征点数n时，采用Fast特征点检测算法检测所述子块的新的特征点，将满足条件的新的特征点添加到所述待跟踪的角点序列，其中c和n是正整数；所述满足条件为：统计所有与已有角点之间的距离大于预设的最小距离m的新的特征点，并进行排序，获取相应最大的前n-c个新的特征点作为满足条件的新的特征点。
进一步地，所述分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对包括：
获取前一视频帧对应的鱼眼图像的待跟踪的角点序列中任一角点Mt-1；
跟踪角点Mt-1在当前视频帧对应的鱼眼图像中对应匹配的角点Mt，将角点Mt-1和匹配的角点Mt作为匹配点对；其中，角点Mt-1和匹配的角点Mt为鱼眼图像中的二维坐标。
进一步地，所述分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对之后，所述方法还包括：
分别将角点Mt-1和匹配的角点Mt采用鱼眼映射模型投影到球面模型，分别获得全景相机坐标系下的三维坐标和/>
根据所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量分别将全景相机坐标系下的三维坐标和/>旋转到世界坐标系下，获得世界坐标系下归一化的三维坐标/>和/>
检测当前视频帧和前一视频帧对应的鱼眼图像中每个待跟踪的匹配点对在世界坐标系之间的视差；
删除视差大于预设最大值dmax的匹配点对和视差小于预设最小值dmin的匹配点对，将视差在预设最大值dmax和预设最小值dmin之间的匹配点对作为最终的匹配点对。
进一步地，所述检测当前视频帧和前一视频帧对应的鱼眼图像中每个待跟踪的匹配点对在世界坐标系之间的视差包括：
在世界坐标系中，设角点Mt-1在世界坐标系下归一化的三维坐标的坐标为(xt-1,yt-1,zt-1)，匹配点Mt在世界坐标系下归一化的三维坐标/>的坐标为(xt,yt,zt)，/>和为在世界坐标系下归一化的三维坐标，该匹配点对的视差为d＝1-(xt·xt-1+yt·yt-1+zt·zt-1)。
进一步地，所述根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量包括：
初始化全景相机运动的初始位移量T0为(0,0,1)，T0是t＝1时的位移量；
计算t-2时刻视频帧相对t-1时刻视频帧的第一位移量Tt-1，并用第一位移量Tt-1作为当前视频帧相对前一视频帧的第二位移量Tt；
根据所述匹配点对，优化第二位移量Tt，得到优化后的位移量
进一步地，所述根据所述匹配点对，优化第二位移量Tt，得到优化后的位移量包括：
采用目标函数优化第二位移量Tt，Tt用高斯牛顿或者LM迭代求解，其中，F为待优化的代价函数，i为匹配点对序号，t表示时刻，ρ(·)为Loss函数，N为优化的特征点的数目，α为平滑参数，α＝0.1，dt,i和dt-1,i分别为/>和对应的深度，/>和/>分别表示世界坐标系里当前视频帧和前一视频帧对应的匹配点对；
，其中，
，a＝0.01，s＝Fi(Tt)；
对于Fi(tt)迭代过程具体为：
首先对所有匹配点对采用最小二乘法求解深度，结果用/>表示；当/>时，则使/>当/>时,则使/>
然后计算残差以及Fi(Tt)的Jacob函数/>其中，k为迭代次数，Tt k为迭代k次后的Tt，/>和/>分别为迭代k次后的dt,i和dt-1,i，/>和/>分别为/>和/>的逆深度。
进一步地，所述全景视频是经防抖处理后的全景视频。
进一步地，所述将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染包括：
根据当前t时刻全景相机相对于世界坐标系的旋转量
将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵Rv；所述当前虚拟相机的旋转矩阵Rv＝[e0；e1；e2]，其中/>e2＝e0×e1；为世界坐标系的向上方向；e0表示向前方向的向量值，e1表示向左方向的向量值，e2表示向上方向的向量值；
利用当前t时刻全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵Rv对当前视频帧进行矩阵旋转生成虚拟相机的渲染画面。
进一步地，所述将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染之前还包括：
采用扩展卡尔曼滤波器或FIR对优化后的位移量进行滤波得到平滑运动向量；
所述将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染包括：
将平滑运动向量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
本申请提供了一种自动调整视角的全景视频渲染装置，所述装置包括：
获取模块，用于获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像；
提取模块，用于分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；
匹配点对获取模块，用于分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；
优化模块，用于根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；
渲染模块，用于将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述的自动调整视角的全景视频渲染方法的步骤。
本申请提供了一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的自动调整视角的全景视频渲染方法的步骤。
本申请提供了一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的自动调整视角的全景视频渲染方法的步骤。
在本申请中，由于分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。因此可以自动计算全景相机的运动方向，并跟随全景相机的运动方向自动调整全景视频的视角，保持全景相机视频镜头始终在全景相机前进的方向上，可以实现更贴近人观看模式的全景相机转场模式，实现全景视频的镜头场景自动视角渲染效果。
附图说明
图1是本申请一实施例提供的自动调整视角的全景视频渲染方法的应用场景示意图。
图2是本申请一实施例提供的自动调整视角的全景视频渲染方法的流程图。
图3是本申请一实施例提供的自动调整视角的全景视频渲染装置示意图。
图4是本申请一实施例提供的计算机设备的具体结构框图。
图5是本申请一实施例提供的全景相机的具体结构框图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
请参阅图1，本申请一实施例提供的自动调整视角的全景视频渲染方法的应用场景包括相连接的计算机设备100和全景相机200。计算机设备100和全景相机200中可运行至少一个的应用程序。计算机设备100可以是台式计算机、移动终端等，移动终端包括手机、平板电脑、笔记本电脑、个人数字助理等。计算机设备100或者是全景相机200执行本申请一实施例提供的自动调整视角的全景视频渲染方法对全景视频的当前视频帧进行转场渲染。
请参阅图2，是本申请一实施例提供的自动调整视角的全景视频渲染方法的流程图，本实施例主要以该自动调整视角的全景视频渲染方法应用于计算机设备或全景相机为例来举例说明，本申请一实施例提供的自动调整视角的全景视频渲染方法包括以下步骤：
S101、获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像。
在本申请一实施例中，全景相机是安装有多个鱼眼镜头的全景相机，鱼眼镜头的数量不限。
获取全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像具体为：
获取与全景视频的当前视频帧和前一视频帧对应的，由全景相机的每个鱼眼镜头拍摄的图像，例如当全景相机安装有双鱼眼镜头时，所述多路鱼眼图像为2路鱼眼图像，当全景相机安装有四个鱼眼镜头时，所述多路鱼眼图像为4路鱼眼图像。
获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量具体可以为：
获取拍摄当前视频帧时全景相机的陀螺仪数值，计算出当前t时刻全景相机相对于世界坐标系的旋转量其中/>为t时刻陀螺仪到世界坐标系的旋转量，为t时刻全景相机到陀螺仪的旋转量。
全景相机相对于世界坐标系的旋转量也可以采用现有技术的其他方式获取。
S102、分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列。
在本申请一实施例中，S102具体可以为：
分别对全景视频的前一视频帧对应的多路鱼眼图像采用Good feature to track(好的特征点跟踪)特征点检测方式提取角点，形成待跟踪的角点序列；
或者，
分别对全景视频的前一视频帧对应的多路鱼眼图像采用Harris角点检测方式提取角点，形成待跟踪的角点序列。
在本申请一实施例中，所述分别对全景视频的前一视频帧对应的多路鱼眼图像采用Good feature to track(好的特征点跟踪)特征点检测方式提取角点，形成待跟踪的角点序列之后，所述方法还可以包括：
分别将每路鱼眼图像分成I*J个子块，其中，I和J是大于或者等于2的整数，I和J相等或不相等；每个子块可以均是具有角点的子块；
分别检测每个子块中待跟踪的角点数；
判断每个子块中待跟踪的角点数是否小于预设最小特征点数，如果是，则对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列。
所述对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列具体可以为：
当子块中待跟踪的角点数c小于预设最小特征点数n时，采用Fast特征点检测算法检测所述子块的新的特征点，将满足条件的新的特征点添加到所述待跟踪的角点序列，其中c和n是正整数。所述满足条件为：统计所有与已有角点之间的距离大于预设的最小距离m的新的特征点，并进行排序，获取相应最大的前n-c个新的特征点作为满足条件的新的特征点。
S103、分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对。
在本申请一实施例中，S103具体可以包括：
获取前一视频帧，即第t-1视频帧，对应的鱼眼图像的待跟踪的角点序列中任一角点Mt-1；
跟踪角点Mt-1在当前视频帧，即第t视频帧，对应的鱼眼图像中对应的匹配的角点Mt，将角点Mt-1和匹配的角点Mt作为匹配点对；其中，角点Mt-1和匹配的角点Mt为鱼眼图像中的二维坐标。
在本申请一实施例中，S103之后，所述方法还可以包括：
S1031、分别将角点Mt-1和匹配的角点Mt采用鱼眼映射模型投影到球面模型，分别获得全景相机坐标系下的三维坐标和/>
S1032、根据所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量分别将全景相机坐标系下的三维坐标和/>旋转到世界坐标系下，获得世界坐标系下归一化的三维坐标/>和/>
S1033、检测当前视频帧和前一视频帧对应的鱼眼图像中每个待跟踪的匹配点对在世界坐标系之间的视差；
具体为，在世界坐标系中，设角点Mt-1在世界坐标系下归一化的三维坐标的坐标为(xt-1,yt-1,zt-1)，匹配点Mt在世界坐标系下归一化的三维坐标/>的坐标为(xt,yt,zt)，和/>为在世界坐标系下归一化的三维坐标，该匹配点对的视差为d＝1-(xt·xt-1+yt·yt-1+zt·zt-1)；
S1034、删除视差大于预设最大值dmax的匹配点对(即可能的错误匹配点)和视差小于预设最小值dmin的匹配点对(即无穷远点和鱼眼边缘上的定点)，将视差在预设最大值dmax和预设最小值dmin之间匹配点对作为最终的匹配点对。
其中，获得全景相机坐标系下的三维坐标和/>的方式和获得世界坐标系下归一化的三维坐标/>和/>的方式可以采用本申请人申请的申请号为201710225056.0、201811549643.6、201711015180.0、201810217087.6、201811548507.5、201811549643.6、201811550596.7中采用的方式。
S104、根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量。
在本申请一实施例中，S104具体可以包括:
S1041、初始化全景相机运动的初始位移量T0为(0,0,1)，T0是t＝1时的位移量；
S1042、计算t-2时刻视频帧相对t-1时刻视频帧的第一位移量Tt-1，并用第一位移量Tt-1作为当前视频帧相对前一视频帧的第二位移量Tt；
S1043、根据所述匹配点对，优化第二位移量Tt，得到优化后的位移量
S1043具体可以为：
采用目标函数得到优化后的位移量/>Tt用高斯牛顿或者LM迭代求解，其中，F为待优化的代价函数，i为匹配点对序号，t表示时刻，ρ(·)为Loss函数，N为优化的特征点的数目，α为平滑参数，α＝0.1，dt,i和dt-1,i分别为/>和/>对应的深度，/>和/>分别表示世界坐标系里当前视频帧和前一视频帧对应的匹配点对；/>其中，/>a＝0.01，s＝Fi(Tt)；
对于Fi(Tt)迭代过程具体为：
首先对所有匹配点对采用最小二乘法求解深度，为提高精度，结果用/>表示；当/>时，则使/>当/>时,则使
然后计算残差以及Fi(Tt)的Jacob函数/>其中，k为迭代次数，Tt k为迭代k次后的Tt，/>和/>分别为迭代k次后的dt,i和dt-1,i，/>和/>分别为和/>的逆深度。
S105、将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
所述全景视频可以是经防抖处理后的全景视频。
在本申请一实施例中，S105具体可以包括：
S1051、根据当前t时刻全景相机相对于世界坐标系的旋转量
S1052、将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵Rv；
所述当前虚拟相机的旋转矩阵Rv＝[e0；e1；e2]，其中e2＝e0×e1；为世界坐标系的向上方向；e0表示向前方向的向量值，e1表示向左方向的向量值，e2表示向上方向的向量值。
S1053、利用当前t时刻全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵Rv对当前视频帧进行矩阵旋转生成虚拟相机的渲染画面。具体为：
采用公式：其中/>是当前t时刻虚拟相机相对于世界坐标系的旋转量；
利用对当前视频帧进行渲染。
在本申请一实施例中，S105之前还可以包括以下步骤：
采用扩展卡尔曼滤波器、FIR等对优化后的位移量进行滤波得到平滑运动向量；
具体为：根据所述全景相机当前视频帧相对前一视频帧的位移量和优化后的位移量进行加权，得到当前时刻全景相机前进方向的平滑运动向量。
则S105具体为：根据所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和平滑运动向量对全景视频的当前视频帧进行转场渲染。
请参阅图3，本申请一实施例提供的自动调整视角的全景视频渲染装置可以是运行于计算机设备或全景相机中的一个计算机程序或一段程序代码，例如该自动调整视角的全景视频渲染装置为一个应用软件；该自动调整视角的全景视频渲染装置可以用于执行本申请实施例提供的自动调整视角的全景视频渲染方法中的相应步骤。本申请一实施例提供的自动调整视角的全景视频渲染装置包括：
获取模块11，用于获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像；
提取模块12，用于分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；
匹配点对获取模块13，用于分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；
优化模块14，用于根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；
渲染模块15，用于将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
本申请一实施例提供的自动调整视角的全景视频渲染装置与本申请一实施例提供的自动调整视角的全景视频渲染方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
本申请一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请一实施例提供的自动调整视角的全景视频渲染方法的步骤。
图4示出了本申请一实施例提供的计算机设备的具体结构框图，该计算机设备可以是图1中所示的计算机设备，一种计算机设备100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本申请一实施例提供的自动调整视角的全景视频渲染方法的步骤。
计算机设备可以是台式计算机、移动终端等，移动终端包括手机、平板电脑、笔记本电脑、个人数字助理等。
图5示出了本申请一实施例提供的全景相机的具体结构框图，该全景相机可以是图1中所示的全景相机，一种全景相机200包括：一个或多个处理器201、存储器202、以及一个或多个计算机程序，其中所述处理器201和所述存储器202通过总线连接，所述一个或多个计算机程序被存储在所述存储器202中，并且被配置成由所述一个或多个处理器201执行，所述处理器201执行所述计算机程序时实现如本申请一实施例提供的自动调整视角的全景视频渲染方法的步骤。
在本申请中，由于分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。因此可以自动计算全景相机的运动方向，并跟随全景相机的运动方向自动调整全景视频的视角，保持全景相机视频镜头始终在全景相机前进的方向上，可以实现更贴近人观看模式的全景相机转场模式，实现全景视频的镜头场景自动视角渲染效果。
又由于采用扩展卡尔曼滤波器、FIR等对优化后的位移量进行滤波得到平滑运动向量；根据所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和平滑运动向量对全景视频的当前视频帧进行转场渲染，因此可以得到稳定的视角过渡路径。
应该理解的是，本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种自动调整视角的全景视频渲染方法，其特征在于，所述方法包括：
获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像；
分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；
分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；
根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量；
将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染；
所述根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量包括：
初始化全景相机运动的初始位移量T0为(0,0,1)，T0是t＝1时的位移量；
计算t-2时刻视频帧相对t-1时刻视频帧的第一位移量Tt-1，并用第一位移量Tt-1作为当前视频帧相对前一视频帧的第二位移量Tt；
根据所述匹配点对，优化第二位移量Tt，得到优化后的位移量
所述根据所述匹配点对，优化第二位移量Tt，得到优化后的位移量包括：
采用目标函数优化第二位移量Tt，Tt用高斯牛顿或者LM迭代求解，其中，F为待优化的代价函数，i为匹配点对序号，t表示时刻，ρ(·)为Loss函数，N为优化的特征点的数目，α为平滑参数，α＝0.1，dt,i和dt-1,i分别为/>和/>对应的深度，/>和/>分别表示世界坐标系里当前视频帧和前一视频帧对应的匹配点对；
Fi(Tt)＝||norm(dt,i·Pw t,i-Tt)-Pw t-1,i||+||norm(dt-1,i·Pw t-1,i+Tt)-Pw t,i||，
其中，，
a＝0.01，s＝Fi(Tt)；
对于Fi(tt)迭代过程具体为：
首先对所有匹配点对采用最小二乘法求解深度，结果用/>表示；当/>时，则使/>当/>时,则使/>
然后计算残差以及Fi(Tt)的Jacob函数/>其中，k为迭代次数，Tt k为迭代k次后的Tt，/>和/>分别为迭代k次后的dt,i和dt-1,i，/>和/>分别为/>和的逆深度。
2.如权利要求1所述的方法，其特征在于，所述获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量包括：
获取拍摄当前视频帧时全景相机的陀螺仪数值，计算出当前t时刻全景相机相对于世界坐标系的旋转量其中/>为t时刻陀螺仪到世界坐标系的旋转量，/>为t时刻全景相机到陀螺仪的旋转量。
3.如权利要求1所述的方法，其特征在于，所述分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列包括：
分别对全景视频的前一视频帧对应的多路鱼眼图像采用好的特征点跟踪Goodfeature to track特征点检测方式提取角点，形成待跟踪的角点序列；
或者，
分别对全景视频的前一视频帧对应的多路鱼眼图像采用Harris角点检测方式提取角点，形成待跟踪的角点序列。
4.如权利要求1所述的方法，其特征在于，所述分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列之后，所述方法还包括：
分别将每路鱼眼图像分成I*J个子块，其中，I和J是大于或者等于2的整数，I和J相等或不相等；
分别检测每个子块中待跟踪的角点数；
判断每个子块中待跟踪的角点数是否小于预设最小特征点数，如果是，则对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列。
5.如权利要求4所述的方法，其特征在于，所述对小于预设最小特征点数的子块采用Fast特征点检测算法检测特征点，将新的特征点添加到待跟踪的角点序列包括：
当子块中待跟踪的角点数c小于预设最小特征点数n时，采用Fast特征点检测算法检测所述子块的新的特征点，将满足条件的新的特征点添加到所述待跟踪的角点序列，其中c和n是正整数；所述满足条件为：统计所有与已有角点之间的距离大于预设的最小距离m的新的特征点，并进行排序，获取相应最大的前n-c个新的特征点作为满足条件的新的特征点。
6.如权利要求1、4或5所述的方法，其特征在于，所述分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对包括：
获取前一视频帧对应的鱼眼图像的待跟踪的角点序列中任一角点Mt-1；
跟踪角点Mt-1在当前视频帧对应的鱼眼图像中对应匹配的角点Mt，将角点Mt-1和匹配的角点Mt作为匹配点对；其中，角点Mt-1和匹配的角点Mt为鱼眼图像中的二维坐标。
7.如权利要求6所述的方法，其特征在于，所述分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对之后，所述方法还包括：
分别将角点Mt-1和匹配的角点Mt采用鱼眼映射模型投影到球面模型，分别获得全景相机坐标系下的三维坐标和/>
根据所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量分别将全景相机坐标系下的三维坐标和/>旋转到世界坐标系下，获得世界坐标系下归一化的三维坐标和/>
检测当前视频帧和前一视频帧对应的鱼眼图像中每个待跟踪的匹配点对在世界坐标系之间的视差；
删除视差大于预设最大值dmax的匹配点对和视差小于预设最小值dmin的匹配点对，将视差在预设最大值dmax和预设最小值dmin之间的匹配点对作为最终的匹配点对。
8.如权利要求7所述的方法，其特征在于，所述检测当前视频帧和前一视频帧对应的鱼眼图像中每个待跟踪的匹配点对在世界坐标系之间的视差包括：
在世界坐标系中，设角点Mt-1在世界坐标系下归一化的三维坐标的坐标为(xt-1,yt-1,zt-1)，匹配点Mt在世界坐标系下归一化的三维坐标/>的坐标为(xt,yt,zt)，/>和/>为在世界坐标系下归一化的三维坐标，该匹配点对的视差为d＝1-(xt·xt-1+yt·yt-1+zt·zt-1)。
9.如权利要求1所述的方法，其特征在于，所述全景视频是经防抖处理后的全景视频。
10.如权利要求2所述的方法，其特征在于，所述将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染包括：
根据当前t时刻全景相机相对于世界坐标系的旋转量
将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵Rv；所述当前虚拟相机的旋转矩阵Rv＝[e0；e1；e2]，其中/>e2＝e0×e1；为世界坐标系的向上方向；e0表示向前方向的向量值，e1表示向左方向的向量值，e2表示向上方向的向量值；
利用当前t时刻全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵Rv对当前视频帧进行矩阵旋转生成虚拟相机的渲染画面。
11.如权利要求1所述的方法，其特征在于，所述将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染之前还包括：
采用扩展卡尔曼滤波器或FIR对优化后的位移量进行滤波得到平滑运动向量；
所述将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染包括：
将平滑运动向量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染。
12.一种自动调整视角的全景视频渲染装置，其特征在于，所述装置包括：
获取模块，用于获取拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和全景视频的当前视频帧和前一视频帧对应的多路鱼眼图像；
提取模块，用于分别提取全景视频的前一视频帧对应的多路鱼眼图像的角点，获取待跟踪的角点序列；
匹配点对获取模块，用于分别对所述待跟踪的角点序列进行跟踪，获取当前视频帧和前一视频帧对应的鱼眼图像中待跟踪的匹配点对；
优化模块，用于根据所述匹配点对，对全景相机当前视频帧相对前一视频帧的位移量进行优化，得到优化后的位移量，具体包括：初始化全景相机运动的初始位移量T0为(0,0,1)，T0是t＝1时的位移量；计算t-2时刻视频帧相对t-1时刻视频帧的第一位移量Tt-1，并用第一位移量Tt-1作为当前视频帧相对前一视频帧的第二位移量Tt；根据所述匹配点对，优化第二位移量Tt，得到优化后的位移量
渲染模块，用于将优化后的位移量作为虚拟相机的前进方向，计算当前虚拟相机的旋转矩阵，利用所述拍摄当前视频帧时全景相机相对于世界坐标系的旋转量和所述当前虚拟相机的旋转矩阵对全景视频的当前视频帧进行转场渲染；
所述根据所述匹配点对，优化第二位移量Tt，得到优化后的位移量包括：
采用目标函数优化第二位移量Tt，Tt用高斯牛顿或者LM迭代求解，其中，F为待优化的代价函数，i为匹配点对序号，t表示时刻，ρ(·)为Loss函数，N为优化的特征点的数目，α为平滑参数，α＝0.1，dt,i和dt-1,i分别为/>和/>对应的深度，/>和/>分别表示世界坐标系里当前视频帧和前一视频帧对应的匹配点对；
其中，
对于Fi(tt)迭代过程具体为：
首先对所有匹配点对采用最小二乘法求解深度，结果用/>表示；当/>时，则使/>当/>时,则使/>
然后计算残差以及Fi(Tt)的Jacob函数/>其中，k为迭代次数，Tt k为迭代k次后的Tt，/>和/>分别为迭代k次后的dt,i和dt-1,i，/>和/>分别为/>和的逆深度。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的自动调整视角的全景视频渲染方法的步骤。
14.一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述的自动调整视角的全景视频渲染方法的步骤。
15.一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述的自动调整视角的全景视频渲染方法的步骤。
CN202010015724.9A 2020-01-07 2020-01-07 自动调整视角的全景视频渲染方法、存储介质及计算机设备 Active CN111242975B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010015724.9A CN111242975B (zh) 2020-01-07 2020-01-07 自动调整视角的全景视频渲染方法、存储介质及计算机设备
PCT/CN2020/141477 WO2021139583A1 (zh) 2020-01-07 2020-12-30 自动调整视角的全景视频渲染方法、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010015724.9A CN111242975B (zh) 2020-01-07 2020-01-07 自动调整视角的全景视频渲染方法、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN111242975A CN111242975A (zh) 2020-06-05
CN111242975B true CN111242975B (zh) 2023-08-25

Family

ID=70874341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010015724.9A Active CN111242975B (zh) 2020-01-07 2020-01-07 自动调整视角的全景视频渲染方法、存储介质及计算机设备

Country Status (2)

Country Link
CN (1) CN111242975B (zh)
WO (1) WO2021139583A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242975B (zh) * 2020-01-07 2023-08-25 影石创新科技股份有限公司 自动调整视角的全景视频渲染方法、存储介质及计算机设备
CN114095780A (zh) * 2020-08-03 2022-02-25 影石创新科技股份有限公司 一种全景视频剪辑方法、装置、存储介质及设备
CN112017216B (zh) * 2020-08-06 2023-10-27 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112017215B (zh) * 2020-08-06 2023-08-25 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112258581B (zh) * 2020-09-25 2022-08-19 湖北久之洋红外系统股份有限公司 一种多鱼眼镜头全景相机的现场标定方法
CN112804444B (zh) * 2020-12-30 2022-08-23 影石创新科技股份有限公司 一种视频处理方法、装置、计算设备及存储介质
CN114024944B (zh) * 2021-11-02 2024-03-29 广州虎牙科技有限公司 媒体内容植入方法、装置、电子设备及存储介质
CN117014651A (zh) * 2022-04-29 2023-11-07 北京字跳网络技术有限公司 一种视频生成方法及装置
CN115550563A (zh) * 2022-09-13 2022-12-30 影石创新科技股份有限公司 视频处理方法、装置、计算机设备和存储介质
CN116567350B (zh) * 2023-05-19 2024-04-19 上海国威互娱文化科技有限公司 全景视频数据处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106659A (zh) * 2013-01-28 2013-05-15 中国科学院上海微系统与信息技术研究所 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
CN106027852A (zh) * 2016-06-24 2016-10-12 西北工业大学 一种用于微纳卫星的视频稳像方法
CN109978911A (zh) * 2019-02-22 2019-07-05 青岛小鸟看看科技有限公司 一种图像特征点跟踪方法和相机

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565029B2 (en) * 2005-07-08 2009-07-21 Seiko Epson Corporation Method for determining camera position from two-dimensional images that form a panorama
US8417062B2 (en) * 2009-10-19 2013-04-09 Ut-Battelle, Llc System and method for stabilization of fisheye video imagery
CN106529538A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的定位方法和装置
CN109040575B (zh) * 2017-06-09 2020-12-08 株式会社理光 全景视频的处理方法、装置、设备、计算机可读存储介质
CN109561253B (zh) * 2018-12-18 2020-07-10 影石创新科技股份有限公司 一种全景视频防抖的方法、装置、便携式终端及存储介质
CN110070564B (zh) * 2019-05-08 2021-05-11 广州市百果园信息技术有限公司 一种特征点匹配方法、装置、设备及存储介质
CN111242975B (zh) * 2020-01-07 2023-08-25 影石创新科技股份有限公司 自动调整视角的全景视频渲染方法、存储介质及计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106659A (zh) * 2013-01-28 2013-05-15 中国科学院上海微系统与信息技术研究所 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
CN106027852A (zh) * 2016-06-24 2016-10-12 西北工业大学 一种用于微纳卫星的视频稳像方法
CN109978911A (zh) * 2019-02-22 2019-07-05 青岛小鸟看看科技有限公司 一种图像特征点跟踪方法和相机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
阚江明等.《基于计算机视觉的活立木三维重建方法》.中国环境科学出版社,2011,第56-57页. *

Also Published As

Publication number Publication date
WO2021139583A1 (zh) 2021-07-15
CN111242975A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111242975B (zh) 自动调整视角的全景视频渲染方法、存储介质及计算机设备
CN112017216B (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
US9153014B2 (en) Image correction method and related image correction system thereof
KR20170102521A (ko) 이미지 처리 방법 및 장치
CN111163267B (zh) 一种全景视频剪辑方法、装置、设备及存储介质
CN111415310B (zh) 一种图像处理方法及装置、存储介质
WO2014045026A1 (en) Systems and methods for reducing noise in video streams
WO2021003807A1 (zh) 一种图像深度估计方法及装置、电子设备、存储介质
JP2018151689A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
JP2011008687A (ja) 画像処理装置
CN112017215B (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
CN111325828B (zh) 一种基于三目相机的三维人脸采集方法及装置
CN108804161B (zh) 应用的初始化方法、装置、终端和存储介质
CN110619670A (zh) 人脸互换方法、装置、计算机设备及存储介质
WO2022028407A1 (zh) 一种全景视频剪辑方法、装置、存储介质及设备
CN115705651A (zh) 视频运动估计方法、装置、设备和计算机可读存储介质
CN110012236A (zh) 一种信息处理方法、装置、设备和计算机存储介质
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
CN112907657A (zh) 一种机器人重定位方法、装置、设备及存储介质
US10148929B2 (en) Method of prompting proper rotation angle for image depth establishing
CN113034345B (zh) 一种基于sfm重建的人脸识别方法及系统
CN116266356A (zh) 全景视频转场渲染方法、装置和计算机设备
WO2019045835A1 (en) CALCULATION OF VOLUMES PRESENTING AN INTEREST FOR 3D PHOTOGRAMMETRIC RECONSTRUCTION

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant