CN111739105A - 一种直播机位摄像方案自动学习方法 - Google Patents

一种直播机位摄像方案自动学习方法 Download PDF

Info

Publication number
CN111739105A
CN111739105A CN202010786600.0A CN202010786600A CN111739105A CN 111739105 A CN111739105 A CN 111739105A CN 202010786600 A CN202010786600 A CN 202010786600A CN 111739105 A CN111739105 A CN 111739105A
Authority
CN
China
Prior art keywords
camera
live
video
frame
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010786600.0A
Other languages
English (en)
Other versions
CN111739105B (zh
Inventor
梁栋
丁刚毅
李鹏
唐明湘
黄天羽
李立杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010786600.0A priority Critical patent/CN111739105B/zh
Publication of CN111739105A publication Critical patent/CN111739105A/zh
Application granted granted Critical
Publication of CN111739105B publication Critical patent/CN111739105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种直播机位摄像方案自动学习方法，包括以下步骤：对已有直播视频进行镜头分割；逐帧提取得到视频关键帧序列；对相邻的毎两帧图像进行特征点提取和匹配；利用匹配的特征点得到摄像机帧间运动的旋转矩阵和平移向量；根据摄像机帧间运动参数得到对应于每个关键帧时间点的摄像机世界坐标和姿态，从而获得摄像机在摄像过程中的运动轨迹和姿态参数；对所有视频片段进行摄像机运动轨迹和姿态参数生成，得到直播过程使用的所有摄像机参数构成的直播摄像方案。本发明通过对已有直播视频进行图像处理生成直播摄像方案，对直播摄像方案的学习提供了辅助方法和工具，也为直播摄像过程的自动化提供了可能。

Description

一种直播机位摄像方案自动学习方法
技术领域
本发明涉及一种电视直播方案生成方法，特别涉及一种直播机位摄像方案自动学习方法。
背景技术
电视台在进行现场直播的时候，直播人员需要具有丰富的经验。当碰到电视台以前没有拍摄制作过的活动，就会给负责现场直播的电视台提出挑战。进行现场直播时应该怎么布设直播的摄像机，在直播过程中怎么对摄像机进行控制，都成为直播过程中面临的技术难题。面对这种问题，一个可行的解决方案是从以往类似活动的直播视频资源中进行直播摄像方案的学习。使用纯人工的方式对海量视频数据进行分析和学习是不可取的，图像处理、视频处理领域的各项成果应该被广泛使用进行直播摄像方案的学习。如果能够进行直播摄像方案的自动化学习，那么不仅仅可用于没有经验的直播摄像方案的设计，也为直播摄像机的自动布设、控制也就是摄像过程的自动化提供了可能。但是现有技术中从未见有直播摄像方案自动学习相关技术的报道。
发明内容
本发明的目的在于针对现有技术的不足，提供一种直播机位摄像方案自动学习方法，包括以下步骤：
对已有直播视频进行镜头分割，使得每个视频片段不包含相机切换；
选取一段分割后的视频片段，标定摄像机类型，并逐帧提取得到视频关键帧序列；
对相邻的毎两帧图像进行特征点提取和匹配；
利用匹配的特征点得到摄像机帧间运动的旋转矩阵和平移向量；
根据摄像机帧间运动参数得到对应于每个关键帧时间点的摄像机世界坐标和姿态，从而获得摄像机在摄像过程中的运动轨迹和姿态参数；
对所有视频片段进行摄像机运动轨迹和姿态参数生成，得到直播过程使用的所有摄像机参数构成的直播摄像方案。
根据本发明实施例的一种具体实现方式，所述标定摄像机类型通过人工方式标定，或者通过对每种摄像机拍摄图像特征进行特征建模，实现对视频片段的自动标定。
根据本发明实施例的一种具体实现方式，对视频片段进行关键动作片段标定，从而生成对应关键动作片段的直播摄像方案。
根据本发明实施例的一种具体实现方式，还包括回环检测步骤，比较每两帧图像的相似度，当相似度大于阈值，就认为这两帧图像是在同一点观测到的，并对摄像机的轨迹进行修正。
根据本发明实施例的一种具体实现方式，还包括人工修正摄像机参数的步骤。
根据本发明实施例的一种具体实现方式，还包括对视频关键帧的运动模糊进行复原的步骤。
根据本发明实施例的一种具体实现方式，还包括对视频关键帧进行图像增强的步骤。
另一方面，本发明还提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的一种直播机位摄像方案自动学习方法。
另一方面，本发明还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述的一种直播机位摄像方案自动学习方法。
另一方面，本发明还提供了一种计算机程序产品，包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述的一种直播机位摄像方案自动学习方法。
有益效果
本发明提出的一种直播机位摄像方案自动学习方法，通过对已有直播视频进行图像处理生成直播摄像方案，对直播摄像方案的学习提供了辅助方法和工具，也为直播摄像过程的自动化提供了可能。
附图说明
图1为本发明实施例所述方法的流程图；
图2为相机成像原理示意图。
具体实施方式
下面结合附图，具体说明本发明的优选实施方式。
本发明实施例提供了一种直播机位摄像方案自动学习方法，如图1所示，包括以下步骤：
S1：对已有直播视频进行镜头分割，使得每个视频片段不包含相机切换；
因为直播视频包含多个直播摄像机摄像视频，所以首先需要对已有直播视频进行镜头分割，使得每个视频片段不包含相机切换。分割后的每个视频片段只包含某一个摄像机的视频数据。
S2：选取一段分割后的视频片段，标定摄像机类型，并逐帧提取得到视频关键帧序列；
根据本发明实施例的一种具体实现方式，由于直播过程中使用的摄像机种类很少，所以可以通过人工方式标定每一种摄像机类型。也可以对有限的几种摄像机拍摄图像特征进行特征建模，实现对视频片段的自动标定。
S3：对相邻的毎两帧图像进行特征点提取和匹配；
这个步骤可以使用图像处理领域已有的特征点提取和匹配算法，例如ORB、SIFT、SURF等。
S4：利用匹配的特征点得到摄像机帧间运动的旋转矩阵和平移向量；
图2为相机小孔成像原理示意图。如图2所示，步骤S3中已经给定成功匹配的空间点在相机平面内投影的坐标，需要计算相机在观察点之间的运动状态。这个步骤可以借鉴移动机器人自主导航领域为机器人定位和建图时使用的SLAM视觉里程计技术。在视觉里程计技术中，有多种方法可以用来估计相机运动状态，例如PnP方法、ICP方法、对极几何方法等。例如在对极几何方法中，每两个成功匹配的点可以提供一对对极约束，提供八个点就可以计算出本质矩阵，对本质矩阵进行SVD分解就可以解出相机运动的旋转矩阵R和平移向量t。相机的帧间运动一般用四元数、欧拉角或者旋转矩阵、平移矢量表示。
S5：根据摄像机帧间运动参数得到对应于每个关键帧时间点的摄像机世界坐标和姿态，从而获得摄像机在摄像过程中的运动轨迹和姿态参数；
获得每两帧之间的摄像机帧间运动参数即旋转矩阵R和平移向量t后，就可以计算得出对应于每个关键帧时间点的摄像机世界坐标和姿态，从而获得摄像机在摄像过程中的运动轨迹和姿态参数。
步骤S2-S5是对一段视频片段进行处理的步骤，获得的是与该视频片段对应的摄像机运动轨迹和姿态参数。对所有视频片段进行摄像机运动轨迹和姿态参数生成，得到直播过程使用的所有摄像机参数构成的直播摄像方案。
根据本发明实施例的一种具体实现方式，对视频片段进行关键动作片段标定，从而生成对应关键动作片段的直播摄像方案。
在直播视频中，很多视频片段对应着一些关键动作。例如，高空滑雪运动员做了一个高空翻滚特技，此时往往会有一段特写镜头。用户可以对感兴趣的视频片段进行关键动作标定，从而生成针对这些关键动作的直播摄像方案。
根据本发明实施例的一种具体实现方式，还包括回环检测步骤，比较每两帧图像的相似度，当相似度大于阈值，就认为这两帧图像是在同一点观测到的，并对摄像机的轨迹进行修正。
由于计算每两帧之间的帧间运动都会存在误差，误差不断积累会使得结果产生严重的偏离。所以本实施例还包括回环检测步骤，比较每两帧图像的相似度，当相似度大于阈值，就认为这两帧图像是在同一点观测到的，对应这两帧的摄像机位置应该一致。回环检测的关键问题是如何度量两个图像帧之间的相似性，当前的成熟的方法是词袋模型，创建词袋，利用词袋中每一帧图像中的特征元素比较每两帧图像的相似度，当相似度大于某一个阈值的时候，就认为这两幅图像是在同一点观测到的，相机回到了曾经到达过的位置。根据检测结果对摄像机的轨迹进行修正。
根据本发明实施例的一种具体实现方式，还包括人工修正摄像机参数的步骤。本实施例的方法还提供了人机交互接口，用户可以手动对摄像机参数进行修正，从而可以人工加入先验参数，或者修改直播视频中用户认为需要改进之处，或者生成根据不同用户定制的直播摄像方案。
根据本发明实施例的一种具体实现方式，还包括对视频关键帧的运动模糊进行复原的步骤。
直播视频可能会存在拍摄质量问题，可以通过图像处理技术对视频中的运动模糊进行复原。提高视频质量有助于获得正确的摄像机运动参数。
根据本发明实施例的一种具体实现方式，还包括对视频关键帧进行图像增强的步骤。图像增强步骤可以对低质量视频进行去雾、增强对比度等处理，提高图像的清晰度。
另一方面，本发明还提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的一种直播机位摄像方案自动学习方法。
另一方面，本发明还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述的一种直播机位摄像方案自动学习方法。
另一方面，本发明还提供了一种计算机程序产品，包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述的一种直播机位摄像方案自动学习方法。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称并不构成对该单元本身的限定。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种直播机位摄像方案自动学习方法，其特征在于，包括以下步骤：
对已有直播视频进行镜头分割，使得每个视频片段不包含相机切换；
选取一段分割后的视频片段，标定摄像机类型，并逐帧提取得到视频关键帧序列；
对相邻的毎两帧图像进行特征点提取和匹配；
利用匹配的特征点得到摄像机帧间运动的旋转矩阵和平移向量；
根据摄像机帧间运动参数得到对应于每个关键帧时间点的摄像机世界坐标和姿态，从而获得摄像机在摄像过程中的运动轨迹和姿态参数；
对所有视频片段进行摄像机运动轨迹和姿态参数生成，得到直播过程使用的所有摄像机参数构成的直播摄像方案。
2.根据权利要求1所述的一种直播机位摄像方案自动学习方法，其特征在于，所述标定摄像机类型通过人工方式标定，或者通过对每种摄像机拍摄图像特征进行特征建模，实现对视频片段的自动标定。
3.根据权利要求1或2所述的一种直播机位摄像方案自动学习方法，其特征在于，对视频片段进行关键动作片段标定，从而生成对应关键动作片段的直播摄像方案。
4.根据权利要求3所述的一种直播机位摄像方案自动学习方法，其特征在于，还包括回环检测步骤，比较每两帧图像的相似度，当相似度大于阈值，就认为这两帧图像是在同一点观测到的，并对摄像机的轨迹进行修正。
5.根据权利要求4所述的一种直播机位摄像方案自动学习方法，其特征在于，还包括人工修正摄像机参数的步骤。
6.根据权利要求5所述的一种直播机位摄像方案自动学习方法，其特征在于，还包括对视频关键帧的运动模糊进行复原的步骤。
7.根据权利要求6所述的一种直播机位摄像方案自动学习方法，其特征在于，还包括对视频关键帧进行图像增强的步骤。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一权利要求1-7所述的一种直播机位摄像方案自动学习方法。
9.一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述任一权利要求1-7所述的一种直播机位摄像方案自动学习方法。
10.一种计算机程序产品，其特征在于，包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述任一权利要求1-7所述的一种直播机位摄像方案自动学习方法。
CN202010786600.0A 2020-08-07 2020-08-07 一种直播机位摄像方案自动学习方法 Active CN111739105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010786600.0A CN111739105B (zh) 2020-08-07 2020-08-07 一种直播机位摄像方案自动学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010786600.0A CN111739105B (zh) 2020-08-07 2020-08-07 一种直播机位摄像方案自动学习方法

Publications (2)

Publication Number Publication Date
CN111739105A true CN111739105A (zh) 2020-10-02
CN111739105B CN111739105B (zh) 2020-11-20

Family

ID=72658228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010786600.0A Active CN111739105B (zh) 2020-08-07 2020-08-07 一种直播机位摄像方案自动学习方法

Country Status (1)

Country Link
CN (1) CN111739105B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716595A (zh) * 2014-01-08 2014-04-09 深圳英飞拓科技股份有限公司 全景拼接摄像机和球机联动控制方法及装置
CN108335327A (zh) * 2017-01-19 2018-07-27 富士通株式会社 摄像机姿态估计方法和摄像机姿态估计装置
CN108604383A (zh) * 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
CN109345593A (zh) * 2018-09-04 2019-02-15 海信集团有限公司 一种摄像机姿态的检测方法及装置
US20200035019A1 (en) * 2018-07-25 2020-01-30 Sony Interactive Entertainment Inc. Method and system for generating an image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716595A (zh) * 2014-01-08 2014-04-09 深圳英飞拓科技股份有限公司 全景拼接摄像机和球机联动控制方法及装置
CN108604383A (zh) * 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
CN108335327A (zh) * 2017-01-19 2018-07-27 富士通株式会社 摄像机姿态估计方法和摄像机姿态估计装置
US20200035019A1 (en) * 2018-07-25 2020-01-30 Sony Interactive Entertainment Inc. Method and system for generating an image
CN109345593A (zh) * 2018-09-04 2019-02-15 海信集团有限公司 一种摄像机姿态的检测方法及装置

Also Published As

Publication number Publication date
CN111739105B (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN108805917B (zh) 空间定位的方法、介质、装置和计算设备
CN107862720B (zh) 基于多地图融合的位姿优化方法及位姿优化系统
CN111862296B (zh) 三维重建方法及装置、系统、模型训练方法、存储介质
Ryu et al. Robust online digital image stabilization based on point-feature trajectory without accumulative global motion estimation
CN111680671A (zh) 一种基于光流的摄像方案自动生成方法
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
Huang et al. Learning to film from professional human motion videos
US11922658B2 (en) Pose tracking method, pose tracking device and electronic device
CN105279771B (zh) 一种视频中基于在线动态背景建模的运动目标检测方法
CN110378250B (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN112648994B (zh) 基于深度视觉里程计和imu的相机位姿估计方法及装置
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
CN111753739A (zh) 物体检测方法、装置、设备以及存储介质
Botterill et al. New Conditional Sampling Strategies for Speeded-Up RANSAC.
CN113112542A (zh) 一种视觉定位方法、装置、电子设备及存储介质
JPWO2018235219A1 (ja) 自己位置推定方法、自己位置推定装置および自己位置推定プログラム
Li et al. Gyroflow: Gyroscope-guided unsupervised optical flow learning
CN111711733B (zh) 一种直播方案仿真设计验证方法
Liu et al. Application of Ghost-DeblurGAN to fiducial marker detection
CN111739105B (zh) 一种直播机位摄像方案自动学习方法
CN113345032A (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
Cuevas et al. Statistical moving object detection for mobile devices with camera
CN112085842A (zh) 深度值确定方法及装置、电子设备和存储介质
CN111988520B (zh) 一种画面切换方法、装置、电子设备及存储介质
CN114222065B (zh) 图像处理方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant