CN114913308A - 摄像机跟踪方法、装置、设备及存储介质 - Google Patents

摄像机跟踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114913308A
CN114913308A CN202210549117.XA CN202210549117A CN114913308A CN 114913308 A CN114913308 A CN 114913308A CN 202210549117 A CN202210549117 A CN 202210549117A CN 114913308 A CN114913308 A CN 114913308A
Authority
CN
China
Prior art keywords
information
camera
video
video information
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210549117.XA
Other languages
English (en)
Inventor
林献民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Uni Leader Technology Co ltd
Original Assignee
Shenzhen Uni Leader Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Uni Leader Technology Co ltd filed Critical Shenzhen Uni Leader Technology Co ltd
Priority to CN202210549117.XA priority Critical patent/CN114913308A/zh
Publication of CN114913308A publication Critical patent/CN114913308A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof

Abstract

本申请涉及摄像机跟踪方法、装置、设备及存储介质，其中方法包括：获取初始视频信息，根据初始视频信息生成遮罩信息；根据遮罩信息生成标识图像信息；根据标识图像信息获取摄像机跟踪信息；根据摄像机跟踪信息渲染虚拟场景信息，所述虚拟场景信息包括摄像机视角的虚拟摄像信息和显示在标识图像信息上的虚拟场景信息；获取替换视频信息，所述替换视频信息包括人物视频信息和含标识图像信息的虚拟场景视频信息；将所述虚拟场景信息与所述替换视频信息进行合成并获取合成视频信息。本申请具有的技术效果是：提供一种扩展现实拍摄中的摄像机跟踪方法。

Description

摄像机跟踪方法、装置、设备及存储介质
技术领域
本申请涉及扩展现实的技术领域，尤其是涉及摄像机跟踪方法、装置、设备及存储介质。
背景技术
扩展现实(Extended Reality，简称XR)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也是AR、VR、MR等多种技术的统称；扩展现实广泛地运用于虚拟制作、节目拍摄、直播中；主要形式表现为计算机渲染虚拟三维场景输出至较大尺寸显示载体，如LED屏、投影仪、电视机等，作为主持人的虚拟背景，摄像机拍摄主持人和显示载体，摄像机拍摄的画面输入至计算机，显示载体显示以外的虚拟背景也由计算机渲染得来。
现有的摄像机在拍摄的过程中可能会出现摇移、俯仰等运动时，为了避免出现虚拟背景与显示载体显示的虚拟背景出现相对漂移、抖动，必须将每一帧的摄像机的运动状态参数都输入到计算机中，在此参数的基础上计算出虚拟场景中的虚拟摄像机的相对运动，在摄像机云台、摇臂、摄像机的上的转轴位置加装齿轮，获取云台、摇臂旋转角度参数以此算出摄像机的位置以及拍摄角度从而完成虚拟摄像机跟踪。
基于现有的扩展现实的使用过程中，申请人认为至少存在以下问题：需要对云台、摇臂进行机械改造，精度受限于机械加工及传感器的精度，无法解决因为惯性导致的抖动等问题造成的误差。
发明内容
为了改善需要对云台、摇臂进行机械改造，精度受限于机械加工及传感器的精度，因为惯性导致的抖动的问题，本申请提供的一种摄像机跟踪方法及系统。
第一方面，本申请提供一种摄像机跟踪方法，采用如下的技术方案：所述方法包括：
获取初始视频信息，所述初始视频信息包括人物视频信息和背景信息；
根据初始视频信息生成遮罩信息；
根据所述遮罩信息生成标识图像信息；
摄像机捕获含标识图像的视频信息；
根据所述视频信息实时获取摄像机跟踪信息，所述摄像机跟踪信息包括摄像机位置信息和摄像机角度信息；
根据摄像机跟踪信息渲染虚拟场景信息，所述虚拟场景信息包括摄像机视角的虚拟摄像信息和显示标识图像信息的虚拟场景信息；
获取替换视频信息，所述替换视频信息包括人物视频信息和含标识图像信息的虚拟场景视频信息；
将所述虚拟场景信息与所述替换视频信息进行合成并获取合成视频信息。
通过上述技术方案，首先获取初始视频信息，根据初始视频信息中的人物视频信息对生成遮罩信息，遮罩信息的设置提升了人物视频信息与虚拟场景信息之间的匹配程度，从而提升了播放效果；根据遮罩信息在对应的初始视频信息生成标识图像信息，根据生成的标识图像信息计算得出摄像机跟踪信息，根据摄像机跟踪信息渲染虚拟场景信息，合成替换视频信息，替换视频信息包括人物视频信息和含标识图像信息的虚拟场景视频信息，将虚拟场景信息与替换视频信息进行合成并生成合成视频信息，不需要对云台、摇臂进行机械改造，直接通过生成的标识信息计算摄像机跟踪信息，继而根据摄像机跟踪信息直接获取对应的虚拟场景信息，从而提供了一种扩展现实拍摄中的摄像机跟踪方法。
在一个具体的可实施方案中，所述根据初始视频信息生成遮罩信息包括：
根据初始视频信息获取对应的算法时间信息、高斯混合长度信息、背景占比信息和噪波强度信息；
根据混合高斯模型的背景前景分割算法对所述初始视频信息进行处理生成视频分割信息；将所述视频分割信息应用于初始视频信息获取生成与人物视频信息相匹配的遮罩信息。
通过上述技术方案，通过混合高斯模型的背景前景分割算法计算生成分割信息，通过预设的算法时间、高斯混合强度、背景占比和噪波强度快速便捷的对视频信息中的人物与背景进行分割，从而提升了人物与背景的分割效率。
在一个具体的可实施方案中，在所述将所述视频分割信息应用于初始视频信息获取生成与人物视频信息相匹配的遮罩信息之后，还包括：
获取预设的扩张迭代系数与扩张检测矩阵；
根据扩张迭代系数与扩张检测矩阵对遮罩信息进行扩张操作；
将完成扩张操作的遮罩信息设置为遮罩信息。
通过上述技术方案，首先获取人物视频信息，并获取预设的扩张迭代系数与扩张检测矩阵，根据人物视频信息生成相对应的遮罩信息，减少了遮罩面积与实际人物的边缘区域较为接近导致的人物挥动手臂或者快速移动的时候容易产生人物或者虚拟背景被错误遮挡的可能，直接从而提升了人物视频信息与虚拟场景信息之间的契合程度。
在一个具体的可实施方案中，在所述将完成扩张操作的遮罩信息设置为遮罩信息之后，还包括：
获取预设的平均值模糊信息与羽化检测矩阵；
根据平均值模糊信息与羽化检测矩阵对遮罩信息进行羽化操作；
将完成羽化操作的遮罩信息设置为遮罩信息。
通过上述技术方案，通过获取平均值模糊信息与羽化检测矩阵，使得工作人员可以通过调整羽化检测矩阵的方式对遮罩信息的羽化程度进行调整，从而提升了羽化效果，减少了遮罩面积与实际人物的边缘区域较为接近导致的人物挥动手臂或者快速移动的时候容易产生人物或者虚拟背景被错误遮挡的可能，进一步提升了人物视频信息与虚拟场景信息之前的契合程度。
在一个具体的可实施方案中，所述根据遮罩信息生成标识图像信息包括：
分别获取遮罩信息与人物视频信息对应的像素值；
对遮罩信息与人物视频信息对应的像素值进行取反操作；
将对应的像素值不为零的图像信息与预设的标识信息进行叠加并将所述叠加图像信息设置为标识图像信息。
通过上述技术方案，通过对像素值的取反操作，使得背景图像信息被充分地替换为标识信息，使得系统可以快速精准的对背景图像信息进行替换。
在一个具体的可实施方案中，所述根据标识图像信息实时获取摄像机跟踪信息包括：所述根据标识图像信息实时获取摄像机跟踪信息包括：
获取预设的显示屏模型的模型原点坐标信息；
根据模型原点坐标信息为原点建立世界坐标系；
统计替换视频信息中至少包含三个标识点的视频二维坐标矩阵；
获取三个标识点在世界坐标系的坐标矩阵并将所述坐标矩阵设置为标识坐标信息；
获取摄像机预设的内参矩阵，所述内参矩阵可表示为，其中u0、v0为二分之一替换视频信息的像素宽高，β是倾斜参数，
Figure BDA0003653801990000031
f为摄像机的焦距值；
获取预设的畸变校正矩阵；
根据视频二维坐标矩阵、标识坐标信息、内参矩阵和畸变校正矩阵获取摄像机跟踪信息。
通过上述技术方案，通过建立世界坐标系使得系统可以根据标识图像信息上预设的标识点与替换视频信息上的标记点，并根据摄像机的内参矩阵和畸变校正矩阵快速便捷的生成摄像机跟踪信息，使得系统可以根据摄像机跟踪信息快速便捷的生成对应的虚拟场景信息。
在一个具体的可实施方案中，所述根据摄像机跟踪信息渲染虚拟场景信息包括：
将虚拟摄像机对应的坐标信息绑定摄像机跟踪信息；
获取摄像机跟踪信息、摄像机内参矩阵和虚拟场景相对于世界坐标系的矢量坐标矩阵；
根据摄像机内参矩阵、摄像机跟踪信息和虚拟场景相对于世界坐标系的矢量坐标矩阵计算得出虚拟场景在摄像机视角的矢量坐标矩阵；
获取背景图像信息在世界坐标系的矢量坐标矩阵；
根据摄像机内参矩阵、摄像机跟踪信息和背景图像信息在世界坐标系的矢量坐标矩阵计算得出背景图像信息在虚拟摄像机视角下的显示画面。
通过上述技术方案，在将虚拟摄像机绑定摄像机跟踪信息后，可以根据摄像机跟踪信息、摄像机内参矩阵和虚拟场景相对于世界坐标系的矢量坐标矩阵计算出虚拟场景在摄像机视角的矢量坐标矩阵，在获取背景图像信息在世界坐标系的矢量坐标矩阵，计算得出背景图像信息在虚拟摄像机视角下的显示画面，从而提升了虚拟场景与摄像机之间的匹配程度，从而提升了虚拟场景的真实性。
第二方面，本申请提供一种摄像机跟踪装置，采用如下技术方案：所述装置包括：
视频信息获取模块，用于获取初始视频信息，所述初始视频信息包括人物视频信息和背景信息；
遮罩信息生成模块，用于根据初始视频信息生成遮罩信息；
标识图像生成模块，用于根据遮罩信息生成标识图像信息并通过摄像机捕获含标识图像的视频信息；
摄像坐标获取模块，用于根据所述视频信息实时获取摄像机跟踪信息，所述摄像机跟踪信息包括摄像机位置信息和摄像机角度信息；
虚拟场景渲染模块，用于根据摄像机跟踪信息渲染虚拟场景信息，所述虚拟场景信息包括摄像机视角的虚拟摄像信息和显示标识图像信息的虚拟场景信息；
替换视频获取模块，用于获取替换视频信息，所述替换视频信息包括人物视频信息和含标识图像信息的虚拟场景信息；
合成视频生成模块，用于将所述虚拟场景信息与所述替换视频信息进行合成并获取合成视频信息。
通过上述技术方案，首先获取初始视频信息，根据初始视频信息中的人物视频信息对生成遮罩信息，遮罩信息的设置提升了人物视频信息与虚拟场景信息之间的匹配程度，从而提升了播放效果；根据遮罩信息在对应的初始视频信息生成标识图像信息，根据生成的标识图像信息计算得出摄像机跟踪信息，根据摄像机跟踪信息渲染虚拟场景信息，合成替换视频信息，替换视频信息包括人物视频信息和标识图像信息，将虚拟场景信息与替换视频信息进行合成并生成合成视频信息，不需要对云台、摇臂进行机械改造，直接通过生成的标识信息计算摄像机跟踪信息，继而根据摄像机跟踪信息直接获取对应的虚拟场景信息，从而提供了一种扩展现实拍摄中的摄像机跟踪方法。
第三方面，本申请提供一种计算机设备，采用如下技术方案：包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述任一种摄像机跟踪方法的计算机程序。
通过上述技术方案，首先获取初始视频信息，根据初始视频信息中的人物视频信息对生成遮罩信息，遮罩信息的设置提升了人物视频信息与虚拟场景信息之间的匹配程度，从而提升了播放效果；根据遮罩信息在对应的初始视频信息生成标识图像信息，根据生成的标识图像信息计算得出摄像机跟踪信息，根据摄像机跟踪信息渲染虚拟场景信息，合成替换视频信息，替换视频信息包括人物视频信息和标识图像信息，将虚拟场景信息与替换视频信息进行合成并生成合成视频信息，不需要对云台、摇臂进行机械改造，直接通过生成的标识信息计算摄像机跟踪信息，继而根据摄像机跟踪信息直接获取对应的虚拟场景信息，从而提供了一种扩展现实拍摄中的摄像机跟踪方法。
第四方面，本申请提供一种计算机可读存储介质，采用如下技术方案：存储有能够被处理器加载并执行上述任一种摄像机跟踪方法的计算机程序。
通过上述技术方案，首先获取初始视频信息，根据初始视频信息中的人物视频信息对生成遮罩信息，遮罩信息的设置提升了人物视频信息与虚拟场景信息之间的匹配程度，从而提升了播放效果；根据遮罩信息在对应的初始视频信息生成标识图像信息，根据生成的标识图像信息计算得出摄像机跟踪信息，根据摄像机跟踪信息渲染虚拟场景信息，合成替换视频信息，替换视频信息包括人物视频信息和标识图像信息，将虚拟场景信息与替换视频信息进行合成并生成合成视频信息，不需要对云台、摇臂进行机械改造，直接通过生成的标识信息计算摄像机跟踪信息，继而根据摄像机跟踪信息直接获取对应的虚拟场景信息，从而提供了一种扩展现实拍摄中的摄像机跟踪方法。
综上所述，本申请包括以下至少一种有益技术效果：
1.首先获取初始视频信息，根据初始视频信息中的人物视频信息对生成遮罩信息，遮罩信息的设置提升了人物视频信息与虚拟场景信息之间的匹配程度，从而提升了播放效果；根据遮罩信息在对应的初始视频信息生成标识图像信息，根据生成的标识图像信息计算得出摄像机跟踪信息，根据摄像机跟踪信息渲染虚拟场景信息，合成替换视频信息，替换视频信息包括人物视频信息和标识图像信息，将虚拟场景信息与替换视频信息进行合成并生成合成视频信息，不需要对云台、摇臂进行机械改造，直接通过生成的标识信息计算摄像机跟踪信息，继而根据摄像机跟踪信息直接获取对应的虚拟场景信息，从而提供了一种扩展现实拍摄中的摄像机跟踪方法；
2.通过建立世界坐标系使得系统可以根据标识图像信息上预设的标识点与替换视频信息上的标记点，并根据摄像机的内参矩阵和畸变校正矩阵快速便捷的生成摄像机跟踪信息，使得系统可以根据摄像机跟踪信息快速便捷的生成对应的虚拟信息。
附图说明
图1是本申请实施例中摄像机跟踪方法的流程图。
图2是本申请实施例中扩大遮罩操作的示意图。
图3是本申请实施例中羽化遮罩操作的示意图。
图4是本申请实施例中摄像机跟踪装置的结构框图。
附图标记：401、视频信息获取模块；402、遮罩信息生成模块；403、标识图像生成模块；404、摄像坐标获取模块；405、虚拟场景渲染模块；406、替换视频获取模块；407、合成视频生成模块。
具体实施方式
以下结合附图1-4对本申请作进一步详细说明。
本申请实施例公开一种摄像机跟踪方法，该方法基于虚拟制作系统，虚拟制作系统包括呈“L”型设置的显示屏，用于获取视频信息的摄像机，摄像机通过摄像机移动系统进行移动，用于获取不同角度的视频信息，摄像机将拍摄到的视频信息传送至处理器，处理器根据视频信息进行虚拟场景的渲染并最终输出包含虚拟场景的合成视频信息。
如图1所示，该方法包括以下步骤：
S10，获取初始视频信息。
其中，初始视频信息包括人物视频信息和背景图像信息，摄像机首先直接对显示屏以及显示屏上的人物进行拍摄并将拍摄到的初始视频信息发送至处理器等待下一步处理。
S11，生成遮罩信息。
其中，首先根据人物视频信息进行扩张操作获取遮罩信息，根据遮罩信息获取羽化遮罩信息。
S12，根据遮罩信息生成标识图像信息。
其中，获取遮罩信息，将遮罩信息剩余的部分与预设的标识图像信息进行合成。
S13，根据标识图像信息实时获取摄像机跟踪信息。
其中，摄像机跟踪信息包括摄像机位置信息和摄像机角度信息，获取显示屏模型的模型原点坐标信息，根据模型坐标原点信息建立世界坐标体系，根据标识图像信息上的标识点信息反向推算出摄像机在移动过程中的摄像机跟踪信息。
S14，根据摄像机跟踪信息渲染虚拟场景信息。
其中，虚拟场景信息包括摄像机视角的虚拟摄像信息和显示在标识图像信息上的虚拟场景信息，通过获取摄像机跟踪信息获得摄像机的视角信息，继而可以对当期视角下的虚拟场景信息进行渲染。
S15，获取合成视频信息。
其中，合成视频信息包括人物视频信息和标识图像信息，通过将虚拟场景信息合成在标识图像信息上，继而将人物视频信息与虚拟场景信息进行合成，获取的合成视频信息包括摄像机拍摄的人物视频信息以及显示屏上显示的背景图像信息和处理器渲染的虚拟场景信息。
在一个实施例中，考虑到需要对显示屏上显示的背景图像信息进行替换，需要对初始视频信息进行分割操作，分割操作可以被具体执行为：
根据初始视频信息获取相对应的算法时间信息、高斯混合长度信息、背景占比信息和噪波强度信息，根据混合高斯模型的背景前景分割算法生成视频分割信息，实用视频分割信息的逻辑调用相应的初始视频信息，获取与人物视频信息相匹配的遮罩信息；使得系统可以自动的根据人物视频信息筛选出对应的分割信息，将分割信息应用于对应的初始视频信息，使得系统可以快速便捷的生成相关的遮罩信息。
在一个实施例中，如图2所示，考虑到需要将背景图像信息进行替换，为了减少人物在动作期间导致的人物视频信息或虚拟背景信息被错误遮挡的可能，需要基于人物视频信息进行扩大遮罩的操作，具体的扩大遮罩的操作可以被具体执行为：
对获取的初始视频信息赋予对应的像素点，其中人物视频信息赋予像素点“1”，背景图像信息赋予像素点“0”，首先获取扩张迭代系数，一般设置为1；扩张检测矩阵，一般设置为五阶矩阵；初始视频信息中的遮罩信息，将初始视频信息中遮罩信息像素点与周边的扩张检测矩阵的像素点进行检测，若初始视频信息中扩展检测矩阵范围内的像素点包含“1”，则将对应的像素点设置为“1”；若初始视频信息中的扩展检测矩阵范围内的像素点都为“0”，则将对应的像素点设置为“0”，获取对应的遮罩信息；减少了人物视频信息在移动的过程中导致人物视频信息或虚拟场景信息被遮挡的可能，从而提升了人物视频信息与虚拟场景信息之间的匹配程度。
在一个实施例中，如图3所示，考虑到需要将背景信息进行替换，为了进一步减少人物在移动期间导致的人物视频信息或虚拟背景信息被错误遮挡的可能，需要基于遮罩信息进行羽化操作，具体的羽化操作可以具体被执行为：
基于遮罩信息对应的像素点，获取预设的平均值模糊信息，一般采用平均值模糊，羽化检测矩阵，一般设置为十一阶矩阵；对遮罩信息中对应的像素点进行检测，若初始视频信息中的羽化检测矩阵范围内的像素点包含“1”，则将对应的像素点设置为“1”；否则，将对应的像素点设置为“0”，获取对应的遮罩信息；减少了遮罩信息中的棱角过多导致的移动过程中出现人物虚拟场景信息被错误遮挡的可能，进一步提升了人物视频信息与虚拟场景信息之间的匹配程度。
在一个实施例中，考虑到需要对初始视频信息中的遮罩信息剩余的背景图像信息与标识图像信息进行合成操作，具体的合成操作可以被具体执行为：
获取遮罩信息以及背景图像信息，分别获取遮罩信息和背景图像信息对应的像素值，遮罩信息对应的像素值为“0”，背景图像信息对应的像素值为“1”，遮罩信息与背景图像信息对应的叠加公式为：M＝(1-N)*P，其中M为带透明通道且与标识图像信息叠加后的标识图案，N为遮罩信息，P为含有若干标识点图案的图像，标识点的形式和数量可以由工作人员进行设定；提升了系统在不同环境下对于标识点的识别效率。
在一个实施例中，考虑到需要根据标识图像信息获取摄像机跟踪信息，获取操作可以被具体执行为：
获取显示屏模型的原点信息，以显示屏模型的原点信息为原点建立世界坐标系，获取标识图像信息上预设的标识点在世界坐标系的标识坐标矩阵，统计替换视频信息中至少包含三个标记点在世界坐标系的视频坐标矩阵，获取摄像机预设的内参矩阵，内参矩阵可以被表示为，其中u0、v0为二分之一替换视频信息的像素宽高，β是倾斜参数，
Figure BDA0003653801990000081
f为摄像机的焦距值，获取预设的畸变校正矩阵，畸变校正矩阵可以通过摄像机标定获取，通过公式
Figure BDA0003653801990000082
可以计算得出摄像机跟踪信息，其中[Mposition，Mrotation]为摄像机在世界坐标系中的相对于原点的位置及旋转矩阵，即为摄像机在世界坐标系中的摄像机跟踪信息；Mworld为显示屏显示的若干标记点在世界坐标系的坐标矩阵，Mv为替换视频信息中可以得到至少三个标记点的坐标矩阵，Mcamera为摄像机的内参矩阵，Mdistortion为摄像机的畸变校正矩阵；使得系统可以根据现有的摄像机位置、标识坐标矩阵、视频坐标矩阵和摄像机的内参矩阵自动的计算出摄像机对应的进行拍摄的位置跟踪信息，使得系统可以快速便捷的获取虚拟摄像机的拍摄视角，继而通过处理器对拍摄视角的虚拟场景进行渲染，从而提升了系统的渲染效率。
在一个实施例中，考虑到需要根据摄像机跟踪信息渲染虚拟场景信息，具体的渲染操作可以被执行为：
将虚拟摄像机绑定摄像机的旋转矩阵和位置矩阵后，根据摄像机视角算法可以获得摄像机视角的画面的虚拟场景，具体可以表示为VClip＝Mcamera×[Mposition,Mrotation]×Vworld，其中，VClip为虚拟场景在摄像机视角的矢量坐标矩阵，[Mposition，Mrotation]为摄像机在世界坐标系中的相对于原点的位置及旋转矩阵，Vworld为虚拟场景相对于世界坐标系的矢量坐标矩阵，在获取摄像机的矢量坐标矩阵Vclip之后，可以根据公式Vclip_screen＝Mcamera×[Mposition,Mrotation]×Vscreen进行计算，其中，Vclip-screen为显示屏模型在虚拟摄像机视角中的矢量坐标矩阵，Vscreen为显示屏在世界坐标系的矢量坐标矩阵，基于显示屏在虚拟摄像机视角中的矢量坐标矩阵可以获取显示屏在虚拟摄像机视角下的显示画面；使得系统可以根据摄像机位置信息自动的计算获取显示屏在虚拟摄像机视角中的矢量坐标矩阵和显示屏在世界坐标系的矢量坐标矩阵，从而提升了系统在渲染虚拟摄像机视角下渲染场景信息与人物视频信息之间的匹配程度。
本申请实施例的实施原理为：
首先获取初始视频信息，初始视频信息包括人物视频信息和背景图像信息，基于混合高斯模型背景前景分割算法生成背景，根据人物视频信息生成相应的遮罩信息，将遮罩与含特定标识图案的图像进行叠加，获取摄像机在世界坐标系中的位置和角度信息，根据摄像机的位置信息渲染虚拟场景，将虚拟场景与视频信息进行合成并输出对应的合成视频信息。
基于上述方法，本申请实施例还公开一种摄像机跟踪装置。
如图4所示，该装置包括以下模块：
视频信息获取模块401，用于获取初始视频信息，初始视频信息包括人物视频信息和背景图像信息；
遮罩信息生成模块402，用于根据初始视频信息生成遮罩信息；
标识图像生成模块403，用于根据遮罩信息生成标识图像信息；
摄像坐标获取模块404，用于根据标识图像信息实时获取摄像机跟踪信息，摄像机跟踪信息包括摄像机位置信息和摄像机角度信息；
虚拟场景渲染模块405，用于根据摄像机跟踪信息渲染虚拟场景信息，虚拟场景信息包括摄像机视角的虚拟摄像信息和显示在标识图像信息上的虚拟场景信息；
替换视频获取模块406，用于获取替换视频信息，替换视频信息包括人物视频信息和含标识图像信息的虚拟场景视频信息；
合成视频生成模块407，用于将虚拟场景信息与替换视频信息进行合成并获取合成视频信息。
在一个实施例中，遮罩信息生成模块402，还用于根据初始视频信息生成遮罩信息包括：根据初始视频信息获取预设的算法时间信息、高斯混合长度信息、背景占比信息和噪波强度信息；根据混合高斯模型的背景前景分割算法生成视频分割信息；将视频分割信息应用于初始视频信息获取生成与人物视频信息相匹配的遮罩信息。
在一个实施例中，遮罩信息生成模块402，还用于在将视频分割信息应用于初始视频信息获取生成与人物视频信息相匹配的遮罩信息之后，还包括：获取预设的扩张迭代系数与扩张检测矩阵；根据扩张迭代系数与扩张检测矩阵对遮罩信息进行扩张操作；将完成扩张操作的遮罩信息设置为遮罩信息。
在一个实施例中，遮罩信息生成模块402，还用于在将完成扩张操作的遮罩信息设置为遮罩信息之后，还包括：获取预设的平均值模糊信息与羽化检测矩阵；根据平均值模糊信息与羽化检测矩阵对遮罩信息进行羽化操作；将完成羽化操作的遮罩信息设置为遮罩信息。
在一个实施例中，标识图像生成模块403，还用于根据遮罩信息生成标识图像信息包括：分别获取遮罩信息与人物视频信息对应的像素值；对最终弄遮罩信息与人物视频信息对应的像素值进行取反操作；将对应的像素值不为0的图像信息与预设的标识信息进行叠加并将叠加图像信息设置为标识图像信息。
在一个实施例中，摄像坐标获取模块404，还用于根据标识图像信息实时获取摄像机跟踪信息包括：将显示屏模型原点设置为原点建立世界坐标系；获取标识图像信息上预设的标识点在世界坐标系的标识坐标矩阵；统计替换视频信息中至少包含三个标记点在世界坐标系的视频坐标矩阵；获取摄像机预设的内参矩阵，内参矩阵可表示为，其中u0、v0为二分之一替换视频信息的像素宽高，β是倾斜参数，
Figure BDA0003653801990000101
f为摄像机的焦距值；获取预设的畸变校正矩阵；根据标识坐标信息、视频坐标信息、内参矩阵和畸变校正矩阵获取摄像机跟踪信息。
在一个实施例中，摄像坐标获取模块404，还用于根据摄像机跟踪信息渲染虚拟场景信息包括：将虚拟摄像机绑定摄像机跟踪信息；获取摄像机跟踪信息、摄像机内参矩阵和虚拟场景相对于世界坐标系的矢量坐标矩阵；根据摄像机内参矩阵、摄像机跟踪信息和虚拟场景相对于世界坐标系的矢量坐标矩阵计算得出虚拟场景在摄像机视角的矢量坐标矩阵；获取背景图像信息在世界坐标系的矢量坐标矩阵；根据摄像机内参矩阵、摄像机跟踪信息和背景图像信息在世界坐标系的矢量坐标矩阵计算得出背景图像信息在虚拟摄像机视角下的显示画面。
本申请实施例还公开一种计算机设备。
具体来说，该计算机设备包括存储器和处理器，存储器上存储有能够被处理器加载并执行上述摄像机跟踪方法的计算机程序。
本申请实施例还公开一种计算机可读存储介质。
具体来说，该计算机可读存储介质，其存储有能够被处理器加载并执行如上述摄像机跟踪方法的计算机程序，该计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (10)

1.一种摄像机跟踪方法，其特征在于，所述方法包括：
获取初始视频信息，所述初始视频信息包括人物视频信息和背景信息；
根据初始视频信息生成遮罩信息；
根据所述遮罩信息生成标识图像信息；
摄像机捕获含标识图像的视频信息；
根据所述视频信息实时获取摄像机跟踪信息，所述摄像机跟踪信息包括摄像机位置信息和摄像机角度信息；
根据摄像机跟踪信息渲染虚拟场景信息，所述虚拟场景信息包括摄像机视角的虚拟摄像信息和显示标识图像信息的虚拟场景信息；
获取替换视频信息，所述替换视频信息包括人物视频信息和含标识图像信息的虚拟场景视频信息；
将所述虚拟场景信息与所述替换视频信息进行合成并获取合成视频信息。
2.根据权利要求1所述的方法，其特征在于，所述根据初始视频信息生成遮罩信息包括：
根据初始视频信息获取对应的算法时间信息、高斯混合长度信息、背景占比信息和噪波强度信息；
根据混合高斯模型的背景前景分割算法对所述初始视频信息进行处理生成视频分割信息；
将所述视频分割信息应用于初始视频信息获取生成与人物视频信息相匹配的遮罩信息。
3.根据权利要求2所述的方法，其特征在于，在所述将所述视频分割信息应用于初始视频信息获取生成与人物视频信息相匹配的遮罩信息之后，还包括：
获取预设的扩张迭代系数与扩张检测矩阵；
根据扩张迭代系数与扩张检测矩阵对遮罩信息进行扩张操作；
将完成扩张操作的遮罩信息设置为遮罩信息。
4.根据权利要求3所述的方法，其特征在于，在所述将完成扩张操作的遮罩信息设置为遮罩信息之后，还包括：
获取预设的平均值模糊信息与羽化检测矩阵；
根据平均值模糊信息与羽化检测矩阵对遮罩信息进行羽化操作；
将完成羽化操作的遮罩信息设置为遮罩信息。
5.根据权利要求1所述的方法，其特征在于，所述根据遮罩信息生成标识图像信息包括：
分别获取遮罩信息与人物视频信息对应的像素值；
对遮罩信息与人物视频信息对应的像素值进行取反操作；
将对应的像素值不为零的图像信息与预设的标识信息进行叠加并将所述叠加图像信息设置为标识图像信息。
6.根据权利要求1所述的方法，其特征在于，所述根据标识图像信息实时获取摄像机跟踪信息包括：
获取预设的显示屏模型的模型原点坐标信息；
根据模型原点坐标信息为原点建立世界坐标系；
统计替换视频信息中至少包含三个标识点的视频二维坐标矩阵；
获取三个标识点在世界坐标系的坐标矩阵并将所述坐标矩阵设置为标识坐标信息；
获取摄像机预设的内参矩阵，所述内参矩阵可表示为，其中u0、v0为二分之一替换视频信息的像素宽高，β是倾斜参数，
Figure FDA0003653801980000021
f为摄像机的焦距值；
获取预设的畸变校正矩阵；
根据视频二维坐标矩阵、标识坐标信息、内参矩阵和畸变校正矩阵获取摄像机跟踪信息。
7.根据权利要求6所述的方法，其特征在于，所述根据摄像机跟踪信息渲染虚拟场景信息包括：
将虚拟摄像机对应的坐标信息绑定摄像机跟踪信息；
获取摄像机跟踪信息、摄像机内参矩阵和虚拟场景相对于世界坐标系的矢量坐标矩阵；
根据摄像机内参矩阵、摄像机跟踪信息和虚拟场景相对于世界坐标系的矢量坐标矩阵计算得出虚拟场景在摄像机视角的矢量坐标矩阵；
获取背景图像信息在世界坐标系的矢量坐标矩阵；
根据摄像机内参矩阵、摄像机跟踪信息和背景图像信息在世界坐标系的矢量坐标矩阵计算得出背景图像信息在虚拟摄像机视角下的显示画面。
8.一种摄像机跟踪装置，其特征在于，所述装置包括：
视频信息获取模块(401)，用于获取初始视频信息，所述初始视频信息包括人物视频信息和背景信息；
遮罩信息生成模块(402)，用于根据初始视频信息生成遮罩信息；
标识图像生成模块(403)，用于根据遮罩信息生成标识图像信息并通过摄像机捕获含标识图像的视频信息；
摄像坐标获取模块(404)，用于根据所述视频信息实时获取摄像机跟踪信息，所述摄像机跟踪信息包括摄像机位置信息和摄像机角度信息；
虚拟场景渲染模块(405)，用于根据摄像机跟踪信息渲染虚拟场景信息，所述虚拟场景信息包括摄像机视角的虚拟摄像信息和显示标识图像信息的虚拟场景信息；
替换视频获取模块(406)，用于获取替换视频信息，所述替换视频信息包括人物视频信息和含标识图像信息的虚拟场景信息；
合成视频生成模块(407)，用于将所述虚拟场景信息与所述替换视频信息进行合成并获取合成视频信息。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
CN202210549117.XA 2022-05-20 2022-05-20 摄像机跟踪方法、装置、设备及存储介质 Pending CN114913308A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210549117.XA CN114913308A (zh) 2022-05-20 2022-05-20 摄像机跟踪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210549117.XA CN114913308A (zh) 2022-05-20 2022-05-20 摄像机跟踪方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114913308A true CN114913308A (zh) 2022-08-16

Family

ID=82769464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210549117.XA Pending CN114913308A (zh) 2022-05-20 2022-05-20 摄像机跟踪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114913308A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115712351A (zh) * 2022-11-25 2023-02-24 之江实验室 一种面向多人远程混合现实共享场景的分级渲染与交互方法和系统
CN117097878A (zh) * 2023-10-16 2023-11-21 杭州穿石物联科技有限责任公司 一种基于超低延迟视频传输技术的云控交互系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115712351A (zh) * 2022-11-25 2023-02-24 之江实验室 一种面向多人远程混合现实共享场景的分级渲染与交互方法和系统
CN115712351B (zh) * 2022-11-25 2023-08-29 之江实验室 一种面向多人远程混合现实共享场景的分级渲染与交互方法和系统
CN117097878A (zh) * 2023-10-16 2023-11-21 杭州穿石物联科技有限责任公司 一种基于超低延迟视频传输技术的云控交互系统

Similar Documents

Publication Publication Date Title
CN109416744B (zh) 改进的相机校准系统、目标和过程
Prince et al. 3d live: Real time captured content for mixed reality
US20020118217A1 (en) Apparatus, method, program code, and storage medium for image processing
CN114913308A (zh) 摄像机跟踪方法、装置、设备及存储介质
CN110648274B (zh) 鱼眼图像的生成方法及装置
US11398007B2 (en) Video generation device, video generation method, program, and data structure
US11425283B1 (en) Blending real and virtual focus in a virtual display environment
JP2010287174A (ja) 家具シミュレーション方法、装置、プログラム、記録媒体
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
CN112348958A (zh) 关键帧图像的采集方法、装置、系统和三维重建方法
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
CN111401266A (zh) 绘本角点定位的方法、设备、计算机设备和可读存储介质
JP2003179800A (ja) 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
CN116524022B (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
WO2021134219A1 (zh) 参数标定方法及装置
da Silveira et al. Omnidirectional visual computing: Foundations, challenges, and applications
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
Kropp et al. Acquiring and rendering high-resolution spherical mosaics
KR101990252B1 (ko) Vr 이미지 획득 방법, 이를 수행하기 위한 vr 촬영 프로그램이 설치된 휴대 단말기, 그리고 이 vr 촬영 프로그램을 휴대 단말기에 제공하는 서버
JP7265825B2 (ja) 生成装置、生成方法およびプログラム
WO2022055368A1 (en) Method for applying a vignette effect to rendered images
JPH11265440A (ja) 任意光源位置の画像合成方法および表示装置
JP2002135807A (ja) ３次元入力のためのキャリブレーション方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination