CN110691175A - 演播室中模拟摄像机运动跟踪的视频处理方法及装置 - Google Patents

演播室中模拟摄像机运动跟踪的视频处理方法及装置 Download PDF

Info

Publication number
CN110691175A
CN110691175A CN201910764810.7A CN201910764810A CN110691175A CN 110691175 A CN110691175 A CN 110691175A CN 201910764810 A CN201910764810 A CN 201910764810A CN 110691175 A CN110691175 A CN 110691175A
Authority
CN
China
Prior art keywords
picture
camera
video
result picture
angle value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910764810.7A
Other languages
English (en)
Other versions
CN110691175B (zh
Inventor
林献民
盛劲
黄向农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ride Digital Technology Co Ltd
Original Assignee
Shenzhen Ride Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ride Digital Technology Co Ltd filed Critical Shenzhen Ride Digital Technology Co Ltd
Priority to CN201910764810.7A priority Critical patent/CN110691175B/zh
Publication of CN110691175A publication Critical patent/CN110691175A/zh
Application granted granted Critical
Publication of CN110691175B publication Critical patent/CN110691175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

本发明公开了一种演播室中模拟摄像机运动跟踪的视频处理方法及装置，涉及视频信号处理技术领域。其方法技术要点包括获取拍摄的实拍高分辨率视频画面，获取平摇、俯仰和镜头变焦的运动参数；在实拍高分辨率视频画面上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的动态视频结果画面；在虚拟场景模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的虚拟场景结果画面；或者在增强物件模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的增强现实物件结果画面；将动态视频结果画面和虚拟场景结果画面或增强现实物件结果画面在键混器中合成并输出最终合成结果画面，本发明具有实现成本低且实现方式简易的优点。

Description

演播室中模拟摄像机运动跟踪的视频处理方法及装置
技术领域
本发明涉及视频信号处理技术领域，更具体地说，它涉及一种演播室中模拟摄像机运动跟踪的视频处理方法及装置。
背景技术
虚拟演播室中要用到色键抠像技术，通过将前景（通常是主持人）置于特定颜色的背景板前，再将拍摄到画面中特定颜色的背景部分抠掉，用渲染的虚拟背景替换特定颜色的背景来构成输出的合成画面。增强现实演播室利用键混技术将增强的物件叠加到被拍摄画面中。这都要求在虚拟演播室与增强现实演播室的实际应用中，当摄像机作平摇、俯仰和镜头变焦运动时，必须使渲染的虚拟背景或增强物件与拍摄画面保持绝对同步，这样最终的合成输出画面才是完美的，否则将会出现输出画面中实拍部分与渲染部分运动或缩放不一致的“穿帮”现象，可以说：保持实拍部分与渲染部分运动或缩放的同步一致是虚拟演播室与增强现实演播室的基本要求。目前的虚拟演播室与增强现实演播室为实现这一要求的处理方法有两种:
方法一在虚拟特定背景色板上绘制有特征识别图案, 当摄像机运动时，对摄像机拍摄到的特征识别图案进行识别计算,通过识别计算得出摄像机的平摇、俯仰和变焦运动状态数据，根据运动状态数据对渲染的虚拟背景或增强物件进行相应的计算，从而实现虚拟背景或增强物件与拍摄画面的同步一致。
方法二在摄像机云台上加装机械传感器，获取云台水平、俯仰移动和镜头缩放等传感数据，渲染机实时获得传感数据，根据传感数据获得摄像机位的水平俯仰运动角度变化和镜头缩放变化，从而对实时渲染虚拟背景或增强物件进行相应运算实现与摄像机运动拍摄画面的同步。
方法一的缺陷在于需要特定背景色板并绘制有特定识别特征的图案，场地的准备过程比较复杂，同时对摄像机对图像的识别精确度要求很高，当摄像机拍摄画面模糊会导致跟踪的精度变差，还有就是此方法只能用于特定背景色板的虚拟演播室，在实景拍摄的增强现实演播室里无法使用。方法二的缺陷在于摄像机水平俯仰缩放各个运动部位都必须加装相应的传感器，造价不菲，精度受限于机械加工及传感器的精度，跟踪误差难控制，拍摄画面难以与渲染场景及增强物件完全一致，而且必须有专人操作摄像机的运动。
发明内容
针对现有的技术问题，本发明的第一目的在于提供一种演播室中模拟摄像机运动跟踪的视频处理方法，其具有实现成本低且实现方式简易的优点。
为实现上述目的，本发明提供了如下技术方案：一种演播室中模拟摄像机运动跟踪的视频处理方法，包括：
获取拍摄的实拍视频画面，获取平摇、俯仰和镜头变焦的运动参数；
在实拍视频画面上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的动态视频结果画面；
在虚拟场景模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的虚拟场景结果画面；或者在增强物件模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的增强现实物件结果画面；
将动态视频结果画面和虚拟场景结果画面或增强现实物件结果画面在键混器中合成并输出最终合成结果画面。
通过采用上述技术方案，使得在虚拟演播室和增强现实演播室系统使用时，摄像机的平摇、俯仰、镜头参数与三维虚拟场景或增强现实物件的运动参数来源一致，彻底杜绝实拍画面与三维虚拟场景或增强现实物件不同步的“穿帮”现象。不需要为摄像机安装跟踪传感器，不需要在特定颜色背景板中绘制特征图案，不需要专人进行摄像机运动操控，仅需要使用高分辨率摄像机进行拍摄，其他所有的运动跟踪效果全依靠本方法解决，实现成本低且实现方式简易。
本发明进一步设置为：动态视频结果画面和虚拟场景结果画面在键混器中合成的方法包括：
键混器获取动态视频画面Y1的Alpha键；键混器基于公式Y= Y2 * (1-α) + Y1 *α输出最终合成结果画面；其中Y3为最终合成结果画面，α为Alpha键，Y1为动态视频结果画面，Y2为虚拟场景结果画面；
动态视频结果画面Y1为与平摇角度值P1、俯仰角度值T1、变焦系数Z1和实拍视频画面X1相关的函数；
虚拟场景结果画面Y2为与平摇角度值P2、俯仰角度值T2、变焦系数Z2和虚拟场景模型X2相关的函数；且平摇角度值P1、俯仰角度值T1、变焦系数Z1和平摇角度值P2、俯仰角度值T2、变焦系数Z2为同一组参数。
本发明进一步设置为：动态视频结果画面和增强现实物件结果画面在键混器中合成的方法包括：
键混器获得增强现实物件结果画面Y2的Alpha键，键混器基于公式Y3= Y2 * (1-α) +Y1 *α输出最终合成结果画面；其中Y3为最终合成结果画面，α为Alpha键，Y1为动态视频结果画面，Y2为虚拟场景结果画面；Y2为增强现实物件结果画面；
动态视频结果画面Y1为与平摇角度值P1、俯仰角度值T1、变焦系数Z1和实拍视频画面X1相关的函数；
增强现实物件结果画面Y2为与平摇角度值P2、俯仰角度值T2、变焦系数Z2和增强物件模型X2相关的函数；且平摇角度值P1、俯仰角度值T1、变焦系数Z1和平摇角度值P2、俯仰角度值T2、变焦系数Z2为同一组参数。
本发明进一步设置为：所述动态视频结果画面、虚拟场景结果画面和增强现实物件结果画面分别基于计算实拍视频画面、虚拟场景模型和增强物件模型的顶点坐标获得。
本发明进一步设置为：所述计算动态视频结果画面、虚拟场景结果画面和增强现实物件结果画面的顶点坐标公式为：Vclip=Mprojection· (Rθ·Rφ)-1·Vworld；
Vworld为实拍视频画面、虚拟场景模型或增强物件模型顶点在世界坐标系的矢量坐标，Rφ为模拟摄像机平摇旋转矩阵，Rθ为模拟摄像机俯仰旋转矩阵，Mprojection为摄像机透视投影矩阵；
Figure RE-RE-DEST_PATH_IMAGE001
上述X为顶点在世界坐标系的X轴的数值；Y为顶点在世界坐标系的Y轴的数值；Z为顶点在世界坐标系的Z轴的数值；φ同参数P为模拟摄像机平摇旋转角度值；θ同参数T为模拟摄像机俯仰旋转角度值；中aspect为画面宽高比常数；f为远剪裁平面到摄像机距离常数；n为近剪裁平面到摄像机距离常数；zoom同参数Z为模拟摄像机变焦系数。
本发明进一步设置为：获取实拍视频画面在世界坐标轴中顶点坐标方法：
在世界坐标系的原点处设置摄像机；
在Z轴距原点的单位距离处，以Z轴为中心在XY平面上插入实拍视频画面；
获得实拍视频画面的Y轴张角作为视场角，并基于视场角获得视频画面的四个顶点坐标。
本发明进一步设置为：拍摄视频画面的现场角基于变焦系数Z增大或缩小。
本发明进一步设置为：高分辨率的视频画面的像素为3840x2160或以上。
本发明的第二目的在于提供一种虚拟演播室及增强现实演播室模拟摄像机运动跟踪的系统，其具有实现成本低且实现方式简易的优点。
为实现上述目的，本发明提供了如下技术方案：一种虚拟演播室及增强现实演播室模拟摄像机运动跟踪的装置，所述装置包括处理器和存储器；
所述存储器用于存储支持所述装置执行第一目的所述的方法的程序，以及
存储用于实现第一目的所述的方法所涉及的数据；
所述处理器被配置为用于执行所述存储器中存储的程序。
与现有技术相比，本发明的有益效果是：
1.只需一台高分辨率摄像机，无需增加额外跟踪设备；
2.通过调整平摇、俯仰及变焦参数，模拟摄像机运动动态过程，无需专人操控摄像机；
3.处理后的实拍画面与渲染画面像素级精准贴合，从而达到完美的虚拟演播室及增强现实演播室的摄像机运动跟踪效果。
附图说明
图1为实施例一的流程示意图；
图2为实施例一的步骤1中高分辨率的视频画面获取示意图；
图3为实施例一的步骤2中指定分辨率的动态视频结果画面获取示意图；
图4为实施例一中步骤2中视频画面插入世界坐标系的示意图；
图5为实施例一中步骤3中渲染场景结果画面产生的示意图；
图6为实施例一中步骤4中键混合的示意图；
图7为实施例二的流程示意图；
图8为实施例二的步骤1中高分辨率的视频画面获取示意图；
图9为实施例二的步骤2中指定分辨率的动态视频结果画面获取示意图；
图10为实施例二中步骤3中渲染场景结果画面产生的示意图；
图11为实施例二中步骤4中键混合的示意图；
具体实施方式
下面结合附图和实施例，对本发明进行详细描述。
目前电视台的电视画面输出最大分辨率为FHD的1920x1080像素，而目前的超高清摄像机能够拍摄UHD的3840x2160像素视频画面；因此现有的超高清摄像机拍摄UHD的3840x2160像素视频画面，在作为电视画面输出时，最多可以放大四倍后输出也不失真。因此在摄像机拍摄视频画面的清晰度高于电视台播放的清晰度的情况下。将FHD摄像机拍摄的视频信号作为全景。程序根据预设的或操作者实时输入的平摇（Pan）、俯仰（Tilt）和镜头变焦（Zoom）参数通过实时运算，模拟超高清摄像机运动的动态视频输出。保证原视频中截取的画幅不小于指定分辨率，生成模拟摄像机运动的动态视频清晰度不会损失。
实施例一，一种虚拟演播室模拟摄像机运动跟踪的方法，如图1所示，包括：
步骤1：获取拍摄的实拍高分辨率视频画面，获取平摇、俯仰和镜头变焦的运动参数；
如图2所示，虚拟演播室内布置超高清摄像机，拍摄3840x2160像素的实拍视频画面。摄像机实拍的超高清视频信号输入系统内的视频处理模块。值得一提的是，本发明拍摄的画幅不局限于3840x2160像素，也可应用于更高或更低像素的情况。
平摇（Pan）、俯仰（Tilt）和镜头变焦（Zoom）的运动参数获取方式可以为程序预设或操作者实时输入。
步骤2：在实拍视频画面上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的动态视频结果画面；
具体的，如图3所示，动态视频结果画面Y1为与平摇角度值P1、俯仰角度值T1、变焦系数Z1和实拍视频画面X1相关的函数；其函数为Y1 =f（X1，P1，T1，Z1）；其中Y1为动态视频结果画面，X1为实拍视频画面，P1为平摇角度值，T1为俯仰角度值，Z1为变焦系数；而动态视频结果画面Y1的顶点坐标基于计算实拍视频画面X1顶点的世界坐标后获得。
具体的，如图4所示，在世界坐标系的原点处设置摄像机作为观察点位置；获取实拍视频画面在世界坐标轴中顶点坐标方法，在Z轴距原点的一个单位距离处，以Z轴为中心在XY平面上插入视频画面；通过摄像机标定获得拍摄视频画面的Y轴的张角作为视场角（FOV），并基于视场角（FOV）获得视频画面的矩形四个顶点坐标。可以得到实拍视频画面矩形在世界坐标系中的四个顶点矢量坐标Vworld为：
Figure RE-288060DEST_PATH_IMAGE002
其中half_W=aspect·tan
Figure RE-948849DEST_PATH_IMAGE003
；half_H=tan
Figure RE-904167DEST_PATH_IMAGE003
。aspect为画面宽高比常数。
将实拍视频画面矩形在世界坐标系中的四个顶点矢量坐标V0、V1、V2、V3带入到计算公式：
Vclip=Mprojection· (Rθ·Rφ)-1·Vworld；
Vworld为模型顶点在世界坐标系的矢量坐标，Rφ为模拟摄像机平摇旋转矩阵，Rθ为模拟摄像机俯仰旋转矩阵，Mprojection为摄像机透视投影矩阵；Vclip为运动后模型顶点在世界坐标系的矢量坐标。
Figure RE-867575DEST_PATH_IMAGE001
X为顶点矢量坐标在世界坐标系的X轴的数值；Y为顶点矢量坐标在世界坐标系的Y轴的数值；Z为顶点矢量坐标在世界坐标系的Z轴的数值；φ同参数P为模拟摄像机平摇旋转角度值；θ同参数T为模拟摄像机俯仰旋转角度值；中aspect为画面宽高比常数；f为远剪裁平面到摄像机距离常数；n为近剪裁平面到摄像机距离常数；zoom同参数Z为模拟摄像机变焦系数。
其中通过矩阵Rφ计算，能够获得实拍视频画面矩形在世界坐标系平摇旋转后的矢量坐标Vworld；通过矩阵 Rθ计算，能够获得实拍视频画面矩形在世界坐标系俯仰旋转后的矢量坐标Vworld；通过矩阵Mprojection计算，能够基于变焦系数Z增大或缩小摄像机的现场角（FOV）来缩放实拍视频画面矩形的大小，再将摄像机的现场角透视投影到在Z轴距原点的一个单位距离处XY平面上的矢量坐标Vworld，即运动后模型顶点在世界坐标系的矢量坐标Vclip。
最后基于四个实拍视频画面顶点运动后模型顶点在世界坐标系的矢量坐标Vclip。产生指定分辨率1920x1080像素的动态视频结果画面。
步骤3，在虚拟场景模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的虚拟场景结果画面；
具体的，如图5所示，虚拟场景结果画面Y2为与平摇角度值P2、俯仰角度值T2、变焦系数Z2和虚拟场景模型X2相关的函数。函数具体为Y2 =f(X2,P2,T2,Z2)；其中Y2为虚拟场景结果画面，X2为被渲染的三维场景模型，P2为平摇角度值，T2为俯仰角度值，Z2为变焦系数。
而虚拟场景结果画面Y2基于计算虚拟场景模型X2顶点世界坐标后获得。而三维场景模型的顶点坐标可以直接从对应的三维场景数据库中获取Vlocal。Vlocal称为模型顶点在本地坐标系的矢量坐标。
而将三维场景模型放入到世界坐标系后，通过公式：
Vworld=Mmodel·Vlocal；
Mmodel为三维场景模型在世界坐标系中的矩阵，根据三维场景模型放入世界坐标系的位置而改变。Vworld为三维场景模型顶点在世界坐标系的矢量坐标。Mmodel矩阵包含平移矩阵、缩放矩阵和XYZ三轴的旋转矩阵，由用户在三维软件中设置调节。
将三维场景模型顶点在世界坐标系的矢量坐标带入公式：
Vclip=Mprojection· (Rθ·Rφ)-1·Vworld；
上述相同的Rφ为模拟摄像机平摇旋转矩阵，Rθ为模拟摄像机俯仰旋转矩阵，Mprojection为摄像机透视投影矩阵；Vclip为运动后模型顶点在世界坐标系的矢量坐标。其中Rφ、Rθ、Mprojection和步骤二Rφ、Rθ、Mprojection内为同一矩阵。且平摇角度值P1、俯仰角度值T1、变焦系数Z1和平摇角度值P2、俯仰角度值T2、变焦系数Z2为同一组参数。从而杜绝动态视频结果画面与虚拟场景结果画面不同步的“穿帮”现象。
最后基于三维场景模型运动后的顶点在世界坐标系的矢量坐标Vclip产生虚拟场景结果画面。
步骤4，将动态视频结果画面和虚拟场景结果画面在键混器中合成并输出最终合成结果画面。
如图6所示，键混器获得Y1的Alpha键，最终合成结果画面Y3= Y2 * (1-α) + Y1 *α；其中Y3为最终合成结果画面，α为Alpha键，Y1为指定分辨率动态视频画面，Y2为虚拟场景结果画面。
值得一提的，上述步骤2和步骤3也可以不考虑执行的先后顺序，在系统内同时运行。
实施例二，一种增强现实演播室模拟摄像机运动跟踪的方法，如图7所示，包括：
步骤1，获取拍摄的实拍高分辨率视频画面，获取平摇、俯仰和镜头变焦的运动参数；
如图8所示，演播室内布置超高清摄像机，拍摄3840x2160像素画面。摄像机实拍的超高清视频信号输入处理系统。值得一提的是，本发明拍摄的画幅不局限于3840x2160像素。
平摇（Pan）、俯仰（Tilt）和镜头变焦（Zoom）的运动参数获取方式可以为程序预设或操作者实时输入。
步骤2，依据平摇、俯仰和镜头变焦的运动参数，模拟摄像机运动产生指定分辨率的动态视频结果画面；
如图9所示，动态视频结果画面Y1为与平摇角度值P1、俯仰角度值T1、变焦系数Z1和实拍视频画面X1相关的函数；其函数为Y1 =f（X1，P1，T1，Z1）；其中Y1为动态视频结果画面，X1为实拍视频画面，P1为平摇角度值，T1为俯仰角度值，Z1为变焦系数；而动态视频结果画面Y1的顶点坐标基于计算实拍视频画面X1顶点的世界坐标后获得。
具体的，与实施例一中的步骤2相同故不再赘述。
步骤3，在增强物件模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的增强现实物件结果画面；
如图10所示，增强现实物件结果画面Y2为与平摇角度值P2、俯仰角度值T2、变焦系数Z2和增强物件模型X2相关的函数；具体的函数为Y2 =f(X2,P2,T2,Z2)；其中Y2为增强现实物件结果画面，X2为增强物件模型，P2为平摇角度值，T2为俯仰角度值，Z2为变焦系数；
而增强现实物件结果画面Y2基于计算增强物件模型X2的顶点世界坐标后获得。而增强物件模型的顶点坐标可以直接从对应的三维场景数据库中获取Vlocal。Vlocal称为模型顶点在本地坐标系的矢量坐标。
而将增强物件模型放入到世界坐标系后，通过公式：
Vworld=Mmodel·Vlocal；
Mmodel为增强物件模型在世界坐标系中的矩阵，根据增强物件模型放入世界坐标系的位置而改变。Vworld为增强物件模型顶点在世界坐标系的矢量坐标。Mmodel矩阵包含平移矩阵、缩放矩阵和XYZ三轴的旋转矩阵，由用户在三维软件中设置调节。
将增强物件模型顶点在世界坐标系的矢量坐标带入公式：
Vclip=Mprojection· (Rθ·Rφ)-1·Vworld；
上述相同的Rφ为模拟摄像机平摇旋转矩阵，Rθ为模拟摄像机俯仰旋转矩阵，Mprojection为摄像机透视投影矩阵；Vclip为运动后模型顶点在世界坐标系的矢量坐标。其中Rφ、Rθ、Mprojection和步骤二Rφ、Rθ、Mprojection内为同一矩阵，且平摇角度值P1、俯仰角度值T1、变焦系数Z1和平摇角度值P2、俯仰角度值T2、变焦系数Z2为同一组参数。从而杜绝动态视频结果画面与虚拟场景结果画面不同步的“穿帮”现象。
最后基于增强物件模型运动后的顶点在世界坐标系的矢量坐标Vclip产生渲染场景结果画面。
步骤4，将动态视频结果画面和增强现实物件结果画面在键混器中合成并输出最终合成结果画面。
如图11所示，键混器获得Y2的Alpha键，最终合成结果画面Y3= Y1* (1-α) + Y2 *α；其中Y3为最终合成结果画面，α为Alpha键，Y1为指定分辨率动态视频画面，Y2为增强物件模型。
值得一提的，上述步骤2和步骤3也可以不考虑执行的先后顺序，在系统内同时运行。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读移动式存储设备中。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种演播室中模拟摄像机运动跟踪的视频处理方法，其特征在于：包括：
获取拍摄的实拍视频画面，获取平摇、俯仰和镜头变焦的运动参数；
在实拍视频画面上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的动态视频结果画面；
在虚拟场景模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的虚拟场景结果画面；或者在增强物件模型上依据平摇、俯仰和镜头变焦的运动参数，产生模拟摄像机运动的增强现实物件结果画面；
将动态视频结果画面和虚拟场景结果画面或增强现实物件结果画面在键混器中合成并输出最终合成结果画面。
2.根据权利要求1所述的演播室中模拟摄像机运动跟踪的视频处理方法，其特征在于：动态视频结果画面和虚拟场景结果画面在键混器中合成的方法包括：
键混器获取动态视频画面Y1的Alpha键；键混器基于公式Y3= Y2 * (1-α) + Y1 *α输出最终合成结果画面；其中Y3为最终合成结果画面，α为Alpha键，Y1为动态视频结果画面，Y2为虚拟场景结果画面；
动态视频结果画面Y1为与平摇角度值P1、俯仰角度值T1、变焦系数Z1和实拍视频画面X1相关的函数；
虚拟场景结果画面Y2为与平摇角度值P2、俯仰角度值T2、变焦系数Z2和虚拟场景模型X2相关的函数；且平摇角度值P1、俯仰角度值T1、变焦系数Z1和平摇角度值P2、俯仰角度值T2、变焦系数Z2为同一组参数。
3.根据权利要求1所述的演播室中模拟摄像机运动跟踪的视频处理方法，其特征在于：动态视频结果画面和增强现实物件结果画面在键混器中合成的方法包括：
键混器获得增强现实物件结果画面Y2的Alpha键，键混器基于公式Y3= Y2 * (1-α) +Y1 *α输出最终合成结果画面；其中Y3为最终合成结果画面，α为Alpha键，Y1为动态视频结果画面，Y2为虚拟场景结果画面；Y2为增强现实物件结果画面；
动态视频结果画面Y1为与平摇角度值P1、俯仰角度值T1、变焦系数Z1和实拍视频画面X1相关的函数；
增强现实物件结果画面Y2为与平摇角度值P2、俯仰角度值T2、变焦系数Z2和增强物件模型X2相关的函数；且平摇角度值P1、俯仰角度值T1、变焦系数Z1和平摇角度值P2、俯仰角度值T2、变焦系数Z2为同一组参数。
4.根据权利要求2或3所述的演播室中模拟摄像机运动跟踪的视频处理方法，其特征在于：所述动态视频结果画面、虚拟场景结果画面和增强现实物件结果画面分别基于计算实拍视频画面、虚拟场景模型和增强物件模型的顶点坐标获得。
5.根据权利要求4所述的演播室中模拟摄像机运动跟踪的视频处理方法，其特征在于：所述计算动态视频结果画面、虚拟场景结果画面和增强现实物件结果画面的顶点坐标公式为：Vclip=Mprojection· (Rθ·Rφ)-1·Vworld；
Vworld为实拍视频画面、虚拟场景模型或增强物件模型顶点在世界坐标系的矢量坐标，Rφ为模拟摄像机平摇旋转矩阵，Rθ为模拟摄像机俯仰旋转矩阵，Mprojection为摄像机透视投影矩阵；
Figure RE-DEST_PATH_IMAGE001
上述X为顶点在世界坐标系的X轴的数值；Y为顶点在世界坐标系的Y轴的数值；Z为顶点在世界坐标系的Z轴的数值；φ同参数P为模拟摄像机平摇旋转角度值；θ同参数T为模拟摄像机俯仰旋转角度值；aspect为画面宽高比常数；f为远剪裁平面到摄像机距离常数；n为近剪裁平面到摄像机距离常数；zoom同参数Z为模拟摄像机变焦系数。
6.根据权利要求5所述的演播室中模拟摄像机运动跟踪的视频处理方法，其特征在于：获取实拍视频画面在世界坐标轴中顶点坐标方法：
在世界坐标系的原点处设置摄像机；
在Z轴距原点的单位距离处，以Z轴为中心在XY平面上插入实拍视频画面；
获得实拍视频画面的Y轴张角作为视场角，并基于视场角获得视频画面的四个顶点坐标。
7.根据权利要求6所述的演播室中模拟摄像机运动跟踪的视频处理方法，其特征在于：拍摄视频画面的Y轴现场角基于变焦系数Z增大或缩小。
8.根据权利要求1所述的演播室中模拟摄像机运动跟踪的视频处理方法，其特征在于：高分辨率的视频画面的像素为3840x2160或以上。
9.一种虚拟演播室及增强现实演播室模拟摄像机运动跟踪的装置，其特征在于：所述装置包括处理器和存储器；
所述存储器用于存储支持所述装置执行权利要求1-8任一项所述的方法的程序，以及
存储用于实现权利要求1-8任一项所述的方法所涉及的数据；
所述处理器被配置为用于执行所述存储器中存储的程序。
CN201910764810.7A 2019-08-19 2019-08-19 演播室中模拟摄像机运动跟踪的视频处理方法及装置 Active CN110691175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910764810.7A CN110691175B (zh) 2019-08-19 2019-08-19 演播室中模拟摄像机运动跟踪的视频处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910764810.7A CN110691175B (zh) 2019-08-19 2019-08-19 演播室中模拟摄像机运动跟踪的视频处理方法及装置

Publications (2)

Publication Number Publication Date
CN110691175A true CN110691175A (zh) 2020-01-14
CN110691175B CN110691175B (zh) 2021-08-24

Family

ID=69108397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910764810.7A Active CN110691175B (zh) 2019-08-19 2019-08-19 演播室中模拟摄像机运动跟踪的视频处理方法及装置

Country Status (1)

Country Link
CN (1) CN110691175B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970415A (zh) * 2020-09-01 2020-11-20 太仓中科信息技术研究院 一种实现微缩场景与实景拍摄实时合成预览系统及方法
CN112019747A (zh) * 2020-09-01 2020-12-01 北京德火科技有限责任公司 基于云台传感器的前景跟踪方法
CN112837425A (zh) * 2021-03-10 2021-05-25 西南交通大学 混合现实光照一致性调整方法
CN112929602A (zh) * 2021-01-22 2021-06-08 平安普惠企业管理有限公司 基于图像处理的数据监控方法、装置及相关设备
CN112929627A (zh) * 2021-02-22 2021-06-08 广州博冠信息科技有限公司 虚拟现实场景实现方法、装置、存储介质及电子设备
CN114222067A (zh) * 2022-01-05 2022-03-22 广州博冠信息科技有限公司 场景拍摄方法、装置、存储介质与电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662694A (zh) * 2008-08-29 2010-03-03 深圳华为通信技术有限公司 视频的呈现方法、发送、接收方法及装置和通信系统
CN101668126A (zh) * 2008-09-02 2010-03-10 新奥特（北京）视频技术有限公司 一种用于虚拟演播室系统的实现无限蓝箱功能的方法
KR20120092921A (ko) * 2011-02-14 2012-08-22 김영대 가상 강의실 강의 방법 및 장치
CN102726051A (zh) * 2009-09-11 2012-10-10 迪斯尼实业公司 3d视频中的虚拟插件
CN102831401A (zh) * 2012-08-03 2012-12-19 樊晓东 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统
JP2014039630A (ja) * 2012-08-22 2014-03-06 Onkyo Corp 遊技機およびその演出制御方法
CN106210453A (zh) * 2016-08-09 2016-12-07 安徽喜悦信息科技有限公司 一种智能虚拟演播室系统
CN106331521A (zh) * 2015-06-29 2017-01-11 天津万象科技发展有限公司 一种网络虚拟现实技术与实拍结合影视制作系统
CN107888890A (zh) * 2017-12-25 2018-04-06 河南新汉普影视技术有限公司 一种基于在线合成的场景包装装置及方法
US20190080498A1 (en) * 2017-09-08 2019-03-14 Apple Inc. Creating augmented reality self-portraits using machine learning
US20190096137A1 (en) * 2016-12-09 2019-03-28 Fyusion, Inc. Live augmented reality using tracking
CN109688343A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 增强现实演播室的实现方法和装置
CN109803094A (zh) * 2018-12-18 2019-05-24 北京美吉克科技发展有限公司 一种虚拟三维场景编辑系统、方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662694A (zh) * 2008-08-29 2010-03-03 深圳华为通信技术有限公司 视频的呈现方法、发送、接收方法及装置和通信系统
CN101668126A (zh) * 2008-09-02 2010-03-10 新奥特（北京）视频技术有限公司 一种用于虚拟演播室系统的实现无限蓝箱功能的方法
CN102726051A (zh) * 2009-09-11 2012-10-10 迪斯尼实业公司 3d视频中的虚拟插件
KR20120092921A (ko) * 2011-02-14 2012-08-22 김영대 가상 강의실 강의 방법 및 장치
CN102831401A (zh) * 2012-08-03 2012-12-19 樊晓东 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统
JP2014039630A (ja) * 2012-08-22 2014-03-06 Onkyo Corp 遊技機およびその演出制御方法
CN106331521A (zh) * 2015-06-29 2017-01-11 天津万象科技发展有限公司 一种网络虚拟现实技术与实拍结合影视制作系统
CN106210453A (zh) * 2016-08-09 2016-12-07 安徽喜悦信息科技有限公司 一种智能虚拟演播室系统
US20190096137A1 (en) * 2016-12-09 2019-03-28 Fyusion, Inc. Live augmented reality using tracking
US20190080498A1 (en) * 2017-09-08 2019-03-14 Apple Inc. Creating augmented reality self-portraits using machine learning
CN109688343A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 增强现实演播室的实现方法和装置
CN107888890A (zh) * 2017-12-25 2018-04-06 河南新汉普影视技术有限公司 一种基于在线合成的场景包装装置及方法
CN109803094A (zh) * 2018-12-18 2019-05-24 北京美吉克科技发展有限公司 一种虚拟三维场景编辑系统、方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陆平: ""移动增强现实中的图像处理关键技术研究及应用"", 《中国优秀博士学位论文全文数据库（电子期刊）》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970415A (zh) * 2020-09-01 2020-11-20 太仓中科信息技术研究院 一种实现微缩场景与实景拍摄实时合成预览系统及方法
CN112019747A (zh) * 2020-09-01 2020-12-01 北京德火科技有限责任公司 基于云台传感器的前景跟踪方法
CN112019747B (zh) * 2020-09-01 2022-06-17 北京德火科技有限责任公司 基于云台传感器的前景跟踪方法
CN112929602A (zh) * 2021-01-22 2021-06-08 平安普惠企业管理有限公司 基于图像处理的数据监控方法、装置及相关设备
CN112929602B (zh) * 2021-01-22 2023-12-05 湖南光科电力设备有限公司 基于图像处理的数据监控方法、装置及相关设备
CN112929627A (zh) * 2021-02-22 2021-06-08 广州博冠信息科技有限公司 虚拟现实场景实现方法、装置、存储介质及电子设备
CN112837425A (zh) * 2021-03-10 2021-05-25 西南交通大学 混合现实光照一致性调整方法
CN114222067A (zh) * 2022-01-05 2022-03-22 广州博冠信息科技有限公司 场景拍摄方法、装置、存储介质与电子设备
CN114222067B (zh) * 2022-01-05 2024-04-26 广州博冠信息科技有限公司 场景拍摄方法、装置、存储介质与电子设备

Also Published As

Publication number Publication date
CN110691175B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN110691175B (zh) 演播室中模拟摄像机运动跟踪的视频处理方法及装置
US11019259B2 (en) Real-time generation method for 360-degree VR panoramic graphic image and video
Gibbs et al. Virtual studios: An overview
US5949433A (en) Processing image data
Raskar et al. Multi-projector displays using camera-based registration
CN107341832B (zh) 一种基于红外定位系统的多视角切换拍摄系统和方法
JP4243767B2 (ja) 魚眼レンズカメラ装置及びその画像抽出方法
JP2009124685A (ja) 複数のビデオを結合してリアルタイムで表示する方法及びシステム
JPH11261868A (ja) 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
JP2008061260A (ja) 魚眼レンズカメラ装置及びその画像歪み補正方法
CN111371966B (zh) 一种在虚拟演播室中合成前景人物阴影的方法、装置及存储介质
CN213461894U (zh) 一种xr-扩展现实系统
CN115118880A (zh) 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统
JP5847610B2 (ja) Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法
JP2008217593A (ja) 被写体領域抽出装置及び被写体領域抽出プログラム
Bartczak et al. Integration of a time-of-flight camera into a mixed reality system for handling dynamic scenes, moving viewpoints and occlusions in real-time
KR101529820B1 (ko) 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치
CN112770095A (zh) 全景投影方法、装置及电子设备
KR100579426B1 (ko) 비디오신호 처리장치 및 비디오신호 처리방법
JP2009141508A (ja) テレビ会議装置、テレビ会議方法、プログラムおよび記録媒体
WO2023015868A1 (zh) 图像背景生成方法及装置、计算机可读存储介质
JPH10208074A (ja) 画像生成方法
JP2014192557A (ja) 被写体画像抽出装置および被写体画像抽出・合成装置
CN112312041A (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质
GB2312125A (en) Virtual studio with zoom control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant