CN114173020A - 一种应用于多虚拟演播室的前后景分离方法及系统 - Google Patents
一种应用于多虚拟演播室的前后景分离方法及系统 Download PDFInfo
- Publication number
- CN114173020A CN114173020A CN202111664650.2A CN202111664650A CN114173020A CN 114173020 A CN114173020 A CN 114173020A CN 202111664650 A CN202111664650 A CN 202111664650A CN 114173020 A CN114173020 A CN 114173020A
- Authority
- CN
- China
- Prior art keywords
- scene
- virtual
- image
- foreground
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001131927 Placea Species 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种应用于多虚拟演播室的前后景分离方法及系统，包括：获取摄像机图像与虚拟场景投影图像；依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将所述摄像机图像与虚拟场景投影图像进行网格细分处理，计算对应网格的差的绝对值的和，以将一个虚拟演播室的场景传送给另一个虚拟演播室的场景。实现使用者可以在自己的场内看到另外一个场景的前景。使本场景内的使用者实时获得其他场景内使用者的反馈的同时允许摄像机同时获得本场景的图像与其他场景的前景叠加，减少了后期图像处理的工作量。
Description
技术领域
本发明涉及一种应用于多虚拟演播室的前后景分离方法及系统。
背景技术
传统的多演播室互动技术往往依赖于绿幕布抠像后在后期视频处理中叠加到视频中，其技术手段本质上无法为使用者实时提供反馈，使用者往往无法做到掌握演播室的实时信息。且在后期处理图像中需要大量的工作。
虚拟演播室是基于摄像机的姿态将已有的虚拟场景投影到屏幕上，在摄制过程中不需要额外的场景道具，就可以让使用者置身于虚拟场景中。区别于传统的道具场景布局或绿幕布场景，虚拟演播室在不使用道具场景的同时可以为使用者提供场景的互动与反馈。
近几年来，应用于多虚拟演播室的前后景分离在节目制作，广告行业有着越来越广泛的应用。应用于多虚拟演播室的前后景分离使用多块屏幕搭建出立方体舞台。依据摄像机的位置和投影模型计算出虚拟场景在屏幕位置的投影图像，在不耗费资源搭建出现实场景的同时让使用者和观众有身临其境的互动体验。然而，在需要多个虚拟演播室进行互动时，需要将不在现场的使用者(演员，主持人等)影像与现场录制的图像进行叠加以实现特有的节目效果。现有技术无法实现在多个虚拟演播室进行互动时，信息实时反馈，以及需要大量后期抠图和处理图像的目的。
发明内容
本发明的目的在于克服上述不足，提供一种应用于多虚拟演播室的前后景分离方法及系统，解决以往的多演播室互动时，信息无法做到实时反馈，大量后期抠图和处理图像的问题。
为了实现上述目的，本发明采用的技术方案为：一种应用于多虚拟演播室的前后景分离方法，其特征在于，包括：
获取摄像机图像与虚拟场景投影图像；依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将所述摄像机图像与虚拟场景投影图像进行网格细分处理，计算对应网格的差的绝对值的和，以将一个虚拟演播室的场景传送给另一个虚拟演播室的场景。
进一步地，依据匹配上的特征点计算是根据ORB特征点检测方法。
进一步地，还包括：将前景图像通过网络广播出去。
本发明的另一目的在于提供一种应用于多虚拟演播室的前后景分离系统，其特征在于，包括：
获取单元，用于获取摄像机图像与虚拟场景投影图像；
处理单元，用于依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将所述摄像机图像与虚拟场景投影图像进行网格细分处理，计算对应网格的差的绝对值的和，以将一个虚拟演播室的场景传送给另一个虚拟演播室的场景。
本发明的有益效果为：
实现简单，包括：获取摄像机图像与虚拟场景投影图像；依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将所述摄像机图像与虚拟场景投影图像进行网格细分处理，计算对应网格的差的绝对值的和，以将一个虚拟演播室的场景传送给另一个虚拟演播室的场景。实现使用者可以在自己的场内看到另外一个场景的前景。使本场景内的使用者实时获得其他场景内使用者的反馈的同时允许摄像机同时获得本场景的图像与其他场景的前景叠加，减少了后期图像处理的工作量。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明的应用于多虚拟演播室的前后景分离方法的流程图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
请参照图1，本发明的一种应用于多虚拟演播室的前后景分离方法，包括：
步骤S101，获取摄像机图像与虚拟场景投影图像；
步骤S102，依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将所述摄像机图像与虚拟场景投影图像进行网格细分处理，计算对应网格的差的绝对值的和，以将一个虚拟演播室的场景传送给另一个虚拟演播室的场景。
在本申请的一种实施例中，具体地，依据匹配上的特征点计算是根据ORB特征点检测方法。
在本申请的一种实施例中，具体地，还包括：将前景图像通过网络广播出去。
本发明的另一目的在于提供一种应用于多虚拟演播室的前后景分离系统，包括：
获取单元，用于获取摄像机图像与虚拟场景投影图像；
处理单元，用于依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将所述摄像机图像与虚拟场景投影图像进行网格细分处理，计算对应网格的差的绝对值的和，以将一个虚拟演播室的场景传送给另一个虚拟演播室的场景。
作为具体地实施例，本发明的方法包括：
以第一帧的摄像机图像拍摄位置为原点建立坐标系获取第一帧图像，将虚拟场景投影到当前摄像机的投影平面上获取第一帧的虚拟场景投影图像。
pimage＝K(RP+t)
其中,pimage为虚拟场景点在图像中像素点坐标，K为摄像机内参,R为摄像机旋转(在本例中R为单位矩阵I)，t为摄像机位置(在本例中为0向量)，P为虚拟场景中点的位置。
进行角点与描述子提取(该算法中使用orb特征点)，并根据汉明距离匹配两组图像的特征点。依据匹配上的特征点计算两个图像单应变换。使用计算出的单应矩阵将虚拟场景投影图像转到摄像机平面上。
p2＝Hp1
其中,p2为虚拟场景在摄像机平面上的投影，p1为虚拟场景在第一帧摄像机平面的投影。H为单应矩阵。
上式：
展开得：
以上式最小二乘法的方式拟合h矩阵。
将图像划分成色块(虚拟场景投影图像与摄像机图像色块细密度相同)，计算两张图像对应色块的SAD值，将SAD值写成矩阵作为前后景图像色块的索引。SAD值就是色块对应的像素点差值累加
使用聚类的方式将图像划分前后景，同时将前景物体(人物)分类，具体方法是在SAD矩阵内寻找连通域，在SAD值在0周围的区域作为背景，其余区域作为前景。而在前景区域中联通的物体作为一类将前景分为数个(取决于场景内的人物、物体数量)类。
试验：
在测试场地搭建长度为576米，高3.86米的LED屏幕作为测试环境。拍摄的摄像机放置于距离正面大屏外5米远的位置，运行程序获得摄像机的图像，程序自动分离前后景，并将前景图像通过网络广播出去。使用的大屏服务器采用惠普的大屏服务器型号为HPZ440，测试摄像机使用的是索尼的高清摄像机型号为PXW-280，LED大屏为利亚德屏幕，点间距为P1.576，大屏服务器为利亚德MVC-2-203。试验结果：减少了98％后期图像处理的工作量，直接使本场景内的使用者实时获得其他场景内使用者的反馈的同时允许摄像机同时获得本场景的图像与其他场景的前景叠加。
本发明的有益效果为：
实现简单，包括：获取摄像机图像与虚拟场景投影图像；依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将所述摄像机图像与虚拟场景投影图像进行网格细分处理，计算对应网格的差的绝对值的和，以将一个虚拟演播室的场景传送给另一个虚拟演播室的场景。实现使用者可以在自己的场内看到另外一个场景的前景。使本场景内的使用者实时获得其他场景内使用者的反馈的同时允许摄像机同时获得本场景的图像与其他场景的前景叠加，减少了后期图像处理的工作量。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。
Claims (4)
1.一种应用于多虚拟演播室的前后景分离方法，其特征在于，包括：
获取摄像机图像与虚拟场景投影图像；依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将所述摄像机图像与虚拟场景投影图像进行网格细分处理，计算对应网格的差的绝对值的和，以将一个虚拟演播室的场景传送给另一个虚拟演播室的场景。
2.根据权利要求1所述的应用于多虚拟演播室的前后景分离方法，其特征在于，依据匹配上的特征点计算是根据ORB特征点检测方法。
3.根据权利要求1所述的应用于多虚拟演播室的前后景分离方法，其特征在于，还包括：将前景图像通过网络广播出去。
4.一种应用于多虚拟演播室的前后景分离系统，其特征在于，包括：
获取单元，用于获取摄像机图像与虚拟场景投影图像；
处理单元，用于依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将所述摄像机图像与虚拟场景投影图像进行网格细分处理，计算对应网格的差的绝对值的和，以将一个虚拟演播室的场景传送给另一个虚拟演播室的场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111664650.2A CN114173020A (zh) | 2021-12-31 | 2021-12-31 | 一种应用于多虚拟演播室的前后景分离方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111664650.2A CN114173020A (zh) | 2021-12-31 | 2021-12-31 | 一种应用于多虚拟演播室的前后景分离方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114173020A true CN114173020A (zh) | 2022-03-11 |
Family
ID=80488751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111664650.2A Pending CN114173020A (zh) | 2021-12-31 | 2021-12-31 | 一种应用于多虚拟演播室的前后景分离方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114173020A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998043414A1 (en) * | 1997-03-25 | 1998-10-01 | Orad Hi-Tec Systems Limited | Virtual studio projection system |
| CN1275022A (zh) * | 2000-06-23 | 2000-11-29 | 成都索贝数码科技股份有限公司 | 虚拟演播室摄像机内外参数检测方法和系统 |
| WO2003079694A2 (en) * | 2002-03-15 | 2003-09-25 | British Broadcasting Corporation | Virtual studio system |
| CN101110908A (zh) * | 2007-07-20 | 2008-01-23 | 西安宏源视讯设备有限责任公司 | 虚拟演播室系统中前景景深位置识别装置及方法 |
| CN101866496A (zh) * | 2010-06-04 | 2010-10-20 | 西安电子科技大学 | 基于同心圆环图案组的增强现实方法 |
| CN103685976A (zh) * | 2013-09-10 | 2014-03-26 | 西南科技大学 | 提高led显示屏在录制节目中显示质量的方法和设备 |
| CN105976399A (zh) * | 2016-04-29 | 2016-09-28 | 北京航空航天大学 | 一种基于sift特征匹配的运动目标检测方法 |
| CN107368188A (zh) * | 2017-07-13 | 2017-11-21 | 河北中科恒运软件科技股份有限公司 | 介导现实中的基于多重空间定位的前景抽取方法及系统 |
| CN107948466A (zh) * | 2017-11-23 | 2018-04-20 | 北京德火新媒体技术有限公司 | 一种用于视频节目制作的三维场景构建方法及系统 |
| CN107948625A (zh) * | 2017-12-25 | 2018-04-20 | 河南新汉普影视技术有限公司 | 一种基于虚拟植入的场景包装方法及系统 |
| CN109639933A (zh) * | 2018-12-07 | 2019-04-16 | 北京美吉克科技发展有限公司 | 一种虚拟演播室360度全景节目制作的方法及系统 |
| CN111371966A (zh) * | 2020-03-24 | 2020-07-03 | 深圳市励得数码科技有限公司 | 一种在虚拟演播室中合成前景人物阴影的方法、装置及存储介质 |
-
2021
- 2021-12-31 CN CN202111664650.2A patent/CN114173020A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998043414A1 (en) * | 1997-03-25 | 1998-10-01 | Orad Hi-Tec Systems Limited | Virtual studio projection system |
| CN1275022A (zh) * | 2000-06-23 | 2000-11-29 | 成都索贝数码科技股份有限公司 | 虚拟演播室摄像机内外参数检测方法和系统 |
| WO2003079694A2 (en) * | 2002-03-15 | 2003-09-25 | British Broadcasting Corporation | Virtual studio system |
| CN101110908A (zh) * | 2007-07-20 | 2008-01-23 | 西安宏源视讯设备有限责任公司 | 虚拟演播室系统中前景景深位置识别装置及方法 |
| CN101866496A (zh) * | 2010-06-04 | 2010-10-20 | 西安电子科技大学 | 基于同心圆环图案组的增强现实方法 |
| CN103685976A (zh) * | 2013-09-10 | 2014-03-26 | 西南科技大学 | 提高led显示屏在录制节目中显示质量的方法和设备 |
| CN105976399A (zh) * | 2016-04-29 | 2016-09-28 | 北京航空航天大学 | 一种基于sift特征匹配的运动目标检测方法 |
| CN107368188A (zh) * | 2017-07-13 | 2017-11-21 | 河北中科恒运软件科技股份有限公司 | 介导现实中的基于多重空间定位的前景抽取方法及系统 |
| CN107948466A (zh) * | 2017-11-23 | 2018-04-20 | 北京德火新媒体技术有限公司 | 一种用于视频节目制作的三维场景构建方法及系统 |
| CN107948625A (zh) * | 2017-12-25 | 2018-04-20 | 河南新汉普影视技术有限公司 | 一种基于虚拟植入的场景包装方法及系统 |
| CN109639933A (zh) * | 2018-12-07 | 2019-04-16 | 北京美吉克科技发展有限公司 | 一种虚拟演播室360度全景节目制作的方法及系统 |
| CN111371966A (zh) * | 2020-03-24 | 2020-07-03 | 深圳市励得数码科技有限公司 | 一种在虚拟演播室中合成前景人物阴影的方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104574311B (zh) | 图像处理方法和装置 | |
| US6912313B2 (en) | Image background replacement method | |
| CN110503725B (zh) | 图像处理的方法、装置、电子设备及计算机可读存储介质 | |
| DE102020125612A1 (de) | Kontinuierliche lokale 3d-rekonstruktionsverfeinerung in video | |
| JP6553692B2 (ja) | 動画像背景除去方法及び動画像背景除去システム | |
| US20070236513A1 (en) | Image Blending System, Method and Video Generation System | |
| US11200680B2 (en) | Image processing method and apparatus | |
| CN110276769B (zh) | 一种视频画中画架构中直播内容定位方法 | |
| JP2021106374A (ja) | 再生効率を向上させるインテリジェント監視ビデオ再生方法 | |
| CN112312106B (zh) | 一种基于色彩空间转换的投影图像颜色校正方法 | |
| AU2016302049A1 (en) | 2D-to-3D video frame conversion | |
| KR20170046140A (ko) | 얼굴 이미지 편집 방법 및 디바이스 | |
| CN112712487A (zh) | 一种场景视频融合方法、系统、电子设备及存储介质 | |
| WO2023193521A1 (zh) | 一种视频修复的方法、相关装置、设备以及存储介质 | |
| JP2021119459A (ja) | 生成装置、生成方法 | |
| CN114173020A (zh) | 一种应用于多虚拟演播室的前后景分离方法及系统 | |
| Fursov et al. | Correction of distortions in color images based on parametric identification | |
| JP2021114637A (ja) | ビデオ監視システム | |
| CN110662001A (zh) | 一种视频投影显示方法、装置及存储介质 | |
| CN112435173A (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
| Sang et al. | FPGA implementation for real-time Chroma-key effect using Coarse and Fine Filter | |
| KR20220101565A (ko) | 360도 영상 스티칭 장치 및 방법 | |
| JP5645448B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN110796136B (zh) | 标志与图像处理方法及相关装置 | |
| CN113382276A (zh) | 一种图片处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220311 |