CN106296573A - 一种实现虚拟屏幕墙的方法及终端 - Google Patents

一种实现虚拟屏幕墙的方法及终端 Download PDF

Info

Publication number
CN106296573A
CN106296573A CN201610623643.0A CN201610623643A CN106296573A CN 106296573 A CN106296573 A CN 106296573A CN 201610623643 A CN201610623643 A CN 201610623643A CN 106296573 A CN106296573 A CN 106296573A
Authority
CN
China
Prior art keywords
region
covered
image
real
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610623643.0A
Other languages
English (en)
Other versions
CN106296573B (zh
Inventor
田媛
李新强
丁淑华
张黎阳
徐冬冬
温晓晴
刘林运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN DLP DIGITAL TECHNOLOGY CO LTD
Original Assignee
SHENZHEN DLP DIGITAL TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN DLP DIGITAL TECHNOLOGY CO LTD filed Critical SHENZHEN DLP DIGITAL TECHNOLOGY CO LTD
Priority to CN201610623643.0A priority Critical patent/CN106296573B/zh
Publication of CN106296573A publication Critical patent/CN106296573A/zh
Application granted granted Critical
Publication of CN106296573B publication Critical patent/CN106296573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种实现虚拟屏幕墙的方法和终端，该方法包括：获取真实三维空间中待覆盖区域的物理尺寸参数；将获取的真实摄像机在真实三维空间的空间初始位置参数和初始设置参数赋予虚拟摄像机；接收用户对初始真实图像中待覆盖区域的操作生成边缘信息；根据所述物理尺寸参数、初始位置参数、初始设置参数和边缘信息对待覆盖区域进行三维重建；将重建后的待覆盖区域投影得到所述真实视频图像的待覆盖区域的估算边缘；根据估算边缘和深度传感器同步得到的图像得到待覆盖区域的精确边缘和遮挡物的轮廓；按场频将精确边缘和轮廓构成的区域置换为预设的虚拟视频图像。该方法和终端使用范围广泛且不会导致穿帮现象。

Description

一种实现虚拟屏幕墙的方法及终端
技术领域
本发明涉及虚拟植入技术领域，尤其涉及应用于虚拟植入系统中的一种实现虚拟屏幕墙的方法及终端。
背景技术
在实景演播室、舞台及体育赛事等视频节目经常采用大屏幕墙、广告墙等视频播放设备，既可增进节目的播出效果，又可通过播放广告等达到一定的经济效益。但是通常的大屏幕墙价格都较高。采用抠像或图像对比的方式，可以在实景中添加蓝板、特定喷绘板以实现将蓝板和特定喷绘板置换成大屏幕墙的效果，从而实现大屏幕的视频播放。但这两种方法都有一定局限性：添加蓝板的方式会破坏实景的色系一体化，影响现场氛围；针对特定喷绘板的图像对比对主持人和喷绘板有一定要求，如果二者颜色接近则无法识别，会导致穿帮的现象，使用范围有一定限制。
发明内容
本发明提出了一种实现虚拟屏幕墙的方法及终端，使用范围广泛且不会导致穿帮现象。
一种实现虚拟屏幕墙的方法，包括：
获取真实三维空间中待覆盖区域的物理尺寸参数；
实时获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数；
将所述初始位置参数和初始设置参数赋予虚拟摄像机；
获取真实摄像机所拍摄的初始真实图像，所述初始真实图像包括待覆盖区域的图像；
接收用户对待覆盖区域的操作生成边缘信息，所述边缘信息包括边缘特征点；
根据所述物理尺寸参数、所述初始位置参数、所述初始设置参数和所述边缘信息对所述待覆盖区域进行三维重建；
获取真实摄像机所拍摄的真实视频图像、拍摄所述真实视频图像的运动参数以及深度传感器同步得到的图像；
根据所述运动参数对应地将重建后的待覆盖区域投影至所述真实视频图像的二维空间得到所述真实视频图像的待覆盖区域的估算边缘；
根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓；
按场频将真实视频图像中的待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。
一种终端，包括：
第一设置单元，用于获取真实三维空间中待覆盖区域的物理尺寸参数；
第二设置单元，用于实时获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数；
赋值单元，用于将所述初始位置参数和初始设置参数赋予虚拟摄像机；
初始图像获取单元，用于获取真实摄像机所拍摄的初始真实图像，所述初始真实图像包括待覆盖区域的图像；
边缘信息生成单元，用于接收用户对待覆盖区域的操作生成边缘信息，所述边缘信息包括边缘特征点；
重建单元，用于根据所述物理尺寸参数、所述初始位置参数、所述初始设置参数和所述边缘信息对所述待覆盖区域进行三维重建；
视频图像获取单元，用于获取真实摄像机所拍摄的真实视频图像、拍摄所述真实视频图像的运动参数以及深度传感器同步得到的图像；
估算单元，用于根据所述运动参数对应地将重建后的待覆盖区域投影至所述真实视频图像的二维空间得到所述真实视频图像的待覆盖区域的估算边缘；
边缘生成单元，用于根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓；
置换单元，用于按场频将真实视频图像中的待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。
上述方法和终端通过对待覆盖区域进行操作生成边缘信息，根据待覆盖区域的物理尺寸参数、真实摄像机初始位置参数、真实摄像机初始设置参数和边缘信息对待覆盖区域进行三维重建，在真实摄像机拍摄的过程中将重建后的待覆盖区域投影至真实视频图像中得到真实视频图像中待覆盖区域的估算边缘，再根据估算边缘和深度传感技术得到待覆盖区域的精确边缘和遮挡物的轮廓，然后按场频将待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。上述方法和终端实现虚拟屏幕墙的效果，使用范围广泛且不会导致穿帮现象。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种实现虚拟屏幕墙的方法的示意流程图；
图2是图1所示一种实现虚拟屏幕墙的方法的子流程示意图；
图3是本发明实施例提供的一种终端的示意性框图；
图4是本发明实施例提供的一种终端的功能模块的示意性框图；
图5是本发明另一实施例提供的一种终端的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
图1为本发明实施例提供的一种实现虚拟屏幕墙的方法的示意流程图。该方法应用于虚拟植入系统中。该方法包括S101-S110。
S101，获取真实三维空间中待覆盖区域的物理尺寸参数。在本实施例中，待覆盖区域为大屏幕墙、广告墙所占的区域等用于显示图像的设备所占的区域。在一些可行的其他实施例中，待覆盖区域还可以为喷绘板、或者现场中的任意物体所占区域。待覆盖区域的形状可以为但不限于方形、圆形、扇形、弧面等。待覆盖区域的物理尺寸参数，如，针对矩形、多边形抠像区域，该物理尺寸参数为边长、夹角等；针对扇面、弧面，该物理尺寸参数为半径和张角等。
S102，实时获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数。该位置参数包括摄像机在真实三维空间的位置、姿态等。该设置参数包括真实摄像机在真实空间中变焦、聚焦、景深等。
S103，将该初始位置参数和设置参数赋予虚拟摄像机。如此，可以使真实摄像机和虚拟摄像机的坐标匹配。
S104，获取真实摄像机所拍摄的初始真实图像，该初始真实图像包括待覆盖区域的图像。可以理解地，若现场中需要覆盖的区域只有一个，该真实摄像机拍摄的初始真实图像包括该区域的图像。若现场中有多个区域需要进行覆盖，该真实摄像机拍摄的初始真实图像包括需要覆盖的所有区域的图像。优选地，该初始真实图像是真实摄像机将镜头推至最小张角处拍摄的。在最小张角处拍摄的范围最大，获取的信息最多，同时变焦数据为0，方便调节。
S105，接收用户对待覆盖区域的操作生成边缘信息，该边缘信息包括边缘特征点。用户可通过提供的软件界面，用鼠标等对初始真实图像中待覆盖区域进行操作生成边缘信息。该边缘信息包括矩形区域的顶点、扇形区域的夹角和半径等特征点。
S106，根据该物理尺寸参数、该初始位置参数、该初始设置参数和该边缘信息对该待覆盖区域进行三维重建。根据待覆盖区域的物理尺寸参数计算出待覆盖区域在真实三维空间中的景深、边缘信息；根据景深和边缘信息进行三维虚拟空间中的三维重构。
步骤S101～S106是为了将真实摄像机的参数赋予给虚拟摄像机以及进行待覆盖区域的三维重建。
S107，获取真实摄像机所拍摄的真实视频图像、拍摄所述真实视频图像的运动参数以及深度传感器同步得到的图像。该视频图像可以实时地从该真实摄像机获取。该运动参数可以利用摄像机跟踪定位技术获得。其中，该运动参数包括镜头运动参数，如，变焦、聚焦、光圈等；机头运动参数，例如，摇移、俯仰等；以及空间位置参数，如，地面位置x,y、高度z等。深度传感器安装在真实摄像机的云台/三脚架/摇臂/导轨或者其附属物的周围。如此，真实摄像机运动时，深度传感器也同步运动。其中，深度传感器可以获取彩色图像以及彩色图像所对应的深度图像。优选地，深度传感器为Kinect传感器。
S108，根据所述运动参数对应地将重建后的待覆盖区域投影至所述真实视频图像的二维空间得到所述真实视频图像的待覆盖区域的估算边缘。由于根据运动参数进行实时投影，使得重建后的待覆盖区域的投影与真实摄像机拍摄的视频图像进行同步变化。
S109，根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓。如图2所示，S109包括S201-S203。
具体地，S201，根据估算边缘将真实视频图像和深度传感器同步得到的彩色图像进行匹配得到待覆盖区域的彩色图像。因为真实摄像机(拍摄的真实视频图像)和深度传感器彩色摄像机(同步得到的彩色图像)可能会存在焦距不一样的问题，真实摄像机的焦距可能一直是变动的，而深度传感器的焦距是不变的；另一方面，深度传感器是安装在真实摄像机的云台/三脚架/摇臂/导轨或者其附属物周围的，故深度传感器得到的图像和真实摄像机获取的真实视频图像的坐标会有不一致的问题。因此需要根据估算边缘，通过变焦数据和坐标变换等将真实视频图像和深度传感器同步得到的彩色图像进行匹配，以得到待覆盖区域的彩色图像以及待覆盖区域彩色图像的位置。其中，变焦数据是真实摄像机通过根据定位技术得到的。S202，根据待覆盖区域的彩色图像，利用深度传感器的彩色图像和深度图像的对应关系，得到待覆盖区域的深度信息。S203，根据深度信息和估算边缘得到待覆盖区域的精确边缘和遮挡物的轮廓。在完成待覆盖区域估算边缘的基础上，根据待覆盖区域的深度信息进行深度值判断，区分深度信息所对应的像素点哪些是待覆盖区域的点，哪些是待覆盖区域之外的点，得到的待覆盖区域的边缘像素点即为待覆盖区域的精确边缘和遮挡物的轮廓。
S110，按场频将真实视频图像中的待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。预设的虚拟视频图像可以是动画、三维模型、特效、字幕、外接数据及微信、短信等各种全媒体信息。虚拟视频输入输出可以为SDI、HDMI等各种视频格式，也可为各种流媒体格式。
步骤S104～S110是在摄像机拍摄过程中，使用摄像机的定位跟踪技术的状态下进行的，以将待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。
上述方法，根据深度信息得到待覆盖区域的精确边缘和遮挡物轮廓，不会有任何的穿帮现象，即使是在待覆盖区域大部分被遮挡的情况下，仍可对残留部分进行实时视频置换，不会存在任何穿帮现象。另外，该方法通过安装深度传感器，无需在实景中添加篮板，也无需顾忌主持人和实景物体的颜色，根据深度深度信息即可对真实场景中任意区域置换成虚拟屏幕墙的效果，使用范围广，操作简单，可靠性强并且延时小(延时3-5帧)。
图3为本发明实施例提供的一种终端的示意性框图。该终端30包括第一设置单元301、第二设置单元302、赋值单元303、初始图像获取单元304、边缘信息生成单元305、重建单元306、视频图像获取单元307、估算单元308、边缘生成单元309、置换单元310。
第一设置单元301，用于获取真实三维空间中待覆盖区域的物理尺寸参数。在本实施例中，待覆盖区域为大屏幕墙、广告墙所占的区域等用于显示图像的设备所占的区域。在一些可行的其他实施例中，待覆盖区域还可以为喷绘板、或者现场中的任意物体所占区域。待覆盖区域的形状可以为但不限于方形、圆形、扇形、弧面等。待覆盖区域的物理尺寸参数，如，针对矩形、多边形抠像区域，该物理尺寸参数为边长、夹角等；针对扇面、弧面，该物理尺寸参数为半径和张角等。
第二设置单元302，用于实时获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数。该位置参数包括摄像机在真实三维空间的位置、姿态等。该设置参数包括真实摄像机在真实空间中变焦、聚焦、景深等。
赋值单元303，用于将该初始位置参数和设置参数赋予虚拟摄像机。如此，可以使真实摄像机和虚拟摄像机的坐标匹配。
初始图像获取单元304，用于获取真实摄像机所拍摄的初始真实图像，该初始真实图像包括待覆盖区域的图像。可以理解地，若现场中需要覆盖的区域只有一个，该真实摄像机拍摄的初始真实图像包括该区域的图像。若现场中有多个区域需要进行覆盖，该真实摄像机拍摄的初始真实图像包括需要覆盖的所有区域的图像。优选地，该初始真实图像是真实摄像机将镜头推至最小张角处拍摄的。在最小张角处拍摄的范围最大，获取的信息最多，同时变焦数据为0，方便调节。
边缘信息生成单元305，用于接收用户对待覆盖区域的操作生成边缘信息，该边缘信息包括边缘特征点。用户可通过提供的软件界面，用鼠标等对初始真实图像中待覆盖区域进行操作生成边缘信息。该边缘信息包括矩形区域的顶点、扇形区域的夹角和半径等特征点。
重建单元306，用于根据该物理尺寸参数、该初始位置参数、该初始设置参数和该边缘信息对该待覆盖区域进行三维重建。根据待覆盖区域的物理尺寸参数计算出待覆盖区域在真实三维空间中的景深、边缘信息；根据景深和边缘信息进行三维虚拟空间中的三维重构。
视频图像获取单元307，用于获取真实摄像机所拍摄的真实视频图像、拍摄所述真实视频图像的运动参数以及深度传感器同步得到的图像。该视频图像可以实时地从该真实摄像机获取。该运动参数可以利用摄像机跟踪定位技术获得。其中，该运动参数包括镜头运动参数，如，变焦、聚焦、光圈等；机头运动参数，例如，摇移、俯仰等；以及空间位置参数，如，地面位置x，y、高度z等。深度传感器安装在真实摄像机的云台/三脚架/摇臂/导轨或者其附属物的周围。如此，真实摄像机运动时，深度传感器也同步运动。其中，深度传感器可以获取彩色图像以及彩色图像所对应的深度图像。优选地，深度传感器为Kinect传感器。
估算单元308，用于根据所述运动参数对应地将重建后的待覆盖区域投影至所述真实视频图像的二维空间得到所述真实视频图像的待覆盖区域的估算边缘。由于根据运动参数进行实时投影，使得重建后的待覆盖区域的投影与真实摄像机拍摄的视频图像进行同步变化。
边缘生成单元309，用于根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓。如图4所示，边缘生成单元309包括匹配单元401、深度信息获取单元402、精确边缘生成单元403。
具体地，匹配单元401，用于根据估算边缘将真实视频图像和深度传感器同步得到的彩色图像进行匹配得到待覆盖区域的彩色图像。因为真实摄像机(拍摄的真实视频图像)和深度传感器彩色摄像机(同步得到的彩色图像)可能会存在焦距不一样的问题，真实摄像机的焦距可能一直是变动的，而深度传感器的焦距是不变的；另一方面，深度传感器是安装在真实摄像机的云台/三脚架/摇臂/导轨或者其附属物周围的，故深度传感器得到的图像和真实摄像机获取的真实视频图像的坐标会有不一致的问题。因此需要根据估算边缘，通过变焦数据和坐标变换等将真实视频图像和深度传感器同步得到的彩色图像进行匹配，以得到待覆盖区域的彩色图像以及待覆盖区域彩色图像的位置。其中，变焦数据是真实摄像机通过根据定位技术得到的。获取单元402，用于根据待覆盖区域的彩色图像，利用深度传感器的彩色图像和深度图像的对应关系，得到待覆盖区域的深度信息。精确边缘生成单元403，用于根据深度信息和估算边缘得到待覆盖区域的精确边缘和遮挡物的轮廓。在完成待覆盖区域估算边缘的基础上，根据待覆盖区域的深度信息进行深度值判断，区分深度信息所对应的像素点哪些是待覆盖区域的点，哪些是待覆盖区域之外的点，得到的待覆盖区域的边缘像素点即为待覆盖区域的精确边缘和遮挡物的轮廓。
置换单元310，按场频将真实视频图像中的待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。预设的虚拟视频图像可以是动画、三维模型、特效、字幕、外接数据及微信、短信等各种全媒体信息。虚拟视频输入输出可以为SDI、HDMI等各种视频格式，也可为各种流媒体格式。
图5为本发明实施例提供的一种终端的另一种示意性框图。该终端50包括输入装置501、输出装置502、存储器503以及处理器504，上述输入装置501、输出装置502、存储器503和处理器504通过总线505连接。其中：
输入装置501，用于提供用户输入信息。具体实现中，本发明实施例的输入装置501可包括键盘、鼠标、光电输入装置、声音输入装置、触摸式输入装置等。
输出装置502，用于输出置换屏幕墙后的视频图像。具体实现中，本发明实施例的输出装置502可包括显示器、显示屏、触摸屏等。
存储器503，用于存储带有各种功能的程序数据。本发明实施例中存储器503存储的数据包括待覆盖区域的物理尺寸，初始位置参数、初始设置参数、虚拟视频图像等，以及其他可调用并运行的程序数据。具体实现中，本发明实施例的存储器503可以是系统存储器，比如，挥发性的(诸如RAM)，非易失性的(诸如ROM，闪存等)，或者两者的结合。具体实现中，本发明实施例的存储器503还可以是系统之外的外部存储器，比如，磁盘、光盘、磁带等。
处理器504，用于调用存储器503中存储的程序数据，并执行如下操作：
获取真实三维空间中待覆盖区域的物理尺寸参数；实时获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数；将所述初始位置参数和初始设置参数赋予虚拟摄像机；获取真实摄像机所拍摄的初始真实图像，所述初始真实图像包括待覆盖区域的图像；接收用户对待覆盖区域的操作生成边缘信息，所述边缘信息包括边缘特征点；根据所述物理尺寸参数、所述初始位置参数、所述初始设置参数和所述边缘信息对所述待覆盖区域进行三维重建；获取真实摄像机所拍摄的真实视频图像、拍摄所述真实视频图像的运动参数以及深度传感器同步得到的图像；根据所述运动参数对应地将重建后的待覆盖区域投影至所述真实视频图像的二维空间得到所述真实视频图像的待覆盖区域的估算边缘；根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓；按场频将真实视频图像中的待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。
在其他可行的实施例中，处理器504还可执行如下步骤：
根据估算边缘将真实视频图像和深度传感器同步得到的彩色图像进行匹配；根据深度传感器匹配后的彩色图像，利用深度传感器得到的彩色图像和深度图像的对应关系，得到待覆盖区域的深度信息；根据深度信息和估算边缘得到待覆盖区域的精确边缘和遮挡物的轮廓。
应当理解，在本发明实施例中，所称处理器504可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

Claims (10)

1.一种实现虚拟屏幕墙的方法，其特征在于，所述方法包括：
获取真实三维空间中待覆盖区域的物理尺寸参数；
实时获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数；
将所述初始位置参数和初始设置参数赋予虚拟摄像机；
获取真实摄像机所拍摄的初始真实图像，所述初始真实图像包括待覆盖区域的图像；
接收用户对待覆盖区域的操作生成边缘信息，所述边缘信息包括边缘特征点；
根据所述物理尺寸参数、所述初始位置参数、所述初始设置参数和所述边缘信息对所述待覆盖区域进行三维重建；
获取真实摄像机所拍摄的真实视频图像、拍摄所述真实视频图像的运动参数以及深度传感器同步得到的图像；
根据所述运动参数对应地将重建后的待覆盖区域投影至所述真实视频图像的二维空间得到所述真实视频图像的待覆盖区域的估算边缘；
根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓；
按场频将真实视频图像中的待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。
2.如权利要求1所述的方法，其特征在于，根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓，包括：
根据估算边缘将真实视频图像和深度传感器同步得到的彩色图像进行匹配得到待覆盖区域的彩色图像，其中，深度传感器同步得到的图像包括彩色图像和深度图像；
根据待覆盖区域的彩色图像，利用深度传感器的彩色图像和深度图像的对应关系，得到待覆盖区域的深度信息；
根据深度信息和估算边缘得到待覆盖区域的精确边缘和遮挡物的轮廓。
3.如权利要求2所述的方法，其特征在于，真实视频图像和深度传感器同步得到的彩色图像是通过变焦数据和坐标转换来进行匹配的。
4.如权利要求1或2或3任意一项所述的方法，其特征在于，所述深度传感器为Kinect传感器。
5.如权利要求1所述的方法，其特征在于，真实摄像机所拍摄的初始真实图像是在真实摄像机将镜头推至最小张角处拍摄的。
6.一种终端，其特征在于，所述终端包括：
第一设置单元，用于获取真实三维空间中待覆盖区域的物理尺寸参数；
第二设置单元，用于实时获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数；
赋值单元，用于将所述初始位置参数和初始设置参数赋予虚拟摄像机；
初始图像获取单元，用于获取真实摄像机所拍摄的初始真实图像，所述初始真实图像包括待覆盖区域的图像；
边缘信息生成单元，用于接收用户对待覆盖区域的操作生成边缘信息，所述边缘信息包括边缘特征点；
重建单元，用于根据所述物理尺寸参数、所述初始位置参数、所述初始设置参数和所述边缘信息对所述待覆盖区域进行三维重建；
视频图像获取单元，用于获取真实摄像机所拍摄的真实视频图像、拍摄所述真实视频图像的运动参数以及深度传感器同步得到的图像；
估算单元，用于根据所述运动参数对应地将重建后的待覆盖区域投影至所述真实视频图像的二维空间得到所述真实视频图像的待覆盖区域的估算边缘；
边缘生成单元，用于根据所述估算边缘将真实视频图像和深度传感器同步得到的图像进行匹配，得到待覆盖区域的精确边缘和遮挡物的轮廓；
置换单元，用于按场频将真实视频图像中的待覆盖区域的精确边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。
7.如权利要求6所述的终端，其特征在于，边缘生成单元包括：
匹配单元，用于根据估算边缘将真实视频图像和深度传感器同步得到的彩色图像进行匹配得到待覆盖区域的彩色图像，其中，深度传感器同步得到的图像包括彩色图像和深度图像；
深度信息获取单元，用于根据待覆盖区域的彩色图像，利用深度传感器的彩色图像和深度图像的对应关系，得到待覆盖区域的深度信息；
精确边缘生成单元，用于根据深度信息和估算边缘得到待覆盖区域的精确边缘和遮挡物的轮廓。
8.如权利要求7所述的终端，其特征在于，真实视频图像和深度传感器同步得到的彩色图像是通过变焦数据和坐标转换来进行匹配的。
9.如权利要求6或7或8任意一项所述的终端，其特征在于，所述深度传感器为Kinect传感器。
10.如权利要求6所述的终端，其特征在于，真实摄像机所拍摄的初始真实图像是在真实摄像机将镜头推至最小张角处拍摄的。
CN201610623643.0A 2016-08-01 2016-08-01 一种实现虚拟屏幕墙的方法及终端 Active CN106296573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610623643.0A CN106296573B (zh) 2016-08-01 2016-08-01 一种实现虚拟屏幕墙的方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610623643.0A CN106296573B (zh) 2016-08-01 2016-08-01 一种实现虚拟屏幕墙的方法及终端

Publications (2)

Publication Number Publication Date
CN106296573A true CN106296573A (zh) 2017-01-04
CN106296573B CN106296573B (zh) 2019-08-06

Family

ID=57664364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610623643.0A Active CN106296573B (zh) 2016-08-01 2016-08-01 一种实现虚拟屏幕墙的方法及终端

Country Status (1)

Country Link
CN (1) CN106296573B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698390A (zh) * 2020-06-23 2020-09-22 网易（杭州）网络有限公司 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统
CN111754572A (zh) * 2019-03-29 2020-10-09 浙江宇视科技有限公司 图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957374A (zh) * 2005-03-02 2007-05-02 库卡罗伯特有限公司 确定与ar－物体光学重叠的方法和装置
CN101588459A (zh) * 2009-06-26 2009-11-25 北京交通大学 一种视频抠像处理方法
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN105072314A (zh) * 2015-08-13 2015-11-18 黄喜荣 一种可自动跟踪目标的虚拟演播室实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957374A (zh) * 2005-03-02 2007-05-02 库卡罗伯特有限公司 确定与ar－物体光学重叠的方法和装置
CN101588459A (zh) * 2009-06-26 2009-11-25 北京交通大学 一种视频抠像处理方法
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN105072314A (zh) * 2015-08-13 2015-11-18 黄喜荣 一种可自动跟踪目标的虚拟演播室实现方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754572A (zh) * 2019-03-29 2020-10-09 浙江宇视科技有限公司 图像处理方法及装置
CN111754572B (zh) * 2019-03-29 2024-04-05 浙江宇视科技有限公司 图像处理方法及装置
CN111698390A (zh) * 2020-06-23 2020-09-22 网易（杭州）网络有限公司 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统

Also Published As

Publication number Publication date
CN106296573B (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
US9426451B2 (en) Cooperative photography
JP6659187B2 (ja) 画像処理装置、画像処理方法及びプログラム
Matsuyama et al. 3D video and its applications
CN106027855B (zh) 一种虚拟摇臂的实现方法和终端
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
JP2009124685A (ja) 複数のビデオを結合してリアルタイムで表示する方法及びシステム
US11514654B1 (en) Calibrating focus/defocus operations of a virtual display based on camera settings
CN108475327A (zh) 三维采集与渲染
US9756277B2 (en) System for filming a video movie
KR101969082B1 (ko) 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
KR20150050450A (ko) 장면의 깊이 맵을 생성하기 위한 방법 및 장치
CN108648225A (zh) 目标图像获取系统与方法
CN108540717A (zh) 目标图像获取系统与方法
KR20210032549A (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램
CN110475109A (zh) 一种投影成像系统、方法、装置及存储介质
CN106296683A (zh) 一种虚拟屏幕墙的生成方法及终端
JP7403967B2 (ja) 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム
CN106296573A (zh) 一种实现虚拟屏幕墙的方法及终端
JP2015099545A (ja) 画像生成システム及び画像生成プログラム
Audet et al. Shadow removal in front projection environments using object tracking
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2012105019A (ja) 画像処理装置、方法およびそのプログラム
KR101439406B1 (ko) 영상을 활용하여 깊이 정보를 획득하는 영상처리장치 및 영상처리방법
KR101847996B1 (ko) 곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템
Kim et al. Real‐Time Human Shadow Removal in a Front Projection System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant