CN106295525B - 一种视频图像置换方法及终端 - Google Patents

一种视频图像置换方法及终端 Download PDF

Info

Publication number
CN106295525B
CN106295525B CN201610616786.9A CN201610616786A CN106295525B CN 106295525 B CN106295525 B CN 106295525B CN 201610616786 A CN201610616786 A CN 201610616786A CN 106295525 B CN106295525 B CN 106295525B
Authority
CN
China
Prior art keywords
region
covered
image
edge
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610616786.9A
Other languages
English (en)
Other versions
CN106295525A (zh
Inventor
田媛
钱东东
李二超
温晓晴
刘林运
张黎阳
徐冬冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN DLP DIGITAL TECHNOLOGY CO LTD
Original Assignee
SHENZHEN DLP DIGITAL TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN DLP DIGITAL TECHNOLOGY CO LTD filed Critical SHENZHEN DLP DIGITAL TECHNOLOGY CO LTD
Priority to CN201610616786.9A priority Critical patent/CN106295525B/zh
Publication of CN106295525A publication Critical patent/CN106295525A/zh
Application granted granted Critical
Publication of CN106295525B publication Critical patent/CN106295525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视频图像置换方法及终端。该方法包括:获得真实三维空间中待覆盖区域的物理尺寸参数;获取真实摄像机初始位置参数和初始设置参数;获取真实摄像机所拍摄的初始真实图像;按照预设的算法对所述初始真实图像进行处理获得待覆盖区域的边缘信息;根据物理尺寸参数、初始位置参数、初始设置参数和所述边缘信息进行三维重建;获取真实摄像机所拍摄的视频图像和运动参数;根据运动参数对应地将重建后的待覆盖区域投影至视频图像的二维空间得到相应的虚拟待覆盖区域的估算边缘;根据所述估算边缘,将真实视频图像与待覆盖区域中同步显示的图像进行比对得到精确边缘和遮挡物的轮廓;按场频将精确边缘和轮廓构成的区域进行图像置换。

Description

一种视频图像置换方法及终端
技术领域
本发明涉及虚拟植入技术领域,尤其涉及应用于虚拟植入系统中的一种视频图像置换方法及终端。
背景技术
在各类电视节目、电影、视频制作拍摄时,例如基于舞台的大型晚会、足球篮球等体育赛事、大型访谈类节目的实景演播室,现场一般都有大屏幕墙、广告墙等视频播放设备。摄像机拍摄的实时视频进入虚拟植入系统后,将现场直播的大屏幕、广告墙的播放内容实时替换后再进行直播即可达到广告置换效果。但是,在现有的技术中,一般采用抠像技术进行图像置换,会存在穿帮现象。
发明内容
本发明提出了一种图像置换方法及终端,可以实现图像置换且防止穿帮现象。
一种视频图像置换方法,其特征在于,该方法包括:
获得真实三维空间中待覆盖区域的物理尺寸参数;
获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数;
将所述初始位置参数和初始设置参数赋予虚拟摄像机;
获取所述真实摄像机所拍摄的初始真实图像,所述初始真实图像包括待覆盖区域的全景图像;
按照预设的算法对所述初始真实图像进行处理获得待覆盖区域的边缘信息;
根据所述物理尺寸参数、所述初始位置参数、所述初始设置参数和所述边缘信息对所述待覆盖区域进行三维重建;
获取真实摄像机所拍摄的视频图像和拍摄所述视频图像的运动参数;
根据所述运动参数对应地将重建后的待覆盖区域投影至所述视频图像的二维空间得到相应的虚拟待覆盖区域的估算边缘;
根据所述估算边缘将真实视频图像与所述待覆盖区域的图像进行比对,得到待覆盖区域的精确边缘和遮挡物的轮廓;
按场频将真实视频图像中的待覆盖区域的边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。
优选地,按照预设的算法对所述初始真实图像进行处理获得待覆盖区域的边缘信息包括:
接收用户针对所述初始真实图像的操作生成边缘信息;
对所述第一边缘信息进行边缘检测,得到所述待覆盖区域的边缘信息。
优选地,所述待覆盖区域的图像进行比对,得到待覆盖区域的精确边缘和遮挡物的轮廓,包括:
若所述待覆盖区域显示有图像,获取与所述真实视频图像同步的所述待覆盖区域显示的图像;
根据所述估算边缘获得所述显示的图像相对应的边缘;
将真实视频图像中的估算边缘与所述显示的图像相对应的边缘进行比对得到所述精确边缘;
将所述待覆盖区域的真实视频图像与同步显示的图像进行比较,得到遮挡物轮廓。
优选地,获取与所述真实视频图像同步的所述待覆盖区域显示的图像,包括:
若所述待覆盖区域所显示的图像为动态视频图像,对所述显示的动态视频图像和所述真实摄像机所拍摄的图像进行同步锁相得到所述与所述待覆盖区域中同步显示的图像。
优选地,获取与所述待覆盖区域中同步显示的图像,包括:
若所述待覆盖区域所显示的图像为静态视频图像,获取一帧所述待覆盖区域所显示的图像。
一种终端,其特征在于,该终端包括:
第一设置单元,用于获得真实三维空间中待覆盖区域的物理尺寸参数;
第二设置单元,用于获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数;
赋值单元,用于获取所述真实摄像机所拍摄的初始真实图像,所述初始真实图像包括待覆盖区域的全景图像;
初始图像获取单元,用于获取所述真实摄像机所拍摄的初始真实图像,所述初始真实图像包括待覆盖区域的全景图像;
边缘信息生成单元,用于按照预设的算法对所述初始真实图像进行处理获得待覆盖区域的边缘信息;
重建单元,用于根据所述物理尺寸参数、所述初始位置参数、所述初始设置参数和所述边缘信息对所述待覆盖区域进行三维重建;
视频图像获取单元,用于获取真实摄像机所拍摄的视频图像和拍摄所述视频图像的运动参数;
估算单元,根据所述运动参数对应地将重建后的待覆盖区域投影至所述视频图像的二维空间得到相应的虚拟待覆盖区域的估算边缘;
边缘生成单元,用于根据所述估算边缘将真实视频图像与所述待覆盖区域的图像进行比对,得到待覆盖区域的精确边缘和遮挡物的轮廓;
置换单元,用于按场频将待覆盖区域的边缘和遮挡物的轮廓构成的待置换区域置换为预设的虚拟视频图像。
优选地,所述边缘信息生成单元包括:
边缘绘制单元,用于接收用户针对所述初始真实图像的操作生成边缘信息;
边缘检测单元,用于对所述第一边缘信息进行边缘检测得到所述待覆盖区域的边缘信息。
优选地,边缘生成单元包括:
同步图像获取单元,用于若所述待覆盖区域显示有图像,获取与所述真实视频图像同步的所述待覆盖区域显示的图像;
边缘获取单元,用于根据所述估算边缘获得所述显示的图像相对应的边缘;
比对单元,用于将真实视频图像中的估算边缘与所述显示的图像相对应的边缘进行比对得到所述精确边缘;
轮廓生成单元,用于将所述待覆盖区域的真实视频图像与同步显示的图像进行比较,得到遮挡物轮廓。
优选地,所述同步图像获取单元用于若所述显示的图像为动态视频图像,对所述显示的动态视频图像和所述真实摄像机所拍摄的图像进行同步锁相得到所述与所述待覆盖区域中同步显示的图像。
优选地,所述同步图像获取单元用于若所述待覆盖区域显示的图像为静态图像,获取一帧所述待覆盖区域所显示的图像。
本发明的有益效果在于:本图像置换方法和终端,提供了图像比对的方式识别边缘和遮挡物轮廓,不会有任何穿帮现象,且可以根据不同受众人群设计不同的预设虚拟图像,使得同一电视节目的不同受众人群看到不同的广告效果。
附图说明
图1为一个实施例的视频图像置换方法的流程图。
图2为图1所示视频图像置换方法的第一子流程图。
图3为图1所示视频图像置换方法的第二子流程图。
图4为一个实施例的终端的示意性框图。
图5为图4所示的终端的第一子功能模块示意性框图。
图6为图4所示的终端的第二子功能模块示意性框图。
具体实施方式
为阐述本发明的思想及目的,下面将结合附图和具体实施例对本发明做进一步的说明。
图1为一种视频图像置换方法的方法流程图。该视频图像置换方法应用于虚拟植入系统中,将现场直播的大屏幕、广告墙的播放内容对喷绘板、或者是现场中的任意物体进行图像替换后,再进行直播可以可达到广告置换或者其他图像置换效果。该视频图像置换方法包括步骤S101-S110。
步骤S101,获得真实三维空间中待覆盖区域的物理尺寸参数。在本实施例中,待覆盖区域为大屏幕墙、广告墙所占的区域等用于显示图像的设备所占的区域。在一些可行的其他实施例中,待覆盖区域还可以为喷绘板、或者现场中的任意物体所占区域。待覆盖区域的形状可以为但不限于方形、圆形、扇形、弧面等。待覆盖区域的物理尺寸参数,如,针对矩形、多边形抠像区域,该物理尺寸参数为边长、夹角等;针对扇面、弧面,该物理尺寸参数为半径和张角等。
步骤S102,获取真实摄像机在真实三维空间的初始位置参数和初始设置参数。该位置参数包括摄像机在真实三维空间的位置、姿态等。该设置参数包括真实摄像机在真实空间中变焦、聚焦、景深等。
步骤S103,将该初始位置参数和初始设置参数赋予虚拟摄像机。如此,可以使真实摄像机和虚拟摄像机的坐标匹配。
步骤S104,获取该真实摄像机所拍摄的初始真实图像,该初始真实图像包括待覆盖区域所形成的图像。可以理解地,若现场中需要置换的区域只有一个,该真实摄像机拍摄该区域的全景图像生成该初始真实图像。若现场中有多个区域需要进行置换的,该真实摄像机拍摄该所有区域的全景图像生成该初始真实图像。
步骤S105,按照预设的算法对该初始真实图像进行处理获得待覆盖区域的边缘信息。具体地,如图2所示,步骤S105具体包括:步骤S201,接收用户针对该初始真实图像的操作生成边缘信息;步骤S202,根据预设的边缘检测算法对边缘信息进行边缘检测得到该待覆盖区域的边缘信息。该边缘检测算法采用的是现有的任意一种边缘检测算法,在此不再赘述。
步骤S106,根据该物理尺寸参数、该初始位置参数、该初始设置参数和该边缘信息对该待覆盖区域进行三维重建。步骤S106具体包括:根据待覆盖区域的物理尺寸参数计算出待覆盖区域在真实三维空间中的景深、边缘信息;根据景深和边缘信息进行三维重构。
步骤S107,获取真实摄像机所拍摄的视频图像和拍摄该视频图像的运动参数。该视频图像可以实时地从该真实摄像机获取。该运动参数可以利用摄像机跟踪技术获得。其中,该运动参数包括镜头运动参数,如,变焦、聚焦、光圈等;机头运动参数,例如,摇移、俯仰等;以及空间位置参数,如,地面位置x,y、高度z等。
步骤S108,根据该运动参数对应地将重建后的待覆盖区域投影至该视频图像的二维空间得到相应的虚拟待覆盖区域的估算边缘。由于根据运动参数进行实时投影,使得重建后的待覆盖区域投影与真实摄像机的拍摄的视频图像进行同步变化。
步骤S109,根据该估算边缘,将真实视频图像与该待覆盖区域的图像进行比对,得到待覆盖区域的精确边缘和遮挡物的轮廓。如图3所示,在本实施例中,步骤S109具体包括:若该待覆盖区域显示有图像,执行步骤S301至步骤S304;若该待覆盖区域未显示有图像,执行步骤S305至步骤S308。
具体地,步骤S301,获取该待覆盖区域与该视频图像同步显示的图像。步骤S302,根据该估算边缘和该同步显示的图像获得该相对应的区域。步骤S303,将真实视频图像中的估算边缘区域与该待覆盖区域中同步显示的图像相对应的区域进行比对得到该精确边缘。步骤S304,将该待覆盖区域的真实视频图像与同步显示的图像进行比较,得到遮挡物轮廓。步骤S305,获取该覆盖区域的图像。步骤S306,根据该估算边缘和该待覆盖区域的图像该相对应的区域。步骤S307,将真实视频图像中的估算边缘区域与该待覆盖区域的图像相对应的区域进行比对得到该精确边缘。步骤S308,将该待覆盖区域的真实视频图像与该待覆盖区域的图像进行比较,得到遮挡物轮廓。
在一些可行的实施例中,步骤S301具体包括:若该待覆盖区域所显示的图像为动态视频图像,对该待覆盖区域所显示的动态视频图像和该真实摄像机所拍摄的图像进行同步锁相得到该与该待覆盖区域中同步显示的图像。若该待覆盖区域所显示的图像为静态视频图像,获取一张该待覆盖区域所显示的图像。
步骤S110,按场频将待覆盖区域的边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像。预设的虚拟视频图像可以是动画、三维模型、特效、字幕、外接数据及微信、短信等各种全媒体信息。
上述方法,提供了图像比对获得待覆盖区域的边缘和遮挡物轮廓,不会有任何穿帮现象,即使大屏幕墙大部分被遮挡的情况下仍可对残留部分进行实时虚拟广告替换,不会有任何穿帮现象。另外,上述方法通过用户绘制产生相应的边缘信息,并仅针对边缘信息处理得到待覆盖区域的边缘,大大减少了计算量。此外,利用此方法,可以根据不同受众人群设计不同的预设虚拟图像,使得同一电视节目的不同受众人群看到不同的广告效果。
图4为一种终端100的示意性框架图。该终端可以为台式计算机、笔记型计算机、一体机型计算等。该终端100包括第一设置单元101、第二设置单元102、赋值单元103、初始图像获取单元104、边缘信息生成单元105、重建单元106、视频图像获取单元107、估算单元108、待置换区域边缘生成单元109、置换单元110。
第一设置单元101,用于获得真实三维空间中待覆盖区域的物理尺寸参数。在本实施例中,待覆盖区域为大屏幕墙、广告墙所占的区域等用于显示图像的设备所占的区域。在一些可行的其他实施例中,待覆盖区域还可以为喷绘板、或者是现场中的任意物体所占区域。待覆盖区域的形状可以为但不限于方形、圆形、扇形、弧面等。待覆盖区域的物理尺寸参数,如,针对矩形、多边形抠像区域,该物理尺寸参数为边长、夹角等;针对扇面、弧面,该物理尺寸参数为半径和张角等。第一设置单元101可以用户手动输入该待覆盖区域的物理尺寸而获得,也可以通过从另一设备中获取。
第二设置单元102,用于获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数。该位置参数包括摄像机在真实三维空间的位置、姿态等。该设置参数包括真实摄像机在真实空间中变焦、聚焦、景深等。第二设置单元103同样用户手动输入该待覆盖区域的物理尺寸而获得,也可以通过从另一设备中获取。
赋值单元103,用于将该初始位置参数和初始设置参数赋予虚拟摄像机。如此,可以使该真实摄像机和虚拟摄像机的坐标匹配。
初始图像获取单元104,用于获取该真实摄像机所拍摄的初始真实图像,该初始真实图像包括待覆盖区域所形成的图像。可以理解地,若现场中需要置换的区域只有一个,该真实摄像机拍摄该区域的全景图像生成该初始真实图像。若现场中有多个区域需要进行置换的,该真实摄像机拍摄该所有区域的全景图像生成该初始真实图像。
边缘信息生成单元105,用于按照预设的算法对该初始真实图像进行处理获得待覆盖区域的边缘信息。具体地,如图5所示,边缘信息获取单元105包括边缘绘制单元1051和边缘检测单元1052。边缘绘制单元105用于接收用户针对该初始真实图像的操作生成粗略边缘信息。边缘检测单元1052用于根据预设的边缘检测算法对粗略边缘信息进行边缘检测,生成该待覆盖区域的边缘信息。该边缘检测算法采用的是现有的任意一种边缘检测算法即可,在此不再赘述。
重建单元106,用于根据该物理尺寸参数、该初始位置参数、该初始设置参数和该边缘信息对该待覆盖区域进行三维重建。具体地,重建单元106首先根据待覆盖区域的物理尺寸参数计算出待覆盖区域在真实三维空间中的景深、边缘信息,然后根据景深和边缘信息进行三维重构。
视频图像获取单元107,获取真实摄像机所拍摄的视频图像和拍摄该视频图像的运动参数。该视频图像可以实时地从该真实摄像机获取。该运动参数可以利用摄像机跟踪技术获得。
估算单元108,根据该运动参数对应地将重建后的待覆盖区域投影至该视频图像的二维空间得到相应的待覆盖区域的估算边缘。
边缘生成单元109,将该真实视频图像的估算边缘与该待覆盖区域显示的图像相对应的边缘进行比对,得到待覆盖区域的精确边缘和遮挡物的轮廓。该待覆盖区域显示的图像与该视频图像同步。
请参看图6,边缘生成单元109包括同步图像获取单元1091、边缘获取单元1092、比对单元1093、轮廓生成单元1094。
若该待覆盖区域显示有图像,边缘生成单元109的各单元具体功能如下。同步图像获取单元1091用于获取与该真实视频图像同步的该待覆盖区域显示的图像,具体地,若该显示的图像为动态视频图像,同步图像获取单元1091用于对该显示的动态视频图像和该真实摄像机所拍摄的图像进行同步锁相得到该与该待覆盖区域中同步显示的图像。同步图像获取单元1091还用于若该待覆盖区域显示的图像为静态图像,获取一帧该待覆盖区域所显示的图像。边缘获取单元1092用于根据该估算边缘获得该显示的图像相对应的边缘。边缘比对单元1093用于将真实视频图像中的估算边缘与该显示的图像相对应的边缘进行比对得到该精确边缘。轮廓生成单元1094用于将该待覆盖区域的真实视频图像与同步显示的图像进行比较,得到遮挡物轮廓。
若该待覆盖区域未显示有图像,边缘生成单元109的各单元功能如下。同步图像获取单元1091还用于获取该覆盖区域的图像。边缘获取单元1092还用于根据该估算边缘和该待覆盖区域的图像该相对应的区域。边缘比对单元1093还用于将真实视频图像中的估算边缘区域与该待覆盖区域的图像相对应的区域进行比对得到该准确边缘。轮廓生成单元1094还用于将该待覆盖区域的真实视频图像与该待覆盖区域的图像进行比较,得到遮挡物轮廓。
置换单元110,按场频将待覆盖区域的边缘和遮挡物的轮廓构成的待置换区域置换为预设的虚拟视频图像。预设的虚拟视频图像可以是动画、三维模型、特效、字幕、外接数据及微信、短信等各种全媒体信息。
上述终端,提供了图像比对获得待覆盖区域的边缘和遮挡物轮廓,不会有任何穿帮现象,即使大屏幕墙大部分被遮挡的情况下仍可对残留部分进行实时虚拟广告替换,不会有任何穿帮现象。另外,上述终端通过用户绘制产生相应的边缘信息,并仅针对边缘信息处理得到待覆盖区域的边缘,大大减少了计算量。此外,利用此终端,可以根据不同受众人群设计不同的预设虚拟图像,使得同一电视节目的不同受众人群看到不同的广告效果。
本文中应用了具体个例对本发明的结构原理及实施方式进行了阐述,以上实施例只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种视频图像置换方法,其特征在于,该方法包括:
获得真实三维空间中待覆盖区域的物理尺寸参数;
获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数;
将所述初始位置参数和初始设置参数赋予虚拟摄像机;
获取所述真实摄像机所拍摄的初始真实图像,所述初始真实图像包括待覆盖区域的全景图像;
按照预设的算法对所述初始真实图像进行处理获得待覆盖区域的边缘信息;
根据所述物理尺寸参数、所述初始位置参数、所述初始设置参数和所述边缘信息对所述待覆盖区域进行三维重建;
获取真实摄像机所拍摄的视频图像和拍摄所述视频图像的运动参数;
根据所述运动参数对应地将重建后的待覆盖区域投影至所述视频图像的二维空间得到相应的虚拟待覆盖区域的估算边缘;
根据所述估算边缘将真实视频图像与所述待覆盖区域的图像进行比对,得到待覆盖区域的精确边缘和遮挡物的轮廓;
按场频将真实视频图像中的待覆盖区域的边缘和遮挡物的轮廓构成的区域置换为预设的虚拟视频图像;
其中,所述根据所述估算边缘将真实视频图像与所述待覆盖区域的图像进行比对,得到待覆盖区域的精确边缘和遮挡物的轮廓包括:
若所述待覆盖区域显示有图像,获取与所述真实视频图像同步的所述待覆盖区域显示的图像;根据所述估算边缘获得所述显示的图像相对应的边缘;将真实视频图像中的估算边缘与所述显示的图像相对应的边缘进行比对得到所述精确边缘;将所述待覆盖区域的真实视频图像与同步显示的图像进行比较,得到遮挡物轮廓;
若所述待覆盖区域未显示有图像,获取所述覆盖区域的图像;根据所述估算边缘和所述待覆盖区域的图像所述相对应的区域;将真实视频图像中的估算边缘区域与所述待覆盖区域的图像相对应的区域进行比对得到所述精确边缘;将所述待覆盖区域的真实视频图像与所述待覆盖区域的图像进行比较,得到遮挡物轮廓。
2.根据权利要求1所述的视频图像置换方法,其特征在于:按照预设的算法对所述初始真实图像进行处理获得待覆盖区域的边缘信息包括:
接收用户针对所述初始真实图像的操作生成第一边缘信息;
对所述第一边缘信息进行边缘检测,得到所述待覆盖区域的边缘信息。
3.根据权利要求1所述的方法,其特征在于,获取与所述真实视频图像同步的所述待覆盖区域显示的图像,包括:
若所述待覆盖区域所显示的图像为动态视频图像,对所述显示的动态视频图像和所述真实摄像机所拍摄的图像进行同步锁相得到所述与所述待覆盖区域中同步显示的图像。
4.根据权利要求1所述的方法,其特征在于,获取与所述待覆盖区域中同步显示的图像,包括:
若所述待覆盖区域所显示的图像为静态视频图像,获取一帧所述待覆盖区域所显示的图像。
5.一种终端,其特征在于,该终端包括:
第一设置单元,用于获得真实三维空间中待覆盖区域的物理尺寸参数;
第二设置单元,用于获取真实摄像机在真实三维空间的空间初始位置参数和初始设置参数;
赋值单元,用于获取所述真实摄像机所拍摄的初始真实图像,所述初始真实图像包括待覆盖区域的全景图像;
初始图像获取单元,用于获取所述真实摄像机所拍摄的初始真实图像,所述初始真实图像包括待覆盖区域的全景图像;
边缘信息生成单元,用于按照预设的算法对所述初始真实图像进行处理获得待覆盖区域的边缘信息;
重建单元,用于根据所述物理尺寸参数、所述初始位置参数、所述初始设置参数和所述边缘信息对所述待覆盖区域进行三维重建;
视频图像获取单元,用于获取真实摄像机所拍摄的视频图像和拍摄所述视频图像的运动参数;
估算单元,根据所述运动参数对应地将重建后的待覆盖区域投影至所述视频图像的二维空间得到相应的虚拟待覆盖区域的估算边缘;
边缘生成单元,用于根据所述估算边缘将真实视频图像与所述待覆盖区域的图像进行比对,得到待覆盖区域的精确边缘和遮挡物的轮廓;
置换单元,用于按场频将待覆盖区域的边缘和遮挡物的轮廓构成的待置换区域置换为预设的虚拟视频图像;
其中,所述边缘生成单元包括同步图像获取单元、边缘获取单元、比对单元、轮廓生成单元;
若所述待覆盖区域显示有图像,所述同步图像获取单元用于获取与所述真实视频图像同步的所述待覆盖区域显示的图像;所述边缘获取单元用于根据所述估算边缘获得所述显示的图像相对应的边缘;所述比对单元用于将真实视频图像中的估算边缘与所述显示的图像相对应的边缘进行比对得到所述精确边缘;所述轮廓生成单元用于将所述待覆盖区域的真实视频图像与同步显示的图像进行比较,得到遮挡物轮廓;
若所述待覆盖区域未显示有图像,所述同步图像获取单元用于获取所述覆盖区域的图像;所述边缘获取单元用于根据所述估算边缘和所述待覆盖区域的图像所述相对应的区域;所述比对单元用于将真实视频图像中的估算边缘区域与所述待覆盖区域的图像相对应的区域进行比对得到所述精确边缘;所述轮廓生成单元用于将所述待覆盖区域的真实视频图像与所述待覆盖区域的图像进行比较,得到遮挡物轮廓。
6.根据权利要求5所述的终端,其特征在于:所述边缘信息生成单元包括:
边缘绘制单元,用于接收用户针对所述初始真实图像的操作生成第一边缘信息;
边缘检测单元,用于对所述第一边缘信息进行边缘检测得到所述待覆盖区域的边缘信息。
7.根据权利要求5所述的终端,其特征在于,所述同步图像获取单元用于若所述显示的图像为动态视频图像,对所述显示的动态视频图像和所述真实摄像机所拍摄的图像进行同步锁相得到所述与所述待覆盖区域中同步显示的图像。
8.根据权利要求5所述的终端,其特征在于,所述同步图像获取单元用于若所述待覆盖区域显示的图像为静态图像,获取一帧所述待覆盖区域所显示的图像。
CN201610616786.9A 2016-07-29 2016-07-29 一种视频图像置换方法及终端 Active CN106295525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610616786.9A CN106295525B (zh) 2016-07-29 2016-07-29 一种视频图像置换方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610616786.9A CN106295525B (zh) 2016-07-29 2016-07-29 一种视频图像置换方法及终端

Publications (2)

Publication Number Publication Date
CN106295525A CN106295525A (zh) 2017-01-04
CN106295525B true CN106295525B (zh) 2019-12-03

Family

ID=57663530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610616786.9A Active CN106295525B (zh) 2016-07-29 2016-07-29 一种视频图像置换方法及终端

Country Status (1)

Country Link
CN (1) CN106295525B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280882B (zh) * 2018-01-24 2021-12-31 北京德火新媒体技术有限公司 一种在虚拟显示空间植入ar前景物品位置的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588459A (zh) * 2009-06-26 2009-11-25 北京交通大学 一种视频抠像处理方法
CN105072314A (zh) * 2015-08-13 2015-11-18 黄喜荣 一种可自动跟踪目标的虚拟演播室实现方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980697B1 (en) * 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
WO2013082539A1 (en) * 2011-12-01 2013-06-06 Lightcraft Technology Llc Automatic tracking matte system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588459A (zh) * 2009-06-26 2009-11-25 北京交通大学 一种视频抠像处理方法
CN105072314A (zh) * 2015-08-13 2015-11-18 黄喜荣 一种可自动跟踪目标的虚拟演播室实现方法

Also Published As

Publication number Publication date
CN106295525A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN109348119B (zh) 一种全景监控系统
Matsuyama et al. 3D video and its applications
Niem Automatic reconstruction of 3D objects using a mobile camera
US20070183648A1 (en) Creating a depth map
Maimone et al. A first look at a telepresence system with room-sized real-time 3d capture and life-sized tracked display wall
CN107358609B (zh) 一种用于增强现实的图像叠加方法及装置
US8577202B2 (en) Method for processing a video data set
EP0903695B1 (en) Image processing apparatus
Suenaga et al. A practical implementation of free viewpoint video system for soccer games
US8979281B2 (en) System and method for imagination park tree projections
CN106296683A (zh) 一种虚拟屏幕墙的生成方法及终端
JPH07508374A (ja) 画像変換
CN113298946A (zh) 房屋三维重建及地面识别方法、装置、设备和存储介质
CN106295525B (zh) 一种视频图像置换方法及终端
CN109801351B (zh) 动态图像生成方法和处理设备
CN106296573B (zh) 一种实现虚拟屏幕墙的方法及终端
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
CN108734791B (zh) 全景视频的处理方法和装置
Inamoto et al. Free viewpoint video synthesis and presentation of sporting events for mixed reality entertainment
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
KR100399735B1 (ko) 스틸 사진을 이용한 가상 네비게이션 구현 방법
AU2012203857B2 (en) Automatic repositioning of video elements
CN111476716A (zh) 一种实时视频拼接方法和装置
US11830140B2 (en) Methods and systems for 3D modeling of an object by merging voxelized representations of the object

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant