CN109688343A - 增强现实演播室的实现方法和装置 - Google Patents

增强现实演播室的实现方法和装置 Download PDF

Info

Publication number
CN109688343A
CN109688343A CN201710978401.8A CN201710978401A CN109688343A CN 109688343 A CN109688343 A CN 109688343A CN 201710978401 A CN201710978401 A CN 201710978401A CN 109688343 A CN109688343 A CN 109688343A
Authority
CN
China
Prior art keywords
video camera
image
augmented reality
real scene
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710978401.8A
Other languages
English (en)
Inventor
李炜
孙其民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inlife Handnet Co Ltd
Original Assignee
Inlife Handnet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inlife Handnet Co Ltd filed Critical Inlife Handnet Co Ltd
Priority to CN201710978401.8A priority Critical patent/CN109688343A/zh
Publication of CN109688343A publication Critical patent/CN109688343A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种增强现实演播室的实现方法和装置。该增强现实演播室的实现方法，通过摄像机获取真实场景图像；在所述真实场景图像中设定多个特征标识；对所述真实场景图像中的多个特征标识进行识别和跟踪；根据所述摄像机的方位参数和多个特征标识之间的位置信息，计算所述摄像机的运动变化参数；根据所述摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像。该方案借助高分辨率的摄像机对真实场景中的特征标识进行跟踪，以推算出摄像机的运动变化参数，基于此调整虚拟对象在真实场景中的显示位置，提升了所输出增强现实图像的显示效果。

Description

增强现实演播室的实现方法和装置
技术领域
本发明涉及增强现实技术领域，尤其涉及一种增强现实演播室的实现方法和装置。
背景技术
AR(Augmented Reality，增强现实)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后，把真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息充、叠加。
相关技术中，增强现实演播室将计算机产生的数据以虚拟对象的显示于真实场景时，采用机械、磁性、超声波惯性和光学跟踪等方式来探测摄像机运动参数。然而，各方式都存在一定的缺陷，使得探测结果的显示效果较差。
发明内容
本发明实施例提供一种增强现实演播室的实现方法和装置，可提升所输出增强现的显示效果。
本发明实施例提供了一种增强现实演播室的实现方法，包括：
通过摄像机获取真实场景图像；
在所述真实场景图像中设定多个特征标识；
对所述真实场景图像中的多个特征标识进行识别和跟踪；
根据所述摄像机的方位参数和多个特征标识之间的位置信息，计算所述摄像机的运动变化参数；
根据所述摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像。
相应地，本发明实施例还提供一种增强现实演播室的实现装置，包括：
图像获取模块，用于通过摄像机获取真实场景图像；
标识设定模块，用于在所述真实场景图像中设定多个特征标识；
跟踪模块，用于对所述真实场景图像中的多个特征标识进行识别和跟踪；
计算模块，用于根据所述摄像机的方位参数和多个特征标识之间的位置信息，计算所述摄像机的运动变化参数；
图像处理模块，用于根据所述摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像。
本发明实施例提供的增强现实演播室的实现方法和装置，通过摄像机获取真实场景图像；在所述真实场景图像中设定多个特征标识；对所述真实场景图像中的多个特征标识进行识别和跟踪；根据所述摄像机的方位参数和多个特征标识之间的位置信息，计算所述摄像机的运动变化参数；根据所述摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像。该方案借助高分辨率的摄像机对真实场景中的特征标识进行跟踪，以推算出摄像机的运动变化参数，基于此调整虚拟对象在真实场景中的显示位置，提升了所输出增强现实图像的显示效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的增强现实演播室的实现方法的一种流程示意图。
图2是本发明实施例提供的增强现实演播室的实现方法的一种应用场景示意图。
图3是本发明实施例提供的增强现实演播室的实现系统的架构示意图。
图4是本发明实施例提供的增强现实演播室的实现装置的一种结构示意图。
图5是本发明实施例提供的增强现实演播室的实现装置的另一种结构示意图。
图6是本发明实施例提供的增强现实演播室的实现装置的又一种结构示意图。
图7是本发明实施例提供的增强现实演播室的实现装置的又一种结构示意图。
图8是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种增强现实演播室的实现方法和装置。以下将分别进行详细说明。
在一优选实施例中，提供一种增强现实演播室的实现方法，如图1所示，流程可以如下：
101、通过摄像机获取真实场景图像。
具体地，在虚拟演播室内设置摄像机对真实场景进行拍摄，以获取真实场景图像。其中，该摄像相机具有高分辨率。真实场景图像：可以是由于摄像机拍摄的单幅图像、或数字图片、或视频记录的数字化图像序列。
在一些实施例中，该摄像机可以是RGB摄像机、立体声或阵列摄像机和/或深度摄像机(例如飞行时间和/或结构化光深度摄像机)。由深度摄像机捕获的深度图像可指示由每个像素成像的表面的深度，以便提供关于场景的一个或多个特征的信息。该摄像机可以沿现实场景中任意轨迹移动。
在一些施例中，该摄像机可集成在移动设备(如智能手机、平板电脑等)中，且在现实场景中内是可移动的。
102、在真实场景图像中设定多个特征标识。
具体地，为记录某一图像，可在该图像上设定相关标识以对其进行识别。
在一些实施例中，特征标识为特征点。则步骤“在真实场景图像中设定多个特征标识”可以包括以下流程：
对真实场景图像进行解析，提取图像特征；
根据所提取的图像特征设定多个特征点。
在一些实施例中，所提取的图像特征可包括颜色特征、形状特征、纹理特征和/或空间关系特征。
其中，颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。可采用颜色直方图、颜色矩、颜色集、颜色聚合向量以及颜色相关图等颜色特征等方法提取图像的纹理特征。
纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。可采用统计法、几何法、模型法、信号处理法等方式提取图像的纹理特征。
形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。可采用边界特征法、傅里叶形状描述符法、几何参数法、形状不变矩法、有限元法(Finite Element Method)、旋转函数(Turning Function)和小波描述符(Wavelet Descriptor)等方法提取图像的形状特征。
空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。通常空间位置信息可以分为两类：相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况，如上下左右关系等，后一种关系强调的是目标之间的距离大小以及方位。提取图像空间关系特征可以有两种方法：一种方法是首先对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引；另一种方法则简单地将图像均匀地划分为若干规则子块，然后对每个图像子块提取特征，并建立索引。
比如，可根据所提取的图像特征设置若干个特征点，该若干个特征点可为可识别的形体(如图像中的棱角、凹陷处等等)。
又比如，可基于图像的颜色特征，通过彩色编码在该图像中设定若干个特征点。
103、对真实场景图像中的多个特征标识进行识别和跟踪。
在一些实施例中，若以上若干个特征点完全是可识别的形体，则可基于细节跟踪算法对多个特征标识进行识别和跟踪。
在一些实施例中，若以上若干个特征点由彩色编码标记，则可用过图像序列自动地识别和跟踪其在真实场景中的位置。
104、根据摄像机的方位参数和多个特征标识之间的位置信息，计算摄像机的运动变化参数。
具体地，在实际应用中，由于特征标识较小，因此在图像序列情况下，摄像机移动不能太快，只有围绕给定特征标识中心点的小矩形区域被连续地探测。然后计算这些特征标识的重心，以为计算摄像机的运动参数提供相关数据。也即步骤“根据摄像机的方位参数和多个特征标识之间的位置信息，计算摄像机的运动变化参数”可以包括以下流程：
确定多个特征点在真实空间的坐标信息；
确定摄像机在虚拟场景中的方位信息，该方位信息包括：坐标信息、摄像机的旋转角、摇移、仰俯角、以及摄像头焦距；
根据多个特征点在真实空间的坐标信息和摄像机在真实场景中的方位信息，确定摄像机的运动变化参数。
以特征标识为特征点为例，参考图2，将图像中所设定的特征点的二维坐标定义为：(ξ,η)x 4。为了产生真实世界和虚拟世界三维空间图像之间的连接，在记录图像期间，需确定真实场景设定的特征标识的信息。要连接真实世界和虚拟世界坐标系统，只需计算这些特征标识之间的相对距离。如，继续参考图2，可用4个标识点P表示真实世界三维信息，坐标为(X,Y,Z)x 4。
此外，需进行摄像机运动变化参数的初步估算，再通过迭代法计算最终的摄像机运动变化参数。在本实施例中，将摄像机运动参数定义为：(X0,Y0,Z0,ω,ψ,κ,c)。其中，(X0,Y0,Z0)为定义虚拟场景中摄像机对应标记的相关点坐标；ω,ψ,κ为摄像机旋转、摇移、仰俯角；c为镜头焦距，具体可参考图2。
摄像机变化参数通常分为内部和外部参数。在大部分应用中，只计算和修正摄像机的外部参数(位置和朝向)，而内部参数(如焦距、镜头中旬投影坐标、像素长度和宽度)是预先校准的，在使用期间保持不变。而在具体的增强现实演播室中，为提升灵活性，摄像机焦距的轻微变化也是允许的。
继续参考图2，根据透视投影模型，若点P(X,Y,Z)中心投影在一平面上，且离中心点的距离为c，那么，该点P的图像为P′(ξ,η)，通过相关算法计算出c、X0、Y0、Z0的值。比如，可利用矩阵变换、牛顿-拉富声方法以及LU分解方法计算求得c、X0、Y0、Z0的值。再经过多次更新迭代，使得迭代次数降低至10便可获取到较为精准的运动变化参数值。
105、根据摄像机的运动变化参数实时调整虚拟对象在真实场景中的显示位置，以合成输出增强现实图像。
具体地，当现场演播室摄像机运动时，将摄像机的运动变化参数传输至计算机进行处理，计算机通过调整虚拟对象的大小和显示角度，控制虚拟对象与摄像机所拍摄的真实场景图像保持同步，保证真实场景中对象和虚拟物体在真实空间中的位置关系不变，以正确再现前景与背景的空间透视关系。
在一些实施例中，步骤“根据摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像”可以包括以下流程：
根据摄像机的运动变化参数确定虚拟对象在真实场景中对应的显示位置；
基于阿尔法贴图或使用真实场景图像的一个颜色产生的色度抠像，将虚拟对象显示于该显示位置，以合成输出增强现实图像。
具体实施时，可采用3DS MAX程序的渲染与Video Post模块实现虚拟图像与现实图像的合成。借助3DS MAX程序可完成建模、纹理、灯光处理等操作。当计算摄像机参数并定位虚拟对象的显示位置之后，可调用3DS MAX的MaxScript脚本程序渲染图像，程序将自动生成必要的阿尔法遮罩将虚拟对象图像合成在真实场景图像上。
由上可知，本发明实施例提供了一种增强现实演播室的实现方法，通过摄像机获取真实场景图像；在所述真实场景图像中设定多个特征标识；对所述真实场景图像中的多个特征标识进行识别和跟踪；根据所述摄像机的方位参数和多个特征标识之间的位置信息，计算所述摄像机的运动变化参数；根据所述摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像。该方案借助高分辨率的摄像机对真实场景中的特征标识进行跟踪，以推算出摄像机的运动变化参数，基于此调整虚拟对象在真实场景中的显示位置，提升了所输出增强现实图像的显示效果。
参考图3，图3为本发明实施例提供的增强现实演播室的实现系统的架构示意图。如图3所示，该系统包括摄像机1、摄像机2、跟踪系统、存储器、延时器、计算机、色键器及显示设备等。实际应用中，该系统所包括的各设备之间可通过wifi、蓝牙等无线连接的方式进行通信连接。
在一些实施例中，摄像机1和摄像机2用于获取真实场景图像存储与存储器上，摄像机2实时将获取的图像信息发送给跟踪系统，进行一系列处理后计算出摄像机2的运动变化参数。跟踪系统将得到的摄像机运动变化参数输送至计算机，计算机根据获得的运动变化参数发出控制指令，以控制实时调整虚拟对象在真实场景中的显示位置，通过色键器抠图，将虚拟对象图像合成在真实场景图像上，并输出于显示设备进行显示。
在本发明又一实施例中，还提供一种增强现实演播室的实现装置。如图4所示，该增强现实演播室的实现装置400可以包括图像获取模块41、标识设定模块42、跟踪模块43、计算模块44、以及图像处理模块45，其中：
图像获取模块41，用于通过摄像机获取真实场景图像；
标识设定模块42，用于在所述真实场景图像中设定多个特征标识；
跟踪模块43，用于对所述真实场景图像中的多个特征标识进行识别和跟踪；
计算模块44，用于根据所述摄像机的方位参数和多个特征标识之间的位置信息，计算所述摄像机的运动变化参数；
图像处理模块45，用于根据所述摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像。
在一些实施例中，特征标识为特征点。参考图5，所述标识设定模42可以包括：
提取子模块421，用于对所述真实场景图像进行解析，提取图像特征；
设定子模块422，用于根据所提取的图像特征设定多个特征点。
在一些实施例中，跟踪模块43，进一步可以用于基于细节跟踪算法对多个所述特征标识进行识别和跟踪。
在一些实施例中，参考图6，计算模块44可以包括：
第一确定子模块441，用于确定多个特征点在真实空间的坐标信息；
第二确定子模块442，用于确定摄像机在虚拟场景中的方位信息，所述方位信息包括：坐标信息、摄像机的旋转角、摇移、仰俯角、以及摄像头焦距；
参数确定子模块443，用于根据多个特征点在真实空间的坐标信息和摄像机在真实场景中的方位信息，确定摄像机的运动变化参数。
在一些实施例中，参考图7，处理模块45可以包括：
位置确定子模块451，用于根据所述摄像机的运动变化参数确定虚拟对象在真实场景中对应的显示位置；
图像合成子模块452，用于基于阿尔法贴图或使用真实场景图像的一个颜色产生的色度抠像，将虚拟对象显示于所述显示位置，以合成输出增强现实图像。
由上可知，本发明实施例提供了一种增强现实演播室的实现装置，通过摄像机获取真实场景图像；在所述真实场景图像中设定多个特征标识；对所述真实场景图像中的多个特征标识进行识别和跟踪；根据所述摄像机的方位参数和多个特征标识之间的位置信息，计算所述摄像机的运动变化参数；根据所述摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像。该方案借助高分辨率的摄像机对真实场景中的特征标识进行跟踪，以推算出摄像机的运动变化参数，基于此调整虚拟对象在真实场景中的显示位置，提升了所输出增强现实图像的显示效果。
相应地，本发明实施例还提供一种电子设备500，该电子设备500具体可以是智能手机、平板电脑等终端设备。如图8所示，该电子设备500可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、通讯单元503、电源504、输入单元505、以及显示单元506等部件。本领域技术人员可以理解，图8中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器501是该电子设备500的控制中心，利用各种接口和线路连接整个电子设备500的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行电子设备500的各种功能和处理数据，从而对电子设备500进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块。处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。
通讯单元503可用于收发信息过程中，信号的接收和发送，特别地，通讯单元503接收终端发送的信号，并将该数据获取请求交由一个或者一个以上处理器501处理。同时，通讯单元503将处理器501发出的反馈信号发送给服务器。
电子设备500还包括给各个部件供电的电源504(比如电池)。优选的，电源可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源504还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备500还可包括输入单元505，该输入单元505可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备500还可包括显示单元506，该显示单元506可用于显示由用户输入的信息或提供给用户的信息以及电子设备500的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元508可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
在描述本发明的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中)，应该将这些术语解释为既涵盖单数又涵盖复数。此外，除非本文中另有说明，否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值，而每个独立的值都并入本说明书中，就像这些值在本文中单独进行了陈述一样。另外，除非本文中另有指明或上下文有明确的相反提示，否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本发明的改变并不限于描述的步骤顺序。除非另外主张，否则使用本文中所提供的任何以及所有实例或示例性语言(例如，“例如”)都仅仅为了更好地说明本发明的概念，而并非对本发明的概念的范围加以限制。
以上对本发明实施例所提供的一种增强现实演播室的实现方法和装置进行了详细介绍。应理解，本文所述的示例性实施方式应仅被认为是描述性的，用于帮助理解本发明的方法及其核心思想，而并不用于限制本发明。在每个示例性实施方式中对特征或方面的描述通常应被视作适用于其他示例性实施例中的类似特征或方面。尽管参考示例性实施例描述了本发明，但可建议所属领域的技术人员进行各种变化和更改。本发明意图涵盖所附权利要求书的范围内的这些变化和更改。

Claims (10)

1.一种增强现实演播室的实现方法，其特征在于，包括：
通过摄像机获取真实场景图像；
在所述真实场景图像中设定多个特征标识；
对所述真实场景图像中的多个特征标识进行识别和跟踪；
根据所述摄像机的方位参数和多个特征标识之间的位置信息，计算所述摄像机的运动变化参数；
根据所述摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像。
2.如权利要求1所述的增强现实演播室的实现方法，其特征在于，特征标识为特征点；
则在所述真实场景图像中设定多个特征标识的步骤，包括：
对所述真实场景图像进行解析，提取图像特征；
根据所提取的图像特征设定多个特征点。
3.如权利要求1所述的增强现实演播室的实现方法，其特征在于，对所述真实场景图像中的多个特征标识进行识别和跟踪的步骤，包括：
基于细节跟踪算法对多个所述特征标识进行识别和跟踪。
4.如权利要求1所述的增强现实演播室的实现方法，其特征在于，根据所述摄像机的方位参数和多个特征标识之间的位置信息，计算所述摄像机的运动变化参数的步骤，包括：
确定多个特征点在真实空间的坐标信息；
确定摄像机在虚拟场景中的方位信息，所述方位信息包括：坐标信息、摄像机的旋转角、摇移、仰俯角、以及摄像头焦距；
根据多个特征点在真实空间的坐标信息和摄像机在真实场景中的方位信息，确定摄像机的运动变化参数。
5.如权利要求1所述的增强现实演播室的实现方法，其特征在于，根据所述摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像的步骤，包括：
根据所述摄像机的运动变化参数确定虚拟对象在真实场景中对应的显示位置；
基于阿尔法贴图或使用真实场景图像的一个颜色产生的色度抠像，将虚拟对象显示于所述显示位置，以合成输出增强现实图像。
6.一种增强现实演播室的实现装置，其特征在于，包括：
图像获取模块，用于通过摄像机获取真实场景图像；
标识设定模块，用于在所述真实场景图像中设定多个特征标识；
跟踪模块，用于对所述真实场景图像中的多个特征标识进行识别和跟踪；
计算模块，用于根据所述摄像机的方位参数和多个特征标识之间的位置信息，计算所述摄像机的运动变化参数；
图像处理模块，用于根据所述摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像。
7.如权利要求6所述的增强现实演播室的实现装置，其特征在于，特征标识为特征点；所述标识设定模块，包括：
提取子模块，用于对所述真实场景图像进行解析，提取图像特征；
设定子模块，用于根据所提取的图像特征设定多个特征点。
8.如权利要求6所述的增强现实演播室的实现装置，其特征在于，所述跟踪模块，用于基于细节跟踪算法对多个所述特征标识进行识别和跟踪。
9.如权利要求6所述的增强现实演播室的实现装置，其特征在于，所述计算模块，包括：
第一确定子模块，用于确定多个特征点在真实空间的坐标信息；
第二确定子模块，用于确定摄像机在虚拟场景中的方位信息，所述方位信息包括：坐标信息、摄像机的旋转角、摇移、仰俯角、以及摄像头焦距；
参数确定子模块，用于根据多个特征点在真实空间的坐标信息和摄像机在真实场景中的方位信息，确定摄像机的运动变化参数。
10.如权利要求6所述的增强现实演播室的实现装置，其特征在于，所述处理模块，包括：
位置确定子模块，用于根据所述摄像机的运动变化参数确定虚拟对象在真实场景中对应的显示位置；
图像合成子模块，用于基于阿尔法贴图或使用真实场景图像的一个颜色产生的色度抠像，将虚拟对象显示于所述显示位置，以合成输出增强现实图像。
CN201710978401.8A 2017-10-18 2017-10-18 增强现实演播室的实现方法和装置 Pending CN109688343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710978401.8A CN109688343A (zh) 2017-10-18 2017-10-18 增强现实演播室的实现方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710978401.8A CN109688343A (zh) 2017-10-18 2017-10-18 增强现实演播室的实现方法和装置

Publications (1)

Publication Number Publication Date
CN109688343A true CN109688343A (zh) 2019-04-26

Family

ID=66183810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710978401.8A Pending CN109688343A (zh) 2017-10-18 2017-10-18 增强现实演播室的实现方法和装置

Country Status (1)

Country Link
CN (1) CN109688343A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069135A (zh) * 2019-04-28 2019-07-30 联想(北京)有限公司 一种人机交互设备的数据处理方法及人机交互设备
CN110675348A (zh) * 2019-09-30 2020-01-10 杭州栖金科技有限公司 增强现实图像显示方法、装置及图像处理设备
CN110691175A (zh) * 2019-08-19 2020-01-14 深圳市励得数码科技有限公司 演播室中模拟摄像机运动跟踪的视频处理方法及装置
CN111415422A (zh) * 2020-04-17 2020-07-14 Oppo广东移动通信有限公司 虚拟对象调整方法、装置、存储介质与增强现实设备
CN112200917A (zh) * 2020-09-30 2021-01-08 北京零境科技有限公司 一种高精度增强现实方法及系统
CN112929627A (zh) * 2021-02-22 2021-06-08 广州博冠信息科技有限公司 虚拟现实场景实现方法、装置、存储介质及电子设备
CN113160338A (zh) * 2021-05-18 2021-07-23 视境技术(深圳)有限公司 一种ar/vr虚拟现实融合演播室人物空间定位
CN114286075A (zh) * 2021-12-01 2022-04-05 北京新奥特图腾科技有限公司 校正参数调整方法、装置、电子设备及可读介质
CN118075552A (zh) * 2024-04-22 2024-05-24 黑龙江省邦盾科技有限公司 一种演播室视频特征图像增强处理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345751A (zh) * 2013-07-02 2013-10-09 北京邮电大学 一种基于鲁棒特征跟踪的视觉定位方法
KR20130119966A (ko) * 2011-06-01 2013-11-01 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실에서 모션 검출을 위한 구조화 광 투사
CN105184825A (zh) * 2015-10-29 2015-12-23 丽水学院 一种面向室内场景的移动增强现实方法
CN105229703A (zh) * 2013-05-23 2016-01-06 谷歌公司 用于使用感测的位置数据来生成三维模型的系统和方法
CN106331481A (zh) * 2016-09-23 2017-01-11 上海盟云移软网络科技股份有限公司 一种虚拟现实摄像系统
CN106582012A (zh) * 2016-12-07 2017-04-26 腾讯科技（深圳）有限公司 一种vr场景下的攀爬操作处理方法和装置
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法
CN107077137A (zh) * 2014-09-03 2017-08-18 夏普株式会社 用于估计运动的方法、移动代理以及编码有用于使得处理器执行用于估计运动的方法的计算机程序代码的非暂时性计算机可读介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130119966A (ko) * 2011-06-01 2013-11-01 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실에서 모션 검출을 위한 구조화 광 투사
CN105229703A (zh) * 2013-05-23 2016-01-06 谷歌公司 用于使用感测的位置数据来生成三维模型的系统和方法
CN103345751A (zh) * 2013-07-02 2013-10-09 北京邮电大学 一种基于鲁棒特征跟踪的视觉定位方法
CN107077137A (zh) * 2014-09-03 2017-08-18 夏普株式会社 用于估计运动的方法、移动代理以及编码有用于使得处理器执行用于估计运动的方法的计算机程序代码的非暂时性计算机可读介质
CN105184825A (zh) * 2015-10-29 2015-12-23 丽水学院 一种面向室内场景的移动增强现实方法
CN106331481A (zh) * 2016-09-23 2017-01-11 上海盟云移软网络科技股份有限公司 一种虚拟现实摄像系统
CN106582012A (zh) * 2016-12-07 2017-04-26 腾讯科技（深圳）有限公司 一种vr场景下的攀爬操作处理方法和装置
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069135A (zh) * 2019-04-28 2019-07-30 联想(北京)有限公司 一种人机交互设备的数据处理方法及人机交互设备
CN110691175A (zh) * 2019-08-19 2020-01-14 深圳市励得数码科技有限公司 演播室中模拟摄像机运动跟踪的视频处理方法及装置
CN110691175B (zh) * 2019-08-19 2021-08-24 深圳市励得数码科技有限公司 演播室中模拟摄像机运动跟踪的视频处理方法及装置
CN110675348A (zh) * 2019-09-30 2020-01-10 杭州栖金科技有限公司 增强现实图像显示方法、装置及图像处理设备
CN110675348B (zh) * 2019-09-30 2022-06-21 杭州栖金科技有限公司 增强现实图像显示方法、装置及图像处理设备
CN111415422A (zh) * 2020-04-17 2020-07-14 Oppo广东移动通信有限公司 虚拟对象调整方法、装置、存储介质与增强现实设备
WO2021208648A1 (zh) * 2020-04-17 2021-10-21 Oppo广东移动通信有限公司 虚拟对象调整方法、装置、存储介质与增强现实设备
CN112200917A (zh) * 2020-09-30 2021-01-08 北京零境科技有限公司 一种高精度增强现实方法及系统
CN112929627A (zh) * 2021-02-22 2021-06-08 广州博冠信息科技有限公司 虚拟现实场景实现方法、装置、存储介质及电子设备
CN113160338A (zh) * 2021-05-18 2021-07-23 视境技术(深圳)有限公司 一种ar/vr虚拟现实融合演播室人物空间定位
CN114286075A (zh) * 2021-12-01 2022-04-05 北京新奥特图腾科技有限公司 校正参数调整方法、装置、电子设备及可读介质
CN118075552A (zh) * 2024-04-22 2024-05-24 黑龙江省邦盾科技有限公司 一种演播室视频特征图像增强处理方法

Similar Documents

Publication Publication Date Title
US11605214B2 (en) Method, device and storage medium for determining camera posture information
CN109688343A (zh) 增强现实演播室的实现方法和装置
CN109840949A (zh) 基于光学定位的增强现实图像处理方法和装置
CN111640175A (zh) 一种物体建模运动方法、装置与设备
CN108509848A (zh) 三维物体的实时检测方法及系统
CN109887003A (zh) 一种用于进行三维跟踪初始化的方法与设备
WO2019196745A1 (zh) 人脸建模方法及相关产品
KR20180121494A (ko) 단안 카메라들을 이용한 실시간 3d 캡처 및 라이브 피드백을 위한 방법 및 시스템
CN108304075A (zh) 一种在增强现实设备进行人机交互的方法与设备
JP2016537901A (ja) ライトフィールド処理方法
CN108668108B (zh) 一种视频监控的方法、装置及电子设备
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
US11373329B2 (en) Method of generating 3-dimensional model data
CN108961375A (zh) 一种根据二维图像生成三维图像的方法及装置
CN114782646A (zh) 房屋模型的建模方法、装置、电子设备和可读存储介质
CN116057577A (zh) 用于增强现实的地图
Karakottas et al. 360 surface regression with a hyper-sphere loss
CN112308977A (zh) 视频处理方法、视频处理装置和存储介质
KR102442637B1 (ko) 증강현실 추적 알고리즘을 위한 카메라 움직임 추정 방법 및 그 시스템
CN113487662A (zh) 画面显示方法、装置、电子设备和存储介质
US11769293B2 (en) Camera motion estimation method for augmented reality tracking algorithm and system therefor
US11282233B1 (en) Motion capture calibration
CN108346183A (zh) 一种用于ar基准定位的方法及系统
WO2024032165A1 (zh) 3d模型生成方法、系统及电子设备
CN112634773B (zh) 增强现实的呈现方法、装置、展示设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426

RJ01 Rejection of invention patent application after publication