CN102821323A - 基于增强现实技术的视频播放方法、系统及移动终端 - Google Patents

基于增强现实技术的视频播放方法、系统及移动终端 Download PDF

Info

Publication number
CN102821323A
CN102821323A CN2012102714825A CN201210271482A CN102821323A CN 102821323 A CN102821323 A CN 102821323A CN 2012102714825 A CN2012102714825 A CN 2012102714825A CN 201210271482 A CN201210271482 A CN 201210271482A CN 102821323 A CN102821323 A CN 102821323A
Authority
CN
China
Prior art keywords
image
video
module
current scene
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102714825A
Other languages
English (en)
Other versions
CN102821323B (zh
Inventor
柳寅秋
李薪宇
宋海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Idealsee Technology Co Ltd
Original Assignee
Chengdu Idealsee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Idealsee Technology Co Ltd filed Critical Chengdu Idealsee Technology Co Ltd
Priority to CN201210271482.5A priority Critical patent/CN102821323B/zh
Publication of CN102821323A publication Critical patent/CN102821323A/zh
Priority to PCT/CN2013/080422 priority patent/WO2014019498A1/zh
Priority to US14/418,167 priority patent/US9384588B2/en
Priority to JP2015524621A priority patent/JP2015528961A/ja
Application granted granted Critical
Publication of CN102821323B publication Critical patent/CN102821323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

本发明公开了一种基于增强现实技术的视频播放方法，结合增强现实技术，绘制将当前场景图像中的目标图片完全覆盖的矩形平面3D模型，同时将目标图片相关的视频文件分离为音频流和视频流之后，将视频流中的视频帧图像作为纹理逐帧映射到3D模型上，进行图形渲染；最后将摄像机捕获的场景图像与渲染的3D模型融合输出，同步输出音频流数据，相应的，本发明还公开了一种基于增强现实技术的视频播放系统及移动终端，能轻松将报刊杂志等平面媒体上的图片信息转化为视频信息，视频与图片在空间位置上完全贴合，使用户获得“寓情于景”的全新视听体验；报刊杂志等纸面媒体也可以借助本发明技术实现信息的多元化传播，提供精确快速的视频推送服务。

Description

基于增强现实技术的视频播放方法、系统及移动终端
技术领域
本发明涉及移动增强现实领域，尤其涉及基于增强现实技术的视频播放方法、系统及移动终端。
背景技术
背景技术一：
移动增强现实(Mobile Augmented Reality)，即基于移动终端的增强现实，是增强现实(AR)技术与移动计算相结合而产生的研究方向，是近年来人机交互领域备受关注的热点之一。移动增强现实具有传统增强现实的本质，即在真实环境呈现的场景中，借助与计算机图形技术和可视化技术，将虚拟信息实时“无缝”与之融合，利用虚拟信息对真实场景进行补充、增强；同时与移动终端平台的结合，可以最大限度的发挥增强现实技术“可移动性”的特点，给予用户完全区别于传统PC平台的全新的感知体验和交互模式。
然而现有的增强现实系统，主要是将虚拟三维模型直接叠加到真实场景中，运用范围有限。
背景技术二：
现有移动终端视频播放方式，基本都是通过普通的视频播放软件播放，例如：当用户需要在手机上观看从网络搜索来的视频，只能在网络上搜索到该视频后，用普通播放软件播放该视频。传统的视频播放方式较为陈旧，没有新意，不能给予用户区别于传统PC平台的感知体验和交互模式。
发明内容
本发明的目的是提供一种基于增强现实技术的视频播放方法、系统及移动终端，扩宽增效现实技术运用范围的同时，解决了传统视频播放方式陈旧，无新意的问题，能将报刊杂志等平面媒体上的图片信息，通过本系统转化为视频信息，视频与图片在空间位置上完全贴合，使用户获得“寓情于景”的全新视听体验。
为了实现上述发明目的，本发明提供了一种基于增强现实技术的视频播放方法，包括：
根据摄像机捕获的当前场景图像，在图像数据库中搜索与当前场景图像中的目标图片匹配的样本图像及与所述样本图像对应的视频文件；
对所述样本图像对应的视频文件进行音视频分离和解码，得到视频各帧图像序列和音频数据；
对摄像机捕获的当前场景图像和样本图像进行配准，计算摄像机的姿态，得到单应性矩阵；并根据所述单应性矩阵，绘制出能将当前场景图像中的目标图片完全覆盖的矩形平面3D模型；
将所述视频各帧图像序列中的视频帧图像作为纹理逐帧映射到所述3D模型上，进行图形渲染；
将摄像机捕获的当前场景图像与渲染的3D模型融合输出显示，并同步输出所述音频数据。
优选的，所述对摄像机捕获的当前场景图像和样本图像进行配准，计算摄像机的姿态，得到单应性矩阵，可以为：
实时连续地对摄像机捕获的当前场景图像和样本图像进行配准，计算摄像机的姿态，得到单应性矩阵。
优选的，所述对摄像机捕获的当前场景图像和样本图像进行配准，计算摄像机的姿态，得到单应性矩阵，还可以为：
对摄像机捕获的当前场景图像和样本图像进行配准，得到初始单应性矩阵；
根据图像配准成功的图像特征点、初始单应性矩阵及摄像机实时捕获的当前场景图像，对目标图片进行光流跟踪，由跟踪算法得到单应性矩阵。
优选的，在对目标图片进行光流跟踪时，所述方法还包括：判断对目标图片进行光流跟踪是否跟丢，当跟踪丢失时，再次对摄像机捕获的当前场景图像进行特征点检测与图像配准。
优选的，所述根据摄像机捕获的当前场景图像，在图像数据库中搜索与当前场景图像中的目标图片匹配的样本图像及与所述样本图像对应的视频文件，进一步包括：
摄像机捕获包含目标图片的当前场景图像；
对摄像机捕获的当前场景图像进行特征检测，提取出图像特征点，并对图像特征点进行特征描述，得到整幅图像的特征描述数据；
根据当前场景图像的特征描述数据，在图像数据库中进行图像搜索，得到与当前场景图像中的目标图片匹配的样本图像及与所述样本图像对应的视频文件。
相应的，本发明还提供了一种基于增强现实技术的视频播放系统，包括摄像模块、图像特征提取模块、图像搜索模块、图像配准模块、音视频分离及解码模块、图像渲染模块、音视频输出模块，其中：
摄像模块，用于捕获包含目标图片的当前场景图像；
图像特征提取模块，对摄像模块捕获的当前场景图像进行特征点检测及提取，并生成特征点描述，得到当前场景图像的特征描述数据；
图像搜索模块，接收来自所述图像特征提取模块的当前场景图像的特征描述数据，在图像数据库中进行搜索，将匹配成功的样本图像的特征描述数据传递给图像配准模块，同时将匹配成功的样本图像对应的视频资源的UR I传递给音视频分离及解码模块；
图像配准模块，根据图像搜索模块返回的样本图像的特征描述数据及图像特征提取模块产生的当前场景图像的特征描述数据，对摄像模块捕获的当前场景图像和样本图像进行配准，得到单应性矩阵；
音视频分离及解码模块，根据图像搜索模块得到的视频资源的UR I，找到对应的视频文件，并对所述视频文件进行音视频分离和解码，得到视频各帧图像序列和音频数据；将所述视频各帧图像序列传递给图形渲染模块，将所述音频数据传递给音视频输出模块；
图形渲染模块，根据图像配准模块计算出的单应性矩阵，绘制出能将当前场景图像中的目标图片完全覆盖的矩形平面3D模型，并将音视频分离及解码模块提取出来的视频各帧图像作为纹理逐帧映射到所述3D模型上，完成图形渲染；
音视频输出模块，将摄像机模块捕获的当前场景图像与图形渲染模块渲染的3D模型融合输出显示，并同步输出音频数据。
优选的，所述图像配准模块实时连续地对摄像机捕获的当前场景图像和样本图像进行配准，计算摄像模块的姿态，得到单应性矩阵。
优选的，所述系统还包括连接在所述图像配准模块与图像渲染模块之间的跟踪模块，所述跟踪模块还与摄像模块相连，所述跟踪模块在摄像模块捕获的当前场景图像中的目标图片匹配样本图片成功后，对摄像模块捕获的当前场景图像中的目标图片进行光流跟踪，计算单应性矩阵。
优选的，所述跟踪模块还用于目标图片跟踪丢失时，指令图像特征提取模块对摄像机捕获的当前场景图像再次进行特征点检测，并指令图像配准模块再次进行图像配准。
相应的，本发明还提供了一种移动终端，所述移动终端包括上述的基于增强现实技术的视频播放系统。
与现有技术相比，本发明具有如下有益效果：
1、能将视频叠加到真实场景中，如：能将报刊杂志等平面媒体上的图片信息，通过本系统转化为视频信息，视频与图片在空间位置上完全贴合，使用户获得“寓情于景”的全新视听体验；
2、能提供精确快速的视频推送服务；
3、提供移动互联网用户一种全新的交互模式，具有科幻色彩的视听效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1为本发明实施例1中基于增强现实技术的视频播放系统的结构示意图；
图2为本发明实施例2中基于增强现实技术的视频播放系统的结构示意图；
图3为本发明实施例3中基于增强现实技术的视频播放方法流程图；
图4为本发明实施例4中基于增强现实技术的视频播放方法流程图；
图5为本发明实施例效果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明为增效现实技术的扩展应用，主要解决传统视频播放方式陈旧，无新意的问题，能将报刊杂志等平面媒体上的图片信息，通过本系统转化为视频信息，视频与图片在空间位置上完全贴合，使用户获得“寓情于景”的全新视听体验，因此本发明的技术核心为：如何将视频“叠加”到真实场景中某一图像区域。
下面结合附图，详细描述本发明各实施例。
实施例1
参见图1，为本发明实施例1中基于增强现实技术的视频播放系统的结构示意图，该视频播放系统，包括摄像模块1(摄像模块包括移动终端中的摄像机)、图像特征提取模块2、图像搜索模块3、图像配准模块4、音视频分离及解码模块5、图像渲染模块6、音视频输出模块7，其中：
所述摄像模块1用于捕获包含目标图片的当前场景图像，其分别与图像特征提取模块2和音视频输出模块7相连，将捕获的图像传给图像特征提取模块2用于特征提取，同时将捕获的图像传递给音视频输出模块7用于融合输出显示。
所述图像特征提取模块2，对摄像模块1捕获的当前场景图像进行特征点检测及提取，并生成特征点描述，得到当前场景图像的特征描述数据，并将其传递给图像搜索模块3。
所述图像搜索模块3，接收到来自所述图像特征提取模块2传来的当前场景图像的特征描述数据，在服务器端的图像数据库中搜索与其匹配的样本图像，并将匹配成功的样本图像的特征描述数据传递给图像配准模块4，同时将匹配成功的样本图像对应的视频资源的URI传递给音视频分离及解码模块5。
所述图像配准模块4，根据图像搜索模块3返回的样本图像的特征描述数据及图像特征提取模块2产生的当前场景图像的特征描述数据，实时连续地对摄像模块捕获的当前场景图像和样本图像进行配准，计算摄像模块的姿态，得到单应性矩阵，并将单应性矩阵传递给图形渲染模块6。
所述音视频分离及解码模块7，根据图像搜索模块3得到的视频资源的URI，找到对应的视频文件(摄像机捕获图像的相关视频)，并对所述视频文件进行音视频分离和解码，得到视频各帧图像序列(视频流)和音频数据(音频流)；对视频各帧图像序列(视频流)逐一提取视频各帧的图像传递给图形渲染模块6，同时将所述音频数据传递给音视频输出模块7。
所述图形渲染模块6，根据图像配准模块4计算出的单应性矩阵，绘制出能将当前场景图像中的目标图片完全覆盖的矩形平面3D模型，并将音视频分离及解码模块提取出来的视频各帧图像作为纹理逐帧映射到所述3D模型上，并实时更新，完成图形渲染；所述与目标图片完全覆盖包括与目标图片重合，例如：当目标图片为长方形时，可绘制出完全与目标图片重合的长方形平面3D模型，而当目标图片为非矩形形状时，则绘制出完全覆盖该目标图片的矩形平面3D模型。
所述音视频输出模块7，将摄像机模块1捕获的当前场景图像与图形渲染模块6渲染生成的3D模型融合输出显示，并同步输出音频数据。
音频数据和视频帧图像能够实现同步，需要在视频文件分离为视频流和音频流之后，对两者进行数据包分割。其中，视频数据包根据其时间戳按照先后顺序组成链表，形成一个有序队列，分别对每个数据包进行解码并提取其中的图像，则得到视频每一帧的图像序列，用时间戳控制图像序列的输出。图形渲染模块则将视频帧图像作为纹理映射到3D模型上时，由于输出图像随时间有序变化，3D模型的纹理也随之变化，完成视频的播放。此外，音频流也被分为数据包，以视频数据包的时间戳为基准，调整音频数据包的输出，使音视频同步输出。
在本实施例中，在一次视频播放的过程中，图像搜索模块3原则上只进行一次摄像模块捕获图像与样本图像的成功匹配搜索，找到样本图像和样本图像对应的视频资源；而摄像模块1始终持续不断地进行场景图像的捕获，图像特征提取模块2也一直在对摄像模块所捕获的场景图像进行特征提取，图像配准模块4则是实时连续地对摄像模块1捕获的当前场景图像和样本图像进行配准，计算摄像模块实时姿态，连续不断的得到对应摄像模块1实时姿态的单应性矩阵，因此本实施例系统对摄像模块捕获的每帧图片都要做特征检测与配准，可能实际使用时会稍微影响速度。
参见图5，为本实施例视频叠加的效果示意图，摄像模块捕获的当前场景图像即图5中摄像机捕获的真实场景图像，在图5示例中，真实场景图像中包含的目标图片为长方形图片，通过本实施例系统，绘制出与目标图片位置重合的3D模型，将搜索到的与目标图片相关的视频文件分离解码后，从分离出来视频帧图像序列中提取出视频各帧图像，并将其作为纹理逐帧映射到长方形平面3D模型上，并实时更新，完成图形渲染，实现将视频叠加到真实场景中的目标图片上，同时根据视频图像的渲染进度同步输出从视频文件中分离出来的音频数据。
实施例2
参见图2，为本发明实施例2中基于增强现实技术的视频播放系统的结构示意图，本实施例中视频播放系统在图1(实施例1)的基础上增加了一个跟踪模块8，所述跟踪模块8连接在所述图像配准模块4与图像渲染模块6之间，在本实施例中，图像配准模块4所计算出的单应性矩阵为初始单应性矩阵。所述跟踪模块8还与摄像模块1相连，其在摄像模块1捕获的当前场景图像中的目标图片匹配样本图片成功后，则停止特征检测(即图像特征提取模块2停止对摄像模块1捕获图像进行特征点提取)，而对摄像模块1捕获的当前场景图像中的目标图片进行光流跟踪，由跟踪算法得到单应性矩阵。
光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间目标物体的运动信息。本实施例中，图像配准模块4将计算出的初始单应性矩阵及需要跟踪的特征点传递给跟踪模块8，同时跟踪模块8实时接收摄像模块1捕获的当前场景图像，进行跟踪计算。所述需要跟踪的特征点指图像搜索过程中，配准图片成功的特征点。
为了防止跟踪丢失，优选的，所述跟踪模块8还用于目标图片跟踪丢失时，指令图像特征提取模块对摄像机捕获的当前场景图像再次进行特征点检测，并指令图像配准模块再次进行图像配准，以实现从新跟踪。判断跟踪丢失的条件可以为：对跟踪成功的点重新计算其匹配度，并进行计数，当匹配良好的点的数量在阈值以下时(阈值范围一般范围5～20，优选为10)，则判断跟踪丢失。
本实施例在加入跟踪模块8之后，由于不需要每帧都做特征检测与配准，相对于实施例1中系统速度有所提升，且能够避免配准过程中单应性矩阵计算结果的微小偏差带来的抖动，在视觉效果上，叠加的3D模型更加稳定。
实施例3
参见图3，为本发明实施例3中基于增强现实技术的视频播放方法流程图，本实施例基于增强现实技术的视频播放方法，包括如下步骤：
S101：捕捉场景图像，即摄像机捕获当前场景图像；
S102：提取图像特征点，即对摄像机捕获的图像进行特征检测，提取出图像特征点，对图像特征点进行特征描述，得到特征点的描述向量，进而得到整幅图像的特征描述数据；
S103：图像搜索，即根据摄像机捕获图像的特征描述数据，在服务器端的图像数据库中进行搜索，得到与当前场景图像中的目标图片匹配的样本图像及与所述样本图像对应的视频文件(此处得到对应视频文件可以理解为得到视频资源标识符)；
S104：图像配准，即根据图像搜索结果返回的样本图像的特征数据，实时连续地进行摄像机捕获图像与样本图像的配准，计算摄像机的姿态，得到单应性矩阵，并根据所述单应性矩阵，绘制出能将当前场景图像中的目标图片完全覆盖的矩形平面3D模型；
S105：音频、视频分离，即将步骤S103中得到的视频文件进行音视频分离和解码，得到视频各帧图像序列和音频数据(当步骤S103中搜索到的为视频资源标注符，则首先根据视频资源的标识符找到相关视频，然后对视频进行音视频分离和解码)，其中视频各帧图像序列也称为视频流；
S106：获取视频帧图像，即对视频流逐一提取视频各帧的图像；
S107：将S106中提取的视频帧图像作为纹理逐帧映射到所述3D模型上，实时刷新，进行图形渲染；
S108：将摄像机捕获的当前场景图像与渲染的3D模型融合输出显示，并同步进行S109步骤；
S109：同步输出所述音频数据，进行音频与视频的同步播放，实现将视频“叠加”到真实场景中某一图像区域。
本发明实施例的效果，同样可参看图5，由于实施例1中对图5进行了详细说明，此处不赘述。本实施例中，步骤S101、S102、S104在整个视频播放过程中，均连续不断的进行，而步骤S103在一次视频播放的过程中，原则上只进行一次摄像模块捕获图像与样本图像的成功匹配搜索，找到样本图像和样本图像对应的视频资源后即不再重复搜索。
实施例4
参见图4，为本发明实施例4中基于增强现实技术的视频播放方法流程图，本实施例中视频播放方法在图3(实施例3)的基础上增加了目标图片跟踪步骤S1041及跟踪丢失判断步骤S1042(参见图4)，其中：
S1041：目标跟踪，即在步骤S104图像配准成功时，则停止特征检测(即停止步骤S102)，而对目标图片进行光流跟踪，由跟踪算法得到单应性矩阵，在增加了跟踪步骤S1041以后，步骤S104得到的单应性矩阵为初始单应性矩阵，初始单应性矩阵不用于直接绘制3D模型，而用于目标图片跟踪时，结合需要跟踪的特征点及摄像机实时捕获的当前场景图像，对目标图片进行光流跟踪，由跟踪算法得到单应性矩阵。所述需要跟踪的特征点指图像搜索过程中，配准图片成功的特征点。
步骤S1042，跟踪丢失判断，判断跟踪丢失的条件可以为：对跟踪成功的点重新计算其匹配度，并进行计数，当匹配良好的点的数量在阈值以下时(阈值范围一般范围5～20，优选为10)，则判断跟踪丢失。当判断出跟踪丢失时，再次重复S102、S104进行特征检测与图像配准，然后继续进行S1041步骤进行目标图片跟踪(步骤S103同实施例3中相同，一次视频播放过程原则上只进行一次搜索)。
本实施例在加入跟踪步骤之后，由于不需要每帧都做特征检测与配准，相对于实施例3中方法速度有所提升，且能够避免配准过程中单应性矩阵计算结果的微小偏差带来的抖动，在视觉效果上，叠加的3D模型更加稳定。
本发明除了上述的视频播放系统和方法，还提供了一种移动终端，所述移动终端中包括上述基于增强现实技术的视频播放系统。用户拿着这样的移动终端，能轻松将报刊杂志等平面媒体上的图片信息，转化为视频信息，视频与图片在空间位置上完全贴合，使用户获得“寓情于景”的全新视听体验。同时报刊杂志等纸面媒体也可以借助本发明技术实现信息的多元化传播，提供精确快速的视频推送服务。
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.基于增强现实技术的视频播放方法，其特征在于，包括：
根据摄像机捕获的当前场景图像，在图像数据库中搜索与当前场景图像中的目标图片匹配的样本图像及与所述样本图像对应的视频文件；
对所述样本图像对应的视频文件进行音视频分离和解码，得到视频各帧图像序列和音频数据；
对摄像机捕获的当前场景图像和样本图像进行配准，计算摄像机的姿态，得到单应性矩阵；并根据所述单应性矩阵，绘制出能将当前场景图像中的目标图片完全覆盖的矩形平面3D模型；
将所述视频各帧图像序列中的视频帧图像作为纹理逐帧映射到所述3D模型上，进行图形渲染；
将摄像机捕获的当前场景图像与渲染的3D模型融合输出显示，并同步输出所述音频数据。
2.如权利要求1所述的方法，其特征在于，所述对摄像机捕获的当前场景图像和样本图像进行配准，计算摄像机的姿态，得到单应性矩阵，包括：
实时连续地对摄像机捕获的当前场景图像和样本图像进行配准，计算摄像机的姿态，得到单应性矩阵。
3.如权利要求1所述的方法，其特征在于，所述对摄像机捕获的当前场景图像和样本图像进行配准，计算摄像机的姿态，得到单应性矩阵，包括：
对摄像机捕获的当前场景图像和样本图像进行配准，得到初始单应性矩阵；
根据图像配准成功的图像特征点、初始单应性矩阵及摄像机实时捕获的当前场景图像，对目标图片进行光流跟踪，由跟踪算法得到单应性矩阵。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：判断对目标图片进行光流跟踪是否跟丢，当跟踪丢失时，再次对摄像机捕获的当前场景图像进行特征点检测与图像配准。
5.如权利要求1至4中任一项所述的方法，其特征在于，所述根据摄像机捕获的当前场景图像，在图像数据库中搜索与当前场景图像中的目标图片匹配的样本图像及与所述样本图像对应的视频文件，进一步包括：
摄像机捕获包含目标图片的当前场景图像；
对摄像机捕获的当前场景图像进行特征检测，提取出图像特征点，并对图像特征点进行特征描述，得到整幅图像的特征描述数据；
根据当前场景图像的特征描述数据，在图像数据库中进行图像搜索，得到与当前场景图像中的目标图片匹配的样本图像及与所述样本图像对应的视频文件。
6.基于增强现实技术的视频播放系统，其特征在于，包括摄像模块、图像特征提取模块、图像搜索模块、图像配准模块、音视频分离及解码模块、图像渲染模块、音视频输出模块，其中：
摄像模块，用于捕获包含目标图片的当前场景图像；
图像特征提取模块，对摄像模块捕获的当前场景图像进行特征点检测及提取，并生成特征点描述，得到当前场景图像的特征描述数据；
图像搜索模块，接收来自所述图像特征提取模块的当前场景图像的特征描述数据，在图像数据库中进行搜索，将匹配成功的样本图像的特征描述数据传递给图像配准模块，同时将匹配成功的样本图像对应的视频资源的UR I传递给音视频分离及解码模块；
图像配准模块，根据图像搜索模块返回的样本图像的特征描述数据及图像特征提取模块产生的当前场景图像的特征描述数据，对摄像模块捕获的当前场景图像和样本图像进行配准，得到单应性矩阵；
音视频分离及解码模块，根据图像搜索模块得到的视频资源的UR I，找到对应的视频文件，并对所述视频文件进行音视频分离和解码，得到视频各帧图像序列和音频数据；将所述视频各帧图像序列传递给图形渲染模块，将所述音频数据传递给音视频输出模块；
图形渲染模块，根据图像配准模块计算出的单应性矩阵，绘制出能将当前场景图像中的目标图片完全覆盖的矩形平面3D模型，并将音视频分离及解码模块提取出来的视频各帧图像作为纹理逐帧映射到所述3D模型上，完成图形渲染；
音视频输出模块，将摄像机模块捕获的当前场景图像与图形渲染模块渲染的3D模型融合输出显示，并同步输出音频数据。
7.如权利要求6所述的系统，其特征在于，所述图像配准模块实时连续地对摄像机捕获的当前场景图像和样本图像进行配准，计算摄像模块的姿态，得到单应性矩阵。
8.如权利要求6所述的系统，其特征在于，所述系统还包括连接在所述图像配准模块与图像渲染模块之间的跟踪模块，所述跟踪模块还与摄像模块相连，所述跟踪模块在摄像模块捕获的当前场景图像中的目标图片匹配样本图片成功后，对摄像模块捕获的当前场景图像中的目标图片进行光流跟踪，计算单应性矩阵。
9.如权利要求8所述的系统，其特征在于，所述跟踪模块还用于目标图片跟踪丢失时，指令图像特征提取模块对摄像机捕获的当前场景图像再次进行特征点检测，并指令图像配准模块再次进行图像配准。
10.一种移动终端，其特征在于，所述移动终端包括权利要求6至9中任一项所述的基于增强现实技术的视频播放系统。
CN201210271482.5A 2012-08-01 2012-08-01 基于增强现实技术的视频播放方法、系统及移动终端 Active CN102821323B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210271482.5A CN102821323B (zh) 2012-08-01 2012-08-01 基于增强现实技术的视频播放方法、系统及移动终端
PCT/CN2013/080422 WO2014019498A1 (zh) 2012-08-01 2013-07-30 基于增强现实技术的视频播放方法、系统及移动终端
US14/418,167 US9384588B2 (en) 2012-08-01 2013-07-30 Video playing method and system based on augmented reality technology and mobile terminal
JP2015524621A JP2015528961A (ja) 2012-08-01 2013-07-30 拡張現実技術に基づくビデオ再生方法及びビデオ再生システム並びに携帯端末

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210271482.5A CN102821323B (zh) 2012-08-01 2012-08-01 基于增强现实技术的视频播放方法、系统及移动终端

Publications (2)

Publication Number Publication Date
CN102821323A true CN102821323A (zh) 2012-12-12
CN102821323B CN102821323B (zh) 2014-12-17

Family

ID=47305138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210271482.5A Active CN102821323B (zh) 2012-08-01 2012-08-01 基于增强现实技术的视频播放方法、系统及移动终端

Country Status (4)

Country Link
US (1) US9384588B2 (zh)
JP (1) JP2015528961A (zh)
CN (1) CN102821323B (zh)
WO (1) WO2014019498A1 (zh)

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049729A (zh) * 2012-12-30 2013-04-17 成都理想境界科技有限公司 基于二维码的增强现实方法、系统及终端
CN103049728A (zh) * 2012-12-30 2013-04-17 成都理想境界科技有限公司 基于二维码的增强现实方法、系统及终端
CN103279225A (zh) * 2013-05-30 2013-09-04 清华大学 投影式人机交互系统及触控识别方法
CN103412954A (zh) * 2013-08-30 2013-11-27 苏州跨界软件科技有限公司 一种利用增强现实技术的虚拟动态杂志
WO2014019498A1 (zh) * 2012-08-01 2014-02-06 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
CN103929653A (zh) * 2014-04-30 2014-07-16 成都理想境界科技有限公司 增强现实视频生成器、播放器及其生成方法、播放方法
CN104995666A (zh) * 2012-12-21 2015-10-21 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
CN105050670A (zh) * 2013-01-22 2015-11-11 微软技术许可有限责任公司 混合现实体验共享
CN105701863A (zh) * 2016-01-11 2016-06-22 华为技术有限公司 图像处理的方法和装置
CN105933637A (zh) * 2016-04-26 2016-09-07 上海与德通讯技术有限公司 一种视频通信的方法及系统
CN105955490A (zh) * 2016-06-28 2016-09-21 广东欧珀移动通信有限公司 一种基于增强现实的信息处理方法、装置和移动终端
CN106228413A (zh) * 2016-08-25 2016-12-14 武克易 一种视频广告播放装置
CN106303623A (zh) * 2016-08-25 2017-01-04 武克易 基于特征数据查找的广告播放方法
CN106303741A (zh) * 2016-08-25 2017-01-04 武克易 基于特征数据查找的广告播放系统
CN103559713B (zh) * 2013-11-10 2017-01-11 深圳市幻实科技有限公司 一种提供增强现实的方法及终端
CN106354257A (zh) * 2016-08-30 2017-01-25 湖北睛彩视讯科技有限公司 一种基于增强现实技术的移动场景融合系统及方法
CN106372260A (zh) * 2016-10-25 2017-02-01 广州卓能信息科技有限公司 一种信息交互方法、装置及系统
CN106412019A (zh) * 2016-08-31 2017-02-15 广东格兰仕集团有限公司 一种基于增强现实技术的智能家电远程控制方法
CN106462370A (zh) * 2014-04-29 2017-02-22 微软技术许可有限责任公司 基于注视位置的稳定性平面确定
CN106483814A (zh) * 2016-12-26 2017-03-08 岭南师范学院 一种基于增强现实的3d全息投影系统及其使用方法
CN106713988A (zh) * 2016-12-09 2017-05-24 福建星网视易信息系统有限公司 一种对虚拟场景直播进行美颜处理的方法及系统
CN107566853A (zh) * 2017-09-21 2018-01-09 北京奇虎科技有限公司 实现场景渲染的视频数据实时处理方法及装置、计算设备
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和系统
CN107665507A (zh) * 2016-07-29 2018-02-06 成都理想境界科技有限公司 基于平面检测实现增强现实的方法及装置
CN107665508A (zh) * 2016-07-29 2018-02-06 成都理想境界科技有限公司 实现增强现实的方法及系统
WO2018035830A1 (zh) * 2016-08-25 2018-03-01 武克易 一种广告视频文件分级查找方法
WO2018035828A1 (zh) * 2016-08-25 2018-03-01 武克易 基于特征数据查找的广告播放系统
WO2018035829A1 (zh) * 2016-08-25 2018-03-01 武克易 一种广告播放装置
WO2018035832A1 (zh) * 2016-08-25 2018-03-01 武克易 一种视频广告播放装置
WO2018035831A1 (zh) * 2016-08-25 2018-03-01 武克易 一种视频广告播放系统
CN107798703A (zh) * 2016-08-30 2018-03-13 成都理想境界科技有限公司 一种用于增强现实的实时图像叠加方法以及装置
CN108140263A (zh) * 2015-12-21 2018-06-08 大连新锐天地传媒有限公司 应用于图像或视频的ar显示系统及方法
CN108230448A (zh) * 2017-12-29 2018-06-29 光锐恒宇（北京）科技有限公司 增强现实ar的实现方法、装置和计算机可读存储介质
CN108334806A (zh) * 2017-04-26 2018-07-27 腾讯科技（深圳）有限公司 图像处理方法、装置和电子设备
CN108355351A (zh) * 2017-11-28 2018-08-03 岳阳市数博环球实业有限公司 一种基于实时背景的电子游戏的生成方法
CN108628914A (zh) * 2017-03-22 2018-10-09 宏达国际电子股份有限公司 移动装置及其操作方法、非挥发性计算机可读取记录媒体
CN105528082B (zh) * 2016-01-08 2018-11-06 北京暴风魔镜科技有限公司 三维空间及手势识别追踪交互方法、装置和系统
CN109155123A (zh) * 2016-05-17 2019-01-04 哈伊姆·希娜 用于遵循和实施实验室程序的系统和方法
WO2019047789A1 (zh) * 2017-09-08 2019-03-14 腾讯科技（深圳）有限公司 关于增强现实场景的处理方法、终端设备、系统及计算机存储介质
CN109509261A (zh) * 2018-11-26 2019-03-22 端美科技(中山)有限公司 一种增强现实的方法、装置及计算机存储介质
CN109600628A (zh) * 2018-12-21 2019-04-09 广州酷狗计算机科技有限公司 视频制作方法、装置、计算机设备及存储介质
CN109636907A (zh) * 2018-12-13 2019-04-16 谷东科技有限公司 一种基于ar眼镜的地形重建方法及系统
CN109712013A (zh) * 2018-11-16 2019-05-03 北京达佳互联信息技术有限公司 页面交互方法和装置
CN109788359A (zh) * 2017-11-14 2019-05-21 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置
CN110493242A (zh) * 2019-08-27 2019-11-22 上海网达软件股份有限公司 基于WGAN-GP和U-net改进的图像增强的方法、装置及存储介质
CN111050128A (zh) * 2019-12-04 2020-04-21 广东康云科技有限公司 基于户外场景的视频融合方法、系统、装置和存储介质
CN111506772A (zh) * 2019-01-31 2020-08-07 北京小犀智能科技中心(有限合伙) 基于图像特征提取的以图搜影方法及系统
CN111526412A (zh) * 2020-04-30 2020-08-11 广州华多网络科技有限公司 全景直播方法、装置、设备及存储介质
CN112233252A (zh) * 2020-10-23 2021-01-15 上海影谱科技有限公司 一种基于特征匹配与光流融合的ar目标跟踪方法及系统
CN112887633A (zh) * 2021-01-14 2021-06-01 四川航天神坤科技有限公司 一种基于摄像头的视频拼接和三维监控显示方法及系统

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104936665B (zh) * 2012-10-22 2017-12-26 开放信息公司 合作增强现实
US10419669B2 (en) * 2017-01-17 2019-09-17 Disney Enterprises, Inc. Omnistereoscopic panoramic video
US10979785B2 (en) 2017-01-20 2021-04-13 Hanwha Techwin Co., Ltd. Media playback apparatus and method for synchronously reproducing video and audio on a web browser
KR101931514B1 (ko) * 2017-01-20 2018-12-21 한화테크윈 주식회사 웹 브라우저에서 미디어의 재생과 백업을 동시에 수행하는 장치 및 방법
CN107045730B (zh) * 2017-03-06 2023-10-24 青岛鹏海软件有限公司 一种数字文化场景或图像的多维展现系统和方法
CN108933954A (zh) * 2017-05-22 2018-12-04 中兴通讯股份有限公司 视频图像处理方法、机顶盒以及计算机可读存储介质
CN107590453B (zh) 2017-09-04 2019-01-11 腾讯科技（深圳）有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质
CN111091136B (zh) * 2018-10-23 2023-05-23 广州弘度信息科技有限公司 一种视频场景变换检测方法和系统
US11842729B1 (en) * 2019-05-08 2023-12-12 Apple Inc. Method and device for presenting a CGR environment based on audio data and lyric data
CN110148223B (zh) * 2019-06-03 2023-03-14 南京财经大学 三维地理场景模型中监控视频目标浓缩表达方法及系统
CN110992484B (zh) * 2019-11-20 2024-04-09 中电科新型智慧城市研究院有限公司 一种交通动态视频在真景三维平台中的显示方法
CN111314729A (zh) * 2020-02-25 2020-06-19 广州华多网络科技有限公司 全景图像的生成方法、装置、设备及存储介质
CN111599005B (zh) * 2020-05-19 2024-01-05 湖南飞戈数字科技有限公司 一种三维模型植入方法、装置、电子设备及存储介质
CN112053446B (zh) * 2020-07-11 2024-02-02 南京国图信息产业有限公司 一种基于三维gis的实时监控视频与三维场景融合方法
CN112069440A (zh) * 2020-09-16 2020-12-11 广州六三六六网络科技有限公司 基于html5智能音视频客服生成动态交互图像的系统和方法
CN112672185B (zh) * 2020-12-18 2023-07-07 脸萌有限公司 基于增强现实的显示方法、装置、设备及存储介质
CN113329218A (zh) * 2021-05-28 2021-08-31 青岛鳍源创新科技有限公司 水下拍摄的增强现实结合方法、装置、设备及存储介质
CN113313841A (zh) * 2021-06-25 2021-08-27 西安邮电大学 一种基于云存储服务的ar方法、装置、电子设备及存储介质
CN113784108B (zh) * 2021-08-25 2022-04-15 盐城香农智能科技有限公司 一种基于5g传输技术的vr旅游观光方法及系统
CN113873264A (zh) * 2021-10-25 2021-12-31 北京字节跳动网络技术有限公司 显示图像的方法、装置、电子设备及存储介质
CN116033231A (zh) * 2021-10-27 2023-04-28 海鹰航空通用装备有限责任公司 一种视频直播ar标签叠加方法和装置
CN115209121B (zh) * 2022-07-14 2024-03-15 江苏龙威中科技术有限公司 一种具有智能集成功能的全范围仿真系统及方法
CN116260990B (zh) * 2023-05-16 2023-07-28 合肥高斯智能科技有限公司 一种多路视频流的ai异步检测并实时渲染方法及系统
CN116761017B (zh) * 2023-08-18 2023-10-17 湖南马栏山视频先进技术研究院有限公司 一种面向视频实时渲染的高可用方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008109567A2 (en) * 2007-03-02 2008-09-12 Organic Motion System and method for tracking three dimensional objects
EP2299726A1 (en) * 2008-06-17 2011-03-23 Huawei Device Co., Ltd. Video communication method, apparatus and system
CN102196245A (zh) * 2011-04-07 2011-09-21 北京中星微电子有限公司 一种角色互动的视频播放方法和视频播放装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7168084B1 (en) * 1992-12-09 2007-01-23 Sedna Patent Services, Llc Method and apparatus for targeting virtual objects
US7512261B2 (en) * 2004-07-27 2009-03-31 Microsoft Corp. System and method for calibrating multiple cameras without employing a pattern by inter-image homography
JP2010530998A (ja) 2007-05-08 2010-09-16 アイトゲネーシッシュ テヒニッシュ ホーホシューレ チューリッヒ 画像ベース情報検索の方法およびシステム
FR2916196B1 (fr) * 2007-05-18 2009-07-24 Otv Sa Installation de traitement d'eau par flottation, et procede de traitement d'eau correspondant
JP5020135B2 (ja) * 2008-03-19 2012-09-05 ソニーモバイルコミュニケーションズ， エービー 携帯端末装置およびコンピュータプログラム
US8339456B2 (en) * 2008-05-15 2012-12-25 Sri International Apparatus for intelligent and autonomous video content generation and streaming
JP5216010B2 (ja) * 2009-01-20 2013-06-19 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
DE102009018685A1 (de) 2009-04-23 2010-10-28 Mtu Aero Engines Gmbh Verfahren zur Herstellung einer Panzerung einer Schaufelspitze sowie entsprechend hergestellte Schaufeln und Gasturbinen
CN102625993B (zh) * 2009-07-30 2016-08-03 Sk普兰尼特有限公司 用于提供增强现实的方法、服务器和便携终端
CN101923791A (zh) * 2010-05-31 2010-12-22 华中师范大学 一种利用增强现实技术与平面读物相结合的汉字学习方法
JP5933913B2 (ja) * 2010-08-30 2016-06-15 株式会社エヌ・ティ・ティ・データ 情報サービスシステムおよび情報サービス方法
US9013550B2 (en) * 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
US8781234B2 (en) * 2010-10-01 2014-07-15 Intel Corporation Optimized fast hessian matrix computation architecture
CN101976463A (zh) 2010-11-03 2011-02-16 北京师范大学 一种虚实融合的交互式立体图书制作方法
US20120180084A1 (en) * 2011-01-12 2012-07-12 Futurewei Technologies, Inc. Method and Apparatus for Video Insertion
CN102110379A (zh) * 2011-02-22 2011-06-29 黄振强 多媒体增强现实读物
US8605840B2 (en) 2011-06-02 2013-12-10 Lockheed Martin Corporation Method to cancel impulsive interference from a signal processing system
US8861868B2 (en) * 2011-08-29 2014-10-14 Adobe-Systems Incorporated Patch-based synthesis techniques
CN102411854B (zh) * 2011-09-01 2014-01-29 苏州梦想人软件科技有限公司 基于增强现实的课堂教学混合技术应用系统及方法
WO2013119221A1 (en) * 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
US9066200B1 (en) * 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
CN102821323B (zh) 2012-08-01 2014-12-17 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008109567A2 (en) * 2007-03-02 2008-09-12 Organic Motion System and method for tracking three dimensional objects
EP2299726A1 (en) * 2008-06-17 2011-03-23 Huawei Device Co., Ltd. Video communication method, apparatus and system
CN102196245A (zh) * 2011-04-07 2011-09-21 北京中星微电子有限公司 一种角色互动的视频播放方法和视频播放装置

Cited By (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014019498A1 (zh) * 2012-08-01 2014-02-06 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
US9384588B2 (en) 2012-08-01 2016-07-05 Chengdu Idealsee Technology Co., Ltd. Video playing method and system based on augmented reality technology and mobile terminal
US10878617B2 (en) 2012-12-21 2020-12-29 Apple Inc. Method for representing virtual information in a real environment
US9922446B2 (en) 2012-12-21 2018-03-20 Apple Inc. Method for representing virtual information in a real environment
CN104995666A (zh) * 2012-12-21 2015-10-21 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
CN103049728B (zh) * 2012-12-30 2016-02-03 成都理想境界科技有限公司 基于二维码的增强现实方法、系统及终端
CN103049728A (zh) * 2012-12-30 2013-04-17 成都理想境界科技有限公司 基于二维码的增强现实方法、系统及终端
CN103049729A (zh) * 2012-12-30 2013-04-17 成都理想境界科技有限公司 基于二维码的增强现实方法、系统及终端
WO2014101435A1 (zh) * 2012-12-30 2014-07-03 成都理想境界科技有限公司 基于二维码的增强现实方法、系统及终端
CN103049729B (zh) * 2012-12-30 2015-12-23 成都理想境界科技有限公司 基于二维码的增强现实方法、系统及终端
CN105050670A (zh) * 2013-01-22 2015-11-11 微软技术许可有限责任公司 混合现实体验共享
CN105050670B (zh) * 2013-01-22 2018-05-04 微软技术许可有限责任公司 混合现实体验共享
US10121099B2 (en) 2013-02-06 2018-11-06 Alibaba Group Holding Limited Information processing method and system
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和系统
CN103279225B (zh) * 2013-05-30 2016-02-24 清华大学 投影式人机交互系统及触控识别方法
CN103279225A (zh) * 2013-05-30 2013-09-04 清华大学 投影式人机交互系统及触控识别方法
CN103412954A (zh) * 2013-08-30 2013-11-27 苏州跨界软件科技有限公司 一种利用增强现实技术的虚拟动态杂志
CN103559713B (zh) * 2013-11-10 2017-01-11 深圳市幻实科技有限公司 一种提供增强现实的方法及终端
CN106462370B (zh) * 2014-04-29 2019-08-06 微软技术许可有限责任公司 基于注视位置的稳定性平面确定
CN106462370A (zh) * 2014-04-29 2017-02-22 微软技术许可有限责任公司 基于注视位置的稳定性平面确定
CN103929653A (zh) * 2014-04-30 2014-07-16 成都理想境界科技有限公司 增强现实视频生成器、播放器及其生成方法、播放方法
CN108140263B (zh) * 2015-12-21 2021-04-27 大连赛德博强文化科技有限公司 应用于图像或视频的ar显示系统及方法
CN108140263A (zh) * 2015-12-21 2018-06-08 大连新锐天地传媒有限公司 应用于图像或视频的ar显示系统及方法
CN105528082B (zh) * 2016-01-08 2018-11-06 北京暴风魔镜科技有限公司 三维空间及手势识别追踪交互方法、装置和系统
CN105701863B (zh) * 2016-01-11 2018-08-21 华为技术有限公司 图像处理的方法和装置
CN105701863A (zh) * 2016-01-11 2016-06-22 华为技术有限公司 图像处理的方法和装置
CN105933637A (zh) * 2016-04-26 2016-09-07 上海与德通讯技术有限公司 一种视频通信的方法及系统
CN109155123A (zh) * 2016-05-17 2019-01-04 哈伊姆·希娜 用于遵循和实施实验室程序的系统和方法
CN109155123B (zh) * 2016-05-17 2022-08-02 哈伊姆·希娜 用于遵循和实施实验室程序的系统和方法
CN105955490A (zh) * 2016-06-28 2016-09-21 广东欧珀移动通信有限公司 一种基于增强现实的信息处理方法、装置和移动终端
CN107665507A (zh) * 2016-07-29 2018-02-06 成都理想境界科技有限公司 基于平面检测实现增强现实的方法及装置
CN107665508A (zh) * 2016-07-29 2018-02-06 成都理想境界科技有限公司 实现增强现实的方法及系统
CN107665508B (zh) * 2016-07-29 2021-06-01 成都理想境界科技有限公司 实现增强现实的方法及系统
CN107665507B (zh) * 2016-07-29 2021-04-30 成都理想境界科技有限公司 基于平面检测实现增强现实的方法及装置
CN106303623A (zh) * 2016-08-25 2017-01-04 武克易 基于特征数据查找的广告播放方法
WO2018035831A1 (zh) * 2016-08-25 2018-03-01 武克易 一种视频广告播放系统
WO2018035832A1 (zh) * 2016-08-25 2018-03-01 武克易 一种视频广告播放装置
WO2018035829A1 (zh) * 2016-08-25 2018-03-01 武克易 一种广告播放装置
CN106228413A (zh) * 2016-08-25 2016-12-14 武克易 一种视频广告播放装置
CN106303741A (zh) * 2016-08-25 2017-01-04 武克易 基于特征数据查找的广告播放系统
WO2018035828A1 (zh) * 2016-08-25 2018-03-01 武克易 基于特征数据查找的广告播放系统
WO2018035830A1 (zh) * 2016-08-25 2018-03-01 武克易 一种广告视频文件分级查找方法
CN107798703A (zh) * 2016-08-30 2018-03-13 成都理想境界科技有限公司 一种用于增强现实的实时图像叠加方法以及装置
CN106354257A (zh) * 2016-08-30 2017-01-25 湖北睛彩视讯科技有限公司 一种基于增强现实技术的移动场景融合系统及方法
CN106412019A (zh) * 2016-08-31 2017-02-15 广东格兰仕集团有限公司 一种基于增强现实技术的智能家电远程控制方法
CN106372260A (zh) * 2016-10-25 2017-02-01 广州卓能信息科技有限公司 一种信息交互方法、装置及系统
CN106713988A (zh) * 2016-12-09 2017-05-24 福建星网视易信息系统有限公司 一种对虚拟场景直播进行美颜处理的方法及系统
CN106483814A (zh) * 2016-12-26 2017-03-08 岭南师范学院 一种基于增强现实的3d全息投影系统及其使用方法
CN108628914B (zh) * 2017-03-22 2021-11-12 宏达国际电子股份有限公司 移动装置及其操作方法、非挥发性计算机可读取记录媒体
US10218911B2 (en) 2017-03-22 2019-02-26 Htc Corporation Mobile device, operating method of mobile device, and non-transitory computer readable storage medium
TWI651644B (zh) * 2017-03-22 2019-02-21 宏達國際電子股份有限公司 行動裝置、行動裝置的操作方法、及非揮發性電腦可讀取記錄媒體
CN108628914A (zh) * 2017-03-22 2018-10-09 宏达国际电子股份有限公司 移动装置及其操作方法、非挥发性计算机可读取记录媒体
CN108334806B (zh) * 2017-04-26 2021-12-14 腾讯科技（深圳）有限公司 图像处理方法、装置和电子设备
CN108334806A (zh) * 2017-04-26 2018-07-27 腾讯科技（深圳）有限公司 图像处理方法、装置和电子设备
WO2019047789A1 (zh) * 2017-09-08 2019-03-14 腾讯科技（深圳）有限公司 关于增强现实场景的处理方法、终端设备、系统及计算机存储介质
US11875467B2 (en) 2017-09-08 2024-01-16 Tencent Technology (Shenzhen) Company Ltd Processing method for combining a real-world environment with virtual information according to a video frame difference value to provide an augmented reality scene, terminal device, system, and computer storage medium
US11410415B2 (en) 2017-09-08 2022-08-09 Tencent Technology (Shenzhen) Company Ltd Processing method for augmented reality scene, terminal device, system, and computer storage medium
CN107566853A (zh) * 2017-09-21 2018-01-09 北京奇虎科技有限公司 实现场景渲染的视频数据实时处理方法及装置、计算设备
CN109788359A (zh) * 2017-11-14 2019-05-21 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置
CN109788359B (zh) * 2017-11-14 2021-10-26 腾讯科技（深圳）有限公司 一种视频数据处理方法和相关装置
CN108355351A (zh) * 2017-11-28 2018-08-03 岳阳市数博环球实业有限公司 一种基于实时背景的电子游戏的生成方法
CN108230448A (zh) * 2017-12-29 2018-06-29 光锐恒宇（北京）科技有限公司 增强现实ar的实现方法、装置和计算机可读存储介质
CN109712013A (zh) * 2018-11-16 2019-05-03 北京达佳互联信息技术有限公司 页面交互方法和装置
CN109509261A (zh) * 2018-11-26 2019-03-22 端美科技(中山)有限公司 一种增强现实的方法、装置及计算机存储介质
CN109636907A (zh) * 2018-12-13 2019-04-16 谷东科技有限公司 一种基于ar眼镜的地形重建方法及系统
CN109600628A (zh) * 2018-12-21 2019-04-09 广州酷狗计算机科技有限公司 视频制作方法、装置、计算机设备及存储介质
CN111506772A (zh) * 2019-01-31 2020-08-07 北京小犀智能科技中心(有限合伙) 基于图像特征提取的以图搜影方法及系统
CN111506772B (zh) * 2019-01-31 2023-05-09 北京小犀智能科技中心(有限合伙) 基于图像特征提取的以图搜影方法及系统
CN110493242A (zh) * 2019-08-27 2019-11-22 上海网达软件股份有限公司 基于WGAN-GP和U-net改进的图像增强的方法、装置及存储介质
CN110493242B (zh) * 2019-08-27 2022-02-11 上海网达软件股份有限公司 基于WGAN-GP和U-net改进的图像增强的方法、装置及存储介质
CN111050128A (zh) * 2019-12-04 2020-04-21 广东康云科技有限公司 基于户外场景的视频融合方法、系统、装置和存储介质
CN111526412A (zh) * 2020-04-30 2020-08-11 广州华多网络科技有限公司 全景直播方法、装置、设备及存储介质
CN112233252A (zh) * 2020-10-23 2021-01-15 上海影谱科技有限公司 一种基于特征匹配与光流融合的ar目标跟踪方法及系统
CN112233252B (zh) * 2020-10-23 2024-02-13 上海影谱科技有限公司 一种基于特征匹配与光流融合的ar目标跟踪方法及系统
CN112887633A (zh) * 2021-01-14 2021-06-01 四川航天神坤科技有限公司 一种基于摄像头的视频拼接和三维监控显示方法及系统

Also Published As

Publication number Publication date
US9384588B2 (en) 2016-07-05
JP2015528961A (ja) 2015-10-01
US20150193970A1 (en) 2015-07-09
CN102821323B (zh) 2014-12-17
WO2014019498A1 (zh) 2014-02-06

Similar Documents

Publication Publication Date Title
CN102821323B (zh) 基于增强现实技术的视频播放方法、系统及移动终端
CN111970535B (zh) 虚拟直播方法、装置、系统及存储介质
CN102902710B (zh) 基于条形码的增强现实方法、系统及移动终端
CN106157359B (zh) 一种虚拟场景体验系统的设计方法
EP3238445B1 (en) Interactive binocular video display
US20210092466A1 (en) Information processing apparatus, information processing method, and program
KR102246305B1 (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
CN104219584A (zh) 基于增强现实的全景视频交互方法和系统
WO2012029576A1 (ja) 複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム
CN103337079A (zh) 一种虚拟增强现实的教学方法及装置
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
CN114401414B (zh) 沉浸式直播的信息显示方法及系统、信息推送方法
CN106790996A (zh) 手机虚拟现实交互系统及方法
CN103488040A (zh) 立体全景影像合成方法及其相关的立体摄影机
Mase et al. Socially assisted multi-view video viewer
CN107862718A (zh) 4d全息视频捕捉方法
CN103841299A (zh) 虚拟演播室系统
KR101281314B1 (ko) 증강현실시스템 및 증강현실구현방법
Grubert et al. Towards user perspective augmented reality for public displays
Inamoto et al. Free viewpoint video synthesis and presentation from multiple sporting videos
CN111698543A (zh) 基于演唱场景的交互实现方法、介质及系统
CN110198457B (zh) 视频播放方法及其设备、系统、存储介质、终端、服务器
CN113315885B (zh) 一种用于远程互动的全息演播室及系统
CN109872400A (zh) 一种全景虚拟现实场景的生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant