CN112672185A - 基于增强现实的显示方法、装置、设备及存储介质 - Google Patents

基于增强现实的显示方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112672185A
CN112672185A CN202011508594.9A CN202011508594A CN112672185A CN 112672185 A CN112672185 A CN 112672185A CN 202011508594 A CN202011508594 A CN 202011508594A CN 112672185 A CN112672185 A CN 112672185A
Authority
CN
China
Prior art keywords
video
video material
live
playing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011508594.9A
Other languages
English (en)
Other versions
CN112672185B (zh
Inventor
高雅茜
孙晨雨
杨骁�
陈志立
罗琳捷
刘晶
郭亨凯
李华夏
金煥珪
杨建朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lemon Inc Cayman Island
Original Assignee
Lemon Inc Cayman Island
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lemon Inc Cayman Island filed Critical Lemon Inc Cayman Island
Priority to CN202011508594.9A priority Critical patent/CN112672185B/zh
Publication of CN112672185A publication Critical patent/CN112672185A/zh
Priority to EP21907253.5A priority patent/EP4246435A1/en
Priority to PCT/SG2021/050721 priority patent/WO2022132033A1/zh
Priority to JP2023535769A priority patent/JP2024502407A/ja
Priority to US18/332,243 priority patent/US20230328197A1/en
Application granted granted Critical
Publication of CN112672185B publication Critical patent/CN112672185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Abstract

本公开实施例提供一种基于增强现实的显示方法、装置、设备及存储介质，该方法通过接收第一视频；对第一视频中的目标物体进行分割，以获取视频素材；获取并显示实景图像，其中，实景图像通过图像采集装置采集；将视频素材增强显示于实景图像的目标位置处并播放视频素材。由于视频素材是通过接收第一视频，并对第一视频中的目标物体进行分割而获得的，因此，视频素材可以根据用户的需要进行设置，从而满足用户自定义加载并显示视频素材的目的，将自定义的视频素材通过增强现实的方式显示在实景图像中，形成符合用户构思的视频特效，增强视频创作的灵活性，提高视频表现力。

Description

基于增强现实的显示方法、装置、设备及存储介质
技术领域
本公开实施例涉及计算机与网络通信技术领域，尤其涉及一种基于增强现实的显示方法、装置、设备及存储介质。
背景技术
对于视频类软件和平台，视频创作功能是视频类软件的核心功能之一。视频创作功能的丰富性、多样性和趣味性，是吸引用户和视频创作者使用该视频类软件的重要因素。
目前，在用户使用视频创作功能的过程中，当需要在拍摄环境中添加视频特效时，只能选择平台提供好的固定的图片或视频素材。
然而，由于图片或视频素材的数量有限，用户在进行视频创作时，对拍摄环境的实景图像无法完全按照预想的构思进行特效设置，导致视频创作灵活性差，影响视频表现力。
发明内容
本公开实施例提供一种基于增强现实的显示方法、装置、设备及存储介质，以克服视频创作灵活性差，影像视频表现力的问题。
第一方面，本公开实施例提供一种基于增强现实的显示方法，包括：
接收第一视频；
对所述第一视频中的目标物体进行分割，以获取视频素材；
获取并显示实景图像，其中，所述实景图像通过图像采集装置采集；
将所述视频素材增强显示于所述实景图像的目标位置处并播放所述视频素材。
第二方面，本公开实施例提供一种基于增强现实的显示装置，包括：
接收单元，用于接收第一视频；
获取单元，用于对所述第一视频中的目标物体进行分割，以获取视频素材；
显示单元，用于获取并显示实景图像，以及将所述视频素材增强显示于所述实景图像的目标位置处并播放所述视频素材，其中，所述实景图像通过图像采集装置采集。
第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的基于增强现实的显示方法。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的基于增强现实的显示方法。
第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的基于增强现实的显示方法。
本实施例提供的基于增强现实的显示方法、装置、设备及存储介质，该方法通过接收第一视频；对所述第一视频中的目标物体进行分割，以获取视频素材；获取并显示实景图像，其中，所述实景图像通过图像采集装置采集；将所述视频素材增强显示于所述实景图像的目标位置处并播放所述视频素材。由于视频素材是通过接收第一视频，并对第一视频中的目标物体进行分割而获得的，因此，视频素材可以根据用户的需要进行设置，从而满足用户自定义加载并显示视频素材的目的，将自定义的视频素材通过增强现实的方式显示在实景图像中，形成符合用户构思的视频特效，增强视频创作的灵活性，提高视频表现力。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中一种视频拍摄过程的示例图；
图2为本公开实施例提供的基于增强现实的显示方法流程示意图一；
图3为本公开实施例提供的一种接收第一视频的示意图；
图4为本公开实施例提供的另一种接收第一视频的示意图；
图5为本公开实施例提供的一种对视频中的目标物体进行分割的示意图；
图6为本公开实施例提供的一种在实景图像的目标位置播放视频素材的示意图；
图7为本公开实施例提供的基于增强现实的显示方法流程示意图二；
图8为本公开实施例提供的一种用户输入第二用户指令的示意图；
图9为图7所示实施例中步骤S206的流程示意图；
图10为本公开实施例提供的一种以不同显示角度播放视频素材的示意图；
图11为本公开实施例提供的另一种以不同显示角度播放视频素材的示意图；
图12为本公开实施例提供的基于增强现实的显示装置的结构框图；
图13为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
参考图1，图1为现有技术中一种视频拍摄过程的示例图。现有技术中，用户在通过终端设备，例如智能手机，视频拍摄的过程中，当需要对拍摄环境的实景图像添加视频特效时，一种可能的实现方式为，在视频类软件所提供的视频特效库中，选择视频类软件所提供的若干视频素材11，并将该视频素材11添加至终端设备所显示的实景图像12中，生成带有视频特效的拍摄环境图像，进而进行视频创作，以得到更富有创意和有表现力的视频。
然而，由于现有技术中仅能通过视频类软件中预设的固定几种视频素材供用户使用，因此，当用户在拍摄一些复杂场景的视频时，素材库中所提供的视频素材往往无法满足用户的使用需求，因此，用户使用固定素材拍摄出的视频不能完全实现用户的构思，导致视频的表现力下降。本公开实施例提供一种基于增强现实的显示方法以解决上述问题。
参考图2，图2为本公开实施例提供的基于增强现实的显示方法流程示意图一。本实施例的方法可以应用在终端设备中，例如智能手机等终端设备。该基于增强现实的显示方法包括：
S101：接收第一视频。
具体地，第一视频可以包括包含有用户感兴趣的视频素材的视频。例如，一段舞蹈表演视频、一段唱歌表演视频、一段动画视频等等。其中，在一种可能的实现方式中，视频素材可以是人像视频素材。在另一种可能的实现方式中，视频素材还可以是物体视频素材，例如，第一视频为一段赛车视频，其中，运动的赛车即为视频素材；此外，在另一种可能的实现方式中，视频素材还可以是卡通动画视频素材、动物视频素材等等，此处不再对第一视频的具体实现形式进行赘述。
进一步地，在一种可能的实现方式中，第一视频素材是用户预先拍摄并存储在终端设备内的视频，也可以是用户直接通过存储介质上传，或者通过网络下载等方式，存储在终端设备内的视频。图3为本公开实施例提供的一种接收第一视频的示意图，如图3所示，接收第一视频的方式包括：用户通过点击终端设备的用户界面(User Interface，UI)，选择存储在终端设备本地的视频，如图3中所示，从本地存储的视频1、视频2、视频3、视频4中，选择视频1作为第一视频并上传，从而终端设备实现第一视频的接收过程。
图4为本公开实施例提供的另一种接收第一视频的示意图。如图4所示，第一视频存储在服务器，终端设备接收并显示服务器一侧发送的第一视频信息，更具体地，例如第一视频的标题和预览图，用户通过点击终端设备上显示的第一视频的标题或预览图，从服务器下载该第一视频，从而使得终端设备实现对该第一视频的接收。
S102：对第一视频中的目标物体进行分割，以获取视频素材。
具体地，图5为本公开实施例提供的一种对视频中的目标物体进行分割的示意图。如图5所示，终端设备在获得第一视频后，通过视频分割技术，对目标视频进行特征识别，即确定目标视频中的目标物体的轮廓，进而根据该目标物体的轮廓进行视频分割，从而得到该目标物体的视频素材。示例性地，该视频素材可以为动态的视频图像或静态的视频图像，此处不进行具体限定。视频素材的具体实现形式，可参见步骤S101中的示例，此处不再进行赘述。
在一种可能的实现方式中，第一视频中的目标物体为人像，终端设备可以对第一视频中的人像进行分割，从而获得对应的人像视频素材。具体地，该过程可以通过视频人像分割(video portrait segmentation)技术，对第一视频中的人像轮廓进行特征识别，确定人像轮廓，并根据人像轮廓对第一视频中的人像部分进行保留，而将第一视频中人像外的部分去除，从而得到人像视频素材。视频人像分割的具体实现过程，可以采用各种可能的实现方式，此处不做赘述。此外，第一视频中的目标物体为还可以包括诸如物体等，终端设备可以对第一视频中的目标物体进行分割，从而获得对应的目标物体视频素材。
S103：获取并显示实景图像，其中，实景图像通过图像采集装置采集。
示例性地，图像采集装置例如为终端设备上设置的前置摄像头或后者摄像头，或者是设置在终端设备外部，并与终端设备通信的其他摄像头。终端设备通过摄像头对所处拍摄环境进行拍摄，可以实时地获得拍摄环境所对应的实景图像，该实景图像为拍摄环境的真实表现。
进而一步的，在获得该实景图像后，终端设备可以实时地将该实景图像显示在终端设备的UI上。用户通过终端设备的UI，可以实时地观察到拍摄环境的真实表现。该获取并显示实景图像的过程为用户进行视频拍摄前的准备过程，用户可以通过对拍摄环境的观察，确定具体的拍摄位置和拍摄角度后，通过图像采集装置进行后续的视频拍摄过程。
S104：将视频素材增强显示于实景图像的目标位置处并播放视频素材。
示例性地，在确定视频素材后，终端设备可以将视频素材显示在实景图像的目标位置，该目标位置可以是用户设置的，并可以根据用户指令，进一步的调整；也可以是系统默认的位置。在一种可能的实现方式中，将视频素材显示在实景图像的目标位置，包括：首先将视频素材显示在默认位置，例如UI中所显示的实景图像的几何中心，再根据用户输入的指令，对该目标位置进行调整，并根据调整结果，将视频素材显示于对应的目标位置，以实现用户对视频素材显示位置的设置和调整。
进一步地，视频素材是以增强现实(AR)的方式显示在实景图像的目标位置处的。具体地，例如，视频素材为人像视频素材，且内容为一个跳舞的人像，该视频素材显示在实景图像(例如，用户的起居室图像)的目标位置处时，例如实景图像中沙发的旁边，该视频素材与实景图像的位置关系是固定的，即在没有新的用户指令改变目标位置的情况下，该跳舞的人像始终固定于沙发的旁边，当用户操作终端设备移动或转动时，终端设备的UI所显示的视野内的实景图像发生改变，但是该视频素材固定显示在实景图像中的固定位置，不发生移动，即以AR的方式显示在实景图像中。
进一步地，图6为本公开实施例提供的一种在实景图像的目标位置播放视频素材的示意图，如图6所示，视频素材增强显示于实景图像的目标位置处后，播放该视频素材，例如视频素材为人像视频素材，内容为一个跳舞的人像，则播放该人像跳舞的视频内容。由于视频素材是以AR的形式显示在实景图像中的，即该视频素材在视觉表现上，成为了拍摄环境的一部分，从而可以实现构建虚拟拍摄环境的目的。用户基于该虚拟拍摄环境进行视频的拍摄，可以实现自定义的拍摄内容，使用户能够充分发挥创作想象力，不受视频素材固定，而无法生成所需要的虚拟拍摄环境的限制，从而大幅度的提高了视频创作的丰富性和表现力。
该方法通过接收第一视频；对第一视频中的目标物体进行分割，以获取视频素材；获取并显示实景图像，其中，实景图像通过图像采集装置采集；将视频素材增强显示于实景图像的目标位置处并播放视频素材。由于视频素材是通过接收第一视频，并对第一视频中的目标物体进行分割而获得的，因此，视频素材可以根据用户的需要进行设置，从而满足用户自定义加载并显示视频素材的目的，将自定义的视频素材通过增强现实的方式显示在实景图像中，形成符合用户构思的视频特效，增强视频创作的灵活性，提高视频表现力。
图7为本公开实施例提供的基于增强现实的显示方法流程示意图二。本实施例中，增加了根据用户指令对视频素材进行调整的步骤，该方法包括：
S201：接收第一视频。
S202：对第一视频中的目标物体进行分割，以获取视频素材。
S203：获取并显示实景图像，其中，实景图像通过图像采集装置采集。
S204：接收第二用户指令，第二用户指令包括屏幕坐标信息。
具体地，第二用户指令是用户通过终端设备的UI输入的，用于使视频素材显示在指定位置的指令。图8为本公开实施例提供的一种用户输入第二用户指令的示意图，如图8所示，该第二用户指令可以通过用户的拖拽手势，或点击手势实现，其中，第二用户指令中的平面坐标信息表征手势操作作用在终端设备的屏幕上的坐标，例如点击手势在屏幕上的坐标，拖拽手势划过屏幕的坐标。终端设备在接收到该第二用户指令后，根据屏幕坐标信息确定第二用户指令对应的目标位置，并将视频素材显示在该目标位置处。
可选地，第二用户指令中还包括以下至少一种：尺寸信息、角度信息。尺寸信息用于指示视频素材的显示尺寸；角度信息用于指示视频素材相对于图像采集平面的显示角度，其中，图像采集平面为图像采集装置所在平面。
可选地，第二用户指令可以通过不同的操作手势来实现。例如，用户通过手指(例如，二根手指)的相对移动，表征尺寸信息，从而对视频素材的显示尺寸进行调节，当然，还可以通过操作手势，来表征角度信息，其中，角度信息是控制视频素材显示角度的信息，当视频素材为二维平面视频时，角度信息用于表征该二维平面视频相对于图像采集平面的显示角度；当视频素材为三维立体视频时，角度信息用于表征该三维立体视频在三维空间中的显示角度。操作手势的实现方式，例如通过单指的旋转，或者敲击等，具体的手势操作，可以根据需要进行设置，此处不再对此进行赘述。
S205：确定当前的实景图像中，与屏幕坐标信息对应的实景坐标点。
根据第二用户指令，获得屏幕坐标信息后，确定与该屏幕坐标信息对应的，显示在屏幕上的实景图像的实景坐标点。该实景坐标点用于表征在拍摄环境中实景的位置。
S206：根据实景坐标点，确定视频素材在实景图像中的目标位置。
可选地，如图9所示，步骤S206包括S2061、S2062、S2063三个具体的实现步骤：
S2061：根据同步定位与地图绘制(simultaneous localization and mapping，Slam)算法，获得实景图像对应的同步定位与地图绘制平面，同步定位与地图绘制平面用于表征实景图像中实景的定位模型。
具体地，Slam算法是一种用于解决在未知环境中定位导航与地图构建问题的方法，在本实施例中，通过Slam算法对拍摄环境对应的实景图像信息进行处理，实现对拍摄环境中不同实景物体之间的定位，得到Slam平面，该Slam平面用于表征实景图像与拍摄环境中实景物体的位置关系，即实景物体中实景的定位模型。Slam算法及通过Slam算法生成Slam平面的具体实现方式为现有技术，此处不再赘述。
S2062：根据同步定位与地图绘制平面所表征的实景图像中实景的定位模型，确定与实景坐标点对应的同步定位与地图绘制平面坐标点。
S2063：根据同步定位与地图绘制平面坐标点确定目标位置。
具体地，根据Slam平面所表征的定位模型，可以确定实景坐标点在该Slam平面中的位置，即Slam坐标点，确定视频素材的目标位置时，将该Slam坐标点作为目标位置，即可实现视频素材在实景图像中的显示。
S207：根据角度信息，以与角度信息对应的显示角度播放视频素材。
具体地，角度信息用于指示视频素材相对于图像采集平面的显示角度，其中，图像采集平面为图像采集装置所在平面。由于终端设备采集的实景图像是随着终端设备的位置和拍摄角度而实时变化的，例如，终端设备移动，或者在三维空间中旋转一定角度后，其所拍摄和显示的实景图像的显示角度也会发生角度变化，对应的，显示在实景图像中的视频素材的显示角度，也会随之变化，并以对应的显示角度，播放该视频素材。
图10为本公开实施例提供的一种以不同显示角度播放视频素材的示意图，参考图10，视频素材为二维平面视频，根据角度信息，可以确定视频素材的显示角度，如图10所示，在角度信息发生变化时，二维平面视频素材的显示角度也发生相应变化，即由图10中的显示角度1变为显示角度2，从而，实现对二维平面视频素材显示角度的调整。
图11为本公开实施例提供的另一种以不同显示角度播放视频素材的示意图，参考图11，视频素材为三维立体视频，根据角度信息，可以确定视频素材的显示角度，如图11所示，在角度信息发生变化时，三维立体视频素材的显示角度也发生相应变化，即由图11中的显示角度1变为显示角度2，从而，实现对三维立体视频素材显示角度的调整。
S208：获取视频素材对应的音频素材，在将视频素材显示在实景图像中的目标位置的同时，根据视频素材的播放时间戳，同步播放音频素材。
示例性地，视频素材是从第一视频中获取的，视频素材中包括了第一视频中与视频素材的播放时间戳对应、播放时长相同的音频素材。该音频素材可以根据视频素材的播放时间戳，与视频素材同步播放，从而更大程度上还原视频素材在第一视频中的效果。
S209：获取视频素材的播放信息，播放信息用于表征视频素材的播放进度，若根据播放信息，判断视频素材播放完毕，则在目标位置重复播放视频素材。
示例性地，在视频素材播放过程中，根据视频素材的播放信息，例如视频素材的当前播放时长、或者当前播放时间戳，或者视频素材播放完毕的标识信息，确定视频素材是否播放结束，若视频素材播放结束，则继续重新播放该视频素材，以避免视频素材停止播放影响视频的整体表现效果。
在本实施例中，步骤S201-S203与上述实施例中步骤S101-S103的一致，详细论述请参考步骤S101-S103的论述，这里不再赘述。
对应于上文实施例的基于增强现实的显示方法，图12为本公开实施例提供的基于增强现实的显示装置的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图12，基于增强现实的显示装置3包括：
接收单元31，用于接收第一视频。
获取单元32，用于对第一视频中的目标物体进行分割，以获取视频素材。
显示单元33，用于获取并显示实景图像，以及将视频素材增强显示于实景图像的目标位置处并播放视频素材，其中，实景图像通过图像采集装置采集。
在本公开的一个实施例中，视频素材包括人像视频素材，人像视频素材通过对第一视频进行视频人像分割得到。
在本公开的一个实施例中，接收单元31还用于：接收第二用户指令，第二用户指令包括屏幕坐标信息；确定当前的实景图像中，与屏幕坐标信息对应的实景坐标点；根据实景坐标点，确定视频素材在实景图像中的目标位置。
在本公开的一个实施例中，第二用户指令中还包括以下至少一种：尺寸信息、角度信息；尺寸信息用于指示视频素材的显示尺寸；角度信息用于指示视频素材相对于图像采集平面的显示角度，其中，图像采集平面为图像采集装置所在平面。
在本公开的一个实施例中，显示单元33在播放视频素材时，具体用于：根据角度信息，以与角度信息对应的显示角度播放视频素材。
在本公开的一个实施例中，接收单元31在根据实景坐标点，确定视频素材在实景图像中的目标位置时，具体用于：根据同步定位与地图绘制算法，获得实景图像对应的同步定位与地图绘制平面，同步定位与地图绘制平面用于表征实景图像中实景的定位模型；根据同步定位与地图绘制平面所表征的实景图像中实景的定位模型，确定与实景坐标点对应的同步定位与地图绘制平面坐标点；根据同步定位与地图绘制平面坐标点确定目标位置。
在本公开的一个实施例中，获取单元32，还用于：获取视频素材对应的音频素材；在将视频素材显示在实景图像中的目标位置的同时，根据视频素材的播放时间戳，同步播放音频素材。
在本公开的一个实施例中，获取单元32，还用于：获取视频素材的播放信息，播放信息用于表征视频素材的播放进度；若根据播放信息，判断视频素材播放完毕，则在目标位置重复播放视频素材。
本实施例提供的设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
参考图13，其示出了适于用来实现本公开实施例的电子设备900的结构示意图，该电子设备900可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable MediaPlayer，简称PMP)、车载终端(例如车载导航终端)、可穿戴电子设备等等的移动终端以及诸如数字TV、台式计算机、智能家居设备等等的固定终端。图13示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图13所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(Read Only Memory，简称ROM)902中的程序或者从存储装置908加载到随机访问存储器(Random Access Memory，简称RAM)903中的程序而执行各种适当的动作和处理，例如，用于执行流程图所示的方法的程序代码，以实现本公开实施例的方法中限定的上述功能。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图13示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM902被安装。在该计算机程序被处理装置901执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面，根据本公开的一个或多个实施例，提供了一种基于增强现实的显示方法，包括：
接收第一视频；对所述第一视频中的目标物体进行分割，以获取视频素材；获取并显示实景图像，其中，所述实景图像通过图像采集装置采集；将所述视频素材增强显示于所述实景图像的目标位置处并播放所述视频素材。
根据本公开的一个或多个实施例，所述视频素材包括人像视频素材，所述人像视频素材通过对所述第一视频进行视频人像分割得到。
根据本公开的一个或多个实施例，还包括：接收第二用户指令，第二用户指令包括屏幕坐标信息；确定当前的实景图像中，与所述屏幕坐标信息对应的实景坐标点；根据所述实景坐标点，确定所述视频素材在所述实景图像中的所述目标位置。
根据本公开的一个或多个实施例，所述第二用户指令中还包括以下至少一种：尺寸信息、角度信息；所述尺寸信息用于指示所述视频素材的显示尺寸；所述角度信息用于指示所述视频素材相对于图像采集平面的显示角度，其中，所述图像采集平面为所述图像采集装置所在平面。
根据本公开的一个或多个实施例，播放所述视频素材，包括：根据所述角度信息，以与所述角度信息对应的显示角度播放所述视频素材。
根据本公开的一个或多个实施例，根据所述实景坐标点，确定所述视频素材在所述实景图像中的所述目标位置，包括：根据同步定位与地图绘制算法，获得所述实景图像对应的同步定位与地图绘制平面，所述同步定位与地图绘制平面用于表征所述实景图像中实景的定位模型；根据所述同步定位与地图绘制平面所表征的实景图像中实景的定位模型，确定与所述实景坐标点对应的同步定位与地图绘制平面坐标点；根据所述同步定位与地图绘制平面坐标点确定所述目标位置。
根据本公开的一个或多个实施例，所述方法还包括：获取所述视频素材对应的音频素材；在将所述视频素材显示在所述实景图像中的目标位置的同时，根据所述视频素材的播放时间戳，同步播放所述音频素材。
根据本公开的一个或多个实施例，所述方法还包括：获取所述视频素材的播放信息，所述播放信息用于表征所述视频素材的播放进度；若根据所述播放信息，判断所述视频素材播放完毕，则在所述目标位置重复播放所述视频素材。
第二方面，根据本公开的一个或多个实施例，提供了一种基于增强现实的显示装置，包括：
接收单元，用于接收第一视频。
获取单元，用于对所述第一视频中的目标物体进行分割，以获取视频素材。
显示单元，用于获取并显示实景图像，以及将所述视频素材增强显示于所述实景图像的目标位置处并播放所述视频素材，其中，所述实景图像通过图像采集装置采集。
根据本公开的一个或多个实施例，所述视频素材包括人像视频素材，所述人像视频素材通过对所述第一视频进行视频人像分割得到。
根据本公开的一个或多个实施例，接收单元还用于：接收第二用户指令，第二用户指令包括屏幕坐标信息；确定当前的实景图像中，与所述屏幕坐标信息对应的实景坐标点；根据所述实景坐标点，确定所述视频素材在所述实景图像中的所述目标位置。
根据本公开的一个或多个实施例，所述第二用户指令中还包括以下至少一种：尺寸信息、角度信息；所述尺寸信息用于指示所述视频素材的显示尺寸；所述角度信息用于指示所述视频素材相对于图像采集平面的显示角度，其中，所述图像采集平面为所述图像采集装置所在平面。
根据本公开的一个或多个实施例，显示单元在播放所述视频素材时，具体用于：根据所述角度信息，以与所述角度信息对应的显示角度播放所述视频素材。
根据本公开的一个或多个实施例，接收单元在根据所述实景坐标点，确定所述视频素材在所述实景图像中的所述目标位置时，具体用于：根据同步定位与地图绘制算法，获得所述实景图像对应的同步定位与地图绘制平面，所述同步定位与地图绘制平面用于表征所述实景图像中实景的定位模型；根据所述同步定位与地图绘制平面所表征的实景图像中实景的定位模型，确定与所述实景坐标点对应的同步定位与地图绘制平面坐标点；根据所述同步定位与地图绘制平面坐标点确定所述目标位置。
根据本公开的一个或多个实施例，获取单元，还用于：获取所述视频素材对应的音频素材；在将所述视频素材显示在所述实景图像中的目标位置的同时，根据所述视频素材的播放时间戳，同步播放所述音频素材。
根据本公开的一个或多个实施例，获取单元，还用于：获取所述视频素材的播放信息，所述播放信息用于表征所述视频素材的播放进度；若根据所述播放信息，判断所述视频素材播放完毕，则在所述目标位置重复播放所述视频素材。
第三方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的基于增强现实的显示方法。
第四方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的基于增强现实的显示方法。
第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的基于增强现实的显示方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

1.一种基于增强现实的显示方法，其特征在于，包括：
接收第一视频；
对所述第一视频中的目标物体进行分割，以获取视频素材；
获取并显示实景图像，其中，所述实景图像通过图像采集装置采集；
将所述视频素材增强显示于所述实景图像的目标位置处并播放所述视频素材。
2.根据权利要求1所述的方法，其特征在于，所述视频素材包括人像视频素材，所述人像视频素材通过对所述第一视频进行视频人像分割得到。
3.根据权利要求1所述的方法，其特征在于，还包括：
接收第二用户指令，第二用户指令包括屏幕坐标信息；
确定当前的实景图像中，与所述屏幕坐标信息对应的实景坐标点；
根据所述实景坐标点，确定所述视频素材在所述实景图像中的所述目标位置。
4.根据权利要求3所述的方法，其特征在于，所述第二用户指令中还包括以下至少一种：尺寸信息、角度信息；
所述尺寸信息用于指示所述视频素材的显示尺寸；
所述角度信息用于指示所述视频素材相对于图像采集平面的显示角度，其中，所述图像采集平面为所述图像采集装置所在平面。
5.根据权利要求4所述的方法，其特征在于，播放所述视频素材，包括：
根据所述角度信息，以与所述角度信息对应的显示角度播放所述视频素材。
6.根据权利要求3所述的方法，其特征在于，根据所述实景坐标点，确定所述视频素材在所述实景图像中的所述目标位置，包括：
根据同步定位与地图绘制算法，获得所述实景图像对应的同步定位与地图绘制平面，所述同步定位与地图绘制平面用于表征所述实景图像中实景的定位模型；
根据所述同步定位与地图绘制平面所表征的实景图像中实景的定位模型，确定与所述实景坐标点对应的同步定位与地图绘制平面坐标点；
根据所述同步定位与地图绘制平面坐标点确定所述目标位置。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
获取所述视频素材对应的音频素材；
在将所述视频素材显示在所述实景图像中的目标位置的同时，根据所述视频素材的播放时间戳，同步播放所述音频素材。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
获取所述视频素材的播放信息，所述播放信息用于表征所述视频素材的播放进度；
若根据所述播放信息，判断所述视频素材播放完毕，则在所述目标位置重复播放所述视频素材。
9.一种基于增强现实的显示装置，其特征在于，包括：
接收单元，用于接收第一视频；
获取单元，用于对所述第一视频中的目标物体进行分割，以获取视频素材；
显示单元，用于获取并显示实景图像，以及将所述视频素材增强显示于所述实景图像的目标位置处并播放所述视频素材，其中，所述实景图像通过图像采集装置采集。
10.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至8任一项所述的基于增强现实的显示方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至8任一项所述的基于增强现实的显示方法。
12.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至8任一项所述的基于增强现实的显示方法。
CN202011508594.9A 2020-12-18 2020-12-18 基于增强现实的显示方法、装置、设备及存储介质 Active CN112672185B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011508594.9A CN112672185B (zh) 2020-12-18 2020-12-18 基于增强现实的显示方法、装置、设备及存储介质
EP21907253.5A EP4246435A1 (en) 2020-12-18 2021-11-24 Display method and apparatus based on augmented reality, and device and storage medium
PCT/SG2021/050721 WO2022132033A1 (zh) 2020-12-18 2021-11-24 基于增强现实的显示方法、装置、设备及存储介质
JP2023535769A JP2024502407A (ja) 2020-12-18 2021-11-24 拡張現実に基づく表示方法、装置、機器及び記憶媒体
US18/332,243 US20230328197A1 (en) 2020-12-18 2023-06-09 Display method and apparatus based on augmented reality, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011508594.9A CN112672185B (zh) 2020-12-18 2020-12-18 基于增强现实的显示方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112672185A true CN112672185A (zh) 2021-04-16
CN112672185B CN112672185B (zh) 2023-07-07

Family

ID=75407004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011508594.9A Active CN112672185B (zh) 2020-12-18 2020-12-18 基于增强现实的显示方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US20230328197A1 (zh)
EP (1) EP4246435A1 (zh)
JP (1) JP2024502407A (zh)
CN (1) CN112672185B (zh)
WO (1) WO2022132033A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113891140A (zh) * 2021-09-30 2022-01-04 北京市商汤科技开发有限公司 一种素材编辑方法、装置、设备及存储介质
CN114430466A (zh) * 2022-01-25 2022-05-03 北京字跳网络技术有限公司 素材展示方法、装置、电子设备、存储介质及程序产品
CN114500773A (zh) * 2021-12-28 2022-05-13 天翼云科技有限公司 一种转播方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115767141A (zh) * 2022-08-26 2023-03-07 维沃移动通信有限公司 视频播放方法、装置和电子设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130249900A1 (en) * 2012-03-23 2013-09-26 Kyonggi University Industry & Academia Cooperation Foundation Method and apparatus for processing media file for augmented reality service
CN105912121A (zh) * 2016-04-14 2016-08-31 北京越想象国际科贸发展有限公司 一种增强现实的方法及系统
CN106204423A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种基于增强现实的图片调整方法、装置及终端
JP2016218839A (ja) * 2015-05-22 2016-12-22 Kddi株式会社 Ａｒ情報表示装置
CN107027015A (zh) * 2017-04-28 2017-08-08 广景视睿科技（深圳）有限公司 基于增强现实的3d动向投影系统以及用于该系统的投影方法
US20180047214A1 (en) * 2014-12-23 2018-02-15 Intel Corporation Systems and methods for contextually augmented video creation and sharing
CN108255304A (zh) * 2018-01-26 2018-07-06 腾讯科技（深圳）有限公司 基于增强现实的视频数据处理方法、装置和存储介质
CN108629800A (zh) * 2017-03-20 2018-10-09 北京三星通信技术研究有限公司 平面确定方法及增强现实显示信息的显示方法、相应装置
CN109189302A (zh) * 2018-08-29 2019-01-11 百度在线网络技术（北京）有限公司 Ar虚拟模型的控制方法及装置
WO2019024853A1 (zh) * 2017-08-04 2019-02-07 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN109903129A (zh) * 2019-02-18 2019-06-18 北京三快在线科技有限公司 增强现实显示方法与装置、电子设备、存储介质
WO2019203952A1 (en) * 2018-04-17 2019-10-24 Pearson Education, Inc. Systems and methods for applications of augmented reality
CN111580652A (zh) * 2020-05-06 2020-08-25 Oppo广东移动通信有限公司 视频播放的控制方法、装置、增强现实设备及存储介质
CN111833460A (zh) * 2020-07-10 2020-10-27 北京字节跳动网络技术有限公司 增强现实的图像处理方法、装置、电子设备及存储介质
CN111833459A (zh) * 2020-07-10 2020-10-27 北京字节跳动网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112053370A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
CN112073807A (zh) * 2020-11-11 2020-12-11 支付宝(杭州)信息技术有限公司 基于区块链的视频数据的处理方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609888B2 (en) * 2005-07-01 2009-10-27 Microsoft Corporation Separating a video object from a background of a video sequence
KR20130099317A (ko) * 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
US9153073B2 (en) * 2012-05-23 2015-10-06 Qualcomm Incorporated Spatially registered augmented video
CN102821323B (zh) * 2012-08-01 2014-12-17 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
US20140225922A1 (en) * 2013-02-11 2014-08-14 Rocco A. Sbardella System and method for an augmented reality software application
US9934252B2 (en) * 2014-03-10 2018-04-03 Microsoft Technology Licensing, Llc Metadata-based photo and/or video animation
US20180210628A1 (en) * 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
CN109427096A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 一种基于增强现实的自动导览方法和系统
CN109903392B (zh) * 2017-12-11 2021-12-31 北京京东尚科信息技术有限公司 增强现实方法和装置
US10665028B2 (en) * 2018-06-04 2020-05-26 Facebook, Inc. Mobile persistent augmented-reality experiences
US10867447B2 (en) * 2019-01-21 2020-12-15 Capital One Services, Llc Overlaying 3D augmented reality content on real-world objects using image segmentation
CN110412765B (zh) * 2019-07-11 2021-11-16 Oppo广东移动通信有限公司 增强现实图像拍摄方法、装置、存储介质及增强现实设备
CN111640193A (zh) * 2020-06-05 2020-09-08 浙江商汤科技开发有限公司 文字处理方法、装置、计算机设备及存储介质
CN111638797A (zh) * 2020-06-07 2020-09-08 浙江商汤科技开发有限公司 一种展示控制方法及装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130249900A1 (en) * 2012-03-23 2013-09-26 Kyonggi University Industry & Academia Cooperation Foundation Method and apparatus for processing media file for augmented reality service
US20180047214A1 (en) * 2014-12-23 2018-02-15 Intel Corporation Systems and methods for contextually augmented video creation and sharing
JP2016218839A (ja) * 2015-05-22 2016-12-22 Kddi株式会社 Ａｒ情報表示装置
CN105912121A (zh) * 2016-04-14 2016-08-31 北京越想象国际科贸发展有限公司 一种增强现实的方法及系统
CN106204423A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种基于增强现实的图片调整方法、装置及终端
CN108629800A (zh) * 2017-03-20 2018-10-09 北京三星通信技术研究有限公司 平面确定方法及增强现实显示信息的显示方法、相应装置
CN107027015A (zh) * 2017-04-28 2017-08-08 广景视睿科技（深圳）有限公司 基于增强现实的3d动向投影系统以及用于该系统的投影方法
WO2019024853A1 (zh) * 2017-08-04 2019-02-07 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN108255304A (zh) * 2018-01-26 2018-07-06 腾讯科技（深圳）有限公司 基于增强现实的视频数据处理方法、装置和存储介质
WO2019203952A1 (en) * 2018-04-17 2019-10-24 Pearson Education, Inc. Systems and methods for applications of augmented reality
CN109189302A (zh) * 2018-08-29 2019-01-11 百度在线网络技术（北京）有限公司 Ar虚拟模型的控制方法及装置
CN109903129A (zh) * 2019-02-18 2019-06-18 北京三快在线科技有限公司 增强现实显示方法与装置、电子设备、存储介质
CN111580652A (zh) * 2020-05-06 2020-08-25 Oppo广东移动通信有限公司 视频播放的控制方法、装置、增强现实设备及存储介质
CN111833460A (zh) * 2020-07-10 2020-10-27 北京字节跳动网络技术有限公司 增强现实的图像处理方法、装置、电子设备及存储介质
CN111833459A (zh) * 2020-07-10 2020-10-27 北京字节跳动网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112053370A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
CN112073807A (zh) * 2020-11-11 2020-12-11 支付宝(杭州)信息技术有限公司 基于区块链的视频数据的处理方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QIONG WANG: "《A virtual surgical simulator for mandibular angle reduction based on patient specific data》", 《2012 IEEE VIRTUAL REALITY WORKSHOPS (VRW)》 *
刘雨萱: "《增强现实的实际应用研究》", 《福建质量管理》, no. 4 *
杨可鑫: "《面向增强现实的视觉位姿估计技术研究》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113891140A (zh) * 2021-09-30 2022-01-04 北京市商汤科技开发有限公司 一种素材编辑方法、装置、设备及存储介质
CN114500773A (zh) * 2021-12-28 2022-05-13 天翼云科技有限公司 一种转播方法及装置
CN114500773B (zh) * 2021-12-28 2023-10-13 天翼云科技有限公司 一种转播方法、系统和存储介质
CN114430466A (zh) * 2022-01-25 2022-05-03 北京字跳网络技术有限公司 素材展示方法、装置、电子设备、存储介质及程序产品
WO2023143120A1 (zh) * 2022-01-25 2023-08-03 北京字跳网络技术有限公司 素材展示方法、装置、电子设备、存储介质及程序产品

Also Published As

Publication number Publication date
EP4246435A1 (en) 2023-09-20
US20230328197A1 (en) 2023-10-12
CN112672185B (zh) 2023-07-07
JP2024502407A (ja) 2024-01-19
WO2022132033A1 (zh) 2022-06-23

Similar Documents

Publication Publication Date Title
CN112672185B (zh) 基于增强现实的显示方法、装置、设备及存储介质
CN110058685B (zh) 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
WO2020248900A1 (zh) 全景视频的处理方法、装置及存储介质
CN112053370A (zh) 基于增强现实的显示方法、设备及存储介质
CN112965780B (zh) 图像显示方法、装置、设备及介质
CN109600559B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
CN112053449A (zh) 基于增强现实的显示方法、设备及存储介质
CN112051961A (zh) 虚拟交互方法、装置、电子设备及计算机可读存储介质
CN114461064B (zh) 虚拟现实交互方法、装置、设备和存储介质
CN111258519B (zh) 屏幕分屏实现方法、装置、终端和介质
CN112884908A (zh) 基于增强现实的显示方法、设备、存储介质及程序产品
CN113055611A (zh) 图像处理方法及装置
CN114531553B (zh) 生成特效视频的方法、装置、电子设备及存储介质
CN113806306A (zh) 媒体文件处理方法、装置、设备、可读存储介质及产品
CN114401443B (zh) 特效视频处理方法、装置、电子设备及存储介质
CN111866372A (zh) 自拍方法、装置、存储介质以及终端
CN111652675A (zh) 展示方法、装置和电子设备
CN114598823A (zh) 特效视频生成方法、装置、电子设备及存储介质
CN112068703B (zh) 目标物体的控制方法、装置、电子设备及存储介质
CN111862349A (zh) 虚拟画笔实现方法、装置和计算机可读存储介质
CN109636917B (zh) 三维模型的生成方法、装置、硬件装置
CN115734001A (zh) 特效显示方法、装置、电子设备及存储介质
CN114697568B (zh) 特效视频确定方法、装置、电子设备及存储介质
WO2022227918A1 (zh) 视频处理方法、设备及电子设备
CN116527993A (zh) 视频的处理方法、装置、电子设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant