CN111652986A - 舞台效果呈现方法、装置、电子设备及存储介质 - Google Patents
舞台效果呈现方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111652986A CN111652986A CN202010528518.8A CN202010528518A CN111652986A CN 111652986 A CN111652986 A CN 111652986A CN 202010528518 A CN202010528518 A CN 202010528518A CN 111652986 A CN111652986 A CN 111652986A
- Authority
- CN
- China
- Prior art keywords
- virtual stage
- real
- stage
- virtual
- editing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000001960 triggered effect Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 14
- 238000009877 rendering Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种舞台效果呈现方法、装置、电子设备及存储介质，其中，该方法包括：获取AR设备拍摄的现实场景图像；基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据；基于所述虚拟舞台数据，在所述AR设备中展示所述现实音乐元素与所述虚拟舞台数据对应的虚拟舞台元素相结合的AR舞台效果。
Description
技术领域
本公开涉及计算机视觉技术领域，具体而言，涉及一种舞台效果呈现方法、装置、电子设备及存储介质。
背景技术
近年来，随着文化旅游行业的快速发展，越来越多的用户群体参观各类展会或者博物馆等。对于展会中的一些展示项目，如乐器等，通常是陈列在特定的展示区域供用户来观赏，但是这种观赏方式单一，缺乏一定的互动性，很难引起用户的关注，导致展示项目很难达到预期的展示效果。
发明内容
本公开实施例至少提供一种舞台效果呈现方法、装置、电子设备及存储介质。
第一方面，本公开实施例提供一种舞台效果呈现方法，包括：
获取AR设备拍摄的现实场景图像；
基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据；
基于所述虚拟舞台数据，在所述AR设备中展示所述现实音乐元素与所述虚拟舞台数据对应的虚拟舞台元素相结合的AR舞台效果。
本公开实施例中，基于AR设备拍摄的现实场景图像中呈现的现实音乐元素，可以获取与现实音乐元素匹配的虚拟舞台数据，进而在AR设备上展示现实音乐元素与虚拟舞台元素相结合的AR舞台效果。通过将展示项目在现实场景中呈现的已有音乐元素与对应的虚拟舞台元素相叠加，能够给用户呈现出多样的AR舞台效果，进而提升了展示项目的视觉效果体验，使展示过程更加富有互动性和趣味性。
本公开的一些实施方式中，所述基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据，包括：
基于所述现实场景图像，识别所述现实场景图像呈现的现实音乐元素的类型；
基于所述现实音乐元素的元素类型，获取与所述元素类型匹配的虚拟舞台数据。
上述实施例中，可以基于现实场景图像呈现的现实音乐元素的元素类型，确定与该元素类型匹配的虚拟舞台数据，由此能够在展示的现实音乐元素的基础上扩展出关联的虚拟舞台元素，进而提升了展示项目的视觉效果体验，使展示过程更加富有互动性和趣味性。
本公开的一些实施方式中，所述基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据，包括：
基于所述现实场景图像呈现的现实音乐元素，在AR设备中展示虚拟舞台元素编辑区域；
获取作用于所述虚拟舞台元素编辑区域的编辑操作；
基于所述编辑操作的编辑内容，获取与所述编辑内容对应的虚拟舞台数据。
上述实施方式中，可以提供虚拟舞台元素编辑区域，以便用户按照需求来编辑想要呈现的虚拟舞台元素的具体数据，由此能够在展示的现实音乐元素的基础上定制化扩展出用户感兴趣的虚拟舞台元素，进而提升了展示项目的视觉效果体验，使展示过程更加富有互动性和趣味性，同时也能满足用户参展过程中的个性化需求。
本公开的一些实施方式中，所述基于所述现实场景图像呈现的现实音乐元素，在AR设备中展示虚拟舞台元素编辑区域，包括：
基于所述现实场景图像呈现的至少一个现实音乐元素，获取与所述至少一个现实音乐元素分别关联的预设虚拟舞台元素数据；
基于获取的所述预设虚拟舞台元素数据，在AR设备中展示虚拟舞台元素编辑区域，所述虚拟舞台元素编辑区域展示有所述至少一个现实音乐元素分别关联的预设虚拟舞台元素的编辑选项。
上述实施方式中，可以根据现实场景中呈现的现实音乐元素来确定展示在虚拟舞台元素编辑区域内的虚拟舞台元素的编辑选项，通过将可供编辑的虚拟舞台元素与现实场景相关联，便于用户结合现实场景中展示需求来编辑对应的虚拟舞台元素，以便使得最终呈现出的虚实结合的AR舞台音乐效果更符合实际场景展出需求。
本公开的一些实施方式中，所述基于所述编辑操作的编辑内容，获取与所述编辑内容对应的虚拟舞台数据，包括：
基于所述编辑操作的编辑内容，确定被触发的编辑选项；
获取与所述被触发的编辑选项对应的预设虚拟舞台元素数据。
上述实施方式中，可以基于用户触发的编辑选项来确定用户期望获取的预设虚拟舞台元素数据，以便使得最终呈现的虚拟舞台元素能够符合不同用户的不同展示需求。
本公开的一些实施方式中，所述方法还包括：
检测到作用于所述AR设备呈现的所述虚拟舞台元素上的触发操作，并对所述触发操作进行响应。
本公开的一些实施方式中，所述检测到作用于所述AR设备呈现的所述虚拟舞台元素上的触发操作，并对所述触发操作进行响应，包括：
检测到作用于所述AR设备呈现的所述虚拟舞台元素上的触发操作；
确定被触发的虚拟舞台元素对应的舞台效果数据；
在所述AR设备上呈现所述被触发的虚拟舞台元素对应的舞台效果数据。
上述实施方式中，在AR设备中呈现出AR舞台效果之后，还可以支持用户对AR舞台效果中呈现的虚拟舞台元素进行触发，比如，对显示的虚拟乐器模型进行模拟敲击操作，从而能够实现对虚拟舞台元素的模拟演奏。
第二方面，本公开实施例提供一种舞台效果呈现装置，包括：
第一获取模块，用于获取增强现实AR设备拍摄的现实场景图像；
第二获取模块，用于基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据；
展示模块，用于基于所述虚拟舞台数据，在所述AR设备中展示所述现实音乐元素与所述虚拟舞台数据对应的虚拟舞台元素相结合的AR舞台效果。
本公开的一些实施方式中，所述第二获取模块，在基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据时，具体用于：
基于所述现实场景图像，识别所述现实场景图像呈现的现实音乐元素的类型；
基于所述现实音乐元素的元素类型，获取与所述元素类型匹配的虚拟舞台数据。
本公开的一些实施方式中，所述第二获取模块，在基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据时，具体用于：
基于所述现实场景图像呈现的现实音乐元素，在AR设备中展示虚拟舞台元素编辑区域；
获取作用于所述虚拟舞台元素编辑区域的编辑操作；
基于所述编辑操作的编辑内容，获取与所述编辑内容对应的虚拟舞台数据。
本公开的一些实施方式中，所述第二获取模块，在基于所述现实场景图像呈现的现实音乐元素，在AR设备中展示虚拟舞台元素编辑区域时，具体用于：
基于所述现实场景图像呈现的至少一个现实音乐元素，获取与所述至少一个现实音乐元素分别关联的预设虚拟舞台元素数据；
基于获取的所述预设虚拟舞台元素数据，在AR设备中展示虚拟舞台元素编辑区域，所述虚拟舞台元素编辑区域展示有所述至少一个现实音乐元素分别关联的预设虚拟舞台元素的编辑选项。
本公开的一些实施方式中，所述第二获取模块，在基于所述编辑操作的编辑内容，获取与所述编辑内容对应的虚拟舞台数据时，具体用于：
基于所述编辑操作的编辑内容，确定被触发的编辑选项；
获取与所述被触发的编辑选项对应的预设虚拟舞台元素数据。
本公开的一些实施方式中，所述装置还包括：
响应模块，用于检测到作用于所述AR设备呈现的所述虚拟舞台元素上的触发操作，并对所述触发操作进行响应。
本公开的一些实施方式中，所述响应模块，在检测到作用于所述AR设备呈现的所述虚拟舞台元素上的触发操作，并对所述触发操作进行响应时，具体用于：
检测到作用于所述AR设备呈现的所述虚拟舞台元素上的触发操作；
确定被触发的虚拟舞台元素对应的舞台效果数据；
在所述AR设备上呈现所述被触发的虚拟舞台元素对应的舞台效果数据。
第三方面，本公开可选实现方式还提供一种电子设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
本公开实施例提供的上述方法、装置、电子设备及存储介质，基于AR设备拍摄的现实场景图像中呈现的现实音乐元素，可以获取与现实音乐元素匹配的虚拟舞台数据，进而在AR设备上展示现实音乐元素与虚拟舞台数据对应的虚拟舞台元素相结合的AR舞台效果。通过将展示项目在现实场景中呈现的已有音乐元素与对应的虚拟舞台元素相叠加，能够给用户呈现出多样的AR舞台效果，进而提升了展示项目的视觉效果体验，使展示过程更加富有互动性和趣味性。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种舞台效果呈现方法的流程图；
图2示出了本公开实施例所提供的一种舞台效果呈现方法的流程图；
图3示出了本公开实施例所提供的一种舞台效果呈现装置的示意图；
图4示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
增强现实(Augmented Reality，AR)技术，通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后，叠加到真实世界中，从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。
本公开实施例可适用于AR设备或服务器中，AR设备可以为任何能够支持AR功能的电子设备，包括但不限于AR眼镜、平板电脑、智能手机等。示例性的，AR设备中呈现AR效果，可以理解为在AR设备中展示融入到现实场景的虚拟对象，可以是直接将虚拟对象的呈现内容渲染出来，并与现实场景融合，比如呈现一套虚拟的茶具，其显示效果是放置在现实场景中的真实桌面上，也可以是将虚拟对象的呈现内容与现实场景画面融合后，展示融合后的显示画面。具体选择何种呈现方式取决于AR设备的设备类型和采用的画面呈现技术，比如，一般地，由于从AR眼镜中可以直接看到现实场景(并非成像后的现实场景画面)，因此AR眼镜可以采用直接将虚拟对象的呈现画面渲染出来的呈现方式；对于手机、平板电脑等移动终端设备，由于在移动终端设备中展示的是对现实场景成像后的画面，因此可以采用将现实场景画面与虚拟对象的呈现内容进行融合处理的方式，来展示AR效果。
下面对本公开实施例所涉及的一种舞台效果呈现方法进行详细介绍。
参见图1所示，为本公开实施例所提供的一种舞台效果呈现方法的流程示意图，包括以下几个步骤：
S101、获取AR设备拍摄的现实场景图像。
本公开实施例中，可以利用AR设备中的图像采集器件(如摄像头等器件)采集现实场景中的现实场景图像，既可以是通过拍摄图像的方式来采集单帧的现实场景图像，也可以是通过拍摄视频的方式来采集连续多帧的现实场景图像。
示例性的，用户可以利用AR设备或者其它电子设备，置身于现实场景中，实时采集所处于的现实场景中的现实场景图像，比如，用户可以置身于某一展览馆中，在该展览馆中通过实时采集展览馆中各个展厅或展品的图像，来观看一些展厅或展品图像在叠加虚拟对象后所呈现的AR效果。
S102、基于现实场景图像呈现的现实音乐元素，获取与现实音乐元素匹配的虚拟舞台数据。
其中，现实场景图像，是指由AR设备拍摄的现实场景的图像。该现实场景图像中可包括现实场景中至少一种实体对象。比如，对于展览馆中的现实场景图像来说，现实场景图像中包括的实体对象可以为展览馆中的至少一个展品，比如是展览馆中展出中的实体乐器等。
现实音乐元素，是指现实场景图像所呈现的现实场景中真实存在的与音乐相关的实体对象。示例性的，与音乐相关的实体对象，例如为现实场景中真实存在的某一个乐器，或者，也可以是现实场景中真实存在的实体乐器图像，比如是现实场景中的实体图画或电子显示屏中呈现的实体乐器图像等，或者，还可以是一个现实场景中呈现的描述乐器或某个乐曲的实体文字等，或者，还可以是现实场景中正在播放的一种乐曲等。实际应用中，还可以结合展示项目的具体展示需求来设置现实音乐元素，本公开对此并不限定。
对于上述实体乐器、实体乐器图画、实体文字等现实音乐元素的识别可以基于预先训练好的神经网络模型进行识别，或者，也可以预先存储对应的图像模板或者文字模板，通过将采集到的图像中涉及的现实音乐元素与图像模板或文字模板进行相似度的比较，以识别出现实场景图像中呈现的现实音乐元素。
虚拟舞台数据可包括与现实音乐元素相关的虚拟舞台元素的数据。虚拟舞台数据的具体表现形式，既可以是已渲染好的虚拟舞台画面，还可以是渲染虚拟舞台画面所需的渲染参数等。对于虚拟舞台画面中不同类型的虚拟舞台元素，可以采用不同类型的渲染参数。
虚拟舞台元素，可以是构成虚拟舞台的任一种元素，可包括但不限于以下至少一种：虚拟乐器模型，虚拟舞台的背景特效，虚拟舞台的灯光特效等。
其中，虚拟乐器模型可以包括预先构建好的不同舞台场景下的二维或三维虚拟乐器模型。示例性的，可以从不同的拍摄位置不同的拍摄角度上拍摄实体乐器，然后基于拍摄到的多张实体乐器图像中实体乐器的图像特征，通过三维重建算法来重构与实体乐器对应的虚拟乐器模型。
虚拟舞台的背景特效，可以包括不同舞台场景下的背景特效，比如，可以是乐队演唱会的背景特效，钢琴演奏厅的背景特效，编钟演奏厅的背景特效等。具体可以基于实际的展示项目的展示需求确定舞台场景的类型，然后预先存储与各个舞台场景类型对应的背景特效。
虚拟舞台的灯光特效，也可以包括不同舞台场景下的灯光特效。可以是乐队演唱会的灯光特效，钢琴演奏厅的灯光特效，编钟演奏厅的灯光特效等。具体可以基于实际的展示项目的展示需求确定舞台场景的类型，然后预先存储与各个舞台场景类型对应的灯光特效。
本公开实施例中，舞台场景的类型可以基于现实场景图像中呈现的现实音乐元素的元素类型来确定。具体的，可以基于现实场景图像，识别现实场景图像呈现的现实音乐元素的类型，之后可以基于现实音乐元素的元素类型，获取与元素类型匹配的虚拟舞台数据。
现实音乐元素的元素类型例如可以包括但不限于乐器类型、舞台类型、乐曲类型等。其中，乐器类型例如包括钢琴、小提琴、古筝、二胡等，舞台类型例如包括演唱会舞台、音乐演奏厅舞台等。乐曲类型例如包括流行乐、古典乐等。以上举例均为示例性说明，还可以根据实际需求来划分，本公开对此并不限定。
具体的，可以采用预先训练好的神经网络模型来预测现实场景图像中呈现的现实音乐元素的元素类型。神经网络模型可以利用预先标注好的标注有现实音乐元素的元素类型的样本图像进行训练得到。具体神经网络模型例如可以采用卷积神经网络模型等，本公开对此并不具体限定。
步骤S103、基于虚拟舞台数据，在AR设备中展示现实音乐元素与虚拟舞台数据对应的虚拟舞台元素相结合的AR舞台效果。
本公开实施例中，在获取到的虚拟舞台数据为已渲染好的包含有虚拟舞台元素的虚拟舞台画面的情况下，可以直接在AR设备上展示包含有现实音乐元素的现实场景图像与包含有虚拟舞台元素的虚拟舞台画面相结合的AR舞台效果。在获取到的虚拟舞台数据为用于渲染虚拟舞台画面的渲染参数的情况下，还可以利用渲染工具对渲染参数进行处理，以渲染生成包含有虚拟舞台元素的虚拟舞台画面，进而在AR设备上展示包含有现实音乐元素的现实场景图像与包含有虚拟舞台元素的虚拟舞台画面相结合的AR舞台效果。
本公开实施例中，基于AR设备拍摄的现实场景图像中呈现的现实音乐元素，可以获取与现实音乐元素匹配的虚拟舞台数据，进而在AR设备上展示现实音乐元素与虚拟舞台元素相结合的AR舞台效果。通过将展示项目在现实场景中呈现的已有音乐元素与对应的虚拟舞台元素相叠加，能够给用户呈现出多样的AR舞台效果，进而提升了展示项目的视觉效果体验，使展示过程更加富有互动性和趣味性。
本公开实施例还提供了一种舞台效果呈现方法的流程示意图，参照图2所示，包括以下步骤：
步骤S201、获取AR设备拍摄的现实场景图像。
步骤S202、基于现实场景图像呈现的现实音乐元素，在AR设备中展示虚拟舞台元素编辑区域。
其中，虚拟舞台元素编辑区域可以包括支持编辑的至少一种虚拟舞台元素的编辑区域，虚拟舞台元素包括但不限于虚拟乐器模型、虚拟舞台的背景特效、虚拟舞台的灯光特效等。
具体实施中，可以基于现实场景图像呈现的至少一个现实音乐元素，获取与至少一个现实音乐元素分别关联的预设虚拟舞台元素数据。进一步地，基于获取的预设虚拟舞台元素数据，在AR设备中展示虚拟舞台元素编辑区域。其中，虚拟舞台元素编辑区域展示有至少一个现实音乐元素分别关联的预设虚拟舞台元素的编辑选项。
针对不同类型的现实音乐元素，可以预先存储好与每种类型的现实音乐元素关联的预设虚拟舞台元素数据。比如，以现实音乐元素为编钟为例，其关联的预设虚拟舞台元素数据可以为虚拟编钟模型的虚拟画面或者虚拟编钟模型的渲染参数等。
在预设好现实音乐元素以及对应的预设虚拟舞台元素数据后，可以根据现实场景中呈现的现实音乐元素来确定展示在虚拟舞台元素编辑区域内的虚拟舞台元素的编辑选项。提供在虚拟舞台元素编辑区域的编辑选项可供用户选择，用户可基于自身需求来选择要触发的编辑选项。
通过将可供编辑的虚拟舞台元素与现实场景相关联，便于用户结合现实场景中展示需求来编辑对应的虚拟舞台元素，以便使得最终呈现出的虚实结合的AR舞台音乐效果更符合实际场景展出需求。
步骤S203、获取作用于虚拟舞台元素编辑区域的编辑操作。
其中，编辑操作包括作用于虚拟舞台元素编辑区域的触摸操作。比如，可以是对虚拟舞台编辑区域提供的预设虚拟舞台元素的编辑选项的点击操作。或者，也可以是对上述编辑选项做出的编辑参数修改操作，比如，展示数量修改操作或者展示角度修改操作等。示例性的，修改操作也可以通过多次点击或者长按操作来实现。
通过编辑操作，不仅可以触发编辑虚拟舞台元素编辑区域中任一种预设虚拟舞台元素，还可以针对被触发的预设虚拟舞台元素，选择具体的展示数量、展示位置、展示角度等。
步骤S204、基于编辑操作的编辑内容，获取与编辑内容对应的虚拟舞台数据。
其中，编辑操作的编辑内容包括选中的编辑选项的内容，还可以包括输入的编辑选项对应的预设虚拟舞台元素的展示数量、展示位置、展示角度等内容。
具体实施中，可以基于编辑操作的编辑内容确定被触发的编辑选项，进而获取与被触发的编辑选项对应的预设虚拟舞台元素数据。还可以基于编辑内容来确定待展示的预设虚拟舞台元素的展示数量、展示位置、展示角度等。
上述实施方式中，可以基于用户触发的编辑选项来确定用户期望获取的预设虚拟舞台元素数据，以便使得最终呈现的虚拟舞台元素能够符合不同用户的不同展示需求。
步骤S205、基于虚拟舞台数据，在AR设备中展示现实音乐元素与虚拟舞台数据对应的虚拟舞台元素相结合的AR舞台效果。
上述实施例中，可以提供虚拟舞台元素编辑区域，以便用户按照需求来编辑想要呈现的虚拟舞台元素的具体数据，由此能够在展示的现实音乐元素的基础上定制化扩展出用户感兴趣的虚拟舞台元素，进而提升了展示项目的视觉效果体验，使展示过程更加富有互动性和趣味性，同时也能满足用户参展过程中的个性化需求。
具体实施中，图1所示的实施例以及图2所示的实施例可以相互结合使用，比如，在基于图1所示的实施例获取到现实场景呈现的现实音乐元素对应的虚拟舞台元素数据，并在AR设备中展示现实音乐元素与虚拟舞台元素相结合的AR效果后，还可以在检测到用于触发上述虚拟舞台元素编辑区域进行展示的触发操作之后，呈现上述虚拟舞台元素编辑区域。进一步地，采用图2所示的实施例，由用户按照实际需求来对展示的编辑区域中各类编辑选项进行编辑操作，以将通过图1所示的实施例自动生成的虚拟舞台元素，编辑成用户自己感兴趣的虚拟舞台元素，从而进一步地提升用户体验。
对于上述图1和图2中涉及的实施例，在AR设备中呈现有现实音乐元素与虚拟舞台数据对应的虚拟舞台元素相结合的AR舞台效果之后，还可以支持与用户之间的交互操作，以实现对于AR舞台效果的模拟演奏过程。示例性的，可以支持用户对AR舞台效果中呈现的虚拟舞台元素进行触发，比如，对显示的虚拟乐器模型进行模拟敲击操作，从而能够实现对虚拟舞台元素的模拟演奏。
具体实施中，可以在检测到作用于AR设备呈现的虚拟舞台元素上的触发操作之后，对触发操作进行响应。比如，可以检测到作用于AR设备呈现的虚拟舞台元素上的触发操作之后，确定被触发的虚拟舞台元素对应的舞台效果数据；并在AR设备上呈现被触发的虚拟舞台元素对应的舞台效果数据。舞台效果数据例如包括音效数据、特效切换数据等。
通过对虚拟舞台元素的触发操作，可以播放与该虚拟舞台元素对应的音效数据，或者，将该虚拟舞台元素的特效数据切换为另一个虚拟舞台元素的特效数据等，从而优化了虚拟舞台的展示效果。
其中，上述实施流程中，涉及到与在先实施例相关的特征可以参考在先实施例中对相关的特征的解释说明，本公开中不再重复介绍。
以下为本公开实施例的具体应用场景的举例说明。
通过手机、平板等AR设备中的摄像头扫描不同的现实场景，可根据识别的现实场景中现实音乐元素的不同，呈现不同的AR虚拟舞台场景。同时，不同的虚拟场景中可以呈现不同的虚拟舞台元素，比如背景特效、灯光特效、乐器种类或音乐等，供用户自行选择进行互动演示和体验。
具体可以采用即时定位与地图构建(simultaneous localization and mapping，SLAM)技术，SLAM算法能够基于AR设备的多种传感器信息，实现对当前AR设备精准的6DoF空间定位，同时对周围环境做3D感知，如点云恢复，平面重建，网格重建等。通过分别采集不同的现实场景的特征，可实现通过手机、平板等AR设备的摄像头扫描现实场景，即可在AR设备屏幕上展示不同的与相应现实场景匹配的AR虚拟舞台场景。
除通过计算机视觉扫描重建进行场景匹配外，也可直接在AR设备的屏幕界面中设计供用户自行选择的选项，用户手动选择确定虚拟舞台场景中的虚拟舞台元素。在确认好虚拟舞台场景后，即可根据用户的设计需求，展示出不同的虚拟舞台元素，如背景特效、灯光特效、音乐、乐器模型等供用户进行选择，以便用户定制化虚拟舞台效果，实现虚拟舞台元素与现实场景的现实音乐元素的个性化叠加与融合展示，同时用户可通过屏幕进行音乐的演奏、音量的控制等等。
基于不同现实场景与不同虚拟舞台元素的叠加，可充分展示不同主题、不同舞台场景的AR舞台效果，为用户创造多样化的舞台场景，同时可根据用户的选择个性化进行展现，提升了参观展示过程中的用户体验，更加富有互动性和趣味性。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与舞台效果呈现方法对应的舞台效果呈现装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述舞台效果呈现方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图3所示，为本公开实施例提供的一种舞台效果呈现装置的示意图，所述装置包括：第一获取模块31、第二获取模块32、展示模块33，响应模块34。其中，
第一获取模块31，用于获取增强现实AR设备拍摄的现实场景图像；
第二获取模块32，用于基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据；
展示模块33，用于基于所述虚拟舞台数据，在所述AR设备中展示所述现实音乐元素与所述虚拟舞台数据对应的虚拟舞台元素相结合的AR舞台效果。
本公开的一些实施方式中，所述第二获取模块32，在基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据时，具体用于：
基于所述现实场景图像，识别所述现实场景图像呈现的现实音乐元素的类型；
基于所述现实音乐元素的元素类型，获取与所述元素类型匹配的虚拟舞台数据。
本公开的一些实施方式中，所述第二获取模块32，在基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据时，具体用于：
基于所述现实场景图像呈现的现实音乐元素，在AR设备中展示虚拟舞台元素编辑区域；
获取作用于所述虚拟舞台元素编辑区域的编辑操作；
基于所述编辑操作的编辑内容，获取与所述编辑内容对应的虚拟舞台数据。
本公开的一些实施方式中，所述第二获取模块32，在基于所述现实场景图像呈现的现实音乐元素，在AR设备中展示虚拟舞台元素编辑区域时，具体用于：
基于所述现实场景图像呈现的至少一个现实音乐元素，获取与所述至少一个现实音乐元素分别关联的预设虚拟舞台元素数据；
基于获取的所述预设虚拟舞台元素数据，在AR设备中展示虚拟舞台元素编辑区域，所述虚拟舞台元素编辑区域展示有所述至少一个现实音乐元素分别关联的预设虚拟舞台元素的编辑选项。
本公开的一些实施方式中，所述第二获取模块32，在基于所述编辑操作的编辑内容，获取与所述编辑内容对应的虚拟舞台数据时，具体用于：
基于所述编辑操作的编辑内容，确定被触发的编辑选项；
获取与所述被触发的编辑选项对应的预设虚拟舞台元素数据。
本公开的一些实施方式中，所述装置还包括：
响应模块34，用于检测到作用于所述AR设备呈现的所述虚拟舞台元素上的触发操作，并对所述触发操作进行响应。
本公开的一些实施方式中，所述响应模块34，在检测到作用于所述AR设备呈现的所述虚拟舞台元素上的触发操作，并对所述触发操作进行响应时，具体用于：
检测到作用于所述AR设备呈现的所述虚拟舞台元素上的触发操作；
确定被触发的虚拟舞台元素对应的舞台效果数据；
在所述AR设备上呈现所述被触发的虚拟舞台元素对应的舞台效果数据。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图4所示，为本公开实施例提供的电子设备的结构示意图，包括：处理器11和存储器12；所述存储器12存储有所述处理器11可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器11执行以实现下述步骤：
获取AR设备拍摄的现实场景图像；
基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据；
基于所述虚拟舞台数据，在所述AR设备中展示所述现实音乐元素与所述虚拟舞台数据对应的虚拟舞台元素相结合的AR舞台效果。
上述指令的具体执行过程可以参考本公开实施例中所述的舞台效果呈现方法的步骤，此处不再赘述。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的舞台效果呈现方法的步骤。
本公开实施例所提供的舞台效果呈现方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的舞台效果呈现方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例提供的上述方法、装置、电子设备及存储介质，基于AR设备拍摄的现实场景图像中呈现的现实音乐元素，可以获取与现实音乐元素匹配的虚拟舞台数据，进而在AR设备上展示现实音乐元素与虚拟舞台数据对应的虚拟舞台元素相结合的AR舞台效果。通过将展示项目在现实场景中呈现的已有音乐元素与对应的虚拟舞台元素相叠加，能够给用户呈现出多样的AR舞台效果，进而提升了展示项目的视觉效果体验，使展示过程更加富有互动性和趣味性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种舞台效果呈现方法，其特征在于，包括：
获取增强现实AR设备拍摄的现实场景图像；
基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据；
基于所述虚拟舞台数据，在所述AR设备中展示所述现实音乐元素与所述虚拟舞台数据对应的虚拟舞台元素相结合的AR舞台效果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据，包括：
基于所述现实场景图像，识别所述现实场景图像呈现的现实音乐元素的类型；
基于所述现实音乐元素的元素类型，获取与所述元素类型匹配的虚拟舞台数据。
3.根据权利要求1所述的方法，其特征在于，所述基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据，包括：
基于所述现实场景图像呈现的现实音乐元素，在AR设备中展示虚拟舞台元素编辑区域；
获取作用于所述虚拟舞台元素编辑区域的编辑操作；
基于所述编辑操作的编辑内容，获取与所述编辑内容对应的虚拟舞台数据。
4.根据权利要求3所述的方法，其特征在于，所述基于所述现实场景图像呈现的现实音乐元素，在AR设备中展示虚拟舞台元素编辑区域，包括：
基于所述现实场景图像呈现的至少一个现实音乐元素，获取与所述至少一个现实音乐元素分别关联的预设虚拟舞台元素数据；
基于获取的所述预设虚拟舞台元素数据，在AR设备中展示虚拟舞台元素编辑区域，所述虚拟舞台元素编辑区域展示有所述至少一个现实音乐元素分别关联的预设虚拟舞台元素的编辑选项。
5.根据权利要求4所述的方法，其特征在于，所述基于所述编辑操作的编辑内容，获取与所述编辑内容对应的虚拟舞台数据，包括：
基于所述编辑操作的编辑内容，确定被触发的编辑选项；
获取与所述被触发的编辑选项对应的预设虚拟舞台元素数据。
6.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：
检测到作用于所述AR设备呈现的所述虚拟舞台元素上的触发操作，并对所述触发操作进行响应。
7.根据权利要求6所述的方法，其特征在于，所述检测到作用于所述AR设备呈现的所述虚拟舞台元素上的触发操作，并对所述触发操作进行响应，包括：
检测到作用于所述AR设备呈现的所述虚拟舞台元素上的触发操作；
确定被触发的虚拟舞台元素对应的舞台效果数据；
在所述AR设备上呈现所述被触发的虚拟舞台元素对应的舞台效果数据。
8.一种舞台效果呈现装置，其特征在于，包括：
第一获取模块，用于获取增强现实AR设备拍摄的现实场景图像；
第二获取模块，用于基于所述现实场景图像呈现的现实音乐元素，获取与所述现实音乐元素匹配的虚拟舞台数据；
展示模块，用于基于所述虚拟舞台数据，在所述AR设备中展示所述现实音乐元素与所述虚拟舞台数据对应的虚拟舞台元素相结合的AR舞台效果。
9.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任一项所述的舞台效果呈现方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如权利要求1至7任意一项所述的舞台效果呈现方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010528518.8A CN111652986B (zh) | 2020-06-11 | 2020-06-11 | 舞台效果呈现方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010528518.8A CN111652986B (zh) | 2020-06-11 | 2020-06-11 | 舞台效果呈现方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111652986A true CN111652986A (zh) | 2020-09-11 |
| CN111652986B CN111652986B (zh) | 2024-03-05 |
Family
ID=72348881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010528518.8A Active CN111652986B (zh) | 2020-06-11 | 2020-06-11 | 舞台效果呈现方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652986B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113891140A (zh) * | 2021-09-30 | 2022-01-04 | 北京市商汤科技开发有限公司 | 一种素材编辑方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120008003A1 (en) * | 2010-07-09 | 2012-01-12 | Pantech Co., Ltd. | Apparatus and method for providing augmented reality through generation of a virtual marker |
| CN106683201A (zh) * | 2016-12-23 | 2017-05-17 | 深圳市豆娱科技有限公司 | 一种基于三维虚拟现实的场景编辑方法和装置 |
| CN108510597A (zh) * | 2018-03-09 | 2018-09-07 | 北京小米移动软件有限公司 | 虚拟场景的编辑方法、装置及非临时性计算机可读存储介质 |
| CN109564760A (zh) * | 2016-05-25 | 2019-04-02 | 华纳兄弟娱乐公司 | 通过3d音频定位来生成虚拟或增强现实呈现的方法和装置 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
| CN110727341A (zh) * | 2018-07-17 | 2020-01-24 | 迪士尼企业公司 | 基于增强现实效果的事件增强 |
-
2020
- 2020-06-11 CN CN202010528518.8A patent/CN111652986B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120008003A1 (en) * | 2010-07-09 | 2012-01-12 | Pantech Co., Ltd. | Apparatus and method for providing augmented reality through generation of a virtual marker |
| CN109564760A (zh) * | 2016-05-25 | 2019-04-02 | 华纳兄弟娱乐公司 | 通过3d音频定位来生成虚拟或增强现实呈现的方法和装置 |
| CN106683201A (zh) * | 2016-12-23 | 2017-05-17 | 深圳市豆娱科技有限公司 | 一种基于三维虚拟现实的场景编辑方法和装置 |
| CN108510597A (zh) * | 2018-03-09 | 2018-09-07 | 北京小米移动软件有限公司 | 虚拟场景的编辑方法、装置及非临时性计算机可读存储介质 |
| CN110727341A (zh) * | 2018-07-17 | 2020-01-24 | 迪士尼企业公司 | 基于增强现实效果的事件增强 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113891140A (zh) * | 2021-09-30 | 2022-01-04 | 北京市商汤科技开发有限公司 | 一种素材编辑方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111652986B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210047278A (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
| CN110716645A (zh) | 一种增强现实数据呈现方法、装置、电子设备及存储介质 | |
| CN111638796A (zh) | 虚拟对象的展示方法、装置、计算机设备及存储介质 | |
| TWI752502B (zh) | 一種分鏡效果的實現方法、電子設備及電腦可讀儲存介質 | |
| US20160012136A1 (en) | Simultaneous Local and Cloud Searching System and Method | |
| CN112560605B (zh) | 交互方法、装置、终端、服务器和存储介质 | |
| US20150097767A1 (en) | System for virtual experience book and method thereof | |
| CN111679742A (zh) | 基于ar的交互控制方法、装置、电子设备及存储介质 | |
| KR20160112898A (ko) | 증강현실 기반 동적 서비스 제공 방법 및 장치 | |
| CN106464773B (zh) | 增强现实的装置及方法 | |
| US10425769B2 (en) | Media navigation recommendations | |
| CN111625100A (zh) | 图画内容的呈现方法、装置、计算机设备及存储介质 | |
| JP2022507502A (ja) | 拡張現実（ａｒ）のインプリント方法とシステム | |
| CN111651049B (zh) | 交互方法、装置、计算机设备及存储介质 | |
| CN111652986B (zh) | 舞台效果呈现方法、装置、电子设备及存储介质 | |
| KR101773891B1 (ko) | 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법 | |
| CN110036356B (zh) | Vr系统中的图像处理 | |
| CN112947756A (zh) | 内容导览方法、装置、系统、计算机设备及存储介质 | |
| CN111651054A (zh) | 音效控制方法、装置、电子设备及存储介质 | |
| CN114967914A (zh) | 一种虚拟显示方法、装置、设备以及存储介质 | |
| Raposo et al. | Revisiting the city, augmented with digital technologies: the SeeARch tool | |
| Letellier et al. | Providing adittional content to print media using augmented reality | |
| US20180059880A1 (en) | Methods and systems for interactive three-dimensional electronic book | |
| KR20180071492A (ko) | 키넥트 센서를 이용한 실감형 콘텐츠 서비스 시스템 | |
| CN111652981A (zh) | 一种太空舱特效生成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |