CN111679806A - 播放控制方法、装置、电子设备及存储介质 - Google Patents

播放控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111679806A
CN111679806A CN202010524729.4A CN202010524729A CN111679806A CN 111679806 A CN111679806 A CN 111679806A CN 202010524729 A CN202010524729 A CN 202010524729A CN 111679806 A CN111679806 A CN 111679806A
Authority
CN
China
Prior art keywords
virtual
sound effect
devices
data
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010524729.4A
Other languages
English (en)
Inventor
潘思霁
揭志伟
张一�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Zhejiang Sensetime Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202010524729.4A priority Critical patent/CN111679806A/zh
Publication of CN111679806A publication Critical patent/CN111679806A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/14Travel agencies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种播放控制方法、装置、电子设备及存储介质,其中,该方法包括:基于多个AR设备采集的现实场景图像,控制所述多个AR设备分别呈现与采集的所述现实场景图像对应的虚拟乐器模型;接收所述多个AR设备分别发送的作用于各自展示的所述虚拟乐器模型的触发操作数据;基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据;基于所述多个所述虚拟乐器模型对应的音效数据,确定多个所述虚拟乐器模型的融合音效数据,并控制所述多个AR设备分别播放所述融合音效数据。

Description

播放控制方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域,具体而言,涉及一种播放控制方法、装置、电子设备及存储介质。
背景技术
近年来,随着文化旅游行业的快速发展,越来越多的用户群体参观各类展会或者博物馆等。对于展会中的一些展示项目,如乐器等,通常是陈列在特定的展示区域供用户来观赏,并且用户在观赏的同时展览馆中可同步播放预设好的由展示的乐器弹奏的乐曲,但是这种固定播放预设好的乐曲的方式,缺乏一定的互动性,很难引起用户的关注,并且用户对于乐器所播放的音效的了解程度也不高,导致展示项目很难达到预期的展示效果。
发明内容
本公开实施例至少提供一种播放控制方法、装置、电子设备及存储介质。
第一方面,本公开实施例提供一种播放控制方法,包括:
基于多个AR设备采集的现实场景图像,控制所述多个AR设备分别呈现与采集的所述现实场景图像对应的虚拟乐器模型;
接收所述多个AR设备分别发送的作用于各自展示的所述虚拟乐器模型的触发操作数据;
基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据;
基于所述多个所述虚拟乐器模型对应的音效数据,确定多个所述虚拟乐器模型的融合音效数据,并控制所述多个AR设备分别播放所述融合音效数据。
本公开实施例中,可以基于多个AR设备采集到的现实场景图像,在多个AR设备中分别呈现对应的虚拟乐器模型,并且,能够基于每个用户在各自的AR设备上作用于展示的虚拟乐器模型的触发操作数据,确定各个虚拟乐器模型对应的音效数据,进而还可以将各个虚拟乐器模型对应的音效数据进行融合处理,以使得各AR设备可以分别播放融合后的音效。通过实现对虚拟乐器进行模拟演奏,在保护展示项目的同时又帮助用户更加直观、清晰的了解实体乐器的演奏效果,提升了参观展示项目过程中的用户体验,使参展过程更加富有互动性和趣味性。并且,本公开实施例中能够实现多人多终端多虚拟乐器进行协同模拟演奏,进一步增强了互动性和可观赏性。
在一些实施方式中,所述触发操作数据包括触发操作的触发位置数据;
所述基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据,包括:
基于作用于每个所述虚拟乐器模型上的触发操作的触发位置数据,确定每个所述虚拟乐器模型中被触发的虚拟部件;
基于确定出的每个被触发的虚拟部件,确定每个被触发的虚拟部件对应的音效的类型。
该实施方式中,能够基于作用于每个虚拟乐器模型上的触摸位置数据来准确识别每个虚拟乐器模型上被触发的虚拟部件以及对应的音效类型,从而真实地模拟了乐器演奏过程,提升了用户体验,使参展过程更加富有互动性和趣味性。
在一些实施方式中,所述触发操作数据包括触发操作的触发强度数据;
所述基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据,包括:
基于作用于每个所述虚拟乐器模型上的触发操作的触发强度数据,确定每个所述虚拟乐器模型对应的音效的播放音量。
该实施方式中,能够基于作用于每个虚拟乐器模型上的触发强度数据来准确识别每个虚拟乐器模型对应的音效的播放音量,从而真实地模拟了乐器演奏过程,提升了用户体验,使参展过程更加富有互动性和趣味性。
在一些实施方式中,所述触发操作数据包括触发操作的触发时间;
所述基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据,包括:
基于作用于每个所述虚拟乐器模型上的触发操作的触发时间,确定每个所述虚拟乐器模型对应的音效的播放次序。
该实施方式中,能够基于作用于每个虚拟乐器模型上的触发时间来准确识别每个虚拟乐器模型对应的音效的播放次序,从而真实地模拟了乐器演奏过程,提升了用户体验,使参展过程更加富有互动性和趣味性。
在一些实施方式中,所述多个AR设备中至少部分AR设备展示的虚拟乐器模型属于不同的乐器类型,属于不同的乐器类型的虚拟乐器模型对应的音效的类型不同。
该实施方式中,通过在部分不同的AR设备上呈现不同乐器类型的虚拟乐器模型,可以实现多人对多种虚拟乐器模型的模拟演奏,进而使得模拟演奏的音乐效果更加,提升了用户体验,使参展过程更加富有互动性和趣味性。
第二方面,本公开提供一种播放控制装置,包括:
第一控制模块,用于基于多个增强现实AR设备采集的现实场景图像,控制所述多个AR设备分别呈现与采集的所述现实场景图像对应的虚拟乐器模型;
接收模块,用于接收所述多个AR设备分别发送的作用于各自展示的所述虚拟乐器模型的触发操作数据;
确定模块,用于基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据;
融合模块,用于基于所述多个所述虚拟乐器模型对应的音效数据,确定多个所述虚拟乐器模型的融合音效数据;
第二控制模块,用于控制所述多个AR设备分别播放所述融合音效数据。
在一些实施方式中,所述触发操作数据包括触发操作的触发位置数据;
所述确定模块,在基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据时,具体用于:
基于作用于每个所述虚拟乐器模型上的触发操作的触发位置数据,确定每个所述虚拟乐器模型中被触发的虚拟部件;
基于确定出的每个被触发的虚拟部件,确定每个被触发的虚拟部件对应的音效的类型。
在一些实施方式中,所述触发操作数据包括触发操作的触发强度数据;
所述确定模块,在基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据时,具体用于:
基于作用于每个所述虚拟乐器模型上的触发操作的触发强度数据,确定每个所述虚拟乐器模型对应的音效的播放音量。
在一些实施方式中,所述触发操作数据包括触发操作的触发时间;
所述确定模块,在基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据时,具体用于:
基于作用于每个所述虚拟乐器模型上的触发操作的触发时间,确定每个所述虚拟乐器模型对应的音效的播放次序。
在一些实施方式中,所述多个AR设备中至少部分AR设备展示的虚拟乐器模型属于不同的乐器类型,属于不同的乐器类型的虚拟乐器模型对应的音效的类型不同。
第三方面,本公开可选实现方式还提供一种电子设备,处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开可选实现方式还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
本公开实施例提供的上述方法、装置、电子设备及存储介质,可以基于多个AR设备采集到的现实场景图像,在多个AR设备中分别呈现对应的虚拟乐器模型,并且,能够基于每个用户在各自的AR设备上作用于展示的虚拟乐器模型的触发操作数据,确定各个虚拟乐器模型对应的音效数据,进而还可以将各个虚拟乐器模型对应的音效数据进行融合处理,以使得各AR设备可以分别播放融合后的音效。通过实现对虚拟乐器进行模拟演奏,在保护展示项目的同时又帮助用户更加直观、清晰的了解实体乐器的演奏效果,提升了参观展示项目过程中的用户体验,使参展过程更加富有互动性和趣味性。并且,本公开实施例中能够实现多人多终端多虚拟乐器进行协同模拟演奏,进一步增强了互动性和可观赏性。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种播放控制方法的流程图;
图2示出了本公开实施例所提供的一种播放控制方法中具体步骤的执行流程图;
图3示出了本公开实施例所提供的一种播放控制装置的示意图;
图4示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
增强现实(Augmented Reality,AR)技术,通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后,叠加到真实世界中,从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。
本公开实施例可适用于服务器等任一能够支持对多个AR设备的数据进行处理的设备中。
以执行主体为服务器为例,服务器可以与多个AR设备一起设置在本地,也可以将服务器设置在云端,通过远程通信实现与多个AR设备的数据传输及处理。服务器可以处理来自多个AR设备的数据,包括图像数据的处理、AR设备上的用户操作数据的处理等,还可以基于处理结果,分别指示多个AR设备进行相应的回应操作。
示例性的,AR设备可以是任何支持AR效果呈现的电子设备,包括但不限于AR眼镜、平板电脑、智能手机等。其中,AR设备中呈现AR效果,可以理解为在AR设备中展示融入到现实场景的虚拟对象,可以是直接将虚拟对象的呈现内容渲染出来,并与现实场景融合,比如呈现一套虚拟的茶具,其显示效果是放置在现实场景中的真实桌面上,也可以是将虚拟对象的呈现内容与现实场景画面融合后,展示融合后的显示画面。具体选择何种呈现方式取决于AR设备的设备类型和采用的画面呈现技术,比如,一般地,由于从AR眼镜中可以直接看到现实场景(并非成像后的现实场景画面),因此AR眼镜可以采用直接将虚拟对象的呈现画面渲染出来的呈现方式;对于手机、平板电脑等移动终端设备,由于在移动终端设备中展示的是对现实场景成像后的画面,因此可以采用将现实场景画面与虚拟对象的呈现内容进行融合处理的方式,来展示AR效果。
下面对本公开实施例所涉及的一种播放控制方法进行详细介绍。
参见图1所示,为本公开实施例所提供的一种播放控制方法的流程示意图,包括以下几个步骤:
S101、基于多个AR设备采集的现实场景图像,控制多个AR设备分别呈现与采集的现实场景图像对应的虚拟乐器模型。
S102、接收多个AR设备分别发送的作用于各自展示的虚拟乐器模型的触发操作数据。
S103、基于触发操作数据,确定多个AR设备分别展示的虚拟乐器模型对应的音效数据。
S104、基于多个虚拟乐器模型对应的音效数据,确定多个虚拟乐器模型的融合音效数据。
S105、控制多个AR设备分别播放融合音效数据。
为了便于更好的理解上述实施例,下面将针对本实施例中各个步骤涉及的技术特征进行具体介绍。
本公开实施例的步骤101中,针对每个AR设备来说,可以利用AR设备中的图像采集器件(如摄像头等器件)采集现实场景图像,既可以是通过拍摄图像的方式来采集单帧的现实场景图像,也可以是通过拍摄视频的方式来采集连续多帧的现实场景图像。
其中,所述现实场景图像,是指由AR设备拍摄的现实场景的图像。该现实场景图像中可包括现实场景中至少一种实体对象。比如,对于展览馆中的现实场景图像来说,现实场景图像中包括的实体对象可以为展览馆中的至少一个展品,比如是展览馆中展出中的实体乐器等。
本公开实施例中,针对每个AR设备采集的现实场景图像,可以基于现实场景图像中呈现的信息,来确定该AR设备呈现的虚拟乐器模型。
示例性的,所述现实场景图像中可包括实体乐器相关的信息,实体乐器相关的信息具体可以指现实场景图像所呈现的现实场景中真实存在的某一个乐器,或者,也可以是现实场景图像中所呈现的现实场景中真实存在的实体乐器图像,比如是现实场景中的实体图画或电子显示屏中呈现的实体乐器图像等,或者,还可以是实体乐器的标识等。
通过识别每个现实场景图像中实体乐器相关的信息,可以确定与该现实场景图像对应的虚拟乐器模型。比如,现实场景图像1中呈现有小提琴这个实体乐器,则可以确定现实场景图像1对应的虚拟乐器模型为小提琴,现实场景图像2中呈现有大提琴这个实体乐器,则可以确定现实场景图像2对应的虚拟乐器模型为大提琴。
其中,虚拟乐器模型可以是预先构建好的三维虚拟乐器模型。示例性的,可以从不同的拍摄位置不同的拍摄角度上拍摄实体乐器,然后基于拍摄到的多张现实场景图像中实体乐器的图像特征,通过三维重建算法来重构与实体乐器对应的虚拟乐器模型。
在一些实施方式中,可以直接基于现实场景图像中呈现的实体乐器的信息,从预设的虚拟乐器模型库中找出与该现实场景图像对应的虚拟乐器模型。比如,若实体乐器的信息为图像信息,那么可以将拍摄的实体乐器的图像信息与虚拟对象模型库中的虚拟对象模型的图像信息进行匹配,将匹配成功的虚拟对象模型作为与该现实场景图像对应的虚拟乐器模型。
在另一些实施方式中,还可以基于采集到的现实场景图像中实体乐器的图像信息,直接采用三维重建算法来重构实体乐器对应的虚拟乐器模型。可使用的三维重建算法有多种,本公开对此并不限定。
本公开的一些实施方式中,还可以获取AR设备在拍摄现实场景图像时的拍摄位姿数据,然后基于拍摄位姿数据,确定虚拟乐器模型在预设三维场景模型中的呈现位姿数据。之后,可以基于呈现位姿数据,确定虚拟乐器模型在AR设备中呈现的目标位姿。这样,在AR设备中展示现实场景图像与虚拟乐器模型相结合的AR效果时,可以在AR设备中展示现实场景图像与符合目标位姿的虚拟乐器模型相结合的AR效果。
其中,AR设备的拍摄位姿数据可以包括用户在手持或佩戴AR设备时,用于显示虚拟对象的显示部件所在的位置和/或显示角度,为了方便解释拍摄位姿数据,这里引入坐标系的概念,比如世界坐标系,这里的拍摄位姿数据包括AR设备的显示部件在世界坐标系中的坐标位置,或者包括AR设备的显示部件与世界坐标系中各个坐标轴的夹角,或者同时包括AR设备的显示部件在世界坐标系中的坐标位置以及与世界坐标中各个坐标轴的夹角,拍摄位姿数据具体包括的内容与对增强现实场景中虚拟对象设定的显示方式相关,在此不做具体限定。
其中,预设三维场景模型可以用于表征现实场景,与现实场景在相同坐标系是等比例呈现的,比如以现实场景为某个展览馆为例,该展览馆包括多个展示区域,则表征该现实场景的预设三维场景模型同样可以包括该展览馆以及该展览馆中的各个展示区域,且预设三维场景模型与现实场景在相同坐标系中是按照1:1呈现的,即若将预设三维场景模型放入该现实场景所在的世界坐标系中,则该预设三维场景模型会与该现实场景重合。
这里的虚拟乐器模型在预设三维场景模型中的呈现位姿数据可以包括但不限于虚拟乐器模型在预设三维场景模型中呈现时的位置数据、姿态数据以及样貌数据等数据中的至少一种,比如上述提到的虚拟编钟在现实场景中呈现时的位置数据、姿态数据以及样貌数据等。
本公开实施例中,多个AR设备采集的现实场景图像中包含的实体乐器的信息可以不完全相同,这样,多个AR设备中至少部分AR设备展示的虚拟乐器模型也可以不相同,比如,至少部分AR设备展示的虚拟乐器模型可以属于不同的乐器类型,属于不同的乐器类型的虚拟乐器模型对应的音效的类型不同。比如,可以部分AR设备可以分别展示“大提琴”、“小提琴”、“钢琴”的虚拟乐器模型,以便通过触发不同类型的虚拟乐器模型,产生不同的类型的音效。
本公开实施例的步骤S102中,每个AR设备可以分别检测作用于各自展示的虚拟乐器模型上的触发操作,并将检测到的触发操作的具体触发操作数据发送给服务器,由服务器进行处理。
示例性的,针对每个AR设备来说,可以通过AR设备的触摸屏的显示界面来展示现实场景画面与虚拟乐器模型相结合的AR效果,触发操作可以是用户通过手指或者其他触摸介质对显示界面的设定触摸操作,例如为点击、双击、滑动等设定触摸操作。在检测到显示界面中虚拟乐器模型所在的显示区域出现设定触摸操作,可以认为检测到作用于虚拟乐器模型上的触发操作。
示例性的,针对每个AR设备来说,触发操作还可以是通过图像采集装置(如摄像头等)采集到的呈现在AR效果画面前方的用户做出的设定手势操作,设定手势动作例如为敲击乐器的动作或其它交互性动作等。在检测到在AR效果画面前方出现用户做出的设定手势操作,可以认为检测到作用于虚拟乐器模型上的触发操作。
具体实施中,在检测到作用于虚拟乐器模型上的触发操作时,可以通过AR设备的内置传感器等来检测触发操作的具体触发操作数据。
示例性的,触发操作数据例如包括但不限于:触发操作的触发位置数据、触发操作的触发强度数据、触发操作的触发时间等。
其中,触发位置数据可以是在触摸屏上的触摸位置的坐标,也可以是手势动作的坐标映射到展示有虚拟乐器模型的虚拟画面上的坐标等。
触发强度数据,可以是作用在触摸屏上的触摸压力值,也可以是执行手势动作过程中的加速度值,比如执行敲击的手势动作时的加速度值等。
触发时间,可以包括但不限于触发操作的开始时间点,结束时间点,以及中间持续时长中的至少一种。
本公开实施例的步骤S103中,可以分别基于上述触发操作数据,来确定各个AR设备分别展示的虚拟乐器模型对应的具体音效数据。
示例性的,音效数据包括但不限于音效类型、音效的播放音量以及音效的播放次序、音效的播放时长等。
其中,音效类型既可以按照多个虚拟乐器模型对应的不同实体乐器的类型来划分,也可以根据虚拟乐器模型对应的同一实体乐器上的不同部件的类型来划分,不同类型的实体乐器发出的音效不同,且,同一实体乐器上的不同部件发出的音效也不相同。
其中,音效的播放音量,可预先配置不同的音量等级,比如大、中、小三个音量等级,以便使得播放出的音效呈现音量高低起伏的视听效果。
其中,音效的播放次序和播放时长,是为了确定多个AR设备展示的多个虚拟乐器模型中被触发的音效的播放先后顺序,以及播放的音效的持续时长。
示例性的,在触发操作数据包括触发操作的触发位置数据的情况下,步骤S103的具体执行过程可以参照图2,包括如下步骤:
步骤1301、基于作用于每个虚拟乐器模型上的触发操作的触发位置数据,确定每个虚拟乐器模型中被触发的虚拟部件;
步骤1302、基于确定出的每个被触发的虚拟部件,确定每个被触发的虚拟部件对应的音效的类型。
该实施方式中,考虑到实体乐器包括不同类型的实体部件,不同类型的实体部件可产生不同的音效。为了更好地模拟虚拟乐器模型的演奏效果,基于实体乐器获取到的对应的虚拟乐器模型,也可以包括多种类型的虚拟部件,不同类型的虚拟部件被触发后可呈现不同的音效。比如,虚拟部件的类型可以按照产生的音效的类型进行划分,本公开对虚拟部件类型的划分方式并不限定。
其中,虚拟乐器模型中不同的虚拟部件所对应的音效可以预先配置好并存储在本地或云端,在检测到任一虚拟部件被触发后,可以获取与被触发的虚拟部件对应的音效并播放。
其中,若触发操作作用于AR设备的触摸屏上,则检测触发操作的触发位置,可以是检测在触摸屏的显示界面上的触摸位置,其中,显示界面中展示有虚拟乐器模型,基于触摸位置,可以确定触摸的虚拟乐器模型所在图像区域的位置,即作用于虚拟乐器模型上的触发位置。若触发操作为在实际现实场景中做出的设定手势操作,可以通过检测设定手势操作的手势坐标,将其映射到展示的虚拟乐器模型所在虚拟画面上的坐标,进而通过映射后的坐标,可以确定作用于虚拟乐器模型上的触发位置。
示例性的,可以为虚拟乐器模型上每个虚拟部件预先设置好一个对应的触发位置范围,在检测到触发操作作用于虚拟乐器模型上的触发位置之后,通过检测该触发位置落入了哪个触发位置范围内,即可将落入的触发位置范围所对应的虚拟部位,确定为被触发的虚拟部件,进而控制AR设备播放被触发的虚拟部件对应的音效。
该实施方式中,能够基于作用于每个虚拟乐器模型上的触摸位置数据来准确识别每个虚拟乐器模型上被触发的虚拟部件以及对应的音效类型,从而真实地模拟了乐器演奏过程,提升了用户体验,使参展过程更加富有互动性和趣味性。
示例性的,在触发操作数据包括触发操作的触发强度数据的情况下,步骤S103的具体执行过程可以包括如下步骤:
基于作用于每个所述虚拟乐器模型上的触发操作的触发强度数据,确定每个所述虚拟乐器模型对应的音效的播放音量。
其中,响应于不同类型的触发操作,识别触发操作的方式也有多种。
一示例中,以触发操作为用户做出的某个手势动作为例,可以通过检测用户执行该手势动作过程中的加速度信息,来反映触发操作的触发强度,比如,加速度值越高,对应的触发强度的等级越高,反之,加速度值越低,对应的触发强度的等级越低。
另一示例中,以触发操作为用户在触摸屏上对展示的虚拟乐器模型做出的触摸操作为例,可以通过检测用户在触摸屏上的触摸时长/触摸压力值等触摸参数,来反映触发操作的触发强度。比如,触摸时长越长或触摸压力值越高,对应的触发强度的等级越高,反之,触发时长越短或触摸压力值越低,对应的触发强度的等级越低。
具体实施中,可以预先设置好触发强度与音效的播放音量的对应关系,并预先存储在本地或云端,在检测到触发操作的触发强度之后,可以直接从预先存储的对应关系中查找到与该触发操作对应的音效的播放音量。示例性的,可以将触发强度的数值由低到高划分不同的等级,每个触发强度的等级对应一个播放音量,这样,在用户触发操作的触发强度不同时,可以触发播放不同等级对应的播放音量。
该实施方式中,能够基于作用于每个虚拟乐器模型上的触发强度数据来准确识别每个虚拟乐器模型对应的音效的播放音量,从而真实地模拟了乐器演奏过程,提升了用户体验,使参展过程更加富有互动性和趣味性。
示例性的,在触发操作数据包括触发操作的触发时间的情况下,步骤S103的具体执行过程可以包括如下步骤:
基于作用于每个所述虚拟乐器模型上的触发操作的触发时间,确定每个所述虚拟乐器模型对应的音效的播放次序。
通过记录触发操作的开始时间点和结束时间点,可以确定在哪个音效在先播放哪个音效在后播放,哪个音效具体何时暂停等播放次序信息。该实施方式中,能够基于作用于每个虚拟乐器模型上的触发时间来准确识别每个虚拟乐器模型对应的音效的播放次序,从而真实地模拟了乐器演奏过程,提升了用户体验,使参展过程更加富有互动性和趣味性。
本公开实施例的步骤S104和S105中,在确定出各个虚拟乐器模型对应的音效数据之后,可以对音效数据进行融合处理,得到多个虚拟乐器模型的融合音效数据。其中,融合处理过程,可以基于各个音效数据中每个音效的类型、播放音量、以及播放次序等,串接成一首连贯的乐曲。进而可以控制多个AR设备分别播放融合音效数据所形成的乐曲。
本公开实施例中,可以基于多个AR设备采集到的现实场景图像,在多个AR设备中分别呈现对应的虚拟乐器模型,并且,能够基于每个用户在各自的AR设备上作用于展示的虚拟乐器模型的触发操作数据,确定各个虚拟乐器模型对应的音效数据,进而还可以将各个虚拟乐器模型对应的音效数据进行融合处理,以使得各AR设备可以分别播放融合后的音效。通过实现对虚拟乐器进行模拟演奏,在保护展示项目的同时又帮助用户更加直观、清晰的了解实体乐器的演奏效果,提升了参观展示项目过程中的用户体验,使参展过程更加富有互动性和趣味性。并且,本公开实施例中能够实现多人多终端多虚拟乐器进行协同模拟演奏,进一步增强了互动性和可观赏性。
以下为本公开实施例的具体应用场景的举例说明。
以展览馆中展出的各类实体乐器(如古筝、琵琶、鼓等)为例,可以基于计算机视觉识别技术以AR技术,通过手机、平板等AR设备的摄像头扫描实体乐器,即可在AR设备中出现实体乐器的AR虚拟模型,用户可点击AR设备的屏幕上呈现的实体乐器,点击实体乐器上的某个编钟部件,即可触发相应的编钟音效,从而实现实体乐器演奏的展示和互动体验。
其中,通过手机、平板等AR设备的摄像头扫描实体编钟,即可在AR设备中出现实体乐器的AR虚拟模型,具体可以采用即时定位与地图构建(simultaneous localization andmapping,SLAM)技术,SLAM算法能够基于AR设备的多种传感器信息,实现对当前AR设备精准的6DoF空间定位,同时对周围环境做3D感知,如点云恢复,平面重建,网格重建等,来重构用于描述现实场景的预设三维场景模型,并在预设三维场景模型的指定位置上配置实体乐器的AR虚拟模型。
进一步地,通过采集实体编钟在现实场景中的特征,并通过AR设备上的摄像头扫描实体编钟,即可实现在AR设备的屏幕上展示实体乐器的AR特效。
该应用场景示例中,还可以可以实现多人多终端扫描相应的实体乐器,实现多人多视角看到虚拟乐器模型,且不同用户可在各自的AR设备屏幕上点击相应屏幕位置,实现多人多终端多虚拟乐器的协同演奏。
在基于计算机视觉技术识别实体编钟后可快速、便捷的触发AR实体乐器的呈现,同时还可以通过实体乐器进行模拟演奏展示,在保护文物的同时又帮助用户更加直观、清晰的了解编钟的演奏效果等,提升了参观展示项目过程中的用户体验,更加富有互动性和趣味性。并且,多人多终端多虚拟乐器的协同演奏,可以进一步增强互动性和可观赏性。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与播放控制方法对应的播放控制装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述播放控制方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图3所示,为本公开实施例提供的一种播放控制装置的示意图,所述装置包括:第一控制模块31、接收模块32、确定模块33、融合模块34,第二控制模块35。其中,
第一控制模块31,用于基于多个增强现实AR设备采集的现实场景图像,控制所述多个AR设备分别呈现与采集的所述现实场景图像对应的虚拟乐器模型;
接收模块32,用于接收所述多个AR设备分别发送的作用于各自展示的所述虚拟乐器模型的触发操作数据;
确定模块33,用于基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据;
融合模块34,用于基于所述多个所述虚拟乐器模型对应的音效数据,确定多个所述虚拟乐器模型的融合音效数据;
第二控制模块35,用于控制所述多个AR设备分别播放所述融合音效数据。
在一些实施方式中,所述触发操作数据包括触发操作的触发位置数据;
所述确定模块33,在基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据时,具体用于:
基于作用于每个所述虚拟乐器模型上的触发操作的触发位置数据,确定每个所述虚拟乐器模型中被触发的虚拟部件;
基于确定出的每个被触发的虚拟部件,确定每个被触发的虚拟部件对应的音效的类型。
在一些实施方式中,所述触发操作数据包括触发操作的触发强度数据;
所述确定模块33,在基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据时,具体用于:
基于作用于每个所述虚拟乐器模型上的触发操作的触发强度数据,确定每个所述虚拟乐器模型对应的音效的播放音量。
在一些实施方式中,所述触发操作数据包括触发操作的触发时间;
所述确定模块33,在基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据时,具体用于:
基于作用于每个所述虚拟乐器模型上的触发操作的触发时间,确定每个所述虚拟乐器模型对应的音效的播放次序。
在一些实施方式中,所述多个AR设备中至少部分AR设备展示的虚拟乐器模型属于不同的乐器类型,属于不同的乐器类型的虚拟乐器模型对应的音效的类型不同。
基于同一技术构思,本公开实施例还提供了一种电子设备。参照图4所示,为本公开实施例提供的电子设备的结构示意图,包括:处理器11和存储器12;所述存储器12存储有所述处理器11可执行的机器可读指令,当电子设备运行时,所述机器可读指令被所述处理器11执行以实现下述步骤:
基于多个增强现实AR设备采集的现实场景图像,控制所述多个AR设备分别呈现与采集的所述现实场景图像对应的虚拟乐器模型;
接收所述多个AR设备分别发送的作用于各自展示的所述虚拟乐器模型的触发操作数据;
基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据;
基于所述多个所述虚拟乐器模型对应的音效数据,确定多个所述虚拟乐器模型的融合音效数据;
控制所述多个AR设备分别播放所述融合音效数据。
上述指令的具体执行过程可以参考本公开实施例中所述的播放控制方法的步骤,此处不再赘述。
此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的播放控制方法的步骤。
本公开实施例所提供的播放控制方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的增强现实数据呈现方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例提供的上述方法、装置、电子设备、存储介质及计算机程序产品,在现实场景图像中识别到实体乐器之后,可以在AR设备中呈现实体乐器对应的虚拟乐器模型,还可以响应对虚拟乐器模型的触发操作,播放触发操作对应的音效,从而实现对虚拟乐器的模拟演奏。在应用于文化旅游行业时,对于一些乐器类的历史文物的展示项目,可以在AR设备中展示虚拟乐器模型并基于触发操作实现对虚拟乐器进行模拟演奏,在保护历史文物的同时又帮助用户更加直观、清晰的了解实体乐器的演奏效果等,提升了参观展示项目过程中的用户体验,使参展过程更加富有互动性和趣味性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random AccessMemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种播放控制方法,其特征在于,包括:
基于多个增强现实AR设备采集的现实场景图像,控制所述多个AR设备分别呈现与采集的所述现实场景图像对应的虚拟乐器模型;
接收所述多个AR设备分别发送的作用于各自展示的所述虚拟乐器模型的触发操作数据;
基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据;
基于所述多个所述虚拟乐器模型对应的音效数据,确定多个所述虚拟乐器模型的融合音效数据,并控制所述多个AR设备分别播放所述融合音效数据。
2.根据权利要求1所述的方法,其特征在于,所述触发操作数据包括触发操作的触发位置数据;
所述基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据,包括:
基于作用于每个所述虚拟乐器模型上的触发操作的触发位置数据,确定每个所述虚拟乐器模型中被触发的虚拟部件;
基于确定出的每个被触发的虚拟部件,确定每个被触发的虚拟部件对应的音效的类型。
3.根据权利要求1或2所述的方法,其特征在于,所述触发操作数据包括触发操作的触发强度数据;
所述基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据,包括:
基于作用于每个所述虚拟乐器模型上的触发操作的触发强度数据,确定每个所述虚拟乐器模型对应的音效的播放音量。
4.根据权利要求1至3任一所述的方法,其特征在于,所述触发操作数据包括触发操作的触发时间;
所述基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据,包括:
基于作用于每个所述虚拟乐器模型上的触发操作的触发时间,确定每个所述虚拟乐器模型对应的音效的播放次序。
5.根据权利要求1至4任一所述的方法,其特征在于,所述多个AR设备中至少部分AR设备展示的虚拟乐器模型属于不同的乐器类型,属于不同的乐器类型的虚拟乐器模型对应的音效的类型不同。
6.一种播放控制装置,其特征在于,包括:
第一控制模块,用于基于多个增强现实AR设备采集的现实场景图像,控制所述多个AR设备分别呈现与采集的所述现实场景图像对应的虚拟乐器模型;
接收模块,用于接收所述多个AR设备分别发送的作用于各自展示的所述虚拟乐器模型的触发操作数据;
确定模块,用于基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据;
融合模块,用于基于所述多个所述虚拟乐器模型对应的音效数据,确定多个所述虚拟乐器模型的融合音效数据;
第二控制模块,用于控制所述多个AR设备分别播放所述融合音效数据。
7.根据权利要求6所述的装置,其特征在于,所述触发操作数据包括触发操作的触发位置数据;
所述确定模块,在基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据时,具体用于:
基于作用于每个所述虚拟乐器模型上的触发操作的触发位置数据,确定每个所述虚拟乐器模型中被触发的虚拟部件;
基于确定出的每个被触发的虚拟部件,确定每个被触发的虚拟部件对应的音效的类型。
8.根据权利要求6或7所述的装置,其特征在于,所述触发操作数据包括触发操作的触发强度数据;
所述确定模块,在基于所述触发操作数据,确定所述多个AR设备分别展示的所述虚拟乐器模型对应的音效数据时,具体用于:
基于作用于每个所述虚拟乐器模型上的触发操作的触发强度数据,确定每个所述虚拟乐器模型对应的音效的播放音量。
9.一种电子设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至5任一项所述的播放控制方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被电子设备运行时,所述电子设备执行如权利要求1至5任意一项所述的播放控制方法的步骤。
CN202010524729.4A 2020-06-10 2020-06-10 播放控制方法、装置、电子设备及存储介质 Pending CN111679806A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010524729.4A CN111679806A (zh) 2020-06-10 2020-06-10 播放控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010524729.4A CN111679806A (zh) 2020-06-10 2020-06-10 播放控制方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111679806A true CN111679806A (zh) 2020-09-18

Family

ID=72454409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010524729.4A Pending CN111679806A (zh) 2020-06-10 2020-06-10 播放控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111679806A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041038A (ja) * 2000-07-31 2002-02-08 Taito Corp 仮想楽器演奏装置
US20120007884A1 (en) * 2010-07-06 2012-01-12 Samsung Electronics Co., Ltd. Apparatus and method for playing musical instrument using augmented reality technique in mobile terminal
WO2012020242A2 (en) * 2010-08-13 2012-02-16 Monnowtone Limited An augmented reality system
CN109166565A (zh) * 2018-08-23 2019-01-08 百度在线网络技术(北京)有限公司 虚拟乐器处理方法、装置、虚拟乐器设备及存储介质
US20190129611A1 (en) * 2017-11-02 2019-05-02 Apple Inc. Enhanced virtual instrument techniques
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041038A (ja) * 2000-07-31 2002-02-08 Taito Corp 仮想楽器演奏装置
US20120007884A1 (en) * 2010-07-06 2012-01-12 Samsung Electronics Co., Ltd. Apparatus and method for playing musical instrument using augmented reality technique in mobile terminal
WO2012020242A2 (en) * 2010-08-13 2012-02-16 Monnowtone Limited An augmented reality system
US20190129611A1 (en) * 2017-11-02 2019-05-02 Apple Inc. Enhanced virtual instrument techniques
CN109166565A (zh) * 2018-08-23 2019-01-08 百度在线网络技术(北京)有限公司 虚拟乐器处理方法、装置、虚拟乐器设备及存储介质
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
US9684994B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
US9654734B1 (en) Virtual conference room
US9429912B2 (en) Mixed reality holographic object development
EP2887322B1 (en) Mixed reality holographic object development
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN111679742A (zh) 基于ar的交互控制方法、装置、电子设备及存储介质
CN109743892B (zh) 虚拟现实内容的显示方法和装置
CN105844714A (zh) 基于增强现实的场景显示方法及系统
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
JP2019509540A (ja) マルチメディア情報を処理する方法及び装置
CN114153548A (zh) 一种展示方法、装置、计算机设备及存储介质
JP2022507502A (ja) 拡張現実(ar)のインプリント方法とシステム
CN111651054A (zh) 音效控制方法、装置、电子设备及存储介质
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
CN111599292A (zh) 一种历史场景的呈现方法、装置、电子设备及存储介质
CN111640195A (zh) 一种历史场景的复现方法、装置、电子设备及存储介质
CN112511815A (zh) 图像或视频生成方法及装置
CN111652986B (zh) 舞台效果呈现方法、装置、电子设备及存储介质
CN111679806A (zh) 播放控制方法、装置、电子设备及存储介质
JP6680886B2 (ja) マルチメディア情報を表示する方法及び装置
CN105630170B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200918

RJ01 Rejection of invention patent application after publication