CN111651054A

CN111651054A - 音效控制方法、装置、电子设备及存储介质

Info

Publication number: CN111651054A
Application number: CN202010524732.6A
Authority: CN
Inventors: 潘思霁; 揭志伟; 张一�
Original assignee: Zhejiang Shangtang Technology Development Co Ltd
Current assignee: Zhejiang Shangtang Technology Development Co Ltd; Zhejiang Sensetime Technology Development Co Ltd
Priority date: 2020-06-10
Filing date: 2020-06-10
Publication date: 2020-09-11

Abstract

本公开提供了一种音效控制方法、装置、电子设备及存储介质，其中，该方法包括：基于现实场景图像中呈现的实体乐器，在AR设备中展示与所述实体乐器对应的虚拟乐器模型；在检测到对所述AR设备中展示的虚拟乐器模型的敲击操作之后，识别所述敲击操作的敲击力度；基于所述敲击力度，确定所述敲击操作对应的音效的播放音量；控制所述AR设备按照所述播放音量播放与所述敲击操作对应的音效。

Description

音效控制方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种音效控制方法、装置、电子设备及存储介质。

背景技术

近年来，随着文化旅游行业的快速发展，越来越多的用户群体参观各类展会或者博物馆等。对于展会中的一些展示项目，比如展示的乐器等，出于保护展示的乐器的目的，通常是陈列在特定的展示区域供用户来观赏，不允许用户实际操作乐器。但是这种观赏方式很难感受展示的乐器带来的音乐效果，缺乏一定的互动性，导致展示效果较为枯燥。

发明内容

本公开实施例至少提供一种音效控制方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供一种增强现实音效控制方法，包括：

基于现实场景图像中呈现的实体乐器，在增强现实AR设备中展示与所述实体乐器对应的虚拟乐器模型；

在检测到对所述AR设备中展示的虚拟乐器模型的敲击操作之后，识别所述敲击操作的敲击力度；

基于所述敲击力度，确定所述敲击操作对应的音效的播放音量；

控制所述AR设备按照所述播放音量播放与所述敲击操作对应的音效。

本公开实施例中，可以基于现实场景图像中呈现的实体乐器，在AR设备中展示实体乐器对应的虚拟乐器模型，还可以响应对虚拟乐器模型的敲击操作，并基于敲击操作的敲击力度来控制敲击操作对应的音效的播放音量，从而实现对虚拟乐器的模拟演奏。在应用于文化旅游行业时，对于一些乐器类的展示项目，可以在AR设备中展示虚拟乐器模型并基于敲击操作的敲击力度来控制虚拟乐器模型所播放的音效的音量，实现对虚拟乐器的模拟演奏，在保护展示项目的同时又使用户能够更加直观、清晰地了解实体乐器的演奏效果等，提升了参观展示项目过程中的用户体验，使参展过程更加富有互动性和趣味性。

本公开的一些实施例中，所述检测到对所述AR设备中的展示的虚拟乐器模型的敲击操作，包括：

基于所述现实场景图像，检测到在所述现实场景图像呈现的现实场景中出现目标肢体动作，将所述目标肢体动作确定为对所述虚拟乐器模型的所述敲击操作。

该实施方式中，可以基于用户做出的肢体动作来实现对虚拟乐器的敲击，加强了用户与展示项目之间的互动性，提升了参观展示项目过程中的用户体验。

本公开的一些实施例中，所述基于所述现实场景图像，检测到在所述现实场景图像呈现的现实场景中出现目标肢体动作，包括：

对所述现实场景图像中出现的肢体动作进行关键点识别，得到关键点识别结果；

基于关键点识别结果对所述肢体动作进行分类，得到所述肢体动作的类型；

若所述肢体动作的类型为预设的目标肢体动作类型，则确定所述现实场景图像呈现的现实场景中出现所述目标肢体动作。

该实施方式中，可以通过关键点识别技术以及肢体动作的分类技术，来准确地识别用户做出的肢体动作，以便在应用于虚拟乐器的模拟演奏时，能够准确地识别并响应敲击操作，提升用户体验度。

本公开的一些实施例中，所述识别所述敲击操作的敲击力度，包括：

检测所述目标肢体动作被执行过程中的加速度信息；

基于所述加速度信息，确定所述敲击操作的敲击力度。

该实施方式中，可以基于用户做出目标肢体动作过程中的加速度信息来智能识别敲击力度，提升用户体验度。

本公开的一些实施例中，所述方法还包括：

根据所述目标肢体动作所属的目标肢体动作类型，确定与所述目标肢体动作类型匹配的音效类型；

控制所述AR设备播放与所述音效类型对应的音效。

该实施方式中，还可以基于用户做出目标肢体动作的类型来触发播放对应的音效类型的音效，增加了模拟演奏过程中的互动性及趣味性，提升用户体验度。

本公开的一些实施例中，所述检测到对所述AR设备中展示的虚拟乐器模型的敲击操作，包括：

检测所述AR设备的触摸屏上的触摸操作；

在检测到所述触摸操作的触摸位置在所述触摸屏展示的虚拟乐器模型的触发位置范围内时，将所述触摸操作确定为对所述虚拟乐器模型的所述敲击操作。

该实施方式中，可以基于用户在AR设备的触摸屏上的触摸操作来实现对虚拟乐器的敲击，加强了用户与展示项目之间的互动性，提升了参观展示项目过程中的用户体验。

识别所述触摸操作在所述触摸屏上的触摸压力值，和/或，所述触摸操作在所述触摸屏展示的虚拟乐器模型所在的触发位置范围内的触摸时长；

基于所述触摸压力值和/或所述触摸时长，确定所述敲击操作的敲击力度。

该实施方式中，可以基于用户在触摸屏上的触摸操作的各类触摸信息来智能识别敲击力度，提升用户体验度。

第二方面，本公开实施例还提供一种音效控制装置，包括：

呈现模块，用于基于现实场景图像中呈现的实体乐器，在增强现实AR设备中展示与所述实体乐器对应的虚拟乐器模型；

识别模块，用于在检测到对所述AR设备中展示的虚拟乐器模型的敲击操作之后，识别所述敲击操作的敲击力度；

确定模块，用于基于所述敲击力度，确定所述敲击操作对应的音效的播放音量；

控制模块，用于控制所述AR设备按照所述播放音量播放与所述敲击操作对应的音效。

本公开的一些实施例中，所述识别模块，在检测到对所述AR设备中的展示的虚拟乐器模型的敲击操作时，具体用于：

本公开的一些实施例中，所述识别模块，在基于所述现实场景图像，检测到在所述现实场景图像呈现的现实场景中出现目标肢体动作时，具体用于：

基于关键点识别结果，对所述肢体动作执行的肢体动作进行分类，得到所述肢体动作的类型；

本公开的一些实施例中，所述识别模块，在识别所述敲击操作的敲击力度时，具体用于：

检测所述目标肢体动作被执行过程中的加速度信息；

基于所述加速度信息，确定所述敲击操作的敲击力度。

本公开的一些实施例中，所述确定模块，还用于：根据所述目标肢体动作所属的目标肢体动作类型，确定与所述目标肢体动作类型匹配的音效类型；

所述控制模块，还用于控制所述AR设备播放与所述音效类型对应的音效。

本公开的一些实施例中，所述识别模块，在检测到对所述AR设备中展示的虚拟乐器模型的敲击操作时，具体用于：

检测所述AR设备的触摸屏上的触摸操作；

第三方面，本公开可选实现方式还提供一种电子设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

本公开实施例提供的上述方法、装置、电子设备及存储介质，可以基于现实场景图像中呈现的实体乐器，在AR设备中展示实体乐器对应的虚拟乐器模型，还可以响应对虚拟乐器模型的敲击操作，并基于敲击操作的敲击力度来控制敲击操作对应的音效的播放音量，从而实现对虚拟乐器的模拟演奏。在应用于文化旅游行业时，对于一些乐器类的展示项目，可以在AR设备中展示虚拟乐器模型并基于敲击操作的敲击力度来控制虚拟乐器模型所播放的音效的音量，实现对虚拟乐器的模拟演奏，在保护展示项目的同时又使用户能够更加直观、清晰地了解实体乐器的演奏效果等，提升了参观展示项目过程中的用户体验，使参展过程更加富有互动性和趣味性。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种音效控制方法的流程图；

图2示出了本公开实施例所提供的一种音效控制方法的第一示例的流程图；

图3示出了本公开实施例所提供的一种音效控制方法的第二示例的流程图；

图4示出了本公开实施例所提供的一种音效控制装置的示意图；

图5示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

增强现实(Augmented Reality，AR)技术，通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后，叠加到真实世界中，从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。

本公开实施例可适用于AR设备中，AR设备可以为任何能够支持AR功能的电子设备，包括但不限于AR眼镜、平板电脑、智能手机等。示例性的，AR设备中呈现AR效果，可以理解为在AR设备中展示融入到现实场景的虚拟对象，可以是直接将虚拟对象的呈现内容渲染出来，并与现实场景融合，比如呈现一套虚拟的茶具，其显示效果是放置在现实场景中的真实桌面上，也可以是将虚拟对象的呈现内容与现实场景画面融合后，展示融合后的显示画面。具体选择何种呈现方式取决于AR设备的设备类型和采用的画面呈现技术，比如，一般地，由于从AR眼镜中可以直接看到现实场景(并非成像后的现实场景画面)，因此AR眼镜可以采用直接将虚拟对象的呈现画面渲染出来的呈现方式；对于手机、平板电脑等移动终端设备，由于在移动终端设备中展示的是对现实场景成像后的画面，因此可以采用将现实场景画面与虚拟对象的呈现内容进行融合处理的方式，来展示AR效果。

下面对本公开实施例所涉及的一种音效控制方法进行详细介绍。

参见图1所示，为本公开实施例所提供的一种音效控制方法的流程示意图，包括以下几个步骤：

S101、基于现实场景图像中呈现的实体乐器，在AR设备中展示与实体乐器对应的虚拟乐器模型。

S102、在检测到对AR设备中展示的虚拟乐器模型的敲击操作之后，识别敲击操作的敲击力度。

S103、基于敲击力度，确定敲击操作对应的音效的播放音量。

S104、控制AR设备按照播放音量播放与敲击操作对应的音效。

为了便于更好的理解上述实施例，下面将针对本实施例中各个步骤涉及的技术特征进行具体介绍。

本公开实施例的步骤101中，可以利用AR设备中的图像采集器件(如摄像头等器件)采集现实场景中的现实场景图像，既可以是通过拍摄图像的方式来采集单帧的现实场景图像，也可以是通过拍摄视频的方式来采集连续多帧的现实场景图像。在检测到现实场景图像中呈现有实体乐器的情况下，在AR设备中展示与实体乐器对应的虚拟乐器模型。

其中，所述现实场景图像，是指由AR设备拍摄的现实场景的图像。该现实场景图像中可包括现实场景中至少一种实体对象。比如，对于展览馆中的现实场景图像来说，现实场景图像中包括的实体对象可以为展览馆中的至少一个展品，比如是展览馆中展出中的实体乐器等。

所述实体乐器，是指现实场景图像所呈现的现实场景中真实存在的某一个乐器，或者，也可以是现实场景图像中所呈现的现实场景中真实存在的实体乐器图像，比如是现实场景中的实体图画或电子显示屏中呈现的实体乐器图像等。本公开对实体乐器并不限定，比如是展览馆中展出的编钟等乐器。对于编钟等乐器来说，其上具有多种类型的部件，通过敲击不同类型的部件，可以产生不同的音效，不同的音效可以构成一段乐曲。

其中，虚拟乐器模型可以是预先构建好的三维虚拟乐器模型。示例性的，可以从不同的拍摄位置不同的拍摄角度上拍摄实体乐器，然后基于拍摄到的多张实体乐器图像中实体乐器的图像特征，通过三维重建算法来重构与实体乐器对应的虚拟乐器模型。

本公开实施例中，检测现实场景图像中是否出现实体乐器，在检测到出现实体乐器的情况下，可以获取与实体乐器对应的虚拟乐器模型。

具体的，检测现实场景图像中是否出现实体乐器的方式有多种。

一示例中，可以通过检测AR设备拍摄现实场景图像时的拍摄位姿数据来确定AR设备当前是否进入实体乐器的展示区域，若拍摄位姿数据在实体乐器的展示区域对应的位姿数据范围内，则可确定AR设备当前进入实体乐器的展示区域，进一步地，可认为，检测到现实场景图像中呈现有实体图像。

另一示例中，还可以基于图像识别算法对AR设备拍摄的现实场景图像进行识别，以确定现实场景图像中是否呈现有实体乐器。比如，将现实场景图像与预设的实体乐器图像进行相似度的比较，在确定相似度大于设定阈值的情况下，可以确定现实场景图像中呈现有实体乐器。或者，将现实场景图像输入到预先训练好的神经网络模型中，基于现实场景图像的图像特征进行分类预测，基于预测结果来确定现实场景图像中是否呈现有实体乐器。

在检测到现实场景图像中呈现有实体乐器之后，进一步地，可以基于现实场景图像中呈现的实体乐器的特征信息，获取实体乐器对应的虚拟乐器模型，然后，在AR设备中展示现实场景图像与虚拟乐器模型相结合的AR效果。其中，虚拟乐器模型即为虚实结合画面中呈现的虚拟对象。

在一些实施方式中，可以直接基于现实场景图像中呈现的实体乐器的特征信息，从预设的虚拟对象模型库中找出与该实体乐器的特征信息相匹配的虚拟对象。该实体乐器的特征信息既可以是拍摄的实体乐器所处的位置信息，也可以是拍摄的实体乐器的图像信息。若特征信息为位置信息，那么虚拟对象模型库中虚拟对象模型可与预设展示位置范围相对应，在当前拍摄到的位置信息落入任一预设展示位置范围的情况下，可以将该预设展示位置范围对应的虚拟对象模型作为与实体乐器对应的虚拟乐器模型。若特征信息为图像信息，那么可以将拍摄的实体乐器的图像信息与虚拟对象模型库中的虚拟对象模型的图像信息进行匹配，将匹配成功的虚拟对象模型作为与实体乐器对应的虚拟乐器模型。

在另一些实施方式中，还可以基于采集到的现实场景图像中实体乐器的图像信息，直接采用三维重建算法来重构实体乐器对应的虚拟乐器模型。可使用的三维重建算法有多种，本公开对此并不限定。

上述实施方式可以基于实体乐器的特征信息，通过重建或者从预设虚拟对象模型库中获取虚拟乐器模型的方式，来呈现现实场景图像与虚拟乐器模型相结合的AR效果，提升视觉效果。

本公开的一些实施方式中，还可以获取AR设备在拍摄现实场景图像时的拍摄位姿数据，然后基于拍摄位姿数据，确定虚拟乐器模型在预设三维场景模型中的呈现位姿数据。之后，可以基于呈现位姿数据，确定虚拟乐器模型在AR设备中呈现的目标位姿。这样，在AR设备中展示现实场景图像与虚拟乐器模型相结合的AR效果时，可以在AR设备中展示现实场景图像与符合目标位姿的虚拟乐器模型相结合的AR效果。

其中，AR设备的拍摄位姿数据可以包括用户在手持或佩戴AR设备时，用于显示虚拟对象的显示部件所在的位置和/或显示角度，为了方便解释拍摄位姿数据，这里引入坐标系的概念，比如世界坐标系，这里的拍摄位姿数据包括AR设备的显示部件在世界坐标系中的坐标位置，或者包括AR设备的显示部件与世界坐标系中各个坐标轴的夹角，或者同时包括AR设备的显示部件在世界坐标系中的坐标位置以及与世界坐标中各个坐标轴的夹角，拍摄位姿数据具体包括的内容与对增强现实场景中虚拟对象设定的显示方式相关，在此不做具体限定。

其中，预设三维场景模型可以用于表征现实场景，与现实场景在相同坐标系是等比例呈现的，比如以现实场景为某个展览馆为例，该展览馆包括多个展示区域，则表征该现实场景的预设三维场景模型同样可以包括该展览馆以及该展览馆中的各个展示区域，且预设三维场景模型与现实场景在相同坐标系中是按照1：1呈现的，即若将预设三维场景模型放入该现实场景所在的世界坐标系中，则该预设三维场景模型会与该现实场景重合。

这里的虚拟乐器模型在预设三维场景模型中的呈现位姿数据可以包括但不限于虚拟乐器模型在预设三维场景模型中呈现时的位置数据、姿态数据以及样貌数据等数据中的至少一种，比如上述提到的虚拟编钟在现实场景中呈现时的位置数据、姿态数据以及样貌数据等。

本公开实施例的步骤S102中，检测对AR设备中展示的虚拟乐器模型的敲击操作的方式有多种。

一示例中，敲击操作可以是基于AR设备的图像采集模块检测到的用户在现实场景中做出的某种肢体动作。肢体动作具体可以是手势动作，手势动作的种类包括但不限于手掌或单个手指的上下移动、手掌或单个手指的左右移动，手掌或单个手指的顺/逆时针移动，单个手指的点击动作，握拳的点击动作等，可以根据实际需求进行设置，本公开对此并不限定。

另一示例中，敲击操作也可以是检测到的用户在AR设备的触摸屏上对展示的虚拟乐器模型做出的触摸操作。触摸操作具体可以是单击、双击、滑动等触摸操作，同样也可以根据实际需求进行设置，本公开对此并不限定。

在检测到对AR设备中展示的虚拟乐器模型的敲击操作之后，还可以识别敲击操作的敲击力度。响应于不同类型的敲击操作，识别敲击操作的方式也有多种。

一示例中，以敲击操作为用户做出的某个肢体动作为例，可以通过检测用户执行该肢体动作过程中的加速度信息，来反映敲击操作的敲击力度，比如，加速度值越高，对应的敲击力度的等级越高，反之，加速度值越低，对应的敲击力度的等级越低。

另一示例中，以敲击操作为用户在触摸屏上对展示的虚拟乐器模型做出的触摸操作为例，可以通过检测用户在触摸屏上的触摸时长/触摸压力值等触摸参数，来反映敲击操作的敲击力度。比如，触摸时长越长或触摸压力值越高，对应的敲击力度的等级越高，反之，触发时长越短或触摸压力值越低，对应的敲击力度的等级越低。

本公开实施例的步骤S103中，可以预先设置好敲击力度与音效的播放音量的对应关系，并预先存储在本地或云端，在检测到敲击操作的敲击力度之后，可以直接从预先存储的对应关系中查找到与该敲击操作对应的音效的播放音量。

示例性的，可以将敲击力度的数值由低到高划分不同的等级，每个敲击力度的等级对应一个播放音量，这样，在用户敲击操作的敲击力度不同时，可以触发播放不同等级对应的播放音量。

本公开实施例中，考虑到实体乐器包括不同类型的实体部件，不同类型的实体部件可产生不同的音效。为了更好地模拟虚拟乐器模型的演奏效果，基于实体乐器获取到的对应的虚拟乐器模型，也可以包括多种类型的虚拟部件，不同类型的虚拟部件被触发后可呈现不同的音效。比如，虚拟部件的类型可以按照产生的音效的类型进行划分，本公开对虚拟部件类型的划分方式并不限定。

其中，虚拟乐器模型中不同的虚拟部件所对应的音效可以预先配置好并存储在本地或云端，在检测到任一虚拟部件被触发后，可以获取与被触发的虚拟部件对应的音效并播放。

本公开的一些实施例中，可以基于作用于虚拟乐器模型上的敲击操作的敲击位置来确定虚拟乐器模型的多种虚拟部件中被触发的虚拟部件。比如，若敲击操作作用于AR设备的触摸屏上展示的虚拟乐器模型，则检测敲击操作的敲击位置，可以是检测在触摸屏的显示界面上的触摸位置，其中，显示界面中展示有虚拟乐器模型，基于触摸位置，可以确定触摸的虚拟乐器模型所在图像区域的位置，即作用于虚拟乐器模型上的敲击位置。若敲击操作为用户在现实场景中做出的肢体动作，可以通过检测做出的肢体动作的坐标，将其映射到展示的虚拟乐器模型所在虚拟画面上的坐标，进而通过映射后的坐标，可以确定作用于虚拟乐器模型上的敲击位置。

示例性的，可以为虚拟乐器模型上每个虚拟部件预先设置好一个对应的触发位置范围，在检测到作用于虚拟乐器模型上的敲击操作的敲击位置之后，通过检测该敲击位置落入了哪个触发位置范围内，即可将落入的触发位置范围所对应的虚拟部件，确定为被触发的虚拟部件，进而确定被触发的虚拟部件对应的音效。通过这种方式，可以响应用户对不同虚拟部件的触摸操作，播放出由不同虚拟部件对应的音效组合而成的乐曲，提升了参观展示项目过程中的用户体验，使参展过程更加富有互动性和趣味性。

本公开实施例的步骤S104中，在基于上述步骤确定好敲击操作所触发的音效以及敲击操作的敲击力度对应的播放音量之后，便可以控制AR设备按照播放音量播放与敲击操作对应的音效。

基于上述实施例的内容，本公开实施例还提供了一种音效控制方法的第一示例，参照图2所示，为该第一示例的具体执行流程图，包括以下步骤：

S201、基于现实场景图像中呈现的实体乐器，在AR设备中展示与实体乐器对应的虚拟乐器模型。

S202、基于现实场景图像，检测到在现实场景图像呈现的现实场景中出现目标肢体动作，将目标肢体动作确定为对虚拟乐器模型的敲击操作。

具体实施中，可以通过对现实场景图像中出现的肢体动作进行关键点识别，得到关键点识别结果，之后基于关键点识别结果，对肢体动作进行分类，得到肢体动作的类型；若肢体动作的类型为预设的目标肢体动作类型，则确定现实场景图像呈现的现实场景中出现目标肢体动作。

其中，对现实场景图像中出现的肢体动作的关键点识别，可以基于人体关键点检测及追踪算法来实现。示例性的，可以首先检测到现实场景图像中人体所在区域的人体检测框，基于人体检测框的位置信息对接下来实时采集的现实场景图像中出现人体进行追踪，便可以得到每帧现实场景图像中的人体检测框。

并且，基于人体检测框所框出来的图像区域的特征，可以进行关键点识别，关键点识别既可以是对全身关键点的识别，也可以是人体至少部分部位(如手所在部位)的关键点的识别。得到的关键点识别结果可以包括各个关键点的位置信息、关键点标号等。

之后，可以基于关键点识别进行肢体动作的分类，分类过程可以采用预先训练好的肢体动作分类模型来对标记有关键点识别结果的人体检测框对应的图像区域进行分类处理。其中，肢体动作分类模型可通过标记有不同类型的肢体动作的关键点信息的多张图像样本进行训练后得到，具体训练过程本公开实施例中不再展开说明。

若肢体动作的类型为预设的目标肢体动作类型，则确定现实场景图像呈现的现实场景中出现目标肢体动作。其中，预设的目标肢体动作类型可以基于实际操作需求来配置，本公开对此并不限定。

S203、检测目标肢体动作被执行过程中的加速度信息，并基于加速度信息，确定敲击操作的敲击力度。

示例性的，可以基于实时采集的现实场景图像中检测到的目标肢体动作的关键点的位置变化来确定目标肢体动作的加速度信息。加速度信息可以用加速度的数值和/或加速度的方向等来表示。以加速度信息为加速度的数值为例，可以将加速度的数值划分多个等级，每个等级对应一个敲击力度，然后，通过识别当前确定出的加速度的数值落入的等级范围，进一步确定出敲击力度。

S204、基于敲击力度，确定敲击操作对应的音效的播放音量。

S205、控制AR设备按照播放音量播放与敲击操作对应的音效。

本公开的一些实施方式中，还可以根据目标肢体动作所属的目标肢体动作类型，确定与目标肢体动作类型匹配的音效类型，然后控制AR设备播放与音效类型对应的音效。其中，目标肢体动作类型可以预先与音效类型建立对应关系，音效类型例如可以包括但不限于音色、音调等，可以基于实际呈现需求来设置，本申请对此并不限定。

该实施方式中，还可以基于用户做出目标肢体动作的类型来触发播放对应的音效类型的音效，这样，AR设备可以结合确定出的播放音量以及音效类型来播放与敲击操作对应的音效。从而增加了模拟演奏过程中的互动性及趣味性，提升用户体验度。

本公开实施例还提供了一种音效控制方法的第二示例，参照图3所示，为该第二示例的具体执行流程图，包括以下步骤：

S301、基于现实场景图像中呈现的实体乐器，在AR设备中展示与实体乐器对应的虚拟乐器模型。

S302、检测AR设备的触摸屏上的触摸操作，在检测到触摸操作的触摸位置在触摸屏展示的虚拟乐器模型的触发位置范围内时，将触摸操作确定为对虚拟乐器模型的敲击操作。

该实施方式中，可以通过AR设备的触摸屏上的内置传感器来检测触摸屏上的触摸操作，其中，触摸操作既可以是人手的直接触摸操作，还可以是利用触摸笔等其他介质实现的间接触摸操作。

通过实时监测触摸操作的触摸位置，可以判断触摸位置是否落入展示的虚拟乐器模型的触发位置范围内，在判断出落入展示的虚拟乐器模型的触发位置范围内时，可以确认采集到对虚拟乐器模型的敲击操作。

并且，还可以通过判断该触摸位置落入的触发位置范围，来确定与落入的该触发位置范围对应的虚拟乐器模型的虚拟部件，将确定出的虚拟部件作为被触发的虚拟部件，进而可以确定待播放的音效为被触发的虚拟部件对应的音效。

S303、识别触摸操作在触摸屏上的触摸压力值，和/或，触摸操作在触摸屏展示的虚拟乐器模型所在的触发位置范围内的触摸时长。

该实施方式中，可以通过AR设备的触摸屏的内置压力传感器来检测触摸操作在触摸屏上的触摸压力值。示例性的，检测到的触摸压力值大于设定阈值时，可认为触摸屏上存在触摸操作，反之，在检测到的触摸压力值小于设定阈值时，可以认为触摸屏上不存在触摸操作。

在检测到触摸屏上存在触摸操作的情况下，可以进一步检测触摸操作的位置是否落入触发位置范围内，在落入触发位置范围内的情况下，进一步检测落入触发位置范围内的停留时长，便可以得到上述触摸时长

S304、基于触摸压力值和/或触摸时长，确定敲击操作的敲击力度。

示例性的，可以将触摸压力值的大小可与敲击力度呈正相关，触摸时长的长短也可与敲击力度呈正相关。当然，也可以确定触摸压力值与触摸时长之间进行加权求和后的参数值，基于该参数值确定敲击力度。比如，可以将触摸时长的数值划分多个等级，每个等级对应一个敲击力度，然后，通过识别当前确定出的触摸时长的数值落入的等级范围，进一步确定出敲击力度。

S305、基于敲击力度，确定敲击操作对应的音效的播放音量。

S306、控制AR设备按照播放音量播放与敲击操作对应的音效。

该实施方式中，可以基于用户在AR设备的触摸屏上的触摸操作来实现对虚拟乐器的敲击，并且，可以基于用户在触摸屏上的触摸操作的各类触摸信息来智能识别敲击力度，加强了用户与展示项目之间的互动性，提升了参观展示项目过程中的用户体验。

其中，上述第一示例和第二示例的实施流程中，涉及到与在先实施例相关的特征可以参考在先实施例中对相关的特征的解释说明，本公开中不再重复介绍。

以下为本公开实施例的具体应用场景的举例说明。

以展览馆中展出的编钟为例，可以基于计算机视觉识别技术以AR技术，通过手机、平板等AR设备的摄像头扫描实体编钟，即可在AR设备中出现虚拟编钟的AR虚拟模型，用户可通过对展示的虚拟编钟执行某种敲击操作，即可触发相应的编钟音效，从而实现虚拟编钟演奏的展示和互动体验。

示例性的，敲击操作的检测识别可以基于计算机视觉方案的肢体关键点识别以及肢体分类技术。在肢体动作为手势动作的情况下，可以利用动态手势跟踪检测算法来实现对手势动作的检测。并且，还可以通过手势的分类识别技术，实现对手掌的上下移动、手掌的左右移动，食指的顺、逆时针移动，食指点击动作等手势动作的识别。

此外，还可以通过检测到用户手部在敲击操作时下落的加速度，确定敲击力度，或者，直接基于加速度等进行信号输出，将信号传输给处理器并触发音量、音效等变化。

通过手势等肢体动作的变化，来实现编钟的音量、音效等变化，可充分提升参观展示过程中的用户体验，更佳富有互动性和趣味性。同时，减少对真实展示物品的接触，达到保护真实展示物品以及减少接触传染的目的。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一技术构思，本公开实施例中还提供了与音效控制方法对应的音效控制装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述音效控制方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图4所示，为本公开实施例提供的一种音效控制装置的示意图，所述装置包括：呈现模块41、识别模块42、确定模块43、控制模块44。

其中，

所述识别模块41，在检测到对所述AR设备中的展示的虚拟乐器模型的敲击操作时，具体用于：

本公开的一些实施例中，所述识别模块42，在基于所述现实场景图像，检测到在所述现实场景图像呈现的现实场景中出现目标肢体动作时，具体用于：

本公开的一些实施例中，所述识别模块42，在识别所述敲击操作的敲击力度时，具体用于：

检测所述目标肢体动作被执行过程中的加速度信息；

基于所述加速度信息，确定所述敲击操作的敲击力度。

本公开的一些实施例中，所述确定模块43，还用于：根据所述目标肢体动作所属的目标肢体动作类型，确定与所述目标肢体动作类型匹配的音效类型；

本公开的一些实施例中，所述识别模块42，在检测到对所述AR设备中展示的虚拟乐器模型的敲击操作时，具体用于：

检测所述AR设备的触摸屏上的触摸操作；

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图5所示，为本公开实施例提供的电子设备的结构示意图，包括：处理器11和存储器12；所述存储器12存储有所述处理器11可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器11执行以实现下述步骤：

上述指令的具体执行过程可以参考本公开实施例中所述的音效控制方法的步骤，此处不再赘述。

此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的音效控制方法的步骤。

本公开实施例所提供的音效控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的增强现实数据呈现方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例提供的上述方法、装置、电子设备、存储介质及计算机程序产品，可以基于现实场景图像中呈现的实体乐器，在AR设备中展示实体乐器对应的虚拟乐器模型，还可以响应对虚拟乐器模型的敲击操作，并基于敲击操作的敲击力度来控制敲击操作对应的音效的播放音量，从而实现对虚拟乐器的模拟演奏。在应用于文化旅游行业时，对于一些乐器类的展示项目，可以在AR设备中展示虚拟乐器模型并基于敲击操作的敲击力度来控制虚拟乐器模型所播放的音效的音量，实现对虚拟乐器的模拟演奏，在保护展示项目的同时又使用户能够更加直观、清晰地了解实体乐器的演奏效果等，提升了参观展示项目过程中的用户体验，使参展过程更加富有互动性和趣味性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims

1.一种音效控制方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述检测到对所述AR设备中的展示的虚拟乐器模型的敲击操作，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述现实场景图像，检测到在所述现实场景图像呈现的现实场景中出现目标肢体动作，包括：

4.根据权利要求2或3所述的方法，其特征在于，所述识别所述敲击操作的敲击力度，包括：

检测所述目标肢体动作被执行过程中的加速度信息；

基于所述加速度信息，确定所述敲击操作的敲击力度。

5.根据权利要求2至4任一所述的方法，其特征在于，所述方法还包括：

控制所述AR设备播放与所述音效类型对应的音效。

6.根据权利要求1至5所述的方法，其特征在于，所述检测到对所述AR设备中展示的虚拟乐器模型的敲击操作，包括：

检测所述AR设备的触摸屏上的触摸操作；

7.根据权利要求6所述的方法，其特征在于，所述识别所述敲击操作的敲击力度，包括：

8.一种音效控制装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任一项所述的音效控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如权利要求1至7任意一项所述的音效控制方法的步骤。