CN113010725B - 演奏乐器的选择方法、装置、设备及存储介质 - Google Patents
演奏乐器的选择方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113010725B CN113010725B CN202110284980.2A CN202110284980A CN113010725B CN 113010725 B CN113010725 B CN 113010725B CN 202110284980 A CN202110284980 A CN 202110284980A CN 113010725 B CN113010725 B CN 113010725B
- Authority
- CN
- China
- Prior art keywords
- scene
- performance
- information
- musical instrument
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 31
- 230000000694 effects Effects 0.000 claims abstract description 254
- 230000008451 emotion Effects 0.000 claims abstract description 155
- 238000012216 screening Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000014509 gene expression Effects 0.000 claims description 47
- 230000008909 emotion recognition Effects 0.000 claims description 24
- 238000000926 separation method Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008921 facial expression Effects 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/635—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Abstract
本发明涉及人工智能技术领域，公开了一种演奏乐器的选择方法、装置、设备及存储介质。该方法通过获取当前演奏现场的场景信息后对获得的信息进行处理，得到当前演奏场景中人物的情绪信息以及当前的演奏场景类型；根据得到的情绪信息和演奏场景类型，确定对应的演奏音效，根据演奏音效进行音效特征的筛选，从而选择出符合当前演奏现场需求的演奏乐器。这种演奏乐器的选择方法能够自动、智能地选择适合当前演奏所需的乐器，降低了非专家或编曲创作经验不够的人的创作难度。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种演奏乐器的选择方法、装置、设备及存储介质。
背景技术
各种乐器具有不同的流派和其音色特征，在编曲或进行现场乐器演奏的准备时，对于乐器的正确选择具有重要的地位，不同乐器音色之间的搭配可以使得演奏出来的乐音更加具有欣赏性。在前人的演奏经验中，乐器的搭配逐渐产生了一些规律，这些规律逐渐变为音乐审美体系中的基本准则与规范。这些规律与演奏乐器的特征息息相关。
而音乐并不是只有一种，还有很多种乐曲相较于固定的音乐理性规则，它更具有艺术欣赏性。这些时候，演奏乐器需演奏的不同场景类型进行选择。乐器组合方法大多需要依赖于专家或行业编制的固定规则，或者创作者经过丰富的个人创作经验来进行选择。
在现有技术中，缺少对演奏乐器的自动化选择的方法，对于非专家或创作经验不够的人来说，在创作乐曲时选择乐器的门槛较高、难度较大且过程较为繁琐。
发明内容
本发明的主要目的在于解决现有技术中，缺少对演奏乐器的自动化选择的方法，对于非专家或创作经验不够的人来说，在创作乐曲时选择乐器的门槛较高、难度较大且过程较为繁琐的问题。
本发明第一方面提供了一种演奏乐器的选择方法，包括：
获取当前演奏现场的场景信息，其中，所述场景信息包括人物图像和环境图像；
利用图像识别算法，对所述场景信息进行人物和环境的分离，得到人物图像和环境图像；
根据人脸识别算法，对所述人物图像中的人物进行面部识别处理，得到情绪信息；
提取所述环境图像中的场景布局，基于所述场景布局从预设的演奏场景关系表中查询出与所述演奏现场对应的场景类型，其中，所述演奏场景关系表包括至少两个不同的演奏现场的场景布局的数据；
根据所述情绪信息和所述场景类型确定对应的演奏音效，并基于所述演奏音效对预先基于所述演奏现场配置的所有乐器进行音效特征的筛选，得到与所述情绪信息和所述场景类型相匹配的演奏乐器。
可选的，在本发明第一方面的第一种实现方式中，所述场景信息包括所述演奏现场的多帧图像数据；所述利用图像识别算法，对所述场景信息进行人物和环境的分离，得到人物图像和环境图像包括：
对多帧所述图像数据进行预处理，得到现场照片，其中所述预处理包括降噪和图像融合；
利用所述图像识别算法中的轮廓描绘算法，对所述现场照片中的轮廓边缘特征进行检测，并绘制轮廓，得到人物轮廓和背景轮廓；
利用所述图像识别算法中的前景和深景分离算法，将所述人物轮廓和所述背景轮廓对应的图像数据从所述现场照片中提取出来，得到前景照片和深景照片，其中所述前景照片包括人物图像数据，所述深景照片包括背景图像数据。
可选的，在本发明第一方面的第二种实现方式中，所述根据人脸识别算法，对所述人物图像中的人物进行面部识别处理，得到情绪信息包括：
利用人脸识别算法，对所述前景照片中人脸的轮廓进行识别，并提取所述人脸中的表情特征，得到表情特征集；
将所述表情特征集，与预设的表情与情绪的对应关系，确定所述人脸对应的情绪信息。
可选的，在本发明第一方面的第三种实现方式中，所述提取所述环境图像中的场景布局，基于所述场景布局从预设的演奏场景关系表中查询出与所述演奏现场对应的场景类型包括：
将所述环境图像输入至预设的场景识别模型中，通过所述场景识别模型提取所述环境图像中的几何特征，得到环境特征集；
基于所述环境特征集绘制所述环境图像的场景布局，得到所述演奏现场的效果图；
基于所述效果图，从预设的演奏场景关系表中查询出与所述演奏现场对应的场景类型。
可选的，在本发明第一方面的第四种实现方式中，在所述根据所述情绪信息和所述场景类型确定对应的演奏音效，并基于所述演奏音效对预先基于所述演奏现场配置的所有乐器进行音色特征的筛选，得到与所述情绪信息和所述场景类型相匹配的演奏乐器之前，还包括：
获取不同场景类型的演奏现场的音乐配置方案，其中所述音乐配置方案包括常用配乐歌曲的信息和演奏乐器的选择信息，所述配乐歌曲的信息包括演奏乐器的种类信息和歌曲类型的信息；
根据所述场景类型及所述演奏乐器的种类信息，建立乐器使用数据库，其中，所述乐器使用数据库包括演奏乐器的种类与场景类型的对应关系表。
可选的，在本发明第一方面的第五种实现方式中，所述根据所述情绪信息和所述场景类型确定对应的演奏音效，并基于所述演奏音效对预先基于所述演奏现场配置的所有乐器进行音色特征的筛选，得到与所述情绪信息和所述场景类型相匹配的演奏乐器包括：
根据所述情绪信息和场景类型，从预配置的演奏音效对应关系表中查询出同时满足所述情绪信息和场景类型的演奏音效；
根据所述演奏音效，从所述乐器使用数据库中查询出与所述演奏音效对应的乐器的种类信息；
利用音频识别技术，提取所述乐器的种类信息对应的乐器所产生的音色特征；
将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，选择匹配度大于预设匹配值的乐器作为所述演奏现场的演奏乐器。
可选的，在本发明第一方面的第六种实现方式中，所述根据所述情绪信息和场景类型，从预配置的演奏音效对应关系表中查询出同时满足所述情绪信息和场景类型的演奏音效包括：
根据所述场景类型，确定所述情绪信息的比重；
根据所述比重对所述场景类型和情绪信息进行优先级的排序，其中，所述优先级为用于匹配生成演奏音效的因素影响等级；
根据所述优先级，分别计算出所述场景类型和情绪信息在查询所述演奏音效对应关系表时的匹配比例；
根据所述场景类型和所述情绪信息，从预配置的演奏音效对应关系表中查询出所述比例的演奏音效。
本发明第二方面提供了一种演奏乐器的选择装置，包括：
场景获取模块，用于获取当前演奏现场的场景信息，其中，所述场景信息包括人物图像和环境图像；
场景分离模块，用于利用图像识别算法，对所述场景信息进行人物和环境的分离，得到人物图像和环境图像；
情绪识别模块，用于根据人脸识别算法，对所述人物图像中的人物进行面部识别处理，得到情绪信息；
场景类型识别模块，用于提取所述环境图像中的场景布局，基于所述场景布局从预设的演奏场景关系表中查询出与所述演奏现场对应的场景类型，其中，所述演奏场景关系表包括至少两个不同的演奏现场的场景布局的数据；
音效匹配模块，用于根据所述情绪信息和所述场景类型确定对应的演奏音效，并基于所述演奏音效对预先基于所述演奏现场配置的所有乐器进行音效特征的筛选，得到与所述情绪信息和所述场景类型相匹配的演奏乐器。
可选的，在本发明第一方面的第一种实现方式中，所述场景信息包括所述演奏现场的多帧图像数据；所述场景分离模块包括：
预处理单元，用于对多帧所述图像数据进行预处理，得到现场照片，其中所述预处理包括降噪和图像融合；
轮廓识别单元，用于利用所述图像识别算法中的轮廓描绘算法，对所述现场照片中的轮廓边缘特征进行检测，并绘制轮廓，得到人物轮廓和背景轮廓；
分离单元，用于利用所述图像识别算法中的前景和深景分离算法，将所述人物轮廓和所述背景轮廓对应的图像数据从所述现场照片中提取出来，得到前景照片和深景照片，其中所述前景照片包括人物图像数据，所述深景照片包括背景图像数据。
可选的，在本发明第一方面的第二种实现方式中，所述情绪识别模块包括：
表情提取单元，用于利用人脸识别算法，对所述前景照片中人脸的轮廓进行识别，并提取所述人脸中的表情特征，得到表情特征集；
情绪筛选单元，用于将所述表情特征集，与预设的表情与情绪的对应关系，确定所述人脸对应的情绪信息。
可选的，在本发明第一方面的第三种实现方式中，所述场景类型识别模块包括：
环境提取单元，用于将所述环境图像输入至预设的场景识别模型中，通过所述场景识别模型提取所述环境图像中的几何特征，得到环境特征集；
场景布局绘制单元，用于基于所述环境特征集绘制所述环境图像的场景布局，得到所述演奏现场的效果图；
场景类型查询单元，用于基于所述效果图，从预设的演奏场景关系表中查询出与所述演奏现场对应的场景类型。
可选的，在本发明第一方面的第四种实现方式中，所述演奏乐器的选择装置还包括：
乐器种类筛选模块，用于获取不同场景类型的演奏现场的音乐配置方案，其中所述音乐配置方案包括常用配乐歌曲的信息和演奏乐器的选择信息，所述配乐歌曲的信息包括演奏乐器的种类信息和歌曲类型的信息；根据所述场景类型及所述演奏乐器的种类信息，建立乐器使用数据库。其中，所述乐器使用数据库包括演奏乐器的种类与场景类型的对应关系表。
可选的，在本发明第一方面的第五种实现方式中，所述音效匹配模块包括：
演奏音效筛选单元，用于根据所述情绪信息和场景类型，从预配置的演奏音效对应关系表中查询出同时满足所述情绪信息和场景类型的演奏音效；
乐器种类查询单元，用于根据所述演奏音效，从所述乐器使用数据库中查询出与所述演奏音效对应的乐器的种类信息；
音色特征提取单元，用于利用音频识别技术，提取所述乐器的种类信息对应的乐器所产生的音色特征；
乐器选择单元，用于将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，选择匹配度大于预设匹配值的乐器作为所述演奏现场的演奏乐器。
可选的，在本发明第一方面的第六种实现方式中，所述演奏音效筛选单元包括：
权重设置子单元，用于根据所述场景类型，确定所述情绪信息的比重；
优先级设置子单元，用于根据所述比重对所述场景类型和情绪信息进行优先级的排序，其中，所述优先级为用于匹配生成演奏音效的因素影响等级；
匹配子单元，用于根据所述优先级，分别计算出所述场景类型和情绪信息在查询所述演奏音效对应关系表时的匹配比例；
查询子单元，用于根据所述场景类型和所述情绪信息，从预配置的演奏音效对应关系表中查询出所述比例的演奏音效。
本发明第三方面提供了一种演奏乐器的选择设备，包括：
存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述演奏乐器的选择设备执行上述的演奏乐器的选择方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的演奏乐器的选择方法。
本发明提供的技术方案中，获取当前演奏现场的场景信息后对获得的信息进行处理，得到当前演奏场景中人物的情绪信息以及当前的演奏场景类型；根据得到的情绪信息和演奏场景类型，确定对应的演奏音效，根据演奏音效进行音效特征的筛选，从而选择出符合当前演奏现场需求的演奏乐器。这种演奏乐器的选择方法能够自动、智能地选择适合当前演奏所需的乐器，降低了非专家或编曲创作经验不够的人的创作难度。
附图说明
图1为本发明实施例中演奏乐器的选择方法的第一种实施例的流程示意图；
图2为本发明实施例中演奏乐器的选择方法的第二种实施例的流程示意图；
图3为本发明实施例中演奏乐器的选择方法的第三种实施例的流程示意图；
图4为本发明实施例中演奏乐器的选择方法的第四种实施例的流程示意图；
图5为本发明实施例中演奏乐器的选择方法的第五种实施例的流程示意图；
图6为本发明实施例中演奏乐器的选择装置的第一种实施例示意图；
图7为本发明实施例中演奏乐器的选择装置的第二种实施例示意图；
图8为本发明实施例中演奏乐器的选择设备的一个实施例示意图。
具体实施方式
本发明实施例针对现有技术中，缺少对演奏乐器的自动化选择的方法，对于非专家或创作经验不够的人来说，在创作乐曲时选择乐器的门槛较高、难度较大且过程较为繁琐的问题，提供了一种演奏乐器的选择方法、装置、设备及存储介质。通过获取当前演奏现场的场景信息后对获得的信息进行处理，得到当前演奏场景中人物的情绪信息以及当前的演奏场景类型；根据得到的情绪信息和演奏场景类型，确定对应的演奏音效，根据演奏音效进行音效特征的筛选，从而选择出符合当前演奏现场需求的演奏乐器。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的第一种实施例的具体流程进行描述，请参阅图1，本发明实施例中演奏乐器的选择方法的具体包括如下步骤：
101、获取当前演奏现场的场景信息；
在本步骤中，所述场景信息包括人物图像和环境图像，具体的，获取当前演奏现场的场景信息的方式为通过摄像头对当前的演奏现场场景进行拍摄，所述的演奏现场场景信息可以包括活动的时间信息、参加当前演奏活动的人数信息、活动场景的图像信息等。
在本实施例中，场景信息的图像信息中还包括图像中的人物或物体距拍摄地点的距离。
可以理解的是，本发明的执行主体可以为演奏乐器的选择装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
102、利用图像识别算法，对场景信息进行人物和环境的分离，得到人物图像和环境图像；
利用图像识别算识别出所述场景信息中的人物图像和环境图像，并绘制出所述场景信息中物品的轮廓，根据获得的轮廓将所述场景信息中的人物图像和环境图像进行分离，分离得到人物图像和环境图像。
103、根据人脸识别算法，对人物图像中的人物进行面部识别处理，得到情绪信息；
在该步骤中，该面部识别处理具体可以采用模型的方式进行识别，具体的，首先建立表情与情绪的识别模型，然后，调用该识别模型对人物图像中的人物的面部信息进行识别，以得到情绪信息。
在实际应用中，首先获取各种情绪时人物的面部表情图像数据库，其中面部表情图像数据库中包括这些面部表情的情绪特征的关键词。使用面部表情图像数据库对深度学习神经网络进行训练以及测试，建立出表情与情绪的识别模型。
利用图像识别算法对上步骤中得到的所述人物图像进行几何特征的提取，根据面部的几何特征识别出当前场景中所有人物面部的表情特征。根据表情与情绪的识别模型，将获得到的表情特征进行查询，确定当前演奏场景下人物的情绪信息。
104、提取环境图像中的场景布局，基于场景布局从预设的演奏场景关系表中查询出与演奏现场对应的场景类型；
其中，所述演奏场景关系表包括至少两个不同的演奏现场的场景布局的数据，所述场景类型指的是不同的演奏现场，例如，在佛教中，其可以包括：“瑜伽焰口”、“斋天”、“水陆法会”等；预先获得各种场景类型下场景的不同布置，例如“瑜伽焰口”这一场景的场景布局就包括有大殿、佛像、法坛、莲座等。在具体实施中可根据这些场景布局包含的信息查询到对应的场景类型。
105、根据情绪信息和场景类型确定对应的演奏音效，并基于演奏音效对预先基于演奏现场配置的所有乐器进行音效特征的筛选，得到与情绪信息和场景类型相匹配的演奏乐器。
在此步骤中，首先建立情绪信息与演奏音效的关系库以及场景类型与演奏音效的关系库，收集现有演奏乐曲中各种演奏音效的情绪信息，建立情绪信息与演奏音效的关系库；收集各种场景类型下常用的演奏音效信息，建立场景类型与演奏音效的关系库。根据步骤103、步骤104中获得到的情绪信息和场景类型，综合判断出当前场景下适宜的演奏音效。
根据获得到的当前场景的演奏音效，在所述乐器使用数据库中查询出与所述演奏音效对应的乐器的种类信息。利用音频识别技术，提取所述乐器的种类信息对应的乐器所产生的音色特征，将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，选择匹配度大于预设匹配值的乐器作为所述演奏现场的演奏乐器。
本发明实施例中，通过获取当前演奏现场的场景信息后对获得的信息进行处理，得到当前演奏场景中人物的情绪信息以及当前的演奏场景类型；根据得到的情绪信息和演奏场景类型，确定对应的演奏音效，根据演奏音效进行音效特征的筛选，从而选择出符合当前演奏现场需求的演奏乐器。这种演奏乐器的选择方法能够自动、智能地选择适合当前演奏所需的乐器，降低了非专家或编曲创作经验不够的人的创作难度。
请参阅图2，本发明实施例中演奏乐器的选择方法的另一个实施例包括：
201、通过手机摄像头获取当前演奏现场的场景信息；
在本步骤中，所述场景信息包括人物图像和环境图像，具体的，获取当前演奏现场的场景信息的方式为通过摄像头对当前的演奏现场场景进行拍摄。在本实施例中，通过移动终端如手机摄像头进行对当前演奏现场的场景信息的获取。
所述的演奏现场场景信息可以包括活动的时间信息、参加当前演奏活动的人数信息、活动场景的图像信息等。在本实施例中，场景信息的图像信息中还包括图像中的人物或物体距拍摄地点的距离数据。
202、对场景信息进行降噪和图像融合处理，对处理后的图片进行边缘增强处理并绘制出闭合的边缘轮廓，使前景和深景分离，得到其中的人物图像和环境图像；
对上步骤中拍摄获得到的场景信息进行预处理。在本实施例中，拍摄获得到的演奏现场的图像包括演奏现场的多帧图像数据。首先对这些图像数据进行滤波处理，去除掉图片中的噪声。其中，该多帧图像数据中包括对同一场景在短时间内的连续拍摄获得的图像组。所述的图像组中包括有不同的对焦范围的图像，例如图像组中包括有对人物对焦的图像和对背景对焦的图像，对这些图像组中的图像内容进行识别，将图像组中的图像进行提取、融合，融合后获得清晰度最高且包含信息最多的一帧图像。
接下来对预处理后的图片进行边缘增强处理。现有技术中一般认为，在一张图片中，物品边缘处的亮度会产生变化，且越明显的边缘其亮度变化会越明显。为了提高本实施例中对图片边缘的识别效果，对预处理后的图片进行提高对比度的处理，将处理后的图片信息转化为图片亮度信息，对图片亮度计算一阶及二阶导数，得到图片亮度的梯度信息以及图片亮度的梯度变化率信息。根据图片亮度的梯度信息及图片亮度的梯度变化率信息绘制场景图片中各种物体的边缘，其中，根据闭合的边缘确定物体的轮廓，从而获得人物轮廓和背景轮廓。
在本具体实施例中，在步骤201中获得演奏场景的图像信息中还包括有图像中的人物或物体距拍摄地点的距离数据，根据获得到的人物或物体距拍摄地点的距离数据以及绘制好轮廓边缘，达到前景和深景的分离。其中，前景包括人物图像数据，深景中包括背景图像数据。
203、建立表情与情绪的识别模型，对所述人物图像中的人物进行姿态调整后根据人脸识别算法进行面部识别处理，得到情绪信息；
本步骤分为两个方面，第一方面为预先建立表情与情绪的识别模型。首先获取各种情绪时人物的面部表情图像数据库，其中面部表情图像数据库中包括这些面部表情的情绪特征的关键词。使用面部表情图像数据库对深度学习神经网络进行训练以及测试，建立出表情与情绪的识别模型。
本步骤的第二方面为对所述人物图像中的人物进行面部识别的处理。获取在步骤202中，分离得到的人物图像，在本实施例中，从一个场景中提取出至少一个分离出的人物图像。利用面部识别技术中的3D对齐技术将所述人物图像中的人脸图像调整到典型姿态下，随后提取面部的几何特征点，根据面部的几何特征点信息识别出当前场景中所有人物面部的表情特征集。根据表情与情绪的识别模型，将获得到的表情特征集对应的情绪进行查询，确定当前演奏场景下人物的情绪信息。
204、建立演奏场景关系表，提取环境图像中的场景布局，基于场景布局从预设的演奏场景关系表中查询出与演奏现场对应的场景类型；
本步骤分为三个方面，其中第一方面为预先建立演奏场景关系表。首先获取现有资料中各种演奏场景中的场景布局特征。例如，获得到一定量的交响乐的演奏场景信息，进行归类筛选后整理出此种演奏场景地点经常在音乐厅内，其场景布局中基本都包括指挥台、阶梯听众席等；在佛教的演奏场景中，其还包括不同的法事演奏场景，如：“瑜伽焰口”、“斋天”、“水陆法会”等；预先获得各种场景类型下场景的不同布置，例如“瑜伽焰口”这一场景的场景布局中基本包括有大殿、佛像、法坛、莲座等，其摆放方式也有一定的规律，故在具体实施中可根据这些场景布局包含的信息查询到对应的场景类型。将这些布局特征进行归类筛选提取根据这些演奏场景中的场景布局特征信息建立演奏场景关系表。
本步骤的第二方面，建立场景识别模型，预先获得各种场景中布局的图片以及场景的信息，使用所述各种场景中布局的图片以及场景的信息对深度学习神经网络进行训练，获得场景识别模型。
本步骤的第三方面，将步骤202中分离出的环境图像，输入至本步骤中建立的场景识别模型中，利用场景识别模型提取所述环境图像中的几何特征，得到环境特征集。基于所述环境特征集绘制所述环境图像的场景布局，得到所述演奏现场的效果图，根据获得到的演奏现场的效果图从本步骤中建立演奏场景关系表中查询出与所述演奏现场对应的场景类型。
205、根据情绪信息和场景类型确定对应的演奏音效，并基于演奏音效对预先基于演奏现场配置的所有乐器进行音效特征的筛选，得到与情绪信息和场景类型相匹配的演奏乐器。
在此步骤中，首先建立情绪信息与演奏音效的关系库以及场景类型与演奏音效的关系库，收集现有演奏乐曲中各种演奏音效的情绪信息，建立情绪信息与演奏音效的关系库；收集各种场景类型下常用的演奏音效信息，建立场景类型与演奏音效的关系库。根据步骤203、步骤204中获得到的情绪信息和场景类型，综合判断出当前场景下适宜的演奏音效。
根据获得到的当前场景的演奏音效，在所述乐器使用数据库中查询出与所述演奏音效对应的乐器的种类信息。利用音频识别技术，提取所述乐器的种类信息对应的乐器所产生的音色特征，将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，选择匹配度大于预设匹配值的乐器作为所述演奏现场的演奏乐器。
本发明实施例中，通过获取当前演奏现场的场景信息后对获得的信息进行处理，得到当前演奏场景中人物的情绪信息以及当前的演奏场景类型；根据得到的情绪信息和演奏场景类型，确定对应的演奏音效，根据演奏音效进行音效特征的筛选，从而选择出符合当前演奏现场需求的演奏乐器。这种演奏乐器的选择方法能够自动、智能地选择适合当前演奏所需的乐器，降低了非专家或编曲创作经验不够的人的创作难度。
请参阅图3，本发明实施例中演奏乐器的选择方法的另一个实施例包括：
301、通过手机摄像头获取当前演奏现场的场景信息；
在本步骤中，所述场景信息包括人物图像和环境图像，具体的，获取当前演奏现场的场景信息的方式为通过摄像头对当前的演奏现场场景进行拍摄。在本实施例中，通过移动终端如手机摄像头进行对当前演奏现场的场景信息的获取。
所述的演奏现场场景信息可以包括活动的时间信息、参加当前演奏活动的人数信息、活动场景的图像信息等。在本实施例中，场景信息的图像信息中还包括图像中的人物或物体距拍摄地点的距离数据。
302、对场景信息进行降噪和图像融合处理，对处理后的图片进行边缘增强处理并绘制出闭合的边缘轮廓，使前景和深景分离，得到其中的人物图像和环境图像；
对上步骤中拍摄获得到的场景信息进行预处理。在本实施例中，拍摄获得到的演奏现场的图像包括演奏现场的多帧图像数据。首先对这些图像数据进行滤波处理，去除掉图片中的噪声以备下一步处理。其中，该多帧图像数据中包括对同一场景在短时间内的连续拍摄获得的图像组。所述的图像组中包括有不同的对焦范围的图像，例如图像组中包括有对人物对焦的图像和对背景对焦的图像，对这些图像组中的图像内容进行识别，将图像组中的图像进行提取、融合后获得清晰度最高且包含信息最多的一帧图像。
接下来对预处理后的图片进行边缘增强处理。现有技术中一般认为，在一张图片中，物品边缘处的亮度会产生变化，且越明显的边缘其亮度变化会越明显。为了提高本实施例中对图片边缘的识别效果，对预处理后的图片进行提高对比度的处理，将处理后的图片信息转化为图片亮度信息，对图片亮度计算一阶及二阶导数，得到图片亮度的梯度信息以及图片亮度的梯度变化率信息。根据图片亮度的梯度信息及图片亮度的梯度变化率信息绘制场景图片中各种物体的边缘，其中，根据闭合的边缘确定物体的轮廓。
在本实施例中，在步骤301中获得演奏场景的图像信息中还包括有图像中的人物或物体距拍摄地点的距离数据，根据获得到的人物或物体距拍摄地点的距离数据以及绘制好轮廓边缘，达到前景和深景的分离。其中，前景包括人物图像数据，深景中包括背景图像数据。
303、建立表情与情绪的识别模型，对所述人物图像中的人物进行姿态调整后根据人脸识别算法进行面部识别处理，得到情绪信息；
本步骤分为两个方面，第一方面为预先建立表情与情绪的识别模型。首先获取各种情绪时人物的面部表情图像数据库，其中面部表情图像数据库中包括这些面部表情的情绪特征的关键词。使用面部表情图像数据库对深度学习神经网络进行训练以及测试，建立出表情与情绪的识别模型。
本步骤的第二方面为对所述人物图像中的人物进行面部识别的处理。获取在步骤302中，分离得到的人物图像，在本实施例中，从一个场景中提取出至少一个分离出的人物图像。利用面部识别技术中的3D对齐技术将所述人物图像中的人脸图像调整到典型姿态下，随后提取面部的几何特征点，根据面部的几何特征点信息识别出当前场景中所有人物面部的表情特征集。根据表情与情绪的识别模型，将获得到的表情特征集对应的情绪进行查询，确定当前演奏场景下人物的情绪信息。
304、建立演奏场景关系表，提取环境图像中的场景布局，基于场景布局从预设的演奏场景关系表中查询出与演奏现场对应的场景类型；
本步骤分为三个方面，其中第一方面为预先建立演奏场景关系表。首先获取现有资料中各种演奏场景中的场景布局特征。例如，获得到一定量的交响乐的演奏场景信息，进行归类筛选后整理出此种演奏场景地点经常在音乐厅内，其场景布局中基本都包括指挥台、阶梯听众席等；在佛教的演奏场景中，其还包括不同的法事演奏场景，如：“瑜伽焰口”、“斋天”、“水陆法会”等；预先获得各种场景类型下场景的不同布置，例如“瑜伽焰口”这一场景的场景布局中基本包括有大殿、佛像、法坛、莲座等，其摆放方式也有一定的规律，故在具体实施中可根据这些场景布局包含的信息查询到对应的场景类型。将这些布局特征进行归类筛选提取根据这些演奏场景中的场景布局特征信息建立演奏场景关系表。
本步骤的第二方面，建立场景识别模型，预先获得各种场景中布局的图片以及场景的信息，使用所述各种场景中布局的图片以及场景的信息对深度学习神经网络进行训练，获得场景识别模型。
本步骤的第三方面，将步骤302中分离出的环境图像，输入至本步骤中建立的场景识别模型中，利用场景识别模型提取所述环境图像中的几何特征，得到环境特征集。基于所述环境特征集绘制所述环境图像的场景布局，得到所述演奏现场的效果图，根据获得到的演奏现场的效果图从本步骤中建立演奏场景关系表中查询出与所述演奏现场对应的场景类型。
305、获取不同场景类型的演奏现场的音乐配置方案，建立乐器使用数据库；
获取现有的不同场景类型的演奏现场的音乐配置方案。其中，所述音乐配置方案包括常用配乐歌曲的信息和演奏乐器的选择信息，所述配乐歌曲的信息还包括演奏乐器的种类信息和歌曲类型的信息。
具体地，可以从网络上现有的分类歌曲列表中获得歌曲演奏乐器的种类信息和歌曲类型的信息，并根据获得到的所述场景类型及所述演奏乐器的种类信息，建立乐器使用数据库。其中，所述乐器使用数据库包括乐器的音色信息以及演奏乐器的种类与场景类型的对应关系表。
306、根据乐器使用数据库，通过情绪信息和场景类型筛选出当前场景适用的演奏音效，根据当前场景适用的演奏音效，选择匹配度大于预设匹配值的演奏乐器。
根据步骤303中获得到的所述情绪信息在步骤305中获得的乐器使用数据库中筛选出与所述情绪信息对应的第一音色；根据步骤304中获得到的所述场景类型在步骤305中获得的乐器使用数据库中筛选出与所述场景类型对应的第二音色，选择具有所述第一音色和第二音色的交集的演奏音效种类作为当前场景的演奏音效。
根据获得到的当前场景的演奏音效，在所述乐器使用数据库中查询出与所述演奏音效对应的乐器的种类信息。利用音频识别技术，提取所述乐器的种类信息对应的乐器所产生的音色特征，将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，选择匹配度大于预设匹配值的乐器作为所述演奏现场的演奏乐器。
在具体例子中，例如获得到的情绪是“悲伤”、“怜悯”的情绪信息，且在所述乐器使用数据库中筛选出与“悲伤”、“怜悯”对应的音色为“婉转”、“空灵”、“低沉”；同时，根据判断出的演奏现场类型是佛教活动“瑜伽焰口”时，则从乐器使用数据库中筛选出与此种场景类型对应的音色为“婉转”、“空灵”、“低沉”、“圆润”；则选择具有“婉转”、“空灵”等音色的演奏音效作为当前演奏场景的演奏音效。随后，根据获得到的“婉转”、“空灵”的演奏音效，在所述乐器使用数据库中查询到对应的乐器种类信息，利用音频识别技术，提取所述乐器的种类信息对应的乐器所产生的音色特征，将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，本实施例中，计算得出引磬、铙钹等乐器的匹配值大于预设匹配值，则可以选择引磬、铙钹作为所述演奏现场的演奏乐器。
本发明实施例中，通过获取当前演奏现场的场景信息后对获得的信息进行处理，得到当前演奏场景中人物的情绪信息以及当前的演奏场景类型；根据得到的情绪信息和演奏场景类型，确定对应的演奏音效，根据演奏音效进行音效特征的筛选，从而选择出符合当前演奏现场需求的演奏乐器。这种演奏乐器的选择方法能够自动、智能地选择适合当前演奏所需的乐器，降低了非专家或编曲创作经验不够的人的创作难度。
请参阅图4，本发明实施例中演奏乐器的选择方法的另一个实施例包括：
401、通过手机摄像头获取当前演奏现场的场景信息；
在本步骤中，所述场景信息包括人物图像和环境图像，具体的，获取当前演奏现场的场景信息的方式为通过摄像头对当前的演奏现场场景进行拍摄。在本实施例中，通过移动终端如手机摄像头进行对当前演奏现场的场景信息的获取。
所述的演奏现场场景信息可以包括活动的时间信息、参加当前演奏活动的人数信息、活动场景的图像信息等。在本实施例中，场景信息的图像信息中还包括图像中的人物或物体距拍摄地点的距离数据。
402、对场景信息进行降噪和图像融合处理，对处理后的图片进行边缘增强处理并绘制出闭合的边缘轮廓，使前景和深景分离，得到其中的人物图像和环境图像；
对上步骤中拍摄获得到的场景信息进行预处理。在本实施例中，拍摄获得到的演奏现场的图像包括演奏现场的多帧图像数据。首先对这些图像数据进行滤波处理，去除掉图片中的噪声以备下一步处理。其中，该多帧图像数据中包括对同一场景在短时间内的连续拍摄获得的图像组。所述的图像组中包括有不同的对焦范围的图像，例如图像组中包括有对人物对焦的图像和对背景对焦的图像，对这些图像组中的图像内容进行识别，将图像组中的图像进行提取、融合后获得清晰度最高且包含信息最多的一帧图像。
接下来对预处理后的图片进行边缘增强处理。现有技术中一般认为，在一张图片中，物品边缘处的亮度会产生变化，且越明显的边缘其亮度变化会越明显。为了提高本实施例中对图片边缘的识别效果，对预处理后的图片进行提高对比度的处理，将处理后的图片信息转化为图片亮度信息，对图片亮度计算一阶及二阶导数，得到图片亮度的梯度信息以及图片亮度的梯度变化率信息。根据图片亮度的梯度信息及图片亮度的梯度变化率信息绘制场景图片中各种物体的边缘，其中，根据闭合的边缘确定物体的轮廓。
在本实施例中，在步骤401中获得演奏场景的图像信息中还包括有图像中的人物或物体距拍摄地点的距离数据，根据获得到的人物或物体距拍摄地点的距离数据以及绘制好轮廓边缘，达到前景和深景的分离。其中，前景包括人物图像数据，深景中包括背景图像数据。
403、建立表情与情绪的识别模型，对所述人物图像中的人物进行姿态调整后根据人脸识别算法进行面部识别处理，得到情绪信息；
本步骤分为两个方面，第一方面为预先建立表情与情绪的识别模型。首先获取各种情绪时人物的面部表情图像数据库，其中面部表情图像数据库中包括这些面部表情的情绪特征的关键词。使用面部表情图像数据库对深度学习神经网络进行训练以及测试，建立出表情与情绪的识别模型。
本步骤的第二方面为对所述人物图像中的人物进行面部识别的处理。获取在步骤402中，分离得到的人物图像，在本实施例中，从一个场景中提取出至少一个分离出的人物图像。利用面部识别技术中的3D对齐技术将所述人物图像中的人脸图像调整到典型姿态下，随后提取面部的几何特征点，根据面部的几何特征点信息识别出当前场景中所有人物面部的表情特征集。根据表情与情绪的识别模型，将获得到的表情特征集对应的情绪进行查询，确定当前演奏场景下人物的情绪信息。
404、建立演奏场景关系表，提取环境图像中的场景布局，基于场景布局从预设的演奏场景关系表中查询出与演奏现场对应的场景类型；
本步骤分为三个方面，其中第一方面为预先建立演奏场景关系表。首先获得各种演奏场景中的场景布局特征。例如，交响乐的演奏场景经常在音乐厅内，其场景中包括较为指挥台、阶梯听众席等；佛教活动的演奏场景在宗教的大殿内，具有按一定规律布局的佛像和法坛等。根据这些信息建立演奏场景关系表。
本步骤的第二方面，建立场景识别模型，预先获得各种场景中布局的图片以及场景的信息，使用所述各种场景中布局的图片以及场景的信息对深度学习神经网络进行训练，获得场景识别模型。
本步骤的第三方面，将步骤402中分离出的环境图像，输入至本步骤中建立的场景识别模型中，利用场景识别模型提取所述环境图像中的几何特征，得到环境特征集。基于所述环境特征集绘制所述环境图像的场景布局，得到所述演奏现场的效果图，根据获得到的演奏现场的效果图从本步骤中建立演奏场景关系表中查询出与所述演奏现场对应的场景类型。
405、获取不同场景类型的演奏现场的音乐配置方案，建立乐器使用数据库；
获取现有的不同场景类型的演奏现场的音乐配置方案。其中，所述音乐配置方案包括常用配乐歌曲的信息和演奏乐器的选择信息，所述配乐歌曲的信息还包括演奏乐器的种类信息和歌曲类型的信息。
具体地，可以从网络上现有的分类歌曲列表中获得歌曲演奏乐器的种类信息和歌曲类型的信息，并根据获得到的所述场景类型及所述演奏乐器的种类信息，建立乐器使用数据库。其中，所述乐器使用数据库包括乐器的音色信息以及演奏乐器的种类与场景类型的对应关系表。
406、判断当前场景下情绪信息和场景类型的优先级，计算出情绪信息和场景类型影响演奏音效的匹配比例，根据乐器使用数据库，筛选得到与所述情绪信息和所述场景类型相匹配的演奏乐器。
由于不同的演奏场景与情绪的关联程度不同，故首先根据所述场景类型，确定所述情绪信息的比重；根据所述比重对所述场景类型和情绪信息进行优先级的排序，其中，所述优先级为用于匹配生成演奏音效的因素影响等级；根据所述优先级，分别计算出所述场景类型和情绪信息在查询所述演奏音效对应关系表时的匹配比例；根据所述场景类型和所述情绪信息，从预配置的演奏音效对应关系表中查询出所述比例的演奏音效。
根据获得到的当前场景的演奏音效，在所述乐器使用数据库中查询出与所述演奏音效对应的乐器的种类信息。利用音频识别技术，提取所述乐器的种类信息对应的乐器所产生的音色特征，将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，选择匹配度大于预设匹配值的乐器作为所述演奏现场的演奏乐器。
在具体例子中，例如获得到的情绪是“悲伤”、“怜悯”的情绪信息，且在所述乐器使用数据库中筛选出与“悲伤”、“怜悯”对应的音色为“婉转”、“空灵”、“低沉”；同时，根据判断出的演奏现场类型是佛教活动“瑜伽焰口”时，则从乐器使用数据库中筛选出与此种场景类型对应的音色为“婉转”、“空灵”、“低沉”、“圆润”；则选择具有“婉转”、“空灵”等音色的演奏音效作为当前演奏场景的演奏音效。随后，根据获得到的“婉转”、“空灵”的演奏音效，在所述乐器使用数据库中查询到对应的乐器种类信息，利用音频识别技术，提取所述乐器的种类信息对应的乐器所产生的音色特征，将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，本实施例中，计算得出引磬、铙钹等乐器的匹配值大于预设匹配值，则可以选择引磬、铙钹作为所述演奏现场的演奏乐器。
本发明实施例中，通过获取当前演奏现场的场景信息后对获得的信息进行处理，得到当前演奏场景中人物的情绪信息以及当前的演奏场景类型；根据得到的情绪信息和演奏场景类型，确定场景类型和情绪信息与演奏音效的优先级，通过优先级计算匹配比例并确定对应的演奏音效，根据演奏音效进行音效特征的筛选，从而选择出符合当前演奏现场需求的演奏乐器。这种演奏乐器的选择方法能够自动、智能地选择适合当前演奏所需的乐器，降低了非专家或编曲创作经验不够的人的创作难度。
请参阅图5，本发明实施例中演奏乐器的选择方法的另一个实施例包括：
501、获取当前佛教活动演奏现场的场景信息；
在本步骤中，所述场景信息包括人物图像和环境图像，具体的，获取当前佛教活动演奏现场的场景信息的方式为通过摄像头对当前的佛教活动演奏现场进行拍摄。在本实施例中，使用摄像机或摄影机对当前佛教活动的场景进行拍摄，得到当前佛教活动场景的图像或者视频，得到的当前场景的图像或者视频中包括参加当前佛教活动的人物以及当前佛教活动的场所、场所布置等的图像。
所述的佛教活动演奏现场的场景信息可以包括佛教活动的时间信息、参加当前佛教活动的僧人人数信息、当前佛教活动场景布置的图像信息等。在本实施例中，佛教活动场景信息的图像信息中还包括图像中的僧人或物体距拍摄地点的距离数据。
502、对场景信息进行降噪和图像融合处理，对处理后的图片进行边缘增强处理并绘制出闭合的边缘轮廓，使前景和深景分离，得到其中的僧人图像和佛教活动环境图像；
对上步骤中拍摄获得到的佛教活动场景信息进行预处理。在本实施例中，拍摄获得到的佛教活动演奏现场的图像包括佛教活动演奏现场的多帧图像数据。首先对这些图像数据进行滤波处理，去除掉图片中的噪声以备下一步处理。其中，该多帧图像数据中包括对同一场景在短时间内的连续拍摄获得的图像组。所述的图像组中包括有不同的对焦范围的图像，例如图像组中包括有对僧人对焦的图像和对佛教活动的背景对焦的图像，对这些图像组中的图像内容进行识别，将图像组中的图像进行提取、融合后获得清晰度最高且包含信息最多的一帧图像。
接下来对预处理后的图片进行边缘增强处理。现有技术中一般认为，在一张图片中，物品边缘处的亮度会产生变化，且越明显的边缘其亮度变化会越明显。为了提高本实施例中对图片边缘的识别效果，对预处理后的图片进行提高对比度的处理，将处理后的图片信息转化为图片亮度信息，对图片亮度计算一阶及二阶导数，得到图片亮度的梯度信息以及图片亮度的梯度变化率信息。根据图片亮度的梯度信息及图片亮度的梯度变化率信息绘制佛教活动场景图片中各种物体的边缘，其中，根据闭合的边缘确定物体的轮廓。
在本实施例中，在步骤501中获得佛教活动演奏场景的图像信息中还包括有图像中的僧人或物体距拍摄地点的距离数据，根据获得到的僧人或物体距拍摄地点的距离数据以及绘制好的轮廓边缘，达到前景和深景的分离。其中，前景包括僧人图像数据，深景中包括背景图像数据。
503、建立表情与情绪的识别模型，对所述僧人图像中的僧人进行姿态调整后根据人脸识别算法进行面部识别处理，得到情绪信息；
本步骤分为两个方面，第一方面为预先建立表情与情绪的识别模型。首先获取各种情绪时僧人的面部表情图像数据库，其中僧人的面部表情图像数据库中包括这些面部表情的情绪特征的关键词。使用面部表情图像数据库对深度学习神经网络进行训练以及测试，建立出表情与情绪的识别模型。
本步骤的第二方面为对所述僧人图像中的僧人进行面部识别的处理。获取在步骤502中，分离得到的僧人图像，在本实施例中，从一个佛教活动场景中提取出至少一个分离出的僧人图像。利用面部识别技术中的3D对齐技术将所述僧人图像中的人脸图像调整到典型姿态下，随后提取僧人面部的几何特征点，根据面部的几何特征点信息识别出当前场景中所有僧人面部的表情特征集。根据表情与情绪的识别模型，将获得到的表情特征集对应的情绪进行查询，确定当前佛教活动演奏场景下僧人的情绪信息。
504、建立佛教活动演奏场景关系表，提取环境图像中的佛教活动场景布局，基于佛教活动场景布局从预设的佛教活动演奏场景关系表中查询出与佛教活动对应的佛教活动场景类型；
本步骤分为三个方面，其中第一方面为预先建立佛教活动场景关系表。首先获得各种佛教活动场景中的场景布局特征。例如，一般佛教活动的演奏场景在宗教的大殿内，具有按一定规律布置的佛像、法坛、招魂幡等物品。根据这些信息建立佛教活动场景关系表。
本步骤的第二方面，建立场景识别模型，预先获得各种佛教活动场景中布局的图片以及佛教活动场景的信息，使用所述各种佛教活动场景中布局的图片以及佛教活动场景的信息对深度学习神经网络进行训练，获得场景识别模型。
本步骤的第三方面，将步骤502中分离出的佛教活动环境图像，输入至本步骤中建立的场景识别模型中，利用场景识别模型提取所述佛教活动环境图像中的几何特征，得到环境特征集。基于所述环境特征集绘制所述环境图像的场景布局，得到所述佛教活动演奏现场的效果图，根据获得到的佛教活动演奏现场的效果图从本步骤中建立演奏场景关系表中查询出与所述佛教活动演奏现场对应的场景类型。
505、获取不同佛教活动场景类型的佛教活动演奏现场的音乐配置方案，建立乐器使用数据库；
获取现有的不同佛教活动场景类型的演奏现场的音乐配置方案。其中，所述音乐配置方案包括佛教活动常用配乐歌曲的信息和佛教活动演奏乐器的选择信息，所述配乐歌曲的信息还包括佛教常用乐器的种类信息和佛教歌曲类型的信息。
具体地，可以从网络上现有的分类歌曲列表中获得歌曲所使用的佛教乐器的种类信息和佛教歌曲类型的信息，并根据获得到的所述佛教活动场景类型及所述佛教乐器的种类信息，建立佛教乐器使用数据库。其中，所述佛教乐器使用数据库包括乐器的音色信息以及演奏乐器的种类与场景类型的对应关系表。
506、判断当前场景下情绪信息和场景类型的优先级，计算出情绪信息和场景类型影响演奏音效的匹配比例，根据佛教乐器使用数据库，筛选得到与所述情绪信息和所述佛教活动场景类型相匹配的演奏乐器。
由于不同的佛教活动演奏场景与情绪的关联程度不同，故首先根据所述场景类型，确定所述情绪信息的比重；根据所述比重对所述场景类型和情绪信息进行优先级的排序，其中，所述优先级为用于匹配生成演奏音效的因素影响等级；根据所述优先级，分别计算出所述场景类型和情绪信息在查询所述演奏音效对应关系表时的匹配比例；根据所述场景类型和所述情绪信息，从预配置的演奏音效对应关系表中查询出所述比例的演奏音效。
根据获得到的当前场景的演奏音效，在所述佛教乐器使用数据库中查询出与所述演奏音效对应的乐器的种类信息。利用音频识别技术，提取所述佛教乐器的种类信息对应的佛教乐器所产生的音色特征，将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，选择匹配度大于预设匹配值的乐器作为所述佛教活动演奏现场的演奏乐器。
在具体例子中，例如获得到的情绪是“悲伤”、“怜悯”的情绪信息，且在所述乐器使用数据库中筛选出与“悲伤”、“怜悯”对应的音色为“婉转”、“空灵”、“低沉”；同时，根据判断出的演奏现场类型是佛教活动“瑜伽焰口”时，则从乐器使用数据库中筛选出与此种场景类型对应的音色为“婉转”、“空灵”、“低沉”、“圆润”；则选择具有“婉转”、“空灵”等音色的演奏音效作为当前演奏场景的演奏音效。随后，根据获得到的“婉转”、“空灵”的演奏音效，在所述乐器使用数据库中查询到对应的乐器种类信息，利用音频识别技术，提取所述乐器的种类信息对应的乐器所产生的音色特征，将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，本实施例中，计算得出引磬、铙钹等乐器的匹配值大于预设匹配值，则可以选择引磬、铙钹作为所述演奏现场的演奏乐器。
本发明实施例中，通过获取当前佛教活动的场景信息后对获得的信息进行处理，得到当前佛教活动现场中的僧人的情绪信息以及当前的佛教活动类型；根据得到的情绪信息和佛教活动类型，确定场景类型和情绪信息与演奏音效的优先级，通过优先级计算匹配比例并确定对应的演奏音效，根据需要的演奏音效选择出符合当前特征需求的佛教乐器。这种演奏乐器的选择方法能够自动、智能地选择乐器进行编曲，提高了推荐的乐器的匹配度，大大降低了非专家或佛乐创作经验不够的人对佛乐的创作难度。
上面对本发明实施例中演奏乐器的选择方法进行了描述，下面对本发明实施例中演奏乐器的选择装置进行描述，请参阅图6，本发明实施例中演奏乐器的选择装置的一个实施例包括：
场景获取模块601，用于获取当前演奏现场的场景信息，其中，所述场景信息包括人物图像和环境图像；
场景分离模块602，用于利用图像识别算法，对所述场景信息进行人物和环境的分离，得到人物图像和环境图像；
情绪识别模块603，用于根据人脸识别算法，对所述人物图像中的人物进行面部识别处理，得到情绪信息；
场景类型识别模块604，用于提取所述环境图像中的场景布局，基于所述场景布局从预设的演奏场景关系表中查询出与所述演奏现场对应的场景类型，其中，所述演奏场景关系表包括至少两个不同的演奏现场的场景布局的数据；
音效匹配模块605，用于根据所述情绪信息和所述场景类型确定对应的演奏音效，并基于所述演奏音效对预先基于所述演奏现场配置的所有乐器进行音效特征的筛选，得到与所述情绪信息和所述场景类型相匹配的演奏乐器。
本发明实施例中，通过获取当前演奏现场的场景信息后对获得的信息进行处理，得到当前演奏场景中人物的情绪信息以及当前的演奏场景类型；根据得到的情绪信息和演奏场景类型，确定对应的演奏音效，根据演奏音效进行音效特征的筛选，从而选择出符合当前演奏现场需求的演奏乐器。这种演奏乐器的选择方法能够自动、智能地选择适合当前演奏所需的乐器，降低了非专家或编曲创作经验不够的人的创作难度。
请参阅图7，本发明实施例中的演奏乐器的选择装置的第二个实施例，该演奏乐器的选择装置具体包括：
场景获取模块601，用于获取当前演奏现场的场景信息，其中，所述场景信息包括人物图像和环境图像；
场景分离模块602，用于利用图像识别算法，对所述场景信息进行人物和环境的分离，得到人物图像和环境图像；
情绪识别模块603，用于根据人脸识别算法，对所述人物图像中的人物进行面部识别处理，得到情绪信息；
场景类型识别模块604，用于提取所述环境图像中的场景布局，基于所述场景布局从预设的演奏场景关系表中查询出与所述演奏现场对应的场景类型，其中，所述演奏场景关系表包括至少两个不同的演奏现场的场景布局的数据；
音效匹配模块605，用于根据所述情绪信息和所述场景类型确定对应的演奏音效，并基于所述演奏音效对预先基于所述演奏现场配置的所有乐器进行音效特征的筛选，得到与所述情绪信息和所述场景类型相匹配的演奏乐器。
可选的，所述场景信息包括所述演奏现场的多帧图像数据；所述场景分离模块具体包括：
预处理单元6021，用于对多帧所述图像数据进行预处理，得到现场照片，其中所述预处理包括降噪和图像融合；
轮廓识别单元6022，用于利用所述图像识别算法中的轮廓描绘算法，对所述现场照片中的轮廓边缘特征进行检测，并绘制轮廓，得到人物轮廓和背景轮廓；
分离单元6023，用于利用所述图像识别算法中的前景和深景分离算法，将所述人物轮廓和所述背景轮廓对应的图像数据从所述现场照片中提取出来，得到前景照片和深景照片，其中所述前景照片包括人物图像数据，所述深景照片包括背景图像数据。
可选的，所述情绪识别模块603包括：
表情提取单元6031，用于利用人脸识别算法，对所述前景照片中人脸的轮廓进行识别，并提取所述人脸中的表情特征，得到表情特征集；
情绪筛选单元6032，用于将所述表情特征集，与预设的表情与情绪的对应关系，确定所述人脸对应的情绪信息。
可选的，所述场景类型识别模块604包括：
环境提取单元6041，用于将所述环境图像输入至预设的场景识别模型中，通过所述场景识别模型提取所述环境图像中的几何特征，得到环境特征集；
场景布局绘制单元6042，用于基于所述环境特征集绘制所述环境图像的场景布局，得到所述演奏现场的效果图；
场景类型查询单元6043，用于基于所述效果图，从预设的演奏场景关系表中查询出与所述演奏现场对应的场景类型。
可选的，所述演奏乐器的选择装置还包括：
乐器种类筛选模块605，用于获取不同场景类型的演奏现场的音乐配置方案，其中所述音乐配置方案包括常用配乐歌曲的信息和演奏乐器的选择信息，所述配乐歌曲的信息包括演奏乐器的种类信息和歌曲类型的信息；根据所述场景类型及所述演奏乐器的种类信息，建立乐器使用数据库。其中，所述乐器使用数据库包括演奏乐器的种类与场景类型的对应关系表。
可选的，所述音效匹配模块605包括：
演奏音效筛选单元6051，用于根据所述情绪信息和场景类型，从预配置的演奏音效对应关系表中查询出同时满足所述情绪信息和场景类型的演奏音效；
乐器种类查询单元6052，用于根据所述演奏音效，从所述乐器使用数据库中查询出与所述演奏音效对应的乐器的种类信息；
音色特征提取单元6053，用于利用音频识别技术，提取所述乐器的种类信息对应的乐器所产生的音色特征；
乐器选择单元6054，用于将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，选择匹配度大于预设匹配值的乐器作为所述演奏现场的演奏乐器。
可选的，所述演奏音效筛选单元6051包括：
权重设置子单元，用于根据所述场景类型，确定所述情绪信息的比重；
优先级设置子单元，用于根据所述比重对所述场景类型和情绪信息进行优先级的排序，其中，所述优先级为用于匹配生成演奏音效的因素影响等级；
匹配子单元，用于根据所述优先级，分别计算出所述场景类型和情绪信息在查询所述演奏音效对应关系表时的匹配比例；
查询子单元，用于根据所述场景类型和所述情绪信息，从预配置的演奏音效对应关系表中查询出所述比例的演奏音效。
本发明实施例中，通过获取当前演奏现场的场景信息后对获得的信息进行处理，得到当前演奏场景中人物的情绪信息以及当前的演奏场景类型；根据得到的情绪信息和演奏场景类型，确定对应的演奏音效，根据演奏音效进行音效特征的筛选，从而选择出符合当前演奏现场需求的演奏乐器。这种演奏乐器的选择方法能够自动、智能地选择适合当前演奏所需的乐器，降低了非专家或编曲创作经验不够的人的创作难度。
以上从模块化功能实体的角度对本发明实施例中的一种演奏乐器的选择设备装置进行详细描述，下面从硬件处理的角度对本发明实施例中一种演奏乐器的选择设备进行详细描述。
图8是本发明实施例提供的一种演奏乐器的选择设备的结构示意图，该演奏乐器的选择设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示未标出)，每个模块可以包括对演奏乐器的选择设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在演奏乐器的选择设备700上执行存储介质730中的一系列指令操作。
演奏乐器的选择设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口740，一个或一个以上输入输出接口750，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图8示出的演奏乐器的选择设备结构并不构成对演奏乐器的选择设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种演奏乐器的选择设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述演奏乐器的选择方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述演奏乐器的选择方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种演奏乐器的选择方法，其特征在于，所述演奏乐器的选择方法包括：
获取当前演奏现场的场景信息，其中，所述场景信息包括人物图像和环境图像；
利用图像识别算法，对所述场景信息进行人物和环境的分离，得到人物图像和环境图像；
根据人脸识别算法，对所述人物图像中的人物进行面部识别处理，得到情绪信息；
提取所述环境图像中的场景布局，基于所述场景布局从预设的演奏场景关系表中查询出与所述演奏现场对应的场景类型，其中，所述演奏场景关系表包括至少两个不同的演奏现场的场景布局的数据；
获取不同场景类型的演奏现场的音乐配置方案，其中所述音乐配置方案包括常用配乐歌曲的信息和演奏乐器的选择信息，所述配乐歌曲的信息包括演奏乐器的种类信息和歌曲类型的信息；
根据所述场景类型及所述演奏乐器的种类信息，建立乐器使用数据库，其中，所述乐器使用数据库包括演奏乐器的种类与场景类型的对应关系表；
根据所述情绪信息和所述场景类型确定对应的演奏音效，并基于所述演奏音效对预先基于所述演奏现场配置的所有乐器进行音效特征的筛选，得到与所述情绪信息和所述场景类型相匹配的演奏乐器；
所述根据所述情绪信息和所述场景类型确定对应的演奏音效，并基于所述演奏音效对预先基于所述演奏现场配置的所有乐器进行音色特征的筛选，得到与所述情绪信息和所述场景类型相匹配的演奏乐器包括：
根据所述情绪信息和场景类型，从预配置的演奏音效对应关系表中查询出同时满足所述情绪信息和场景类型的演奏音效；
根据所述演奏音效，从所述乐器使用数据库中查询出与所述演奏音效对应的乐器的种类信息；
利用音频识别技术，提取所述乐器的种类信息对应的乐器所产生的音色特征；
将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，选择匹配度大于预设匹配值的乐器作为所述演奏现场的演奏乐器；
所述根据所述情绪信息和场景类型，从预配置的演奏音效对应关系表中查询出同时满足所述情绪信息和场景类型的演奏音效包括：
根据所述场景类型，确定所述情绪信息的比重；
根据所述比重对所述场景类型和情绪信息进行优先级的排序，其中，所述优先级为用于匹配生成演奏音效的因素影响等级；
根据所述优先级，分别计算出所述场景类型和情绪信息在查询所述演奏音效对应关系表时的匹配比例；
根据所述场景类型和所述情绪信息，从预配置的演奏音效对应关系表中查询出所述比例的演奏音效。
2.根据权利要求1所述的演奏乐器的选择方法，其特征在于，所述场景信息包括所述演奏现场的多帧图像数据；所述利用图像识别算法，对所述场景信息进行人物和环境的分离，得到人物图像和环境图像包括：
对多帧所述图像数据进行预处理，得到现场照片，其中所述预处理包括降噪和图像融合；
利用所述图像识别算法中的轮廓描绘算法，对所述现场照片中的轮廓边缘特征进行检测，并绘制轮廓，得到人物轮廓和背景轮廓；
利用所述图像识别算法中的前景和深景分离算法，将所述人物轮廓和所述背景轮廓对应的图像数据从所述现场照片中提取出来，得到前景照片和深景照片，其中所述前景照片包括人物图像数据，所述深景照片包括背景图像数据。
3.根据权利要求2所述的演奏乐器的选择方法，其特征在于，所述根据人脸识别算法，对所述人物图像中的人物进行面部识别处理，得到情绪信息包括：
利用人脸识别算法，对所述前景照片中人脸的轮廓进行识别，并提取所述人脸中的表情特征，得到表情特征集；
将所述表情特征集，与预设的表情与情绪的对应关系，确定所述人脸对应的情绪信息。
4.根据权利要求1-3任一项所述的演奏乐器的选择方法，其特征在于，所述提取所述环境图像中的场景布局，基于所述场景布局从预设的演奏场景关系表中查询出与所述演奏现场对应的场景类型包括：
将所述环境图像输入至预设的场景识别模型中，通过所述场景识别模型提取所述环境图像中的几何特征，得到环境特征集；
基于所述环境特征集绘制所述环境图像的场景布局，得到所述演奏现场的效果图；
基于所述效果图，从预设的演奏场景关系表中查询出与所述演奏现场对应的场景类型。
5.一种演奏乐器的选择装置，其特征在于，包括：
场景获取模块，用于获取当前演奏现场的场景信息，其中，所述场景信息包括人物图像和环境图像；
场景分离模块，用于利用图像识别算法，对所述场景信息进行人物和环境的分离，得到人物图像和环境图像；
情绪识别模块，用于根据人脸识别算法，对所述人物图像中的人物进行面部识别处理，得到情绪信息；
场景类型识别模块，用于提取所述环境图像中的场景布局，基于所述场景布局从预设的演奏场景关系表中查询出与所述演奏现场对应的场景类型，其中，所述演奏场景关系表包括至少两个不同的演奏现场的场景布局的数据；
乐器种类筛选模块，用于获取不同场景类型的演奏现场的音乐配置方案，其中所述音乐配置方案包括常用配乐歌曲的信息和演奏乐器的选择信息，所述配乐歌曲的信息包括演奏乐器的种类信息和歌曲类型的信息；根据所述场景类型及所述演奏乐器的种类信息，建立乐器使用数据库；其中，所述乐器使用数据库包括演奏乐器的种类与场景类型的对应关系表；
音效匹配模块，用于根据所述情绪信息和所述场景类型确定对应的演奏音效，并基于所述演奏音效对预先基于所述演奏现场配置的所有乐器进行音效特征的筛选，得到与所述情绪信息和所述场景类型相匹配的演奏乐器；
所述根据所述情绪信息和所述场景类型确定对应的演奏音效，并基于所述演奏音效对预先基于所述演奏现场配置的所有乐器进行音色特征的筛选，得到与所述情绪信息和所述场景类型相匹配的演奏乐器包括：
根据所述情绪信息和场景类型，从预配置的演奏音效对应关系表中查询出同时满足所述情绪信息和场景类型的演奏音效；
根据所述演奏音效，从所述乐器使用数据库中查询出与所述演奏音效对应的乐器的种类信息；
利用音频识别技术，提取所述乐器的种类信息对应的乐器所产生的音色特征；
将所述音色特征与所述演奏音效进行匹配，并计算出匹配度，选择匹配度大于预设匹配值的乐器作为所述演奏现场的演奏乐器；
所述根据所述情绪信息和场景类型，从预配置的演奏音效对应关系表中查询出同时满足所述情绪信息和场景类型的演奏音效包括：
根据所述场景类型，确定所述情绪信息的比重；
根据所述比重对所述场景类型和情绪信息进行优先级的排序，其中，所述优先级为用于匹配生成演奏音效的因素影响等级；
根据所述优先级，分别计算出所述场景类型和情绪信息在查询所述演奏音效对应关系表时的匹配比例；
根据所述场景类型和所述情绪信息，从预配置的演奏音效对应关系表中查询出所述比例的演奏音效。
6.一种演奏乐器的选择设备，其特征在于，所述演奏乐器的选择设备包括：
存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互联；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述演奏乐器的选择设备执行如权利要求1-4中任一项所述的演奏乐器的选择方法。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-4中任一项所述的演奏乐器的选择方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110284980.2A CN113010725B (zh) | 2021-03-17 | 2021-03-17 | 演奏乐器的选择方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110284980.2A CN113010725B (zh) | 2021-03-17 | 2021-03-17 | 演奏乐器的选择方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113010725A CN113010725A (zh) | 2021-06-22 |
| CN113010725B true CN113010725B (zh) | 2023-12-26 |
Family
ID=76409017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110284980.2A Active CN113010725B (zh) | 2021-03-17 | 2021-03-17 | 演奏乐器的选择方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113010725B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113612830A (zh) * | 2021-07-27 | 2021-11-05 | Oppo广东移动通信有限公司 | 信息推送方法、装置、终端设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509660A (zh) * | 2018-05-29 | 2018-09-07 | 维沃移动通信有限公司 | 一种播放对象推荐方法及终端设备 |
| CN108919953A (zh) * | 2018-06-29 | 2018-11-30 | 咪咕文化科技有限公司 | 一种音乐调整方法、装置及存储介质 |
| CN108920585A (zh) * | 2018-06-26 | 2018-11-30 | 深圳市赛亿科技开发有限公司 | 音乐推荐的方法及装置、计算机可读存储介质 |
| CN109799903A (zh) * | 2018-12-21 | 2019-05-24 | 段新 | 基于虚拟现实的打击乐方法、终端设备及系统 |
| WO2020054064A1 (ja) * | 2018-09-14 | 2020-03-19 | Ｄｍｅｔ Ｐｒｏｄｕｃｔｓ株式会社 | 楽曲編集システム、及び楽曲編集方法 |
| CN111177459A (zh) * | 2019-12-14 | 2020-05-19 | 华为技术有限公司 | 信息推荐方法、装置、电子设备及计算机可读存储介质 |
| CN112084814A (zh) * | 2019-06-12 | 2020-12-15 | 广东小天才科技有限公司 | 一种学习辅助方法和智能装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9652118B2 (en) * | 2013-01-16 | 2017-05-16 | Marcus Thomas Llc | System and method for generating a color palette based on audio content |
-
2021
- 2021-03-17 CN CN202110284980.2A patent/CN113010725B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509660A (zh) * | 2018-05-29 | 2018-09-07 | 维沃移动通信有限公司 | 一种播放对象推荐方法及终端设备 |
| CN108920585A (zh) * | 2018-06-26 | 2018-11-30 | 深圳市赛亿科技开发有限公司 | 音乐推荐的方法及装置、计算机可读存储介质 |
| CN108919953A (zh) * | 2018-06-29 | 2018-11-30 | 咪咕文化科技有限公司 | 一种音乐调整方法、装置及存储介质 |
| WO2020054064A1 (ja) * | 2018-09-14 | 2020-03-19 | Ｄｍｅｔ Ｐｒｏｄｕｃｔｓ株式会社 | 楽曲編集システム、及び楽曲編集方法 |
| CN109799903A (zh) * | 2018-12-21 | 2019-05-24 | 段新 | 基于虚拟现实的打击乐方法、终端设备及系统 |
| CN112084814A (zh) * | 2019-06-12 | 2020-12-15 | 广东小天才科技有限公司 | 一种学习辅助方法和智能装置 |
| CN111177459A (zh) * | 2019-12-14 | 2020-05-19 | 华为技术有限公司 | 信息推荐方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| Music Recommendation System Based on User’s Sentiments Extracted from Social Networks;Renata L. Rosa et al;《IEEE Transactions on Consumer Electronics》;第61卷(第3期);第359-367页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113010725A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4553650B2 (ja) | 画像グループの表現方法および表現方法によって導出される記述子、探索方法、装置、コンピュータプログラム、ならびに記憶媒体 | |
| CN106250553A (zh) | 一种服务推荐方法及终端 | |
| CN106021496A (zh) | 视频搜索方法及视频搜索装置 | |
| Schuller et al. | Audiovisual behavior modeling by combined feature spaces | |
| CN110188708A (zh) | 一种基于卷积神经网络的人脸表情识别方法 | |
| CN114465737B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN109064532B (zh) | 动画角色自动口型生成方法及装置 | |
| CN102486793A (zh) | 一种搜索目标用户的方法和系统 | |
| CN113010725B (zh) | 演奏乐器的选择方法、装置、设备及存储介质 | |
| US10127824B2 (en) | System and methods to create multi-faceted index instructional videos | |
| JP2018169697A (ja) | 映像データ処理装置、映像データ処理方法、及びコンピュータプログラム | |
| KR102125406B1 (ko) | 영상 분석 기반 음원 분류 방법 및 시스템 | |
| JP5626221B2 (ja) | 音響画像区間分類装置および方法 | |
| CN113705310A (zh) | 特征学习的方法、目标物体的识别方法和对应装置 | |
| CN111931256B (zh) | 配色推荐的方法、装置、设备及存储介质 | |
| US20230119387A1 (en) | Digital style and design generator | |
| CN111639200B (zh) | 基于人工智能的数据报告生成方法和系统 | |
| Mundnich et al. | Audiovisual highlight detection in videos | |
| US11886499B2 (en) | Apparatus for training recognition model, apparatus for analyzing video, and apparatus for providing video search service | |
| CN110896422A (zh) | 一种基于语音的智能响应方法及装置 | |
| KR102262702B1 (ko) | 샷 변화패턴을 이용한 동영상 생성 시스템 | |
| CN116561294A (zh) | 手语视频的生成方法、装置、计算机设备及存储介质 | |
| Hua et al. | Content based photograph slide show with incidental music | |
| CN112434547A (zh) | 一种用户身份稽核方法和设备 | |
| CN110674720A (zh) | 图片识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |