CN107689229A - 一种用于可穿戴设备的语音处理方法及装置 - Google Patents

一种用于可穿戴设备的语音处理方法及装置 Download PDF

Info

Publication number
CN107689229A
CN107689229A CN201710874392.8A CN201710874392A CN107689229A CN 107689229 A CN107689229 A CN 107689229A CN 201710874392 A CN201710874392 A CN 201710874392A CN 107689229 A CN107689229 A CN 107689229A
Authority
CN
China
Prior art keywords
emotion
species
physiologic information
audio
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710874392.8A
Other languages
English (en)
Inventor
唐涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201710874392.8A priority Critical patent/CN107689229A/zh
Publication of CN107689229A publication Critical patent/CN107689229A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Pulmonology (AREA)
  • Hospice & Palliative Care (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)

Abstract

本发明实施例公开了一种用于可穿戴设备的语音处理方法及装置。该方法包括：于可穿戴设备处于佩戴状态时，获取语音信息以及通过可穿戴设备采集用户的生理信息；根据用户的生理信息确定与之对应的情感种类；获取与情感种类相匹配的音效和/或背景音乐；将语音信息与音效和/或背景音乐进行合成，通过本发明的技术方案，能够在录音过程中，自动匹配音效库中的音效和/或背景音乐。

Description

一种用于可穿戴设备的语音处理方法及装置
技术领域
本发明实施例涉及一种数据匹配技术，尤其涉及一种用于可穿戴设备的语音处理方法及装置。
背景技术
每一部优秀的影视作品都会在合适的场景配置适宜的背景音乐和/或音效，增添了符合情节的音效能够使得影视作品更具有感染力，能够更好的烘托气氛。
现如今为视频配置合适的背景音乐和/或音效不单单应用于影视作品，也出现在日常生活中，为视频配置合适的背景音乐和/或音效是制作优秀的视频的必要条件，语音的输出，一般都需要通过后期配音，当配音员/录音员录好语音之后，为了避免语音的单调，都会配上合适的音效和/或背景音乐，让语音效果的气氛更好。
但目前技术，后期音效和/或背景音乐的制作，都是技术人员手动选择配置音效，个人主观意识比较强，效率较低。
发明内容
本发明实施例提供一种用于可穿戴设备的语音处理方法及装置，能够在录音过程中，自动匹配音效库中的音效和/或背景音乐。
第一方面，本发明实施例提供了一种用于可穿戴设备的语音处理方法，包括：
于可穿戴设备处于佩戴状态时，获取语音信息以及通过所述可穿戴设备采集用户的生理信息；
根据所述用户的生理信息确定与之对应的情感种类；
获取与所述情感种类相匹配的音效和/或背景音乐；
将所述语音信息与所述音效和/或背景音乐进行合成。
进一步的，根据所述用户的生理信息确定与之对应的情感种类包括：
根据所述用户的生理信息获取生理信息变化节点；
根据所述生理信息变化节点对所述生理信息进行分段；
获取每一段生理信息对应的情感种类；
相应的，获取与所述情感种类相匹配的音效和/或背景音乐包括：
获取与所述每一段生理信息对应的情感种类相匹配的音效和/或背景音乐。
进一步的，根据所述用户的生理信息确定与之对应的情感种类包括：
根据所述用户的生理信息获取生理信息变化节点；
根据所述用户的生理信息变化节点确定情感种类变化节点；
相应的，将所述语音信息与所述音效和/或背景音乐合成为目标音频信息包括：
获取所述情感种类变化节点对应的时间节点；
根据所述时间节点将所述语音信息分段；
将每一段语音信息与所述每一段语音信息对应的音效和/或背景音乐进行合成以及按照时间顺序进行叠加。
进一步的，于可穿戴设备处于佩戴状态时，获取语音信息以及通过所述可穿戴设备采集用户的生理信息之前，还包括：
建立关于生理信息与情感种类的对应关系的数据列表；
相应的，根据所述用户的生理信息确定与之对应的情感种类包括：
根据所述用户的生理信息在所述数据列表中查找与之对应的情感种类。
进一步的，于可穿戴设备处于佩戴状态时，获取语音信息以及通过所述可穿戴设备采集用户的生理信息之前，还包括：
建立关于情感种类与音效和/或背景音乐的对应关系的数据库；
相应的，获取与所述情感种类相匹配的音效和/或背景音乐包括：
在所述数据库中查找与所述情感种类相匹配的音效和/或背景音乐。
第二方面，本发明实施例还提供了一种用于可穿戴设备的语音处理装置，该装置包括：
第一获取模块，用于于可穿戴设备处于佩戴状态时，获取语音信息以及通过所述可穿戴设备采集用户的生理信息；
确定模块，用于根据所述用户的生理信息确定与之对应的情感种类；
第二获取模块，用于获取与所述情感种类相匹配的音效和/或背景音乐；
合成模块，用于将所述语音信息与所述音效和/或背景音乐进行合成。
进一步的，所述确定模块包括：
节点获取单元，用于根据所述用户的生理信息获取生理信息变化节点；
分段单元，用于根据所述生理信息变化节点对所述生理信息进行分段；
种类获取单元，用于获取每一段生理信息对应的情感种类；
相应的，所述第二获取模块具体用于：
获取与所述每一段生理信息对应的情感种类相匹配的音效和/或背景音乐。
进一步的，所述确定模块具体用于：
根据所述用户的生理信息获取生理信息变化节点；
根据所述用户的生理信息变化节点确定情感种类变化节点；
相应的，所述合成模块具体用于：
获取所述情感种类变化节点对应的时间节点；
根据所述时间节点将所述语音信息分段；
将每一段语音信息与所述每一段语音信息对应的音效和/或背景音乐进行合成以及按照时间顺序进行叠加。
进一步的，还包括：
列表建立模块，用于建立关于生理信息与情感种类的对应关系的数据列表；
相应的，所述确定模块具体用于：
根据所述用户的生理信息在所述数据列表中查找与之对应的情感种类。
进一步的，还包括：
数据库建立模块，用于建立关于情感种类与音效和/或背景音乐的对应关系的数据库；
相应的，所述第二获取模块具体用于：
在所述数据库中查找与所述情感种类相匹配的音效和/或背景音乐。
本发明实施例通过于可穿戴设备处于佩戴状态时，获取语音信息以及通过可穿戴设备采集用户的生理信息；根据用户的生理信息确定与之对应的情感种类；获取与情感种类相匹配的音效和/或背景音乐；将语音信息与音效和/或背景音乐进行合成，能够在录音过程中，自动匹配音效库中的音效和/或背景音乐。
附图说明
图1是本发明实施例一中的一种用于可穿戴设备的语音处理方法的流程图；
图2是本发明实施例二中的一种用于可穿戴设备的语音处理方法的流程图；
图3是本发明实施例三中的一种用于可穿戴设备的语音处理装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种用于可穿戴设备的语音处理方法的流程图，本实施例可适用于用于可穿戴设备的语音处理的情况，该方法可以由本发明实施例提供的用于可穿戴设备的语音处理装置来执行，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何需要语音处理的终端设备中，如图1所示，该方法具体包括如下步骤：
S110，于可穿戴设备处于佩戴状态时，获取语音信息以及通过可穿戴设备采集用户的生理信息。
其中，确定可穿戴设备处于佩戴状态可以通过采集可穿戴设备上的心率传感器获得，例如，若采集到心率曲线，则说明用户正在佩戴可穿戴设备。也可以通过皮肤电传感器获得，例如，若采集到电流，则说明用户正在佩戴可穿戴设备。本发明实施例对此不进行限制。
其中，获取语音信息的方式可以为通过麦克风采集用户的声音数据。所述麦克风可以为可穿戴设备上的麦克风，也可以为其他智能终端上的麦克风，所述其他终端设备能够与可穿戴设备进行数据传输。例如，其他终端设备上的麦克风获取语音信息，并将获取的语音信息发送至可穿戴设备。或者可以为直接通过可穿戴设备上的麦克风获取语音信息。
其中，所述可穿戴设备可以为智能手表；可穿戴设备通过心率传感器、运动传感感器采集用户的生理信息；运动传感器可以为加速度传感器。
其中，所述生理信息为用户的体征数据根据时间的变化曲线，用户的体征数据可以为心率、呼吸率和血压等。
具体的，在用户佩戴可穿戴设备时，通过可穿戴设备上的传感器采集用户的生理信息。
S120，根据用户的生理信息确定与之对应的情感种类。
其中，所述情感种类可以分为快乐、狂喜、愤怒、悲伤、恐惧、绝望、暴怒等。
其中，根据用户的心率、呼吸率以及血压等可以确定用户的情感种类，例如，一般情况下，用户开心的时候，用户的心率会加快，因此可以根据心率的变化情况确定用户的当前的情感种类。
具体的，由于录音员配音时，配音员的情感变化会导致配音员的生理信息发生相应的变化，因此根据配音员的生理信息的变化情况就可以确定用户当时的情感种类。
S130，获取与情感种类相匹配的音效和/或背景音乐。
其中，所述音效就是指由声音所制造的效果，是指为增进场面之真实感、气氛或戏剧讯息，而加于声带上的杂音或声音。所谓的声音则包括了乐音和效果音。包括数字音效、环境音效、MP3音效(普通音效、专业音效)。
其中，所述背景音乐(Background music，简称BGM)，也称配乐，通常是指在电视剧、电影、动画、电子游戏、网站中用于调节气氛的一种音乐，插入于对话之中，能够增强情感的表达，达到一种让观众身历其境的感受。另外，在一些公共场合(如酒吧、咖啡厅、商场)播放的音乐也称背景音乐。
具体的，根据录音员配音时的情感种类，确定录音员配音的音效和/或背景音乐。
S140，将语音信息与音效和/或背景音乐进行合成。
其中，所述语音信息为获取的语音信息，也就是需要录制的语音信息。
其中，所述音效和/或背景音乐为与录制的语音信息相对应的音效和/或背景音乐。
具体的，将语音信息与音效和/或背景音乐进行合成的方式可以为将语音信息按照用户的情感种类进行分段，每一段情感种类对应一种音效和/或背景音乐，将音效和/或背景音乐按照语音信息的长度对应剪切，将剪切后的与每段语音信息相匹配的每段音效和/或背景音乐按照语音信息的时间顺序进行拼接，将语音信息与拼接后的音效和/或背景音乐进行合成；也可以为将语音信息按照用户的情感种类进行分段，每一段情感种类对应一种音效和/或背景音乐，将音效和/或背景音乐按照语音信息的长度对应剪切，将剪切后的与每段语音信息相匹配的每段音效和/或背景音乐与每段语音信息进行合成，将合成后的语音按照语音信息的时间顺序进行拼接。
具体的，将语音信息与和语音信息相匹配的音效和/或背景音乐进行合成。例如可以是，若某一段录制的语音信息时用户的情感种类为快乐，则将背景音乐设置为欢快的乐曲，若之后某一段录制的语音信息时用户的情感种类为悲伤，则将背景音乐设置为悲伤的曲调。
可选的，于可穿戴设备处于佩戴状态时，获取语音信息以及通过所述可穿戴设备采集用户的生理信息之前，还包括：
建立关于生理信息与情感种类的对应关系的数据列表；
相应的，根据所述用户的生理信息确定与之对应的情感种类包括：
根据所述用户的生理信息在所述数据列表中查找与之对应的情感种类。
可选的，于可穿戴设备处于佩戴状态时，获取语音信息以及通过所述可穿戴设备采集用户的生理信息之前，还包括：
建立关于情感种类与音效和/或背景音乐的对应关系的数据库；
相应的，获取与所述情感种类相匹配的音效和/或背景音乐包括：
在所述数据库中查找与所述情感种类相匹配的音效和/或背景音乐。
可选的，根据所述用户的生理信息确定与之对应的情感种类包括：
根据所述用户的生理信息获取生理信息变化节点；
根据所述用户的生理信息变化节点确定情感种类变化节点；
其中，所述情感种类变化节点为用户的情感种类发生变化的节点，例如在节点A之前，用户的情感种类为开心，在节点A之后，用户的情感种类为悲伤。
相应的，将所述语音信息与所述音效和/或背景音乐合成为目标音频信息包括：
获取所述情感种类变化节点对应的时间节点；
具体的，根据情感种类变化节点获取与所述节点对应的时间节点。
根据所述时间节点将所述语音信息分段；
具体的，根据时间节点将用户录制的语音信息进行分段。
将每一段语音信息与所述每一段语音信息对应的音效和/或背景音乐进行合成以及按照时间顺序进行叠加。
具体的，先将每一段语音信息与所述每一段语音信息对应的音效和/或背景音乐进行合成，然后将合成的语音进行叠加。
本实施例的技术方案，通过于可穿戴设备处于佩戴状态时，获取语音信息以及通过可穿戴设备采集用户的生理信息；根据用户的生理信息确定与之对应的情感种类；获取与情感种类相匹配的音效和/或背景音乐；将语音信息与音效和/或背景音乐进行合成，能够在录音过程中，自动匹配音效库中的音效和/或背景音乐。
实施例二
图2为本发明实施例二中的一种用于可穿戴设备的语音处理方法的流程图，本实施例以前述实施例一为基础进行优化，提供了优选的用于可穿戴设备的语音处理方法，具体是，根据所述用户的生理信息确定与之对应的情感种类包括：根据所述用户的生理信息获取生理信息变化节点；根据所述生理信息变化节点对所述生理信息进行分段；获取每一段生理信息对应的情感种类；相应的，获取与所述情感种类相匹配的音效和/或背景音乐包括：获取与所述每一段生理信息对应的情感种类相匹配的音效和/或背景音乐。
相应的，本实施例的方法具体包括如下步骤：
S210，于可穿戴设备处于佩戴状态时，获取语音信息以及通过可穿戴设备采集用户的生理信息。
S220，根据用户的生理信息获取生理信息变化节点。
其中，所述生理信息变化节点为根据用户的生理信息确定的相邻数据之间的差值大于预设差值的时间点，例如可以是，若用户在2:00的时候的心率数值为A，在2:01的时候的的心率数值为B，B与A的差值大于预设差值，则将B点作为生理信息变化节点。
可选的，所述生理信息变化节点为情感种类变化节点。例如可以是，若用户在2:00的时候的心率数值为B，B与A的差值大于预设差值B之前相距时间最短的心率数值的差值大于预设差值，则将B点作为生理信息变化节点，所述B点也为情感种类变化节点，也就是说用户在B点之前为一钟情感，在B点之后为另一种情感。
S230，根据生理信息变化节点对生理信息进行分段。
其中，所述生理信息为用户的体征数据根据时间的变化曲线。
具体的，根据生理信息变化节点将生理信息分为至少一段，例如可以是，若用户在2:00的时候的心率数值为B，B与B之前相距时间最短的心率数值的差值大于预设差值，则将B点作为生理信息变化节点，根据B点，将用户的心率变化曲线分段，在B点之前为一段，在B点之后为一段，若在B点后还有生理信息变化节点C点，则将在B点之前为一段，在B点之后到C点之前看作为一段，在C点之后为一段。
S240，获取每一段生理信息对应的情感种类。
具体的，根据每一段生理信息确定每一段生理信息对应的情感种类。
具体的，对每一段生理信息进行分析，确定每一段生理信息对应的情感种类。
S250，获取与每一段生理信息对应的情感种类相匹配的音效和/或背景音乐。
具体的，根据每一段生理信息对应的情感种类获取与所述情感种类相匹配的音效和/或背景音乐。
S260，将语音信息与音效和/或背景音乐进行合成。
本发明实施例的应用场景为录音员配音时，一般会带上耳机，在耳机上内置传感器，在录音过程中，可实时监测录音员的心率、血压、皮肤电等生理信号，获取生理信号所对应的情感信息，根据情感信息，自动匹配音效库中的音效/背景音乐，使语音配乐的后期制作更准确，更高效。录音员也可以佩戴智能手表，根据智能手表所识别的情感信号，在录音过程中，自动匹配音效库中的音效/背景音乐。
在一个具体的例子中，录音员佩戴耳机/智能手表，开启生理信号检测功能，开始录音。在录音过程中，实时检测录音员的生理信号，根据生理信号与人类情感的映射关系，获取录音员的情感信息。根据录音员的情感变化的起伏，综合判断出相应篇幅、段落的语音信息对应的情感特点。根据情感特点，从音效库中，自动调取相应的音效/背景音乐。技术人员可根据调取的音效/背景音乐，选择一键合成语音(录制的语音+音效库音效)。
本发明实施例在录音员配音时，且佩戴可穿戴设备时，在录音过程中，可通过可穿戴设备实时监测录音员的心率、血压、皮肤电等生理信号，获取生理信号所对应的情感信息，根据情感信息，自动匹配音效库中的音效/背景音乐，使语音配乐的后期制作更准确，更高效。
本实施例的技术方案，通过于可穿戴设备处于佩戴状态时，获取语音信息以及通过可穿戴设备采集用户的生理信息，根据用户的生理信息获取生理信息变化节点，根据生理信息变化节点对生理信息进行分段，获取每一段生理信息对应的情感种类，获取与每一段生理信息对应的情感种类相匹配的音效和/或背景音乐，将语音信息与音效和/或背景音乐进行合成，能够在录音过程中，自动匹配音效库中的音效和/或背景音乐。
实施例三
图3为本发明实施例三的一种用于可穿戴设备的语音处理装置的结构示意图。本实施例可适用于用于可穿戴设备的语音处理的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供语音处理功能的设备中，如图3所示，所述用于可穿戴设备的语音处理装置具体包括：第一获取模块310、确定模块320、第二获取模块330和合成模块340。
其中，第一获取模块310，用于于可穿戴设备处于佩戴状态时，获取语音信息以及通过所述可穿戴设备采集用户的生理信息；
确定模块320，用于根据所述用户的生理信息确定与之对应的情感种类；
第二获取模块330，用于获取与所述情感种类相匹配的音效和/或背景音乐；
合成模块340，用于将所述语音信息与所述音效和/或背景音乐进行合成。
可选的，所述确定模块包括：
节点获取单元，用于根据所述用户的生理信息获取生理信息变化节点；
分段单元，用于根据所述生理信息变化节点对所述生理信息进行分段；
种类获取单元，用于获取每一段生理信息对应的情感种类；
相应的，所述第二获取模块具体用于：
获取与所述每一段生理信息对应的情感种类相匹配的音效和/或背景音乐。
可选的，所述确定模块具体用于：
根据所述用户的生理信息获取生理信息变化节点；
根据所述用户的生理信息变化节点确定情感种类变化节点；
相应的，所述合成模块具体用于：
获取所述情感种类变化节点对应的时间节点；
根据所述时间节点将所述语音信息分段；
将每一段语音信息与所述每一段语音信息对应的音效和/或背景音乐进行合成以及按照时间顺序进行叠加。
可选的，还包括：
列表建立模块，用于建立关于生理信息与情感种类的对应关系的数据列表；
相应的，所述确定模块具体用于：
根据所述用户的生理信息在所述数据列表中查找与之对应的情感种类。
可选的，还包括：
数据库建立模块，用于建立关于情感种类与音效和/或背景音乐的对应关系的数据库；
相应的，所述第二获取模块具体用于：
在所述数据库中查找与所述情感种类相匹配的音效和/或背景音乐。
本实施例的技术方案，通过于移动终端处于锁屏界面时，接收对锁屏界面控制人选项的触发请求；发送解密请求至锁屏界面控制人选项对应的控制人的移动终端；接收控制人的移动终端发送的解密指令；控制移动终端解锁，能够在保证移动终端安全性的前提下解决使用不便捷的问题。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种用于可穿戴设备的语音处理方法，其特征在于，包括：
于可穿戴设备处于佩戴状态时，获取语音信息以及通过所述可穿戴设备采集用户的生理信息；
根据所述用户的生理信息确定与之对应的情感种类；
获取与所述情感种类相匹配的音效和/或背景音乐；
将所述语音信息与所述音效和/或背景音乐进行合成。
2.根据权利要求1所述的方法，其特征在于，根据所述用户的生理信息确定与之对应的情感种类包括：
根据所述用户的生理信息获取生理信息变化节点；
根据所述生理信息变化节点对所述生理信息进行分段；
获取每一段生理信息对应的情感种类；
相应的，获取与所述情感种类相匹配的音效和/或背景音乐包括：
获取与所述每一段生理信息对应的情感种类相匹配的音效和/或背景音乐。
3.根据权利要求1所述的方法，其特征在于，根据所述用户的生理信息确定与之对应的情感种类包括：
根据所述用户的生理信息获取生理信息变化节点；
根据所述用户的生理信息变化节点确定情感种类变化节点；
相应的，将所述语音信息与所述音效和/或背景音乐合成为目标音频信息包括：
获取所述情感种类变化节点对应的时间节点；
根据所述时间节点将所述语音信息分段；
将每一段语音信息与所述每一段语音信息对应的音效和/或背景音乐进行合成以及按照时间顺序进行叠加。
4.根据权利要求1所述的方法，其特征在于，于可穿戴设备处于佩戴状态时，获取语音信息以及通过所述可穿戴设备采集用户的生理信息之前，还包括：
建立关于生理信息与情感种类的对应关系的数据列表；
相应的，根据所述用户的生理信息确定与之对应的情感种类包括：
根据所述用户的生理信息在所述数据列表中查找与之对应的情感种类。
5.根据权利要求1所述的方法，其特征在于，于可穿戴设备处于佩戴状态时，获取语音信息以及通过所述可穿戴设备采集用户的生理信息之前，还包括：
建立关于情感种类与音效和/或背景音乐的对应关系的数据库；
相应的，获取与所述情感种类相匹配的音效和/或背景音乐包括：
在所述数据库中查找与所述情感种类相匹配的音效和/或背景音乐。
6.一种用于可穿戴设备的语音处理装置，其特征在于，包括：
第一获取模块，用于于可穿戴设备处于佩戴状态时，获取语音信息以及通过所述可穿戴设备采集用户的生理信息；
确定模块，用于根据所述用户的生理信息确定与之对应的情感种类；
第二获取模块，用于获取与所述情感种类相匹配的音效和/或背景音乐；
合成模块，用于将所述语音信息与所述音效和/或背景音乐进行合成。
7.根据权利要求6所述的装置，其特征在于，所述确定模块包括：
节点获取单元，用于根据所述用户的生理信息获取生理信息变化节点；
分段单元，用于根据所述生理信息变化节点对所述生理信息进行分段；
种类获取单元，用于获取每一段生理信息对应的情感种类；
相应的，所述第二获取模块具体用于：
获取与所述每一段生理信息对应的情感种类相匹配的音效和/或背景音乐。
8.根据权利要求6所述的装置，其特征在于，所述确定模块具体用于：
根据所述用户的生理信息获取生理信息变化节点；
根据所述用户的生理信息变化节点确定情感种类变化节点；
相应的，所述合成模块具体用于：
获取所述情感种类变化节点对应的时间节点；
根据所述时间节点将所述语音信息分段；
将每一段语音信息与所述每一段语音信息对应的音效和/或背景音乐进行合成以及按照时间顺序进行叠加。
9.根据权利要求6所述的装置，其特征在于，还包括：
列表建立模块，用于建立关于生理信息与情感种类的对应关系的数据列表；
相应的，所述确定模块具体用于：
根据所述用户的生理信息在所述数据列表中查找与之对应的情感种类。
10.根据权利要求6所述的装置，其特征在于，还包括：
数据库建立模块，用于建立关于情感种类与音效和/或背景音乐的对应关系的数据库；
相应的，所述第二获取模块具体用于：
在所述数据库中查找与所述情感种类相匹配的音效和/或背景音乐。
CN201710874392.8A 2017-09-25 2017-09-25 一种用于可穿戴设备的语音处理方法及装置 Pending CN107689229A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710874392.8A CN107689229A (zh) 2017-09-25 2017-09-25 一种用于可穿戴设备的语音处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710874392.8A CN107689229A (zh) 2017-09-25 2017-09-25 一种用于可穿戴设备的语音处理方法及装置

Publications (1)

Publication Number Publication Date
CN107689229A true CN107689229A (zh) 2018-02-13

Family

ID=61156665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710874392.8A Pending CN107689229A (zh) 2017-09-25 2017-09-25 一种用于可穿戴设备的语音处理方法及装置

Country Status (1)

Country Link
CN (1) CN107689229A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108847012A (zh) * 2018-04-26 2018-11-20 Oppo广东移动通信有限公司 控制方法及相关设备
CN110853606A (zh) * 2019-11-26 2020-02-28 Oppo广东移动通信有限公司 一种音效配置方法、装置及计算机可读存储介质
WO2021051476A1 (zh) * 2019-09-18 2021-03-25 王志伟 一种节拍音与音乐的合成方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136277A (zh) * 2011-12-02 2013-06-05 宏碁股份有限公司 多媒体文件播放方法与电子装置
CN103402171A (zh) * 2013-08-08 2013-11-20 华为终端有限公司 在通话中分享背景音乐的方法和终端
CN104883609A (zh) * 2015-06-09 2015-09-02 上海斐讯数据通信技术有限公司 一种多媒体文件的识别处理、播放方法和系统
CN105869626A (zh) * 2016-05-31 2016-08-17 宇龙计算机通信科技(深圳)有限公司 一种语速自动调节的方法及终端
CN105955490A (zh) * 2016-06-28 2016-09-21 广东欧珀移动通信有限公司 一种基于增强现实的信息处理方法、装置和移动终端
CN106507144A (zh) * 2016-11-03 2017-03-15 天脉聚源(北京)传媒科技有限公司 一种基于观众的背景音乐的选取方法及系统
CN106687958A (zh) * 2016-12-08 2017-05-17 深圳市汇顶科技股份有限公司 一种音频播放装置、系统及方法
CN107085512A (zh) * 2017-04-24 2017-08-22 广东小天才科技有限公司 一种音频播放方法及移动终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136277A (zh) * 2011-12-02 2013-06-05 宏碁股份有限公司 多媒体文件播放方法与电子装置
CN103402171A (zh) * 2013-08-08 2013-11-20 华为终端有限公司 在通话中分享背景音乐的方法和终端
CN104883609A (zh) * 2015-06-09 2015-09-02 上海斐讯数据通信技术有限公司 一种多媒体文件的识别处理、播放方法和系统
CN105869626A (zh) * 2016-05-31 2016-08-17 宇龙计算机通信科技(深圳)有限公司 一种语速自动调节的方法及终端
CN105955490A (zh) * 2016-06-28 2016-09-21 广东欧珀移动通信有限公司 一种基于增强现实的信息处理方法、装置和移动终端
CN106507144A (zh) * 2016-11-03 2017-03-15 天脉聚源(北京)传媒科技有限公司 一种基于观众的背景音乐的选取方法及系统
CN106687958A (zh) * 2016-12-08 2017-05-17 深圳市汇顶科技股份有限公司 一种音频播放装置、系统及方法
CN107085512A (zh) * 2017-04-24 2017-08-22 广东小天才科技有限公司 一种音频播放方法及移动终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108847012A (zh) * 2018-04-26 2018-11-20 Oppo广东移动通信有限公司 控制方法及相关设备
WO2021051476A1 (zh) * 2019-09-18 2021-03-25 王志伟 一种节拍音与音乐的合成方法及系统
CN110853606A (zh) * 2019-11-26 2020-02-28 Oppo广东移动通信有限公司 一种音效配置方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN108159702B (zh) 基于多人语音游戏处理方法和装置
JP4539712B2 (ja) 情報処理端末、情報処理方法、およびプログラム
JP6812604B2 (ja) オーディオアクティビティ追跡および要約
CN104133851B (zh) 音频相似度的检测方法和检测装置、电子设备
US20080275700A1 (en) Method of and System for Modifying Messages
US10649729B2 (en) Audio device with auditory system display and methods for use therewith
CN111526242A (zh) 音频处理方法、装置和电子设备
KR20100107036A (ko) 웃음 탐지기 및 미디어 프리젠테이션에 대한 감정 반응을 추적하기 위한 시스템 및 방법
JP5181640B2 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
CN107689229A (zh) 一种用于可穿戴设备的语音处理方法及装置
CN107025913A (zh) 一种录音方法及终端
US20230290382A1 (en) Method and apparatus for matching music with video, computer device, and storage medium
JP2019520011A (ja) メディア環境駆動型コンテンツ配信プラットフォーム
CN107547922B (zh) 信息处理方法、装置、系统及计算机可读存储介质
CN114339391A (zh) 视频数据处理方法、装置、计算机设备以及存储介质
CN110324702B (zh) 视频播放过程中的信息推送方法和装置
CN105551504B (zh) 一种基于哭声触发智能移动终端功能应用的方法及装置
JP2011223369A (ja) 認知症患者用会話システム
CN106250533B (zh) 一种面向智能机器人的富媒体播放数据处理方法和装置
CN115985303A (zh) 基于声音的数字人形象生成方法及其相关装置
CN112235183B (zh) 通信消息处理方法、设备及即时通信客户端
CN109615731A (zh) 一种基于人脸识别的音频输出方法
TWI377559B (en) Singing system with situation sound effect and method thereof
CN114710553B (zh) 信息获取方法、信息推送方法以及终端设备
JP6625809B2 (ja) 電子機器およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180213