CN110136752B - 音频处理的方法、装置、终端及计算机可读存储介质 - Google Patents

音频处理的方法、装置、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN110136752B
CN110136752B CN201910482263.3A CN201910482263A CN110136752B CN 110136752 B CN110136752 B CN 110136752B CN 201910482263 A CN201910482263 A CN 201910482263A CN 110136752 B CN110136752 B CN 110136752B
Authority
CN
China
Prior art keywords
time point
determining
voice endpoint
audio
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910482263.3A
Other languages
English (en)
Other versions
CN110136752A (zh
Inventor
刘东平
张志鹏
王足娇
李佳林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu kugou business incubator management Co.,Ltd.
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201910482263.3A priority Critical patent/CN110136752B/zh
Publication of CN110136752A publication Critical patent/CN110136752A/zh
Application granted granted Critical
Publication of CN110136752B publication Critical patent/CN110136752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种音频处理的方法、装置、终端及计算机可读存储介质，属于音频处理技术领域。所述方法包括：对目标音频进行语音端点检测，确定所述目标音频的各语音端点；确定用户输入的对所述目标音频进行片段替换的开始时间点；基于所述开始时间点和各语音端点，确定对所述目标音频进行片段替换的实际开始时间点；基于所述实际开始时间点和重新录制的音频片段，对所述目标音频进行片段替换。采用本申请，可以有效解决相关技术中截取的音频片段会发生错乱的技术问题。

Description

音频处理的方法、装置、终端及计算机可读存储介质
技术领域
本申请涉及音频处理技术领域，具体涉及一种音频处理的方法、装置、终端及计算机可读存储介质。
背景技术
在对音频进行音频处理的过程中，有时需要在音频中截取相应的音频片段，然后，基于截取的音频片段进行后续处理，比如进行替换掉这一音频片段的处理。例如，如果在人声音频的录制过程中，用户录制到了第四句，此时，用户觉得第三句和第四句没有唱好，则可以拖拽歌词到第三句的起点位置，重新录制第三句和第四句。此时相应的处理为在原人声音频中截取第三句和第四句对应的音频片段，并将其替换为重新录制的音频片段。再例如，在生成合唱音频的过程中，从用户的人声音频中截取相应音频片段，然后使用这些音频片段替换初始合唱音频中的音频片段，最终生成合唱音频。在从人声音频中截取音频片段时，首先需要确定截取音频片段的开始时间。
相关技术中确定截取音频片段的开始时间点的方法为，用户选取人声音频对应的歌词中的目标句之后，从人声音频对应的歌词信息中获取目标句的开始时间点，将该开始时间点确定为用户截取音频片段的开始时间点。
在实现本申请的过程中，发明人发现相关技术至少存在以下问题：
有时歌词中的目标句的开始时间点，与人声音频中目标句对应的音频片段的开始时间点并不一致，此时将歌词中的目标句的开始时间点作为截取音频片段的开始时间点，会使得截取得到的音频片段发生错乱，即得到的音频片段会不完整或过多。
发明内容
为了解决相关技术中存在的技术问题，本申请实施例提供了一种音频处理的方法、装置、终端及计算机可读存储介质。所述音频处理的方法、装置、终端及计算机可读存储介质的技术方案如下：
第一方面，提供了一种音频处理的方法，所述方法包括：
对目标音频进行语音端点检测，确定所述目标音频的各语音端点；
确定用户输入的对所述目标音频进行片段替换的开始时间点；
基于所述开始时间点和各语音端点，确定对所述目标音频进行片段替换的实际开始时间点；
基于所述实际开始时间点和重新录制的音频片段，对所述目标音频进行片段替换。
可选的，所述确定用户输入的对所述目标音频进行片段替换的开始时间点，包括：
确定用户在目标音频的歌词中选取的第一目标句的开始时间点，将所述第一目标句的开始时间点确定为对所述目标音频进行片段替换的开始时间点。
可选的，所述基于所述开始时间点和各语音端点，确定对所述目标音频进行片段替换的实际开始时间点，包括：
确定所述各语音端点的端点类型，其中，所述端点类型包括起点类型和结束点类型；
确定属于起点类型的距所述开始时间点最近的第一语音端点；
如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述第一语音端点；
如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述开始时间点。
可选的，所述确定所述各语音端点的端点类型之后，还包括：
基于所述目标音频中属于起点类型的每个语音端点之前预设时长内的音频片段的能量特征，确定属于起点类型的每个语音端点的第一可信度，其中，所述第一可信度表征属于起点类型的每个语音端点为句起始点的语音端点的概率；
所述如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述第一语音端点，包括：
如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，且所述第一语音端点的第一可信度大于第二预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述第一语音端点；
所述如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述开始时间点，包括：
如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，或，所述第一语音端点的第一可信度小于第二预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述开始时间点。
可选的，所述基于所述实际开始时间点和重新录制的音频片段，对所述目标音频进行片段替换，包括：
将所述目标音频中所述实际开始时间点之后的音频片段，替换为所述重新录制的音频片段。
可选的，所述方法还包括：
确定用户输入的对所述目标音频进行片段替换的结束时间点；
基于所述结束时间点和各语音端点，确定对所述目标音频进行片段替换的实际结束时间点；
基于所述实际开始时间点和所述实际结束时间点和重新录制的音频片段，对所述目标音频进行片段替换。
可选的，所述确定用户输入的对所述目标音频进行片段替换的结束时间点，包括：
确定用户在目标音频的歌词中选取的第二目标句的结束时间点，将所述第二目标句的结束时间点确定为所述对所述目标音频进行片段替换的结束时间点。
可选的，所述基于所述结束时间点和各语音端点，确定对所述目标音频进行片段替换的实际结束时间点，包括：
确定所述各语音端点的端点类型，其中，所述端点类型包括起点类型和结束点类型；
确定属于结束点类型的距所述结束时间点最近的第二语音端点；
如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述第二语音端点；
如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述结束时间点。
可选的，所述确定所述各语音端点的端点类型之后，还包括：
基于所述目标音频中属于结束点类型的每个语音端点之后预设时长内的音频片段的能量特征，确定属于结束点类型的每个语音端点的第二可信度，其中，所述第二可信度表征属于结束点类型的每个语音端点为句结束点的语音端点的概率；
所述如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述第二语音端点，包括：
如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，且所述第二语音端点的第二可信度大于第二预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述第二语音端点；
所述如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述结束时间点，包括：
如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，或，所述第二语音端点的第二可信度小于第二预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述结束时间点。
可选的，所述基于所述实际开始时间点和所述实际结束时间点和重新录制的音频片段，对所述目标音频进行片段替换，包括：
将所述目标音频中所述实际开始时间点和所述实际结束时间点之间的音频片段，替换为所述重新录制的音频片段。
可选的，所述方法还包括：
基于所述实际开始时间点和所述实际结束时间点，在所述目标音频中截取第一音频片段；
获取合唱音频，基于所述实际开始时间点和所述实际结束时间点，将所述第一音频片段添加到所述合唱音频中。
第二方面，提供了又一种音频处理的方法，所述方法包括：
对目标音频进行语音端点检测，确定所述目标音频的各语音端点；
确定用户输入的对所述目标音频进行片段截取的开始时间点和结束时间点；
基于所述开始时间点、所述结束时间点和各语音端点，确定对所述目标音频进行片段截取的实际开始时间点和实际结束时间点；
基于所述实际开始时间点和所述实际结束时间点，对所述目标音频进行音频片段截取；
获取初始合唱音频，基于截取得到的音频片段、所述实际开始时间点和所述实际结束时间点，对所述初始合唱音频进行替换处理。
可选的，所述确定用户输入的对所述目标音频进行片段截取的开始时间点和结束时间点，包括：
确定用户在目标音频的歌词中选取的目标句的开始时间点和结束时间点，将所述目标句的开始时间点、结束时间点确定为对所述目标音频进行片段截取的开始时间点、结束时间点。
可选的，所述基于所述开始时间点、所述结束时间点和各语音端点，确定对所述目标音频进行片段截取的实际开始时间点和实际结束时间点，包括：
确定所述各语音端点的端点类型，其中，所述端点类型包括起点类型和结束点类型；
确定属于起点类型的距所述开始时间点最近的第一语音端点，确定属于结束点类型的距所述结束时间点最近的第二语音端点；
如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述第一语音端点；
如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述开始时间点。
如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述第二语音端点；
如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述结束时间点。
可选的，所述确定所述各语音端点的端点类型之后，还包括：
基于所述目标音频中属于起点类型的每个语音端点之前预设时长内的音频片段的能量特征，确定属于起点类型的每个语音端点的第一可信度，其中，所述第一可信度表征属于起点类型的每个语音端点为句起始点的语音端点的概率；
基于所述目标音频中属于结束点类型的每个语音端点之后预设时长内的音频片段的能量特征，确定属于结束点类型的每个语音端点的第二可信度，其中，所述第二可信度表征属于结束点类型的每个语音端点为句结束点的语音端点的概率；
所述如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述第一语音端点，包括：
如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，且所述第一语音端点的第一可信度大于第二预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述第一语音端点；
所述如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述开始时间点，包括：
如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，或，所述第一语音端点的第一可信度小于第二预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述开始时间点；
所述如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述第二语音端点，包括：
如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，且所述第二语音端点的第二可信度大于第二预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述第二语音端点；
所述如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述结束时间点，包括：
如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，或，所述第二语音端点的第二可信度小于第二预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述结束时间点。
可选的，所述获取初始的合唱音频，基于截取得到的音频片段、所述实际开始时间点和所述实际结束时间点，对所述初始合成音频进行替换处理，包括：
将所述初始合唱音频中所述实际开始时间点和所述实际结束时间点之间的音频片段，替换为所述截取得到的音频片段。
第三方面，提供了一种音频处理的装置，所述装置包括：
检测模块，用于对目标音频进行语音端点检测，确定所述目标音频的各语音端点；
开始时间点确定模块，用于确定用户输入的对所述目标音频进行片段替换的开始时间点；
实际开始时间点确定模块，用于基于所述开始时间点和各语音端点，确定对所述目标音频进行片段替换的实际开始时间点；
替换模块，用于基于所述实际开始时间点和重新录制的音频片段，对所述目标音频进行片段替换。
可选的，所述开始时间点确定模块，用于：
确定用户在目标音频的歌词中选取的第一目标句的开始时间点，将所述第一目标句的开始时间点确定为对所述目标音频进行片段替换的开始时间点。
可选的，所述实际开始时间点确定模块，用于：
确定所述各语音端点的端点类型，其中，所述端点类型包括起点类型和结束点类型；
确定属于起点类型的距所述开始时间点最近的第一语音端点；
如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述第一语音端点；
如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述开始时间点。
可选的，所述实际开始时间确定模块，还用于：
基于所述目标音频中属于起点类型的每个语音端点之前预设时长内的音频片段的能量特征，确定属于起点类型的每个语音端点的第一可信度，其中，所述第一可信度表征属于起点类型的每个语音端点为句起始点的语音端点的概率；
如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，且所述第一语音端点的第一可信度大于第二预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述第一语音端点；
如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，或，所述第一语音端点的第一可信度小于第二预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述开始时间点。
可选的，所述替换模块，用于：
将所述目标音频中所述实际开始时间点之后的音频片段，替换为所述重新录制的音频片段。
可选的，所述装置还包括：
结束时间点确定模块，用于确定用户输入的对所述目标音频进行片段替换的结束时间点；
实际结束时间点确定模块，用于基于所述结束时间点和各语音端点，确定对所述目标音频进行片段替换的实际结束时间点；
所述替换模块，还用于基于所述实际开始时间点和所述实际结束时间点和重新录制的音频片段，对所述目标音频进行片段替换。
可选的，所述结束时间点确定模块，用于：
确定用户在目标音频的歌词中选取的第二目标句的结束时间点，将所述第二目标句的结束时间点确定为所述对所述目标音频进行片段替换的结束时间点。
可选的，所述实际结束时间点确定模块，用于：
确定所述各语音端点的端点类型，其中，所述端点类型包括起点类型和结束点类型；
确定属于结束点类型的距所述结束时间点最近的第二语音端点；
如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述第二语音端点；
如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述结束时间点。
可选的，所述实际结束时间点确定模块，还用于：
基于所述目标音频中属于结束点类型的每个语音端点之后预设时长内的音频片段的能量特征，确定属于结束点类型的每个语音端点的第二可信度，其中，所述第二可信度表征属于结束点类型的每个语音端点为句结束点的语音端点的概率；
如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，且所述第二语音端点的第二可信度大于第二预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述第二语音端点；
如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，或，所述第二语音端点的第二可信度小于第二预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述结束时间点。
可选的，所述替换模块，还用于：
将所述目标音频中所述实际开始时间点和所述实际结束时间点之间的音频片段，替换为所述重新录制的音频片段。
可选的，所述装置还包括：
截取模块，用于基于所述实际开始时间点和所述实际结束时间点，在所述目标音频中截取第一音频片段；
添加模快，用于获取合唱音频，基于所述实际开始时间点和所述实际结束时间点，将所述第一音频片段添加到所述合唱音频中。
第四方面，提供了又一种音频处理的装置，所述装置包括：
检测模块，用于对目标音频进行语音端点检测，确定所述目标音频的各语音端点；
开始时间点和结束时间点确定模块，用于确定用户输入的对所述目标音频进行片段截取的开始时间点和结束时间点；
实际开始时间点和实际结束时间点确定模块，用于基于所述开始时间点、所述结束时间点和各语音端点，确定对所述目标音频进行片段截取的实际开始时间点和实际结束时间点；
截取模块，用于基于所述实际开始时间点和所述实际结束时间点，对所述目标音频进行音频片段截取；
替换模块，用于获取初始合唱音频，基于截取得到的音频片段、所述实际开始时间点和所述实际结束时间点，对所述初始合唱音频进行替换处理。
可选的，所述开始时间点和结束时间点确定模块，用于：
确定用户在目标音频的歌词中选取的目标句的开始时间点和结束时间点，将所述目标句的开始时间点、结束时间点确定为对所述目标音频进行片段截取的开始时间点、结束时间点。
可选的，所述实际开始时间点和实际结束时间点确定模块，用于：
确定所述各语音端点的端点类型，其中，所述端点类型包括起点类型和结束点类型；
确定属于起点类型的距所述开始时间点最近的第一语音端点，确定属于结束点类型的距所述结束时间点最近的第二语音端点；
如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述第一语音端点；
如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述开始时间点。
如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述第二语音端点；
如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述结束时间点。
可选的，所述实际开始时间点和实际结束时间点确定模块，还用于：
基于所述目标音频中属于起点类型的每个语音端点之前预设时长内的音频片段的能量特征，确定属于起点类型的每个语音端点的第一可信度，其中，所述第一可信度表征属于起点类型的每个语音端点为句起始点的语音端点的概率；
基于所述目标音频中属于结束点类型的每个语音端点之后预设时长内的音频片段的能量特征，确定属于结束点类型的每个语音端点的第二可信度，其中，所述第二可信度表征属于结束点类型的每个语音端点为句结束点的语音端点的概率；
如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，且所述第一语音端点的第一可信度大于第二预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述第一语音端点；
如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，或，所述第一语音端点的第一可信度小于第二预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述开始时间点；
如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，且所述第二语音端点的第二可信度大于第二预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述第二语音端点；
如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，或，所述第二语音端点的第二可信度小于第二预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述结束时间点。
可选的，所述替换模块，用于：
将所述初始合唱音频中所述实际开始时间点和所述实际结束时间点之间的音频片段，替换为所述截取得到的音频片段。
第五方面，提供了一种终端，所述终端包括存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如第一方面或第二方面所述的音频处理的方法。
第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如第一方面或第二方面所述的音频处理的方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例提供的音频处理的方法、装置、终端及计算机可读存储介质，首先，对目标音频进行语音端点检测，确定目标音频的各语音端点。然后，确定用于输入的对目标音频进行片段替换的开始时间点。再然后，基于开始时间点和语音端点，确定对目标音频进行片段替换的实际开始时间点。最后，基于实际开始时间点和重新录制的音频片段，对目标音频进行片段替换。从上述过程可以看出，本申请实施例提供的音频处理的方法，在对目标音频进行片段替换时，不一定将实际开始时间点确定为用户输入的对目标音频进行片段替换的开始时间点，而是基于开始时间点和各语音端点，来确定进行片段替换的实际开始时间点，即有时也会将某语音端点确定为实际开始时间点。从而，当目标句的开始时间点，与人声音频中目标句对应的音频片段的开始时间点不一致时，目标句对应的音频片段的开始时间点可能会被确定为实际开始时间点，因此，在一定程度上减少了截取得到的音频片段发生错乱的可能性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种音频处理的方法的流程图；
图2是本申请实施例提供的一种音频处理的装置的结构示意图；
图3是本申请实施例提供的一种终端的结构示意图；
图4是本申请实施例提供的一种目标音频的波形图；
图5是本申请实施例提供的一种目标音频的波形图；
图6是本申请实施例提供的一种目标音频的波形图；
图7是本申请实施例提供的一种第一用户的人声音频的波形图；
图8是本申请实施例提供的一种第二用户的人声音频的波形图；
图9是本申请实施例提供的一种音频处理的方法的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供了一种音频处理的方法，该方法可以由终端或服务器实现。其中，该终端可以是是手机、平板电脑、笔记本等移动终端，也可以是台式计算机等固定终端。
本申请实施例提供的音频处理的方法，至少可以应用在以下两个场景，即往前拖拽录唱场景和单句录唱场景，下面对这两种场景进行说明。
往前拖拽录唱场景，例如，用户在录制音频时，用户唱到了第四句，此时他觉得第三句和第四句没有唱好，则可以拖拽歌词到第三句的起点位置，重新录制第三句和第四句。本申请实施例提供的音频处理的方法应用在该场景时，首先，对目标音频进行语音端点检测，确定目标音频的各语音端点，其中，各语音端点是在目标音频的录制过程中实时检测得到的。然后，确定用于输入的对目标音频进行片段替换的开始时间点。再然后，基于开始时间点和语音端点，确定对目标音频进行片段替换的实际开始时间点。最后，使用重新录制的音频片段，替换目标音频实际开始时间点之后的音频片段。
单句录唱场景，例如，用户唱完了一首歌，自己试听之后发现有某句没有唱好，则他可以选择单句重唱，重新录制该句。本申请实施例提供的音频处理的方法应用在该场景时，首先，对目标音频进行语音端点检测，确定目标音频的各语音端点。然后，确定用于输入的对目标音频进行片段替换的开始时间点和结束时间点。再然后，基于开始时间点、结束时间点和语音端点，确定对目标音频进行片段替换的实际开始时间点与实际结束时间点。最后，使用重新录制的音频片段，替换目标音频实际开始时间点与实际结束时间点之间的音频片段。
如图1所示，该音频处理的方法的处理流程可以包括如下步骤：
在步骤101中，对目标音频进行语音端点检测，确定目标音频的各语音端点。
其中，语音端点检测的方法可以是基于音频的时域能量特征来对目标音频进行语音端点检测的方法。检测得到的语音端点分为两种类型，即起点类型和结束点类型，起点类型包括句起始点以及句中字的起始点，结束点类型包括句结束点以及句中字的结束点。
在实施中，对目标音频进行语音端点检测是在目标音频的录制过程中实时进行的。目标音频的语音端点检测的进程要慢于目标音频的录制进程，当录制了一段时间的目标音频之后，才开始目标音频的语音端点检测。在对目标音频进行语音端点检测之前，为了使得语音端点检测更加可靠，使得检测得到的结果更加准确，需要首先对目标音频进行预处理，如进行降噪处理、自动增益控制处理和重采样为8000采样率处理等，可以理解的，这些预处理也是在目标音频的录制过程中实时进行的。
基于时域能量特征进行语音端点检测的原理为，在目标音频中，能量突然升高或突然降低的时间点，一般为语音端点。能量突然升高的时间点一般为起点类型的语音端点，能量突然降低的时间点一般为结束点类型的时间点。如图4所示，图4为一种目标音频的波形图，也可以称为振幅图，其中横坐标为时间，纵坐标为振幅，而振幅可以表征能量。在图4中振幅突然上升的时间点一般为起点类型的语音端点，振幅突然降低的时间点一般为结束点类型的时间点。而对于振幅突然降低又突然升高处的时间点，即可能是起点类型的语音端点，也可能是结束点类型的语音端点，因此，在统计时，应统计两次该语音端点，一次将该语音端点视为起点类型的语音端点(因为在该语音端点处振幅突然升高)，另一次将该语音端点视为结束点类型的语音端点(因为在该语音端点处振幅突然降低)。
可选的，还可以确定语音端点的第一可信度或第二可信度。其中，第一可信度表征属于起点类型的每个语音端点为句起始点的语音端点的概率，第二可信度表征属于结束点类型的每个语音端点为句结束点的语音端点的概率。
在实施中，第一可信度的确定方法为，基于目标音频中属于起点类型的每个语音端点之前预设时长内的音频片段的能量特征，确定属于起点类型的每个语音端点的第一可信度。例如，根据属于起点类型的每个语音端点的之前200ms内的能量大小，来确定第一可信度。一般情况下，句起始点的语音端点之前的一小段时长内的能量较小，所以当属于起点类型的每个语音端点之前预设时长内的音频片段的能量越小，第一可信度越高，也即语音端点为句起始点的语音端点的概率越大。
第二可信度的确定方法为，基于目标音频中属于结束点类型的每个语音端点之后预设时长内的音频片段的能量特征，确定属于结束点类型的每个语音端点的第二可信度。例如，根据属于结束点类型的每个语音端点的之后200ms内的能量大小，来确定第二可信度。一般情况下，句结束点的语音端点之后的一小段时长内的能量较小，所以当属于结束点类型的每个语音端点之后预设时长内的音频片段的能量越小，第二可信度越高，也即语音端点为句结束点的语音端点的概率越大。
可以理解的对于既可能是起点类型的语音端点，也可能是结束点类型的语音端点来说，该语音端点的第一可信度和第二可信度均较低，因为该语音端点前后预设时长内的音频频段的能量特征均较高。
确定语音端点的类型和可信度之后，可以将时间端点以及对应的类型和可信度存储下来，以便于后续步骤使用这些数据。
在步骤102中，确定用户输入的对目标音频进行片段替换的开始时间点。
其中，开始时间点为用户选取的目标音频中的目标歌词句的开始时间点。
在实施中，用户输入对目标音频进行片段替换的开始时间点的方式可以是将目标音频的歌词拖拽至第一目标句或者直接选择第一目标句，但不限于此。
在实施中，确定用户在目标音频的歌词中选取的第一目标句的开始时间点，将第一目标句的开始时间点确定为对所述目标音频进行片段替换的开始时间点。
目标音频的歌词信息中包含每句歌词的开始时间点。在实际应用中，假如用户唱到了第四句，此时用户觉得第三句和第四句没有唱好，则用户会拖拽歌词到第三句处，选取第三句，然后，终端会获取歌词信息中第三句(即第一目标句)的开始时间点，该开始时间点即为用户输入的对目标音频进行片段替换的开始时间点。
可选的，有时还需要确定用户输入的对目标音频进行片段替换的结束时间点，则相应处理如下所述，确定用户在目标音频的歌词中选取的第二目标句的结束时间点，将第二目标句的结束时间点确定为所述对所述目标音频进行片段替换的结束时间点。
其中，结束时间点为用户选取的目标音频中的目标歌词句的结束时间点。
在实施中，用户输入对目标音频进行片段替换的结束时间点的方式可以是将目标音频的歌词拖拽至第二目标句或者直接选择第二目标句，但不限于此。
目标音频的歌词信息中包含每句歌词的开始时间点和结束时间点。当用户唱完一首歌之后，在试听之后，发现其中有一句或几句没有唱好，则用户选择没有唱好的句子，如第三句，然后，终端会获取歌词信息中第三句(此时第三句为第一目标句，也为第二目标句)的开始时间点与结束时间点，该开始时间点为用户输入的对目标音频进行片段替换的开始时间点，该结束时间点为用户输入的对目标音频进行片段替换的结束时间点。如果用户选择重唱第三句和第四句，则终端会获取歌词信息中第三句(即第一目标句)的开始时间点，作为用户输入的对目标音频进行片段替换的开始时间点，获取歌词信息中第四句(即第二目标句)的结束时间点，作为用户输入的对目标音频进行片段替换的结束时间点。
在步骤103中，基于开始时间点和各语音端点，确定对目标音频进行片段替换的实际开始时间点。
其中，实际开始时间点为在目标音频中进行音频片段截取的开始时间点。
在实施中，确定实际开始时间点的具体步骤可以如下所述，确定各语音端点的端点类型，其中，端点类型包括起点类型和结束点类型。确定属于起点类型的距开始时间点最近的第一语音端点。如果第一语音端点距开始时间点的时长小于第一预设阈值，则确定对目标音频进行片段替换的实际开始时间点为第一语音端点。如果第一语音端点距开始时间点的时长不小于第一预设阈值，则确定对目标音频进行片段替换的实际开始时间点为开始时间点。
确定端点类型的具体方法可以参考步骤101中的具体内容，在此不再赘述。
第一预设阈值的具体数值可以根据实验情况来设置，可选的，可以设置第一预设阈值为500ms。即如果确定出来属于起点类型的距开始时间点最近的第一语音端点，距开始时间点的时长小于500ms，则确定对目标音频进行片段替换的实际开始时间点为该第一语音端点；如果确定出来属于起点类型的距开始时间点最近的第一语音端点，距开始时间点的时长不小于500ms，则确定对目标音频进行片段替换的实际开始时间点为开始时间点。
通过设置第一预设阈值，在第一语音端点与开始时间点相距过远时，仍然采用开始时间点作为实际开始时间点，从而避免替换后的音频发生更大的偏差。
可选的，为了达到更好的替换效果，还可以基于第一可信度确定对目标音频进行片段替换的实际开始时间点，步骤103相应的处理过程可以如下所述，基于目标音频中属于起点类型的每个语音端点之前预设时长内的音频片段的能量特征，确定属于起点类型的每个语音端点的第一可信度。如果第一语音端点距开始时间点的时长小于第一预设阈值，且第一语音端点的第一可信度大于第二预设阈值，则确定对目标音频进行片段替换的实际开始时间点为第一语音端点。如果第一语音端点距开始时间点的时长不小于第一预设阈值，或，第一语音端点的第一可信度小于第二预设阈值，则确定对目标音频进行片段替换的实际开始时间点为开始时间点。
其中，第一可信度表征属于起点类型的每个语音端点为句起始点的语音端点的概率。
第一预设阈值的具体数值可以根据实验情况来设置，可选的，可以设置第一预设阈值为500ms。
第二预设阈值的具体数值可以根据实验情况来设置，可选的，可以设置第二预设阈值为70％。
在实施中，如果确定出来的属于起点类型的距开始时间点最近的第一语音端点，距开始时间点的时长小于500ms，且该第一语音端点的第一可信度大于70％，则确定对目标音频进行片段替换的实际开始时间点为该第一语音端点；如果确定出来的属于起点类型的距开始时间点最近的第一语音端点，距开始时间点的时长不小于500ms，或者，距开始时间点的时长小于500ms，但该第一语音端点的第一可信度不大于70％，则确定对目标音频进行片段替换的实际开始时间点为开始时间点。
确定端点类型以及确定第一可信度的具体方法可以参考步骤101中的具体内容，在此不再赘述。
通过设置第一预设阈值，在第一语音端点与开始时间点相距过远时，仍然采用开始时间点作为实际开始时间点，从而避免替换后的音频发生更大的偏差。并且，通过设置第二预设阈值，也避免将字(不是句的首字)的起点确定为实际开始时间点，也避免了替换后的音频发生更大的偏差。
可选的，还可以对目标音频中的某一句或某几句音频片段进行替换，此时还需要确定对目标音频进行片段替换的实际结束时间点，相应的处理可以如下所述，基于结束时间点和各语音端点，确定对目标音频进行片段替换的实际结束时间点。
其中，实际结束时间点为在目标音频中进行音频片段截取的结束时间点。
在实施中，确定实际结束时间点的具体步骤可以如下所述，确定各语音端点的端点类型，其中，端点类型包括起点类型和结束点类型。确定属于结束点类型的距结束时间点最近的第二语音端点。如果第二语音端点距结束时间点的时长小于第一预设阈值，则确定对目标音频进行片段替换的实际结束时间点为第二语音端点。如果第二语音端点距结束时间点的时长不小于第一预设阈值，则确定对目标音频进行片段替换的实际结束时间点为结束时间点。
确定端点类型的具体方法可以参考步骤101中的具体内容，在此不再赘述。
第一预设阈值的具体数值可以根据实验情况来设置，可选的，可以设置第一预设阈值为500ms。即如果确定出来的属于结束点类型的距结束时间点最近的第二语音端点，距结束时间点的时长小于500ms，则确定对目标音频进行片段替换的实际结束时间点为该第二语音端点；如果确定出来的属于结束点类型的距结束时间点最近的第二语音端点，距结束时间点的时长不小于500ms，则确定对目标音频进行片段替换的实际结束时间点为结束时间点。
通过设置第一预设阈值，在第二语音端点与结束时间点相距过远时，仍然采用结束时间点作为实际结束时间点，从而避免替换后的音频发生更大的偏差。
可选的，为了达到更好的替换效果，还可以基于第二可信度确定对目标音频进行片段替换的实际结束时间点，相应的处理过程如下所述，基于目标音频中属于结束点类型的每个语音端点之后预设时长内的音频片段的能量特征，确定属于结束点类型的每个语音端点的第二可信度。如果第二语音端点距结束时间点的时长小于第一预设阈值，且第二语音端点的第二可信度大于第二预设阈值，则确定对目标音频进行片段替换的实际结束时间点为第二语音端点。如果第二语音端点距结束时间点的时长不小于第一预设阈值，或，第二语音端点的第二可信度小于第二预设阈值，则确定对目标音频进行片段替换的实际结束时间点为结束时间点。
其中，第二可信度表征属于结束点类型的每个语音端点为句结束点的语音端点的概率。
第一预设阈值的具体数值可以根据实验情况来设置，可选的，可以设置第一预设阈值为500ms。
第二预设阈值的具体数值可以根据实验情况来设置，可选的，可以设置第二预设阈值为70％。
在实施中，如果确定出来的属于结束点类型的距结束时间点最近的第二语音端点，距结束时间点的时长小于500ms，且该第二语音端点的第二可信度大于70％，则确定对目标音频进行片段替换的实际结束时间点为该第二语音端点。如果确定出来的属于结束点类型的距结束时间点最近的第二语音端点，距结束时间点的时长不小于500ms，或者，距结束时间点的时长小于500ms，但该第二语音端点的第二可信度不大于70％，则确定对目标音频进行片段替换的实际结束时间点为结束时间点。
确定端点类型以及第二可信度的具体方法可以参考步骤101中的具体内容，在此不再赘述。
通过设置第一预设阈值，在第二语音端点与结束时间点相距过远时，仍然采用结束时间点作为实际结束时间点，从而避免替换后的音频发生更大的偏差。并且，通过设置第二预设阈值，也避免将字(不是句的末字)的结束点确定为实际结束时间点，也避免了替换后的音频发生更大的偏差。
在步骤104中，基于实际开始时间点和重新录制的音频片段，对目标音频进行片段替换。
其中，重新录制的音频片段的时长可以与目标音频中实际开始时间点之后的音频片段的时长相等，也可以不相等。
在实施中，将目标音频中实际开始时间点之后的音频片段，替换为重新录制的音频片段，如图5所示，图5中方框框出的音频片段，为需要替换的音频片段，由图5可以看出，确定实际开始时间点就可以确定需要替换的音频片段。
可选的，对于单句或几句重唱的场景，相应的处理过程可以如下：基于实际开始时间点和实际结束时间点和重新录制的音频片段，对目标音频进行片段替换。
其中，重新录制的音频片段的时长，与实际开始时间点和实际结束时间点之间的时长相同。
在实施中，将目标音频中实际开始时间点和实际结束时间点之间的音频片段，替换为重新录制的音频片段，如图6所示，图6中方框框出的音频片段，为需要进行单句替换的音频片段，由图6可以看出，需要确定实际结束时间点和实际开始时间点，才能确定需要进行替换的音频片段。
在确定实际开始时间点和实际结束时间点之后，可以先确定需要录制的音频片段的时长，然后基于该时长录制音频，具体步骤为，基于实际开始时间点和实际结束时间点确定需要重新录制的音频片段的时长，其中，该时长即为实际开始时间点和实际结束时间点之间的时长。然后，录制与该时长相等时长的音频片段。
本申请实施例提供的方法，当应用在往前拖拽录唱场景和单句录唱场景中时，均可以减少处理后的音频中的重字现象，其中，重字现象是指有一个字的音重复了一次，比如,“我爱你中国”变成“我我爱你中国”。
具体的，在往前拖拽录唱场景中，如果目标音频中的目标句对应的音频片段的开始时间点在目标句的开始时间点之前，则会发生重字现象。在单句录唱场景中，如果目标音频中的目标句对应的音频片段的开始时间点在目标句的开始时间点之前，或，目标音频中的目标句对应的音频片段的结束时间点在目标句的结束时间点之后，则会发生重字现象。
从上述过程可以看出，本申请实施例提供的音频处理的方法，在对目标音频进行片段替换时，不一定将用户输入的对目标音频进行片段替换的开始时间点(或结束时间点)确定为对目标音频进行片段替换的实际开始时间点(或实际结束时间点)，而是基于开始时间点(或结束时间点)和各语音端点，来确定进行片段替换的实际开始时间点(或实际结束时间点)，即有时也会将某语音端点确定为实际开始时间点(或实际结束时间点)。从而，在一定程度上减少了重字现象发生的可能性。
本申请实施例提供了一种音频处理的方法，该方法可以由终端或服务器实现。其中，该终端可以是是手机、平板电脑、笔记本等移动终端，也可以是台式计算机等固定终端。
本申请实施例提供的音频处理的方法，至少可以应用在合唱场景，下面对合唱场景进行说明。
合唱场景，例如，第二用户加入第一用户的合唱，则从第一用户的人声音频中截取相应的音频片段，然后，使用这些音频片段替换初始合成音频中的音频片段，生成合唱音频。本申请实施例提供的音频处理的方法应用在该场景时，首先，对目标音频进行语音端点检测，确定目标音频的各语音端点。然后，确定用户输入的对目标音频进行片段截取的开始时间点和结束时间点。再然后，基于开始时间点、结束时间点和语音端点，确定对目标音频进行片段截取的实际开始时间点与实际结束时间点。最后，截取目标音频实际开始时间点与实际结束时间点之间的音频片段，并使用该音频片段替换初始合唱音频实际开始时间点与实际结束时间点之间的音频片段。
如图9所示，该音频处理的方法的处理流程可以包括如下步骤：
在步骤901中，对目标音频进行语音端点检测，确定目标音频的各语音端点。
在实施中，该步骤的具体内容与步骤101中的内容相同或相似，在此不再赘述。
在步骤902中，确定用户输入的对目标音频进行片段截取的开始时间点和结束时间点。
在实施中，确定用户在目标音频的歌词中选取的目标句的开始时间点和结束时间点，将目标句的开始时间点、结束时间点确定为对目标音频进行片段截取的开始时间点、结束时间点。目标句可以不仅仅是一个歌词句，可选的，目标句包括第一目标句和第二目标句。
例如，第一用户上传了一个音频，第二用户想要加入合唱，则首先，第二用户可以根据歌词划分段落，或者采用默认的分段情况，分段情况为：第一用户唱第一句和第二句，第二用户唱第三句和第四句。在第二用户划分段落的过程，即是用户输入对目标音频进行片段截取的开始时间点和结束时间点的过程。
在第一用户上传的音频中，第二用户选取了第一句作为第一目标句，第二句作为第二目标句。确定第二用户在该音频的歌词中选取的第一目标句(第一句)的开始时间点，将第一目标句的开始时间点确定为对该音频进行片段截取的开始时间点。确定第二用户在该音频的歌词中选取的第二目标句(第二句)的结束时间点，将第二目标句的结束时间点确定为对该音频进行片段截取的结束时间点。
在第二用户录制的音频中，第二用户选择了第三句作为第一目标句，第四句作为第二目标句。确定第二用户在该音频的歌词中选取的第一目标句(第三句)的开始时间点，将第一目标句的开始时间点确定为对目标音频进行片段截取的开始时间点。确定第二用户在该音频的歌词中选取的第二目标句(第四句)的结束时间点，将第二目标句的结束时间点确定为对目标音频进行片段截取的结束时间点。
可选的，确定用户输入的对目标音频进行片段截取的开始时间点和结束时间点的具体实现步骤为，确定用户在目标音频的歌词中选取的目标句的开始时间点和结束时间点，将目标句的开始时间点、结束时间点确定为对目标音频进行片段截取的开始时间点、结束时间点。
在步骤903中，基于开始时间点、结束时间点和各语音端点，确定对目标音频进行片段截取的实际开始时间点和实际结束时间点。
可选的，确定实际开始时间点和实际结束时间点的具体步骤可以如下所述，确定各语音端点的端点类型，其中，端点类型包括起点类型和结束点类型。确定属于起点类型的距开始时间点最近的第一语音端点，确定属于结束点类型的距结束时间点最近的第二语音端点。如果第一语音端点距开始时间点的时长小于第一预设阈值，则确定对目标音频进行片段截取的实际开始时间点为第一语音端点。如果第一语音端点距开始时间点的时长不小于第一预设阈值，则确定对目标音频进行片段截取的实际开始时间点为开始时间点。如果第二语音端点距结束时间点的时长小于第一预设阈值，则确定对目标音频进行片段截取的实际结束时间点为第二语音端点。如果第二语音端点距结束时间点的时长不小于第一预设阈值，则确定对目标音频进行片段截取的实际结束时间点为结束时间点。
可选的，为了达到更好的替换效果，还可以基于第一可信度和第二可信度确定对目标音频进行片段截取的实际开始时间点和实际结束时间点。基于目标音频中属于起点类型的每个语音端点之前预设时长内的音频片段的能量特征，确定属于起点类型的每个语音端点的第一可信度，其中，第一可信度表征属于起点类型的每个语音端点为句起始点的语音端点的概率。基于目标音频中属于结束点类型的每个语音端点之后预设时长内的音频片段的能量特征，确定属于结束点类型的每个语音端点的第二可信度，其中，第二可信度表征属于结束点类型的每个语音端点为句结束点的语音端点的概率。如果第一语音端点距开始时间点的时长小于第一预设阈值，且第一语音端点的第一可信度大于第二预设阈值，则确定对目标音频进行片段截取的实际开始时间点为第一语音端点。如果第一语音端点距开始时间点的时长不小于第一预设阈值，或，第一语音端点的第一可信度小于第二预设阈值，则确定对目标音频进行片段截取的实际开始时间点为开始时间点。如果第二语音端点距结束时间点的时长小于第一预设阈值，且第二语音端点的第二可信度大于第二预设阈值，则确定对目标音频进行片段截取的实际结束时间点为第二语音端点。如果第二语音端点距结束时间点的时长不小于第一预设阈值，或，第二语音端点的第二可信度小于第二预设阈值，则确定对目标音频进行片段截取的实际结束时间点为结束时间点。
在实施中，该步骤的具体内容与步骤103中的内容相似，不同之处在于步骤103中的实际开始时间点和实际结束时间点为对目标音频进行片段替换的，而本步骤中的实际开始时间点和实际结束时间点为对目标音频进行片段截取的，但是，本步骤的具体内容仍然可以参照步骤103，在此不再赘述。
在步骤904中，基于实际开始时间点和实际结束时间点，对目标音频进行音频片段截取。
在实施中，截取目标音频中实际开始时间点和实际结束时间点之间的音频片段。
在步骤905中，获取初始合唱音频，基于截取得到的音频片段、实际开始时间点和实际结束时间点，对初始合唱音频进行替换处理。
在实施中，假如第一用户加入第二用户的合唱，则有两种实现方式，第一种，初始合唱音频为第二用户的人声音频，首先，在第一用户的人声音频中截取实际开始时间点和实际结束时间点之间的音频片段，然后，使用该音频片段替换第二用户的人声音频中实际开始时间点和实际结束时间点之间的音频片段。
第二种，初始合唱音频为第一用户和第二用户人声音频之外的新生成的音频，该初始合唱音频为静音音频，此时需要在第一用户的人声音频和第二用户的人声音频中截取相应的音频片段，然后，使用截取到的音频片段，替换初始合唱音频中相应的音频片段。如图7所示，图7中框出的音频片段，为在第一用户的人声音频中截取的音频片段。如图8所示，图8中框出的音频片段，为在第二用户的人声音频中截取的音频片段。
本申请实施例提供的方法，当应用在合唱场景中时，可以减少处理后的视频中的吞字现象，其中，吞字现象是指一句歌词开头第一个字的音或者结尾那个字的音被截去了一半，或者完全被截去的现象。
具体的，在合唱场景中，如果目标音频中的目标句对应的音频片段的开始时间点在目标句的开始时间点之前，或，目标音频中的目标句对应的音频片段的结束时间点在目标句的结束时间点之后，则会发生吞字现象。
从上述过程可以看出，本申请实施例提供的音频处理的方法，在对目标音频进行片段截取时，不一定将用户输入的对目标音频进行片段截取的开始时间点和结束时间点，确定为片段截取的实际开始时间点和实际结束时间点。而是基于开始时间点、结束时间点和各语音端点，来确定进行片段截取的实际开始时间点和实际结束时间点，即有时也会将某语音端点确定为实际开始时间点或实际结束时间点。从而，在一定程度上减少了吞字现象发生的可能性。
基于相同的技术构思，本申请实施例还提供了一种音频处理的装置，该装置可以为上述实施例中的移动终端，如图2所示，该装置包括：
检测模块201，用于对目标音频进行语音端点检测，确定目标音频的各语音端点；
开始时间点确定模块202，用于确定用户输入的对目标音频进行片段替换的开始时间点；
实际开始时间点确定模块203，用于基于开始时间点和各语音端点，确定对目标音频进行片段替换的实际开始时间点；
替换模块204，用于基于实际开始时间点和重新录制的音频片段，对目标音频进行片段替换。
可选的，开始时间点确定模块202，用于：
确定用户在目标音频的歌词中选取的第一目标句的开始时间点，将第一目标句的开始时间点确定为对目标音频进行片段替换的开始时间点。
可选的，实际开始时间点确定模块203，用于：
确定各语音端点的端点类型，其中，端点类型包括起点类型和结束点类型；
确定属于起点类型的距开始时间点最近的第一语音端点；
如果第一语音端点距开始时间点的时长小于第一预设阈值，则确定对目标音频进行片段替换的实际开始时间点为第一语音端点；
如果第一语音端点距开始时间点的时长不小于第一预设阈值，则确定对目标音频进行片段替换的实际开始时间点为开始时间点。
可选的，实际开始时间确定模块203，还用于：
基于目标音频中属于起点类型的每个语音端点之前预设时长内的音频片段的能量特征，确定属于起点类型的每个语音端点的第一可信度，其中，第一可信度表征属于起点类型的每个语音端点为句起始点的语音端点的概率；
如果第一语音端点距开始时间点的时长小于第一预设阈值，且第一语音端点的第一可信度大于第二预设阈值，则确定对目标音频进行片段替换的实际开始时间点为第一语音端点；
如果第一语音端点距开始时间点的时长不小于第一预设阈值，或，第一语音端点的第一可信度小于第二预设阈值，则确定对目标音频进行片段替换的实际开始时间点为开始时间点。
可选的，替换模块204，用于：
将目标音频中实际开始时间点之后的音频片段，替换为重新录制的音频片段。
可选的，装置还包括：
结束时间点确定模块205，用于确定用户输入的对目标音频进行片段替换的结束时间点；
实际结束时间点确定模块206，用于基于结束时间点和各语音端点，确定对目标音频进行片段替换的实际结束时间点；
替换模块204，还用于基于实际开始时间点和实际结束时间点和重新录制的音频片段，对目标音频进行片段替换。
可选的，结束时间点确定模块205，用于：
确定用户在目标音频的歌词中选取的第二目标句的结束时间点，将第二目标句的结束时间点确定为对目标音频进行片段替换的结束时间点。
可选的，实际结束时间点确定模块206，用于：
确定各语音端点的端点类型，其中，端点类型包括起点类型和结束点类型；
确定属于结束点类型的距结束时间点最近的第二语音端点；
如果第二语音端点距结束时间点的时长小于第一预设阈值，则确定对目标音频进行片段替换的实际结束时间点为第二语音端点；
如果第二语音端点距结束时间点的时长不小于第一预设阈值，则确定对目标音频进行片段替换的实际结束时间点为结束时间点。
可选的，实际结束时间点确定模块206，还用于：
基于目标音频中属于结束点类型的每个语音端点之后预设时长内的音频片段的能量特征，确定属于结束点类型的每个语音端点的第二可信度，其中，第二可信度表征属于结束点类型的每个语音端点为句结束点的语音端点的概率；
如果第二语音端点距结束时间点的时长小于第一预设阈值，且第二语音端点的第二可信度大于第二预设阈值，则确定对目标音频进行片段替换的实际结束时间点为第二语音端点；
如果第二语音端点距结束时间点的时长不小于第一预设阈值，或，第二语音端点的第二可信度小于第二预设阈值，则确定对目标音频进行片段替换的实际结束时间点为结束时间点。
可选的，替换模块204，还用于：
将目标音频中实际开始时间点和实际结束时间点之间的音频片段，替换为重新录制的音频片段。
可选的，装置还包括：
截取模块207，用于基于实际开始时间点和实际结束时间点，在目标音频中截取第一音频片段；
添加模快208，用于获取合唱音频，基于实际开始时间点和结束时间点，将第一音频片段添加到合唱音频中。
本申请实施例又提供了一种音频处理的装置，该装置可以为上述实施例中的移动终端，该装置包括：
检测模块，用于对目标音频进行语音端点检测，确定目标音频的各语音端点；
开始时间点和结束时间点确定模块，用于确定用户输入的对目标音频进行片段截取的开始时间点和结束时间点；
实际开始时间点和实际结束时间点确定模块，用于基于开始时间点、结束时间点和各语音端点，确定对目标音频进行片段截取的实际开始时间点和实际结束时间点；
截取模块，用于基于实际开始时间点和实际结束时间点，对目标音频进行音频片段截取；
替换模块，用于获取初始合唱音频，基于截取得到的音频片段、实际开始时间点和实际结束时间点，对初始合唱音频进行替换处理。
可选的，开始时间点和结束时间点确定模块，用于：
确定用户在目标音频的歌词中选取的目标句的开始时间点和结束时间点，将目标句的开始时间点、结束时间点确定为对目标音频进行片段截取的开始时间点、结束时间点。
可选的，实际开始时间点和实际结束时间点确定模块，用于：
确定各语音端点的端点类型，其中，端点类型包括起点类型和结束点类型；
确定属于起点类型的距开始时间点最近的第一语音端点，确定属于结束点类型的距结束时间点最近的第二语音端点；
如果第一语音端点距开始时间点的时长小于第一预设阈值，则确定对目标音频进行片段截取的实际开始时间点为第一语音端点；
如果第一语音端点距开始时间点的时长不小于第一预设阈值，则确定对目标音频进行片段截取的实际开始时间点为开始时间点。
如果第二语音端点距结束时间点的时长小于第一预设阈值，则确定对目标音频进行片段截取的实际结束时间点为第二语音端点；
如果第二语音端点距结束时间点的时长不小于第一预设阈值，则确定对目标音频进行片段截取的实际结束时间点为结束时间点。
可选的，实际开始时间点和实际结束时间点确定模块，还用于：
基于目标音频中属于起点类型的每个语音端点之前预设时长内的音频片段的能量特征，确定属于起点类型的每个语音端点的第一可信度，其中，第一可信度表征属于起点类型的每个语音端点为句起始点的语音端点的概率；
基于目标音频中属于结束点类型的每个语音端点之后预设时长内的音频片段的能量特征，确定属于结束点类型的每个语音端点的第二可信度，其中，第二可信度表征属于结束点类型的每个语音端点为句结束点的语音端点的概率；
如果第一语音端点距开始时间点的时长小于第一预设阈值，且第一语音端点的第一可信度大于第二预设阈值，则确定对目标音频进行片段截取的实际开始时间点为第一语音端点；
如果第一语音端点距开始时间点的时长不小于第一预设阈值，或，第一语音端点的第一可信度小于第二预设阈值，则确定对目标音频进行片段截取的实际开始时间点为开始时间点；
如果第二语音端点距结束时间点的时长小于第一预设阈值，且第二语音端点的第二可信度大于第二预设阈值，则确定对目标音频进行片段截取的实际结束时间点为第二语音端点；
如果第二语音端点距结束时间点的时长不小于第一预设阈值，或，第二语音端点的第二可信度小于第二预设阈值，则确定对目标音频进行片段截取的实际结束时间点为结束时间点。
可选的，替换模块，用于：
将初始合唱音频中实际开始时间点和实际结束时间点之间的音频片段，替换为截取得到的音频片段。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是：上述实施例提供的音频处理的装置在进行音频处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的音频处理的装置与音频处理的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图3是本申请实施例提供的一种终端的结构框图。该终端300可以是便携式移动终端，比如：智能手机、平板电脑、智能摄像机。终端300还可能被称为用户设备、便携式终端等其他名称。
通常，终端300包括有：处理器301和存储器302。
处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是有形的和非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中提供的音频处理的方法。
在一些实施例中，终端300还可选包括有：外围设备接口303和至少一个外围设备。具体地，外围设备包括：射频电路304、显示屏305、摄像头组件306、音频电路307、定位组件308和电源309中的至少一种。
外围设备接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和外围设备接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和外围设备接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。显示屏305还具有采集在触摸显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。显示屏305用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，设置终端300的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在终端300的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在终端300的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件306用于采集图像或视频。可选地，摄像头组件306包括前置摄像头和后置摄像头。通常，前置摄像头用于实现视频通话或自拍，后置摄像头用于实现照片或视频的拍摄。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能，主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能。在一些实施例中，摄像头组件306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路307用于提供用户和终端300之间的音频接口。音频电路307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器301进行处理，或者输入至射频电路304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器301或射频电路304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路307还可以包括耳机插孔。
定位组件308用于定位终端300的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件308可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源309用于为终端300中的各个组件进行供电。电源309可以是交流电、直流电、一次性电池或可充电电池。当电源309包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端300还包括有一个或多个传感器310。该一个或多个传感器310包括但不限于：加速度传感器311、陀螺仪传感器312、压力传感器313、指纹传感器314、光学传感器315以及接近传感器316。
加速度传感器311可以检测以终端300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器311可以用于检测重力加速度在三个坐标轴上的分量。处理器301可以根据加速度传感器311采集的重力加速度信号，控制触摸显示屏305以横向视图或纵向视图进行用户界面的显示。加速度传感器311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器312可以检测终端300的机体方向及转动角度，陀螺仪传感器312可以与加速度传感器311协同采集用户对终端300的3D动作。处理器301根据陀螺仪传感器312采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器313可以设置在终端300的侧边框和/或触摸显示屏305的下层。当压力传感器313设置在终端300的侧边框时，可以检测用户对终端300的握持信号，根据该握持信号进行左右手识别或快捷操作。当压力传感器313设置在触摸显示屏305的下层时，可以根据用户对触摸显示屏305的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器314用于采集用户的指纹，以根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器301授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器314可以被设置终端300的正面、背面或侧面。当终端300上设置有物理按键或厂商Logo时，指纹传感器314可以与物理按键或厂商Logo集成在一起。
光学传感器315用于采集环境光强度。在一个实施例中，处理器301可以根据光学传感器315采集的环境光强度，控制触摸显示屏305的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏305的显示亮度；当环境光强度较低时，调低触摸显示屏305的显示亮度。在另一个实施例中，处理器301还可以根据光学传感器315采集的环境光强度，动态调整摄像头组件306的拍摄参数。
接近传感器316，也称距离传感器，通常设置在终端300的正面。接近传感器316用于采集用户与终端300的正面之间的距离。在一个实施例中，当接近传感器316检测到用户与终端300的正面之间的距离逐渐变小时，由处理器301控制触摸显示屏305从亮屏状态切换为息屏状态；当接近传感器316检测到用户与终端300的正面之间的距离逐渐变大时，由处理器301控制触摸显示屏305从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图3中示出的结构并不构成对终端300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述实施例中的音频处理的方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (18)

1.一种音频处理的方法，其特征在于，所述方法包括：
对目标音频进行语音端点检测，确定所述目标音频的各语音端点；
确定用户输入的对所述目标音频进行片段替换的开始时间点；
基于所述开始时间点和各语音端点，确定对所述目标音频进行片段替换的实际开始时间点，包括：确定所述各语音端点的端点类型，其中，所述端点类型包括起点类型和结束点类型；确定属于起点类型的距所述开始时间点最近的第一语音端点；如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述第一语音端点；如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述开始时间点；
基于所述实际开始时间点和重新录制的音频片段，对所述目标音频进行片段替换。
2.根据权利要求1所述的方法，其特征在于，所述确定用户输入的对所述目标音频进行片段替换的开始时间点，包括：
确定用户在目标音频的歌词中选取的第一目标句的开始时间点，将所述第一目标句的开始时间点确定为对所述目标音频进行片段替换的开始时间点。
3.根据权利要求1所述的方法，其特征在于，所述确定所述各语音端点的端点类型之后，还包括：
基于所述目标音频中属于起点类型的每个语音端点之前预设时长内的音频片段的能量特征，确定属于起点类型的每个语音端点的第一可信度，其中，所述第一可信度表征属于起点类型的每个语音端点为句起始点的语音端点的概率；
所述如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述第一语音端点，包括：
如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，且所述第一语音端点的第一可信度大于第二预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述第一语音端点；
所述如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述开始时间点，包括：
如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，或，所述第一语音端点的第一可信度小于第二预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述开始时间点。
4.根据权利要求1所述的方法，其特征在于，所述基于所述实际开始时间点和重新录制的音频片段，对所述目标音频进行片段替换，包括：
将所述目标音频中所述实际开始时间点之后的音频片段，替换为所述重新录制的音频片段。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定用户输入的对所述目标音频进行片段替换的结束时间点；
基于所述结束时间点和各语音端点，确定对所述目标音频进行片段替换的实际结束时间点；
基于所述实际开始时间点和所述实际结束时间点和重新录制的音频片段，对所述目标音频进行片段替换。
6.根据权利要求5所述的方法，其特征在于，所述确定用户输入的对所述目标音频进行片段替换的结束时间点，包括：
确定用户在目标音频的歌词中选取的第二目标句的结束时间点，将所述第二目标句的结束时间点确定为所述对所述目标音频进行片段替换的结束时间点。
7.根据权利要求5所述的方法，其特征在于，所述基于所述结束时间点和各语音端点，确定对所述目标音频进行片段替换的实际结束时间点，包括：
确定属于结束点类型的距所述结束时间点最近的第二语音端点；
如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述第二语音端点；
如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述结束时间点。
8.根据权利要求7所述的方法，其特征在于，所述确定所述各语音端点的端点类型之后，还包括：
基于所述目标音频中属于结束点类型的每个语音端点之后预设时长内的音频片段的能量特征，确定属于结束点类型的每个语音端点的第二可信度，其中，所述第二可信度表征属于结束点类型的每个语音端点为句结束点的语音端点的概率；
所述如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述第二语音端点，包括：
如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，且所述第二语音端点的第二可信度大于第二预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述第二语音端点；
所述如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述结束时间点，包括：
如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，或，所述第二语音端点的第二可信度小于第二预设阈值，则确定对所述目标音频进行片段替换的实际结束时间点为所述结束时间点。
9.根据权利要求5所述的方法，其特征在于，所述基于所述实际开始时间点和所述实际结束时间点和重新录制的音频片段，对所述目标音频进行片段替换，包括：
将所述目标音频中所述实际开始时间点和所述实际结束时间点之间的音频片段，替换为所述重新录制的音频片段。
10.一种音频处理的方法，其特征在于，所述方法包括：
对目标音频进行语音端点检测，确定所述目标音频的各语音端点；
确定用户输入的对所述目标音频进行片段截取的开始时间点和结束时间点；
基于所述开始时间点、所述结束时间点和各语音端点，确定对所述目标音频进行片段截取的实际开始时间点和实际结束时间点；
基于所述实际开始时间点和所述实际结束时间点，对所述目标音频进行音频片段截取；
获取初始合唱音频，基于截取得到的音频片段、所述实际开始时间点和所述实际结束时间点，对所述初始合唱音频进行替换处理；
其中，所述基于所述开始时间点、所述结束时间点和各语音端点，确定对所述目标音频进行片段截取的实际开始时间，包括：
确定所述各语音端点的端点类型，其中，所述端点类型包括起点类型和结束点类型；确定属于起点类型的距所述开始时间点最近的第一语音端点，如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述第一语音端点；
如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述开始时间点。
11.根据权利要求10所述的方法，其特征在于，所述确定用户输入的对所述目标音频进行片段截取的开始时间点和结束时间点，包括：
确定用户在目标音频的歌词中选取的目标句的开始时间点和结束时间点，将所述目标句的开始时间点、结束时间点确定为对所述目标音频进行片段截取的开始时间点、结束时间点。
12.根据权利要求10所述的方法，其特征在于，所述基于所述开始时间点、所述结束时间点和各语音端点，确定对所述目标音频进行片段截取的实际结束时间点，包括：
确定属于结束点类型的距所述结束时间点最近的第二语音端点；
如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述第二语音端点；
如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述结束时间点。
13.根据权利要求12所述的方法，其特征在于，所述确定所述各语音端点的端点类型之后，还包括：
基于所述目标音频中属于起点类型的每个语音端点之前预设时长内的音频片段的能量特征，确定属于起点类型的每个语音端点的第一可信度，其中，所述第一可信度表征属于起点类型的每个语音端点为句起始点的语音端点的概率；
基于所述目标音频中属于结束点类型的每个语音端点之后预设时长内的音频片段的能量特征，确定属于结束点类型的每个语音端点的第二可信度，其中，所述第二可信度表征属于结束点类型的每个语音端点为句结束点的语音端点的概率；
所述如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述第一语音端点，包括：
如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，且所述第一语音端点的第一可信度大于第二预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述第一语音端点；
所述如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述开始时间点，包括：
如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，或，所述第一语音端点的第一可信度小于第二预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述开始时间点；
所述如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述第二语音端点，包括：
如果所述第二语音端点距所述结束时间点的时长小于第一预设阈值，且所述第二语音端点的第二可信度大于第二预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述第二语音端点；
所述如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述结束时间点，包括：
如果所述第二语音端点距所述结束时间点的时长不小于第一预设阈值，或，所述第二语音端点的第二可信度小于第二预设阈值，则确定对所述目标音频进行片段截取的实际结束时间点为所述结束时间点。
14.根据权利要求10所述的方法，其特征在于，所述获取初始合唱音频，基于截取得到的音频片段、所述实际开始时间点和所述实际结束时间点，对所述初始合唱 音频进行替换处理，包括：
将所述初始合唱音频中所述实际开始时间点和所述实际结束时间点之间的音频片段，替换为所述截取得到的音频片段。
15.一种音频处理的装置，其特征在于，所述装置包括：
检测模块，用于对目标音频进行语音端点检测，确定所述目标音频的各语音端点；
开始时间点确定模块，用于确定用户输入的对所述目标音频进行片段替换的开始时间点；
实际开始时间点确定模块，用于基于所述开始时间点和各语音端点，确定对所述目标音频进行片段替换的实际开始时间点，包括：确定所述各语音端点的端点类型，其中，所述端点类型包括起点类型和结束点类型；确定属于起点类型的距所述开始时间点最近的第一语音端点；如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述第一语音端点；如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段替换的实际开始时间点为所述开始时间点；
替换模块，用于基于所述实际开始时间点和重新录制的音频片段，对所述目标音频进行片段替换。
16.一种音频处理的装置，其特征在于，所述装置包括：
检测模块，用于对目标音频进行语音端点检测，确定所述目标音频的各语音端点；
开始时间点和结束时间点确定模块，用于确定用户输入的对所述目标音频进行片段截取的开始时间点和结束时间点；
实际开始时间点和实际结束时间点确定模块，用于基于所述开始时间点、所述结束时间点和各语音端点，确定对所述目标音频进行片段截取的实际开始时间点和实际结束时间点；
截取模块，用于基于所述实际开始时间点和所述实际结束时间点，对所述目标音频进行音频片段截取；
替换模块，用于获取初始合唱音频，基于截取得到的音频片段、所述实际开始时间点和所述实际结束时间点，对所述初始合唱音频进行替换处理；
其中，所述基于所述开始时间点、所述结束时间点和各语音端点，确定对所述目标音频进行片段截取的实际开始时间，包括：
确定所述各语音端点的端点类型，其中，所述端点类型包括起点类型和结束点类型；确定属于起点类型的距所述开始时间点最近的第一语音端点，如果所述第一语音端点距所述开始时间点的时长小于第一预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述第一语音端点；
如果所述第一语音端点距所述开始时间点的时长不小于第一预设阈值，则确定对所述目标音频进行片段截取的实际开始时间点为所述开始时间点。
17.一种终端，其特征在于，所述终端包括存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1-14中任一项所述的音频处理的方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1-14中任一项所述的音频处理的方法。
CN201910482263.3A 2019-06-04 2019-06-04 音频处理的方法、装置、终端及计算机可读存储介质 Active CN110136752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910482263.3A CN110136752B (zh) 2019-06-04 2019-06-04 音频处理的方法、装置、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910482263.3A CN110136752B (zh) 2019-06-04 2019-06-04 音频处理的方法、装置、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110136752A CN110136752A (zh) 2019-08-16
CN110136752B true CN110136752B (zh) 2021-01-26

Family

ID=67580280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910482263.3A Active CN110136752B (zh) 2019-06-04 2019-06-04 音频处理的方法、装置、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110136752B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159464B (zh) * 2019-12-26 2023-12-15 腾讯科技（深圳）有限公司 一种音频片段的检测方法及相关设备
CN111968680A (zh) * 2020-08-14 2020-11-20 北京小米松果电子有限公司 一种语音处理方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108962293A (zh) * 2018-07-10 2018-12-07 武汉轻工大学 录像修正方法、系统、终端设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103680561B (zh) * 2012-08-31 2016-08-03 英业达科技有限公司 人声信号与其文字说明资料的同步的系统及其方法
WO2016015181A1 (zh) * 2014-07-26 2016-02-04 华为技术有限公司 一种音频文件的剪辑方法及装置
CN106782627B (zh) * 2015-11-23 2019-08-27 广州酷狗计算机科技有限公司 音频文件的重录方法及装置
CN107731249B (zh) * 2017-09-15 2019-12-17 维沃移动通信有限公司 一种音频文件制作方法及移动终端
CN108022604A (zh) * 2017-11-28 2018-05-11 北京小唱科技有限公司 补录音频内容的方法和装置
CN108538302B (zh) * 2018-03-16 2020-10-09 广州酷狗计算机科技有限公司 合成音频的方法和装置
CN109473092B (zh) * 2018-12-03 2021-11-16 珠海格力电器股份有限公司 一种语音端点检测方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108962293A (zh) * 2018-07-10 2018-12-07 武汉轻工大学 录像修正方法、系统、终端设备及存储介质

Also Published As

Publication number Publication date
CN110136752A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN109379643B (zh) 视频合成方法、装置、终端及存储介质
CN108538302B (zh) 合成音频的方法和装置
CN111065001B (zh) 视频制作的方法、装置、设备及存储介质
WO2019114514A1 (zh) 在直播间显示音高信息的方法及装置、存储介质
CN108965922B (zh) 视频封面生成方法、装置和存储介质
CN109346111B (zh) 数据处理方法、装置、终端及存储介质
CN110688082B (zh) 确定音量的调节比例信息的方法、装置、设备及存储介质
CN109192218B (zh) 音频处理的方法和装置
CN109635133B (zh) 可视化音频播放方法、装置、电子设备及存储介质
CN111048111B (zh) 检测音频的节奏点的方法、装置、设备及可读存储介质
CN111061405B (zh) 录制歌曲音频的方法、装置、设备及存储介质
CN109743461B (zh) 音频数据处理方法、装置、终端及存储介质
CN109065068B (zh) 音频处理方法、装置及存储介质
CN112667835A (zh) 作品处理方法、装置、电子设备及存储介质
CN111144365A (zh) 活体检测方法、装置、计算机设备及存储介质
CN111276122A (zh) 音频生成方法及装置、存储介质
CN111092991B (zh) 歌词显示方法及装置、计算机存储介质
CN110798327B (zh) 消息处理方法、设备及存储介质
CN110136752B (zh) 音频处理的方法、装置、终端及计算机可读存储介质
CN113963707A (zh) 音频处理方法、装置、设备和存储介质
CN111081277B (zh) 音频测评的方法、装置、设备及存储介质
CN110191236B (zh) 歌曲播放队列管理方法、装置、终端设备及存储介质
CN111031394B (zh) 视频制作的方法、装置、设备及存储介质
CN112118482A (zh) 音频文件的播放方法、装置、终端及存储介质
CN109003627B (zh) 确定音频得分的方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220402

Address after: 4119, 41st floor, building 1, No.500, middle section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610000

Patentee after: Chengdu kugou business incubator management Co.,Ltd.

Address before: No. 315, Huangpu Avenue middle, Tianhe District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU KUGOU COMPUTER TECHNOLOGY Co.,Ltd.