CN111916039A - 音乐文件的处理方法、装置、终端及存储介质 - Google Patents

音乐文件的处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN111916039A
CN111916039A CN201910381051.6A CN201910381051A CN111916039A CN 111916039 A CN111916039 A CN 111916039A CN 201910381051 A CN201910381051 A CN 201910381051A CN 111916039 A CN111916039 A CN 111916039A
Authority
CN
China
Prior art keywords
accompaniment
data
music file
target
sound effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910381051.6A
Other languages
English (en)
Other versions
CN111916039B (zh
Inventor
白鹤群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Douyin Vision Beijing Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201910381051.6A priority Critical patent/CN111916039B/zh
Priority to PCT/CN2020/078869 priority patent/WO2020224322A1/zh
Priority to EP20801727.7A priority patent/EP3940690A4/en
Priority to SG11202111759XA priority patent/SG11202111759XA/en
Publication of CN111916039A publication Critical patent/CN111916039A/zh
Priority to US17/494,655 priority patent/US11514923B2/en
Application granted granted Critical
Publication of CN111916039B publication Critical patent/CN111916039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0091Means for obtaining special acoustic effects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/81Detection of presence or absence of voice signals for discriminating voice from music
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/056Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/201User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/395Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/4013D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306For headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本公开提供了一种音乐文件的处理方法、装置、终端及存储介质,其中,方法包括:响应于接收到的音效调节指令,获取所述音效调节指令所指示调节的音乐文件;对所述音乐文件进行人声伴奏分离,得到所述音乐文件中的人声数据及伴奏数据;对所述人声数据进行第一音效处理,得到目标人声数据,以及对所述伴奏数据进行第二音效处理,得到目标伴奏数据;合成所述目标人声数据及所述目标伴奏数据,得到目标音乐文件。

Description

音乐文件的处理方法、装置、终端及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及一种音乐文件的处理方法、装置、终端及存储介质。
背景技术
随着人们生活节奏的加快,听音乐已经成为放松心情的一种常见方式,而一首音乐的音效则直接影响用户听音乐的感受,相关技术中,提供固定种类的音效类型,基于用户选择的音效类型对音乐整体进行音效调节,此种整体上的音效处理方式灵活性差,且由于固定的音效类型与所播放音乐文件本身可能不适配,使得处理得到的音乐文件的播放效果不够好,用户体验低。
发明内容
有鉴于此,本公开实施例提供一种音乐文件的处理方法、装置、终端及存储介质。
本公开实施例提供一种音乐文件的处理方法,所述方法包括:
响应于接收到的音效调节指令,获取所述音效调节指令所指示调节的音乐文件;
对所述音乐文件进行人声伴奏分离,得到所述音乐文件中的人声数据及伴奏数据;
对所述人声数据进行第一音效处理,得到目标人声数据,以及对所述伴奏数据进行第二音效处理,得到目标伴奏数据;
合成所述目标人声数据及所述目标伴奏数据,得到目标音乐文件。
上述方案中,所述对所述人声数据进行第一音效处理,得到目标人声数据,包括:
获取所述伴奏数据对应的节奏参数,所述节奏参数用于表征所述音乐文件的节奏快慢;
确定对应所述节奏参数的第一调节参数;
基于所述第一调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
上述方案中,所述对所述人声数据进行第一音效处理,得到目标人声数据,包括:
获取预设的第二调节参数,所述第二调节参数用于指示人声的目标运动轨迹;
基于所述第二调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
上述方案中,所述对所述人声数据进行第一音效处理,得到目标人声数据,包括:
确定播放所述音乐文件的终端所对应的运动轨迹;
基于所述终端的运动轨迹,生成第三调节参数,所述第三调节参数所指示的人声的运动轨迹与所述终端的运动轨迹相同;
基于所述第三调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
上述方案中,所述对所述伴奏数据进行第二音效处理,得到目标伴奏数据,包括:
获取预设的伴奏模式,所述伴奏模式用于指示所述伴奏数据的播放形式;
基于所述伴奏模式对所述伴奏数据进行第二音效处理,得到目标伴奏数据。
上述方案中,所述对所述伴奏数据进行第二音效处理,得到目标伴奏数据,包括:
响应于所述伴奏数据中包括目标乐器对应的伴奏数据,分离得到所述伴奏数据中所述目标乐器对应的伴奏数据;
获取预设的第四调节参数,所述第四调节参数用于指示所述目标乐器的演奏方位;
基于所述第四调节参数,对所述目标乐器对应的伴奏数据进行第二音效处理,得到目标伴奏数据。
上述方案中,所述方法还包括:
获取所述音乐文件的附加调节参数,所述附加调节参数包括以下至少之一:音调、音色、响度、动态范围;
基于所述附加调节参数,对所述人声数据和/或所述伴奏数据进行处理。
本公开实施例还提供一种音乐文件的处理装置,所述装置包括:
获取单元,用于响应于接收到的音效调节指令,获取所述音效调节指令所指示调节的音乐文件;
分离单元,用于对所述音乐文件进行人声伴奏分离,得到所述音乐文件中的人声数据及伴奏数据;
处理单元,用于对所述人声数据进行第一音效处理,得到目标人声数据,以及对所述伴奏数据进行第二音效处理,得到目标伴奏数据;
合成单元,用于合成所述目标人声数据及所述目标伴奏数据,得到目标音乐文件。
上述方案中,所述处理单元,还用于获取所述伴奏数据对应的节奏参数,所述节奏参数用于表征所述音乐文件的节奏快慢;
确定对应所述节奏参数的第一调节参数;
基于所述第一调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
上述方案中,所述处理单元,还用于获取预设的第二调节参数,所述第二调节参数用于指示人声的目标运动轨迹;
基于所述第二调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
上述方案中,所述处理单元,还用于确定播放所述音乐文件的终端所对应的运动轨迹;
基于所述终端的运动轨迹,生成第三调节参数,所述第三调节参数所指示的人声的运动轨迹与所述终端的运动轨迹相同;
基于所述第三调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
上述方案中,所述处理单元,还用于获取预设的伴奏模式,所述伴奏模式用于指示所述伴奏数据的播放形式;
基于所述伴奏模式对所述伴奏数据进行第二音效处理,得到目标伴奏数据。
上述方案中,所述处理单元,还用于响应于所述伴奏数据中包括目标乐器对应的伴奏数据,分离得到所述伴奏数据中所述目标乐器对应的伴奏数据;
获取预设的第四调节参数,所述第四调节参数用于指示所述目标乐器的演奏方位;
基于所述第四调节参数,对所述目标乐器对应的伴奏数据进行第二音效处理,得到目标伴奏数据。
上述方案中,所述处理单元,还用于获取所述音乐文件的附加调节参数,所述附加调节参数包括以下至少之一:音调、音色、响度、动态范围;
基于所述附加调节参数,对所述人声数据和/或所述伴奏数据进行处理。
本公开实施例还提供一种终端,所述终端包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本公开实施例提供的音乐文件的处理方法。
本公开实施例还提供一种非暂态存储介质,存储有可执行指令,所述可执行指令被执行时,用于实现本公开实施例提供的音乐文件的处理方法。
应用本公开上述实施例具有以下有益效果:
应用本公开上述实施例,通过对音乐文件进行人声伴奏分离,得到音乐文件中的人声数据及伴奏数据,分别针对人声数据和伴奏数据单独进行音效处理,然后将处理后的数据进行合成,如此,实现了对音乐文件中人声及伴奏有针对性的音效调节,灵活性高,且基于单独音效处理得到的目标人声数据及目标伴奏数据得到的目标音乐文件的播放效果更好,用户体验高。
附图说明
图1为本公开实施例提供的音乐文件的处理系统的架构示意图;
图2为本公开实施例提供的音乐文件的处理装置的组成结构示意图;
图3为本公开实施例提供的音乐文件的处理方法的流程示意图;
图4为本公开实施例提供的播放客户端显示的音效调节的界面示意图;
图5为本公开实施例提供的人声的三维运动轨迹示意图;
图6为本公开实施例提供的人声的三维运动轨迹示意图;
图7为本公开实施例提供的终端的三维运动轨迹示意图;
图8为本公开实施例提供的音乐文件的处理方法的流程示意图;
图9为本公开实施例提供的音乐文件的处理装置的组成结构示意图。
具体实施方式
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本公开实施例的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本公开实施例。
本公开实施例提供的附图中的流程图和框图,图示了按照本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
接下来参见图1,图1为本公开实施例提供的音乐文件的处理系统的架构示意图,为实现支撑一个示例性应用,终端400(包括终端400-1(包括图形界面410-1)和终端400-2(包括图形界面410-2)),终端400通过网络300连接服务器200,终端上设置有播放客户端,用户可通过该播放客户端实现音乐播放,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。
终端400(如终端400-1),用于响应于接收到的音效调节指令,发送对应的音乐文件的获取请求给服务器200;
服务器200,用于基于接收到的获取请求,返回相应的音乐文件;
终端400(如终端400-1),还用于对接收到的音乐文件进行人声伴奏分离,得到音乐文件中的人声数据及伴奏数据;对人声数据进行第一音效处理,得到目标人声数据,以及对伴奏数据进行第二音效处理,得到目标伴奏数据;合成目标人声数据及目标伴奏数据,得到目标音乐文件。
这里,响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
在一些实施例中,终端400(如终端400-1)上设置有播放客户端,终端基于播放客户端实现音乐播放,当用户触发音效调节指令时,播放客户端获取音效调节指令所指示调节的音乐文件;对音乐文件进行人声伴奏分离,得到音乐文件中的人声数据及伴奏数据;对人声数据进行第一音效处理,得到目标人声数据,以及对伴奏数据进行第二音效处理,得到目标伴奏数据;合成目标人声数据及目标伴奏数据,得到目标音乐文件,以播放目标音乐文件。
接下来对本公开实施例提供的音乐文件的处理装置进行说明。本公开实施例的音乐文件的处理装置可以以各种形式来实施,如:由智能手机、平板电脑和台式机等终端单独实施,或者由终端、服务器协同实施。本公开实施例提供的音乐文件的处理装置可以实施为硬件、软件或者软硬件结合的方式,下面说明本公开实施例提供的音乐文件的处理装置的各种示例性实施。
下面对本公开实施例的音乐文件的处理装置的硬件结构做详细说明,图2为本公开实施例提供的音乐文件的处理装置的组成结构示意图,图2示出的装置组成仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示,音乐文件的处理装置可以包括处理装置(例如中央处理器、图形处理器等)210,其可以根据存储在只读存储器(ROM,Read-Only Memory)220中的程序或者从存储装置280加载到随机访问存储器(RAM,Random Access Memory)230中的程序而执行各种适当的动作和处理。在RAM 230中,还存储有终端操作所需的各种程序和数据。处理装置210、ROM 220以及RAM 230通过总线240彼此相连。输入/输出(I/O,Input/Output)接口250也连接至总线240。
通常,以下装置可以连接至I/O接口250:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置260;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置270;包括例如磁带、硬盘等的存储装置280;以及通信装置290。通信装置290可以允许终端与其他设备进行无线或有线通信以交换数据。虽然图2示出了具有的各种装置,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,所提供的流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,计算机程序可以通过通信装置290从网络上被下载和安装,或者从存储装置280被安装,或者从ROM220被安装。在计算机程序被处理装置210执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、射频(RF)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述终端中所包含的;也可以是单独存在,而未装配入终端中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该终端执行时,使得终端执行本公开实施例提供的上述音乐文件的处理方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)和广域网(WAN),以连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
描述于本公开实施例中所涉及到的单元和/或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。
对于硬件的方式来说,实现本公开实施例的终端的单元和/或模块可以被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable GateArray)或其他电子元件实现,用于执行实现本公开实施例提供的方法。
图3为本公开实施例提供的音乐文件的处理方法的流程示意图,参见图3,本公开实施例的音乐文件的处理方法包括:
步骤301:终端响应于接收到的音效调节指令,获取音效调节指令所指示调节的音乐文件。
在实际应用中,终端上设置有播放客户端,用户可基于播放客户端实现音乐播放,播放客户端具备音效调节功能,如用户通过播放客户端页面显示的音效调节按键触发音效调节指令,以实现对音乐文件的播放音效的调节,图4为本公开实施例提供的播放客户端显示的音效调节的界面示意图,参见图4,当用户点击音效调节按键时,触发相应的音效调节指令。
在一些实施例中,用户可在音乐文件播放前触发音效调节指令,以实现对即将播放的音乐文件的音效的处理,或者,在播放客户端播放音乐文件的过程中,用户触发音效调节指令,以实现对当前播放的音乐文件的音效的调节。
在一些实施例中,音效调节指令中携带音乐文件标识,终端基于音乐文件标识从终端本地或服务器获取相应的音乐文件;在实际应用中,音乐文件可以为流媒体格(RM格式)式或非流媒体格式(如Mp4格式),相应的,终端获取的音乐文件既可以为完整的音乐文件,也可以为分段音乐文件。例如,播放客户端在播放音乐文件的过程中,基于音乐文件当前的播放点,从服务器处请求音乐文件的分段,服务器采用流式传输返回相应的分段音乐文件给播放客户端。
步骤302:对音乐文件进行人声伴奏分离,得到音乐文件中的人声数据及伴奏数据。
在一些实施例中,可以通过训练得到的神经网络模型(如循环神经网络(R NN,Recurrent Neural Network))实现音乐文件的人声伴奏分离,例如,将获得的音乐文件的音乐数据输入神经网络模型的输入层,经隐藏层,通过输出层输出分离得到的人声数据及伴奏数据。
在一些实施例中,还可以通过信号处理的方式实现音乐文件的人声伴奏分离,例如,获取音乐文件对应的音频信号,确定音频信号的音频信号波形,基于音频信号波形确定音乐文件对应的音乐数据中的人声数据及伴奏数据。
步骤303:对人声数据进行第一音效处理,得到目标人声数据,以及对伴奏数据进行第二音效处理,得到目标伴奏数据。
在一些实施例中,可通过音乐文件的节奏特征调节人声的动态变化速度,具体地,可通过如下方式对人声数据进行第一音效处理,得到目标人声数据:
获取伴奏数据对应的节奏参数,节奏参数用于表征音乐文件的节奏快慢,确定对应节奏参数的第一调节参数,该第一调节参数用于调节人声的动态变化速度,基于第一调节参数,对人声数据进行第一音效处理,得到目标人声数据。
在实际实施时,节奏参数可以为伴奏数据对应的节拍频率,具体地,计算伴奏数据每分钟的节拍(bmp,beat per minute),根据伴奏数据的bmp值确定第一调节参数,在一些实施例中,伴奏数据对应的节拍频率与第一调节参数呈相关关系,也就是说,音乐文件的节奏越快,相应的调节人声的变化速度越快,如此,使得人声的播放效果与伴奏的播放效果相适配,给用户以人声伴奏浑然天成的听觉体验。
在一些实施例中,可预先设定人声的调节参数,通过预设的调节参数调节人声的运动轨迹,具体地,可通过如下方式对人声数据进行第一音效处理,得到目标人声数据:获取预设的第二调节参数,第二调节参数用于指示人声的目标运动轨迹,基于第二调节参数,对人声数据进行第一音效处理,得到目标人声数据。
在实际实施时,如图4所示,当用户触发的是音效调节中的3D人声轨迹时,人声的目标运动轨迹可以为三维运动轨迹,具体地可以依据实际需要进行设定,图5为本公开实施例提供的人声的三维运动轨迹示意图,参见图5,人声的目标运动轨迹可以为以水平面圆圈为基准,在垂直面上下运动,垂直面的运动轨迹呈正弦曲线或类似正弦曲线;或者,参见图6,图6为本公开实施例提供的人声的三维运动轨迹示意图,人声的目标运动轨迹可以为以水平面圆圈为基准,在垂直面上下运动,垂直面的运动轨迹呈S曲线。
用户基于终端的播放客户端听音乐的时候存在以下场景:用户沉浸在音乐中,手握手机翩翩起舞,或者用户手握手机随着音乐打节拍等,手机随着用户的运动以相同的运动轨迹进行运动;基于该音乐播放场景,在一些实施例中,可采用终端的运动轨迹作为音乐文件中人声的运动轨迹,具体地,可通过如下方式对人声数据进行第一音效处理,得到目标人声数据:
确定播放音乐文件的终端所对应的运动轨迹,基于终端的运动轨迹,生成第三调节参数,第三调节参数所指示的人声的运动轨迹与终端的运动轨迹相同,基于第三调节参数,对人声数据进行第一音效处理,得到目标人声数据。
这里,在实际应用中,终端中设置有三轴传感器或六轴传感器,可通过三轴传感器或六轴传感器准确捕捉和记录终端运动的三维轨迹,将记录的终端的三维轨迹进一步进行调整,例如平滑处理、中心位置矫正等,进而可将调整得到的三维轨迹作为人声的运动轨迹,如图4所示,当用户触发的是自定义3D人声轨迹时,将终端的运动轨迹作为人声的运动轨迹;图7为本公开实施例提供的终端的三维运动轨迹示意图,以终端的运动轨迹作为人声的运动轨迹进而对音乐文件的人声数据进行控制,使得用户听到的声音随自己手势在动态运动,增加音乐动感和用户互动性,提高用户体验。
在一些实施例中,可通过如下方式实现对人声数据的第一音效处理:基于第一调节参数或第二调节参数或第三调节参数,对人声数据进行三维渲染,得到目标人声数据,如通过HRTF技术或Ambisonic技术,准确的模拟声音的3D效果,结合适当的混响技术,可以模拟声音的距离感和声场的宽阔感。
在一些实施例中,可通过如下方式实现对伴奏数据的第二音效处理,得到目标伴奏数据:获取预设的伴奏模式,该伴奏模式用于指示所述伴奏数据的播放形式;基于获取的伴奏模式对伴奏数据进行第二音效处理,得到目标伴奏数据。
在实际实施时,可预设多种伴奏模式,如环绕声模式,采用环绕声模式时,使得伴奏数据以环绕声的形式静止在用户周围。
在实际应用中,伴奏数据中包括特定乐器或目标乐器(如鼓)对应的伴奏数据,可对这些目标乐器对应的伴奏数据单独进行处理,在一些实施例中,可通过如下方式实现对伴奏数据的第二音效处理,得到目标伴奏数据:
分离得到伴奏数据中目标乐器对应的伴奏数据,获取预设的第四调节参数,第四调节参数用于指示目标乐器的演奏方位,基于第四调节参数,对目标乐器对应的伴奏数据进行第二音效处理,得到目标伴奏数据。
以目标乐器为鼓为例,基于预设的第四调节参数,对鼓对应的伴奏数据进行处理,使得鼓声在用户的听觉上变换地敲在某些特定的方位,类似夜店里镭射灯在不同位置闪烁,提高用户的听觉感受。
在一些实施例中,在得到音乐文件中的人声数据及伴奏数据之后,还可基于附加调节参数对人声数据和/或伴奏数据进一步进行个性化设置,具体地,获取音乐文件的附加调节参数,该附加调节参数包括以下至少之一:音调、音色、响度、动态范围;基于获取的附加调节参数,对人声数据和/或所述伴奏数据进行处理。当然,在伴奏数据中包括鼓声数据的情况下,还可对鼓声数据单独进行鼓声增强或减弱的处理。
步骤304:合成目标人声数据及目标伴奏数据,得到目标音乐文件。
在一些实施例中,在得到目标音乐文件之后,还可播放并发布(上传)目标音乐文件。
应用本公开上述实施例,通过对音乐文件进行人声伴奏分离,得到音乐文件中的人声数据及伴奏数据,分别针对人声数据和伴奏数据单独进行音效处理,然后将处理后的数据进行合成,如此,实现了对音乐文件中人声及伴奏有针对性的音效调节,灵活性高,且基于单独音效处理得到的目标人声数据及目标伴奏数据得到的目标音乐文件的播放效果更好,用户体验高。
图8为本公开实施例提供的音乐文件的处理方法的流程示意图,该音乐文件的处理方法可通过终端上设置的播放客户端实现,参见图8,本公开实施例的音乐文件的处理方法包括:
步骤401:播放客户端接收到用户触发的目标音乐的播放指令。
在实际应用中,用户可通过播放客户端显示的音乐播放界面,通过点击显示目标音乐标识(如音乐名称/图标等)的操作,触发目标音乐的播放指令。
步骤402:播放客户端发送目标音乐的音乐文件获取请求给服务器。
在实际实施时,音乐文件获取请求中携带目标音乐的音乐文件标识。
步骤403:播放客户端接收服务器返回的目标音乐的音乐文件。
步骤404:播放客户端在播放音乐文件的过程中,接收到音效调节指令。
在实际应用中,用户可通过播放客户端显示的音乐播放界面,通过点击音效调节按键,触发对当前播放的目标音乐文件的音效调节指令。
步骤405:播放客户端对音乐文件进行人声伴奏分离,得到音乐文件中的人声数据及伴奏数据。
步骤406:播放客户端记录所属终端的运动轨迹,并以记录的运动轨迹作为人声数据的运动轨迹进行处理,得到目标人声数据。
这里,可通过终端中的陀螺仪、重力加速度等传感器记录终端的运动轨迹。
步骤407:播放客户端基于预设的伴奏模式对伴奏数据进行处理,得到目标伴奏数据。
这里,伴奏模式用于指示所述伴奏数据的播放形式,如环绕声。
步骤408:播放客户端将目标人声数据及目标伴奏数据进行合成,得到目标音乐文件。
步骤409:播放客户端播放目标音乐文件,并上传目标音乐文件至服务器。
继续对本公开实施例提供的音乐文件的处理装置的软件实现进行说明。图9为本公开实施例提供的音乐文件的处理装置的组成结构示意图,参见图9,本公开实施例音乐文件的处理装置90包括:
获取单元91,用于响应于接收到的音效调节指令,获取所述音效调节指令所指示调节的音乐文件;
分离单元92,用于对所述音乐文件进行人声伴奏分离,得到所述音乐文件中的人声数据及伴奏数据;
处理单元93,用于对所述人声数据进行第一音效处理,得到目标人声数据,以及对所述伴奏数据进行第二音效处理,得到目标伴奏数据;
合成单元94,用于合成所述目标人声数据及所述目标伴奏数据,得到目标音乐文件。
在一些实施例中,所述装置还包括播放单元95,用于播放所述目标音乐文件。
在一些实施例中,所述处理单元,还用于获取所述伴奏数据对应的节奏参数,所述节奏参数用于表征所述音乐文件的节奏快慢;
确定对应所述节奏参数的第一调节参数;
基于所述第一调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
在一些实施例中,所述处理单元,还用于获取预设的第二调节参数,所述第二调节参数用于指示人声的目标运动轨迹;
基于所述第二调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
在一些实施例中,所述处理单元,还用于确定播放所述音乐文件的终端所对应的运动轨迹;
基于所述终端的运动轨迹,生成第三调节参数,所述第三调节参数所指示的人声的运动轨迹与所述终端的运动轨迹相同;
基于所述第三调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
在一些实施例中,所述处理单元,还用于获取预设的伴奏模式,所述伴奏模式用于指示所述伴奏数据的播放形式;
基于所述伴奏模式对所述伴奏数据进行第二音效处理,得到目标伴奏数据。
在一些实施例中,所述处理单元,还用于响应于所述伴奏数据中包括目标乐器对应的伴奏数据,分离得到所述伴奏数据中所述目标乐器对应的伴奏数据;
获取预设的第四调节参数,所述第四调节参数用于指示所述目标乐器的演奏方位;
基于所述第四调节参数,对所述目标乐器对应的伴奏数据进行第二音效处理,得到目标伴奏数据。
在一些实施例中,所述处理单元,还用于获取所述音乐文件的附加调节参数,所述附加调节参数包括以下至少之一:音调、音色、响度、动态范围;
基于所述附加调节参数,对所述人声数据和/或所述伴奏数据进行处理。
这里需要指出的是:以上涉及音乐文件的处理装置的描述,与上述音乐文件的处理方法描述是类似的,同方法的有益效果描述,不做赘述。对于本公开所述音乐文件的处理装置实施例中未披露的技术细节,请参照本公开音乐文件的处理方法实施例的描述。
本公开实施例还提供了一种终端,所述终端包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本公开实施例提供的音乐文件的处理方法。
本公开实施例还提供了一种可读存储介质,存储介质可以包括:移动存储设备、随机存取存储器(RAM,Random Access Memory)、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述可读存储介质存储有可执行指令;
所述可执行指令,用于被处理器执行时实现本公开实施例提供的音乐文件的处理方法。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种音乐文件的处理方法,其特征在于,所述方法包括:
响应于接收到的音效调节指令,获取所述音效调节指令所指示调节的音乐文件;
对所述音乐文件进行人声伴奏分离,得到所述音乐文件中的人声数据及伴奏数据;
对所述人声数据进行第一音效处理,得到目标人声数据,以及对所述伴奏数据进行第二音效处理,得到目标伴奏数据;
合成所述目标人声数据及所述目标伴奏数据,得到目标音乐文件。
2.如权利要求1所述的方法,其特征在于,所述对所述人声数据进行第一音效处理,得到目标人声数据,包括:
获取所述伴奏数据对应的节奏参数,所述节奏参数用于表征所述音乐文件的节奏快慢;
确定对应所述节奏参数的第一调节参数;
基于所述第一调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
3.如权利要求1所述的方法,其特征在于,所述对所述人声数据进行第一音效处理,得到目标人声数据,包括:
获取预设的第二调节参数,所述第二调节参数用于指示人声的目标运动轨迹;
基于所述第二调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
4.如权利要求1所述的方法,其特征在于,所述对所述人声数据进行第一音效处理,得到目标人声数据,包括:
确定播放所述音乐文件的终端所对应的运动轨迹;
基于所述终端的运动轨迹,生成第三调节参数,所述第三调节参数所指示的人声的运动轨迹与所述终端的运动轨迹相同;
基于所述第三调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
5.如权利要求1所述的方法,其特征在于,所述对所述伴奏数据进行第二音效处理,得到目标伴奏数据,包括:
获取预设的伴奏模式,所述伴奏模式用于指示所述伴奏数据的播放形式;
基于所述伴奏模式对所述伴奏数据进行第二音效处理,得到目标伴奏数据。
6.如权利要求1所述的方法,其特征在于,所述对所述伴奏数据进行第二音效处理,得到目标伴奏数据,包括:
响应于所述伴奏数据中包括目标乐器对应的伴奏数据,分离得到所述伴奏数据中所述目标乐器对应的伴奏数据;
获取预设的第四调节参数,所述第四调节参数用于指示所述目标乐器的演奏方位;
基于所述第四调节参数,对所述目标乐器对应的伴奏数据进行第二音效处理,得到目标伴奏数据。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述音乐文件的附加调节参数,所述附加调节参数包括以下至少之一:音调、音色、响度、动态范围;
基于所述附加调节参数,对所述人声数据和/或所述伴奏数据进行处理。
8.一种音乐文件的处理装置,其特征在于,所述装置包括:
获取单元,用于响应于接收到的音效调节指令,获取所述音效调节指令所指示调节的音乐文件;
分离单元,用于对所述音乐文件进行人声伴奏分离,得到所述音乐文件中的人声数据及伴奏数据;
处理单元,用于对所述人声数据进行第一音效处理,得到目标人声数据,以及对所述伴奏数据进行第二音效处理,得到目标伴奏数据;
合成单元,用于合成所述目标人声数据及所述目标伴奏数据,得到目标音乐文件。
9.如权利要求8所述的装置,其特征在于,
所述处理单元,还用于获取所述伴奏数据对应的节奏参数,所述节奏参数用于表征所述音乐文件的节奏快慢;
确定对应所述节奏参数的第一调节参数;
基于所述第一调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
10.如权利要求8所述的装置,其特征在于,
所述处理单元,还用于获取预设的第二调节参数,所述第二调节参数用于指示人声的目标运动轨迹;
基于所述第二调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
11.如权利要求8所述的装置,其特征在于,
所述处理单元,还用于确定播放所述音乐文件的终端所对应的运动轨迹;
基于所述终端的运动轨迹,生成第三调节参数,所述第三调节参数所指示的人声的运动轨迹与所述终端的运动轨迹相同;
基于所述第三调节参数,对所述人声数据进行第一音效处理,得到目标人声数据。
12.如权利要求8所述的装置,其特征在于,
所述处理单元,还用于获取预设的伴奏模式,所述伴奏模式用于指示所述伴奏数据的播放形式;
基于所述伴奏模式对所述伴奏数据进行第二音效处理,得到目标伴奏数据。
13.如权利要求8所述的装置,其特征在于,
所述处理单元,还用于响应于所述伴奏数据中包括目标乐器对应的伴奏数据,分离得到所述伴奏数据中所述目标乐器对应的伴奏数据;
获取预设的第四调节参数,所述第四调节参数用于指示所述目标乐器的演奏方位;
基于所述第四调节参数,对所述目标乐器对应的伴奏数据进行第二音效处理,得到目标伴奏数据。
14.如权利要求8所述的装置,其特征在于,
所述处理单元,还用于获取所述音乐文件的附加调节参数,所述附加调节参数包括以下至少之一:音调、音色、响度、动态范围;
基于所述附加调节参数,对所述人声数据和/或所述伴奏数据进行处理。
15.一种终端,其特征在于,所述终端包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现如权利要求1至7任一项所述的音乐文件的处理方法。
16.一种非暂态存储介质,其特征在于,存储有可执行指令,所述可执行指令被执行时,用于实现权利要求1至7任一项所述的音乐文件的处理方法。
CN201910381051.6A 2019-05-08 2019-05-08 音乐文件的处理方法、装置、终端及存储介质 Active CN111916039B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910381051.6A CN111916039B (zh) 2019-05-08 2019-05-08 音乐文件的处理方法、装置、终端及存储介质
PCT/CN2020/078869 WO2020224322A1 (zh) 2019-05-08 2020-03-11 音乐文件的处理方法、装置、终端及存储介质
EP20801727.7A EP3940690A4 (en) 2019-05-08 2020-03-11 METHOD AND DEVICE FOR PROCESSING A MUSIC FILE, TERMINAL AND STORAGE MEDIUM
SG11202111759XA SG11202111759XA (en) 2019-05-08 2020-03-11 Method and device for processing music file, terminal and storage medium
US17/494,655 US11514923B2 (en) 2019-05-08 2021-10-05 Method and device for processing music file, terminal and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910381051.6A CN111916039B (zh) 2019-05-08 2019-05-08 音乐文件的处理方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN111916039A true CN111916039A (zh) 2020-11-10
CN111916039B CN111916039B (zh) 2022-09-23

Family

ID=73050571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910381051.6A Active CN111916039B (zh) 2019-05-08 2019-05-08 音乐文件的处理方法、装置、终端及存储介质

Country Status (5)

Country Link
US (1) US11514923B2 (zh)
EP (1) EP3940690A4 (zh)
CN (1) CN111916039B (zh)
SG (1) SG11202111759XA (zh)
WO (1) WO2020224322A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113055809A (zh) * 2021-03-12 2021-06-29 腾讯音乐娱乐科技(深圳)有限公司 一种5.1声道信号生成方法、设备及介质
CN113393857A (zh) * 2021-06-10 2021-09-14 腾讯音乐娱乐科技(深圳)有限公司 一种音乐信号的人声消除方法、设备及介质
CN113488005A (zh) * 2021-07-05 2021-10-08 福建星网视易信息系统有限公司 乐器合奏方法及计算机可读存储介质
CN113836344A (zh) * 2021-09-30 2021-12-24 广州艾美网络科技有限公司 个性化歌曲文件生成方法和装置、音乐演唱设备
WO2022179110A1 (zh) * 2021-02-24 2022-09-01 腾讯音乐娱乐科技(深圳)有限公司 一种混音歌曲生成方法、装置、设备及存储介质
WO2023216999A1 (zh) * 2022-05-07 2023-11-16 北京字跳网络技术有限公司 音频处理方法、装置、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022086196A1 (ko) * 2020-10-22 2022-04-28 가우디오랩 주식회사 기계 학습 모델을 이용하여 복수의 신호 성분을 포함하는 오디오 신호 처리 장치
WO2023217352A1 (en) * 2022-05-09 2023-11-16 Algoriddim Gmbh Reactive dj system for the playback and manipulation of music based on energy levels and musical features
CN115240709B (zh) * 2022-07-25 2023-09-19 镁佳(北京)科技有限公司 一种音频文件的声场分析方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100332237A1 (en) * 2009-06-30 2010-12-30 Kabushiki Kaisha Toshiba Sound quality correction apparatus, sound quality correction method and sound quality correction program
CN105070283A (zh) * 2015-08-27 2015-11-18 百度在线网络技术(北京)有限公司 为歌声语音配乐的方法和装置
CN106898340A (zh) * 2017-03-30 2017-06-27 腾讯音乐娱乐(深圳)有限公司 一种歌曲的合成方法及终端
CN106952637A (zh) * 2017-03-15 2017-07-14 北京时代拓灵科技有限公司 一种可交互式音乐的创作方法和体验装置
CN108538302A (zh) * 2018-03-16 2018-09-14 广州酷狗计算机科技有限公司 合成音频的方法和装置
CN108922506A (zh) * 2018-06-29 2018-11-30 广州酷狗计算机科技有限公司 歌曲音频生成方法、装置和计算机可读存储介质
CN208193604U (zh) * 2018-04-23 2018-12-07 广州市天汇计算机科技有限公司 基于卡拉ok播控设备的康体运动娱乐系统
JP2019008336A (ja) * 2018-10-23 2019-01-17 ヤマハ株式会社 演奏装置、演奏プログラム、及び演奏パターンデータ生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3183117B2 (ja) * 1995-09-13 2001-07-03 ヤマハ株式会社 カラオケ装置
CN106024005B (zh) * 2016-07-01 2018-09-25 腾讯科技(深圳)有限公司 一种音频数据的处理方法及装置
US20180366097A1 (en) * 2017-06-14 2018-12-20 Kent E. Lovelace Method and system for automatically generating lyrics of a song
US11245950B1 (en) * 2019-04-24 2022-02-08 Amazon Technologies, Inc. Lyrics synchronization

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100332237A1 (en) * 2009-06-30 2010-12-30 Kabushiki Kaisha Toshiba Sound quality correction apparatus, sound quality correction method and sound quality correction program
CN105070283A (zh) * 2015-08-27 2015-11-18 百度在线网络技术(北京)有限公司 为歌声语音配乐的方法和装置
CN106952637A (zh) * 2017-03-15 2017-07-14 北京时代拓灵科技有限公司 一种可交互式音乐的创作方法和体验装置
CN106898340A (zh) * 2017-03-30 2017-06-27 腾讯音乐娱乐(深圳)有限公司 一种歌曲的合成方法及终端
CN108538302A (zh) * 2018-03-16 2018-09-14 广州酷狗计算机科技有限公司 合成音频的方法和装置
CN208193604U (zh) * 2018-04-23 2018-12-07 广州市天汇计算机科技有限公司 基于卡拉ok播控设备的康体运动娱乐系统
CN108922506A (zh) * 2018-06-29 2018-11-30 广州酷狗计算机科技有限公司 歌曲音频生成方法、装置和计算机可读存储介质
JP2019008336A (ja) * 2018-10-23 2019-01-17 ヤマハ株式会社 演奏装置、演奏プログラム、及び演奏パターンデータ生成方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022179110A1 (zh) * 2021-02-24 2022-09-01 腾讯音乐娱乐科技(深圳)有限公司 一种混音歌曲生成方法、装置、设备及存储介质
CN113055809A (zh) * 2021-03-12 2021-06-29 腾讯音乐娱乐科技(深圳)有限公司 一种5.1声道信号生成方法、设备及介质
CN113055809B (zh) * 2021-03-12 2023-02-28 腾讯音乐娱乐科技(深圳)有限公司 一种5.1声道信号生成方法、设备及介质
CN113393857A (zh) * 2021-06-10 2021-09-14 腾讯音乐娱乐科技(深圳)有限公司 一种音乐信号的人声消除方法、设备及介质
CN113488005A (zh) * 2021-07-05 2021-10-08 福建星网视易信息系统有限公司 乐器合奏方法及计算机可读存储介质
CN113836344A (zh) * 2021-09-30 2021-12-24 广州艾美网络科技有限公司 个性化歌曲文件生成方法和装置、音乐演唱设备
WO2023216999A1 (zh) * 2022-05-07 2023-11-16 北京字跳网络技术有限公司 音频处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20220028407A1 (en) 2022-01-27
SG11202111759XA (en) 2021-11-29
US11514923B2 (en) 2022-11-29
CN111916039B (zh) 2022-09-23
EP3940690A1 (en) 2022-01-19
WO2020224322A1 (zh) 2020-11-12
EP3940690A4 (en) 2022-05-18

Similar Documents

Publication Publication Date Title
CN111916039B (zh) 音乐文件的处理方法、装置、终端及存储介质
JP6923245B2 (ja) 観衆ベースのハプティック
CN107168518B (zh) 一种用于头戴显示器的同步方法、装置及头戴显示器
JP7436664B2 (ja) リスニングシーンを構築する方法及び関連装置
EP3142383B1 (en) Terminal sound mixing system and playing method
CN106790940B (zh) 录音方法、录音播放方法、装置及终端
JP2011521511A (ja) 拡張現実を強化した音声
CN113467603B (zh) 音频处理方法、装置、可读介质及电子设备
JP2021009669A (ja) 三次元仮想ポートレートの口形の変化を制御する方法および装置
CN113823250B (zh) 音频播放方法、装置、终端及存储介质
CN111050271B (zh) 用于处理音频信号的方法和装置
US20190200156A1 (en) Methods and Systems for Simulating Microphone Capture Within a Capture Zone of a Real-World Scene
JP2023533295A (ja) 拡張現実の画像処理方法、装置、電子機器及び記憶媒体
CN110915240A (zh) 向用户提供交互式音乐创作的方法
JP2023534975A (ja) ユーザーインタラクションに基づく音楽再生方法、装置、機器及び記憶媒体
CN113923390A (zh) 视频录制方法、装置、设备及存储介质
CN115619897A (zh) 图像处理方法、装置、电子设备及存储介质
CN112825245B (zh) 实时修音方法、装置及电子设备
JP2007158985A (ja) 楽曲再生において立体音響効果を付加する装置およびプログラム
CN113318432B (zh) 游戏中的音乐控制方法、非易失性存储介质及电子装置
Mancini et al. A system for mobile music authoring and active listening
CN113986191B (zh) 音频播放方法、装置、终端设备及存储介质
Schlienger et al. Immersive Spatial Interactivity in Sonic Arts: The Acoustic Localization Positioning System
WO2023051651A1 (zh) 音乐生成方法、装置、设备、存储介质及程序
CN117398688A (zh) 音频处理方法、装置、介质以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Tiktok vision (Beijing) Co.,Ltd.