CN111921061A - 一种分形与掩蔽结合的耳鸣康复音合成方法及系统 - Google Patents

一种分形与掩蔽结合的耳鸣康复音合成方法及系统 Download PDF

Info

Publication number
CN111921061A
CN111921061A CN202010773700.XA CN202010773700A CN111921061A CN 111921061 A CN111921061 A CN 111921061A CN 202010773700 A CN202010773700 A CN 202010773700A CN 111921061 A CN111921061 A CN 111921061A
Authority
CN
China
Prior art keywords
audio
natural
sequence
chord
fractal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010773700.XA
Other languages
English (en)
Other versions
CN111921061B (zh
Inventor
何培宇
漆蕾宇
潘帆
陈杰梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010773700.XA priority Critical patent/CN111921061B/zh
Publication of CN111921061A publication Critical patent/CN111921061A/zh
Application granted granted Critical
Publication of CN111921061B publication Critical patent/CN111921061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/18—Selecting circuits
    • G10H1/26—Selecting circuits for automatically producing a series of tones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Anesthesiology (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hematology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明公开了一种基于分形与掩蔽结合的耳鸣康复音合成方法及系统，本发明的方案将旋律音乐与自然音频相结合，旋律音乐利用IFS分形算法映射调式内音符合成主音轨，并利用调式内和弦为主音轨伴奏；自然音频利用自然音片段算法拼接后形成自然音伴奏轨，自然音片段之间的衔接较为合理，能够实现平滑过渡，有效解决目前直接将基音片段连接存在的音频连接处声音突变的问题。通过本发明的方案合成的耳鸣康复音既能给患者提供舒适的背景音乐，缓解患者烦躁心情，起到习服疗效。也能给患者个性匹配与其耳鸣频率相同的自然音乐，起到掩蔽疗效。

Description

一种分形与掩蔽结合的耳鸣康复音合成方法及系统
技术领域
本发明涉及耳鸣康复音合成技术领域，具体涉及一种将掩蔽疗法的特定频率性与习服疗法的舒缓特性相结合合成一种舒缓的耳鸣掩蔽康复音的方法和系统。
背景技术
耳鸣是一种在脑内或者颅内产生无外界声源的听觉感知，严重的会影响患者的情绪，使患者的日常生活受到干扰。因耳鸣的发病机制无法确认，故尚无根治耳鸣的方法。耳鸣的治疗方法仍在不断的探索中，目前声音疗法被认为是最无害有效的治疗方法。声音疗法可以分为习服疗法和掩蔽疗法。习服疗法是通过低于患者耳鸣响度的背景音乐让患者在治疗过程中能够放松，减轻耳鸣所带来的烦躁情绪。掩蔽疗法是通过使用与患者耳鸣频率相近，响度相同或者高于耳鸣响度的声音，在治疗过程中能够抑制患者中枢神经兴奋，从而减弱耳鸣。
舒缓的分形音乐可以用于习服疗法中，但目前的分形音乐主要是直接用MIDI中音区的音符映射为主音轨，没有考虑到音符间的和谐适听性。而且音乐的节奏感比较混乱，使得所合成的音乐存在着音调突变，舒缓度不够等问题。掩蔽疗法的音源常用白噪声等，长时间的噪声刺激易让听者产生烦躁情绪，更加不利于耳鸣的治疗。而使用自然音库合成掩蔽音轨时，直接将基音片段连接存在着音频连接处声音突变等问题。
发明内容
本发明的目的在于解决上述问题，提供一种分形与掩蔽结合的耳鸣康复音合成方法及系统。
一种基于分形与掩蔽结合的耳鸣康复音合成方法，包括步骤：
S1.选取调式内音符，生成主音轨的音调值序列；选取音乐速度，音乐拍号，生成音符时值序列，将音调值与音符时值匹配生成主音轨；
S2.选取主音轨中每小节的特征音符，并匹配与该特征音符对应的调式内和弦，作为该小节的伴奏和弦，生成伴奏音轨；
S3.选取与耳鸣特征相匹配的多个自然音频片段，并对自然音频片段进行编号处理，然后将自然音频片段与IFS分形整数码进行一一映射，以对自然音频片段进行顺序排列，而后再将自然音频片段进行拼接合成自然音频轨；
S4.将主音轨与伴奏音轨、自然音频轨进行混合处理，合成耳鸣康复音。
作为优选的，所述步骤S1中，利用迭代函数系统得到原始的IFS分形序列，并通过线性变换得到分形整数序列，将分形整数序列与固定调式内的音符进行一一映射，得到主音轨音调值序列。
作为优选的，所述步骤S1中，利用迭代函数系统得到原始的IFS分形序列，并通过线性变换得到分形整数序列；选定音乐速度以及音乐节拍类型，根据选定的节拍类型与音乐速度得到若干时值序列组合，将不同的时值序列组合进行编号处理，并用分形整数序列与编号进行映射，得到音符时值序列。
作为优选的，步骤S2中，先将主旋律音符按照节奏特点划分为小节，选择每一小节中首音符作为特征音符，再根据特征音符从候选和弦中选择一个和弦作为匹配和弦；将和弦组成音中包含所述特征音符的和弦作为该特征音符的候选和弦，再按照和弦进行的顺序原则，从候选和弦中选择匹配和弦。
作为优选的，按照主副三和弦构成的和弦体系的和弦进行顺序，从从候选和弦中选择匹配和弦；选择选定和弦后，将和弦组成音顺序排列生成伴奏音符序列，伴奏音符时值序列采取与主音轨的相同的序列。
作为优选的，所述步骤S3中，与耳鸣特征相匹配的自然音频片段是从自然音频库中所选取的，所述自然音频库是由通过对自然音频基音进行变换后形成的多个包含有耳鸣频率的自然音频片段构成，对自然音频基音进行的变换包括速度、音色、音调或者频率迁移中的任一种或者多种的组合。
作为优选的，采用线性比例重叠相加法对自然音频片段进行拼接，具体步骤如下：先将两个待拼接的自然音频片段进行分帧处理，分别得到X1和X2，选取前一段音频的重叠区域为y1，长度为M，后一段音频的重叠区域为y2，长度为M；再将两个重叠区域分别通过两个线性比例的斜三角窗函数ω1与ω2后，叠加得到重叠区域y；ω1和ω2的表达式为：ω1(n)＝(n-1)/M，ω2(n)＝(M-n)/M
重叠区域y的表达式为：y＝y1×ω1(n)+y2×ω2(n)，
其中，n表示第n个采样点，n＝1，2...，M；
两段自然音频片段拼接后的序列为[X1-y1，y，X2-y2]。
本发明还提供一种耳鸣康复音合成系统，包括：
自然音频数据库，用于存储与耳鸣特征相匹配的自然音频片段，所述自然音频片段是通过对自然音频基音进行变换后形成的包含有耳鸣频率的自然音频片段，对自然音频基音进行的变换包括速度、音色、音调或者频率迁移中的任一种或者多种的组合；
迭代函数系统，用于生成IFS分形整数序列；
自然音频轨单元，用于将从自然音频数据库中选取的多个自然音频片段进行编号处理，并将编号的自然音频片段与IFS分形整数码进行一一映射，以对自然音频片段进行顺序排列，将自然音频片段按照排列顺序进行拼接处理，生成自然音频轨；
主音轨生成单元，用于根据音调值序列与音符时值序列进行匹配生成主音轨，所述音调值序列是通过将IFS分形整数序列与固定调式内的音符进行一一映射后得到；所述音符时值序列是通过将编号的时值序列组合与分形整数序列进行一一映射后得到；
伴奏音轨生成单元，通过提取主音轨中每小节的特征音符，并匹配与该特征音符对应的调式内和弦，作为该小节的伴奏和弦，以分解和弦的形式将伴奏和弦的组成音展开，生成伴奏音轨；
耳鸣康复音合成单元，用于将所述主音轨、伴奏音轨和自然音频轨进行混合处理，生成耳鸣康复音。
作为优选的，采用线性比例重叠相加法对自然音频片段进行拼接，具体的：先将两个待拼接的自然音频片段进行分帧处理，分别得到X1和X2，选取前一段音频的重叠区域为y1，长度为M，后一段音频的重叠区域为y2，长度为M；再将两个重叠区域分别通过两个线性比例的斜三角窗函数ω1与ω2后，叠加得到重叠区域y；
ω1和ω2的表达式为：ω1(n)＝(n-1)/M，ω2(n)＝(M-n)/M
重叠区域y的表达式为：
y＝y1×ω1(n)+y2×ω2(n)，
其中，n表示第n个采样点，n＝1，2...，M；
两段自然音频片段拼接后的序列为[X1-y1，y，X2-y2]。
相比相关现有技术，本发明的显著进步性至少体现在：本发明提供的一种分形与掩蔽方法结合的耳鸣康复音合成方法，将旋律音乐与自然音频相结合，旋律音乐利用IFS分形算法映射调式内音符合成主音轨，并利用调式内和弦为主音轨伴奏。自然音频利用自然音片段算法拼接后形成自然音伴奏轨，自然音片段之间的衔接较为合理，能够实现平滑过渡，有效解决目前直接将基音片段连接存在的音频连接处声音突变的问题。既能给患者提供舒适的背景音乐，缓解患者烦躁心情，起到习服疗效。也能给患者个性匹配与其耳鸣频率相同的自然音乐，起到掩蔽疗效。
附图说明
图1为本发明实施例的耳鸣康复音合成流程示意图；
图2为本发明实施例的正副三和弦的基本序进方向；
图3为本发明示例性的将四段自然音频片段进行拼接的示意图；
图4为本发明实施例的两段待拼接自然音频片段的波形示意图；
图5为图4中两段自然音频片段直接拼接与算法拼接后的对比图。
具体实施方式
下面结合附图和具体实施例，对本发明作详细的说明。应该说明的是，所提供的实施例并不能构成对本发明的具体实施方式的限定。
一种基于分形与掩蔽结合的耳鸣康复音合成方法，包括步骤：
S1.选取调式内音符，生成主音轨的音调值序列；选取音乐速度，音乐拍号，生成音符时值序列，将音调值与音符时值匹配生成主音轨；
在一些实施例中，利用迭代函数系统得到原始的IFS分形序列，并通过线性变换得到分形整数序列，将分形整数序列与固定调式内的音符进行一一映射，得到主音轨音调值序列。应该说明的是，若将分形整数序列直接映射为中音区音符，会使得不同调式的音符之间发生音调突变的问题，使得音乐流畅性不好。因此，本实施例中将分形整数序列与固定调式内的音符进行一一映射，得到主音轨音调值序列。通过使用IFS分形算法产生的整数序列映射音符后使得其具有相似不重复特性，也保证了音符之间的和谐性，以及避免了音调突变的问题，提升了音乐的适听性以及增加了音乐的多样性。调式可以分为自然大小调，和声大小调以及旋律大小调。不同调式的特点与风格不同，大调明亮，激昂，消掉暗淡，柔和。以自然大调为例，A自然大调的调式内音符有(A,B,C#,D,E,F#,G#)，对应于MIDI中音区(48-83)的A大调的音符值为(49,50,52,54,56，57,59,61,62,64,66,68,69,71,73,74,76,78,80,81,83)共21个数字，则将IFS分形码经过线性变换后与1-21进行一一映射，即可以得出主音轨的音调值序列。
在一些实施例中，利用迭代函数系统得到原始的IFS分形序列，并通过线性变换得到分形整数序列；选定音乐速度以及音乐节拍类型，根据选定的节拍类型与音乐速度得到若干时值序列组合，将不同的时值序列组合进行编号处理，并用分形整数序列与编号进行映射，得到音符时值序列。应该说明的是，音符时值序列的生成不仅要符合舒缓音乐的特点，也要符合节奏与节拍的设定。如果直接将音符时值不按照小节特性生成，会使得没有节奏感，以及节奏混乱等现象，音乐的适听性不佳。因此，本实施例中，先选取音乐的速度，以及音乐的拍号，然后选取小节节拍组合，进行编号并利用进行IFS分形序列与节拍时长组合映射生成映射。作为优选的具体实施方案步骤如下：首先需要先确定音乐的速度即每拍持续的时间，不同的时长会使得歌曲的情感等表达不同。例如当规定每分钟120拍时，每一拍的时间就是0.5s，若在3/4拍的音乐中，四分音符为一拍，持续时长为0.5s；八分音符为半拍，持续时长为0.25s；二分音符为两拍，持续时长为1s。然后再确定音乐的节拍类型，4/4拍中，四分音符为一拍，每小节有4拍；3/8拍中八分音符为一拍，每小节有三拍。节拍类型与音乐速度确定后就可以确定每小节的时值组合序列。作为优选的实施方案，选择每分钟120拍，采用4/4节拍类型，即每一小节所有音符时值和为2s。进一步的，为了生成舒缓情感的，优选采用全音符，二分音符，四分音符与八分音符。可能的时值组合为{[0.5 0.5 0.50.5]，[1 0.5 0.5]，[1 1]，[0.5 0.5 0.5 0.25 0.25]，[0.5 0.5 0.25 0.25 0.250.25]……}。将时值组合进行编号处理，并用线性处理后的IFS序列进行映射，使得音符时值满足分形规律，并将每小节中的节拍顺序进行随机排列，得到音符时值序列。这样生成音乐的时值既能符合乐理的每小节的时值固定，也能根据听者自身选择合适的节奏序列，还能使生成出来的音乐更为听者接受。
S2.选取主音轨中每小节的特征音符，并匹配与该特征音符对应的调式内和弦，作为该小节的伴奏和弦，生成伴奏音轨；
在一些实施例中，先将主旋律音符按照节奏特点划分为小节，选择每一小节中首音符作为特征音符，再根据特征音符从候选和弦中选择一个和弦作为匹配和弦；将和弦组成音中包含所述特征音符的和弦作为该特征音符的候选和弦，再按照和弦进行的顺序原则，从候选和弦中选择匹配和弦。
应该说明的是，所述候选和弦采用特征音符所属调式内的和弦，和弦的多样性使得能有多种伴奏方式。如果直接匹配以特征音符为根音的和弦会使得音乐很杂乱，试听性不佳，而且伴奏单一。作为优选的，本实施例中采用三和弦作为伴奏和弦，并按照主副三和弦构成的和弦体系的和弦进行顺序，从候选和弦中选择匹配和弦；选择选定和弦后，将和弦组成音顺序排列生成伴奏音符序列，伴奏音符时值序列采取与主音轨的相同的序列。进一步的，调式内三和弦分为主三和弦与副三和弦，本实施例中和弦的选取与和弦进行的走向顺序参考如图2所示的顺序。
作为优选的具体实施方案，先将主旋律音符按照节奏特点划分为小节，选取特征音符选择小节中出现次数最多的音符或者小节的首音符，鉴于本实施例的主旋律音符是相似不重复的，在相邻的音符中几乎没有重复的，故本实施例中选择将在每一小节中首音符作为特征音符。进一步的，根据特征音符选取合适的候选和弦。三和弦中有三个组成音，当特征音符是某个和弦的组成音时，就将该和弦作为该特征音符的候选和弦。再按照和弦进行的顺序，选择合适的匹配和弦。例如：在C自然大调中C音符即是主功能T和弦的组成音，也是下属功能S和弦和六级TSⅦ和弦的组成音，即这三个和弦都作为该音符的候选和弦。在基本的和弦序进方向中和弦的顺序是如图3，若前一个是T和弦那么后一个和弦即为TSⅦ和弦，即将TSⅦ和弦作为匹配和弦。本实施方案中，一个音所能搭配的和弦有多种，通过引入和弦进行序列与主副三和弦，既能增加伴奏的多样性，也能让伴奏音轨更加和谐。
还应该说明的是，和弦确定后，和弦组成音的排列方式也会成为音乐的影响元素。和弦的伴奏织体类型包括分解和弦与柱状和弦，分解和弦是将和弦的组成音一个一个的发音，柱状和弦是和弦的组成音同时发音。两种类型的音乐效果不一样，可以根据患者的喜好选择。若是选择柱状和弦，则和弦中的组成音可以同时在不同的轨道发音，若选择分解和弦，则和弦的组成音依次的排列在伴奏音轨中。作为优选实施例方案，选择利用分解和弦，将每个组成音顺序排列生成伴奏音符序列。为了使音乐的节奏性不混乱，作为优选的具体实施方案，伴奏音轨的音符时值序列采取与主音轨的相同序列。
S3.选取与耳鸣特征相匹配的多个自然音频片段，并对自然音频片段进行编号处理，然后将自然音频片段与IFS分形整数码进行一一映射，以对自然音频片段进行顺序排列，而后再将自然音频片段进行拼接合成自然音频轨；
在一些实施例中，所述步骤S3中，与耳鸣特征相匹配的自然音频片段是从自然音频库中所选取的，所述自然音频库是由通过对自然音频基音进行变换后形成的多个包含有耳鸣频率的自然音频片段构成，对自然音频基音进行的变换包括速度、音色、音调或者频率迁移中的任一种或者多种的组合。可以理解的是，通过所述频率迁移，可将自然音频片段的频带迁移至与耳鸣频率相匹配的频带范围，可对患者的耳鸣声进行有效的掩蔽，提升耳鸣治疗效果。
应该说明的是，如果将自然音频片段直接拼接，会使得不同片段间的连接处会出现波形跳变，从而产生声音突变的问题，使得音频听起来不顺畅。作为优选的，在一些实施例中，采用线性比例重叠相加法对自然音频片段进行拼接，具体步骤如下：先将两个待拼接的自然音频片段进行分帧处理，分别得到X1和X2，选取前一段音频的重叠区域为y1，长度为M，后一段音频的重叠区域为y2，长度为M；再将两个重叠区域分别经过两个线性比例的斜三角窗函数ω1与ω2，两个重叠区域进行叠加后得到重叠区域y；
ω1和ω2的表达式为：ω1(n)＝(n-1)/M，ω2(n)＝(M-n)/M，
重叠区域y的表达式为：y＝y1×ω1(n)+y2×ω2(n)，
其中，n表示第n个采样点，n＝1，2...，M；
两段自然音频片段拼接后的形成的序列为[X1-y1，y，X2-y2]。
参阅图3所示为将四段自然音频片段进行拼接的示意图，相邻的两段音频，可将前一段自然音频片段的最后两帧作为可以重叠的部分，并将后一段自然音频片段的前两帧作为可以重叠的部分，进一步的，将两段自然音频片段可以重叠的部分分别经过w1与w2两个窗函数，然后再叠加，实现两段自然音频片段的拼接。
参阅图4所示为本发明实施例的两段待拼接自然音频片段的波形示意图，由图可见，两段音频的幅度值相差较大，左图幅度范围是在[-0.3，0.2]，右图幅度范围在[-0.0025，0.002]。参阅图5所示为图4中两段自然音频片段直接拼接与算法拼接后的对比图，图5中左图为直接拼接后的波形效果，不难发现，两段音频的拼接处会出现了较为明显的突变。图5中右图所示为算法拼接后的波形效果，不难发现，两段音频的拼接部分连接较为顺滑，而在实际音频试听中，算法拼接后效果也明显更好。综上对比可知，通过本实施例提供的算法拼接可有效解决突变问题，使得相邻两段自然音频片段连接处的波形平滑，产生的音乐听起来更加自然，舒缓。
S4.将主音轨与伴奏音轨、自然音频轨进行混合处理，合成耳鸣康复音。
MIDI是一种标准化的数据格式，解决了电声乐器之间的通信问题。作为一种可具体实施的方式，可采用MIDI技术合成分形音乐，将主音轨和伴奏音轨的音符值与基于IFS算法产生的时值序列通过MIDI合成机制生成分形音轨。在MIDI系统中还可以根据听者各自需求为各个音轨设置不同的音色。然后将midi格式的分形音乐转换成wav格式的音乐，再与自然音频轨合成wav类型的耳鸣康复音。参阅图1所示为本发明实施例的耳鸣康复音合成流程示意图。
本发明还提供一种耳鸣康复音合成系统，包括：
自然音频数据库，用于存储与耳鸣特征相匹配的自然音频片段，所述自然音频片段是通过对自然音频基音进行变换后形成的包含有耳鸣频率的自然音频片段，对自然音频基音进行的变换包括速度、音色、音调或者频率迁移中的任一种或者多种的组合；
迭代函数系统，用于生成IFS分形整数序列；
自然音频轨单元，用于将从自然音频数据库中选取的多个自然音频片段进行编号处理，并将编号的自然音频片段与IFS分形整数码进行一一映射，以对自然音频片段进行顺序排列，将自然音频片段按照排列顺序进行拼接处理，生成自然音频轨；
主音轨生成单元，用于根据音调值序列与音符时值序列进行匹配生成主音轨，所述音调值序列是通过将IFS分形整数序列与固定调式内的音符进行一一映射后得到；所述音符时值序列是通过将编号的时值序列组合与分形整数序列进行一一映射后得到；
伴奏音轨生成单元，通过提取主音轨中每小节的特征音符，并匹配与该特征音符对应的调式内和弦，作为该小节的伴奏和弦，以分解和弦的形式将伴奏和弦的组成音展开，生成伴奏音轨；
耳鸣康复音合成单元，用于将所述主音轨、伴奏音轨和自然音频轨进行混合处理，生成耳鸣康复音。
作为优选的，采用线性比例重叠相加法对自然音频片段进行拼接，具体的：先将两个待拼接的自然音频片段进行分帧处理，分别得到X1和X2，选取前一段音频的重叠区域为y1，长度为M，后一段音频的重叠区域为y2，长度为M；再将两个重叠区域分别通过两个线性比例的斜三角窗函数ω1与ω2后，得到重叠区域y；
ω1和ω2的表达式为：ω1(n)＝(n-1)/M，ω2(n)＝(M-n)/M
重叠区域y的表达式为：
y＝y1×ω1(n)+y2×ω2(n)，
其中，n表示第n个采样点，n＝1，2...，M；
两段自然音频片段拼接后的形成的序列为[X1-y1，y，X2-y2]。
通过本实施例提供的算法拼接可有效解决突变问题，使得相邻两段自然音频片段连接处的波形平滑，产生的音乐听起来更加自然，舒缓。
以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。

Claims (9)

1.一种基于分形与掩蔽结合的耳鸣康复音合成方法，其特征在于，包括步骤：
S1.选取调式内音符，生成主音轨的音调值序列；选取音乐速度，音乐拍号，生成音符时值序列，将音调值与音符时值匹配生成主音轨；
S2.选取主音轨中每小节的特征音符，并匹配与该特征音符对应的调式内和弦，作为该小节的伴奏和弦，生成伴奏音轨；
S3.选取与耳鸣特征相匹配的多个自然音频片段，并对自然音频片段进行编号处理，然后将自然音频片段与IFS分形整数码进行一一映射，以对自然音频片段进行顺序排列，而后再将自然音频片段进行拼接合成自然音频轨；
S4.将主音轨与伴奏音轨、自然音频轨进行混合处理，合成耳鸣康复音。
2.根据权利要求1所述的基于分形与掩蔽结合的耳鸣康复音合成方法，其特征在于，所述步骤S1中，利用迭代函数系统得到原始的IFS分形序列，并通过线性变换得到分形整数序列，将分形整数序列与固定调式内的音符进行一一映射，得到主音轨音调值序列。
3.根据权利要求2所述的基于分形与掩蔽结合的耳鸣康复音合成方法，其特征在于，所述步骤S1中，利用迭代函数系统得到原始的IFS分形序列，并通过线性变换得到分形整数序列；选定音乐速度以及音乐节拍类型，根据选定的节拍类型与音乐速度得到若干时值序列组合，将不同的时值序列组合进行编号处理，并用分形整数序列与编号进行映射，得到音符时值序列。
4.根据权利要求3所述的基于分形与掩蔽结合的耳鸣康复音合成方法，其特征在于，步骤S2中，先将主旋律音符按照节奏特点划分为小节，选择每一小节中首音符作为特征音符，再根据特征音符从候选和弦中选择一个和弦作为匹配和弦；将和弦组成音中包含所述特征音符的和弦作为该特征音符的候选和弦，再按照和弦进行的顺序原则，从候选和弦中选择匹配和弦。
5.根据权利要求4所述的基于分形与掩蔽结合的耳鸣康复音合成方法，其特征在于，按照主副三和弦构成的和弦体系的和弦进行顺序，从从候选和弦中选择匹配和弦；选择选定和弦后，将和弦组成音顺序排列生成伴奏音符序列，伴奏音符时值序列采取与主音轨的相同的序列。
6.根据权利要求1-5中任一项所述的基于分形与掩蔽结合的耳鸣康复音合成方法，其特征在于，所述步骤S3中，与耳鸣特征相匹配的自然音频片段是从自然音频库中所选取的，所述自然音频库是由通过对自然音频基音进行变换后形成的多个包含有耳鸣频率的自然音频片段构成，对自然音频基音进行的变换包括速度、音色、音调或者频率迁移中的任一种或者多种的组合。
7.根据权利要求6所述的基于分形与掩蔽结合的耳鸣康复音合成方法，其特征在于，采用线性比例重叠相加法对自然音频片段进行拼接，具体步骤如下：先将两个待拼接的自然音频片段进行分帧处理，分别得到X1和X2，选取前一段音频的重叠区域为y1，长度为M，后一段音频的重叠区域为y2，长度为M；再将两个重叠区域分别经过两个线性比例的斜三角窗函数ω1与ω2后，叠加得到重叠区域y；
ω1和ω2的表达式为：ω1(n)＝(n-1)/M，ω2(n)＝(M-n)/M
重叠区域y的表达式为：
y＝y1×ω1(n)+y2×ω2(n)，
其中，n表示第n个采样点，n＝1，2...，M；
两段自然音频片段拼接后的序列为[X1-y1，y，X2-y2]。
8.一种耳鸣康复音合成系统，其特征在于，包括：
自然音频数据库，用于存储与耳鸣特征相匹配的自然音频片段，所述自然音频片段是通过对自然音频基音进行变换后形成的包含有耳鸣频率的自然音频片段，对自然音频基音进行的变换包括速度、音色、音调或者频率迁移中的任一种或者多种的组合；
迭代函数系统，用于生成IFS分形整数序列；
自然音频轨单元，用于将从自然音频数据库中选取的多个自然音频片段进行编号处理，并将编号的自然音频片段与IFS分形整数码进行一一映射，以对自然音频片段进行顺序排列，将自然音频片段按照排列顺序进行拼接处理，生成自然音频轨；
主音轨生成单元，用于根据音调值序列与音符时值序列进行匹配生成主音轨，所述音调值序列是通过将IFS分形整数序列与固定调式内的音符进行一一映射后得到；所述音符时值序列是通过将编号的时值序列组合与分形整数序列进行一一映射后得到；
伴奏音轨生成单元，通过提取主音轨中每小节的特征音符，并匹配与该特征音符对应的调式内和弦，作为该小节的伴奏和弦，以分解和弦的形式将伴奏和弦的组成音展开，生成伴奏音轨；
耳鸣康复音合成单元，用于将所述主音轨、伴奏音轨和自然音频轨进行混合处理，生成耳鸣康复音。
9.根据权利要求8所述的耳鸣康复音合成系统，其特征在于，采用线性比例重叠相加法对自然音频片段进行拼接，具体的：先将两个待拼接的自然音频片段进行分帧处理，分别得到X1和X2，选取前一段音频的重叠区域为y1，长度为M，后一段音频的重叠区域为y2，长度为M；再将两个重叠区域分别经过两个线性比例的斜三角窗函数ω1与ω2后，叠加得到重叠区域y；
ω1和ω2的表达式为：ω1(n)＝(n-1)/M，ω2(n)＝(M-n)/M
重叠区域y的表达式为：
y＝y1×ω1(n)+y2×ω2(n)，
其中，n表示第n个采样点，n＝1，2...，M；
两段自然音频片段拼接后的序列为[X1-y1，y，X2-y2]。
CN202010773700.XA 2020-08-04 2020-08-04 一种分形与掩蔽结合的耳鸣康复音合成方法及系统 Active CN111921061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010773700.XA CN111921061B (zh) 2020-08-04 2020-08-04 一种分形与掩蔽结合的耳鸣康复音合成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010773700.XA CN111921061B (zh) 2020-08-04 2020-08-04 一种分形与掩蔽结合的耳鸣康复音合成方法及系统

Publications (2)

Publication Number Publication Date
CN111921061A true CN111921061A (zh) 2020-11-13
CN111921061B CN111921061B (zh) 2022-04-19

Family

ID=73307636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010773700.XA Active CN111921061B (zh) 2020-08-04 2020-08-04 一种分形与掩蔽结合的耳鸣康复音合成方法及系统

Country Status (1)

Country Link
CN (1) CN111921061B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913873A (zh) * 2022-05-30 2022-08-16 四川大学 一种耳鸣康复音乐合成方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789253A (zh) * 2010-01-28 2010-07-28 宝利微电子系统控股公司 一种数字音频信号处理方法
US20160005399A1 (en) * 2012-07-23 2016-01-07 University Of Southern California Noise speed-ups in hidden markov models with applications to speech recognition
CN105930480A (zh) * 2016-04-29 2016-09-07 苏州桑德欧声听觉技术有限公司 耳鸣康复音乐的生成方法以及耳鸣康复系统
CN107049598A (zh) * 2017-04-14 2017-08-18 四川大学 一种基于ifs分形算法的耳鸣康复音合成方法
CN107068166A (zh) * 2017-04-14 2017-08-18 四川大学 一种基于和弦与混沌序列生成耳鸣康复音的方法
CN110491407A (zh) * 2019-08-15 2019-11-22 广州华多网络科技有限公司 语音降噪的方法、装置、电子设备及存储介质
CN110808027A (zh) * 2019-11-05 2020-02-18 腾讯科技（深圳）有限公司 语音合成方法、装置以及新闻播报方法、系统
CN111445924A (zh) * 2020-03-18 2020-07-24 中山大学 基于自回归模型系数检测定位语音片段内平滑处理的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789253A (zh) * 2010-01-28 2010-07-28 宝利微电子系统控股公司 一种数字音频信号处理方法
US20160005399A1 (en) * 2012-07-23 2016-01-07 University Of Southern California Noise speed-ups in hidden markov models with applications to speech recognition
CN105930480A (zh) * 2016-04-29 2016-09-07 苏州桑德欧声听觉技术有限公司 耳鸣康复音乐的生成方法以及耳鸣康复系统
CN107049598A (zh) * 2017-04-14 2017-08-18 四川大学 一种基于ifs分形算法的耳鸣康复音合成方法
CN107068166A (zh) * 2017-04-14 2017-08-18 四川大学 一种基于和弦与混沌序列生成耳鸣康复音的方法
CN110491407A (zh) * 2019-08-15 2019-11-22 广州华多网络科技有限公司 语音降噪的方法、装置、电子设备及存储介质
CN110808027A (zh) * 2019-11-05 2020-02-18 腾讯科技（深圳）有限公司 语音合成方法、装置以及新闻播报方法、系统
CN111445924A (zh) * 2020-03-18 2020-07-24 中山大学 基于自回归模型系数检测定位语音片段内平滑处理的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张栋: "一种稳定音色的音乐语音变调方法", 《计算机工程》 *
蔡丽: "一种基于迭代函数系统的个性化耳鸣康复自然音合成方法", 《生物医学工程学杂志》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913873A (zh) * 2022-05-30 2022-08-16 四川大学 一种耳鸣康复音乐合成方法及系统
CN114913873B (zh) * 2022-05-30 2023-09-01 四川大学 一种耳鸣康复音乐合成方法及系统

Also Published As

Publication number Publication date
CN111921061B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
McAdams Spectral fusion and the creation of auditory images
US5663517A (en) Interactive system for compositional morphing of music in real-time
Sundberg et al. Musical performance: A synthesis-by-rule approach
US6506969B1 (en) Automatic music generating method and device
Roeder Beat-class modulation in Steve Reich's music
US5880392A (en) Control structure for sound synthesis
CN111921061B (zh) 一种分形与掩蔽结合的耳鸣康复音合成方法及系统
US6946595B2 (en) Performance data processing and tone signal synthesizing methods and apparatus
Dean et al. Algorithmically-generated corpora that use serial compositional principles can contribute to the modeling of sequential pitch structure in non-tonal music
EP0311225B1 (en) Method and apparatus for deriving and replicating complex musical tones
Marsden A study of cognitive demands in listening to Mozart's quintet for piano and wind instruments, k. 452
EP3876226B1 (en) Method and device for automated harmonization of digital audio signals
Kaske A conversation with Clarence Barlow
JPH0419593Y2 (zh)
Isgitt An analysis of periodic rhythmic structures in the music of Steve Reich and György Ligeti
Unemi A design of genetic encoding for breeding short musical pieces
Pfleiderer et al. » Pitch Class Hierarchies in Miles Davis'› So What‹. Reconsidering Modal Jazz Improvisation with Computer-based Analysis Tools «
Lawlor et al. A novel efficient algorithm for music transposition
JPH06214561A (ja) 新音律体系による楽器
Harlock Delicateness and freedom in composition: a cross-cultural exploration of timbre and texture through American minimalism and French spectralism
Ferguson Concerto for piano and orchestra
Segall Monogram, Theme, and Large-Scale Form in Alfred Schnittke’s Viola Concerto
Fabbri et al. Musical elements in the discrete-time representation of sound
Sethares Classical Music of Thailand and 7-tet
Marquetti Solos (dice game) and conductor (neural network)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant