CN109524022B - 一种视觉、听觉、嗅觉的相互转化方法 - Google Patents
一种视觉、听觉、嗅觉的相互转化方法 Download PDFInfo
- Publication number
- CN109524022B CN109524022B CN201811363405.6A CN201811363405A CN109524022B CN 109524022 B CN109524022 B CN 109524022B CN 201811363405 A CN201811363405 A CN 201811363405A CN 109524022 B CN109524022 B CN 109524022B
- Authority
- CN
- China
- Prior art keywords
- musical
- model
- musical composition
- color
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000035943 smell Effects 0.000 title claims description 13
- 238000011426 transformation method Methods 0.000 title claims description 6
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 6
- 239000000203 mixture Substances 0.000 claims description 38
- 241000282414 Homo sapiens Species 0.000 claims description 15
- 239000010410 layer Substances 0.000 claims description 14
- 239000003205 fragrance Substances 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 239000007788 liquid Substances 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000001755 vocal effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000002344 surface layer Substances 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 238000004141 dimensional analysis Methods 0.000 claims description 2
- 230000035807 sensation Effects 0.000 claims description 2
- 235000019615 sensations Nutrition 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims description 2
- 238000012800 visualization Methods 0.000 abstract description 2
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 235000019645 odor Nutrition 0.000 description 2
- 230000008786 sensory perception of smell Effects 0.000 description 2
- 241001116389 Aloe Species 0.000 description 1
- 235000004936 Bromus mango Nutrition 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 235000011201 Ginkgo Nutrition 0.000 description 1
- 235000008100 Ginkgo biloba Nutrition 0.000 description 1
- 244000194101 Ginkgo biloba Species 0.000 description 1
- 244000020551 Helianthus annuus Species 0.000 description 1
- 235000003222 Helianthus annuus Nutrition 0.000 description 1
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 1
- 244000178870 Lavandula angustifolia Species 0.000 description 1
- 235000010663 Lavandula angustifolia Nutrition 0.000 description 1
- 240000007228 Mangifera indica Species 0.000 description 1
- 235000014826 Mangifera indica Nutrition 0.000 description 1
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 241000233855 Orchidaceae Species 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 235000009184 Spondias indica Nutrition 0.000 description 1
- 235000011399 aloe vera Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229940097275 indigo Drugs 0.000 description 1
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000001102 lavandula vera Substances 0.000 description 1
- 235000018219 lavender Nutrition 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/16—Transforming into a non-visible representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/056—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/095—Identification code, e.g. ISWC for musical works; Identification dataset
- G10H2240/101—User identification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Technology Law (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Otolaryngology (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明提供一种视觉、听觉、嗅觉的相互转化系统，(1)识别音乐作品中的主旋律片段，并进行标记，生成音乐作品的独有图像，为视觉元素；(2)将独有图像转换成音频，获取整理图像中“核心概念音频段落”，为听觉元素；(3)根据图像的主要色彩结构成分，降次列举，并匹配可联想的味道，将独有图像转换成气味，为嗅觉元素；(4)根据参照物在三维空间内的位置变化调整听觉、视觉以及嗅觉元素，同时控制播放的音乐片段作与升降单元上下运动相适应的变化，形成3D模型。基于视觉、听觉、嗅觉的相互转化系统的音乐可视化应用可以便于企业或平台对音乐作品的识别、管理、推广；便于个人对自有音乐作品的留存、推广、识别、验证。
Description
技术领域
本发明涉及到艺术作品交互技术领域。涉及一种基于人类联觉现象，发明了视觉、听觉、嗅觉的相互转化方法，进而可将音乐作品进行可视、可嗅、可触多维度描述，并在音乐作品可视化方面发明了交互应用。具体一种视觉、听觉、嗅觉的相互转化方法。
背景技术
鉴于现有的音乐作品，可记录、可描述的方式单一，仅能通过记谱的方式，进行音乐版权（音乐内容）的注册和留存，和通过音乐版权运营商或个人，进行实体唱片播放、电子版音频播放器的方式被描述（被听取）。
目前已知的音乐作品和图像交互形式，基本是以显示器的随机图像变化来进行非对应的模拟视觉效果，例如windows media player中的播放器屏幕中的自动图形屏保，仅对于音乐的某些局部特征（如音量、速度）进行图像模拟，并未对于音乐作品进行相对完整的转化与表达，且交互方式单一，无法满足人们越来越高的欣赏需求。
联觉现象，在心理学上，是人类各种感觉（视觉、听觉、嗅觉、味觉、触觉）之间产生相互作用的心理现象，即对一种感官的刺激作用触发另一种感觉的现象。
现有技术中，根据人类可听范围内的音域，进行音乐作品中人声或主旋律部分（即《音乐作品著作权》被保护的部分）的音符排列关系识别，生成该音乐作品独有的2D图像（二维码）或3D模型，并通过2D图像（二维码）读取，从而了解音乐作品以及相关联的必要信息，如：作品名称、相关创作者的信息，并在版权允许范畴内进行音乐作品直接试听、付费、下载，或进行跳转平台试听、付费、下载。但存在转化系统普及期间的阶段性客观缺点，需要根据应用客户（企业或个人）的基数大小，来实现不同阶段的功能，如自动识别音乐作品是否侵权，以及自动跳转播放平台等。
现有技术的理论，基于色彩与声音的物理概念的对应性与精神学科领域的“联觉”现象，获得相对客观的数据对应以及相互转化方法：
1）以人类听力可识别的钢琴88个频率区间，按照1个八度12个音做等距处理，以每一个音符的音高作为一个单位标记；
2）以人类视觉可见光的光谱波长的频率区间，进行色相分区，以每一个色相的RGB值作为一个单位标记；
3）以人类嗅觉中普遍的联觉现象气味为一个单位标记；
4）三者匹配后，获得可以相互转化描述的对应表达办法：
钢琴小字一组音符：C、#C、D、bE、E、F、#F、G、bA、A、bB、B
分别对应的色相：红、红橙、橙、橙黄、黄、黄绿、绿、蓝绿、蓝、靛蓝、靛紫、紫
分别对应的气味：玫瑰、芒果、橙、向日葵、香蕉、银杏、草、芦荟、兰花、鸢尾花、薰衣草、紫罗兰。
发明内容
本发明提供了一个相互转化方法，以人类的可辨别色相（RGB值）、可辨别声音频率（乐音）、可联觉的普遍嗅觉（水果、花卉），为恒定数据，对图像（视觉）、音乐（听觉）、味道（嗅觉），进行相互转化，可多维度的对音乐作品进行识别与描述，获取2D、3D、4D的可视乃至可嗅、可触的音乐描述方法，还可以借此对音乐作品进行更多维度的二度欣赏与创作，让音乐作品具有相对统一的，富含艺术张力的空间展现和沉浸式“联觉”感受。
为了达到上述目的，本发明技术方案如下：
一种视觉、听觉、嗅觉的相互转化方法，包括以下步骤：
(1)识别音乐作品中的主旋律片段，并进行标记，生成音乐作品的独有图像，为视觉元素；
(2)将独有图像转换成音频，获取整理图像中“核心概念音频段落”，为听觉元素；
(3)根据图像的主要色彩结构成分，降次列举，并匹配可联想的味道，将独有图像转换成气味，为嗅觉元素；
(4)根据参照物在三维空间内的位置变化调整听觉、视觉以及嗅觉元素，同时控制播放的音乐片段作与升降单元上下运动相适应的变化，形成3D模型；
(5)用3D模型中的色彩、厚度、叠加，体现音乐中的音高、音量、整体听感；通过模型中的固定位置的光源色、来体现音乐的大小调性；音乐的不同乐器的音色均有高中低频，以上中下的位置分别体现在3D模型的所属分层图像中；反向 也成立，从图片中提取色块，获取基本色彩对应的音高（音符），从图片整体色彩基调提取音乐的大小调性，通过色彩比例和色彩叠加的分层分析，进行音乐主歌副歌音符与音量的配比，从而获得音乐旋律。
进一步地，步骤（2）中的具体过程：
a）将图像进行像素（马赛克）处理，确认“基本色块结构”；
b）将原图明度高位置，与“基本色块”进行标记；
c）根据色块出现几率，由高至低，进行排列，并匹配音符；
d）获取“核心概念乐段”，可多种音频排列方式，由计算机进行若干条较优选择，也可人工操作。
进一步地，步骤（3）中所述可联想的味道提取于相同色彩的自然或非自然的物品，这样可以实现3种感观的相对统一。
有益效果：
1、本发明中提供的音乐作品可视化方法，便于企业或平台对音乐作品的识别、管理、推广；便于个人对自有音乐作品的留存、推广、识别、验证；
2、本发明中的视觉、听觉、嗅觉相互转化方法，有利于人类对主观艺术作品的相对客观的对比分析与探索，同时，可通过线下展览的方式，让原本单一维度的艺术作品获得更多维度、更加完整的艺术沉浸式体验。
附图说明
图1为本发明的简化版2D图案（二维码应用）。
图2为本发明的简化版3D模型主视图。
图3为本发明的完整版3D模型主视图。
图4为本发明的完整版3D模型的侧45度角视图。
图5为本发明的色彩与声音的物理关系示意图。
图6为本发明的2D图像转化为音频示意图。
具体实施方式
以下参照具体的实施例来说明本发明。本领域技术人员能够理解，这些实施例仅用于说明本发明，其不以任何方式限制本发明的范围。
本专利申请中的特别解释：
1.包含但不限于等同于案例转化办法的任何一种色彩标准（本实施例数据以PARTONE国际色彩系统的R\G\B值为标准）、音频标准、嗅觉源标准，例如：
A、黑白色图像，可根据明度制定标准；
B、RAP音乐类型或人声朗诵音频不可识别音符部分，可根据人声音值进行转化处理；
C、自然音中，超出人耳识别部分，频率的由高至低，进行色彩由明至暗的依次匹配；
D、自然气味、人工气味。
如图5所示，以PARTONE国际色彩系统的R\G\B值为标准举例；以中央C小字一组为中心，以音符的高低&色彩明暗“正比”匹配；根据R\G\B\值与音符的匹配计算，实现图像-音频，音频-图像 的双向转换。
2. 通过专利中的转化系统，由人工作业进行的图像、音频、气味（香薰）的创作，同样受到专利保护。
3. 以专利中的转化系统为基准，所进行的计算机学习的加强或者迭代，同样受保护。
实施例1
音乐作品的2D图案转化方案，分为转化为简化版2D图案和转化为完整版2D图案：
1）转化为简化版2D图案方案，如图1所示，该方案主要应用于音乐作品版权方向的二维图案转化与识别：
（a）识别音乐作品中人声或主旋律部分（topline）；
（b）以一个正方形为“外边框”（正方形边长可根据需求进行更改）；
（c）对音乐作品的总小节数进行统计，在“外边框”内进行合理的矩阵排列（以8小节的倍数为一行进行排列），每小节内每一拍（音值）为一个“单位矩形”（3/4拍每小节3个矩形，4/4 拍每小节4个矩形，6/8拍每小节6个矩形）；
（d）以每个音符的音值长短，决定该音符在“单位矩形”中所占的比例（每个音符所对应的矩形长度相等，仅对宽度进行比例计算），获取“音符矩形”；
（f）根据转化系统数据，每一个“音符矩形”填充对应色相；
（g）生成该音乐作品的主旋律（版权保护部分）2D图案。
2）转化为完整版2D图案方案，该方案主要应用于音乐作品的艺术分析、创作、欣赏：
（a）识别音乐作品中所有配器的声音（人声topline、鼓drum、贝斯bass、吉他guitar、弦乐string、钢琴piano……）；
（b）对每一种配器进行方案1）的操作流程；
（c）获取每一种配器的图案，并根据音量的比例，进行对应的透明度处理（音量与透明度成正比），透明度总和为100%；
（d）进行图片叠加处理，除人声topline在最表层（最上层）之外，其他配器以频率由高至低的顺序，由表层（最上层）至下层放置；
（f）生成该音乐作品的完整2D图案。
实施例2
音乐作品的3D模型转化方案，分为转化为简化版3D图案和转化为完整版3D图案：
1）转化为简化版3D模型方案，如图2所示，该方案主要应用于音乐作品版权方向的配套周边产品（含模型触觉）；
（a）根据简化版2D方案流程，获取简化版2D图案；
（b）识别音乐作品中人声或主旋律部分（topline）的音量比例关系；
（c）以音量比例关系，将每个“音符矩形”拉伸为“音符立方形”，“音符立方形”的最大高度（最大音量）小于等于1/3“外边框”的边长（具体高度可根据应用需求进行调整）；
（d）生成该音乐作品的主旋律（版权保护部分）3D模型。
2）转化为完整版3D模型方案，如图3和图4所示，该方案主要应用于音乐作品的艺术分析、创作、展览（含模型触觉）、收藏：
（a）根据完整版2D方案流程，获取音乐作品中全部声音的2D图案图层，顺序一致；
（b）根据简化版3D模型方案流程，获取每个2D图层的3D模型，各分层的最大高度的总和不超过“外边框”边长（高度总和，可根据需求进行调整），且各层3D模型之间没有交集关系；
（c）除人声或主旋律（topline）之外，其他的配器（音色）层的每列“音符立方体”，均根据该配器（音色）的高、中、低频属性，对应前视图中“音符立方体”的上、中、下区域适应缩短长度；
（d）生成该音乐作品的完整3D模型。
实施例3
音乐作品的4D体验模型转化方案，该方案主要应用于音乐作品的实体周边产品或音乐作品展览（含模型触觉）：
（1）基于2D图案或3D模型中的色彩比例，进行系统中12种嗅觉源（萃取液）的相应比例；
（2）根据比例，进行嗅觉源（萃取液）的混合；
（3）获取该音乐作品的嗅觉源（液体、固体香氛）。
实施例4
2D图像的可听转化方案，如图6所示，该方案主要应用于美术作品多维分析，或音乐创作（在不同环境中，可通过提取照片，进行该环境中可能产生的音乐创作素材）：
（1）获取2D图像（包含2D图案，或任何形式的模型或场景通过平面拍摄所产生的2D图案）；
（2）将2D图像进行像素化（马赛克）处理，根据操作者的精细程度需求及转化需求（3/4拍，4/4拍，6/8拍等），进行图案边框内每行的马赛克色块数量安排（例如：3/4拍，每行的色块数量为3的倍数；4/4拍，每行的色块数量为4的倍数；6/8拍，每行的色块数量为6的倍数等）；
（3）获取“音符矩形”；
（4）通过系统数据对应，获取2D图像的音符；
（5）通过对音符出现频率多少与相互关系的分析，进行音乐作品定key（音高）、定调性（大小调）、以及多种音符排列方式的调整（二度创作）；
（6）获取音乐作品。
实施例5
嗅觉的可视可听转化方案：
（1）获取一种混合香氛；
（2）根据香氛的成分的实体颜色与比例，进行色相与面积的获取；
（3）通过系统数据对比，获取对应的音符，与音符的音值；
（4）进行对已知的音符与音值，进行合理排列（二度创作），获取音乐作品；
（5）根据音乐作品，生成2D图案或3D模型。
尽管已经示出和描述了本发明的技术方案，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (1)
1.一种视觉、听觉、嗅觉的相互转化方法，其特征在于：包括以下步骤：
(1) 识别音乐作品中的主旋律片段，并进行标记，生成音乐作品的独有图像，为视觉元素；
(2) 将独有图像转换成音频，获取整理图像中“核心概念音频段落”，为听觉元素；具体为：将图像进行像素马赛克处理，确认“基本色块结构”；将原图明度高位置，与“基本色块”进行标记；根据色块出现几率，由高至低，进行排列，并匹配音符；获取“核心概念乐段”，可多种音频排列方式，由计算机进行若干条较优选择，也可人工操作；
(3) 根据图像的主要色彩结构成分，降次列举，并匹配可联想的味道，将独有图像转换成气味，为嗅觉元素；所述可联想的味道提取于相同色彩的自然或非自然的物品，这样可以实现3种感观的相对统一；
(4) 根据参照物在三维空间内的位置变化调整听觉、视觉以及嗅觉元素，同时控制播放的音乐片段作与升降单元上下运动相适应的变化，形成3D模型；
(5) 用3D模型中的色彩、厚度、叠加，体现音乐中的音高、音量、整体听感；通过模型中的固定位置的光源色、来体现音乐的大小调性；音乐的不同乐器的音色均有高中低频，以上中下的位置分别体现在3D模型的所属分层图像中；反向 也成立，从图片中提取色块，获取基本色彩对应的音高音符，从图片整体色彩基调提取音乐的大小调性，通过色彩比例和色彩叠加的分层分析，进行音乐主歌副歌音符与音量的配比，从而获得音乐旋律；具体的，
所述音乐作品能够转化为简化版2D图案，应用于音乐作品版权方向的二维图案转化与识别，包括：
（a1）识别音乐作品中人声或主旋律部分，
（a2）以一个正方形为“外边框”，正方形边长可根据需求进行更改，
（a3）对音乐作品的总小节数进行统计，在“外边框”内进行以8小节的倍数为一行进行排列，每小节内每一拍音值为一个“单位矩形”，以3/4拍每小节3个矩形，以4/4 拍每小节4个矩形，以6/8拍每小节6个矩形，
（a4）以每个音符的音值长短，决定该音符在“单位矩形”中所占的比例，每个音符所对应的矩形长度相等，仅对宽度进行比例计算，获取“音符矩形”；
（a5）根据转化系统数据，每一个“音符矩形”填充对应色相，
（a6）生成该音乐作品的受版权保护部分的主旋律2D图案；
所述音乐作品能够转化为完整版2D图案，应用于音乐作品的艺术分析、创作、欣赏，包括：
（b1）识别音乐作品中所有配器的声音，
（b2）对每一种配器进行方案1）的操作流程，
（b3）获取每一种配器的图案，并根据音量的比例，进行对应的透明度处理，音量与透明度成正比，透明度总和为100%，
（b4）进行图片叠加处理，除人声topline在最表层之外，其他配器以频率由高至低的顺序，由表层至下层放置，
（b5）生成该音乐作品的完整2D图案；
所述音乐作品能够转化为简化版3D模型，应用于音乐作品版权方向的配套周边产品，包括：
（c1）根据简化版2D方案流程，获取简化版2D图案，
（c2）识别音乐作品中人声或主旋律部分topline的音量比例关系，
（c3）以音量比例关系，将每个“音符矩形”拉伸为“音符立方形”，“音符立方形”的最大高度也就是最大音量小于等于1/3“外边框”的边长，具体高度可根据应用需求进行调整，
（c4）生成该音乐作品的受保护版权保护部分的主旋律3D模型；
所述音乐作品能够转化为完整版3D模型，应用于音乐作品的艺术分析、创作、含模型触觉的展览、收藏，包括：
（d1）根据完整版2D方案流程，获取音乐作品中全部声音的2D图案图层，顺序一致，
（d2）根据简化版3D模型方案流程，获取每个2D图层的3D模型，各分层的最大高度的总和不超过“外边框”边长，高度总和根据需求进行调整，且各层3D模型之间没有交集关系，
（d3）除人声或主旋律之外，其他的配器音色层的每列“音符立方体”，均根据该配器音色的高、中、低频属性，对应前视图中“音符立方体”的上、中、下区域适应缩短长度，
（d4）生成该音乐作品的完整3D模型；
所述音乐作品能够转化为4D体验模型，应用于音乐作品的实体周边产品或音乐作品含模型触觉的展览：
（e1）基于2D图案或3D模型中的色彩比例，进行系统中12种嗅觉源或萃取液的相应比例，
（e2）根据比例，进行嗅觉源或萃取液的混合，
（e3）获取该音乐作品的嗅觉源或液体、固体香氛；
所述2D图像的可听转化方案，应用于美术作品多维分析，或音乐创作，或在不同环境中，可通过提取照片，进行该环境中可能产生的音乐创作素材：
（f1）获取2D图像包含2D图案，或任何形式的模型或场景通过平面拍摄所产生的2D图案），
（f2）将2D图像进行像素化马赛克处理，根据操作者的精细程度需求及转化需求3/4拍，4/4拍，6/8拍，进行图案边框内每行的马赛克色块数量安排，
（f3）获取“音符矩形”，
（f4）通过系统数据对应，获取2D图像的音符，
（f5）通过对音符出现频率多少与相互关系的分析，进行音乐作品定音高、定大小调、以及多种音符排列方式的调整即二度创作；
（f6）获取音乐作品；
嗅觉的可视可听转化方案：
（g1）获取一种混合香氛，
（g2）根据香氛的成分的实体颜色与比例，进行色相与面积的获取，
（g3）通过系统数据对比，获取对应的音符，与音符的音值，
（g4）进行对已知的音符与音值，进行合理排列即二度创作，获取音乐作品，
（g5）根据音乐作品，生成2D图案或3D模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811363405.6A CN109524022B (zh) | 2018-11-16 | 2018-11-16 | 一种视觉、听觉、嗅觉的相互转化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811363405.6A CN109524022B (zh) | 2018-11-16 | 2018-11-16 | 一种视觉、听觉、嗅觉的相互转化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109524022A CN109524022A (zh) | 2019-03-26 |
| CN109524022B true CN109524022B (zh) | 2021-03-02 |
Family
ID=65778070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811363405.6A Active CN109524022B (zh) | 2018-11-16 | 2018-11-16 | 一种视觉、听觉、嗅觉的相互转化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109524022B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111341355A (zh) * | 2019-12-17 | 2020-06-26 | 中原工学院 | 基于声音的图像、图片、图案的生成方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4391091B2 (ja) * | 2003-01-17 | 2009-12-24 | ソニー株式会社 | 情報伝送方法、情報伝送装置、情報記録方法、情報記録装置、情報再生方法、情報再生装置および記録媒体 |
| CN201117268Y (zh) * | 2007-11-22 | 2008-09-17 | 天津三星电子有限公司 | 具有香味发生装置的cd音乐播放机 |
| CN101916569B (zh) * | 2010-08-03 | 2015-05-06 | 北京中星微电子有限公司 | 一种显示声音的方法和装置 |
| JP5658588B2 (ja) * | 2011-02-07 | 2015-01-28 | 日本放送協会 | 聴覚臨場感評価装置及び聴覚臨場感評価プログラム |
| CN204233735U (zh) * | 2014-08-07 | 2015-04-01 | 安徽讯谷智能信息技术有限公司 | 一种5d体感互动游戏装置 |
| CN105810209A (zh) * | 2016-01-04 | 2016-07-27 | 邱子皓 | 一种基于映射关系的数据转换方法 |
| CN107464572B (zh) * | 2017-08-16 | 2020-10-16 | 重庆科技学院 | 多模式交互音乐感知系统及其控制方法 |
-
2018
- 2018-11-16 CN CN201811363405.6A patent/CN109524022B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109524022A (zh) | 2019-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6791568B2 (en) | Electronic color display instrument and method | |
| Fink et al. | Repeating ourselves: American minimal music as cultural practice | |
| Goldstein | Encyclopedia of perception | |
| WO2017119915A1 (en) | Method and apparatus for converting audio data into a visual representation | |
| KR100733572B1 (ko) | 인쇄방법 | |
| Wolf | Abstracting reality: Art, communication, and cognition in the digital age | |
| Polo et al. | Musical Vision: an interactive bio-inspired sonification tool to convert images into music | |
| CN109524022B (zh) | 一种视觉、听觉、嗅觉的相互转化方法 | |
| Giannakis | A comparative evaluation of auditory-visual mappings for sound visualisation | |
| KR101896193B1 (ko) | 이미지를 음악으로 변환하는 방법 | |
| Aleixo et al. | From music to image a computational creativity approach | |
| Perchard | Mid-century modern jazz: music and design in the postwar home | |
| Lee | Seeing's Insight: Toward a Visual Substantial Similarity Test for Copyright Infringement of Pictorial, Graphic, and Sculptural Works | |
| Wu et al. | A study of image-based music composition | |
| Rodríguez-Pardo et al. | Adaptive color visualization for dichromats using a customized hierarchical palette | |
| Reinders | The experience of artistic creativity: A phenomenological psychological analysis | |
| Birkin | Aesthetic complexity: practice and perception in art & design | |
| CN114495871A (zh) | 基于多线条特征信息生成音乐旋律的方法、系统与装置 | |
| Giannakis | Sound mosaics: a graphical user interface for sound synthesis based on audio-visual associations. | |
| McGee et al. | Voice of sisyphus: An image sonification multimedia installation | |
| IT201900016514A1 (it) | Apparecchio musicale elettronico con interfaccia compositiva semplificata | |
| US20130215152A1 (en) | Pattern superimposition for providing visual harmonics | |
| Hiraga et al. | Graphical expression of the mood of music | |
| Sun | A study of temporal visual composition | |
| Antunes et al. | Computational ecosystems in evolutionary art, and their potential for the future of virtual worlds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |