CN108805171A - 图像至音乐旋律的转换方法、装置与计算机可读存储介质 - Google Patents

图像至音乐旋律的转换方法、装置与计算机可读存储介质 Download PDF

Info

Publication number
CN108805171A
CN108805171A CN201810428277.2A CN201810428277A CN108805171A CN 108805171 A CN108805171 A CN 108805171A CN 201810428277 A CN201810428277 A CN 201810428277A CN 108805171 A CN108805171 A CN 108805171A
Authority
CN
China
Prior art keywords
image
point
articulation
grid
pronunciation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810428277.2A
Other languages
English (en)
Other versions
CN108805171B (zh
Inventor
邓立邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Phase Intelligent Technology Co Ltd
Original Assignee
Guangdong Phase Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Phase Intelligent Technology Co Ltd filed Critical Guangdong Phase Intelligent Technology Co Ltd
Priority to CN201810428277.2A priority Critical patent/CN108805171B/zh
Publication of CN108805171A publication Critical patent/CN108805171A/zh
Application granted granted Critical
Publication of CN108805171B publication Critical patent/CN108805171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/145—Composing rules, e.g. harmonic or musical rules, for use in automatic composition; Rule generation algorithms therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明提供了一种图像至音乐旋律的转换方法、装置与计算机可读存储介质，该方法包括：获取目标图像中各像素点的HSB值，并根据HSB值对目标图像的各像素点进行颜色聚类处理，获得目标图像对应的颜色聚类图像；对颜色聚类图像中的各色块进行归一化处理，获得目标图像对应的发音点图像；将发音点图像映射到预先建立的网格中，建立发音点图像中各发音点与网格中各音阶的映射关系；根据映射关系，沿网格的设定方向提取发音点图像中发音点对应的音阶，生成目标图像对应的旋律。通过上述方法能够将目标图像转换为一段特定的音乐旋律，极大地降低音乐旋律制作的时长和成本，满足人们对音乐旋律的定制性需求。

Description

图像至音乐旋律的转换方法、装置与计算机可读存储介质
技术领域
本发明涉及图像及音乐处理技术领域，具体涉及一种图像至音乐旋律的转换方法、装置与计算机可读存储介质。
背景技术
音乐是人类情感的一种表现形式，而旋律是构成音乐的最基本要素，音乐艺术家通过创作旋律，来完成音乐创作。随着数字音乐和计算机相关技术的不断发展，越来越多的人想利用计算机技术自动创作音乐满足个性化需求，例如为一段拍摄的视频配一段独特的背景音乐，为一组照片配一段浏览时的旋律、为手机设置独个性化一无二的来电铃声等，然而，对于一般人来说创作属于自己的美妙旋律及音乐是非常困难的，而且，目前音乐创作需要专用的计算机设备和系统，成本高、耗时且操作复杂，尤其对普通用户来说学习成本非常高，不容易上手使用。
发明内容
本发明的目的是提供一种图像至音乐旋律的转换方法、装置与计算机可读存储介质，能够将目标图像转换为一段特定的音乐旋律，极大地降低音乐旋律制作的时长和成本，满足人们对音乐旋律的定制性需求。
本发明实施例提供了一种图像至音乐旋律的转换方法，包括：
获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；
对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；
将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；
根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律。
优选地，所述获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像，具体包括：
获取目标图像中各像素点的HSB值；
根据所述目标图像中各像素点的HSB值，获取所述目标图像中色相距离超过第一阈值的像素点，并获得多个颜色突变区域；
计算所述颜色突变区域内HSB值的差值小于第二阈值的相邻像素点的色相平均值，并将所述相邻像素点聚合成对应于所述色相平均值的色块；
当所述颜色突变区域内相邻像素点的色相距离为零时，根据聚合后的色块，生成所述颜色聚类图像。
优选地，所述对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像，具体包括：
获取所述颜色聚类图像中面积最小的色块，并将所述面积最小的色块设置为一个发音点；
将所述颜色聚类图像中的其他色块调整为所述发音点的整数倍；
根据所述颜色聚类图像中各色块对应的发音点，生成所述发音点图像。
优选地，所述将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系，具体包括：
根据所述发音点的面积以及预设比例，设置方格面积并建立所述网格；其中，所述网格的每一行对应一个音阶，所述网格的每一列对应一个时间点；
将所述发音点图像中各发音点映射到所述网格中；
当发音点分布在所述网格的网格线上时，分别计算所述发音点在相接于所述网格线的相邻方格中的面积占比，并将所述发音点分配到所述发音点在相邻方格中面积占比较大的一个方格中；
根据所述发音点图像中各发音点在所述网格中的位置以及所述网格中每行对应的音阶，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系。
优选地，所述根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律，具体包括：
所述设定方向为所述网格每列对应的时间点形成的时间轴方向；
根据所述映射关系，按照所述网格对应的时间轴方向提取所述发音点图像中发音点对应的音阶；
当多个发音点位于所述网格中的任意一行相邻的方格中时，将所述多个发音点调整为所述任意一行对应的音阶的长音；
按照所述时间轴方向，提取所述发音点图像中发音点对应的时间点；
根据所述发音点图像中发音点对应的音阶以及时间点，生成所述目标图像对应的旋律。
优选地，所述根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律，之后还包括：
调整所述网格每一行对应的音阶，重新建立所述发音点图像中各发音点与所述网格中各音阶的映射关系并重新生成所述目标图像对应的旋律，共获得所述目标图像对应的N首旋律；
分别将所述目标图像对应的N首旋律转换为波形图，共获得N个波形图；
分别计算任意一个所述波形图与预存在波形图模板数据库中的多个模板波形图的相似度，并提取任意一个所述波形图相对于所述多个模板波形图的相似度的最大值，作为任意一个所述波形图的参考值；
从所述N个波形图中提取最大参考值对应的波形图；
提取所述最大参考值对应的波形图对应的旋律作为所述目标图像的目标旋律。
优选地，所述图像至音乐旋律的转换方法还包括：
根据所述发音点图像中各发音点的HSB值以及预设的乐器对照表，确定所述发音点图像中各发音点对应的演奏乐器；
采用与所述发音点的演奏乐器对应的虚拟乐器，生成所述发音点对应的音阶。
本发明实施例还提供了一种图像至音乐旋律的转换装置，包括：
颜色聚类模块，用于获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；
归一处理模块，用于对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；
映射关系建立模块，用于将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；
第一旋律生成模块，用于根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律。
本发明实施例还提供了一种图像至音乐旋律的转换装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像至音乐旋律的转换方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述的图像至音乐旋律的转换方法。
相对于现有技术，本发明实施例提供的一种图像至音乐旋律的转换方法的有益效果在于：所述图像至音乐旋律的转换方法，包括：获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律。通过上述方法能够将目标图像转换为一段特定的音乐旋律，极大地降低音乐旋律制作的时长和成本，满足人们对音乐旋律的定制性需求。本发明实施例还提供了一种图像至音乐旋律的转换装置与计算机可读存储介质。
附图说明
图1是本发明实施例提供的一种图像至音乐旋律的转换方法的流程图；
图2是本发明实施例提供的一种图像至音乐旋律的转换装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其是本发明实施例提供的一种图像至音乐旋律的转换方法的流程图，所述图像至音乐旋律的转换方法包括：
S100：获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；
S200：对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；
S300：将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；
S400：根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律。
在本实施例中，通过对目标图像进行颜色聚类、归一化处理后，获得发音点图像，并将该发音点图像映射到预设的网格中，建立发音点与音阶的映射关系，通过该映射关系按照网格的时间轴方向可以将目标图像转换为一段特定的音乐旋律，极大地降低音乐旋律制作的时长和成本，同时降低音乐制作的难度，满足人们对音乐旋律的定制性需求，从而使得上述方法在个性化手机铃声、电子相册背景音乐、屏幕保护背景音乐、影视作品配乐等方面具有广泛的应用前景。
在一种可选的实施例中，S100：获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像，具体包括：
获取目标图像中各像素点的HSB值；
根据所述目标图像中各像素点的HSB值，获取所述目标图像中色相距离超过第一阈值的像素点，并获得多个颜色突变区域；
计算所述颜色突变区域内HSB值的差值小于第二阈值的相邻像素点的色相平均值，并将所述相邻像素点聚合成对应于所述色相平均值的色块；
当所述颜色突变区域内相邻像素点的色相距离为零时，根据聚合后的色块，生成所述颜色聚类图像。
在本实施例中，所述第一阈值的范围为60度至130度之间，优选地，所述第一阈值为60度。所述第二阈值为15度。例如当所述目标图像中两个像素点的色相距离超过60度时，判定为颜色突变区域。查找出颜色突变区域后，不断分析目标图像中相邻的像素点，把HSB值接近的相邻像素点取平均值聚合为一个色块，例如相邻像素点A、B的HSB值分别为：A点的HSB值为H42°、S43％、B21％，B点的HSB值为H38°、S42％、B25％，由于两个点的H值为A42°、B38°，色相距离在15度以内，将像素点A和像素点B的色相值取平均值后聚合为一个色相值为H40°的色块，重复选取不同的相邻的像素点的HSB值进行分析求色相平均值，直至将相邻的HSB值色差接近的像素点取色相平均值聚合，最后将目标图像处理成多个个不同色块，生成所述颜色聚类图像。
在一种可选的实施例中，S200：对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像，具体包括：
获取所述颜色聚类图像中面积最小的色块，并将所述面积最小的色块设置为一个发音点；
将所述颜色聚类图像中的其他色块调整为所述发音点的整数倍；
根据所述颜色聚类图像中各色块对应的发音点，生成所述发音点图像。
在一种可选的实施例中，S300：将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系，具体包括：
根据所述发音点的面积以及预设比例，设置方格面积并建立所述网格；其中，所述网格的每一行对应一个音阶，所述网格的每一列对应一个时间点；
将所述发音点图像中各发音点映射到所述网格中；
当发音点分布在所述网格的网格线上时，分别计算所述发音点在相接于所述网格线的相邻方格中的面积占比，并将所述发音点分配到所述发音点在相邻方格中面积占比较大的一个方格中；
根据所述发音点图像中各发音点在所述网格中的位置以及所述网格中每行对应的音阶，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系。
在一种可选的实施例中，S400：根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律，具体包括：
所述设定方向为所述网格每列对应的时间点形成的时间轴方向；
根据所述映射关系，按照所述网格对应的时间轴方向提取所述发音点图像中发音点对应的音阶；
当多个发音点位于所述网格中的任意一行相邻的方格中时，将所述多个发音点调整为所述任意一行对应的音阶的长音；
按照所述时间轴方向，提取所述发音点图像中发音点对应的时间点；
根据所述发音点图像中发音点对应的音阶以及时间点，生成所述目标图像对应的旋律。
在一种可选的实施例中，所述根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律，之后还包括：
调整所述网格每一行对应的音阶，重新建立所述发音点图像中各发音点与所述网格中各音阶的映射关系并重新生成所述目标图像对应的旋律，共获得所述目标图像对应的N首旋律；
分别将所述目标图像对应的N首旋律转换为波形图，共获得N个波形图；
分别计算任意一个所述波形图与预存在波形图模板数据库中的多个模板波形图的相似度，并提取任意一个所述波形图相对于所述多个模板波形图的相似度的最大值，作为任意一个所述波形图的参考值；
从所述N个波形图中提取最大参考值对应的波形图；
提取所述最大参考值对应的波形图对应的旋律作为所述目标图像的目标旋律。
在本实施例中，可以调整所述网格每一行对应的音阶，重新建立所述发音点图像中各发音点与所述网格中各音阶的映射关系并重新生成所述目标图像对应的旋律，从而使得根据网格生成多个旋律。每种音乐风格都有独特的音阶组合，根据这些独特的音阶组合中的音阶所创作出来的旋律就一定会具有该民族音乐的特色，因此，根据创作风格的需要设置所述网格中每行的音阶，从而使创作的旋律具有特定的音乐风格。例如，中国五声音阶，包含的音为：123561；日本六声音阶，包含的音为：6712346；罗马尼亚小调音阶，包含的音为：671#234#56。通过改变网格中每行的音阶组合，可以创造出不同的风格的音乐旋律。由此，可以得到所述目标图像对应的N首旋律，然后将N首旋律转换为波形图并与多个模板波形图进行匹配，提取每个所述波形图相对于所述多个模板波形图的相似度的最大值，作为每个所述波形图的参考值，即得到每个波形图分别对应一个参考值；对比每个波形图的参考值的大小，得出最大参考值对应的波形图对应的旋律作为所述目标图像的目标旋律，通过上述方法可以对生成的N首旋律进行有效的筛选，从而得出最接近现有音乐旋律创造风格的旋律，提高旋律创作的质量。
在一种可选的实施例中，所述图像至音乐旋律的转换方法还包括：
根据所述发音点图像中各发音点的HSB值以及预设的乐器对照表，确定所述发音点图像中各发音点对应的演奏乐器；
采用与所述发音点的演奏乐器对应的虚拟乐器，生成所述发音点对应的音阶。
请参阅图2，其是本发明实施例提供的一种图像至音乐旋律的转换装置的示意图，所述图像至音乐旋律的转换装置包括：
颜色聚类模块1，用于获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；
归一处理模块2，用于对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；
映射关系建立模块3，用于将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；
第一旋律生成模块4，用于根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律。
在本实施例中，通过对目标图像进行颜色聚类、归一化处理后，获得发音点图像，并将该发音点图像映射到预设的网格中，建立发音点与音阶的映射关系，通过该映射关系按照网格的时间轴方向可以将目标图像转换为一段特定的音乐旋律，极大地降低音乐旋律制作的时长和成本，同时降低音乐制作的难度，满足人们对音乐旋律的定制性需求，从而使得上述装置在个性化手机铃声、电子相册背景音乐、屏幕保护背景音乐、影视作品配乐等方面具有广泛的应用前景。
在一种可选的实施例中，颜色聚类模块1包括：HSB值获取单元、颜色突变获取单元、色块聚合单元、颜色聚类图像生成单元；
所述HSB值获取单元，用于获取目标图像中各像素点的HSB值；
所述颜色突变获取单元，用于根据所述目标图像中各像素点的HSB值，获取所述目标图像中色相距离超过第一阈值的像素点，并获得多个颜色突变区域；
所述色块聚合单元，用于计算所述颜色突变区域内HSB值的差值小于第二阈值的相邻像素点的色相平均值，并将所述相邻像素点聚合成对应于所述色相平均值的色块；
所述颜色聚类图像生成单元，用于当所述颜色突变区域内相邻像素点的色相距离为零时，根据聚合后的色块，生成所述颜色聚类图像。
在本实施例中，所述第一阈值的范围为60度至130度之间，优选地，所述第一阈值为60度。所述第二阈值为15度。例如当所述目标图像中两个像素点的色相距离超过60度时，判定为颜色突变区域。查找出颜色突变区域后，不断分析目标图像中相邻的像素点，把HSB值接近的相邻像素点取平均值聚合为一个色块，例如相邻像素点A、B的HSB值分别为：A点的HSB值为H42°、S43％、B21％，B点的HSB值为H38°、S42％、B25％，由于两个点的H值为A42°、B38°，色相距离在15度以内，将像素点A和像素点B的色相值取平均值后聚合为一个色相值为H40°的色块，重复选取不同的相邻的像素点的HSB值进行分析求色相平均值，直至将相邻的HSB值色差接近的像素点取色相平均值聚合，最后将目标图像处理成多个个不同色块，生成所述颜色聚类图像。
在一种可选的实施例中，归一处理模块2包括：发音点设置单元、发音点调整单元、发音点图像生成单元；
所述发音点设置单元，用于获取所述颜色聚类图像中面积最小的色块，并将所述面积最小的色块设置为一个发音点；
所述发音点调整单元，用于将所述颜色聚类图像中的其他色块调整为所述发音点的整数倍；
所述发音点图像生成单元，用于根据所述颜色聚类图像中各色块对应的发音点，生成所述发音点图像。
在一种可选的实施例中，映射关系建立模块3包括：网格建立单元、映射单元、发音点分配单元、映射关系建立单元；
所述网格建立单元，用于根据所述发音点的面积以及预设比例，设置方格面积并建立所述网格；其中，所述网格的每一行对应一个音阶，所述网格的每一列对应一个时间点；
所述映射单元，用于将所述发音点图像中各发音点映射到所述网格中；
所述发音点分配单元，用于当发音点分布在所述网格的网格线上时，分别计算所述发音点在相接于所述网格线的相邻方格中的面积占比，并将所述发音点分配到所述发音点在相邻方格中面积占比较大的一个方格中；
所述映射关系建立单元，用于根据所述发音点图像中各发音点在所述网格中的位置以及所述网格中每行对应的音阶，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系。
在一种可选的实施例中，第一旋律生成模块4包括：音阶提取单元、音长设置单元、时间点提取单元、旋律生成单元；
所述设定方向为所述网格每列对应的时间点形成的时间轴方向；
所述音阶提取单元，用于根据所述映射关系，按照所述网格对应的时间轴方向提取所述发音点图像中发音点对应的音阶；
所述音长设置单元，用于当多个发音点位于所述网格中的任意一行相邻的方格中时，将所述多个发音点调整为所述任意一行对应的音阶的长音；
所述时间点提取单元，用于按照所述时间轴方向，提取所述发音点图像中发音点对应的时间点；
所述旋律生成单元，用于根据所述发音点图像中发音点对应的音阶以及时间点，生成所述目标图像对应的旋律。
在一种可选的实施例中所述图像至音乐旋律的转换装置还包括：
网格音阶调整模块，用于调整所述网格每一行对应的音阶，重新建立所述发音点图像中各发音点与所述网格中各音阶的映射关系并重新生成所述目标图像对应的旋律，共获得所述目标图像对应的N首旋律；
波形图生成模块，用于分别将所述目标图像对应的N首旋律转换为波形图，共获得N个波形图；
相似度计算模块，用于分别计算任意一个所述波形图与预存在波形图模板数据库中的多个模板波形图的相似度，并提取任意一个所述波形图相对于所述多个模板波形图的相似度的最大值，作为任意一个所述波形图的参考值；
波形图提取模块，用于从所述N个波形图中提取最大参考值对应的波形图；
旋律提取模块，用于提取所述最大参考值对应的波形图对应的旋律作为所述目标图像的目标旋律。
在本实施例中，可以调整所述网格每一行对应的音阶，重新建立所述发音点图像中各发音点与所述网格中各音阶的映射关系并重新生成所述目标图像对应的旋律，从而使得根据网格生成多个旋律。每种音乐风格都有独特的音阶组合，根据这些独特的音阶组合中的音阶所创作出来的旋律就一定会具有该民族音乐的特色，因此，根据创作风格的需要设置所述网格中每行的音阶，从而使创作的旋律具有特定的音乐风格。例如，中国五声音阶，包含的音为：123561；日本六声音阶，包含的音为：6712346；罗马尼亚小调音阶，包含的音为：671#234#56。通过改变网格中每行的音阶组合，可以创造出不同的风格的音乐旋律。由此，可以得到所述目标图像对应的N首旋律，然后将N首旋律转换为波形图并与多个模板波形图进行匹配，提取每个所述波形图相对于所述多个模板波形图的相似度的最大值，作为每个所述波形图的参考值，即得到每个波形图分别对应一个参考值；对比每个波形图的参考值的大小，得出最大参考值对应的波形图对应的旋律作为所述目标图像的目标旋律，通过上述装置可以对生成的N首旋律进行有效的筛选，从而得出最接近现有音乐旋律创造风格的旋律，提高旋律创作的质量。
在一种可选的实施例中，所述图像至音乐旋律的转换装置还包括：
乐器确定模块，用于根据所述发音点图像中各发音点的HSB值以及预设的乐器对照表，确定所述发音点图像中各发音点对应的演奏乐器；
乐器选取模块，用于采用与所述发音点的演奏乐器对应的虚拟乐器，生成所述发音点对应的音阶。
本发明实施例还提供了一种图像至音乐旋律的转换装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像至音乐旋律的转换方法。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述图像至音乐旋律的转换装置中的执行过程。例如，所述计算机程序可以被分割成如图2所示的颜色聚类模块1、归一处理模块2、映射关系建立模块3、第一旋律生成模块4，各模块具体功能如下：颜色聚类模块1，用于获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；归一处理模块2，用于对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；映射关系建立模块3，用于将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；第一旋律生成模块4，用于根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律。
所述图像至音乐旋律的转换装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像至音乐旋律的转换装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是图像至音乐旋律的转换装置的示例，并不构成对图像至音乐旋律的转换装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像至音乐旋律的转换装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述图像至音乐旋律的转换装置的控制中心，利用各种接口和线路连接整个图像至音乐旋律的转换装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述图像至音乐旋律的转换装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述图像至音乐旋律的转换装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述的图像至音乐旋律的转换方法。
相对于现有技术，本发明实施例提供的一种图像至音乐旋律的转换方法的有益效果在于：所述图像至音乐旋律的转换方法，包括：获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律。通过上述方法能够将目标图像转换为一段特定的音乐旋律，极大地降低音乐旋律制作的时长和成本，满足人们对音乐旋律的定制性需求。本发明实施例还提供了一种图像至音乐旋律的转换装置与计算机可读存储介质。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种图像至音乐旋律的转换方法，其特征在于，包括：
获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；
对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；
将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；
根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律。
2.如权利要求1所述的图像至音乐旋律的转换方法，其特征在于，所述获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像，具体包括：
获取目标图像中各像素点的HSB值；
根据所述目标图像中各像素点的HSB值，获取所述目标图像中色相距离超过第一阈值的像素点，并获得多个颜色突变区域；
计算所述颜色突变区域内HSB值的差值小于第二阈值的相邻像素点的色相平均值，并将所述相邻像素点聚合成对应于所述色相平均值的色块；
当所述颜色突变区域内相邻像素点的色相距离为零时，根据聚合后的色块，生成所述颜色聚类图像。
3.如权利要求2所述的图像至音乐旋律的转换方法，其特征在于，所述对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像，具体包括：
获取所述颜色聚类图像中面积最小的色块，并将所述面积最小的色块设置为一个发音点；
将所述颜色聚类图像中的其他色块调整为所述发音点的整数倍；
根据所述颜色聚类图像中各色块对应的发音点，生成所述发音点图像。
4.如权利要求3所述的图像至音乐旋律的转换方法，其特征在于，所述将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系，具体包括：
根据所述发音点的面积以及预设比例，设置方格面积并建立所述网格；其中，所述网格的每一行对应一个音阶，所述网格的每一列对应一个时间点；
将所述发音点图像中各发音点映射到所述网格中；
当发音点分布在所述网格的网格线上时，分别计算所述发音点在相接于所述网格线的相邻方格中的面积占比，并将所述发音点分配到所述发音点在相邻方格中面积占比较大的一个方格中；
根据所述发音点图像中各发音点在所述网格中的位置以及所述网格中每行对应的音阶，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系。
5.如权利要求4所述的图像至音乐旋律的转换方法，其特征在于，所述根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律，具体包括：
所述设定方向为所述网格每列对应的时间点形成的时间轴方向；
根据所述映射关系，按照所述网格对应的时间轴方向提取所述发音点图像中发音点对应的音阶；
当多个发音点位于所述网格中的任意一行相邻的方格中时，将所述多个发音点调整为所述任意一行对应的音阶的长音；
按照所述时间轴方向，提取所述发音点图像中发音点对应的时间点；
根据所述发音点图像中发音点对应的音阶以及时间点，生成所述目标图像对应的旋律。
6.如权利要求5所述的图像至音乐旋律的转换方法，其特征在于，所述根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律，之后还包括：
调整所述网格每一行对应的音阶，重新建立所述发音点图像中各发音点与所述网格中各音阶的映射关系并重新生成所述目标图像对应的旋律，共获得所述目标图像对应的N首旋律；
分别将所述目标图像对应的N首旋律转换为波形图，共获得N个波形图；
分别计算任意一个所述波形图与预存在波形图模板数据库中的多个模板波形图的相似度，并提取任意一个所述波形图相对于所述多个模板波形图的相似度的最大值，作为任意一个所述波形图的参考值；
从所述N个波形图中提取最大参考值对应的波形图；
提取所述最大参考值对应的波形图对应的旋律作为所述目标图像的目标旋律。
7.如权利要求1所述的图像至音乐旋律的转换方法，其特征在于，所述图像至音乐旋律的转换方法还包括：
根据所述发音点图像中各发音点的HSB值以及预设的乐器对照表，确定所述发音点图像中各发音点对应的演奏乐器；
采用与所述发音点的演奏乐器对应的虚拟乐器，生成所述发音点对应的音阶。
8.一种图像至音乐旋律的转换装置，其特征在于，包括：
颜色聚类模块，用于获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；
归一处理模块，用于对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；
映射关系建立模块，用于将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；
第一旋律生成模块，用于根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，生成所述目标图像对应的旋律。
9.一种图像至音乐旋律的转换装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的图像至音乐旋律的转换方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的图像至音乐旋律的转换方法。
CN201810428277.2A 2018-05-07 2018-05-07 图像至音乐旋律的转换方法、装置与计算机可读存储介质 Active CN108805171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810428277.2A CN108805171B (zh) 2018-05-07 2018-05-07 图像至音乐旋律的转换方法、装置与计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810428277.2A CN108805171B (zh) 2018-05-07 2018-05-07 图像至音乐旋律的转换方法、装置与计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108805171A true CN108805171A (zh) 2018-11-13
CN108805171B CN108805171B (zh) 2020-11-06

Family

ID=64092077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810428277.2A Active CN108805171B (zh) 2018-05-07 2018-05-07 图像至音乐旋律的转换方法、装置与计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108805171B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489572A (zh) * 2019-08-23 2019-11-22 北京达佳互联信息技术有限公司 多媒体数据处理方法、装置、终端及存储介质
CN110778039A (zh) * 2019-09-18 2020-02-11 深圳智锐通科技有限公司 一种智能楼梯装置及该装置的转角场景设计方法
CN111125816A (zh) * 2019-12-05 2020-05-08 深圳智锐通科技有限公司 一种智能绿道的设计方法和装置
CN113096618A (zh) * 2021-03-09 2021-07-09 未知星球科技(东莞)有限公司 音乐控制方法、设备及存储介质
CN113160781A (zh) * 2021-04-12 2021-07-23 广州酷狗计算机科技有限公司 音频生成方法、装置、计算机设备及存储介质
CN114875566A (zh) * 2022-03-20 2022-08-09 浙江理工大学 一种基于音乐的蕾丝面料的加工方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1287320A (zh) * 1999-09-03 2001-03-14 北京航空航天大学 一种将图像信息转换成音乐的方法
KR20070094207A (ko) * 2006-03-16 2007-09-20 주식회사 하모니칼라시스템 영상을 소리로 변환하는 방법 및 장치
CN102289778A (zh) * 2011-05-10 2011-12-21 南京大学 一种图像至音乐的转换方法
CN103928036A (zh) * 2013-01-14 2014-07-16 联想(北京)有限公司 一种根据图像生成音频文件的方法及装置
CN106203465A (zh) * 2016-06-24 2016-12-07 百度在线网络技术（北京）有限公司 一种基于图像识别生成曲谱的方法及装置
CN107239482A (zh) * 2017-04-12 2017-10-10 中国科学院光电研究院 一种将图像转换为音乐的处理方法及服务器
US20170358284A1 (en) * 2016-06-08 2017-12-14 Visionarist Co., Ltd Music information generating device, music information generating method, and recording medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1287320A (zh) * 1999-09-03 2001-03-14 北京航空航天大学 一种将图像信息转换成音乐的方法
KR20070094207A (ko) * 2006-03-16 2007-09-20 주식회사 하모니칼라시스템 영상을 소리로 변환하는 방법 및 장치
CN102289778A (zh) * 2011-05-10 2011-12-21 南京大学 一种图像至音乐的转换方法
CN103928036A (zh) * 2013-01-14 2014-07-16 联想(北京)有限公司 一种根据图像生成音频文件的方法及装置
US20170358284A1 (en) * 2016-06-08 2017-12-14 Visionarist Co., Ltd Music information generating device, music information generating method, and recording medium
CN106203465A (zh) * 2016-06-24 2016-12-07 百度在线网络技术（北京）有限公司 一种基于图像识别生成曲谱的方法及装置
CN107239482A (zh) * 2017-04-12 2017-10-10 中国科学院光电研究院 一种将图像转换为音乐的处理方法及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GIZEM AKTI等: "Frequency component extraction from color images for specific sound transformation and analysis", 《2012 3RD INTERNATIONAL CONFERENCE ON IMAGE PROCESSING THEORY, TOOLS AND APPLICATIONS (IPTA)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489572A (zh) * 2019-08-23 2019-11-22 北京达佳互联信息技术有限公司 多媒体数据处理方法、装置、终端及存储介质
CN110489572B (zh) * 2019-08-23 2021-10-08 北京达佳互联信息技术有限公司 多媒体数据处理方法、装置、终端及存储介质
CN110778039A (zh) * 2019-09-18 2020-02-11 深圳智锐通科技有限公司 一种智能楼梯装置及该装置的转角场景设计方法
CN111125816A (zh) * 2019-12-05 2020-05-08 深圳智锐通科技有限公司 一种智能绿道的设计方法和装置
CN113096618A (zh) * 2021-03-09 2021-07-09 未知星球科技(东莞)有限公司 音乐控制方法、设备及存储介质
CN113160781A (zh) * 2021-04-12 2021-07-23 广州酷狗计算机科技有限公司 音频生成方法、装置、计算机设备及存储介质
CN113160781B (zh) * 2021-04-12 2023-11-17 广州酷狗计算机科技有限公司 音频生成方法、装置、计算机设备及存储介质
CN114875566A (zh) * 2022-03-20 2022-08-09 浙江理工大学 一种基于音乐的蕾丝面料的加工方法
CN114875566B (zh) * 2022-03-20 2024-04-26 浙江诚俊花边有限公司 一种基于音乐的蕾丝面料的加工方法

Also Published As

Publication number Publication date
CN108805171B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN108805171A (zh) 图像至音乐旋律的转换方法、装置与计算机可读存储介质
CN108960250B (zh) 图像至旋律的转换方法、装置与计算机可读存储介质
CN106373580B (zh) 基于人工智能的合成歌声的方法和装置
CN108615055A (zh) 一种相似度计算方法、装置及计算机可读存储介质
US10410392B2 (en) Data structure for computer graphics, information processing device, information processing method and information processing system
CN107393569A (zh) 音视频剪辑方法及装置
US10789972B2 (en) Apparatus for generating relations between feature amounts of audio and scene types and method therefor
CN110444185B (zh) 一种音乐生成方法及装置
CN107621966A (zh) 图形用户界面显示方法、装置和终端设备
CN108771868A (zh) 游戏虚拟角色构建方法、装置与计算机可读存储介质
WO2020244074A1 (zh) 表情交互方法、装置、计算机设备及可读存储介质
CN107340945A (zh) 一种声音调整方法及装置、计算机装置和可读存储介质
CN113823250B (zh) 音频播放方法、装置、终端及存储介质
CN108962231A (zh) 一种语音分类方法、装置、服务器及存储介质
US11756571B2 (en) Apparatus that identifies a scene type and method for identifying a scene type
CN102456342A (zh) 音频处理装置和方法以及程序
CN112967705A (zh) 一种混音歌曲生成方法、装置、设备及存储介质
CN108269460B (zh) 一种电子屏幕的阅读方法、系统及终端设备
CN114373444B (zh) 一种基于蒙太奇的语音合成方法、系统及设备
CN106601268A (zh) 一种多媒体数据处理方法及装置
CN115035017A (zh) 细胞密度分群方法、装置、电子设备及存储介质
CN109859284B (zh) 一种基于圆点的绘画实现方法及系统
CN108492347A (zh) 图像生成方法、装置与计算机可读存储介质
CN110099304A (zh) 一种电梯内移动电视广告播放方法、装置及设备
CN110491355A (zh) 一种电子琴的弹奏练习交互系统及电子琴

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant