CN107901693A - 一种基于声音mfcc特征的交互式绘画方法和装置 - Google Patents

一种基于声音mfcc特征的交互式绘画方法和装置 Download PDF

Info

Publication number
CN107901693A
CN107901693A CN201711119843.3A CN201711119843A CN107901693A CN 107901693 A CN107901693 A CN 107901693A CN 201711119843 A CN201711119843 A CN 201711119843A CN 107901693 A CN107901693 A CN 107901693A
Authority
CN
China
Prior art keywords
mfcc
painting
characteristic parameters
normalized
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711119843.3A
Other languages
English (en)
Inventor
迟冬祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dianji University
Original Assignee
Shanghai Dianji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dianji University filed Critical Shanghai Dianji University
Priority to CN201711119843.3A priority Critical patent/CN107901693A/zh
Publication of CN107901693A publication Critical patent/CN107901693A/zh
Priority to PCT/CN2018/104494 priority patent/WO2019095801A1/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B44—DECORATIVE ARTS
    • B44D—PAINTING OR ARTISTIC DRAWING, NOT OTHERWISE PROVIDED FOR; PRESERVING PAINTINGS; SURFACE TREATMENT TO OBTAIN SPECIAL ARTISTIC SURFACE EFFECTS OR FINISHES
    • B44D2/00—Special techniques in artistic painting or drawing, e.g. oil painting, water painting, pastel painting, relief painting

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于声音MFCC特征的交互式绘画方法，包括如下步骤：1)随机抽取若干绘画元素；2)采集声音信号，将其分解为若干帧；对每一帧声音信号进行预加重、加窗和频域转换处理，再使用若干滤波器，得到与滤波器数量相同的MFCC特征参数，并对MFCC特征参数做进一步归一化处理；3)将所述归一化的MFCC特征参数映射至步骤1)中抽取的绘画元素，绘画元素根据归一化的MFCC特征参数进行特征调整，其中，y表示基本绘画元素的特征值，x表示归一化的MFCC特征参数，e表示自然对数的底数；4)在显示单元上显示经过特征调整后的绘画元素。

Description

一种基于声音MFCC特征的交互式绘画方法和装置
技术领域
本发明涉及电子绘画创作的方法和人机交互技术领域，具体地说，特别涉及到一种基于声音MFCC特征的交互式绘画方法和装置。
背景技术
绘画是很多人喜闻乐见的艺术形式，目前主流方法在电脑上绘画的方式是通过电子画笔在画布上绘画，这种绘画方式对绘画的技巧要求很高，对于大多数喜欢画画却又不精通绘画技巧的用户来说有一定难度。
现有的电子绘画创作的方法都是通过对素材的二次编辑来实现，描绘的作品都需在用户的脑中预先构思，在绘画的趣味性和个性化等方面有所欠缺。
发明内容
本发明的目的在于针对现有技术中的不足，提供一种基于声音MFCC特征的交互式绘画方法和装置，以解决现有技术中存在的问题。
本发明所解决的技术问题可以采用以下技术方案来实现：
一种基于声音MFCC特征的交互式绘画方法，包括如下步骤：
1)随机抽取若干绘画元素；
2)采集声音信号，将其分解为若干帧；对每一帧声音信号进行预加重、加窗和频域转换处理，再使用若干滤波器，得到与滤波器数量相同的MFCC特征参数，并对MFCC特征参数做进一步归一化处理；
3)将所述归一化的MFCC特征参数映射至步骤1)中抽取的绘画元素，绘画元素根据归一化的MFCC特征参数进行特征调整，特征调整的数学函数为
Y＝1/[1+e^(-X)]
其中，y表示基本绘画元素的特征值，x表示归一化的MFCC特征参数，e表示自然对数的底数；
4)在显示单元上显示经过特征调整后的绘画元素。
进一步的，所述绘画元素的特征包括形状、颜色、尺寸、位置和纹理。
进一步的，所述交互式绘画方法还包括对绘画时间和绘画次数的预设。
进一步的，所述交互式绘画基于一装置进行，所述装置包括：
采集单元，其用于采集声音信号，采集的声音信号发送至计算机；
存储单元，其用于存储有绘画元素，每次绘画开始时由计算机在存储单元中随机抽取若干个绘画元素；
计算机，其用于将声音信号分解若干帧，预加重、加窗和频域转换处理，再使用若干滤波器，得到与滤波器数量相同的MFCC特征参数，经归一化处理的MFCC特征参数用于对绘画元素的一个或一组特征进行特征映射、调整；
显示单元，其用于经特征调整后的绘画元素。
进一步的，所述显示单元包括电子纸显示屏，阴极射线成像显示，液晶显示和激光投影仪器。
与现有技术相比，本发明的有益效果在于：
基于声音的MFCC特征参数，并将MFCC特征参数转化为绘画元素的特征，使得每次绘制呈现个性化的、不重复的画面。
附图说明
图1为本发明所述的基于声音MFCC特征的交互式绘画方法的示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
参见图1，本发明所述的一种基于声音MFCC特征的交互式绘画方法，包括如下步骤：
1)随机抽取若干绘画元素；
2)采集声音信号，将其分解为若干帧；对每一帧声音信号进行预加重、加窗和频域转换处理，再使用若干滤波器，得到与滤波器数量相同的MFCC特征参数，并对MFCC特征参数做进一步归一化处理；
3)将所述归一化的MFCC特征参数映射至步骤1)中抽取的绘画元素，绘画元素根据归一化的MFCC特征参数进行特征调整，特征调整的数学函数为
Y＝1/[1+e^(-X)]
其中，y表示基本绘画元素的特征值，x表示归一化的MFCC特征参数，e表示自然对数的底数；
5)在显示单元上显示经过特征调整后的绘画元素。
所述交互式绘画基于一装置进行，所述装置包括：
采集单元，其用于采集声音信号，采集的声音信号发送至计算机；
存储单元，其用于存储有绘画元素，每次绘画开始时由计算机在存储单元中随机抽取若干个绘画元素；
计算机，其用于将声音信号分解若干帧，预加重、加窗和频域转换处理，再使用若干滤波器，得到与滤波器数量相同的MFCC特征参数，经归一化处理的MFCC特征参数用于对绘画元素的一个或一组特征进行特征映射、调整；
显示单元，其用于经特征调整后的绘画元素。
上述方法和装置包含的技术特征含义如下：
声音：指人声、自然声、人造声音。
MFCC特征提取：通过预加重、加窗和频域转换，最后使用一组滤波器，得到多个能量值。比如，使用一组5个滤波器，就得到5个能量值，即为MFCC特征参数。将各帧MFCC特征参数作归一化处理(将频率值映射为0～1的数值)。
绘画：是指以各种电子显示屏或者工具为载体的绘制方式。电子显示屏或者工具包括但不限于以下方式：电子纸显示屏，阴极射线成像显示，液晶显示、激光投影显示方式。其绘制是通过计算机传送视频信号到电子显示屏完成的。
绘画元素：是指在屏幕上绘画时显示的基本绘制单元。
特征：是指绘画元素的特征，比如绘画元素的形状(点、线、面)、颜色、尺寸(长、宽、直径)、位置(在显示屏上的横纵坐标)、纹理(面元素的质地形态)等。
特征调整：是指将每个频率值x以一个数学函数Y＝1/[1+e^(-X)]，映射为某一绘画元素的数值y。这里的y值是在0到1之间变化。这样，频率值就转化为一个绘画元素的特征值，比如某一形状的绘制角度，某一线条绘制的长度等。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种基于声音MFCC特征的交互式绘画方法，其特征在于，包括如下步骤：
1)随机抽取若干绘画元素；
2)采集声音信号，将其分解为若干帧；对每一帧声音信号进行预加重、加窗和频域转换处理，再使用若干滤波器，得到与滤波器数量相同的MFCC特征参数，并对MFCC特征参数做进一步归一化处理；
3)将所述归一化的MFCC特征参数映射至步骤1)中抽取的绘画元素，绘画元素根据归一化的MFCC特征参数进行特征调整，特征调整的数学函数为
Y＝1/[1+e^(-X)]
其中，y表示基本绘画元素的特征值，x表示归一化的MFCC特征参数，e表示自然对数的底数；
4)在显示单元上显示经过特征调整后的绘画元素。
2.根据权利要求1所述的基于声音MFCC特征的交互式绘画方法，其特征在于，所述绘画元素的特征包括形状、颜色、尺寸、位置和纹理。
3.根据权利要求1所述的基于声音MFCC特征的交互式绘画方法，其特征在于，所述交互式绘画方法还包括对绘画时间和绘画次数的预设。
4.根据权利要求1所述的基于声音MFCC特征的交互式绘画方法，其特征在于，所述交互式绘画基于一装置进行，所述装置包括：
采集单元，其用于采集声音信号，采集的声音信号发送至计算机；
存储单元，其用于存储有绘画元素，每次绘画开始时由计算机在存储单元中随机抽取若干个绘画元素；
计算机，其用于将声音信号分解若干帧，预加重、加窗和频域转换处理，再使用若干滤波器，得到与滤波器数量相同的MFCC特征参数，经归一化处理的MFCC特征参数用于对绘画元素的一个或一组特征进行特征映射、调整；
显示单元，其用于经特征调整后的绘画元素。
5.根据权利要求1所述的基于声音MFCC特征的交互式绘画方法，其特征在于，所述显示单元包括电子纸显示屏，阴极射线成像显示，液晶显示和激光投影仪器。
CN201711119843.3A 2017-11-14 2017-11-14 一种基于声音mfcc特征的交互式绘画方法和装置 Pending CN107901693A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711119843.3A CN107901693A (zh) 2017-11-14 2017-11-14 一种基于声音mfcc特征的交互式绘画方法和装置
PCT/CN2018/104494 WO2019095801A1 (zh) 2017-11-14 2018-09-07 一种基于声音mfcc特征的交互式绘画方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711119843.3A CN107901693A (zh) 2017-11-14 2017-11-14 一种基于声音mfcc特征的交互式绘画方法和装置

Publications (1)

Publication Number Publication Date
CN107901693A true CN107901693A (zh) 2018-04-13

Family

ID=61845238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711119843.3A Pending CN107901693A (zh) 2017-11-14 2017-11-14 一种基于声音mfcc特征的交互式绘画方法和装置

Country Status (2)

Country Link
CN (1) CN107901693A (zh)
WO (1) WO2019095801A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019095801A1 (zh) * 2017-11-14 2019-05-23 上海电机学院 一种基于声音mfcc特征的交互式绘画方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853675A (zh) * 2019-10-24 2020-02-28 广州大学 一种音乐联觉绘画的装置及其实现方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577114A (zh) * 2009-06-18 2009-11-11 北京中星微电子有限公司 一种音频可视化实现方法及装置
CN102445984A (zh) * 2010-10-08 2012-05-09 英业达股份有限公司 语音绘图系统及其方法
CN103279970A (zh) * 2013-05-10 2013-09-04 中国科学技术大学 一种实时的语音驱动人脸动画的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136465B2 (en) * 2000-08-31 2006-11-14 Lamson Holdings Llc Voice activated, voice responsive product locator system, including product location method utilizing product bar code and product-situated, location-identifying bar code
CN101382836B (zh) * 2008-09-05 2010-12-15 浙江大学 一个基于多媒介用户交互的电子绘画创作的方法
TWI383752B (zh) * 2008-10-28 2013-02-01 Ind Tech Res Inst 結合語音辨識功能之食品製造裝置
CN102044254B (zh) * 2009-10-10 2012-11-07 北京理工大学 一种用于语音可视化的语谱图彩色增强方法
CN107901693A (zh) * 2017-11-14 2018-04-13 上海电机学院 一种基于声音mfcc特征的交互式绘画方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577114A (zh) * 2009-06-18 2009-11-11 北京中星微电子有限公司 一种音频可视化实现方法及装置
CN102445984A (zh) * 2010-10-08 2012-05-09 英业达股份有限公司 语音绘图系统及其方法
CN103279970A (zh) * 2013-05-10 2013-09-04 中国科学技术大学 一种实时的语音驱动人脸动画的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019095801A1 (zh) * 2017-11-14 2019-05-23 上海电机学院 一种基于声音mfcc特征的交互式绘画方法和装置

Also Published As

Publication number Publication date
WO2019095801A1 (zh) 2019-05-23

Similar Documents

Publication Publication Date Title
DE102017009276A1 (de) Erzeugen eines dreidimensionalen modells aus einem gescannten gegenstand
CN102332170B (zh) 一种计算机素描画的生成方法和系统
CN103034856B (zh) 定位图像中文字区域的方法及装置
CN106556940A (zh) 一种tft‑lcd屏自动光学检测中的背景抑制方法
CN110705395A (zh) 一种基于树莓派的检测系统
CN104103045B (zh) 终端的高斯模糊处理方法和系统
CN107901693A (zh) 一种基于声音mfcc特征的交互式绘画方法和装置
CN106599829A (zh) 基于主动近红外光的人脸防伪算法
CN109325986A (zh) 一种素描的绘制方法及装置
CN106530311B (zh) 切片图像处理方法及装置
CN111429374B (zh) 图像中摩尔纹的消除方法及装置
CN103035019B (zh) 图像处理方法及装置
CN106651741A (zh) 一种基于云计算的图形处理系统
CN107808363A (zh) 图像遮罩处理方法及装置
CN103093417B (zh) 生成水彩画风格图像的方法及装置
CN113110733A (zh) 一种基于远程双工的虚拟现场交互方法及系统
CN104598906B (zh) 车辆外轮廓检测方法及其装置
CN101241593A (zh) 图层影像的影像处理装置及其方法
CN107901694A (zh) 一种基于声音频率值的交互式绘画方法和装置
CN106780305A (zh) 一种平面设计至非平面设计的转换方法
CN103455607B (zh) 自动将波形图像文件转换成预设波形数据文件的方法
CN107221019B (zh) 图表转换方法及装置
CN107718992A (zh) 一种基于声音响度值的交互式绘画方法和装置
CN109740005A (zh) 一种图像目标标注方法及装置
CN106803240A (zh) 一种工业图像均光处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180413