CN101859562A - 一种现有图像与卡拉ok旋律实时匹配的方法 - Google Patents

一种现有图像与卡拉ok旋律实时匹配的方法 Download PDF

Info

Publication number
CN101859562A
CN101859562A CN 201010214111 CN201010214111A CN101859562A CN 101859562 A CN101859562 A CN 101859562A CN 201010214111 CN201010214111 CN 201010214111 CN 201010214111 A CN201010214111 A CN 201010214111A CN 101859562 A CN101859562 A CN 101859562A
Authority
CN
China
Prior art keywords
song
picture
mood
mtv
melody
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010214111
Other languages
English (en)
Other versions
CN101859562B (zh
Inventor
马勇
袁存鼎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Leqi Technology Co.,Ltd.
Original Assignee
Wuxi Venpoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Venpoo Technology Co Ltd filed Critical Wuxi Venpoo Technology Co Ltd
Priority to CN 201010214111 priority Critical patent/CN101859562B/zh
Publication of CN101859562A publication Critical patent/CN101859562A/zh
Application granted granted Critical
Publication of CN101859562B publication Critical patent/CN101859562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

本发明提供了一种现有图像与卡拉OK旋律实时匹配的方法。其一首歌在每次点播时会对应不同的图片，内容丰富，趣味性强，且卡拉OK运营者的成本得到降低。其技术方案是这样的：其特征在于：收集大量的卡拉OK的歌曲及其MTV，同时建立场景图片库，通过机器学习算法学习不同旋律类型的卡拉OK歌曲具有的旋律特征，并区分出不同旋律特征所对应的MTV的视频图像库，将所述场景图片库中的图片与所述MTV的视频图像库对比关联度，从而建立与旋律类型对应的需要播放的图片库，在播放歌曲的过程中，根据播放歌曲所具有的旋律特征，实时随机播放对应旋律特征的所述需要播放的图片库中的图片。

Description

一种现有图像与卡拉OK旋律实时匹配的方法
技术领域
   本发明涉及卡拉OK视听播放技术领域，具体为一种现有图像与卡拉OK旋律实时匹配的方法。
背景技术
卡拉OK已经普及到现代人们的娱乐领域。现有技术的卡拉OK所播放的歌曲，一首歌只有一个MTV，内容较为单一，易让人产生乏味感，其趣味性低；同时由于一首歌对应一支MTV，卡拉OK经营者需同时购买歌曲和MTV，其成本高。
发明内容
针对上述问题，本发明提供了一种现有图像与卡拉OK旋律实时匹配的方法，其一首歌在每次点播时会对应不同的图片，内容丰富，趣味性强，且卡拉OK运营者的成本得到降低。
一种现有图像与卡拉OK旋律实时匹配的方法，其技术方案是这样的：
其特征在于：收集大量的卡拉OK的歌曲及其MTV，同时建立场景图片库，通过机器学习算法学习不同旋律类型的卡拉OK歌曲具有的旋律特征，并区分出不同旋律特征所对应的MTV的视频图像库，将所述场景图片库中的图片与所述MTV的视频图像库对比关联度，从而建立与旋律类型对应的需要播放的图片库，在播放歌曲的过程中，根据播放歌曲所具有的旋律特征，实时随机播放对应旋律特征的所述需要播放的图片库中的图片。
其进一步特征在于：
其实施步骤如下：
a、建立样本库，收集大量的歌曲及其MTV，与此同时建立特定的场景图片库；
b、以句子为单位分析歌曲的音频语气，根据歌曲音频的基频特征将歌曲的每句语气按照情绪分类；
c、建立与各音频语气相对应的视频图像库，以句子为单位划分与其对应的MTV视频图片，根据步骤b所确定的情绪分类分别链接其对应的MTV视频图片，形成样本图片库；
d、确定歌曲中的句子语气所对应情绪的样本图片库与特定的场景图片库中的图片间的关联度，使用典型相关性分析算法（CCA），计算得到各种音频语气所对应情绪的样本图片库中的视频图片与特定的场景图片库中的图片的相关性系数值；
e、确定需要播放的图片库，在歌曲播放的过程中，获取到的歌曲的当前句子音频，通过当前句子音频的语气得到其对应的情绪，然后匹配到对应的样本图片库，人工设定相关性系数阈值，将相关性系数值高于人工设定的相关性系数阈值的图片放入需要播放的图片库；
f、从需要播放的图片库中随机抽取图片，实时播放。
其更进一步特征在于：
所述根据歌曲音频的基频特征将歌曲的每句语气按照情绪分类具体为：利用基频特征的情绪语音识别技术，从语音的基频特征出发，统计不同情绪下语音基频的变化规律，确定了基于基频的情绪语音特征，建立高斯混合模型（GMM）进行识别，获得当前句子的情绪分类。
采用本发明的方法后，图片与卡拉OK歌曲的旋律的实时匹配，随机播放符合匹配结果的图片，图片库越大，可播放的内容越丰富，极大地提高了卡拉OK的娱乐性与趣味性；此外，卡拉OK经营者只需购买歌曲，该方法会自动捕捉歌曲中的旋律，对应播放符合旋律的图片，使得其成本得到降低。
附图说明
图1为本发明的工作原理示意框图。
具体实施方式
见图1：
a、建立样本库，收集大量的歌曲及其MTV，与此同时采集建立特定的场景图片库，图中场景库中的图片；
b、以句子为单位分析歌曲的音频语气，利用基频特征的情绪语音识别技术，从语音的基频特征出发，统计不同情绪下语音基频的变化规律，确定了基于基频的情绪语音特征，建立高斯混合模型（GMM）进行识别，获得当前句子的情绪分类：高兴、中性、生气、悲伤；
c、建立与各音频语气相对应的视频图像库，以句子为单位划分与其对应的MTV视频图片，根据高兴、中性、生气、悲伤这四种情绪分别链接其对应的MTV视频图片，形成样本图片库；
d、确定歌曲中的句子语气所对应情绪的样本图片库与特定的场景图片库中的图片间的关联性，使用典型相关性分析算法（CCA），计算得到各种音频语气所对应情绪的样本图片库中的视频图片与特定的场景图片库中的图片的相关性系数值；
e、确定需要播放的图片库，在歌曲播放的过程中，获取到的歌曲的当前句子音频，通过当前句子音频的语气得到其相关性参数，然后匹配到对应的样本图片库，人工设定相关性系数阈值，将相关性系数值高于人工设定的相关性系数阈值的图片放入需要播放的图片库；
f、从需要播放的图片库中随机抽取图片，实时播放。

Claims (3)

1.一种现有图像与卡拉OK旋律实时匹配的方法，其特征在于：收集大量的卡拉OK的歌曲及其MTV，同时建立场景图片库，通过机器学习算法学习不同旋律类型的卡拉OK歌曲具有的旋律特征，并区分出不同旋律特征所对应的MTV的视频图像库，将所述场景图片库中的图片与所述MTV的视频图像库对比关联度，从而建立与旋律类型对应的需要播放的图片库，在播放歌曲的过程中，根据播放歌曲所具有的旋律特征，实时随机播放对应旋律特征的所述需要播放的图片库中的图片。
2.根据权利要求1所述的一种现有图像与卡拉OK旋律实时匹配的方法，其特征在于：
其实施步骤如下：
a、建立样本库，收集大量的歌曲及其MTV，与此同时建立特定的场景图片库；
b、以句子为单位分析歌曲的音频语气，根据歌曲音频的基频特征将歌曲的每句语气按照情绪分类；
c、建立与各音频语气相对应的视频图像库，以句子为单位划分与其对应的MTV视频图片，根据步骤b所确定的情绪分类分别链接其对应的MTV视频图片，形成样本图片库；
d、确定歌曲中的句子语气所对应情绪的样本图片库与特定的场景图片库中的图片间的关联度，使用典型相关性分析算法（CCA），计算得到各种音频语气所对应情绪的样本图片库中的视频图片与特定的场景图片库中的图片的相关性系数值；
e、确定需要播放的图片库，在歌曲播放的过程中，获取到的歌曲的当前句子音频，通过当前句子音频的语气得到其对应的情绪，然后匹配到对应的样本图片库，人工设定相关性系数阈值，将相关性系数值高于人工设定的相关性系数阈值的图片放入需要播放的图片库；
f、从需要播放的图片库中随机抽取图片，实时播放。
3.根据权利要求2所述的一种现有图像与卡拉OK旋律实时匹配的方法，其特征在于：所述根据歌曲音频的基频特征将歌曲的每句语气按照情绪分类具体为：利用基频特征的情绪语音识别技术，从语音的基频特征出发，统计不同情绪下语音基频的变化规律，确定了基于基频的情绪语音特征，建立高斯混合模型（GMM）进行识别，获得当前句子的情绪分类。
CN 201010214111 2010-07-01 2010-07-01 一种现有图像与卡拉ok旋律实时匹配的方法 Active CN101859562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010214111 CN101859562B (zh) 2010-07-01 2010-07-01 一种现有图像与卡拉ok旋律实时匹配的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010214111 CN101859562B (zh) 2010-07-01 2010-07-01 一种现有图像与卡拉ok旋律实时匹配的方法

Publications (2)

Publication Number Publication Date
CN101859562A true CN101859562A (zh) 2010-10-13
CN101859562B CN101859562B (zh) 2013-03-06

Family

ID=42945418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010214111 Active CN101859562B (zh) 2010-07-01 2010-07-01 一种现有图像与卡拉ok旋律实时匹配的方法

Country Status (1)

Country Link
CN (1) CN101859562B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325135A (zh) * 2011-08-31 2012-01-18 无敌科技(西安)有限公司 一种网络伴唱系统以及网络伴唱的背景影像提供系统及方法
CN103457946A (zh) * 2013-08-29 2013-12-18 小米科技有限责任公司 封面匹配方法、装置和终端设备
CN103793446A (zh) * 2012-10-29 2014-05-14 汤晓鸥 音乐视频的生成方法和系统
CN103793447A (zh) * 2012-10-26 2014-05-14 汤晓鸥 音乐与图像间语义相识度的估计方法和估计系统
CN103986754A (zh) * 2014-05-09 2014-08-13 苏州乐聚一堂电子科技有限公司 卡拉ok自动识别动漫特效系统
CN103986699A (zh) * 2014-05-04 2014-08-13 苏州乐聚一堂电子科技有限公司 动漫特效卡拉ok手机点歌系统
CN103987166A (zh) * 2014-05-09 2014-08-13 苏州乐聚一堂电子科技有限公司 卡拉ok自动识别灯光特效系统
CN103986767A (zh) * 2014-05-19 2014-08-13 苏州乐聚一堂电子科技有限公司 歌曲自动识别动漫特效系统
CN104021152A (zh) * 2014-05-19 2014-09-03 广州酷狗计算机科技有限公司 基于音频文件播放的图片显示方法和装置
WO2016078287A1 (zh) * 2014-11-17 2016-05-26 中兴通讯股份有限公司 资源处理的系统、方法及装置
CN103457946B (zh) * 2013-08-29 2016-11-30 小米科技有限责任公司 封面匹配方法、装置和终端设备
CN108305605A (zh) * 2018-03-06 2018-07-20 吟飞科技(江苏)有限公司 基于计算机音视频的人机交互数字乐器系统
CN108920648A (zh) * 2018-07-03 2018-11-30 四川大学 一种基于音乐-图像语义关系的跨模态匹配方法
CN109309865A (zh) * 2018-08-28 2019-02-05 蒋丽英 年代类型吻合度辨识机构
CN109920457A (zh) * 2019-03-01 2019-06-21 广州酷狗计算机科技有限公司 播放歌曲的方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1083298A (zh) * 1992-08-25 1994-03-02 深圳华强电子工业总公司 图像文字卡拉ok磁带制作系统
US5854619A (en) * 1992-10-09 1998-12-29 Yamaha Corporation Karaoke apparatus displaying image synchronously with orchestra accompaniment
CN1239246A (zh) * 1998-06-10 1999-12-22 先锋电子股份有限公司 用于卡拉ok系统及其装置的图像显示方法
CN101083126A (zh) * 2006-05-30 2007-12-05 株式会社音特技术 具有背景图像选择功能的麦克风型音乐伴奏演奏系统
CN101313364A (zh) * 2005-11-21 2008-11-26 皇家飞利浦电子股份有限公司 使用数字图像的元数据和内容特征来找到相关音频伴奏的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1083298A (zh) * 1992-08-25 1994-03-02 深圳华强电子工业总公司 图像文字卡拉ok磁带制作系统
US5854619A (en) * 1992-10-09 1998-12-29 Yamaha Corporation Karaoke apparatus displaying image synchronously with orchestra accompaniment
CN1239246A (zh) * 1998-06-10 1999-12-22 先锋电子股份有限公司 用于卡拉ok系统及其装置的图像显示方法
CN101313364A (zh) * 2005-11-21 2008-11-26 皇家飞利浦电子股份有限公司 使用数字图像的元数据和内容特征来找到相关音频伴奏的系统和方法
CN101083126A (zh) * 2006-05-30 2007-12-05 株式会社音特技术 具有背景图像选择功能的麦克风型音乐伴奏演奏系统

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325135A (zh) * 2011-08-31 2012-01-18 无敌科技(西安)有限公司 一种网络伴唱系统以及网络伴唱的背景影像提供系统及方法
CN103793447A (zh) * 2012-10-26 2014-05-14 汤晓鸥 音乐与图像间语义相识度的估计方法和估计系统
CN103793446A (zh) * 2012-10-29 2014-05-14 汤晓鸥 音乐视频的生成方法和系统
CN103793446B (zh) * 2012-10-29 2019-03-01 汤晓鸥 音乐视频的生成方法和系统
CN103457946B (zh) * 2013-08-29 2016-11-30 小米科技有限责任公司 封面匹配方法、装置和终端设备
CN103457946A (zh) * 2013-08-29 2013-12-18 小米科技有限责任公司 封面匹配方法、装置和终端设备
CN103986699A (zh) * 2014-05-04 2014-08-13 苏州乐聚一堂电子科技有限公司 动漫特效卡拉ok手机点歌系统
CN103986754A (zh) * 2014-05-09 2014-08-13 苏州乐聚一堂电子科技有限公司 卡拉ok自动识别动漫特效系统
CN103987166A (zh) * 2014-05-09 2014-08-13 苏州乐聚一堂电子科技有限公司 卡拉ok自动识别灯光特效系统
CN104021152A (zh) * 2014-05-19 2014-09-03 广州酷狗计算机科技有限公司 基于音频文件播放的图片显示方法和装置
CN104021152B (zh) * 2014-05-19 2017-09-05 广州酷狗计算机科技有限公司 基于音频文件播放的图片显示方法和装置
CN103986767A (zh) * 2014-05-19 2014-08-13 苏州乐聚一堂电子科技有限公司 歌曲自动识别动漫特效系统
WO2016078287A1 (zh) * 2014-11-17 2016-05-26 中兴通讯股份有限公司 资源处理的系统、方法及装置
CN108305605A (zh) * 2018-03-06 2018-07-20 吟飞科技(江苏)有限公司 基于计算机音视频的人机交互数字乐器系统
CN108920648A (zh) * 2018-07-03 2018-11-30 四川大学 一种基于音乐-图像语义关系的跨模态匹配方法
CN108920648B (zh) * 2018-07-03 2021-06-22 四川大学 一种基于音乐-图像语义关系的跨模态匹配方法
CN109309865A (zh) * 2018-08-28 2019-02-05 蒋丽英 年代类型吻合度辨识机构
CN109309865B (zh) * 2018-08-28 2019-06-07 上海极链网络科技有限公司 年代类型吻合度辨识机构
CN109920457A (zh) * 2019-03-01 2019-06-21 广州酷狗计算机科技有限公司 播放歌曲的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN101859562B (zh) 2013-03-06

Similar Documents

Publication Publication Date Title
CN101859562B (zh) 一种现有图像与卡拉ok旋律实时匹配的方法
US8566880B2 (en) Device and method for providing a television sequence using database and user inputs
CN106625678B (zh) 机器人表情控制方法和装置
JP2020003537A5 (ja) オーディオ抽出装置、オーディオ再生装置、オーディオ抽出方法、オーディオ再生方法、機械学習方法及びプログラム
CN107221340B (zh) 基于多路音频的实时评分方法、存储设备及应用
JP2020127714A (ja) ビデオゲーム映像からオーディオビジュアルコンテンツを生成する方法およびシステム
KR20150144321A (ko) 음악세탁기 및 그 제어방법
CN103329145B (zh) 用于视频记录期间的声音的改善音频信号呈现的方法和组件
US20040264917A1 (en) Audio waveform cueing for enhanced visualizations during audio playback
JP6409652B2 (ja) カラオケ装置、プログラム
CN201741381U (zh) 一种现有视频图像与卡拉ok旋律实时匹配的装置
CN208507176U (zh) 一种影音交互系统
CN101370216B (zh) 一种手机音频文件的情绪化处理和播放方法
CN107888974A (zh) 一种基于场景或特定对象的即时视频合成方法与系统
CN110097618B (zh) 一种音乐动画的控制方法、装置、车辆及存储介质
CN111787353A (zh) 多方音频的处理方法、装置、电子设备及存储介质
CN106231480B (zh) 一种基于Spotify实现音响输出的方法及系统
US10219047B1 (en) Media content matching using contextual information
Wang et al. Unsupervised Multi-stream Highlight detection for the Game" Honor of Kings"
CN111295017A (zh) 一种灯光控制方法、控制系统和设备
KR100462826B1 (ko) 독립된 둘 이상의 멀티미디어 데이터의 동기화 재생을 위한 휴대용 멀티미디어 데이터 재생 장치 및 그 재생 제어 방법과, 멀티미디어 데이터를 제공하는 시스템
CN115410544B (zh) 一种音效处理方法、装置及电子设备
Zhu et al. Study on the classification of beatbox sounds based on timbre features
WO2008001766A1 (fr) Dispositif de jeu musical
JPH03242700A (ja) 音楽評価装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151207

Address after: Wuxi District of Jiangsu city of Wuxi province Zhenze road 214131 No. 18 Wuxi Software Park, whale block A No. 6

Patentee after: Wuxi Le Chi Technology Co. Ltd.

Address before: 214028 C Building 5, Xinhua Road Industrial Park, No. 512, Jiangsu, Wuxi,

Patentee before: Wuxi Venpoo Technology Co., Ltd.

DD01 Delivery of document by public notice

Addressee: Li Qing

Document name: Notification of Approving Refund

CP03 Change of name, title or address

Address after: 214131 room 1601, block D, swan tower, Wuxi Software Park, No. 111, Linghu Avenue, Xinwu District, Wuxi City, Jiangsu Province

Patentee after: Wuxi Leqi Technology Co.,Ltd.

Address before: 214131 Wuxi City, Jiangsu Province No. 6, tower a, whale tower, Wuxi Software Park, No. 18, Zhenze Road, Wuxi New Area, Jiangsu Province

Patentee before: Wuxi Le Chi Technology Co.,Ltd.

CP03 Change of name, title or address