CN103514182B - 音乐搜索方法与装置 - Google Patents

音乐搜索方法与装置 Download PDF

Info

Publication number
CN103514182B
CN103514182B CN201210208777.8A CN201210208777A CN103514182B CN 103514182 B CN103514182 B CN 103514182B CN 201210208777 A CN201210208777 A CN 201210208777A CN 103514182 B CN103514182 B CN 103514182B
Authority
CN
China
Prior art keywords
rhythm
value
word
music
tolerant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210208777.8A
Other languages
English (en)
Other versions
CN103514182A (zh
Inventor
杨新颖
周祥
王珊珊
刘恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to CN201210208777.8A priority Critical patent/CN103514182B/zh
Priority to US13/795,602 priority patent/US9176958B2/en
Priority to DE102013210380A priority patent/DE102013210380A1/de
Publication of CN103514182A publication Critical patent/CN103514182A/zh
Application granted granted Critical
Publication of CN103514182B publication Critical patent/CN103514182B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/433Query formulation using audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/632Query formulation
    • G06F16/634Query by example, e.g. query by humming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/211User input interfaces for electrophonic musical instruments for microphones, i.e. control of musical parameters either directly from microphone signals or by physically associated peripherals, e.g. karaoke control switches or rhythm sensing accelerometer within the microphone casing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/391Angle sensing for musical purposes, using data from a gyroscope, gyrometer or other angular velocity or angular movement sensing device
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/395Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/141Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开了一种用于搜索音乐的方法与装置。所述方法包括:基于接收到的查询,生成节奏值集合,其中所述查询包括多个查询值,这多个查询值定义所要搜索的音乐的节奏;基于所生成的节奏值集合,构建节奏词集合,其中所述节奏词集合中的每个节奏词包括所述节奏值集合中的至少一个节奏值;以及利用所构建的节奏词集合,定位所要搜索的音乐。利用本发明的音乐搜索方法与装置,能够无需输入音乐的旋律而仅仅基于音乐的节奏就能够执行快速、准确地搜索到期望的音乐或者定位到期望的音乐片段。

Description

音乐搜索方法与装置
技术领域
本发明涉及音频处理,更具体地,涉及基于节奏的音乐搜索技术。
背景技术
随着娱乐信息技术的蓬勃发展,消费者越来越追求高质、高速且无障碍的信息获取。在音乐搜索领域中,因传统的基于文本的搜索方式的局限性,近年来开发了多种基于旋律的音乐搜索引擎,例如Apple公司的Shazam、Google公司的SoundHound、Melodis公司的Midomi,等等。
在基于旋律的音乐搜索引擎中,用户通过音频输入设备哼唱音乐片段就可以搜索最符合这个旋律的音乐信息。在搜索过程中用户不需要输入类似词曲作者、演唱者或者歌曲名等任何关于歌曲的文本信息,而只需要把歌曲哼唱出来,就可以在数据库找到匹配的歌曲。相比于传统的基于文本的搜索方式,基于旋律的音乐搜索技术提供了更好的用户体验。例如,如果你在听广播,或者走在马路上,听到一首自己很喜欢的歌曲却不知道是什么歌的时候,只要记住旋律,就可以通过基于旋律的音乐搜索技术定位到该歌曲。
然而,基于旋律的音乐搜索技术的准确度很大程度上依赖于用户哼唱的音准,因而难以适用于对旋律不敏感或音准不好的用户或者发音障碍的用户。另外,基于旋律的音乐搜索技术也不适用于在吵杂的环境进行哼唱搜索。例如,在地铁、公车、咖啡馆等背景噪声较大的环境中,一方面哼唱搜索的结果因较大的噪声而准确度不高,另一方面用户也可能因为担心打扰到周围的人而不方便大声哼唱。
因此,需要一种无需知道旋律就能够快速、准确地搜索音乐的技术。
发明内容
本发明的一个目的在于,无需知道音乐的旋律,就能够快速、准确地定位到所要搜索的音乐或者音乐片段。
为此,本发明提出一种基于音乐的节奏进行搜索的方法与装置,其通过识别并处理用户输入的音乐节奏查询(例如,用户在触摸输入设备上的一系列敲击),以获得用于要搜索的音乐的节奏值集合,然后基于节奏值集合构建节奏词集合,最后利用所构建的节奏词集合来定位所要搜索的音乐或音乐片段。
根据本发明的一个方面,提供了一种用于搜索音乐的方法,该方法包括:基于所接收到的查询,生成节奏值集合,其中所述查询包括多个查询值,所述多个查询值定义所要搜索的音乐的节奏;基于所生成的节奏值集合,构建节奏词集合,其中所述节奏词集合中的每个节奏词包括所述节奏值集合中的至少一个节奏值;以及利用所构建的节奏词集合,定位所要搜索的音乐。
根据本发明的另一个方面,提供了一种用于搜索音乐的装置,包括:节奏值集合生成单元,配置为基于所接收到的查询,生成节奏值集合,其中所述查询包括多个查询值,所述多个查询值定义所要搜索的音乐的节奏;节奏词集合构建单元,配置为基于所述节奏值集合生成单元生成的节奏值集合,构建节奏词集合,其中所述节奏词集合中的每个节奏词包括所述节奏值集合中的至少一个节奏值;以及音乐定位单元,配置为利用所述节奏词集合构建的节奏词集合,定位所要搜索的音乐。
利用本发明的音乐搜索方法与装置,能够无需输入音乐的旋律而仅仅基于音乐的节奏就搜索到期望的音乐或者定位到期望的音乐片段。
利用本发明的音乐搜索方法与装置,进一步能够执行快速、准确的音乐搜索。
利用本发明的音乐搜索方法与装置,进一步能够结合音乐本身、用户偏好、历史记录等提供适当的模糊搜索。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
图1示出了适于用来实现本发明实施方式的示例性计算系统100的框图。
图2是例示了根据本发明实施例的基于节奏的音乐搜索方法200的流程图。
图3A和3B例示了一个音乐片段及针对其输入的查询的示例。
图4是例示了根据本发明实施例的节奏词集合构建处理400的流程图。
图5是例示了根据本发明实施例的容错节奏词生成处理500的流程图。
图6是示出了根据本发明实施例的音乐搜索装置600的功能框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了适于用来实现本发明实施方式的示例性计算系统100的框图。如图1所示,计算机系统100可以包括:CPU(中央处理单元)101、RAM(随机存取存储器)102、ROM(只读存储器)103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和显示器114。在这些设备中,与系统总线104耦合的有CPU 101、RAM 102、ROM 103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合,键盘111与键盘控制器106耦合,串行外部设备112与串行接口控制器107耦合,并行外部设备113与并行接口控制器108耦合,以及显示器114与显示控制器109耦合。应当理解,图1所述的结构框图仅仅是为了示例的目的,而不是对本发明范围的限制。在某些情况下,可以根据具体情况增加或减少某些设备。
所属技术领域的技术人员知道,本发明可以实现为系统、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等),还可以是硬件和软件结合的形式,本文一般称为“电路”、“模块”或“系统”。此外,在一些实施例中,本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
下面将参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,这些计算机程序指令通过计算机或其它可编程数据处理装置执行,产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中,这样,存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instructionmeans)的制造品(manufacture)。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
如前所述,为了实现无需音乐节奏而快速、准确地搜索音乐或定位音乐片段,本发明的基于音乐节奏的搜索方法与装置通过识别用户输入的音乐节奏查询以获得用于要搜索的音乐的节奏值集合,然后基于节奏值集合构建节奏词集合,最后利用所构建的节奏词集合来定位所要搜索的音乐或音乐片段。
下面将参照图2至6来具体地描述本发明的实施例。图2是例示了根据本发明实施例的基于节奏的音乐搜索方法200的流程图。首先,在步骤210,用户可以输入基于节奏的查询。在本文中,“查询”被定义为能够描述所要搜索的音乐或其片段的节奏的脉冲序列,例如时间脉冲串。查询可以包括对应于查询脉冲的多个查询值。例如,在查询是时间脉冲串的情况中,查询值对应于查询脉冲的定时。
图3A给出了一个音乐片段的五线谱,而图3B例示了为了搜索到图3A所示的音乐片段而输入的时间脉冲序列的示例(其中横轴表示时间,纵轴表示脉冲强度),其捕捉到的定时依次为(0.2,0.19,0.2,0.21,0.6,0.19,0.2,0.2,0.1,0.09,0.1,0.09)。需要注意的是,查询中每个查询脉冲的查询值的绝对值是不重要的,基于节奏的搜索方法考察的是各个查询脉冲之间查询值的比值。
在一个实施例中,用户可以通过在诸如触摸输入设备、键盘、键板或传声器等的输入设备上进行敲击来输入查询。例如,用户可以通过与所要搜索的音乐的节奏相对应地敲击触摸屏显示器的预定区域来实现查询输入。显然,用户输入查询的方式不限于敲击。在另一实施例中,用户可以利用诸如陀螺仪的角运动传感器或者加速度计按照对应的节奏进行摇动来实现查询输入。
在接收到所输入的查询之后,基于所接收到的查询,生成节奏值集合(图2的步骤210)。本文中所称的节奏值可以指从查询中提取的能够表示音乐节奏的任何数值或符号。一般来说,节奏值被选择为具有便于后续音乐搜索处理的值。因此,从查询中提取出节奏值可以便于存储和查找音乐。
在一个实施例中,可以通过将所接收到的查询中的每一个查询值映射到与音符相对应的节奏值。音符可以描述音的长短。这里的音符包括音乐领域最常见的全音符、二分之一音符、四分之一音符、八分之一音符、十六分之一音符、三十二分之一音符和六十四分之一音符共七种音符。可以针对每一种音符指定一个特定数值。例如上述七种音符分别由1至7的正整数表示。在这种情况下,节奏值集合即为由正整数1至7构成的集合。本领域技术人员应该理解,完全可以采用除正整数之外的其他数值或符号来表示与七种音符对应的节奏值。
在另一实施例中,可以通过相邻查询值的比值来确定节奏值。例如,以所接收到的查询中后一个查询值与前一个查询值的比值来确定查询中除了第一个查询值之外的每个查询值的节奏值。优选地,在计算节奏值之前,可以对查询值进行取整处理,例如利用四舍五入方法。以图3B的查询(0.2,0.19,0.2,0.21,0.6,0.19,0.2,0.2,0.1,0.09,0.1,0.09)为例,按照该比值计算方法,其节奏值集合可以计算为(1,1,1,3,1/3,1,1,1/2,1,1,1)。
接着,在图2的步骤230,基于所生成的节奏值集合,构建节奏词集合。本文中所称的节奏词可以指由预定个数的节奏值构成的数组。以节奏词为单位进行音乐搜索可以大幅提高搜索效率,用户的搜索时间明显缩短,由此提供了更好的用户体验。
图4详细地例示了步骤230的一种具体实现处理400,其中以预定步阶从节奏值集合生成错排的多个节奏词。在步骤410,设置节奏词的长度L,该长度L指示一个节奏词所包含的节奏值的个数。需要说明的是,对于不同的音乐或不同的音乐片段,节奏词的长度可以不同。此外,在设置节奏词的长度时可以结合音乐或音乐片段本身的具体特征,例如,结合音乐或音乐片段中所包含的休止符。
接着,处理400进行到步骤430,其中按照节奏值集合中各节奏值的顺序,以预定步阶生成多个具有在步骤410中设置的长度的节奏词,使得相邻的两个节奏词中连续相同的节奏值的个数等于节奏词的长度减去预定步阶。
以图3B的查询获得的节奏值集合(1,1,1,3,1/3,1,1,1/2,1,1,1)为例,假定节奏词长度L被设置为5而节奏词之间的步阶为1,则可以获得如下表1给出的7个节奏词:
表1长度为5且步阶为1的节奏词实例
需要强调的是,上表中为了便于例示相邻节奏词之间连续相同的节奏值而以逐一错排的方式示出所有七个节奏词W1至W7。实际上,表1中的七个节奏词W1至W7中的每一个的长度L都是5,即W1为(1,1,1,3,1/3),W2为(1,1,3,1/3,1)……以此类推。
本领域技术人员将理解,尽管在上面以长度L=5且预定步阶=1为例描述了节奏词的生成,但是完全可以根据数据库的存储容量与搜索速度的平衡而选择其他数值的长度和预定步阶。显然,节奏词长度越长,存储样本音乐的节奏词所需的数据存储容量越大,但搜索时间越短。
另外地,为了提高检出率,在本发明的一个实施例中,节奏词集合构建处理还可以结合有容错机制。如在图4的步骤450中所示,节奏词集合构建处理400还包括基于在步骤430中生成的节奏词中的每一个,生成其相应的容错节奏词。步骤450中生成的容错节奏词与步骤430中生成的节奏词一起构成节奏词集合。
图5详细地例示了步骤450的一种具体实现处理500。首先,在步骤510,可以针对步骤430中生成的节奏词中所包含的每个节奏值,生成其相应的一个或多个容错节奏值。在一个实施例中,可以先对节奏值集合中的所有节奏值进行排序,然后针对节奏词中所包含的每个节奏值,将其排序在前和/或排序在后的预定个数的节奏值确定为该节奏值的容错节奏值。
例如,在步骤210中通过将查询值映射到音符来生成节奏值集合的情况中,按照音符长短来对节奏值进行排序。以八分之一音符对应的节奏值为例,排序在其之前和之后的节奏值分别是与四分之一音符和十六分之一音符对应的节奏值。那么,可以选择四分之一音符和十六分之一音符作为该节奏值的容错节奏值。本领域技术人员可以基于对检出率的要求以及对存储容错节奏词所需的存储容量的限制,根据需要选择适当个数的容错节奏值。
在确定了容错节奏值之后,在步骤530,选择一个节奏词中所包含的一个或多个节奏值,并在步骤550中,以相应的容错节奏值代替该节奏词中所选的节奏值,来生成容错节奏词。
以表1中的节奏词W4(3,1/3,1,1,1/2)为例来说明上述步骤510至550。首先针对该节奏词对应的节奏值集合(1,1,1,3,1/3,1,1,1/2,1,1,1)进行排序,得到3→1→1/2→1/3的排序结果。假定选择每个节奏值的在前和在后各一个(如果有的话)的节奏值作为其容错节奏值。例如,1/2的容错节奏值包括1和1/3。以节奏词W4中所包含的每个节奏值的容错节奏值替代该节奏值,得到表2中给出的容错节奏值C1至C8。
表2容错节奏词实例
W4 3 1/3 1 1 1/2
C1 1 1/3 1 1 1/2
C2 3 1/2 1 1 1/2
C3 3 1/3 3 1 1/2
C4 3 1/3 1/2 1 1/2
C5 3 1/3 1 3 1/2
C6 3 1/3 1 1/2 1/2
C7 3 1/3 1 1 1
C8 3 1/3 1 1 1/3
在其他实施例中,容错节奏词还可以基于用户偏好、历史容错记录或者概率样本预测结果生成。例如,用户在针对某首歌曲敲击输入查询时,习惯性地敲错、多敲或漏敲某一个或几个音符,那么可以记录这种用户偏好,作为特定于该用户的容错节奏词。另外,例如,当在线应用本发明的方法时,可以设置一个学习器,通过大量用户的查询样本进行训练,来预测适当的容错节奏词范围。本领域技术人员还将理解,除了上述容错机制之外,现有的多种模糊搜索算法都可以与本发明结合使用。
现在返回到图2,在步骤230确定了节奏词集合之后,方法200进行到步骤250。在步骤250中,利用所构建的节奏词集合,定位所要搜索的音乐,例如图3A所示的音乐片段。在这里,可以采用现有的多种搜索算法在包含音乐的节奏词的数据库中实现上述定位。
本发明的音乐搜索方法可以与现有的音乐播放器应用程序或者多媒体管理应用程序相结合。在一种实现中,音乐或其最具代表性的片段的节奏词可以包含在音乐的元数据中以便于搜索和定位。用户可以利用上述音乐搜索方法200在数据库中搜索到期望的音乐,也可以迅速定位到某一音乐的特定片段。在另一实现中,用户可以针对特定的一个或多个音乐定制特定的查询。
图6示出了根据本发明实施例的音乐搜索装置600的功能框图。音乐搜索装置600的功能模块可以由实现本发明原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是图6中所描述的功能模块可以组合起来或者划分成子模块,从而实现上述发明的原理。因此,本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。
音乐搜索装置600包括节奏值集合生成单元610、节奏词集合构建单元650和音乐定位单元690。节奏值集合生成单元610配置为基于接收到的查询,生成节奏值集合,其中查询包括多个查询值,这多个查询值定义所要搜索的音乐的节奏。在一个实施例中,查询对应于用户在诸如触摸输入设备、键盘、键板和传声器的输入设备上的一系列敲击。在另一实施例中,查询对应于用户利用诸如陀螺仪的角运动传感器或加速度计按照对应的节奏进行的一系列摇动。
在一个实施例中,节奏值集合生成单元610可以包括音符节奏值生成单元612。音符节奏值生成单元612配置为将所接收到的查询中的每一个查询值映射到与音符相对应的节奏值。另选地,在另一实施例中,节奏值集合生成单元610可以包括比值节奏值生成单元614。比值节奏值生成单元614配置为对于所接收到的查询中除第一个查询值之外的每一个查询值,计算该查询值与前一查询值的比值,作为该查询值的节奏值。
节奏词集合构建单元650配置为基于节奏值集合生成单元610生成的节奏值集合,构建节奏词集合,其中节奏词集合中的每个节奏词包括节奏值集合中的至少一个节奏值。在一个实施例中,节奏词集合构建单元650可以包括节奏词长度设置单元660和节奏词生成单元670。节奏词长度设置单元660配置为设置节奏词的长度,该长度指示节奏词所包含的节奏值的个数。节奏词生成单元670配置为按照节奏值集合中各节奏值的顺序,以预定步阶生成多个具有由节奏词长度设置单元660设置的长度的节奏词,其中,相邻的两个节奏词中连续相同的节奏值的个数等于节奏词的长度减去所述预定步阶。
在一个实施例中,节奏词集合构建单元650还可以包括容错节奏词生成单元680,其配置为基于节奏词中的每一个,生成其相应的容错节奏词。在一种实现中,容错节奏词可以基于用户偏好、历史容错记录或者概率样本预测结果生成。
在一个实施例中,容错节奏词生成单元680可以包括:容错第一子单元682,其配置为选择节奏词中所包含的一个或多个节奏值;以及容错第二子单元683,其配置为以容错节奏值代替节奏词中由容错第一子单元682选择的节奏值,来生成容错节奏词。
在一个实施例中,容错节奏词生成单元680还可以包括节奏值排序单元684,其配置为对节奏值集合中的所有节奏值进行排序;以及容错节奏值确定单元685,其配置为针对节奏词中所包含的每个节奏值,将其排序在前和/或排序在后的预定个数的节奏值确定为该节奏值的容错节奏值。
音乐定位单元690配置为利用节奏词集合构建单元650构建的节奏词集合,定位所要搜索的音乐。
图6所示的音乐搜索装置600可以结合到具有能够接收用以定义音乐或其片段的节奏的查询的输入设备的电子设备中,例如台式计算机、平板计算机、膝上型计算机、个人数字助理、多媒体播放器、智能手机、游戏机等。输入设备例如包括触摸输入设备、键盘、键板、传声器、陀螺仪或加速度计等。
利用本发明的音乐搜索方法与装置,能够无需输入音乐的旋律而仅仅基于音乐的节奏就搜索到期望的音乐或者定位到期望的音乐片段。
利用本发明的音乐搜索方法与装置,进一步能够执行快速、准确的音乐搜索。
利用本发明的音乐搜索方法与装置,进一步能够结合音乐本身、用户偏好、历史记录等提供适当的模糊搜索。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种用于搜索音乐的方法,包括:
接收包括脉冲序列的查询,所述脉冲序列被定义为能够描述所要搜索的音乐或其片段的节奏;
基于接收到的查询,生成节奏值集合,包括:
将所接收到的查询中的每一个查询值映射到节奏值,所述节奏值代表与查询值对应的音符的长度;
其中所述节奏值集合是代表与多个查询值对应的音符的长度的节奏值的集合;
基于所生成的节奏值集合,构建节奏词集合,所述节奏词集合包括一个或多个节奏词,所述构建包括:
按照节奏值集合中各节奏值的顺序,以预定步阶生成多个节奏词,使得相邻的两个节奏词中连续相同的节奏值的个数等于节奏词的长度减去预定步阶;以及
利用节奏词集合,定位所要搜索的音乐。
2.根据权利要求1所述的方法,其中,将所接收到的查询中的每一个查询值映射到节奏值,所述节奏值代表与查询值对应的音符的长度包括:
对于所接收到的查询中除第一个查询值之外的每一个查询值,计算该查询值与前一查询值的比值,作为该查询值的节奏值。
3.根据权利要求1所述的方法,其中,所述构建节奏词集合包括:
设置节奏词的长度,该长度指示节奏词所包含的节奏值的个数。
4.根据权利要求1所述的方法,其中,所述构建节奏词集合包括:
基于节奏词中的每一个,生成其相应的容错节奏词。
5.根据权利要求4所述的方法,其中,所述生成容错节奏词包括:
选择所述节奏词中所包含的一个或多个节奏值;以及
以容错节奏值代替所述节奏词中所选的节奏值,来生成容错节奏词。
6.根据权利要求5所述的方法,其中,所述生成容错节奏词还包括:
对所述节奏值集合中的所有节奏值进行排序;以及
针对所述节奏词中所包含的每个节奏值,将其排序在前和/或排序在后的预定个数的节奏值确定为该节奏值的容错节奏值。
7.根据权利要求1所述的方法,其中,所述查询对应于用户在输入设备上的一系列敲击。
8.一种用于搜索音乐的装置,包括:
查询接收单元,配置为接收包括脉冲序列的查询,所述脉冲序列被定义为能够描述所要搜索的音乐或其片段的节奏;
节奏值集合生成单元,配置为基于接收到的查询,生成节奏值集合,包括:
将所接收到的查询中的每一个查询值映射到节奏值,所述节奏值代表与查询值对应的音符的长度;
其中所述节奏值集合是代表与多个查询值对应的音符的长度的节奏值的集合;
节奏词集合构建单元,配置为基于所述节奏值集合生成单元生成的节奏值集合,构建节奏词集合,所述节奏词集合包括一个或多个节奏词,所述构建包括:
按照节奏值集合中各节奏值的顺序,以预定步阶生成多个节奏词,使得相邻的两个节奏词中连续相同的节奏值的个数等于节奏词的长度减去预定步阶;以及
音乐定位单元,配置为利用所述节奏词集合构建单元构建的节奏词集合,定位所要搜索的音乐。
9.根据权利要求8所述的装置,其中,所述节奏值集合生成单元包括:
比值节奏值生成单元,配置为对于所接收到的查询中除第一个查询值之外的每一个查询值,计算该查询值与前一查询值的比值,作为该查询值的节奏值。
10.根据权利要求8所述的装置,其中,所述节奏词集合构建单元包括:
节奏词长度设置单元,配置为设置节奏词的长度,该长度指示节奏词所包含的节奏值的个数。
11.根据权利要求8所述的装置,其中,所述节奏词集合构建单元还包括:
容错节奏词生成单元,配置为基于节奏词中的每一个,生成其相应的容错节奏词。
12.根据权利要求11所述的装置,其中,所述容错节奏词生成单元包括:
容错第一子单元,配置为选择所述节奏词中所包含的一个或多个节奏值;以及
容错第二子单元,配置为以容错节奏值代替所述节奏词中由所述容错第一子单元选择的节奏值,来生成容错节奏词。
13.根据权利要求12所述的装置,其中,所述容错节奏词生成单元还包括:
节奏值排序单元,配置为对所述节奏值集合中的所有节奏值进行排序;以及
容错节奏值确定单元,配置为针对所述节奏词中所包含的每个节奏值,将其排序在前和/或排序在后的预定个数的节奏值确定为该节奏值的容错节奏值。
14.根据权利要求8所述的装置,其中,所述查询对应于用户在输入设备上的一系列敲击。
15.一种电子设备,包括:
输入设备,其能够接收用以定义音乐的节奏的查询;和
如权利要求8至14中任一项所述的用于搜索音乐的装置,配置为基于在所述输入设备上接收到的查询搜索音乐。
CN201210208777.8A 2012-06-19 2012-06-19 音乐搜索方法与装置 Expired - Fee Related CN103514182B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210208777.8A CN103514182B (zh) 2012-06-19 2012-06-19 音乐搜索方法与装置
US13/795,602 US9176958B2 (en) 2012-06-19 2013-03-12 Method and apparatus for music searching
DE102013210380A DE102013210380A1 (de) 2012-06-19 2013-06-05 Verfahren und Vorrichtung zur Suche von Musiktiteln

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210208777.8A CN103514182B (zh) 2012-06-19 2012-06-19 音乐搜索方法与装置

Publications (2)

Publication Number Publication Date
CN103514182A CN103514182A (zh) 2014-01-15
CN103514182B true CN103514182B (zh) 2017-05-17

Family

ID=49668192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210208777.8A Expired - Fee Related CN103514182B (zh) 2012-06-19 2012-06-19 音乐搜索方法与装置

Country Status (3)

Country Link
US (1) US9176958B2 (zh)
CN (1) CN103514182B (zh)
DE (1) DE102013210380A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223358B2 (en) 2016-03-07 2019-03-05 Gracenote, Inc. Selecting balanced clusters of descriptive vectors
US11915722B2 (en) * 2017-03-30 2024-02-27 Gracenote, Inc. Generating a video presentation to accompany audio
CN113742514B (zh) * 2021-09-03 2023-11-24 林飞鹏 一种音乐精准搜索方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1737796A (zh) * 2005-09-08 2006-02-22 上海交通大学 数字音乐旋律的跨越式高速匹配方法
CN101002985A (zh) * 2006-01-20 2007-07-25 雅马哈株式会社 控制音乐再现的设备和再现音乐的设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678680B1 (en) 2000-01-06 2004-01-13 Mark Woo Music search engine
US20030205124A1 (en) 2002-05-01 2003-11-06 Foote Jonathan T. Method and system for retrieving and sequencing music by rhythmic similarity
US7231389B2 (en) 2003-05-26 2007-06-12 Matsushita Electric Industrial Co., Ltd. Music search device
KR100643308B1 (ko) 2005-07-11 2006-11-10 삼성전자주식회사 음악 파일 탐색 기능을 제공하는 장치 및 방법
KR100749045B1 (ko) 2006-01-26 2007-08-13 삼성전자주식회사 음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치
WO2008076294A2 (en) * 2006-12-13 2008-06-26 Ricall, Inc. Online music and other copyrighted work search and licensing system
WO2008101130A2 (en) 2007-02-14 2008-08-21 Museami, Inc. Music-based search engine

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1737796A (zh) * 2005-09-08 2006-02-22 上海交通大学 数字音乐旋律的跨越式高速匹配方法
CN101002985A (zh) * 2006-01-20 2007-07-25 雅马哈株式会社 控制音乐再现的设备和再现音乐的设备

Also Published As

Publication number Publication date
US20130339349A1 (en) 2013-12-19
CN103514182A (zh) 2014-01-15
US9176958B2 (en) 2015-11-03
DE102013210380A1 (de) 2013-12-19

Similar Documents

Publication Publication Date Title
US9905090B2 (en) Automatic fitting of haptic effects
CN104395953B (zh) 来自音乐音频信号的拍子、和弦和强拍的评估
CN109564571A (zh) 利用搜索上下文的查询推荐方法及系统
CN108804532A (zh) 一种查询意图的挖掘和查询意图的识别方法、装置
CN107016994A (zh) 语音识别的方法及装置
CN108288468A (zh) 语音识别方法及装置
CN1983253A (zh) 一种提供音乐搜索服务的方法、设备和系统
CN106971009A (zh) 语音数据库生成方法及装置、存储介质、电子设备
JP6123143B1 (ja) 特許要件適否予測装置および特許要件適否予測プログラム
CN107666638A (zh) 一种估计录音延迟的方法及终端设备
CN111798821B (zh) 声音转换方法、装置、可读存储介质及电子设备
CN110136689A (zh) 基于迁移学习的歌声合成方法、装置及存储介质
CN107767850A (zh) 一种演唱评分方法及系统
CN102541980A (zh) 信息处理设备、信息处理方法及程序
CN103514182B (zh) 音乐搜索方法与装置
CN109741724A (zh) 制作歌曲的方法、装置及智能音响
JP5344756B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109410972A (zh) 生成音效参数的方法、装置及存储介质
JP2019211689A (ja) 認識装置、認識システム、端末装置、サーバ装置、方法及びプログラム
JP2019148767A (ja) サーバ装置、リコメンドシステム
CN103678533B (zh) 一种处理图表数据的方法和设备
CN106599274A (zh) 识别播放音源的装置及方法
JP5552968B2 (ja) 楽曲検索装置および楽曲検索方法
CN115116472A (zh) 音频识别方法、装置、设备及存储介质
JP6308706B1 (ja) 特許要件適否予測装置および特許要件適否予測プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170517