CN101014953A - 音频指纹识别系统和方法 - Google Patents

音频指纹识别系统和方法 Download PDF

Info

Publication number
CN101014953A
CN101014953A CNA2004800267587A CN200480026758A CN101014953A CN 101014953 A CN101014953 A CN 101014953A CN A2004800267587 A CNA2004800267587 A CN A2004800267587A CN 200480026758 A CN200480026758 A CN 200480026758A CN 101014953 A CN101014953 A CN 101014953A
Authority
CN
China
Prior art keywords
audio
matrix
audio fragment
note
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800267587A
Other languages
English (en)
Other versions
CN100437572C (zh
Inventor
弗罗德·霍姆
温德尔·T·希肯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Predixis Corp
Original Assignee
Predixis Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Predixis Corp filed Critical Predixis Corp
Publication of CN101014953A publication Critical patent/CN101014953A/zh
Application granted granted Critical
Publication of CN100437572C publication Critical patent/CN100437572C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G06F16/634—Query by example, e.g. query by humming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/912—Applications of a database
    • Y10S707/913—Multimedia
    • Y10S707/916—Audio
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99939—Privileged access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99943—Generating database or data structure, e.g. via user interface
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种音频指纹识别系统和方法。服务器接收第一音频片段的音频指纹，搜索数据库来寻找音频指纹，检索与音频指纹相关联的音频简介向量，基于该音频简介向量更新用户优选信息，并基于该用户优选信息选择第二音频片段。通过基于音频片段的频率测量生成矩阵，并对该矩阵执行奇异值分解来生成音频指纹。为了加快对数据库的搜索并且增加匹配精度，基于音频片段的最突出的音符来识别数据库中的候选子集，并且将搜索限定于所识别的子集。音频简介向量的属性中的一个是特定音频类别。基于属于该音频类别的音频片段的音频指纹的平均值来生成音频类别的标识符。

Description

音频指纹识别系统和方法
技术领域
本发明一般涉及自动识别未知的音频片段(audio piece)，并且特别涉及一种通过未知的音频片段的音频指纹(audio fingerprint)来对其进行有效识别的系统和方法。
背景技术
人们通常希望通过分析音频片段的音频信号的内容来对音频片段进行自动识别，尤其是当没有与音频片段相关联的描述性数据时。现有技术的指纹识别系统一般允许基于片段的任意部分来识别音频片段。指纹数据库中的指纹通常被进行时间索引，以允许基于任意部分生成的指纹与已存储的指纹适当对准。时基的指纹识别系统因而添加了一个附加的复杂步骤，即在执行任何对比之前在指纹数据库中定位正确的段(segment)。
如果可以对可用于指纹识别的音频片段部分做出假设，则生成并存储时间索引的音频指纹就是多余的。例如，如果已知将要识别的音频片段从片段的一开始就一直是可用的，则不必针对不同的时间片保持音频片段的时间索引的指纹，也不必将查询指纹与已存储的指纹进行时间校准。
现有技术的指纹识别系统遇到的另一个问题是，随着在指纹数据库中登记的指纹数的增加，获得匹配所花费的时间也在增加。
因此，需要一种可提供可靠、快速且强大的音频片段识别的指纹识别系统。这样的系统应当配置成减少执行识别时的搜索空间，以获得更好的匹配精度和速度。
发明内容
依照一个实施例，本发明是一种用于从多个音频片段中进行选择的方法，该方法包括：接收第一音频片段的音频指纹；搜索数据库寻找音频指纹；检索与音频指纹相关联的音频简介向量(audio profilevector)，该音频简介向量量化与音频片段相关联的多个属性；基于该音频简介向量更新用户优选信息；以及基于该用户优选信息选择第二音频片段。
依照另一个实施例，本发明是一种音频指纹识别方法，包括：接收与音频片段相关联的音频信号；获取所述音频信号的多个频率测量；基于该频率测量构建矩阵A；对矩阵A执行奇异值分解，其中A＝USVT；检索矩阵VT的一行或多行；将检索到的矩阵VT的行与所述音频片段相关联；以及将检索到的矩阵VT的行存储在数据存储器中。
依照另一个实施例，本发明是一种音频索引方法，包括：接收音频片段的音频信号；自动地从所述音频信号中获取包含在所述音频片段中的音符列表；从所述音频信号中确定所述音频片段中的音符的突出部分；选择所述音频片段中最突出的音符的预定编号；基于所选择的音符生成索引；以及基于所生成的索引搜索数据库。
依照另一个实施例，本发明是一种生成音频类别的标识符的方法，该方法包括：选择多个与所述音频类别相关联的音频片段；对每个所选择的音频片段计算音频指纹；计算所述计算出的音频指纹的平均值；基于该计算生成平均指纹；将平均指纹与所述音频类别相关联；以及将平均指纹存储在数据存储器内。
依照另一个实施例，本发明是一种音频选择系统，包括：存储有多个音频片段的多个音频指纹的第一数据存储器；存储有多个音频指纹的多个音频简介向量的第二数据存储器，每个音频简介向量量化与对应于所述音频指纹的音频片段相关联的多个属性；搜索第一数据存储器以寻找第一音频片段的音频指纹的装置；从第二数据存储器中检索与所述音频指纹相关联的音频简介向量的装置；基于所检索的音频简介向量更新用户优选信息的装置；以及基于用户优选信息选择第二音频片段的装置。
依照另一个实施例，本发明是一种音频指纹识别系统，包括处理器，该处理器被配置为：接收与音频片段相关联的音频信号；获取音频信号的多个频率测量；基于该频率测量构建矩阵A；对矩阵A执行奇异值分解，其中A＝USVT；检索矩阵VT的一行或多行；将检索到的矩阵VT的行与音频片段相关联。该音频指纹识别系统也包括连接到处理器的、用于存储检索到的矩阵VT的行的数据存储器。
依照另一个实施例，本发明是一种音频索引系统，包括：接收音频片段的音频信号的装置；自动地从音频信号中获取包含在音频片段中的音符列表的装置；从音频信号中确定音频片段中的音符的突出部分的装置；选择音频片段中最突出的音符的预定编号的装置；基于所选择的音符生成索引的装置；以及基于所生成的索引搜索数据库的装置。
依照另一个实施例，本发明是一种生成音频类别的标识符的系统，该系统包括：对多个所选择的音频片段中的每一个计算音频指纹的装置；计算所计算出的音频指纹的平均值的装置；将所计算的平均值与音频类别相关联的装置；以及将所计算的平均值存储在数据存储器内的装置。
依照另一个实施例，本发明是一种包括计算机可读介质的产品，该计算机可读介质具有计算机可用的程序代码，所述程序代码包含可执行指令，当执行所述指令时，使计算机执行如下步骤：获取与音频片段相关联的音频信号的多个频率测量；基于该频率测量构建矩阵A；对矩阵A执行奇异值分解，其中A＝USVT；检索矩阵VT的一行或多行；将检索到的矩阵VT的行与音频片段相关联；以及将检索到的矩阵VT的行存储在数据存储器中。
依照另一个实施例，本发明是一种包括计算机可读介质的产品，该计算机可读介质具有计算机可用的程序代码，所述程序代码包含可执行指令，当执行所述指令时，使计算机执行以下步骤：自动地从音频片段的音频信号中获取包含在音频片段中的音符列表；从音频信号中确定音频片段中的音符的突出部分；选择音频片段中最突出的音符的预定编号；基于所选择的音符生成索引；以及基于所生成的索引搜索数据库。
参照以下的详细说明、附加的权利要求以及附图，将会对本发明的上述和其它的特征、方面和优点有更充分的理解。当然，本发明的实际的范围是由附加的权利要求限定的。
附图说明
图1是本发明一个实施例的音频指纹识别系统的示意性框图；
图2是本发明一个实施例的生成音频指纹的进程的流程图；
图3是本发明一个实施例的分析所提取的音频指纹以寻找与已登记的指纹的匹配的进程的流程图；
图4是本发明的可选实施例的分析所提取的音频指纹以寻找与已登记的指纹的匹配的进程的流程图；
图5是本发明一个实施例的向音频片段分配数据库索引的进程的流程图；
图6是本发明一个实施例的生成特定音乐类别的标识符的进程的流程图；
图7是本发明一个实施例的具有一个或多个利用图1的音频指纹识别系统的设备的计算机网络的示意性框图。
具体实施方式
图1是本发明一个实施例的音频指纹识别系统10的示意性框图。该系统包括音频文件读取器12，用于读取不同类型的音频文件11或者音频输入，并用于输出wave(.wav)、MP3文件等。音频文件读取器12可以是例如CD播放器、DVD播放器、硬盘驱动器等。文件读取器12可以连接到用于对音频文件读取器12输出的MP3文件进行解码的MP3解码器14。也可以使用其它类型的解码器来对其它类型的编码音频文件进行解码。
提供给音频文件读取器12的音频文件11可以是要进行识别或登记的整个音频片段或部分音频片段。依照本发明的一个实施例，音频文件至少包含音频片段的第一个30秒。然而，本领域技术人员应当认识到更短或更长的段也可以用在可选实施例中。
接收到的音频文件11被传送到音乐预处理器16，依照本发明的一个实施例，该音乐预处理器16被配置为在分析音频文件之前采取特定的预处理步骤。典型的预处理步骤可以包括归一化音频信号以确保对于所有音频样本来说信号中的最高电平是相同的；将音频数据从立体声转换为单声道；以及删除音频文件中的无声部分等。然而，本领域技术人员应当认识到可以删除预处理步骤，或者预处理步骤可以包括现有技术中常规的其它类型的音频预处理步骤。
预处理器16被连接到指纹提取引擎18、指纹分析引擎20、索引引擎22和类别识别引擎24。依照本发明的一个实施例，这些引擎是执行存储在存储器中的指令的处理器。然而，本领域技术人员应当认识到，这些引擎可以以硬件、固件(例如ASIC)或者硬件、固件和软件的组合来实现。
依照本发明的一个实施例，指纹提取引擎18自动生成音频文件11的简洁表示(以下称为签名指纹)，以用作音频片段的唯一标识符。依照本发明的一个实施例，将音频指纹表示为矩阵。
指纹分析引擎20分析指纹提取引擎18生成的音频指纹，以找到与指纹数据库26中的已登记指纹的匹配。基于该匹配，指纹分析引擎或者连接到指纹分析引擎的独立的引擎(未示出)检索与音频片段相关联的附加数据。附加数据例如可以是音频简介向量(audio profilevector)，该向量描述了音频片段的各种属性，并在2002年10月23日申请的序列号为10/278636的美国专利申请中有更详细的描述，该申请的内容通过引用结合于此。当然，本领域技术人员应当认识到其它类型的数据也可以与音频片段相关联，例如标题信息、艺术家或团体信息、音乐会信息、新发行信息和/或URL链接等链接到其它数据的链接。
索引引擎22将所提取的音频指纹与可以由指纹分析引擎20用来识别指纹数据库26中的候选子集的索引相关联。依照本发明的一个实施例，基于包含在音频片段中的突出的音符来生成索引。一旦生成索引，就可以识别音频片段所属的指纹数据库26中的音频指纹的子集。
类别识别引擎24针对属于特定的音乐类别的音频片段的不同集合生成标识符。依照本发明的一个实施例，就整体的作曲法(instrumentation)/管弦乐配乐法(orchestration)而言，特定的音乐类别中的音乐片段是相似的。例如，典型的音乐类别可以被识别为包括爵士乐钢琴三重唱、无伴奏演唱、非电吉它、非电钢琴、带声乐演唱的非电吉它独奏等。不同的音乐类别因而可以被包括作为音频简介向量的属性，其中特定的音乐类别的值集合表示音频片段与该音乐类别有多远或多近。有关不同的音乐类别的标识符和信息然后可以存储在音乐类别数据库28中。
指纹数据库26存储有多个已知音频片段的指纹。可以基于包含在音频片段中的音符将这些指纹归类成离散子集。每个音频指纹可以与实际的音频文件、音频简介向量、音频片段的描述(例如标题、艺术家和/或团体)、音乐会信息、新发行信息和链接到其它数据的URL链接等相关联。
图2是本发明一个实施例的用于生成音频指纹的进程的流程图。进程开始后，在步骤100中，指纹提取引擎18或者独立的傅立叶变换引擎(未示出)计算预处理后的音频片段的音频信号的快速傅里叶变换(FFT)等，以将时域的信号波形转换为频域的信号。依照本发明的一个实施例，对FFT分析重新取样，以减小后续处理的数据大小。
基于该FFT计算，指纹提取引擎18在步骤102中生成T×F矩阵A，其中T≥F。依照本发明的一个实施例，矩阵的行表示时间，矩阵的列表示FFT的频率测量，也称作箱(bin)。
在步骤104中，指纹提取引擎18对矩阵A执行被称作奇异值分解(SVD)操作的公知的矩阵操作。概括地讲，SVD是如下将原始矩阵归约成三个矩阵的乘积的技术：
SVD(A)＝USVT
其中U是T×F的正交矩阵，S是F×F的具有正值或零值元素的对角矩阵，VT是F×F正交矩阵的转置矩阵。依照本发明的一个实施例，V转置后的行是获得最大方差的坐标，即，以利用S矩阵的对角输入所测量的重要性的降序保留了大部分有关音频片段的信息。
在步骤106中，指纹提取引擎18从矩阵VT中提取预定数量的行，在步骤108中，根据所提取的行构建指纹矩阵。在步骤110中，以可以是现有技术中的常规方式的任何方式将指纹矩阵与音频片段相关联，从而将指纹矩阵设置为音频片段的指纹。
在步骤112中，将指纹矩阵存储在数据存储器中。如果是为了登记目的而进行指纹提取，则该数据存储器就是指纹数据库26。否则，该数据存储器是用于存储指纹矩阵的临时存储单元，用于指纹分析引擎20随后的检索，以与已登记的指纹进行对比。
与由现有技术的系统生成的许多音频指纹不同，通过SVD操作生成的音频指纹没有与其相关联的时间的概念。然而，本领域技术人员应该认识到，时间可以与通过SVD操作生成的音频指纹相关联。换句话说，通过将时间索引分配给通过SVD操作生成的音频指纹，并且重复在整首歌曲中移动的移动窗口的进程，可以将参照图2所描述的生成音频指纹的进程扩展到时基的音频指纹识别系统。
依照本发明的一个实施例，指纹提取引擎18也可以结合例如导致时间索引指纹测量的光谱矩心和/或光谱平滑度测量等现有技术中的指纹识别技术。如果使用这些技术，则可以将这些测量的其中之一或者两者的结果添加到通过SVD操作生成的指纹矩阵。
图3是本发明一个实施例的由指纹分析引擎20执行的进程的流程图，该进程用于分析所提取的音频指纹以找到与已登记的指纹的匹配。该进程开始后，在步骤200中，指纹分析引擎20从指纹提取引擎18接收所要识别的音频片段的指纹(指纹矩阵X)。指纹分析引擎20然后利用指纹矩阵X调用对指纹数据库26的搜索和检索程序。在这一点上，指纹分析引擎20在步骤202中查询在指纹数据库26中是否还存在指纹需要进行比较。如果回答是NO，则已对数据库中的所有指纹进行了分析而没有找到匹配。在这种情况下，指纹分析引擎在步骤204中返回没有匹配的结果。
另一方面，如果在数据库中还存在没有被分析的指纹，则指纹分析引擎20在步骤206中计算指纹矩阵X与指纹数据库26中的当前指纹(指纹矩阵Y)之间的差。依照本发明的一个实施例，通过如下对指纹矩阵X和Y的每个行向量进行众所周知的欧几里德距离测量D来计算该差：
D = ( x 1 - y 1 ) 2 + ( x 2 - y 2 ) 2 + . . . + ( x m - y m ) 2
其中X1、X2...Xm是指纹矩阵X的行向量的值，Y1、Y2...Ym是指纹矩阵Y的行向量的值。将矩阵的所有行的距离测量相加并依照本发明的一个实施例进行归一化。在步骤208中，确定距离的和是否超过阈值。如果回答是NO，则宣告有匹配。否则，对指纹数据库中的下一个指纹进行检查，以寻找匹配。
依照本发明的一个实施例，如果同时引入现有技术的指纹识别技术，则对利用这些技术生成的时间索引向量进行测量，以求得其与相应的已存储指纹向量的距离，并以适当的常量进行标度。将该距离计算结果添加到在步骤206中计算的距离计算结果中。也可以引入加权因子，以便向利用特定方法进行的距离计算结果赋予更大或更小的权值。然后相对于阈值对总的距离计算结果进行测试，以确定是否实现了匹配。
图4是本发明的一个可选实施例的由指纹分析引擎20执行的进程的流程图，该进程用于分析所提取的音频指纹以找到与已登记的指纹的匹配。依照该实施例，该进程开始后，在步骤300中，指纹分析引擎20从指纹提取引擎18接收所要识别的音频片段的指纹(指纹矩阵X)。如果存在与所提取的指纹相匹配的候选，则指纹分析引擎20在步骤302中调用索引引擎22来识别指纹数据库26中包含该候选的指纹子集的索引。在这一点上，索引引擎22生成所提取的指纹的查询索引。依照本发明的一个实施例，该索引由四个无序的数字组成，并且如果具有与该查询索引相同的任何顺序的三个数字的索引存在于指纹数据库中，则认为已经找到了匹配。
除了将搜索空间限定为由相匹配的索引识别的指纹子集之外，图4的进程的剩余部分以与图3中相同的方式继续进行。
在这一点上，指纹分析引擎20在步骤304中查询在指纹数据库26的被识别的子集中是否还存在指纹要进行比较。如果回答是NO，则指纹分析引擎在步骤306中返回没有匹配的结果。
如果在子集中还存在没有被分析的指纹，则指纹分析引擎20在步骤308中计算指纹矩阵X和该子集中的当前指纹(指纹矩阵Y)之间的差。在步骤310中，确定该差是否超过阈值。如果回答是NO，则宣布有匹配。否则，对被识别的子集中的下一个指纹进行检查以寻找匹配。
图5是本发明一个实施例的由索引引擎22执行的用于向音频片段分配数据库索引的进程的流程图。该数据库索引用于识别指纹数据库26中的指纹子集，以便登记由指纹提取引擎18提取的指纹，或者减少为了找到所提取的指纹的匹配而需要在指纹数据库26检查的候选。
图5所示的进程开始后，在步骤400中，索引引擎22或者独立的傅立叶变换引擎(未示出)计算由预处理器16预处理后的音频片段的FFT等，并获取音频片段的FFT频谱。在步骤402中，索引引擎22自动获取音频片段的音符列表。该音符列表是利用现有技术中存在的任何已知的峰值跟踪算法而获得的。
该峰值跟踪算法生成FFT中的局部峰值轨迹，该轨迹随后由索引引擎对其进行分析，以找出它们的突出部分。在这一点上，索引引擎22在步骤404中确定是否还有轨迹需要检查。如果回答是YES，则在步骤406中该引擎将该轨迹的频率转换为量化了轨迹频率的整数值。依照本发明的一个实施例，这是通过以现有技术中已知的方式将轨迹的频率量化为最接近的MIDI(乐器数字接口)音符编号来实现的。
在步骤408中，基于例如轨迹的强度和持续时间等因素，索引引擎22计算轨迹的突出值。在步骤410中，该引擎将所计算的突出值与轨迹的MIDI音符相关联。在步骤412中，将MIDI音符的突出值累积为突出阵列。该进程返回到步骤404，分析下一个轨迹。
如果不再有轨迹需要检查，则该索引引擎22在步骤414中在突出阵列中选择具有最高的突出值的MIDI音符编号，并将它们作为指纹数据库26中的关联子集的索引输出。依照本发明的一个实施例，四个具有最高的突出值的MIDI音符编号被选为索引。依照本发明的一个实施例，该索引由四个无序的数字组成，其中这些数字是选定的MIDI音符编号，从而使得该索引共具有24种可能的组合。
图6是本发明一个实施例的生成特定音乐类别的标识符的进程的流程图。尽管该图按音乐类别进行了描述，但本领域技术人员应当认识到该进程可以扩展到现有技术中常规的所有类型的音频和音频类别。
该进程开始后，在步骤500中选择属于该音乐类别的音频片段的集合。片段的选择可以是手动的或者是自动的。
在步骤502中，类别识别引擎计算该集合中每个音频片段的指纹。依照本发明的一个实施例，类别识别引擎调用指纹提取引擎18通过SVD操作来计算指纹。除了SVD指纹识别机制，也可以使用其它的指纹识别机制，或者也可以使用其它的指纹识别机制来代替SVD指纹识别机制。
在步骤504中，类别识别引擎24对该集合计算所生成的指纹的平均值。在这一点上，类别识别引擎以现有技术中已知的方式计算被称作类别ID矩阵的矩阵，这使该集合中的所有音频片段的距离测量最小化。
在步骤506中，将由类别ID矩阵表示的、所计算出的指纹的平均值与音乐类别相关联，并且在步骤508中，将其作为标识符连同有关音乐类别的其它信息一起存储在音乐类别数据库28中。这种附加信息可以包括例如属于该类别的音频片段列表、到属于该类别的音频片段的音频指纹的指纹数据库26的链接、以及到属于该类别的音频片段的音频简介向量的链接等。
一旦生成音乐类别的标识符后，就可以进行计算，以确定音频片段距离特定的音乐类别有多远或多近。这例如可以通过计算对音频片段提取的指纹与特定音乐类别的类别ID矩阵之间的距离来实现。
依照本发明的一个实施例，不同的音乐类别用作音频片段的音频简介向量的属性。针对每种属性将距离计算结果存储在音频简介向量中，作为音频片段距离相关联的音乐类别有多远的指示。
图7是本发明一个实施例的具有一个或多个利用了图1的音频指纹识别系统10的设备的计算机网络的示意性框图。该网络包括服务器600，该服务器600通过例如因特网610等公用网络或专用网络连接到一个或多个终端602-608。终端可以是个人电脑602、个人数字助理604、便携式电脑606、无线设备608和/或现有技术中已知的其它类型的固定的或移动的终端。
依照本发明的一个实施例，音频指纹识别系统10驻留在服务器600中。音频指纹识别系统部分也可以驻留在终端602-608中。服务器600和/或终端602-608也可以包括序列号为10/278,636的美国专利申请所公开的音乐简介生成器(profiler)，用于自动分析音频片段并生成音频简介向量。包含在服务器600和/或终端602-608中的一个或多个处理器可以进一步配置根据用户的爱好向他们推荐音频片段的功能性。这样的功能性包括生成/检索用于量化与音频数据库中的音频片段相关联的多种属性的音频简介向量、生成/更新用户优选向量，并且基于用户简介向量从数据库中选择音频片段。
在音频指纹识别系统10的典型使用中，用户评估一首没有与其相关联的描述性信息的歌曲。与评估信息一起传送该首歌曲的指纹，而不是传送用户想要评估的整首歌曲。在这一点上，用户所使用的终端访问服务器600将指纹提取引擎18的实例下载到其存储器(未示出)中。调用所下载的指纹提取引擎18来提取正在被评估的音频片段的指纹。通过因特网610将所提取的指纹传送到服务器600。
一接收到所提取的音频指纹，服务器600就调用指纹分析引擎20，来确定接收到的指纹是否被登记在指纹数据库26中。如果找到了匹配，则服务器检索与指纹相关联的音频简介向量，并利用该向量来更新或生成在序列号为10/278,636的美国专利申请中有进一步详细描述的用户简介向量。然后利用该用户简介向量来向用户推荐其它的歌曲。
如果没有实现匹配，则优选地由终端对音频片段进行分析，以生成在美国专利申请10/278,636中有进一步详细描述的音频简介向量。
依照本发明的一个实施例，终端也可以下载用以确定正在被评估的音频片段所属的指纹子集的索引的索引引擎的实例。然后将索引信息也连同指纹信息一起传送到服务器600，以加快对指纹数据库26的搜索。
尽管以特定的实施例对本发明进行了描述，但在不背离本发明的范围和精神的情况下，本领域技术人员可以容易地对所述的实施例设计各种变更。而且，对于不同技术领域的技术人员来讲，本发明本身将对其它应用的任务和适用给出技术启示。
例如，音频指纹识别系统10具有用于生成音频简介向量的音频片段的识别之外的应用。例如，系统10可用于寻找未知的音乐片段的相关联的描述性数据(元数据)。系统10也可以用于在广播站识别并协议传送音频节目材料，用于确认插播广告的预定传送，保护广播材料的著作权，或者节目材料的统计分析。
本发明的申请人意在通过权利要求来覆盖本发明的所有上述使用以及在不背离本发明的精神和范围的情况下可以对为了公开目的而在此选择的本发明的实施例所做的那些变化和修改。因此，无论从哪方面看，本发明的现有实施例都应当被视为是描述性的而不是限制性的，本发明的范围是由附加的权利要求及其等同物来指示，而不是由以上描述来指示。

Claims (49)

1、一种音频指纹识别方法，包括：
接收与音频片段相关联的音频信号；
获取所述音频信号的多个频率测量；
基于该频率测量构建矩阵A；
对矩阵A执行奇异值分解，其中A＝USVT；
检索矩阵VT的一行或多行；以及
将检索到的矩阵VT的行与音频片段相关联地存储在数据存储器中，其中由应用程序接收包含有检索到的矩阵VT的行的请求，并且基于该请求中的矩阵VT的行来识别并检索存储在数据库中的音频片段的信息。
2、根据权利要求1所述的方法，其中矩阵A的行表示时间，矩阵A的列表示频率测量。
3、根据权利要求1所述的方法，其中所述信息是存储有音频片段的声学分析数据的音频简介向量。
4、根据权利要求3所述的方法，进一步包括基于所述声学分析数据来推荐第二音频片段。
5、根据权利要求3所述的方法，其中所述音频简介向量对所述音频片段与被分类为特定音频类别的音频片段的相似度进行量化。
6、根据权利要求5所述的方法，进一步包括生成所述特定音频类别的标识符，该生成包括：
选择与所述特定音频类别相关联的音频片段；
对每个所选择的音频片段计算第二音频指纹；
计算所述计算出的第二音频指纹的平均值；
将所述计算出的平均值与所述特定音频类别相关联；以及
将所述计算出的平均值作为所述特定音频类别的标识符存储在数据存储器内。
7、根据权利要求6所述的方法，其中所述第二音频指纹的计算包括：
从与所选择的音频片段相关联的特定音频信号中获取多个频率测量；
基于该频率测量构建矩阵A；
对矩阵A执行奇异值分解，其中A＝USVT；
检索矩阵VT的一行或多行；以及
将检索到的矩阵VT的行与所选择的音频片段相关联。
8、根据权利要求7所述的方法，其中矩阵A的行表示时间，矩阵A的列表示频率测量。
9、根据权利要求1所述的方法，进一步包括生成所述音频片段的索引，该生成包括：
自动地从与所述音频片段相关联的音频信号中获取包含在所述音频片段中的音符列表；
从所述音频信号中确定所述音频片段中的音符的突出部分；以及
选择所述音频片段中最突出的音符的预定编号作为索引。
10、根据权利要求9所述的方法，其中将所选择的音符转换为音符编号，并且所述索引包括转换后的音符编号。
11、根据权利要求9所述的方法，其中将存储在所述数据库中的数据组织成一组或多组，其中每组由特定的索引来识别。
12、根据权利要求11所述的方法，其中寻找所述音频片段的信息的数据库搜索限于由所生成的索引识别的组。
13、一种音频索引方法，包括：
接收音频片段的音频信号；
自动地从所述音频信号中获取包含在所述音频片段中的音符列表；
从所述音频信号中确定所述音频片段中的音符的突出部分；
选择所述音频片段中最突出的音符的预定编号；
基于所选择的音符生成索引；以及
基于所生成的索引搜索数据库。
14、根据权利要求13所述的方法，其中将存储在所述数据库中的数据组织成一组或多组，其中每组由特定的索引来识别。
15、根据权利要求14所述的方法，其中对数据库的搜索限于由所生成的索引识别的组。
16、根据权利要求13所述的方法，其中将所选择的音符转换为音符编号，并且该索引包括转换后的音符编号。
17、根据权利要求16所述的方法，其中将存储在所述数据库中的数据组织成一组或多组，其中每组由特定的索引来识别，该方法进一步包括：
将所生成的索引中的转换后的音符编号与包含在用于识别所述数据库中的数据组的索引中的音符编号进行比较；以及
如果用于识别所述组的索引至少包括所生成的索引中音符编号的预定数量，则输出匹配指示。
18、根据权利要求17所述的方法，其中所生成的索引包括四个音符编号，并且如果用于识别所述组的索引包括所述四个音符编号中的至少三个，则输出匹配指示。
19、根据权利要求13所述的方法，其中所述数据库是包括多个音频片段的压缩表示的音频指纹数据库。
20、一种用于生成音频类别的标识符的方法，该方法包括：
选择与所述音频类别相关联的多个音频片段；
对每个所选择的音频片段计算音频指纹；
计算所述计算出的音频指纹的平均值；
将所述计算出的平均值与所述音频类别相关联；以及
将所述计算出的平均值存储在数据存储器中。
21、根据权利要求20所述的方法，其中音频指纹的计算包括：
从与所述音频片段相关联的音频信号中获取多个频率测量；
基于该频率测量构建矩阵A；
对矩阵A执行奇异值分解，其中A＝USVT；
检索矩阵VT的一行或多行；
将检索到的矩阵VT的行与所述音频片段相关联；以及
存储所检索到的矩阵VT的行。
22、根据权利要求21所述的方法，其中矩阵A的行表示时间，矩阵A的列表示所述频率测量。
23、根据权利要求20所述的方法，其中所述音频类别是由特定的管弦乐配乐法或作曲法限定的。
24、一种音频指纹识别系统，包括：
音频文件读取器，读取存储有音频片段的音频文件；
连接到所述音频文件读取器的处理器，该处理器被配置为：
获取与所述音频片段相关联的音频信号的多个频率测量；
基于该频率测量构建矩阵A；
对矩阵A执行奇异值分解，其中A＝USVT；并且
检索矩阵VT的一行或多行；
连接到所述处理器的数据存储器，用于与所述音频片段相关联地存储检索到的矩阵VT的行；以及
存储多个音频片段的信息的数据库，其中由应用程序接收包含有检索到的矩阵VT的行的请求，并且基于该请求中的矩阵VT的行识别并检索存储在所述数据库中的音频片段的信息。
25、根据权利要求24所述的系统，其中矩阵A的行表示时间，矩阵A的列表示频率测量。
26、根据权利要求24所述的系统，其中所述信息是存储有音频片段的声学分析数据的音频简介向量。
27、根据权利要求24所述的系统，其中处理器被进一步配置为基于所述声学分析数据来推荐第二音频片段。
28、根据权利要求26所述的系统，其中所述音频简介向量对所述音频片段与被分类为特定音频类别的音频片段的相似度进行量化。
29、根据权利要求28所述的系统，其中处理器被进一步配置为生成所述特定音频类别的标识符，该生成包括：
选择与所述特定音频类别相关联的音频片段；
对每个所选择的音频片段计算第二音频指纹；
计算所述计算出的第二音频指纹的平均值；
将所述计算出的平均值与所述特定音频类别相关联；以及
将所述计算出的平均值作为所述特定音频类别的标识符存储在数据存储器内。
30、根据权利要求29所述的系统，其中所述第二音频指纹的计算包括：
从与所选择的音频片段相关联的特定音频信号中获取多个频率测量；
基于该频率测量构建矩阵A；
对矩阵A执行奇异值分解，其中A＝USVT；
检索矩阵VT的一行或多行；以及
将检索到的矩阵VT的行与所选择的音频片段相关联。
31、根据权利要求30所述的系统，其中矩阵A的行表示时间，矩阵A的列表示所述频率测量。
32、根据权利要求24所述的系统，其中该处理器被进一步配置为生成所述音频片段的索引，该生成包括：
自动地从与所述音频片段相关联的音频信号中获取包含在所述音频片段中的音符列表；
从所述音频信号中确定所述音频片段中的音符的突出部分；以及
选择所述音频片段中最突出的音符的预定编号作为索引。
33、根据权利要求32所述的系统，其中将所选择的音符转换为音符编号，并且该索引包括转换后的音符编号。
34、根据权利要求32所述的系统，其中将存储在所述数据库中的数据组织成一组或多组，其中每组由特定的索引来识别。
35、根据权利要求34所述的系统，其中寻找所述音频片段的信息的数据库搜索限于由生成的索引识别的组。
36、一种音频索引系统，包括：
接收音频片段的音频信号的装置；
自动地从所述音频信号中获取包含在所述音频片段中的音符列表的装置；
从所述音频信号中确定所述音频片段中的音符的突出部分的装置；
选择所述音频片段中最突出的音符的预定编号的装置；
基于所选择的音符生成索引的装置；以及
基于所生成的索引搜索数据库的装置。
37、根据权利要求36所述的系统，其中将存储在所述数据库中的数据组织成一组或多组，其中每组由特定的索引来识别。
38、根据权利要求37所述的系统，其中对数据库的搜索限于由所生成的索引识别的组。
39、根据权利要求36所述的系统，其中将所选择的音符与音符编号相关联，并且该索引包括音符编号。
40、根据权利要求36所述的系统，其中所述数据库是包括多个音频片段的简洁表示的音频指纹数据库。
41、一种用于生成音频类别的标识符的系统，该系统包括：
针对多个被选择的音频片段中的每一个计算音频指纹的装置；
计算所述计算出的音频指纹的平均值的装置；
使所述计算出的平均值与所述音频类别相关联的装置；以及
将所述计算出的平均值存储在数据存储器中的装置。
42、根据权利要求41所述的系统，其中计算所述音频指纹的装置包括：
从与所述音频片段相关联的音频信号中获取多个频率测量的装置；
基于该频率测量构建矩阵A的装置；
对矩阵A执行奇异值分解的装置，其中A＝USVT；
检索矩阵VT的一行或多行的装置；以及
将检索到的矩阵VT的行与所述音频片段相关联的装置。
43、根据权利要求42所述的系统，其中矩阵A的行表示时间，矩阵A的列表示所述频率测量。
44、根据权利要求41所述的系统，其中所述音频类别是由特定的管弦乐配乐法或作曲法限定的。
45、一种包括计算机可读介质的产品，所述计算机可读介质具有计算机可用的程序代码，所述程序代码包含可执行指令，当执行所述指令时，使计算机执行如下步骤：
获取与音频片段相关联的音频信号的多个频率测量；
基于该频率测量构建矩阵A；
对矩阵A执行奇异值分解，其中A＝USVT；
检索矩阵VT的一行或多行；以及
将检索到矩阵VT的行与音频片段相关联地存储在数据存储器中。
46、根据权利要求45所述的产品，其中矩阵A的行表示时间，矩阵A的列表示所述频率测量。
47、一种包括计算机可读介质的产品，所述计算机可读介质具有计算机可用的程序代码，所述程序代码包含可执行指令，当执行所述指令时，使计算机执行以下步骤：
自动地从音频片段的音频信号中获取包含在所述音频片段中的音符列表；
从所述音频信号中确定所述音频片段中的音符的突出部分；
选择所述音频片段中最突出的音符的预定编号；
基于所选择的音符生成索引；以及
基于所生成的索引搜索数据库。
48、一种实质上如以上参照附图所描述的音频指纹识别系统。
49、一种实质上如以上参照附图所描述的音频指纹识别方法。
CNB2004800267587A 2003-09-23 2004-09-23 音频指纹识别系统和方法 Expired - Fee Related CN100437572C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/668,926 US7013301B2 (en) 2003-09-23 2003-09-23 Audio fingerprinting system and method
US10/668,926 2003-09-23

Publications (2)

Publication Number Publication Date
CN101014953A true CN101014953A (zh) 2007-08-08
CN100437572C CN100437572C (zh) 2008-11-26

Family

ID=34313617

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800267587A Expired - Fee Related CN100437572C (zh) 2003-09-23 2004-09-23 音频指纹识别系统和方法

Country Status (9)

Country Link
US (2) US7013301B2 (zh)
EP (1) EP1671207A4 (zh)
JP (1) JP2007525697A (zh)
KR (1) KR100838674B1 (zh)
CN (1) CN100437572C (zh)
AU (1) AU2004277219B2 (zh)
CA (1) CA2536080A1 (zh)
TW (1) TW200632868A (zh)
WO (1) WO2005031517A2 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533413A (zh) * 2008-03-10 2009-09-16 索尼株式会社 推荐音频的方法
CN101594527B (zh) * 2009-06-30 2011-01-05 成都艾索语音技术有限公司 从音频视频流中高精度检测模板的两阶段方法
CN102214219A (zh) * 2011-06-07 2011-10-12 盛乐信息技术（上海）有限公司 音视频内容检索系统及其方法
CN102422284A (zh) * 2009-03-10 2012-04-18 因特拉松尼克斯有限公司 标记系统
CN101673262B (zh) * 2008-09-12 2012-10-10 未序网络科技（上海）有限公司 音频内容的搜索方法
WO2012163013A1 (zh) * 2011-10-19 2012-12-06 华为技术有限公司 音乐查询方法和装置
CN103250205A (zh) * 2010-12-07 2013-08-14 英派尔科技开发有限公司 用于端到端体验质量测量的音频指纹差
US8560913B2 (en) 2008-05-29 2013-10-15 Intrasonics S.A.R.L. Data embedding system
CN103562913A (zh) * 2011-03-17 2014-02-05 远程媒体有限责任公司 用于媒体文件同步的系统及方法
CN104102729A (zh) * 2008-09-08 2014-10-15 苹果公司 基于相似性数据的播放列表产生系统和方法
CN104125509A (zh) * 2013-04-28 2014-10-29 腾讯科技（深圳）有限公司 节目识别方法、装置及服务器
CN102132341B (zh) * 2008-08-26 2014-11-26 杜比实验室特许公司 鲁棒的媒体指纹
CN104239306A (zh) * 2013-06-08 2014-12-24 华为技术有限公司 多媒体指纹哈希矢量构建方法及其装置
CN104881486A (zh) * 2015-06-05 2015-09-02 腾讯科技（北京）有限公司 一种信息查询方法、终端设备及系统
CN105247854A (zh) * 2013-05-31 2016-01-13 佩克普股份公司 用于将外部设备关联到视频会议会话的方法和系统
CN106474738A (zh) * 2016-11-17 2017-03-08 成都中科创达软件有限公司 一种基于指纹识别的虚拟电子琴弹奏方法及装置
CN106910494A (zh) * 2016-06-28 2017-06-30 阿里巴巴集团控股有限公司 一种音频识别方法和装置
CN107004042A (zh) * 2014-09-02 2017-08-01 皇家飞利浦有限公司 图像指纹识别
CN107430791A (zh) * 2015-09-04 2017-12-01 迈克尔·J·科斯塔比莱 用于在具有多个不同激活信号的环境中远程地起始及停止计时时钟的系统
CN109891404A (zh) * 2016-08-15 2019-06-14 因特拉松尼克斯有限公司 音频匹配
CN112420023A (zh) * 2020-11-26 2021-02-26 杭州音度人工智能有限公司 一种音乐侵权检测方法
CN112494950A (zh) * 2019-08-26 2021-03-16 上海海姆网络科技有限公司 一种网络游戏防沉迷系统及方法
CN115440234A (zh) * 2022-11-08 2022-12-06 合肥工业大学 基于midi和对抗生成网络的音频隐写方法和系统

Families Citing this family (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060026048A1 (en) * 1997-08-08 2006-02-02 Kolawa Adam K Method and apparatus for automated selection, organization, and recommendation of items based on user preference topography
IL127569A0 (en) * 1998-09-16 1999-10-28 Comsense Technologies Ltd Interactive toys
US6607136B1 (en) 1998-09-16 2003-08-19 Beepcard Inc. Physical presence digital authentication system
US7334735B1 (en) 1998-10-02 2008-02-26 Beepcard Ltd. Card for interaction with a computer
US7013301B2 (en) * 2003-09-23 2006-03-14 Predixis Corporation Audio fingerprinting system and method
US20050038819A1 (en) * 2000-04-21 2005-02-17 Hicken Wendell T. Music Recommendation system and method
US8019609B2 (en) 1999-10-04 2011-09-13 Dialware Inc. Sonic/ultrasonic authentication method
US20060217828A1 (en) * 2002-10-23 2006-09-28 Hicken Wendell T Music searching system and method
US8205237B2 (en) 2000-09-14 2012-06-19 Cox Ingemar J Identifying works, using a sub-linear time search, such as an approximate nearest neighbor search, for initiating a work-based action, such as an action on the internet
US8010988B2 (en) * 2000-09-14 2011-08-30 Cox Ingemar J Using features extracted from an audio and/or video work to obtain information about the work
US9219708B2 (en) * 2001-03-22 2015-12-22 DialwareInc. Method and system for remotely authenticating identification devices
AU2002346116A1 (en) * 2001-07-20 2003-03-03 Gracenote, Inc. Automatic identification of sound recordings
US8053659B2 (en) * 2002-10-03 2011-11-08 Polyphonic Human Media Interface, S.L. Music intelligence universe server
BRPI0407870A (pt) * 2003-02-26 2006-03-01 Koninkl Philips Electronics Nv tratamento de silêncio digital na geração de impressão digital de áudio
US7379875B2 (en) * 2003-10-24 2008-05-27 Microsoft Corporation Systems and methods for generating audio thumbnails
US20070071330A1 (en) * 2003-11-18 2007-03-29 Koninklijke Phillips Electronics N.V. Matching data objects by matching derived fingerprints
US8229751B2 (en) * 2004-02-26 2012-07-24 Mediaguide, Inc. Method and apparatus for automatic detection and identification of unidentified Broadcast audio or video signals
KR20060135794A (ko) 2004-02-26 2006-12-29 미디어 가이드, 인코포레이티드 방송 오디오 또는 비디오 프로그래밍 신호의 자동 검출 및식별 방법, 및 장치
US20050215239A1 (en) * 2004-03-26 2005-09-29 Nokia Corporation Feature extraction in a networked portable device
CN1898720B (zh) * 2004-07-09 2012-01-25 日本电信电话株式会社 音响信号检测系统、音响信号检测服务器、影像信号搜索装置、影像信号搜索方法、影像信号搜索程序与记录介质、信号搜索装置、信号搜索方法、及信号搜索程序与记录介质
US20060212149A1 (en) * 2004-08-13 2006-09-21 Hicken Wendell T Distributed system and method for intelligent data analysis
US7623823B2 (en) * 2004-08-31 2009-11-24 Integrated Media Measurement, Inc. Detecting and measuring exposure to media content items
US7777125B2 (en) * 2004-11-19 2010-08-17 Microsoft Corporation Constructing a table of music similarity vectors from a music similarity graph
US20060155754A1 (en) * 2004-12-08 2006-07-13 Steven Lubin Playlist driven automated content transmission and delivery system
US7567899B2 (en) * 2004-12-30 2009-07-28 All Media Guide, Llc Methods and apparatus for audio recognition
US7451078B2 (en) * 2004-12-30 2008-11-11 All Media Guide, Llc Methods and apparatus for identifying media objects
US20070156676A1 (en) * 2005-09-09 2007-07-05 Outland Research, Llc System, Method and Computer Program Product for Intelligent Groupwise Media Selection
US20070189544A1 (en) 2005-01-15 2007-08-16 Outland Research, Llc Ambient sound responsive media player
US20060224798A1 (en) * 2005-02-22 2006-10-05 Klein Mark D Personal music preference determination based on listening behavior
KR20070116853A (ko) * 2005-03-04 2007-12-11 뮤직아이피 코포레이션 플레이리스트를 작성하기 위한 스캔 셔플
DE102005014477A1 (de) * 2005-03-30 2006-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und zum Erzeugen einer Multikanal-Darstellung
US7647128B2 (en) * 2005-04-22 2010-01-12 Microsoft Corporation Methods, computer-readable media, and data structures for building an authoritative database of digital audio identifier elements and identifying media items
US20060242198A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Methods, computer-readable media, and data structures for building an authoritative database of digital audio identifier elements and identifying media items
US7613736B2 (en) * 2005-05-23 2009-11-03 Resonance Media Services, Inc. Sharing music essence in a recommendation system
US20070028262A1 (en) * 2005-07-29 2007-02-01 Zermatt Systems, Inc. Virtual discovery of content available to a device
US20080147557A1 (en) * 2005-10-03 2008-06-19 Sheehy Dennis G Display based purchase opportunity originating from in-store identification of sound recordings
JP5329968B2 (ja) * 2005-11-10 2013-10-30 サウンドハウンド インコーポレイテッド 非テキストベースの情報を記憶し、検索する方法
KR100803206B1 (ko) 2005-11-11 2008-02-14 삼성전자주식회사 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법
KR100725018B1 (ko) * 2005-11-24 2007-06-07 삼성전자주식회사 음악 내용 자동 요약 방법 및 그 장치
JP2007172138A (ja) * 2005-12-20 2007-07-05 Sony Corp コンテンツ再生装置、リスト修正装置、コンテンツ再生方法及びリスト修正方法
US20090006337A1 (en) * 2005-12-30 2009-01-01 Mediaguide, Inc. Method and apparatus for automatic detection and identification of unidentified video signals
KR100774585B1 (ko) * 2006-02-10 2007-11-09 삼성전자주식회사 변조 스펙트럼을 이용한 음악 정보 검색 방법 및 그 장치
EP1826716A1 (en) 2006-02-22 2007-08-29 Sony Deutschland Gmbh Method for updating a user profile
WO2007112111A2 (en) * 2006-03-29 2007-10-04 Packetvideo Corp. System and method for securing content ratings
US8285595B2 (en) 2006-03-29 2012-10-09 Napo Enterprises, Llc System and method for refining media recommendations
US7772478B2 (en) * 2006-04-12 2010-08-10 Massachusetts Institute Of Technology Understanding music
US8549022B1 (en) 2007-07-02 2013-10-01 Datascout, Inc. Fingerprint generation of multimedia content based on a trigger point with the multimedia content
US9020964B1 (en) 2006-04-20 2015-04-28 Pinehill Technology, Llc Generation of fingerprints for multimedia content based on vectors and histograms
US8156132B1 (en) 2007-07-02 2012-04-10 Pinehill Technology, Llc Systems for comparing image fingerprints
US8463000B1 (en) 2007-07-02 2013-06-11 Pinehill Technology, Llc Content identification based on a search of a fingerprint database
US7840540B2 (en) 2006-04-20 2010-11-23 Datascout, Inc. Surrogate hashing
US8903843B2 (en) 2006-06-21 2014-12-02 Napo Enterprises, Llc Historical media recommendation service
US7680959B2 (en) 2006-07-11 2010-03-16 Napo Enterprises, Llc P2P network for providing real time media recommendations
US8327266B2 (en) 2006-07-11 2012-12-04 Napo Enterprises, Llc Graphical user interface system for allowing management of a media item playlist based on a preference scoring system
US8059646B2 (en) 2006-07-11 2011-11-15 Napo Enterprises, Llc System and method for identifying music content in a P2P real time recommendation network
US8805831B2 (en) 2006-07-11 2014-08-12 Napo Enterprises, Llc Scoring and replaying media items
US7970922B2 (en) 2006-07-11 2011-06-28 Napo Enterprises, Llc P2P real time media recommendations
US9003056B2 (en) 2006-07-11 2015-04-07 Napo Enterprises, Llc Maintaining a minimum level of real time media recommendations in the absence of online friends
US8090606B2 (en) 2006-08-08 2012-01-03 Napo Enterprises, Llc Embedded media recommendations
US8620699B2 (en) * 2006-08-08 2013-12-31 Napo Enterprises, Llc Heavy influencer media recommendations
US20080051029A1 (en) * 2006-08-25 2008-02-28 Bradley James Witteman Phone-based broadcast audio identification
US7590035B1 (en) 2006-08-29 2009-09-15 Resonance Media Services, Inc. System and method for generating and using table of content (TOC) prints
KR100784975B1 (ko) 2006-10-09 2007-12-11 삼성전자주식회사 이동통신 단말기의 데이터베이스 운용 방법 및 장치
US8874655B2 (en) * 2006-12-13 2014-10-28 Napo Enterprises, Llc Matching participants in a P2P recommendation network loosely coupled to a subscription service
CN101226526A (zh) * 2007-01-17 2008-07-23 上海怡得网络有限公司 一种基于音乐片段信息查询的音乐搜索方法
US20090070185A1 (en) * 2007-01-17 2009-03-12 Concert Technology Corporation System and method for recommending a digital media subscription service
US7873634B2 (en) * 2007-03-12 2011-01-18 Hitlab Ulc. Method and a system for automatic evaluation of digital files
JP4872751B2 (ja) * 2007-03-29 2012-02-08 ヤマハ株式会社 オーディオ信号配信管理システム、オーディオ信号取得送信装置、オーディオ信号識別出力装置及びオーディオ信号配信装置
US9224427B2 (en) 2007-04-02 2015-12-29 Napo Enterprises LLC Rating media item recommendations using recommendation paths and/or media item usage
US8112720B2 (en) 2007-04-05 2012-02-07 Napo Enterprises, Llc System and method for automatically and graphically associating programmatically-generated media item recommendations related to a user's socially recommended media items
US8280539B2 (en) * 2007-04-06 2012-10-02 The Echo Nest Corporation Method and apparatus for automatically segueing between audio tracks
US8073854B2 (en) * 2007-04-10 2011-12-06 The Echo Nest Corporation Determining the similarity of music using cultural and acoustic information
US7949649B2 (en) * 2007-04-10 2011-05-24 The Echo Nest Corporation Automatically acquiring acoustic and cultural information about music
US10489795B2 (en) 2007-04-23 2019-11-26 The Nielsen Company (Us), Llc Determining relative effectiveness of media content items
US20080300702A1 (en) * 2007-05-29 2008-12-04 Universitat Pompeu Fabra Music similarity systems and methods using descriptors
US9037632B2 (en) 2007-06-01 2015-05-19 Napo Enterprises, Llc System and method of generating a media item recommendation message with recommender presence information
US20080301187A1 (en) * 2007-06-01 2008-12-04 Concert Technology Corporation Enhanced media item playlist comprising presence information
US8285776B2 (en) 2007-06-01 2012-10-09 Napo Enterprises, Llc System and method for processing a received media item recommendation message comprising recommender presence information
US8839141B2 (en) * 2007-06-01 2014-09-16 Napo Enterprises, Llc Method and system for visually indicating a replay status of media items on a media device
US9164993B2 (en) 2007-06-01 2015-10-20 Napo Enterprises, Llc System and method for propagating a media item recommendation message comprising recommender presence information
US20090049045A1 (en) 2007-06-01 2009-02-19 Concert Technology Corporation Method and system for sorting media items in a playlist on a media device
KR100916310B1 (ko) * 2007-06-05 2009-09-10 주식회사 코난테크놀로지 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법
EP2168061A1 (en) * 2007-06-06 2010-03-31 Dolby Laboratories Licensing Corporation Improving audio/video fingerprint search accuracy using multiple search combining
US8140331B2 (en) * 2007-07-06 2012-03-20 Xia Lou Feature extraction for identification and classification of audio signals
WO2009018171A1 (en) 2007-07-27 2009-02-05 Synergy Sports Technology, Llc Systems and methods for generating bookmark video fingerprints
US9996612B2 (en) * 2007-08-08 2018-06-12 Sony Corporation System and method for audio identification and metadata retrieval
US20090049030A1 (en) * 2007-08-13 2009-02-19 Concert Technology Corporation System and method for reducing the multiple listing of a media item in a playlist
US8407230B2 (en) * 2007-08-13 2013-03-26 Yahoo! Inc. System and method for identifying similar media objects
JP5341095B2 (ja) * 2007-10-05 2013-11-13 ドルビー ラボラトリーズ ライセンシング コーポレイション メディア・コンテンツに信頼性よく対応するメディア・フィンガープリント
WO2009059300A2 (en) * 2007-11-02 2009-05-07 Melodis Corporation Pitch selection, voicing detection and vibrato detection modules in a system for automatic transcription of sung or hummed melodies
US7865522B2 (en) 2007-11-07 2011-01-04 Napo Enterprises, Llc System and method for hyping media recommendations in a media recommendation system
US9060034B2 (en) 2007-11-09 2015-06-16 Napo Enterprises, Llc System and method of filtering recommenders in a media item recommendation system
US9224150B2 (en) 2007-12-18 2015-12-29 Napo Enterprises, Llc Identifying highly valued recommendations of users in a media recommendation network
US9734507B2 (en) 2007-12-20 2017-08-15 Napo Enterprise, Llc Method and system for simulating recommendations in a social network for an offline user
US8396951B2 (en) 2007-12-20 2013-03-12 Napo Enterprises, Llc Method and system for populating a content repository for an internet radio service based on a recommendation network
US8117193B2 (en) 2007-12-21 2012-02-14 Lemi Technology, Llc Tunersphere
US8316015B2 (en) 2007-12-21 2012-11-20 Lemi Technology, Llc Tunersphere
US8060525B2 (en) * 2007-12-21 2011-11-15 Napo Enterprises, Llc Method and system for generating media recommendations in a distributed environment based on tagging play history information with location information
US20100023499A1 (en) * 2007-12-24 2010-01-28 Brian David Johnson System and method for a content fingerprint filter
US8776244B2 (en) * 2007-12-24 2014-07-08 Intel Corporation System and method for the generation of a content fingerprint for content identification
US8084677B2 (en) * 2007-12-31 2011-12-27 Orpheus Media Research, Llc System and method for adaptive melodic segmentation and motivic identification
WO2009085054A1 (en) * 2007-12-31 2009-07-09 Orpheus Media Research, Llc System and method for adaptive melodic segmentation and motivic identification
WO2009093867A2 (en) 2008-01-23 2009-07-30 Lg Electronics Inc. A method and an apparatus for processing audio signal
WO2009093866A2 (en) * 2008-01-23 2009-07-30 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8725740B2 (en) * 2008-03-24 2014-05-13 Napo Enterprises, Llc Active playlist having dynamic media item groups
US8484311B2 (en) 2008-04-17 2013-07-09 Eloy Technology, Llc Pruning an aggregate media collection
US8275177B2 (en) * 2008-05-23 2012-09-25 Oracle America, Inc. System and method for media fingerprint indexing
US20090307084A1 (en) * 2008-06-10 2009-12-10 Integrated Media Measurement, Inc. Measuring Exposure To Media Across Multiple Media Delivery Mechanisms
US20090307061A1 (en) * 2008-06-10 2009-12-10 Integrated Media Measurement, Inc. Measuring Exposure To Media
US20100057527A1 (en) * 2008-08-29 2010-03-04 Disney Enterprises, Inc. System and method for personalized action based on a comparison of delivered content with a content fingerprint database
US20100070537A1 (en) * 2008-09-17 2010-03-18 Eloy Technology, Llc System and method for managing a personalized universal catalog of media items
US8484227B2 (en) 2008-10-15 2013-07-09 Eloy Technology, Llc Caching and synching process for a media sharing system
US8880599B2 (en) * 2008-10-15 2014-11-04 Eloy Technology, Llc Collection digest for a media sharing system
CN101394604B (zh) * 2008-10-20 2011-09-28 中国移动通信集团北京有限公司 一种多媒体消息的识别方法和系统
US8977974B2 (en) 2008-12-08 2015-03-10 Apple Inc. Ambient noise based augmentation of media playback
US8200602B2 (en) 2009-02-02 2012-06-12 Napo Enterprises, Llc System and method for creating thematic listening experiences in a networked peer media recommendation environment
US20100205222A1 (en) * 2009-02-10 2010-08-12 Tom Gajdos Music profiling
WO2010129630A1 (en) * 2009-05-08 2010-11-11 Dolby Laboratories Licensing Corporation Storing and searching fingerprints derived from media content based on a classification of the media content
WO2010138776A2 (en) * 2009-05-27 2010-12-02 Spot411 Technologies, Inc. Audio-based synchronization to media
US8489774B2 (en) 2009-05-27 2013-07-16 Spot411 Technologies, Inc. Synchronized delivery of interactive content
US8620967B2 (en) * 2009-06-11 2013-12-31 Rovi Technologies Corporation Managing metadata for occurrences of a recording
US20110063503A1 (en) * 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
US20110041154A1 (en) * 2009-08-14 2011-02-17 All Media Guide, Llc Content Recognition and Synchronization on a Television or Consumer Electronics Device
US8161071B2 (en) 2009-09-30 2012-04-17 United Video Properties, Inc. Systems and methods for audio asset storage and management
US20110078020A1 (en) * 2009-09-30 2011-03-31 Lajoie Dan Systems and methods for identifying popular audio assets
US8677400B2 (en) * 2009-09-30 2014-03-18 United Video Properties, Inc. Systems and methods for identifying audio content using an interactive media guidance application
US8321394B2 (en) * 2009-11-10 2012-11-27 Rovi Technologies Corporation Matching a fingerprint
US8886531B2 (en) * 2010-01-13 2014-11-11 Rovi Technologies Corporation Apparatus and method for generating an audio fingerprint and using a two-stage query
US20110173185A1 (en) * 2010-01-13 2011-07-14 Rovi Technologies Corporation Multi-stage lookup for rolling audio recognition
US8855101B2 (en) * 2010-03-09 2014-10-07 The Nielsen Company (Us), Llc Methods, systems, and apparatus to synchronize actions of audio source monitors
US10216786B2 (en) * 2010-05-13 2019-02-26 Iomniscient Pty Ltd. Automatic identity enrolment
US8542869B2 (en) * 2010-06-02 2013-09-24 Dolby Laboratories Licensing Corporation Projection based hashing that balances robustness and sensitivity of media fingerprints
US8584198B2 (en) * 2010-11-12 2013-11-12 Google Inc. Syndication including melody recognition and opt out
WO2012091938A1 (en) 2010-12-30 2012-07-05 Dolby Laboratories Licensing Corporation Ranking representative segments in media data
CN102622353B (zh) * 2011-01-27 2013-10-16 天脉聚源(北京)传媒科技有限公司 一种固定音频检索方法
US9093120B2 (en) 2011-02-10 2015-07-28 Yahoo! Inc. Audio fingerprint extraction by scaling in time and resampling
US8589171B2 (en) 2011-03-17 2013-11-19 Remote Media, Llc System and method for custom marking a media file for file matching
US8478719B2 (en) 2011-03-17 2013-07-02 Remote Media LLC System and method for media file synchronization
JP5333517B2 (ja) * 2011-05-26 2013-11-06 ヤマハ株式会社 データ処理装置およびプログラム
US8805560B1 (en) 2011-10-18 2014-08-12 Google Inc. Noise based interest point density pruning
US9015109B2 (en) 2011-11-01 2015-04-21 Lemi Technology, Llc Systems, methods, and computer readable media for maintaining recommendations in a media recommendation system
US8492633B2 (en) 2011-12-02 2013-07-23 The Echo Nest Corporation Musical fingerprinting
US8586847B2 (en) * 2011-12-02 2013-11-19 The Echo Nest Corporation Musical fingerprinting based on onset intervals
US8949872B2 (en) * 2011-12-20 2015-02-03 Yahoo! Inc. Audio fingerprint for content identification
CN103294696B (zh) * 2012-02-27 2018-01-19 上海果壳电子有限公司 音视频内容检索方法及系统
KR101407334B1 (ko) * 2012-04-13 2014-06-16 주식회사 네오위즈인터넷 음원 서비스를 제공하는 방법, 단말 및 서버
US9052986B1 (en) * 2012-04-18 2015-06-09 Google Inc. Pitch shift resistant audio matching
US9703932B2 (en) * 2012-04-30 2017-07-11 Excalibur Ip, Llc Continuous content identification of broadcast content
US9235867B2 (en) * 2012-06-04 2016-01-12 Microsoft Technology Licensing, Llc Concurrent media delivery
US8938089B1 (en) * 2012-06-26 2015-01-20 Google Inc. Detection of inactive broadcasts during live stream ingestion
WO2014002064A1 (en) 2012-06-29 2014-01-03 Ecole Polytechnique Federale De Lausanne (Epfl) System and method for media library navigation and recommendation
EP2731030A1 (en) * 2012-11-13 2014-05-14 Samsung Electronics Co., Ltd Music information searching method and apparatus thereof
US9159327B1 (en) * 2012-12-20 2015-10-13 Google Inc. System and method for adding pitch shift resistance to an audio fingerprint
US9529907B2 (en) * 2012-12-31 2016-12-27 Google Inc. Hold back and real time ranking of results in a streaming matching system
KR101369475B1 (ko) 2013-01-23 2014-03-06 (주)엔써즈 방송 시청률 조사 시스템 및 방법
US9679583B2 (en) 2013-03-15 2017-06-13 Facebook, Inc. Managing silence in audio signal identification
CN103440313B (zh) * 2013-08-27 2018-10-16 复旦大学 基于音频指纹特征的音乐检索系统
US9325646B2 (en) 2013-10-28 2016-04-26 Verizon Patent And Licensing Inc. Providing contextual messages relating to currently accessed content
WO2015100430A1 (en) 2013-12-24 2015-07-02 Digimarc Corporation Methods and system for cue detection from audio input, low-power data processing and related arrangements
US9590755B2 (en) 2014-05-16 2017-03-07 Alphonso Inc. Efficient apparatus and method for audio signature generation using audio threshold
US20160005410A1 (en) * 2014-07-07 2016-01-07 Serguei Parilov System, apparatus, and method for audio fingerprinting and database searching for audio identification
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
US9516466B2 (en) 2014-12-15 2016-12-06 Google Inc. Establishing presence by identifying audio sample and position
US9940948B2 (en) * 2015-08-02 2018-04-10 Resonance Software Llc Systems and methods for enabling information exchanges between devices
US9928840B2 (en) 2015-10-16 2018-03-27 Google Llc Hotword recognition
US9747926B2 (en) 2015-10-16 2017-08-29 Google Inc. Hotword recognition
JP6463710B2 (ja) 2015-10-16 2019-02-06 グーグル エルエルシー ホットワード認識
EP3369093A4 (en) 2015-10-27 2019-07-17 Zalon, Zack J. AUDIO CONTENTS, AUDIOSISQUENCING, AUDIO SYSTEM AND METHOD
KR101661666B1 (ko) 2015-11-20 2016-09-30 광운대학교 산학협력단 하이브리드 오디오 핑거프린팅 장치 및 방법
US9973521B2 (en) 2015-12-28 2018-05-15 International Business Machines Corporation System and method for field extraction of data contained within a log stream
WO2017119604A1 (ko) * 2016-01-08 2017-07-13 주식회사 아이플래테아 시청률 산출 서버, 시청률 산출 방법, 및 시청률 산출 리모트 장치
EP3476121B1 (en) 2016-06-22 2022-03-30 Gracenote, Inc. Matching audio fingerprints
TWI584139B (zh) * 2016-09-09 2017-05-21 Speech recognition system and its information processing method applied to non - real - time signal source
US9854418B1 (en) 2016-09-15 2017-12-26 International Business Machines Corporation Automatic friend connection within a social network
US9934785B1 (en) 2016-11-30 2018-04-03 Spotify Ab Identification of taste attributes from an audio signal
US11157553B2 (en) 2017-05-25 2021-10-26 J.W. Pepper & Son, Inc. Sheet music search and discovery system
US10445366B2 (en) * 2017-07-17 2019-10-15 Jaap Dekkinga Methods and systems for saving a URL on a device
EP3474556A1 (en) 2017-10-23 2019-04-24 Advanced Digital Broadcast S.A. System and method for automatic adjustment of scheduled recording time
EP3474561A1 (en) 2017-10-23 2019-04-24 Advanced Digital Broadcast S.A. System and method for automatic adjustment of scheduled recording time
EP3477956A1 (en) 2017-10-31 2019-05-01 Advanced Digital Broadcast S.A. System and method for automatic categorization of audio/video content
US11032580B2 (en) 2017-12-18 2021-06-08 Dish Network L.L.C. Systems and methods for facilitating a personalized viewing experience
US10365885B1 (en) * 2018-02-21 2019-07-30 Sling Media Pvt. Ltd. Systems and methods for composition of audio content from multi-object audio
GB2578082A (en) * 2018-05-23 2020-04-22 Zoo Digital Ltd Comparing Audiovisual Products
US20220019618A1 (en) * 2020-07-15 2022-01-20 Pavan Kumar Dronamraju Automatically converting and storing of input audio stream into an indexed collection of rhythmic nodal structure, using the same format for matching and effective retrieval
US11508395B1 (en) * 2021-05-03 2022-11-22 Dell Products, L.P. Intelligent selection of audio signatures based upon contextual information to perform management actions

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US608455A (en) * 1898-08-02 Combined meat saw
DE3511832C2 (de) 1985-03-30 1995-02-16 Felix Johannes Dipl I Overbeck Einrichtung für die Informationsvermittlung
US5644727A (en) * 1987-04-15 1997-07-01 Proprietary Financial Products, Inc. System for the operation and management of one or more financial accounts through the use of a digital communication and computation system for exchange, investment and borrowing
US4996642A (en) 1987-10-01 1991-02-26 Neonics, Inc. System and method for recommending items
US5124911A (en) * 1988-04-15 1992-06-23 Image Engineering, Inc. Method of evaluating consumer choice through concept testing for the marketing and development of consumer products
US5233520A (en) 1990-12-19 1993-08-03 The United States Of America As Represented By The Secretary Of Agriculture Method and system for measurement of intake of foods, nutrients and other food components in the diet
US5210611A (en) * 1991-08-12 1993-05-11 Keen Y. Yee Automatic tuning radio/TV using filtered seek
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US5832446A (en) 1993-03-31 1998-11-03 Cornell Research Foundation, Inc. Interactive database method and system for food and beverage preparation
US5812937B1 (en) * 1993-04-08 2000-09-19 Digital Dj Inc Broadcast data system with multiple-tuner receiver
US5899502A (en) 1993-07-07 1999-05-04 Del Giorno; Joseph Method of making individualized restaurant menus
US5583763A (en) 1993-09-09 1996-12-10 Mni Interactive Method and apparatus for recommending selections based on preferences in a multi-user system
US5412564A (en) * 1994-02-03 1995-05-02 Ecer; Gunes M. System and method for diet control
US5724567A (en) 1994-04-25 1998-03-03 Apple Computer, Inc. System for directing relevance-ranked data objects to computer users
JP3246214B2 (ja) 1994-08-24 2002-01-15 松下電器産業株式会社 誘導加熱調理器
JP3121500B2 (ja) 1994-08-25 2000-12-25 株式会社日本食システム研究所 病院用献立作成システムおよび病院用献立作成方法
JP2897659B2 (ja) * 1994-10-31 1999-05-31 ヤマハ株式会社 カラオケ装置
US5758257A (en) 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
JP3360705B2 (ja) * 1994-12-21 2002-12-24 ソニー株式会社 放送受信装置および放送受信方法
US5749081A (en) 1995-04-06 1998-05-05 Firefly Network, Inc. System and method for recommending items to a user
US6046021A (en) 1995-04-12 2000-04-04 Biolog, Inc. Comparative phenotype analysis of two or more microorganisms using a plurality of substrates within a multiwell testing device
US5616876A (en) * 1995-04-19 1997-04-01 Microsoft Corporation System and methods for selecting music on the basis of subjective content
US6112186A (en) 1995-06-30 2000-08-29 Microsoft Corporation Distributed system for facilitating exchange of user information and opinion using automated collaborative filtering
US6041311A (en) * 1995-06-30 2000-03-21 Microsoft Corporation Method and apparatus for item recommendation using automated collaborative filtering
IL118580A0 (en) 1995-06-30 1996-10-16 Massachusetts Inst Technology Method and apparatus for item recommendation using automated collaborative filtering
US5978766A (en) 1995-12-20 1999-11-02 Starwave Corporation Machine, method and medium for assisted selection of information from a choice space
US5859414A (en) * 1995-12-29 1999-01-12 Aironet Wireless Communications, Inc. Interactive customer information terminal
US5960440A (en) 1996-01-16 1999-09-28 Brother International Corporation Kitchen information and database management method and apparatus
US5872850A (en) * 1996-02-02 1999-02-16 Microsoft Corporation System for enabling information marketplace
US5704017A (en) 1996-02-16 1997-12-30 Microsoft Corporation Collaborative filtering utilizing a belief network
US5790426A (en) 1996-04-30 1998-08-04 Athenium L.L.C. Automated collaborative filtering system
US5954640A (en) * 1996-06-27 1999-09-21 Szabo; Andrew J. Nutritional optimization method
US6092105A (en) 1996-07-12 2000-07-18 Intraware, Inc. System and method for vending retail software and other sets of information to end users
US5918223A (en) * 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
US5979757A (en) 1996-09-05 1999-11-09 Symbol Technologies, Inc. Method and system for presenting item information using a portable data terminal
US6148094A (en) * 1996-09-30 2000-11-14 David J. Kinsella Pointing device with biometric sensor
US6088455A (en) 1997-01-07 2000-07-11 Logan; James D. Methods and apparatus for selectively reproducing segments of broadcast programming
US5963948A (en) 1996-11-15 1999-10-05 Shilcrat; Esther Dina Method for generating a path in an arbitrary physical structure
US6012051A (en) 1997-02-06 2000-01-04 America Online, Inc. Consumer profiling system with analytic decision processor
US6823225B1 (en) 1997-02-12 2004-11-23 Im Networks, Inc. Apparatus for distributing and playing audio information
JPH10326289A (ja) 1997-03-28 1998-12-08 Nippon Telegr & Teleph Corp <Ntt> 情報提供方法、システムおよびそのプログラムを格納した記憶媒体
US5987525A (en) * 1997-04-15 1999-11-16 Cddb, Inc. Network delivery of interactive entertainment synchronized to playback of audio recordings
US20060026048A1 (en) * 1997-08-08 2006-02-02 Kolawa Adam K Method and apparatus for automated selection, organization, and recommendation of items based on user preference topography
US6370513B1 (en) 1997-08-08 2002-04-09 Parasoft Corporation Method and apparatus for automated selection, organization, and recommendation of items
US6236974B1 (en) 1997-08-08 2001-05-22 Parasoft Corporation Method and apparatus for automated selection and organization of products including menus
US6236978B1 (en) * 1997-11-14 2001-05-22 New York University System and method for dynamic profiling of users in one-to-one applications
US6009392A (en) * 1998-01-15 1999-12-28 International Business Machines Corporation Training speech recognition by matching audio segment frequency of occurrence with frequency of words and letter combinations in a corpus
US6018738A (en) 1998-01-22 2000-01-25 Microsft Corporation Methods and apparatus for matching entities and for predicting an attribute of an entity based on an attribute frequency value
US6953886B1 (en) * 1998-06-17 2005-10-11 Looney Productions, Llc Media organizer and entertainment center
US5969283A (en) * 1998-06-17 1999-10-19 Looney Productions, Llc Music organizer and entertainment center
US6358546B1 (en) * 1999-01-15 2002-03-19 Ralston Purina Company Methods for customizing pet food
US20050038819A1 (en) * 2000-04-21 2005-02-17 Hicken Wendell T. Music Recommendation system and method
US7013301B2 (en) 2003-09-23 2006-03-14 Predixis Corporation Audio fingerprinting system and method
US20010044719A1 (en) * 1999-07-02 2001-11-22 Mitsubishi Electric Research Laboratories, Inc. Method and system for recognizing, indexing, and searching acoustic signals
US20060242665A1 (en) * 1999-07-20 2006-10-26 United Video Properties, Inc. Interactive television program guide systems with initial channel tuning
US6941275B1 (en) * 1999-10-07 2005-09-06 Remi Swierczek Music identification system
US7022905B1 (en) * 1999-10-18 2006-04-04 Microsoft Corporation Classification of information and use of classifications in searching and retrieval of information
US6192340B1 (en) * 1999-10-19 2001-02-20 Max Abecassis Integration of music from a personal library with real-time information
US6961430B1 (en) * 1999-11-10 2005-11-01 The Directv Group, Inc. Method and apparatus for background caching of encrypted programming data for later playback
US7743092B2 (en) * 1999-11-12 2010-06-22 Wood Lawson A Method for recognizing and distributing music
US6288319B1 (en) * 1999-12-02 2001-09-11 Gary Catona Electronic greeting card with a custom audio mix
US7010485B1 (en) * 2000-02-03 2006-03-07 International Business Machines Corporation Method and system of audio file searching
US6442517B1 (en) * 2000-02-18 2002-08-27 First International Digital, Inc. Methods and system for encoding an audio sequence with synchronized data and outputting the same
US6721489B1 (en) * 2000-03-08 2004-04-13 Phatnoise, Inc. Play list manager
US6539395B1 (en) * 2000-03-22 2003-03-25 Mood Logic, Inc. Method for creating a database for comparing music
US20010053944A1 (en) * 2000-03-31 2001-12-20 Marks Michael B. Audio internet navigation system
US6453252B1 (en) * 2000-05-15 2002-09-17 Creative Technology Ltd. Process for identifying audio content
AU2001270953A1 (en) 2000-06-29 2002-01-08 Musicgenome.Com Inc. System and method for prediction of musical preferences
US7075000B2 (en) * 2000-06-29 2006-07-11 Musicgenome.Com Inc. System and method for prediction of musical preferences
US6963975B1 (en) * 2000-08-11 2005-11-08 Microsoft Corporation System and method for audio fingerprinting
US6657117B2 (en) * 2000-07-14 2003-12-02 Microsoft Corporation System and methods for providing automatic classification of media entities according to tempo properties
JP2002132278A (ja) 2000-07-19 2002-05-09 Chii-Shin Chan 旋律信号を通して歌を検索するための方法
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US6671550B2 (en) * 2000-09-20 2003-12-30 Medtronic, Inc. System and method for determining location and tissue contact of an implantable medical device within a body
US6697779B1 (en) * 2000-09-29 2004-02-24 Apple Computer, Inc. Combined dual spectral and temporal alignment method for user authentication by voice
FI20002161A (fi) * 2000-09-29 2002-03-30 Nokia Mobile Phones Ltd Menetelmä ja järjestelmä melodian tunnistamiseksi
US6512837B1 (en) * 2000-10-11 2003-01-28 Digimarc Corporation Watermarks carrying content dependent signal metrics for detecting and characterizing signal alteration
US7031980B2 (en) * 2000-11-02 2006-04-18 Hewlett-Packard Development Company, L.P. Music similarity function based on signal analysis
DE10058811A1 (de) * 2000-11-27 2002-06-13 Philips Corp Intellectual Pty Verfahren zur Identifizierung von Musikstücken
KR100893797B1 (ko) * 2000-12-07 2009-04-20 소니 가부시끼 가이샤 콘텐츠 검색 장치 및 방법과 통신 시스템 및 방법
US7844666B2 (en) * 2000-12-12 2010-11-30 Microsoft Corporation Controls and displays for acquiring preferences, inspecting behavior, and guiding the learning and decision policies of an adaptive communications prioritization and routing system
US6961550B2 (en) * 2000-12-12 2005-11-01 International Business Machines Corporation Radio receiver that changes function according to the output of an internal voice-only detector
US6725102B2 (en) * 2001-02-14 2004-04-20 Kinpo Electronics Inc. Automatic operation system and a method of operating the same
CA2742644C (en) * 2001-02-20 2016-04-12 Caron S. Ellis Multiple radio signal processing and storing method and apparatus
EP1244093B1 (en) * 2001-03-22 2010-10-06 Panasonic Corporation Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus and methods and programs for implementing the same
US7003515B1 (en) * 2001-05-16 2006-02-21 Pandora Media, Inc. Consumer item matching method and system
AU2002346116A1 (en) * 2001-07-20 2003-03-03 Gracenote, Inc. Automatic identification of sound recordings
US20030072463A1 (en) * 2001-10-17 2003-04-17 E-Lead Electronic Co., Ltd. Sound-activated song selection broadcasting apparatus
JP4088749B2 (ja) * 2001-11-09 2008-05-21 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
US6995309B2 (en) * 2001-12-06 2006-02-07 Hewlett-Packard Development Company, L.P. System and method for music identification
US6941324B2 (en) * 2002-03-21 2005-09-06 Microsoft Corporation Methods and systems for processing playlists
US6933432B2 (en) * 2002-03-28 2005-08-23 Koninklijke Philips Electronics N.V. Media player with “DJ” mode
US6967275B2 (en) * 2002-06-25 2005-11-22 Irobot Corporation Song-matching system and method
US6996390B2 (en) * 2002-06-26 2006-02-07 Microsoft Corporation Smart car radio
US7081579B2 (en) * 2002-10-03 2006-07-25 Polyphonic Human Media Interface, S.L. Method and system for music recommendation
US7650589B2 (en) * 2003-08-15 2010-01-19 National Instruments Corporation Signal analysis function blocks and method of use

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533413A (zh) * 2008-03-10 2009-09-16 索尼株式会社 推荐音频的方法
CN101533413B (zh) * 2008-03-10 2016-04-27 索尼株式会社 推荐音频的方法
US8560913B2 (en) 2008-05-29 2013-10-15 Intrasonics S.A.R.L. Data embedding system
CN102132341B (zh) * 2008-08-26 2014-11-26 杜比实验室特许公司 鲁棒的媒体指纹
CN104102729B (zh) * 2008-09-08 2018-03-16 苹果公司 基于相似性数据的播放列表产生系统和方法
CN104102729A (zh) * 2008-09-08 2014-10-15 苹果公司 基于相似性数据的播放列表产生系统和方法
CN101673262B (zh) * 2008-09-12 2012-10-10 未序网络科技（上海）有限公司 音频内容的搜索方法
CN102422284A (zh) * 2009-03-10 2012-04-18 因特拉松尼克斯有限公司 标记系统
CN102422284B (zh) * 2009-03-10 2015-07-15 因特拉松尼克斯有限公司 标记系统
CN101594527B (zh) * 2009-06-30 2011-01-05 成都艾索语音技术有限公司 从音频视频流中高精度检测模板的两阶段方法
CN103250205B (zh) * 2010-12-07 2017-05-10 英派尔科技开发有限公司 用于端到端体验质量测量的音频指纹差
CN103250205A (zh) * 2010-12-07 2013-08-14 英派尔科技开发有限公司 用于端到端体验质量测量的音频指纹差
US9218820B2 (en) 2010-12-07 2015-12-22 Empire Technology Development Llc Audio fingerprint differences for end-to-end quality of experience measurement
CN103562913A (zh) * 2011-03-17 2014-02-05 远程媒体有限责任公司 用于媒体文件同步的系统及方法
CN102214219B (zh) * 2011-06-07 2013-04-17 盛乐信息技术（上海）有限公司 音视频内容检索系统及其方法
CN102214219A (zh) * 2011-06-07 2011-10-12 盛乐信息技术（上海）有限公司 音视频内容检索系统及其方法
WO2012163013A1 (zh) * 2011-10-19 2012-12-06 华为技术有限公司 音乐查询方法和装置
CN104125509B (zh) * 2013-04-28 2015-09-30 腾讯科技（深圳）有限公司 节目识别方法、装置及服务器
CN104125509A (zh) * 2013-04-28 2014-10-29 腾讯科技（深圳）有限公司 节目识别方法、装置及服务器
US9268846B2 (en) 2013-04-28 2016-02-23 Tencent Technology (Shenzhen) Company Limited Systems and methods for program identification
CN105247854A (zh) * 2013-05-31 2016-01-13 佩克普股份公司 用于将外部设备关联到视频会议会话的方法和系统
CN104239306A (zh) * 2013-06-08 2014-12-24 华为技术有限公司 多媒体指纹哈希矢量构建方法及其装置
CN107004042A (zh) * 2014-09-02 2017-08-01 皇家飞利浦有限公司 图像指纹识别
CN104881486A (zh) * 2015-06-05 2015-09-02 腾讯科技（北京）有限公司 一种信息查询方法、终端设备及系统
WO2016192506A1 (zh) * 2015-06-05 2016-12-08 腾讯科技（深圳）有限公司 一种信息查询方法、终端设备、系统及计算机存储介质
CN107430791A (zh) * 2015-09-04 2017-12-01 迈克尔·J·科斯塔比莱 用于在具有多个不同激活信号的环境中远程地起始及停止计时时钟的系统
CN106910494A (zh) * 2016-06-28 2017-06-30 阿里巴巴集团控股有限公司 一种音频识别方法和装置
CN106910494B (zh) * 2016-06-28 2020-11-13 创新先进技术有限公司 一种音频识别方法和装置
US10910000B2 (en) 2016-06-28 2021-02-02 Advanced New Technologies Co., Ltd. Method and device for audio recognition using a voting matrix
US11133022B2 (en) 2016-06-28 2021-09-28 Advanced New Technologies Co., Ltd. Method and device for audio recognition using sample audio and a voting matrix
CN109891404A (zh) * 2016-08-15 2019-06-14 因特拉松尼克斯有限公司 音频匹配
CN109891404B (zh) * 2016-08-15 2023-10-24 因特拉松尼克斯有限公司 音频匹配
CN106474738A (zh) * 2016-11-17 2017-03-08 成都中科创达软件有限公司 一种基于指纹识别的虚拟电子琴弹奏方法及装置
CN112494950A (zh) * 2019-08-26 2021-03-16 上海海姆网络科技有限公司 一种网络游戏防沉迷系统及方法
CN112420023A (zh) * 2020-11-26 2021-02-26 杭州音度人工智能有限公司 一种音乐侵权检测方法
CN112420023B (zh) * 2020-11-26 2022-03-25 杭州音度人工智能有限公司 一种音乐侵权检测方法
CN115440234A (zh) * 2022-11-08 2022-12-06 合肥工业大学 基于midi和对抗生成网络的音频隐写方法和系统

Also Published As

Publication number Publication date
EP1671207A2 (en) 2006-06-21
AU2004277219B2 (en) 2009-07-16
KR100838674B1 (ko) 2008-06-16
WO2005031517A3 (en) 2006-08-31
US7013301B2 (en) 2006-03-14
US20060190450A1 (en) 2006-08-24
TW200632868A (en) 2006-09-16
AU2004277219A1 (en) 2005-04-07
US7487180B2 (en) 2009-02-03
CA2536080A1 (en) 2005-04-07
US20050065976A1 (en) 2005-03-24
WO2005031517A2 (en) 2005-04-07
JP2007525697A (ja) 2007-09-06
CN100437572C (zh) 2008-11-26
KR20060095988A (ko) 2006-09-05
EP1671207A4 (en) 2008-12-17

Similar Documents

Publication Publication Date Title
CN100437572C (zh) 音频指纹识别系统和方法
US10497378B2 (en) Systems and methods for recognizing sound and music signals in high noise and distortion
CN100454298C (zh) 旋律数据库搜索
CN102959624B (zh) 用于音频媒体识别的系统和方法
CN101292280A (zh) 导出音频输入信号的一个特征集的方法
RU2427909C2 (ru) Способ формирования отпечатка для звукового сигнала
CN100538701C (zh) 用于从媒体样本辨认媒体实体的方法
Gurjar et al. Comparative Analysis of Music Similarity Measures in Music Information Retrieval Systems.
US20040158437A1 (en) Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal
Leu et al. Design and implementation of a fixed-mobile convergent music search engine (FMC-MUSE)
CN112445930A (zh) 评估电子文件的相似性

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: RESONANCE MEDIA SERVICE CORPORATION

Free format text: FORMER OWNER: MUSIC IP COMPANY

Effective date: 20090612

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20090612

Address after: American California

Patentee after: Predixis Corp.

Address before: American California

Patentee before: Predixis Corp.

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081126

Termination date: 20110923