CN1672211A - 信号处理方法和装置 - Google Patents

信号处理方法和装置 Download PDF

Info

Publication number
CN1672211A
CN1672211A CNA038109085A CN03810908A CN1672211A CN 1672211 A CN1672211 A CN 1672211A CN A038109085 A CNA038109085 A CN A038109085A CN 03810908 A CN03810908 A CN 03810908A CN 1672211 A CN1672211 A CN 1672211A
Authority
CN
China
Prior art keywords
information signal
fingerprint
characteristic value
track
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038109085A
Other languages
English (en)
Inventor
A·A·C·M·卡克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1672211A publication Critical patent/CN1672211A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

公开一种处理一个信息信号的方法，该方法包含以下步骤：确定(308)信息信号的一个指纹；获得(308)信息信号的一个预定第一特性的至少一个第一特性值，该至少第一特性值与多个被存储的指纹的一个第一指纹相关地被存储，该第一特性值对应于所确定的指纹；响应所获得的至少第一特性值而至少部分地控制(313)信息信号的处理，该处理产生一个处理过的信息信号。

Description

信号处理方法和装置
发明领域
本发明涉及信息信号的处理，更具体来说，涉及音轨(audiotracks)的分离。
技术背景
在处理一个信息信号时，处理的类型(例如某些处理参数的选择)可能取决于信息信号的内容。
例如，当把记录轨道从一个乙烯树脂唱片记录到另一个可记录介质-例如可记录CD时，分离唱片上不同的音轨是一个困难的问题。
用户在记录时可以手工地分离记录槽，即，用户例如通过在记录期间聆听记录轨道并相应地操作记录装置来管理记录。然而，这具有需要明显的用户互动的缺点。
此外，已知如何通过自动静音检测分离记录槽。例如可以预先选择一个预定时期，如果在记录期间检测到一个静音时期长于该预选择的时期，就终止当前记录轨道的记录。然而，这些方法易于出错，因为，例如如果在两首歌曲之间的间歇短于该预定时期，这些方法可能导致歌曲的意外合并；或者，例如如果在一首歌曲内或一段古典音乐内有短时期的相对寂静，这些方法可能导致一首歌曲的意外分离。
此外，可以把一个完整序列的轨道记录成一个数字记录(recording)，例如单个波文件(wave file)。随后可以在一个计算平台上用音频处理程序分离各音轨。然而，这是一个累赘的方法，需要多个步骤和用户互动。因此，上述现有技术的方法对终端用户来说都不是接近最优的。
因此，本发明的总的目的是提供对信息信号的高效处理。
发明内容
以上的和其它的问题是由一种处理信息信号的方法解决的，该方法包含以下步骤：
确定信息信号的一个指纹；
获得信息信号的一个预定第一特性的至少一个第一特性值，该至少第一特性值与多个被存储的指纹中的第一指纹相关地被存储，该第一特性值对应于所确定的指纹；和
响应所获得的至少第一特性值而至少部分地控制信息信号的处理，该处理产生一个处理过的信息信号。
因此，根据信息信号的内容的一个或多个特性控制信息信号的处理，其中根据信息信号的一个计算出的指纹检索对应的特性值。因此，就实现一个高效的、可靠的、用户友好的处理信息信号的方法。
本发明的一个优点是，可以让处理适合信息信号的内容，由此改善处理的性能和/或处理的结果的质量。
术语信息信号包含任何代表诸如感性特征的信息内容的模拟或数字信号，感性特征例如是听得见的特征和/或直观的特征，如声音、音乐、语音、图像、电影、动画等等。这种信息信号的例子包括音频信号、视频信号、音像信号、多媒体信号、多媒体对象等等。
信息信号的指纹就是有关信息信号的代表。指纹最好比信息信号短。而且，指纹最好代表着有关信号的最相关的感知特征。这种指纹有时也被称作“(鲁棒)散列”((robust)hashes)。术语鲁棒散列指的是一种散列函数，对于数据处理和例如由于压缩/解压、编码、AD/DA转化而引起的信号退化，该散列函数有一定程度的鲁棒性。鲁棒散列有时也被称作鲁棒概要(robust summaries)、鲁棒签名(robustsignature)、或感知散列(perceptual hashes)。
在使用指纹技术的系统中，将大量的信息信号的指纹与它们相关联的相应数据一起存储在例如数据库中。相关联的数据可以包含元数据，其中术语“元数据”指的是关于信息信号的内容的信息，诸如名称、艺术家、类型(genre)等等。按照本发明，相关联的数据包含用于信息信号的处理的一个第一特性的至少一个第一特性值。相关联的数据是通过计算信息信号的一个指纹并通过用所计算出的指纹作为查找钥(lookup key)或查询参数在数据库中进行一个查找或查询而检索出的。接着，该查找返回与指纹相关的数据。
在数据库中存储信息信号的指纹而不是信息信号或其内容本身，有着若干优点，例如：
-降低了对数据库的存储/储存要求。
-指纹的比较比信息信号本身的比较更高效，因为指纹比信号相当地短。
-在数据库中搜索匹配的指纹比搜索完整的信息信号更高效，因为它涉及匹配更短的事项。
-搜索匹配的指纹更可能成功，因为对信息信号的微小改变(诸如按不同的格式编码或者改变比特率)不影响到指纹。
申请号01200505.4的欧洲专利申请(代理人案卷号PHNL010110)中、以及Jaap Haitsma、Ton Kalker和Job Oostveen的“Robust AudioHashing For Content Identification”(2001年9月意大利布雷西亚(Brescia)，基于内容的多媒体标引国际研讨会(InternationalWorkshop on Content-based Multimedia Indexing))中，描述了一个生成指纹的方法的例子。
该至少第一特性，可以是任何用于随后处理信息信号的相关特性，例如，诸如时间的连续评估的特性、连续参数设置等等，或者类别数据，诸如内容的种类、类型等等。这种特性的例子，包括信息信号的内容或预定部分的内容的持续时间，例如作为一个音轨序列的部分被记录的音轨的长度；音频内容的音乐类型；电影内容的电影类型；用于随后处理的参数值，例如均衡器设置；用于编码方案的使用的参数，等等。
指纹数据和相关联的特性数据可以在本地存储在执行信号的处理的相同装置中，例如存储在处理装置的存储介质上，存储在与装置相连的存储介质上，例如存储在插入对应的读取器中的例如CD的数据载体上，等等。本地存储指纹数据的一个优点是不需要与远程数据库的连接。
或者或此外，可以将指纹数据存储在远程位置，例如存储在例如服务器计算机的数据处理系统的远程指纹数据库中。例如，远程指纹数据库，可以是-通过诸如因特网的通信网络、有线电视网或者诸如有线或无线连接、永久连接或诸如拨号连接的临时连接的任何其它适当的数据连接-可访问的。从远程指纹数据库检索特性值的一个优点是，处理装置不需要执行任何数据库查询、指纹匹配等，由此保持处理装置简单。此外还可以以本地存储数据和远程数据库的组合的方式存储指纹数据。例如，如果一个指纹不能在本地数据库中确定，则可以向包含更大量的指纹的远程数据库传送一个查询。
因此，按照本发明的优选实施例，获得至少第一特性值的步骤包含以下步骤：将确定的指纹传送到能访问存储指纹的数据库并适于检索与存储指纹的对应一个相关联的所述至少第一特性值的指纹服务器；和从所述指纹服务器接收所检索的至少第一特性值。
信息信号的处理可包含任何种类的信号处理，例如模拟信号或数字信号的处理。这种信号处理的例子包括例如通过一个播放装置、数据处理系统、电视机等从信息信号中提取一个或多个片断(segments)，合并信息信号，编码或/和解码一个信号、再现该信号。可完全或者部分地根据识别的特性值控制处理。
在本发明的优选实施例中，信息信号是一个音频信号，它代表至少一个紧跟着第二音轨的第一音轨，第一音轨有预定的长度，其中第一特性是第一音轨的长度，并且其中控制信息信号的处理的步骤包含把第一音轨与第二音轨分离的步骤。
因此，提供一种对音轨的准确、可靠和用户友好的分离。
在本发明另一个优选实施例中，获得信息信号的预定第一特性的至少第一特性值的步骤进一步包含以下步骤：获得指示第一音轨内一个时间位置的第二特性值，其中把第一音轨与第二音轨分离的步骤包含从所获得第一音轨的长度和所获得的第一音轨内的时间位置确定第一音轨的剩余持续时间的步骤。
因此，即使诸如在例如无线电台录音时失真(wow)或颤动(flutter)、接近停滞(ticks)、速度改变等退化的条件下，也能可靠地检索用于音轨的准确分离的信息。根据时间位置-即录音已经在轨道中进行到多远，以及轨道的长度，就能例如通过计算剩余的轨道时间或者通过比较要被记录的轨道与参考轨道-例如原始轨道，就能准确地进行轨道分离。
在本发明的另一个实施例中，信息信号包含代表一个预定音乐类型的音乐的音频信号，其中至少第一特性值指示音乐类型，并且其中控制处理信息信号的步骤包含为信息信号的不同频段调节增益设置的步骤。
许多音乐播放器，例如家庭.高保真装置、软件播放器等，配备有允许为不同频带设定不同增益的均衡器。一般来说，不同的音乐类型的均衡器设置不同。例如，流行音乐通常以放大的低频和高频播放，而古典音乐则更喜欢有更均匀的设置。本发明的一个优点是，能通过连接到远程指纹数据库或者用本地存储的指纹数据库，自动地确定这些类型的均衡器设置。
在本发明的另一个实施例中，信息信号包含一个代表一个预定内容的视频节目的视听(audio-visual)信号，其中至少第一特性值指示所述内容，并且其中控制处理信息信号的步骤包含为显示该视频节目而适应显示装置的预定显示特征的步骤。
现代电视机具有设定某些显示特征的选项。例如，自然电影以允许自然色彩的良好再现的设置被观看更好，而卡通片以改善的清晰度被观看更好。本发明的一个优点是，通过视频指纹的视频识别允许按照正被观看的内容使这些设置自动适应。
在本发明的另一个实施例中，信息信号包含一个视频信号，其中至少第一特性值指示一个视频编码方案的一个编码参数集，并且其中控制处理信息信号的步骤包含用所获得的编码参数编码该视频信号的步骤。因此，当编码一个视频节目时，例如在存储一个视频节目时，相关的编码参数，例如景物变化、运动信息等，可以被检索并被用于编码过程的控制，由此改善视频编码，例如实现更好的压缩率和/或减少由于编码的质量损失。
在本发明的另一个实施例中，确定信息信号的一个指纹的步骤包含确定信息信号的至少一个片断的一个指纹的步骤，其中多个存储的指纹包含预定信息信号的至少预定片断的指纹。因此，只为一个信息信号的一个或多个部分确定一个指纹，由此减少计算指纹和匹配指纹与被存储指纹所需的计算资源。
例如，就音频信号而言，不需要为一个几分钟的整个音轨计算一个指纹。在有些实施例中，计算音轨的短片断(例如在开头的、接近中间的或接近轨道结尾的一个短片断)的指纹，可能就足够。
按照这个实施例，最好让一个信息信号的最具特征的片断能在数据库之类中得到。例如，就音频信号而言，可以存储短片断或剪辑的指纹，这些指纹能以短至0.1秒的时间精度被识别。
本发明能以不同的方式实现，包括以上和以下所述的方法、设备、和另外的产品装置，它们每个都产生结合第一次提及的方法所述的一个或多个益处和优点，并且每个都具有与结合第一次提及的方法所述的和在从属权利要求中公开的优选实施例对应的一个或多个优选实施例。
注意以上和以下所述的方法的特征可以被以软件实现，在数据处理系统或其它处理装置中由于计算机可执行指令的执行而被执行。指令可以是被从存储介质或通过计算机网络从另一个计算机装入诸如RAM的内存中的程序代码装置。或者，所述特征可以被取代软件或者与软件组合的硬件电路实现。
本发明进一步涉及一种用于处理一个信息信号的设备，该设备包含：
-处理装置，适于确定信息信号的一个指纹、并适于获得信息信号的一个预定第一特性的至少一个第一特性值，该至少一个第一特性值与多个被存储指纹中的对应的一个相关地被存储；和
-控制装置，适于响应所获得的至少第一特性值而至少部分地控制信息信号的处理，该处理产生一个处理过的信息信号。
以上设备可以是包括用于记录音频信号、视频信号之类的记录装置在内的任何电子装备(例如高保真装备、视频录像机)的一部分。其它的例子包括用于再现信息内容的装置，诸如视频录像机、音频播放机、电视机等，以及其它的用于处理信息信号的装置，诸如计算机，例如固定式或便携式PC、固定式或便携式无线电通信装备或者其他手持式或便携式装置，诸如移动电话、寻呼机、音频播放机、多媒体播放机、通信机，即电子组织器(electronic organizer)、智能电话、个人数字助理(PDAs)、手持式计算机等等。
术语处理装置包含通用或专用可编程微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、场可编程门阵列(FPGA)、专用电子电路等等，或者它们的组合。术语控制装置包含适于控制信息信号的处理的电路。例如，控制装置可包含以上所述的处理装置。
该设备可以进一步包含用于存储多个指纹的存储装置。这里，术语存储装置包含磁带、光盘、数字视频盘(DVD)、小型盘(CD或CD-ROM)、微型盘(mini-disk)、硬盘、软盘、铁电存储器、电可擦可编程只读存储器(EEPROM)、闪存、EPROM、只读存储器(ROM)、静态随机存储器(SRAM)、动态随机存储器(DRAM)、同步动态随机存储器(SDRAM)、铁磁存储器、光学存储器、电荷耦合装置、智能卡、PCMCIA卡、等等。术语存储装置进一步包含用于读取计算机可读解质的输入装置。这种接收装置的例子包括软盘驱动器、CD-ROM驱动器、DVD驱动器、或任何适当的盘驱动器、存储器卡适配器、智能卡适配器、等等。
本发明进一步涉及一种适于存储多个对应信息信号的多个指纹的数据结构，其中该数据结构适于把多个指纹的每个与对应的信息信号的预定的第一特性的对应的第一特性值相关地存储，用于至少部分地控制处理信息信号，产生一个处理过的信息信号。该数据结构可以体现在已知的数据库结构中体现，例如体现为关系数据库中的一个或多个表。
本发明进一步涉及一种计算机可读介质，包含多个对应信息信号的多个被存储指纹，其中多个被存储指纹的每个与对应的信息信号的预定的第一特性的对应的第一特性值相关地被存储，用于至少部分地控制处理信息信号，产生一个处理过的信息信号。
术语计算机可读介质包含磁带、光盘、数字视频盘(DVD)、小型盘(CD或CD-ROM)、微型盘(mini-disk)、硬盘、软盘、铁电存储器、电可擦可编程只读存储器(EEPROM)、闪存、EPROM、只读存储器(ROM)、静态随机存储器(SRAM)、动态随机存储器(DRAM)、同步动态随机存储器(SDRAM)、铁磁存储器、光学存储器、电荷耦合装置、智能卡、PCMCIA卡、等等。
本发明进一步涉及一种由如以上和以下所述的处理源信息信号的方法生成的信息信号。
本发明进一步涉及一种计算机程序产品，被安排得用于使处理器执行如以上和以下所述的方法。
该计算机程序产品可以体现在计算机可读介质中。术语计算机可读介质包含磁带、光盘、数字视频盘(DVD)、小型盘(CD或CD-ROM)、微型盘(mini-disk)、硬盘、软盘、铁电存储器、电可擦可编程只读存储器(EEPROM)、闪存、EPROM、只读存储器(ROM)、静态随机存储器(SRAM)、动态随机存储器(DRAM)、同步动态随机存储器(SDRAM)、铁磁存储器、光学存储器、电荷耦合装置、智能卡、PCMCIA卡、等等。
附图说明
本发明的这些和其它方面将在参照附图对实施例的阐述中变得显而易见，附图中：
图1示意性地表示按照具有远程指纹数据库的本发明实施例的用于记录音轨的系统；
图2示意性地表示按照具有本地指纹数据库的本发明实施例的用于记录音轨的系统；
图3示意性地表示按照本发明实施例的用于分离音轨的方法的流程图；
图4更详细地示意性地表示服务器109和指纹数据库110。
图5示意性地表示按照本发明实施例的用指纹数据确定均衡器设置的音乐播放器；
图6示意性地表示按照本发明实施例的用指纹数据设定显示特征的电视；
图7示意性地表示按照本发明实施例的用指纹数据确定编码方案的编码参数的视频录像机。
具体实施方式
图1示意性地表示按照具有远程指纹数据库的本发明实施例的用于记录音轨的系统。系统包含音频源101、记录器103和能访问指纹数据库110的指纹服务器109。
在图1的例子中，音频源是一个用于播放包含诸如音乐、语音等等的音轨的乙烯基唱片102的唱片播放器。唱片播放器101输出模拟音频信号，该音频信号可以被馈送到放大器或记录器103中，用于在不同的载体上记录音频节目。或者，可以采用其它音频源，例如用于接收空中或有线网络的无线电节目的收音机、磁带录音机等等。
在常规的乙烯基唱片上，可以记录多个由相对静音的间隔分隔的音轨。然而，由于相对静音的时期，仍然可能有一定程度的例如由于乙烯基唱片或播放器的缺陷、诸如划痕等损伤、灰尘等引起的听得见的噪声。在图1的例子中，乙烯基唱片102被表现得具有由间隔102d-e隔离的轨道102a-c。从音频源101生成的音频信号，例如通过常规的线输入插口，被馈送到记录器103中。
记录器103包含一个用于在CD上记录音轨的CD驱动器106和用于控制输入音频信号的对应电路104。电路104可进一步执行常规信号处理，诸如AD转换、过滤、压缩(例如MP3)等。
按照本发明，记录器103进一步包含用于轨道分离的电路105。电路105接收来自电路104的音频信号，并包含用于根据音频信号计算指纹的电路。这里的电路105包含输入模块105a、指纹模块105b和轨道分离控制模块105c。输入模块105a接收来自电路104的音频剪辑，并把音频剪辑馈送到指纹模块105b。指纹模块105b根据所接收的音频剪辑计算一个指纹。欧洲专利申请01200505.4(代理人案卷号PHNL010110)描述了一种用于计算鲁棒指纹的方法，不过，当然能使用任何用于计算鲁棒指纹的方法。
欧洲专利申请01200505.4(代理人案卷号PHNL010110)描述了一种方法，用于为诸如音频剪辑的多媒体对象生成鲁棒指纹。音频剪辑以连续的(最好重叠的)时间间隔被划分。对于每个时间间隔，按频带划分频谱。计算并由一个对应的指纹位表示每个频带的鲁棒特性(例如能量)。
多媒体对象就这样被一个包含一连串的、每个对应一个时间间隔的二进制值的指纹表示。并不需要对整个多媒体计算指纹，但是当受到具有通常是3秒钟的一定长度的一部分是就能计算指纹。因此对应一个多媒体对象有多个指纹，这取决于哪个部分要被用来计算指纹。出于简要的原因，即时在可能存在对应一个多媒体对象的多个指纹的情况中也使用术语“指纹”。
记录器103进一步包含通信线路108，它接收来自电路105的被计算的指纹并把被计算的指纹数据通过通信链接107传送到指纹服务器109。通信线路108进一步包含用于接收来自指纹服务器的响应的线路，该响应表示当前音轨的长度以及关于在当前音轨内对应于该被计算的指纹的当前位置的信息。所接收的数据被反馈到电路105的轨道分离控制模块105c。记轨道分离控制模块105c适于根据所接收的信息计算剩余的歌曲时间并生成一个表示剩余歌曲时间的、被馈送到电路104的控制信号。电路104接着使用该信息来识别当前轨道的末尾。
指纹服务器109可以是一个适当编程的、能访问数据库110的服务器计算机。指纹服务器109接收来自记录器103的一个请求，该请求包括一个被计算的指纹。响应这个请求，指纹服务器在数据库110中识别该指纹，并返回与被存储的该指纹相关联的被请求数据，其方式例如如结合图3-4所描述的那样。
通信链接107可以是任何有线的或无线的数据链接，例如一个基于分组的通信网络，诸如因特网或另一个TCP/IP网络；一个短射程通信链接，诸如基于无线电的链接，等等。通信信道的进一步的例子包括计算机网络和无线电信网络，诸如无线数字分组数据(CDPD)网络、全球移动系统(GPS)网络、码分多路访问(CDMA)网络、时分多路访问网络(TDMA)、通用分组无线电服务(GPRS)网络、第三代网络，诸如UMTS网络，等等。
相应地，通信电路108包含适于使得能够通过通信链接107进行数据通信的电路和/或装置。这种电路的例子包括网络接口、网络卡、无线电接收机、用于其它合适的电磁信号的接收机、等等。这种电路的进一步的例子包括电缆调制解调器、集成服务数字网络(ISDN)、数字用户线(DSL)适配器、卫星收发机、以太网适配器等等。
要注意的是，作为对在记录器中计算指纹的替代，可以将短音频剪辑传送到服务器109。在这个可选择的实施例中，服务器109包含用于计算所接收的音频剪辑的指纹的电路，由此以增加的带宽要求为代价降低在记录器上所需要的计算资源。
图2示意性地表示按照具有一个本地指纹数据库的本发明实施例的用于记录音轨的系统。该系统包含一个音频源101和记录器203，例如多盘记录器。按照这个实施例，指纹数据在本地被存储在记录器203中。在图2的例子中，记录器203包含一个第二CD驱动器210，在该驱动器中可以可拆卸地插入一个上面存储有一个指纹数据库的CD。记录器进一步包含用于控制对在该CD上存储的数据的访问和用于进行指纹匹配的电路209，就是说，电路209执行一个对应于图1的实施例中的指纹服务器109的例如如结合图3-4所述的功能。因此，按照这个实施例，记录器不需要包含用于与远程数据库通信的电路，由此提供一个包括轨道分离的自包容的记录系统。
要明白的是，作为对在CD上存储指纹数据的替代，也可以使用其它的存储介质，诸如DVD、硬盘驱动器、内存卡、EPROM、EEPROM等。
进一步要明白的是，按照图1或2的轨道分离也可以在一个单独的装置上进行，该单独的装置接收来自音频源101的输入，生成一个对应于一个音轨的、可以被输送到记录器的输出。这样的优点是，可以是用常规的记录器，例如Philips公司制造的CD记录器CDR-800。例如，用于分离轨道的装置可以是一个适当编程的、能访问CD之类上的指纹数据库或通过因特网等访问指纹数据库的计算机。
进一步要明白的是，按照图1或2的记录器可以被改变得用于记录在除CD外的可读介质上的、例如DVD上的分离的音轨，例如诸如硬盘、软盘的数据存储介质或任何其它的计算机可读介质上的文件形式的音轨。
图3示意性地表示按照本发明实施例的用于分离记录音轨的方法的流程图。
在初始步骤中，记录装置103接收一个模拟输入信号。例如，可以从一个播放乙烯基唱片的唱片播放器或从如结合图1所述的另一个音频源，接收该输入信号。
在步骤302，计算所接收的音频信号的一个片断的指纹H。
在步骤303，将该计算的指纹连同一个标识指纹H的标识符nH一起发往指纹服务器109。
指纹服务器109在步骤304接收该计算的指纹H和标识符nH。
在步骤305，服务器用指纹H作为密钥从数据库110中检索一个歌曲ID。如果没有找到匹配的歌曲ID，服务器可以返回到步骤304，等待新的请求。
可选地，在步骤307，服务器可以返回一个表示未能识别一个歌曲ID的消息。在步骤314接收到这个消息后，记录器可以返回到步骤302，计算输入音频信号的另一个片断的一个新指纹。
在步骤308，如果在步骤305中从数据库检索到一个有效的歌曲ID，就从数据库110中所识别歌曲的开始检索指纹H的对应时间位置T，以及所识别歌曲的总长度。
在步骤309，将所检索的时间位置T和总长度L连同指纹标识符nH一起返回到记录器103。
在步骤310，记录器接收所返回的数据，在步骤311，记录器计算剩余的歌曲时间TR＝L-T-Treq，其中Treq是从指纹的计算到剩余时间的计算之间产生的延迟。例如，这个延迟可以由记录器通过在例如上述的步骤302中启动一个计时器而被测量。这样，所消逝的时间就可以在步骤311中被确定并用于TR的计算。
根据剩余时间TR，就可以在步骤312中确定当前轨道的结尾。如果到达该轨道的结尾，则在步骤313结束当前轨道的记录。否则，记录器返回到步骤302，为另一个段计算一个新的指纹。或者或此外，可以启动一个计时器，由此允许记录器确定何时时间TR已经消逝，使记录器即使不计算另外的指纹也能估计当前轨道的结尾。
图4更详细地示意性地表示服务器109和指纹数据库110。这里服务器109包含一个输入模块401、一个数据库管理系统(DBMS)后端模块403和一个响应模块404。
输入模块401接收来自客户装置的指纹并把指纹提供到DBMS后端模块403。DBMS后端模块403在数据库110上进行一个查询，以从数据库110检索一个与被计算的指纹相关联的元数据集。如图4中所示，数据库110包含指纹FP1、FP2、FP3、FP4和FP5以及对应的相关联的元数据集MDS1、MDS2、MDS3、MDS4和MDS5。上述的欧洲专利申请01200505.4(代理人案卷号PHNL010110)描述了用于将为一个音频剪辑计算的指纹与在存储器中存储的指纹匹配的各种匹配策略。
欧洲专利申请01202720.7(代理人案卷号PHNL010510)描述了一种把代表一个未知信息信号的指纹与在数据库中存储的多个被识别信息信号的指纹匹配、以识别该未知信号的有效方法。该方法使用被抽取指纹位的可靠性信息。通过计算一个信息信号的特征并设定所述特征的阀限以获得指纹位，确定指纹位。如果某特征有一个非常接近该阀限的值，则信号中的微小变化都可以导致一个指纹位具有相反的值。特征值与阀限之间的差的绝对值被用来标记每个指纹可靠或者不可靠。可靠性随后被用来改善实际的匹配过程。
数据库110可以以各种方式组织，以优化查询时间和/或数据组织。在设计数据库110中的表时，应当考虑到输入模块401的输出。在图4所示的实施例中，数据库110包含一个表，表中的条目(记录)包含对应的指纹和元数据集。DBMS后端模块403把查询的结果输送到响应模块404，后者把该结果传送到客户装置。
图5示意性地表示按照本发明实施例的用指纹数据确定均衡器设置的音乐播放器。许多音乐播放器配备均衡器，以允许为不同的频带设定不同的增益。不同的音乐类型的均衡器设置通常是不同的。例如，流行音乐通常以放大的低频和高频播放，而古典音乐则更喜欢有更均匀的设置。通过连接到(用于所连接的播放器的)远程指纹数据库或者用本地存储的指纹数据库，利用通过指纹的音乐标识，就能自动地确定这些类型的均衡器设置。
在图5的例子中，音乐播放器503例如是家用高保真装置或软件播放器之类，它包含一个均衡器508，均衡器从例如唱片播放器、磁带录音机之类的另一个音频源，或者从一个包含在音乐播放其中的、例如CD播放器、收音机、磁带录音机、唱片播放机等等的声源501，接收例如外部信号的音频信号作为输入。均衡器508控制可被馈送到扬声器509、另一个放大器(未予示出)等的输出信号的增益。输入音频信号进一步被馈送到一个指纹模块505，指纹模块如结合图1所述的那样计算所接收的音频剪辑的指纹。指纹模块把计算的指纹发送到一个数据库服务器109，服务器查询数据库110，向指纹模块返回类型信息，例如标识多个类型的其中之一的标识符码。指纹模块用该类型信息来控制均衡器508的均衡器设置。
图6示意性地表示按照本发明实施例的用指纹数据设定显示特征的电视机603。
现代电视机具有设定某些显示特征的选项。例如，自然电影以允许自然色彩的良好再现的设置被观看更好，而卡通片以改善的清晰度被观看更好。通过视频指纹的视频识别，再次允许按照被观看的内容而自动适应这些设置。
电视机603通过天线608接收电视信号。或者或此外，电视机603可以通过另一个信道-例如电缆网、卫星等，接收电视信号。电视机包含一个控制电路604，用于控制电视机的显示器606，包括控制显示特性。按照本发明，电视机603进一步包含一个指纹模块605，它从控制电路604接收视频信号并计算一个对应的指纹。指纹模块605把计算的指纹发送到一个指纹服务器109，如上所述，指纹服务器返回与该计算的指纹相关联的元数据。被返回的元数据被反馈到指纹模块605，使控制电路604设定适当的显示设置。
图7示意性地表示按照本发明实施例的用指纹数据确定编码方案的编码参数的视频记录器703。
现代视频记录器，例如机顶盒或所谓的个人电视记录器或服务器，允许用户把电视节目直接记录到硬盘中。这种个人视频记录器的例子包括由飞利浦公司制造的Tivo记录器和Replay记录器。这种记录器利用诸如MPEG-2之类的视频压缩标准存储被记录的视频节目。
在图7的例子中，视频记录器703包含一个用于编码一个视频信号的编码模块704。视频编码通常远比视频解码复杂：视频编码要在大范围空间搜索自由参数，以获得速率(要使用的字节数)与视频质量之间的最佳平衡。视频解码引擎不必这么复杂，因为它们唯一的任务是解释所选择的参数。一般来说，高质量的视频编码要求的计算资源，远远多于相对便宜的消费装置内可用的计算资源。
按照这个实施例，视频记录器进一步包含一个指纹模块705，它辅助视频编码模块704选择自由参数，由此改善总体编码质量。可以为给定的电影或视频节目预先计算这些参数，并把这些参数像元数据一样与被计算的视频指纹数据一起存储在数据库110上。对于一个要被编码器704编码的给定的视频信号来说，该视频信号被馈送到指纹模块705中，它计算该视频信号的或者该视频信号一个部分的指纹。
指纹模块把计算的指纹发送到指纹服务器109，后者检索用于改善的视频编码的、诸如场景变化、运动信息等等的相关编码参数。例如，视频记录器可通过因特网、有线电视网之类连接到指纹服务器。将所接收的编码参数反馈到编码模块704中，后者相应地执行视频编码。
应当知道，熟练人员例如通过增加或去除特征功能或者通过组合上述实施例的特征功能，可以修改以上各实施例。例如，应当知道在所有上述实施例中，指纹数据库可以是远程的或本地的数据库，或者它们的组合。此外，根据计算的指纹对用于控制信号处理的特性值的检索，可以与为了其它目的对其它数据的检索-例如对要被呈现给用户的元数据的检索，组合在一起。
要指出的是，实现上述设备的形式，可以是通用或专用可编程微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、场可编程门阵列(FPGA)、专用电子电路等等，或者他们的组合。
进一步要指出的是，尽管结合许多实施例对本发明作了说明，应当明白，熟练人员能够把本发明应用到其它形式的信号处理，由此利用对特定视听项目或其它信息项目的特性的指示改善相关联的数据处理。
应当指出的是，以上实施例解释而不是限制本发明，本领域的熟练人员在不偏离后附的权利要求书的范围的情况下能够设计许多替代性实施例。
在权利要求书中，任何被置于括号之间的标注符都不应被解释为限制权利要求。“包含”一词不排斥除权利要求中所列举的以外的元件或步骤的存在。位于某个元件之前的“一个”一词，并不排除多个这样的元件的存在。
本发明可以通过包含若干不同元件的硬件、以及通过适当编程的计算机实现。在枚举若干装置的装置权利要求中，这些装置的几个能被同一个硬件物品体现。仅仅是某些措施在不同的从属权利要求中被陈述的事实，并不表明不能有益地使用这些措施的组合。

Claims (15)

1.一种处理信息信号的方法，该方法包含以下步骤：
-确定信息信号的一个指纹；
-获得信息信号的一个预定第一特性的至少一个第一特性值，该至少第一特性值与多个被存储的指纹的一个第一指纹相关地被存储，该第一特性值对应于所确定的指纹；和
-响应所获得的至少第一特性值而至少部分地控制信息信号的处理，该处理产生一个处理过的信息信号。
2.按照权利要求1的方法，其中，信息信号是一个音频信号，它代表至少一个紧跟着第二音轨的第一音轨，第一音轨有预定的长度，其中第一特性是第一音轨的长度，并且其中控制信息信号的处理的步骤包含把第一音轨与第二音轨分离的步骤。
3.按照权利要求2的方法，其中，获得信息信号的预定第一特性的至少第一特性值的步骤进一步包含以下步骤：获得指示第一音轨内一个时间位置的第二特性值，并且其中把第一音轨与第二音轨分离的步骤包含从所获得第一音轨的长度和所获得的第一音轨内的时间位置确定第一音轨的剩余持续时间的步骤。
4.按照权利要求1的方法，其中，信息信号包含一个代表一个预定音乐类型的音乐的音频信号，其中至少第一特性值指示该音乐类型，并且其中控制信息信号的处理的步骤包含为信息信号的不同频段调节增益设置的步骤。
5.按照权利要求1的方法，其中，信息信号包含一个代表一个预定内容的视频节目的视听信号，其中至少第一特性值指示所述内容，并且其中控制信息信号的处理的步骤包含为显示该视频节目而适配显示装置的预定显示特征的步骤。
6.按照权利要求1的方法，其中，信息信号包含一个视频信号，其中至少第一特性值指示一个视频编码方案的一个编码参数集，并且其中控制信息信号的处理的步骤包含用所获得的编码参数编码该视频信号的步骤。
7.按照权利要求1的方法，其中，信息信号是从由音频信号、视频信号、多媒体信号和视听信号组成的信息信号组中选择的。
8.按照权利要求1的方法，其中，获得至少第一特性值的步骤包含以下步骤：将确定的指纹传送到能访问存储指纹的数据库并适于检索与存储的指纹中的对应一个相关联的所述至少第一特性值的指纹服务器；和从所述指纹服务器接收所检索的至少第一特性值。
9.按照权利要求1的方法，其中，确定信息信号的指纹的步骤包含确定信息信号的至少一个片断的一个指纹的步骤，其中多个存储的指纹包含预定信息信号的至少预定片断的指纹。
10.一种用于处理一个信息信号的设备，该设备包含：
-处理装置，适于确定信息信号的一个指纹、并适于获得信息信号的预定第一特性的至少一个第一特性值，该至少一个第一特性值与多个被存储指纹中的对应的一个相关地被存储；和
-控制装置，适于响应所获得的至少第一特性值而至少部分地控制信息信号的处理，该处理产生一个处理过的信息信号。
11.按照权利要求10的设备，包含用于存储多个被存储指纹的存储装置。
12.一种适于存储多个相应的信息信号的多个指纹的数据结构，其中该数据结构适于把多个指纹中的每个与对应的信息信号的预定的第一特性的相应的第一特性值相关地存储，用于至少部分地控制信息信号的处理，从而产生一个处理过的信息信号。
13.一种计算机可读介质，包含多个相应信息信号的多个被存储指纹，其中多个被存储指纹的每个与相应的信息信号的预定的第一特性的对应的第一特性值相关地被存储，用于至少部分地控制处理信息信号，产生一个处理过的信息信号。
14.一种由一个处理源信息信号的方法生成的信息信号，该方法包含以下步骤：
-确定源信息信号的一个指纹；
-获得源信息信号的预定第一特性的至少一个第一特性值，该至少第一特性值与多个被存储的指纹中的一个第一指纹相关地被存储，该第一特性值对应于所确定的指纹；和
-响应所获得的至少第一特性值而至少部分地控制源信息信号的处理，该处理产生信息信号。
15.一种计算机程序产品，被安排得用于使处理器执行如权利要求1所述的方法。
CNA038109085A 2002-05-16 2003-04-22 信号处理方法和装置 Pending CN1672211A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02076909.7 2002-05-16
EP02076909 2002-05-16

Publications (1)

Publication Number Publication Date
CN1672211A true CN1672211A (zh) 2005-09-21

Family

ID=29433144

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA038109085A Pending CN1672211A (zh) 2002-05-16 2003-04-22 信号处理方法和装置

Country Status (7)

Country Link
US (1) US20050229204A1 (zh)
EP (1) EP1506550A2 (zh)
JP (1) JP2005526349A (zh)
KR (1) KR20050003457A (zh)
CN (1) CN1672211A (zh)
AU (1) AU2003219438A1 (zh)
WO (1) WO2003098627A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101473653B (zh) * 2006-06-13 2011-11-16 皇家飞利浦电子股份有限公司 用于识别并同步视频的指纹、器件、方法
WO2012163013A1 (zh) * 2011-10-19 2012-12-06 华为技术有限公司 音乐查询方法和装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005014477A1 (de) * 2005-03-30 2006-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und zum Erzeugen einer Multikanal-Darstellung
WO2009036435A1 (en) * 2007-09-14 2009-03-19 Auditude.Com, Inc. Restoring program information for clips of broadcast programs shared online
JP2012019381A (ja) * 2010-07-08 2012-01-26 Sony Corp 画像処理装置及び画像処理方法
US20120294457A1 (en) * 2011-05-17 2012-11-22 Fender Musical Instruments Corporation Audio System and Method of Using Adaptive Intelligence to Distinguish Information Content of Audio Signals and Control Signal Processing Function
US20120294459A1 (en) * 2011-05-17 2012-11-22 Fender Musical Instruments Corporation Audio System and Method of Using Adaptive Intelligence to Distinguish Information Content of Audio Signals in Consumer Audio and Control Signal Processing Function
US9460204B2 (en) * 2012-10-19 2016-10-04 Sony Corporation Apparatus and method for scene change detection-based trigger for audio fingerprinting analysis
US20140373036A1 (en) * 2013-06-14 2014-12-18 Telefonaktiebolaget L M Ericsson (Publ) Hybrid video recognition system based on audio and subtitle data
JP7210127B2 (ja) 2013-07-17 2023-01-23 ヴィジブル ワールド リミテッド ライアビリティ カンパニー コンテンツ提示管理のためのシステム及び方法
US9380383B2 (en) 2013-09-06 2016-06-28 Gracenote, Inc. Modifying playback of content using pre-processed profile information
US9385983B1 (en) * 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745583A (en) * 1994-04-04 1998-04-28 Honda Giken Kogyo Kabushiki Kaisha Audio playback system
US5751672A (en) * 1995-07-26 1998-05-12 Sony Corporation Compact disc changer utilizing disc database
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US6031795A (en) * 1996-12-02 2000-02-29 Thomson Consumer Electronics, Inc. Method and apparatus for programming a jukebox with information related to content on media contained therein
US5987525A (en) * 1997-04-15 1999-11-16 Cddb, Inc. Network delivery of interactive entertainment synchronized to playback of audio recordings
US7047305B1 (en) * 1999-12-09 2006-05-16 Vidiator Enterprises Inc. Personal broadcasting system for audio and video data using a wide area network
US6539395B1 (en) * 2000-03-22 2003-03-25 Mood Logic, Inc. Method for creating a database for comparing music
JP3825615B2 (ja) * 2000-08-11 2006-09-27 株式会社東芝 動画像符号化装置および動画像符号化方法およびプログラムを記録した媒体
KR100893671B1 (ko) * 2001-02-12 2009-04-20 그레이스노트, 인크. 멀티미디어 콘텐트의 해시들의 생성 및 매칭
US20020133499A1 (en) * 2001-03-13 2002-09-19 Sean Ward System and method for acoustic fingerprinting
US6993532B1 (en) * 2001-05-30 2006-01-31 Microsoft Corporation Auto playlist generator
US7328153B2 (en) * 2001-07-20 2008-02-05 Gracenote, Inc. Automatic identification of sound recordings
US20030028796A1 (en) * 2001-07-31 2003-02-06 Gracenote, Inc. Multiple step identification of recordings
JP2005526340A (ja) * 2001-08-27 2005-09-02 グレースノート インコーポレイテッド プレイリストの生成、配信およびナビゲーション
US7161887B2 (en) * 2001-11-13 2007-01-09 Digeo, Inc. Method and apparatus for extracting digital data from a medium
US6995309B2 (en) * 2001-12-06 2006-02-07 Hewlett-Packard Development Company, L.P. System and method for music identification

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101473653B (zh) * 2006-06-13 2011-11-16 皇家飞利浦电子股份有限公司 用于识别并同步视频的指纹、器件、方法
WO2012163013A1 (zh) * 2011-10-19 2012-12-06 华为技术有限公司 音乐查询方法和装置

Also Published As

Publication number Publication date
JP2005526349A (ja) 2005-09-02
KR20050003457A (ko) 2005-01-10
AU2003219438A8 (en) 2003-12-02
WO2003098627A2 (en) 2003-11-27
WO2003098627A3 (en) 2004-03-04
AU2003219438A1 (en) 2003-12-02
US20050229204A1 (en) 2005-10-13
EP1506550A2 (en) 2005-02-16

Similar Documents

Publication Publication Date Title
JP4658598B2 (ja) ストリームに埋め込まれた反復オブジェクトに対するユーザ制御を提供するシステムおよび方法
EP1900207B1 (en) Creating standardized playlists and maintaining coherency
CN1708758A (zh) 改进的音频数据指纹搜索
US7548851B1 (en) Digital multimedia jukebox
US7574655B2 (en) System and method for encapsulation of representative sample of media object
CN100350412C (zh) 基于杂乱数据的多媒体对象元数据的快速检索
JP2006504115A (ja) 楽曲識別システムおよび方法
CN1726489A (zh) 个人音频录制系统
US20070288517A1 (en) Information processing system, terminal device, information processing method, and program
CN1860453A (zh) 信息再现设备、方法和程序
CN1770156A (zh) 对多个同步化数据流加速数据库查找的系统和方法
CN1672211A (zh) 信号处理方法和装置
CN1520561A (zh) 流式视频书签
KR20040108796A (ko) 워터마크 임베딩과 검색
CN1666520A (zh) 标识和分割嵌入在流中重复媒体对象的系统和方法
CN1942970A (zh) 生成对用户具有特定情绪影响的内容项的方法
CN1662907A (zh) 用于索引和汇总音乐视频的系统和方法
US20070276668A1 (en) Method and apparatus for accessing an audio file from a collection of audio files using tonal matching
KR20040026634A (ko) 특징량 추출장치
CN102170420A (zh) 一种获取铃音的方法及铃音获取系统
CN1765128A (zh) 数据处理装置
CN1273400A (zh) 使用用户描述数据记录介质的多媒体内容提取系统和方法
US11785276B2 (en) Event source content and remote content synchronization
CN1875421A (zh) 包括用于搜索的元信息的存储介质以及播放该存储介质的装置和方法
JP4403357B2 (ja) コンテンツ再生装置、コンテンツ提供システム、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20050921

C20 Patent right or utility model deemed to be abandoned or is abandoned