CN101278350A - 通过分割的特征比较而自动生成播放列表的方法和设备 - Google Patents

通过分割的特征比较而自动生成播放列表的方法和设备 Download PDF

Info

Publication number
CN101278350A
CN101278350A CNA2006800361319A CN200680036131A CN101278350A CN 101278350 A CN101278350 A CN 101278350A CN A2006800361319 A CNA2006800361319 A CN A2006800361319A CN 200680036131 A CN200680036131 A CN 200680036131A CN 101278350 A CN101278350 A CN 101278350A
Authority
CN
China
Prior art keywords
content item
feature
seed
candidate content
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800361319A
Other languages
English (en)
Other versions
CN101278350B (zh
Inventor
J·F·阿普里
A·N·勒马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101278350A publication Critical patent/CN101278350A/zh
Application granted granted Critical
Publication of CN101278350B publication Critical patent/CN101278350B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G06F16/634—Query by example, e.g. query by humming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/638—Presentation of query results
    • G06F16/639—Presentation of query results using playlists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

内容项目，例如歌曲的播放列表，可被自动地生成，其中具有与种子内容项目特征相似的特征的内容项目可被选择。种子内容项目的至少一个特征与每个候选内容项目的至少一个特征相比较，以识别所述的候选内容项目中与种子内容项目相似的特定的候选内容项目。被识别的候选内容项目然后被加入到播放列表。多个特征代表(例如提取自)多个候选内容项目的不同部分，和/或种子内容项目的多个特征代表(例如提取自)种子内容项目的不同部分。种子内容项目和/或候选内容项目的多个特征与种子内容项目或候选内容项目的至少一个特征相比较。

Description

通过分割的特征比较而自动生成播放列表的方法和设备
发明领域
本发明涉及用于自动地生成例如歌曲之类的内容项目的播放列表的方法和设备。特别地，它涉及与一个种子内容项目(seed content item)相似的内容项目的自动播放列表的生成。
发明背景
多媒体消费者设备(consumer devices)在处理能力方面正在扩充，并且能够给用户提供更多先进的多媒体内容浏览、导航以及检索特征。可以预料，由于存储容量和连接带宽的增加，消费者将可以访问庞大的内容项目的数据库。因此，存在着日益增长的需求去提供用于辅助用户的有效的浏览、导航以及检索系统。
已存在许多已知的系统，用于内容项目的检索和用于播放列表的自动生成。这些系统中的一些起到这样的作用，即基于内容项目与某一种子(或参考)内容项目的相似性而从大规模的数据库中选择内容项目。在这种系统中，被存储在数据库中的所有内容项目被预先分析，并且它们的典型特征被存储在一个元数据的数据库中。用户提供一个种子内容项目(有与其相关联的一个分类)，然后这个系统通过比较相应的典型特征之间的相似程度(或者相应内容项目分类之间的相似性)来检索相似的内容项目。然而，这些已知的系统不检索将被用户认为与种子内容项目相似的所有内容项目。
发明概述
本发明的目的在于提供一种方法，它提高了所生成的播放列表的感知品质。
根据本发明的一个方面，这是通过一种方法来实现的，该方法用于自动地生成候选内容项目的播放列表，该候选内容项目具有与种子内容项目特征相似的特征，该方法包括以下步骤：将种子内容项目的至少一个特征与候选内容项目的至少一个特征进行比较以识别所述候选内容项目中与种子内容项目相似的特定候选内容项目；以及将被识别的候选内容项目加入播放列表，其中种子内容项目的该至少一个特征和/或候选内容项目的该至少一个特征包括多个特征，该多个特征代表种子内容项目和/或候选内容项目的不同部分。种子内容项目和/或候选内容项目的多个特征与种子内容项目或候选内容项目的至少一个特征相比较。
根据本发明的另一个方面，这也是通过一种设备来实现的，该设备用于自动地生成候选内容项目的播放列表，该候选内容项目具有与种子内容项目特征相似的特征，该生成器包括：一个比较器，用于将种子内容项目的至少一个特征与每个候选内容项目的至少一个特征进行比较以识别所述候选内容项目中与种子内容项目相似的特定候选内容项目；以及一个编辑器，用于将被识别的候选内容项目加入播放列表，其中该种子内容项目的至少一个特征和/或候选内容项目的至少一个特征包括多个特征，该多个特征代表种子内容项目和/或候选内容项目的不同部分。
例如，一条合成的音频内容项目可以有三个不同的部分：古典、语音(speech)和流行。使用一个已知的分类器，这将被严格地分类为古典、语音或流行之一。结果，被生成的播放列表可能仅仅包括这一个分类的候选歌曲和/或可能仅仅包括其一个分类与种子歌曲的分类相似的候选歌曲(例如，如果具有流行部分的候选歌曲也有古典部分且仅该古典部分被用于比较这两首歌曲，则对于流行分类的种子歌曲，该候选歌曲可能不被列入)。为了克服这一点，根据本发明的一个实施例，在上述例子的情形下，来自每一部分的特征(三组特征)的一个记录会被保存：从古典部分所提取出来的一组、来自于语音部分的一组和来自于流行部分的一组，以及在数据库中内容是与三组特征相链接的。这就意味着，分类器将要把这样一首歌曲分类为古典、语音和流行。从而，如果内容项目的内容变化很大，则它将通过较大量的特征矢量来代表，这些特征矢量将更准确地代表该内容的特性，这与现存的系统相反，后者将试图用单一特征矢量来代表特性。这导致了相似内容项目的一个改进的播放列表。
这个特征可以是一个单一特征，例如，一个值代表节奏或者一个分类，或者它可以是一个特征矢量。该方法可以从一个内容项目中、或者从与该内容项目相关联的元数据标签或者数据库登录项中提取特征。
在一个优选的实施例中，多个候选内容项目中的每一个和种子内容项目被分割为许多帧(frame)；以及从每一帧中提取至少一个特征矢量以提供内容项目的多个特征矢量。
这个分割提供了一个预先处理的步骤，并且该特征矢量能用一个现存的分类器提取出来。因此，分类器的修改不是必需的。
附图的简述
为了更完整地理解本发明，作为例子，以下面的说明结合伴随的附图作为参考，其中：
图1示意了根据本发明的第一个实施例的方法的步骤；
图2示意了根据本发明的第二个实施例的方法的步骤；以及
图3图示了根据本发明的第三个实施例的所提取的特征矢量的分布。
优选实施例的详述
为了描述这些实施例的目的，仅仅内容项目的音频内容的特征矢量的提取将被描述。然而，可以理解，本方法可能可应用于内容项目的剩余内容的特征的提取。内容项目可以包括模拟或者数字多媒体内容、音乐轨道、歌曲等等的一个文件。
根据第一个实施例的方法现在将以图1作为参考进行说明。到来的音频x首先被分割为有任意选择的长度的帧xm，步骤101。帧的长度可以有相同的预先确定的长度或者可以随机地变化。对于每一个音频分段(或帧)xm，特征矢量是使用已知技术而被提取出的，步骤103，以及被存储在特征数据库中，步骤105。
令M≥1为在候选内容项目(歌曲)中的分段数目，以及K≥1为在种子内容项目(歌曲)中的分段数目。而且，令Fs，k和Fj，m分别为对应于种子和候选歌曲的第k个和第m个分段的特征矢量。于是，在播放列表生成过程中被分割的种子歌曲(用s表示)和被分割的候选歌曲(用j表示)之间的距离D(Fs，Fj)由下式给出：
D ( F s , F j ) = min m = 1 . . . M k = 1 . . . K ( F s , k - F j , m )
符合预先确定的距离准则的若干候选歌曲可以被选择。例如，这些歌曲可以以距离增长的次序在播放列表中列出。用户可以选择最高的(比方30个)匹配来创建播放列表。可替换地，对于D(Fs，Fj)的最大阈值可以被预先确定，以及仅仅具有低于阈值的距离的那些内容项目(歌曲)被选择用于播放列表。
在第二个实施例中，分割是通过比较在特征矢量中的瞬时改变而被实现的。本实施例的简单示意被示于图2中。这可以通过以下方式被实现，即：通过在步骤205连续地平均在步骤201中所提取的特征矢量，直到在步骤203中在特征统计中的瞬时改变超过了某一阈值T。无论何时这个过程发生，都设置分割边界、重置平均缓冲器207，以及将分段特征矢量写入特征数据库，步骤209。这个过程被重复直至达到歌曲结尾。这个方法的优点在于，它提供了在每首歌曲的特征数目和特征的代表之间的一个较好折衷。瞬时改变可以以几种方式进行计算。一些例子是：瞬时改变是在局部平均(local mean)，漂移监控(drifting monitoring)等等中的改变。
再次以第一个实施例作为参考进行说明，符合预先确定的距离准则的许多候选歌曲可以被选择以生成播放列表。
在第三个实施例中，通过分析矢量的分布来提取特征矢量以及确定典型的特征矢量。这种分布的一个简单例子被示于图3中。
在这个例子中，特征F1、F2和F3被取作典型的特征。这样，歌曲分割就不是必需的了。根据本实施例的方法只是着眼于统计量，并且采用局部最大值作为典型特征。如果存在几个局部最大值，则会提取多个典型特征。如果仅有一个最大值，那么歌曲就只有一个典型特征。
再次以第一个实施例作为参考进行说明，符合预先确定的距离准则的若干候选歌曲可以被选择以生成播放列表。结果，在这个过程中播放列表的随机化可以通过从典型特征中随机地选择而获得。这样可实现一个更精确的(无噪声的)被随机化的播放列表。
虽然本发明的优选实施例在伴随的附图中已被举例说明以及在前述的详细说明中被说明了，但是将理解：本发明不限于所公开的实施例，而是在不脱离下面权利要求中所陈述的本发明范围的情况下，能有多种修改。

Claims (9)

1.一种用于自动生成候选内容项目的播放列表的方法，该候选内容项目具有与种子内容项目特征相似的特征，该方法包括以下步骤：
将种子内容项目的至少一个特征与候选内容项目的至少一个特征进行比较以识别所述候选内容项目中与种子内容项目相似的特定候选内容项目；以及
将被识别的候选内容项目加入播放列表，
其中种子内容项目的该至少一个特征和/或候选内容项目的该至少一个特征包括多个特征，该多个特征代表种子内容项目和/或候选内容项目的不同部分。
2.根据权利要求1的方法，进一步包括以下步骤：
将多个候选内容项目中的每一个和/或种子内容项目分割为多个帧；
将至少一个特征从每一帧中提取出来以提供内容项目的多个特征。
3.根据权利要求2的方法，其中帧具有预先确定的长度。
4.根据权利要求3的方法，其中每一个帧有相同的长度。
5.根据权利要求2的方法，其中分割是基于候选内容项目和/或种子内容项目的内容。
6.根据权利要求2的方法，其中所述多个帧的边界由在所述候选内容项目和/或种子内容项目的特征中的瞬时改变确定。
7.根据以上权利要求任意之一的方法，其中将种子内容项目的至少一个特征与候选内容项目的至少一个特征进行比较的步骤进一步包括：
确定特征之间的距离的步骤以及选择具有最短距离的至少一个候选内容项目以加入播放列表的步骤。
8.一种用于自动地生成候选内容项目的播放列表的设备，该候选内容项目具有与种子内容项目特征相似的特征，该生成器包括：
一个比较器，用于将种子内容项目的至少一个特征与每个候选内容项目的至少一个特征进行比较，以识别所述候选内容项目中与种子内容项目相似的特定候选内容项目；以及
一个编辑器，用于将被识别的候选内容项目加入播放列表，
其中种子内容项目的至少一个特征和/或候选内容项目的至少一个特征包括多个特征，该多个特征代表种子内容项目和/或候选内容项目的不同部分。
9.一种计算机程序产品，包括用于执行根据权利要求1至7任意之一的方法的多个程序代码部分。
CN2006800361319A 2005-09-29 2006-09-01 通过分割的特征比较而自动生成播放列表的方法和设备 Expired - Fee Related CN101278350B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05109015.7 2005-09-29
EP05109015 2005-09-29
PCT/IB2006/053057 WO2007036817A1 (en) 2005-09-29 2006-09-01 Method and apparatus for automatically generating a playlist by segmental feature comparison

Publications (2)

Publication Number Publication Date
CN101278350A true CN101278350A (zh) 2008-10-01
CN101278350B CN101278350B (zh) 2011-05-18

Family

ID=37719136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800361319A Expired - Fee Related CN101278350B (zh) 2005-09-29 2006-09-01 通过分割的特征比较而自动生成播放列表的方法和设备

Country Status (8)

Country Link
US (1) US20080235267A1 (zh)
EP (1) EP1932154B1 (zh)
JP (1) JP2009510509A (zh)
CN (1) CN101278350B (zh)
AT (1) ATE464642T1 (zh)
DE (1) DE602006013666D1 (zh)
ES (1) ES2344123T3 (zh)
WO (1) WO2007036817A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8966394B2 (en) * 2008-09-08 2015-02-24 Apple Inc. System and method for playlist generation based on similarity data
US20110225496A1 (en) * 2010-03-12 2011-09-15 Peter Jeffe Suggested playlist
US20150242750A1 (en) * 2014-02-24 2015-08-27 Google Inc. Asymmetric Rankers for Vector-Based Recommendation
US9978374B2 (en) * 2015-09-04 2018-05-22 Google Llc Neural networks for speaker verification
US11328010B2 (en) * 2017-05-25 2022-05-10 Microsoft Technology Licensing, Llc Song similarity determination
WO2019111067A1 (en) * 2017-12-09 2019-06-13 Shubhangi Mahadeo Jadhav System and method for recommending visual-map based playlists
WO2020080268A1 (ja) * 2018-10-19 2020-04-23 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11574248B2 (en) 2020-04-02 2023-02-07 Rovi Guides, Inc. Systems and methods for automated content curation using signature analysis
US11238287B2 (en) * 2020-04-02 2022-02-01 Rovi Guides, Inc. Systems and methods for automated content curation using signature analysis

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US621673A (en) * 1899-03-21 Clipper
JPH0430382A (ja) * 1990-05-24 1992-02-03 Mazda Motor Corp 車両用音響装置
US5283819A (en) * 1991-04-25 1994-02-01 Compuadd Corporation Computing and multimedia entertainment system
AU4279893A (en) * 1992-04-10 1993-11-18 Avid Technology, Inc. A method and apparatus for representing and editing multimedia compositions
US5437050A (en) * 1992-11-09 1995-07-25 Lamb; Robert G. Method and apparatus for recognizing broadcast information using multi-frequency magnitude detection
JPH07219970A (ja) * 1993-12-20 1995-08-18 Xerox Corp 加速フォーマットでの再生方法及び再生装置
US5701452A (en) * 1995-04-20 1997-12-23 Ncr Corporation Computer generated structure
US5918223A (en) 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
JPH10134549A (ja) * 1996-10-30 1998-05-22 Nippon Columbia Co Ltd 楽曲検索装置
US6819863B2 (en) * 1998-01-13 2004-11-16 Koninklijke Philips Electronics N.V. System and method for locating program boundaries and commercial boundaries using audio categories
US6216173B1 (en) * 1998-02-03 2001-04-10 Redbox Technologies Limited Method and apparatus for content processing and routing
JP3964979B2 (ja) * 1998-03-18 2007-08-22 株式会社ビデオリサーチ 楽曲識別方法及び楽曲識別システム
US6845398B1 (en) * 1999-08-02 2005-01-18 Lucent Technologies Inc. Wireless multimedia player
US8326584B1 (en) * 1999-09-14 2012-12-04 Gracenote, Inc. Music searching methods based on human perception
US6901362B1 (en) * 2000-04-19 2005-05-31 Microsoft Corporation Audio segmentation and classification
US6910035B2 (en) * 2000-07-06 2005-06-21 Microsoft Corporation System and methods for providing automatic classification of media entities according to consonance properties
US7065416B2 (en) * 2001-08-29 2006-06-20 Microsoft Corporation System and methods for providing automatic classification of media entities according to melodic movement properties
US7031980B2 (en) * 2000-11-02 2006-04-18 Hewlett-Packard Development Company, L.P. Music similarity function based on signal analysis
JP2002175685A (ja) * 2000-12-06 2002-06-21 Alpine Electronics Inc オーディオシステム
US7432940B2 (en) * 2001-10-12 2008-10-07 Canon Kabushiki Kaisha Interactive animation of sprites in a video production
US6785645B2 (en) * 2001-11-29 2004-08-31 Microsoft Corporation Real-time speech and music classifier
US6933432B2 (en) * 2002-03-28 2005-08-23 Koninklijke Philips Electronics N.V. Media player with “DJ” mode
JP4228581B2 (ja) * 2002-04-09 2009-02-25 ソニー株式会社 オーディオ機器、オーディオデータの管理方法及びそのためのプログラム
US6987221B2 (en) * 2002-05-30 2006-01-17 Microsoft Corporation Auto playlist generation with multiple seed songs
AUPS270902A0 (en) * 2002-05-31 2002-06-20 Canon Kabushiki Kaisha Robust detection and classification of objects in audio using limited training data
US20060080356A1 (en) * 2004-10-13 2006-04-13 Microsoft Corporation System and method for inferring similarities between media objects
US7826708B2 (en) * 2004-11-02 2010-11-02 Microsoft Corporation System and method for automatically customizing a buffered media stream

Also Published As

Publication number Publication date
EP1932154B1 (en) 2010-04-14
ATE464642T1 (de) 2010-04-15
CN101278350B (zh) 2011-05-18
JP2009510509A (ja) 2009-03-12
DE602006013666D1 (de) 2010-05-27
US20080235267A1 (en) 2008-09-25
ES2344123T3 (es) 2010-08-18
WO2007036817A1 (en) 2007-04-05
EP1932154A1 (en) 2008-06-18

Similar Documents

Publication Publication Date Title
CN101278350B (zh) 通过分割的特征比较而自动生成播放列表的方法和设备
CN101202864B (zh) 动画再现装置
KR20070121810A (ko) 복합 뉴스 스토리 합성
CN101606155A (zh) 内容检索装置
CN109564576A (zh) 视频管理系统中的视频片段播放列表生成
CN111191022A (zh) 商品短标题生成方法及装置
CN103207917A (zh) 标注多媒体内容的方法、生成推荐内容的方法及系统
CN104951485A (zh) 音乐文件的数据处理方法和装置
CN103942328A (zh) 一种视频检索方法及视频装置
CN103534755A (zh) 声音处理装置、声音处理方法、程序及集成电路
CN104915403A (zh) 一种信息处理方法及服务器
CN112784056B (zh) 一种基于视频智能识别及智能语义搜索的短视频生成方法
CN114598933A (zh) 一种视频内容处理方法、系统、终端及存储介质
JP5257356B2 (ja) コンテンツ分割位置判定装置、コンテンツ視聴制御装置及びプログラム
CN103294696A (zh) 音视频内容检索方法及系统
CN104866604A (zh) 一种信息处理方法及服务器
KR100916310B1 (ko) 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법
Feng et al. Multiple style exploration for story unit segmentation of broadcast news video
US8341161B2 (en) Index database creating apparatus and index database retrieving apparatus
WO2013098848A2 (en) Method and apparatus for automatic genre identification and classification
CN103870476A (zh) 检索方法及设备
WO2003044691A1 (en) Method and apparatus for retrieving relevant information
Fersini et al. Multimedia summarization in law courts: a clustering-based environment for browsing and consulting judicial folders
CN102023994B (zh) 检索语音文件的设备和方法
US20060092327A1 (en) Story segmentation method for video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110518

Termination date: 20120901