CN101313364A - 使用数字图像的元数据和内容特征来找到相关音频伴奏的系统和方法 - Google Patents

使用数字图像的元数据和内容特征来找到相关音频伴奏的系统和方法 Download PDF

Info

Publication number
CN101313364A
CN101313364A CNA2006800435524A CN200680043552A CN101313364A CN 101313364 A CN101313364 A CN 101313364A CN A2006800435524 A CNA2006800435524 A CN A2006800435524A CN 200680043552 A CN200680043552 A CN 200680043552A CN 101313364 A CN101313364 A CN 101313364A
Authority
CN
China
Prior art keywords
image
metadata
audio accompaniment
sequence
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800435524A
Other languages
English (en)
Other versions
CN101313364B (zh
Inventor
B·M·斯卢伊斯
M·弗伯克特
K·H·J·夫里林克
A·里克卡尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101313364A publication Critical patent/CN101313364A/zh
Application granted granted Critical
Publication of CN101313364B publication Critical patent/CN101313364B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/638—Presentation of query results
    • G06F16/639—Presentation of query results using playlists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

在这里提供了一种系统(300)、设备(200)和方法(100)，用于在显示具有至少一个数字图像的序列的时候自动播放/建议至少一个音频伴奏，使得音频伴奏与特定图像序列的内容相匹配，以及匹配任何提供的和/或产生的图像元数据。搜索项是从图像自身以及用户提供的任何元数据当中导出的，然后，这些搜索项被用于找到具有如下特性的音频伴奏：(1)在图像或相关文本(例如歌曲文本)中包含这些搜索项或是其同义词，或者(2)代表通常与图像相关联的声音，例如用于快速流动的小河的图像的冲水声。本发明接受用户输入，定位恰当的音频伴奏作为搜索结果，并且通过在显示图像的时候播放音频伴奏或者通过向用户建议从这些结果中编译的播放列表来将这些结果呈现给用户。

Description

使用数字图像的元数据和内容特征来找到相关音频伴奏的系统和方法
本发明涉及的是使用数字图像序列的元数据来识别音频伴奏并与之关联，以及创建与所识别的音频相结合的序列，从而将其作为建议播放列表或是视听展示呈现给用户，其中所述音频伴奏包含了具有与图像元数据相类似的文本和元数据的音乐和声音。
越来越多的消费者系统将不同类型内容的存储和回放组合在了一起。由此，个人用于回放数字照片的系统通常将能在显示这些照片的同时播放音乐伴奏。由此产生的问题是：这种可能性为用户提出了额外的任务，那就是找到并选择恰当的音乐，以便为照片幻灯显示(数字图像序列)提供伴奏。由此需要一种用于自动播放(或建议)与特定数字图像序列的内容相匹配的音频伴奏的方法。
在一个实施例中，本发明的系统、设备和方法提供了一种通过使用数字图像(例如照片、相簿、家庭视频)的元数据来搜索音乐的方法，其中所述音乐包含了与这些照片相关联的歌曲文本。
为了实现该目的：
(1)从一个或多个图像(的集合/序列)或是从图像元数据中得到文本标签，以及
(2)这些文本标签或关键短语包含了至少一个关键字，并且被用于找到在音乐标题中、或是在与音乐相关联的歌曲文本的某些(显著)部分中、或是在音频的元数据中包含了这些关键短语的音频伴奏。
很多经典作品都具有为其音乐设置的文字，例如，“I′m AlwaysChasing Rainbows”是一首为Chopin’s Fantasie Impromptu设置的歌曲。此外，很多没有文字的音乐作品都适合作为用于幻灯显示的背景音乐，例如与海洋音乐相关联的海滨幻灯显示。除了音乐之外，音轨同样可以作为音频伴奏而被提供。后面的这些音频伴奏必须具有用于描述其内容的相关元数据。
图1描述的是根据本发明的方法的功能流程图；
图2描述的是根据本发明而将音乐与歌曲相关联的设备；以及
图3描述的是根据本发明的系统。
本领域普通技术人员应该理解，提供以下描述是为了进行例证，而不是加以限制。技术人员应该理解的是，在本发明的实质和所附权利要求的范围以内存在着多种变型。对已知功能和操作来说，与之相关的不必要细节可以从当前描述中被省略，以免与本发明相混淆。
在一个优选实施例中，用户提供的数字图像内容和特性被用于导出文本标签(图像元数据)，这些文本标签可以是包含了从用户指定的图像名/标签中导出的至少一个关键字的关键短语，或者是从图像的文本注释中得出的关键短语。在一个优选实施例中，通过对文本内容使用光学字符识别(OCR)、对场景使用图像场景识别以及对对象(包括人和动物)使用图像对象识别，识别图像序列的内容。用户提供的图像特性被当作图像元数据对待，并且可以包括如下项目，例如特定于用户的数据(例如种族划分、性别、年龄、职业)、图像的创建时间和创建地点的信息，这些项目将被转换成有意义的名称，或者转换成包含标准化关键字并且描述了最有可能发生的事件和地点(例如生日、圣诞节、纽约、巴黎、暑假、......)的关键短语。
在一个实施例中，使用图像内容分析算法来对图像风景进行分类，并且提供了用于描述图像的元数据，而这些元数据则可以用作搜索项，以便搜索用关键短语索引的音频伴奏数据库。与该分类相关联的文字或标签同样被用于导出文本标签(图像元数据)，然后，这些文本标签被用于找到相关的音频内容。例如，我们可以从其总体的白色中检测到冬天的场景。这种特性的识别被转换成某个文本元数据(标签)，例如冬天、雪、白色。然后，这些元数据可以用于找到具有与冬天、下雪等等有关的歌曲文本和音频元数据的音频。
在一个优选实施例中，关于图像的元数据被合并。例如，时间信息可以转换成“圣诞节”，而场景分析信息产生(除了别的文字之外)“白色”。本发明在这个实例中找出“白色圣诞节”以及下雪的声音。
在一个优选实施例中，选定的音频伴奏会在时间上延续，以便覆盖图像序列，这是因为一般来说，并不希望此类序列为每一个组成图像都跳转另一个音频伴奏。由此，较为有利的是将可用于图像序列的元数据聚合成关于整个序列的描述。然后，通过使用聚合元数据，可以选择至少一个适合整个图像序列的音频伴奏。
在另一个替换实施例中，可以通过具有关于用户的可用信息(例如用于提供恰当程度的位置粒度的地理住宅位置，用于导出正确事件的区域/文化背景，用于确定假期的个人/家庭信息，等等)，来改进元数据到有意义的文本标签的转换。
在一个优选实施例中，音效是作为与图像的元数据相关的音频伴奏提供的。例如，聚会的幻灯显示可以穿插玻璃杯的声音。关于人群的图片可以触发一个低语的声音。
现在参考图1，该图描述了根据本发明的方法的优选实施例的一个流程图实例。在步骤102，图像或图像序列101连同相关联的元数据101一起被输入，其中该元数据是为至少一个图像接收和创建的元数据中的至少一个，然后，图像和元数据保留在短期持久性存储器(persistentmemory)103中。该图像元数据既可以由用户输入，也可以由本发明导出，并且可以包括：日期、时间、事件、位置、图像与用户的关系或是其他描述符。本发明的系统、设备和方法可以包括用于将用户输入的任何元数据标准化成标准集合的术语及其同义词的辞典104.1，例如mom，mother，ma，mama，madre等等，所有这些指示的都是图像的同一“mother(母亲)”特性。同样，本发明的方法100可以包括用于创建白色冬天场景之类的图像元数据的图像分析能力。包括用户输入的元数据和系统创建的元数据的这两种类型元数据连同图像序列一起保存在持久性存储器103中，并且必须保存至少一种类型的元数据，以便本发明的系统300、设备200和方法100定位(locate)用于输入图像序列的相应音频伴奏。
提供了一个预先用标准化的音频伴奏元数据注释(索引)的音频伴奏数据库104。通过使用保留在短期持久性存储器103中的、标准化的被捕获/创建的图像元数据，在步骤105，搜索所提供的音乐数据库104，以寻求匹配音乐元数据。在步骤106，所有匹配的音乐元数据都被编译到一个播放列表中，与图像相关联，并且保留在持久性存储器103中。在一个优选实施例中，还会导出匹配程度，例如，冬天、白色图像以及用户提供的日期12/25将会导致与“White Christmas(白色圣诞节)”100％匹配，而与“Walking In A Winter Wonderland(在冬天仙境漫步)”则没那么匹配。在步骤107，从持久性存储器103中检索搜索结果，在显示图像的同时，最佳匹配是在有序的音乐伴奏建议列表中被播放或呈现的一个。在一个优选实施例中，图像和音频注释都保存在数据库108中，以便在以后进行检索、显示和播放。
现在参考图2，该图描述的是用于在显示图像时将音频伴奏与图像相关联以及用于向用户呈现音频伴奏播放列表的设备200。该设备包括图像元数据捕获/创建模块201，用于接收图像、图像序列以及描述图像和图像序列的元数据。该元数据包括日期、时间、季节、事件、与用户的关系、个人/宠物的名称，图像和图像序列的位置。用户输入的元数据由模块201捕获，以及由模块201通过图像分析创建，例如是海洋或湖泊、岛屿等等。一旦捕获了图像及其元数据，并且模块201创建了用于输入图像序列的元数据，那么它会保留在短期持久性存储器103中。然后，搜索/关联模块203根据元数据在数据库102中搜索适当的音频伴奏，并且建议/播放模块204进行建议播放列表或播放搜索得出的最相关音频伴奏中的至少一个。在一个优选实施例中，该结果被保存在已注释图像的数据库108中，以便在以后进行检索和播放。持久性存储器103是一个相对短期的存储器，其持续时间仅与用户希望由包括设备200的显示装置显示图像序列的时间是一样长的。
现在参考图3，该图描述的是包括图2设备200的系统300。该系统300接受数字图像内容，以及由此由用户101输入的元数据，通过使用图2的设备200借助辞典104.1来创建附加图像元数据(如有必要)，以在其数据库104中定位恰当音频伴奏，并且将得到的与输入序列相关联的音频伴奏保存在短期持久性存储器103中。然后，该系统或者在显示302图像/序列的同时播放301音频伴奏，或者向用户建议302结果播放列表。这些结果以及图像还可以保存在注释的图像数据库108中，以便在以后进行检索和查看。
虽然在这里描述并且例证了本发明的优选实施例，但是本领域技术人员应该理解，这里描述的系统、设备和方法是例证性的，在没有脱离本发明的实际范围的情况下，众多的变更和修改都是可行的，并且可以使用等价物来替换其部件。此外，在不脱离本发明中心范围的情况下，众多的修改都可被实施，以使本发明的教导适应于特定的图像回放/声音/音效设置。由此，本发明并不局限于作为预期执行本发明的最佳模式而被公开的特定实施例，相反，本发明包含了落入所附权利要求范围以内的所有实施例。

Claims (17)

1.一种使用与至少一个图像(101)的序列相关联的内容元数据来为其提供音乐伴奏的方法，包括以下步骤：
使用与该序列相关联的内容元数据，在数据库(104)中定位匹配的(105)音频伴奏；以及
提供所定位的音频伴奏(107)，作为该序列的伴奏。
2.权利要求1的方法，其中，内容元数据包括日期、时间、事件、位置、图像与用户的关系、用户特性以及描述符关键短语。
3.权利要求1的方法，还包括以下步骤：
提供标准内容元数据及其同义词的辞典(104.1)；以及
使用该辞典(104.1)来将关联于该序列(101)的内容元数据标准化成标准的内容元数据(104.1)。
4.权利要求3的方法，其中，内容元数据包括日期、时间、事件、位置、图像与用户的关系、以及描述符关键短语。
5.权利要求1的方法，还包括以下步骤：通过从包含以下各项的组中选择的技术而将内容元数据与序列相关联(102)：分配元数据描述符，通过至少一个图像的内容分析来导出出元数据描述符。
6.权利要求5的方法，其中，内容分析是从包含以下各项的组中选出的：文本的光学字符识别，图像场景识别，以及图像对象识别。
7.权利要求5的图像，其中，提供步骤还包括首先执行以下步骤：
将所定位的音频伴奏编译(106)到与该序列相关联的播放列表中；以及
将从经过编译的播放列表中做出的任何选择包含在所定位的音频伴奏中。
8.权利要求7的方法，还包括以下步骤：
将序列以及为其定位的音频伴奏保留在短期持久性存储器103中；以及
在所述提供步骤之前，检索保留的序列以及为其定位的音频伴奏。
9.权利要求8的方法，其中，内容元数据包括：用户数据、日期、时间、事件、位置、图像与用户的关系、图像中的个人姓名、图像中的宠物名称、图像标题、季节、温度、纬度、经度、大小、身体部位、颜色、以及描述符关键短语。
10.权利要求9的方法，还包括以下步骤：
提供标准内容元数据及其同义词的辞典(104.1)；以及
使用该辞典(104.1)来将关联于序列(101)的内容元数据标准化成标准的内容元数据(104.1)。
11.权利要求10的方法，其中：
所述定位步骤还包括导出匹配程度的步骤；以及
所述提供步骤还包括首先根据匹配程度来对所提供的音频伴奏执行从最低到最高的排序的步骤。
12.权利要求10的方法，其中，所述提供步骤还包括以下步骤：
将关联于所定位的音频伴奏的序列存储在数据库108中；以及
从数据库(108)中检索所存储的序列以及相关联的音频伴奏。
13.一种将音频伴奏与至少一个图像的序列相关联的设备(200)，其中该图像具有与之同时呈现的内容，该设备(200)包括：
图像/元数据捕获/创建模块(201)，用于捕获序列，以及捕获和创建用于描述至少一个图像的内容的元数据；
音频伴奏元数据搜索/关联模块(203)，该模块使用相关联的元数据作为搜索准则，在音频伴奏数据库(104)中搜索音频伴奏；
音频伴奏建议/播放模块(204)，用于建议从搜索中得出的音频伴奏的播放列表；以及
图像序列显示模块(202)，用于在音频伴奏建议/播放模块(204)播放从搜索中得到的音频伴奏时同时显示该序列。
14.权利要求13的设备(200)，还包括：
数据库(108)；
其中，图像/元数据捕获/创建模块(201)和音频伴奏元数据搜索/关联模块(203)每一个被进一步配置成将序列、元数据和所定位的音频伴奏存储在数据库(108)中；以及
其中音频伴奏建议/播放模块(204)和图像序列显示模块(202)每一个被进一步配置成从数据库(108)中检索序列以及相关联的元数据，以便同时对其进行显示和播放。
15.权利要求13的设备(200)，其中，图像/元数据捕获/创建模块(201)被进一步配置成使用图像内容分析技术来创建元数据。
16.权利要求15的设备(200)，其中，图像内容分析技术是从包含以下各项的组中选出的：文本的光学字符识别，图像场景识别，图像对象识别。
17.一种用于至少一个数字图像的序列的音频伴奏的系统(300)，包括：
显示设备(301)；
音频伴奏播放设备(302)；以及
根据权利要求16的设备(200)，其中该设备可操作地连接到显示设备(301)和音频播放设备(302)，
其中该设备(200)接受至少一个图像的序列以及第一图像元数据(101)，使用内容分析技术(102)来导出第二图像元数据，使用第一和第二元数据来定位恰当的音频伴奏，然后则执行以下操作之一：在显示(302)序列的时候播放(301)音频伴奏，或者向用户建议(302)结果的播放列表。
CN2006800435524A 2005-11-21 2006-11-15 使用数字图像的元数据和内容特征来找到相关音频伴奏的系统和方法 Expired - Fee Related CN101313364B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US73849705P 2005-11-21 2005-11-21
US60/738,497 2005-11-21
PCT/IB2006/054281 WO2007057850A2 (en) 2005-11-21 2006-11-15 System and method for using content features and metadata of digital images to find related audio accompaniiment

Publications (2)

Publication Number Publication Date
CN101313364A true CN101313364A (zh) 2008-11-26
CN101313364B CN101313364B (zh) 2011-12-21

Family

ID=38049048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800435524A Expired - Fee Related CN101313364B (zh) 2005-11-21 2006-11-15 使用数字图像的元数据和内容特征来找到相关音频伴奏的系统和方法

Country Status (7)

Country Link
US (1) US8171016B2 (zh)
EP (1) EP1958203A2 (zh)
JP (1) JP5457676B2 (zh)
KR (1) KR101329266B1 (zh)
CN (1) CN101313364B (zh)
RU (1) RU2444072C2 (zh)
WO (1) WO2007057850A2 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859562A (zh) * 2010-07-01 2010-10-13 无锡骏聿科技有限公司 一种现有图像与卡拉ok旋律实时匹配的方法
CN102256030A (zh) * 2010-05-20 2011-11-23 Tcl集团股份有限公司 可匹配背景音乐的相册演示系统及其背景音乐匹配方法
CN102547298A (zh) * 2010-12-17 2012-07-04 中国移动通信集团公司 图像信息输出方法、装置及终端
CN102622386A (zh) * 2011-08-05 2012-08-01 北京小米科技有限责任公司 一种播放网页音乐的方法和系统
CN101727943B (zh) * 2009-12-03 2012-10-17 无锡中星微电子有限公司 一种图像配乐的方法、图像配乐装置及图像播放装置
CN103329145A (zh) * 2010-11-25 2013-09-25 无线电广播技术研究所有限公司 用于视频记录期间的声音的改善音频信号呈现的方法和组件
CN103475789A (zh) * 2013-08-26 2013-12-25 宇龙计算机通信科技(深圳)有限公司 一种移动终端及其控制方法
CN103795897A (zh) * 2014-01-21 2014-05-14 深圳市中兴移动通信有限公司 自动生成背景音乐的方法和装置
CN104199876A (zh) * 2014-08-20 2014-12-10 广州三星通信技术研究有限公司 关联乐曲与图片的方法和装置
CN104573132A (zh) * 2015-02-13 2015-04-29 广东欧珀移动通信有限公司 歌曲查找方法及装置
CN104615689A (zh) * 2015-01-22 2015-05-13 百度在线网络技术（北京）有限公司 一种搜索方法及装置
CN105159988A (zh) * 2015-08-28 2015-12-16 广东小天才科技有限公司 一种浏览照片的方法及装置
CN105335455A (zh) * 2015-08-28 2016-02-17 广东小天才科技有限公司 一种阅读文字的方法及装置
WO2016095562A1 (zh) * 2014-12-18 2016-06-23 百度在线网络技术（北京）有限公司 搜索实现方法、装置、系统以及计算机设备
CN105912722A (zh) * 2016-05-04 2016-08-31 广州酷狗计算机科技有限公司 歌曲发送方法及装置
CN106055671A (zh) * 2016-06-03 2016-10-26 腾讯科技（深圳）有限公司 一种多媒体数据处理方法及其设备
CN107025295A (zh) * 2017-04-14 2017-08-08 维沃移动通信有限公司 一种照片电影制作方法及移动终端
CN107038233A (zh) * 2017-04-14 2017-08-11 维沃移动通信有限公司 一种照片电影制作方法及移动终端

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2235650A1 (en) 2008-01-22 2010-10-06 Koninklijke Philips Electronics N.V. Method of suggesting accompaniment tracks for synchronised rendering with a content data item
US8261178B2 (en) * 2008-09-12 2012-09-04 Sony Corporation Audio data distribution system and method for generating a photo slideshow which automatically selects music
JP5316022B2 (ja) * 2009-01-26 2013-10-16 オンキヨー株式会社 画像ファイル及びオーディオファイルを同期再生するコンテンツ再生システム
JP2010257266A (ja) * 2009-04-27 2010-11-11 Sharp Corp コンテンツ出力システム、サーバー装置、コンテンツ出力装置、コンテンツ出力方法、コンテンツ出力プログラム、及びコンテンツ出力プログラムを記憶した記録媒体
JP4930564B2 (ja) * 2009-09-24 2012-05-16 カシオ計算機株式会社 画像表示装置及び方法並びにプログラム
US8542982B2 (en) * 2009-12-22 2013-09-24 Sony Corporation Image/video data editing apparatus and method for generating image or video soundtracks
US8856212B1 (en) 2011-02-08 2014-10-07 Google Inc. Web-based configurable pipeline for media processing
US8935259B2 (en) 2011-06-20 2015-01-13 Google Inc Text suggestions for images
US20150006618A9 (en) * 2011-09-09 2015-01-01 Robert Bryce Clemmer System and method for providing matched multimedia video content
US20130086143A1 (en) * 2011-09-30 2013-04-04 Google Inc. Music On Video Site
US20140013193A1 (en) * 2012-06-29 2014-01-09 Joseph John Selinger Methods and systems for capturing information-enhanced images
KR20140038577A (ko) * 2012-09-11 2014-03-31 한국과학기술연구원 메타데이터를 이용한 콘텐츠 추천
US9171015B2 (en) 2012-09-14 2015-10-27 At&T Intellectual Property I, L.P. Sharing asserted media
KR20140037440A (ko) * 2012-09-18 2014-03-27 주식회사 엘지유플러스 영상의 피쳐 정보를 이용한 음악 재생 방법 및 장치
US10353942B2 (en) * 2012-12-19 2019-07-16 Oath Inc. Method and system for storytelling on a computing device via user editing
JP2014135599A (ja) * 2013-01-09 2014-07-24 Sony Corp 情報処理装置、情報処理方法、並びに記録媒体
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
US9208382B2 (en) * 2013-03-08 2015-12-08 Trimble Navigation Limited Methods and systems for associating a keyphrase with an image
EP2879047A3 (en) * 2013-11-28 2015-12-16 LG Electronics Inc. Mobile terminal and controlling method thereof
US20150185599A1 (en) * 2013-12-31 2015-07-02 Brian Mullins Audio based on captured image data of visual content
RU2608873C2 (ru) * 2014-02-14 2017-01-25 Общество С Ограниченной Ответственностью "Яндекс" Способ связывания метаданных цифрового контента с цифровым контентом (варианты), электронное устройство (варианты), машиночитаемый носитель (варианты)
US10049477B1 (en) 2014-06-27 2018-08-14 Google Llc Computer-assisted text and visual styling for images
US9875245B2 (en) * 2015-04-10 2018-01-23 Apple Inc. Content item recommendations based on content attribute sequence
KR102545768B1 (ko) 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법
US10140515B1 (en) * 2016-06-24 2018-11-27 A9.Com, Inc. Image recognition and classification techniques for selecting image and audio data
US11182424B2 (en) 2018-05-08 2021-11-23 Spotify Ab Image based content search and recommendations
CN109063163B (zh) * 2018-08-14 2022-12-02 腾讯科技（深圳）有限公司 一种音乐推荐的方法、装置、终端设备和介质
KR102579452B1 (ko) * 2018-09-05 2023-09-15 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US11263493B2 (en) 2019-06-25 2022-03-01 Spotify Ab Automatic metadata detector based on images
US11544314B2 (en) 2019-06-27 2023-01-03 Spotify Ab Providing media based on image analysis
KR20230037329A (ko) 2021-09-09 2023-03-16 네이버 주식회사 이벤트 맞춤형 오디오 콘텐츠를 렌더링하기 위한 컴퓨터 시스템 및 그의 방법

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3840321B2 (ja) * 1997-08-18 2006-11-01 松下電器産業株式会社 異種メディア対の予測方法及びその装置
JP2000250944A (ja) * 1998-12-28 2000-09-14 Toshiba Corp 情報提供方法、情報提供装置、情報受信装置、並びに情報記述方法
US6404925B1 (en) * 1999-03-11 2002-06-11 Fuji Xerox Co., Ltd. Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition
JP2001184357A (ja) * 1999-12-24 2001-07-06 Victor Co Of Japan Ltd マルチメディア素材検索装置
JP2001202082A (ja) * 2000-01-17 2001-07-27 Matsushita Electric Ind Co Ltd 映像信号編集装置および方法
JP2002057975A (ja) * 2000-08-11 2002-02-22 Noritsu Koki Co Ltd 撮影画像記録装置
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
US6993532B1 (en) * 2001-05-30 2006-01-31 Microsoft Corporation Auto playlist generator
US20030065503A1 (en) * 2001-09-28 2003-04-03 Philips Electronics North America Corp. Multi-lingual transcription system
FR2830714B1 (fr) 2001-10-04 2004-01-16 Eastman Kodak Co Procede automatique d'enrichissement d'image numerique
JP4542301B2 (ja) * 2002-02-27 2010-09-15 ホットアルバムコム株式会社 動画データ生成システム及び動画データ生成方法
US8285111B2 (en) 2002-04-19 2012-10-09 Tivo Inc. Method and apparatus for creating an enhanced photo digital video disc
BR0316013A (pt) * 2002-11-08 2005-09-13 Koninkl Philips Electronics Nv Método para prover uma recomendação de conteúdo a um usuário, dispositivo de recomendação para prover uma recomendação de conteúdo a um usuário, e, gravador de vìdeo privado
US20040095379A1 (en) 2002-11-15 2004-05-20 Chirico Chang Method of creating background music for slideshow-type presentation
EP1422668B1 (en) * 2002-11-25 2017-07-26 Panasonic Intellectual Property Management Co., Ltd. Short film generation/reproduction apparatus and method thereof
US20040122539A1 (en) * 2002-12-20 2004-06-24 Ainsworth Heather C. Synchronization of music and images in a digital multimedia device system
KR20040080736A (ko) * 2003-03-13 2004-09-20 삼성전자주식회사 인터랙티브 컨텐츠 동기화 장치 및 방법
JP2004297424A (ja) * 2003-03-27 2004-10-21 Fuji Photo Film Co Ltd デジタルカメラ
KR101013828B1 (ko) * 2003-06-17 2011-02-14 파이오니아 가부시키가이샤 정보 기록 매체, 정보 기록 장치 및 방법, 정보 재생 장치 및 방법, 그리고 정보 기록 재생 장치 및 방법
CN1830201A (zh) * 2003-07-29 2006-09-06 皇家飞利浦电子股份有限公司 数字照片的丰富照片浏览体验
US7546288B2 (en) * 2003-09-04 2009-06-09 Microsoft Corporation Matching media file metadata to standardized metadata
US20050057578A1 (en) 2003-09-16 2005-03-17 Shan-Jang Chen Digital photo frame
JP3944160B2 (ja) * 2003-12-25 2007-07-11 キヤノン株式会社 撮像装置、情報処理装置、それらの制御方法及びプログラム
JP4221308B2 (ja) * 2004-01-15 2009-02-12 パナソニック株式会社 静止画再生装置、静止画再生方法及びプログラム
GB2412804A (en) * 2004-03-30 2005-10-05 Nokia Corp Recording images with associated context information
KR100601677B1 (ko) * 2004-05-17 2006-07-14 삼성전자주식회사 저장 매체에 기록된 데이터와 다운로드된 데이터를 함께재생하는 재생 방법 및 그 재생 장치
JP2006065002A (ja) * 2004-08-26 2006-03-09 Kenwood Corp コンテンツ再生装置及び方法
JP4595704B2 (ja) * 2005-06-22 2010-12-08 カシオ計算機株式会社 画像処理装置、撮像装置、およびプログラム
WO2007004139A2 (en) * 2005-06-30 2007-01-11 Koninklijke Philips Electronics N.V. Method of associating an audio file with an electronic image file, system for associating an audio file with an electronic image file, and camera for making an electronic image file

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727943B (zh) * 2009-12-03 2012-10-17 无锡中星微电子有限公司 一种图像配乐的方法、图像配乐装置及图像播放装置
CN102256030A (zh) * 2010-05-20 2011-11-23 Tcl集团股份有限公司 可匹配背景音乐的相册演示系统及其背景音乐匹配方法
CN101859562A (zh) * 2010-07-01 2010-10-13 无锡骏聿科技有限公司 一种现有图像与卡拉ok旋律实时匹配的方法
CN101859562B (zh) * 2010-07-01 2013-03-06 无锡骏聿科技有限公司 一种现有图像与卡拉ok旋律实时匹配的方法
CN103329145A (zh) * 2010-11-25 2013-09-25 无线电广播技术研究所有限公司 用于视频记录期间的声音的改善音频信号呈现的方法和组件
CN103329145B (zh) * 2010-11-25 2017-06-27 无线电广播技术研究所有限公司 用于视频记录期间的声音的改善音频信号呈现的方法和组件
CN102547298B (zh) * 2010-12-17 2014-09-10 中国移动通信集团公司 图像信息输出方法、装置及终端
CN102547298A (zh) * 2010-12-17 2012-07-04 中国移动通信集团公司 图像信息输出方法、装置及终端
CN102622386A (zh) * 2011-08-05 2012-08-01 北京小米科技有限责任公司 一种播放网页音乐的方法和系统
CN103475789A (zh) * 2013-08-26 2013-12-25 宇龙计算机通信科技(深圳)有限公司 一种移动终端及其控制方法
CN103475789B (zh) * 2013-08-26 2016-05-04 宇龙计算机通信科技(深圳)有限公司 一种移动终端及其控制方法
CN103795897A (zh) * 2014-01-21 2014-05-14 深圳市中兴移动通信有限公司 自动生成背景音乐的方法和装置
CN104199876A (zh) * 2014-08-20 2014-12-10 广州三星通信技术研究有限公司 关联乐曲与图片的方法和装置
WO2016095562A1 (zh) * 2014-12-18 2016-06-23 百度在线网络技术（北京）有限公司 搜索实现方法、装置、系统以及计算机设备
CN104615689A (zh) * 2015-01-22 2015-05-13 百度在线网络技术（北京）有限公司 一种搜索方法及装置
CN104573132A (zh) * 2015-02-13 2015-04-29 广东欧珀移动通信有限公司 歌曲查找方法及装置
CN104573132B (zh) * 2015-02-13 2017-10-31 广东欧珀移动通信有限公司 歌曲查找方法及装置
CN105335455A (zh) * 2015-08-28 2016-02-17 广东小天才科技有限公司 一种阅读文字的方法及装置
CN105159988A (zh) * 2015-08-28 2015-12-16 广东小天才科技有限公司 一种浏览照片的方法及装置
CN105159988B (zh) * 2015-08-28 2018-08-21 广东小天才科技有限公司 一种浏览照片的方法及装置
CN105912722A (zh) * 2016-05-04 2016-08-31 广州酷狗计算机科技有限公司 歌曲发送方法及装置
CN105912722B (zh) * 2016-05-04 2018-11-09 广州酷狗计算机科技有限公司 歌曲发送方法及装置
CN106055671A (zh) * 2016-06-03 2016-10-26 腾讯科技（深圳）有限公司 一种多媒体数据处理方法及其设备
CN106055671B (zh) * 2016-06-03 2022-06-14 腾讯科技（深圳）有限公司 一种多媒体数据处理方法及其设备
CN107025295A (zh) * 2017-04-14 2017-08-08 维沃移动通信有限公司 一种照片电影制作方法及移动终端
CN107038233A (zh) * 2017-04-14 2017-08-11 维沃移动通信有限公司 一种照片电影制作方法及移动终端

Also Published As

Publication number Publication date
KR20080085848A (ko) 2008-09-24
RU2444072C2 (ru) 2012-02-27
CN101313364B (zh) 2011-12-21
EP1958203A2 (en) 2008-08-20
WO2007057850A3 (en) 2007-11-01
RU2008125058A (ru) 2009-12-27
US20080256100A1 (en) 2008-10-16
WO2007057850A2 (en) 2007-05-24
JP5457676B2 (ja) 2014-04-02
US8171016B2 (en) 2012-05-01
JP2009516951A (ja) 2009-04-23
KR101329266B1 (ko) 2013-11-14

Similar Documents

Publication Publication Date Title
CN101313364B (zh) 使用数字图像的元数据和内容特征来找到相关音频伴奏的系统和方法
US9286360B2 (en) Information processing system, information processing device, information processing method, and computer readable recording medium
US9690768B2 (en) Annotating video intervals
US8934717B2 (en) Automatic story creation using semantic classifiers for digital assets and associated metadata
US7546288B2 (en) Matching media file metadata to standardized metadata
US9098579B2 (en) Automatically selecting thematically representative music
KR20070106537A (ko) 콘텐츠 재생장치 및 콘텐츠 재생방법
US8145034B2 (en) Contents replay apparatus and contents replay method
US20070193437A1 (en) Apparatus, method, and medium retrieving a highlighted section of audio data using song lyrics
US20210082382A1 (en) Method and System for Pairing Visual Content with Audio Content
KR20070086804A (ko) 연관된 콘텐트 검색에서 위치 유사 문턱값의 조정
US20090287649A1 (en) Method and apparatus for providing content playlist
KR20200023013A (ko) 영상 컨텐츠 검색을 지원하는 영상 서비스 장치 및 영상 컨텐츠 검색 지원 방법
JP4064902B2 (ja) メタ情報生成方法、メタ情報生成装置、検索方法および検索装置
US20040158862A1 (en) Apparatus for and method of searching multimedia contents on television
JP2008522310A (ja) 関連コンテンツの抽出
JP2004152174A (ja) コンテンツ再生装置、コンテンツ提供システム、コンテンツ検索方法、およびプログラム
Kuo et al. MPEG-7 based dozen dimensional digital content architecture for semantic image retrieval services
Phang et al. Tools and technologies for enhancing access to audiovisual archives: The Singapore journey
NO20140958A1 (no) Fremgangsmåte og system for søk i digitalt innhold
Bozzon et al. Chapter 8: Multimedia and multimodal information retrieval
JP2016177827A (ja) 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
Moens et al. State of the art on semantic retrieval of AV content beyond text resources
Gouaillier et al. Use of the MPEG-7 standard as metadata framework for a location scouting system--An evaluation study
CN105893431A (zh) 媒体检索方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111221

Termination date: 20191115