CN102099804A

CN102099804A - 增强音频播放的自适应显示器

Info

Publication number: CN102099804A
Application number: CN2008801304191A
Authority: CN
Inventors: 雅各布·科内利斯·哈特森; 斯滕·米诺尔; 本特·斯塔韦诺; 威廉姆·坎普; 罗纳德·路克斯; 比约恩·马丁·贡纳尔·林德奎斯特
Original assignee: Sony Ericsson Mobile Communications AB
Current assignee: Sony Mobile Communications AB
Priority date: 2008-07-18
Filing date: 2008-10-14
Publication date: 2011-06-15
Also published as: JP2011528820A; EP2307984A1; WO2010008408A1; KR20110043671A; EP2307984B1; US8676869B2; US20100017438A1

Abstract

一种音频播放设备(100)和方法搜索发起针对与正在播放的音乐或其他音频文件相关的图像的网络搜索，从搜索引擎(60)返回的选定网页下载图像，并且在显示器(110)上输出所选网页中的一个或多个图像以增强用户的听觉体验。

Description

增强音频播放的自适应显示器

相关申请

本申请要求2008年7月18日提交的美国临时专利申请61/081821以及2008年9月12日提交的美国实用新型申请12,209,300的优先权，此处通过引用将上述申请的内容并入。

背景技术

本发明总体上涉及用于增强音频播放的方法和装置，尤其涉及一种在音频播放设备显示器上选择和显示图像以增强音频播放的方法和装置。

数字电子技术的发展导致了便携式音频设备的快速增长。特别是，诸如音频CD播放器、数字音频播放器、FM/AM收音机、电视机、DVD播放机之类的便携式音频设备由于大小和重量小得足以使用户容易携带而已经在消费者中越来越流行。也正是由于移动电话、个人数字助理(PDAs)以及其他无线设备与音频播放功能的相融合越来越普遍，才使得消费者可以使用他们的移动电话或者其他无线设备作为便携式音频播放器。

许多便携式音频设备都包括一个能够显示诸如图像和视频之类的视觉内容的显示器。显示器可以被用来显示与正在播放的音频文件有关的视觉内容，比如专辑封面和演唱会视频。通常，用户下载与用户的音频文件有关的视觉内容(例如，图像和/或视频)，将音频文件与视觉内容相关联，并且将视觉内容储存在存储器中。当音频文件正在播放时，可以从存储中检索到与之相关的视觉内容并且输出在显示器上。不幸的是，视觉内容局限于用户的下载内容以及存储在用户设备的存储器中的内容或者局限于音频内容供应商所供应的内容。

发明内容

本发明提供了一种响应于对音频文件的选择或播放而从网络服务器下载或显示视觉内容的方法和装置。当用户选择或播放一音频文件时，演唱者姓名、歌曲名、专辑名，或者其他与该音频文件有关的文字信息被用于搜索包含相关图像的可公开访问的网页。相关图像，举例来说，可以包括专辑封面，演唱者表演图像、演唱会视频等。在本发明的实施方案中，用户的设备利用例如演唱者姓名来制定一个查询，把此查询发送到网络搜索引擎，并且在可公开访问的网页中针对相关图像发起网络搜索。当通过网络搜索引擎返回搜索结果时，用户的设备过滤该搜索结果，下载所选择的网页，从网页中提取图像并且在显示器上输出这些图像。这些图像可以被全屏显示或转换成显示在背景中的壁纸。

示范实施方式包括一种在连网设备的显示器上显示与音频文件相关的图像的方法。该方法包括以下步骤：播放音频文件；识别与该音频文件有关的文本信息；访问公共网络搜索引擎；向所述网络搜索引擎提供基于所述文本信息的搜索标准并发起针对包含相关图像的公共网页的搜索；从所述网络搜索引擎接收包含相关图像的网页列表；以及在该音频文件被播放的同时在该连网设备的显示器上显示这些网页中的一个或更多个相关图像。

在一种示范方法中，识别与音频文件相关的文本信息的步骤包括：从音频文件中捕捉音频样本并且基于所捕捉的音频样本来识别与音频文件相关的文本信息。

在一种示范方法中，识别与音频文件相关的文本信息的步骤包括：提取编码在该音频文件中的文本信息。

在一种示范方法中，所述文本信息包括演唱者、歌曲名以及专辑(collective work)名中的至少一个。

这种示范方法还可以包括以下步骤：基于存储在存储器中的一个或更多个过滤列表对所述网络搜索引擎返回的所述网页列表进行过滤，并且基于所述过滤来选择要显示的图像。

在一种示范方法中，对所述网络搜索引擎返回的所述网页列表进行过滤的步骤包括：基于允许列表、阻止列表以及偏好列表中的至少一个来对所述网页列表进行过滤。

这种示范方法还可以包括以下步骤：下载过滤之后留下的一个或更多个网页，并且从所下载的网页中提取图像。

这种示范方法还可以包括以下步骤：对所述网络搜索引擎返回的所述网页列表进行排序，并且基于所述排序来选择要显示的图像。

示范实施方式还包括一种音频播放设备，该音频播放设备包括：用于播放音频文件的媒体播放器；显示器；以及连接至所述媒体播放器和扬声器的控制处理器，该控制处理器被配置为：识别与正在播放的音频文件有关的文本信息；连接到公共网络搜索引擎；向所述网络搜索引擎提供基于所述文本信息的搜索标准以及发起由该网络搜索引擎进行的针对包含相关图像的公共网页的搜索；从所述网络搜索引擎接收包含相关图像的网页列表；并且在播放所述音频文件的同时向所述音频播放设备的显示器输出由该网络搜索引擎返回的网页中的一个或更多个相关图像。

在一种示范音频播放设备中，所述控制处理器被配置为通过从音频文件中捕捉音频样本并基于所捕捉的音频样本识别与所述音频文件有关的文本信息，来识别与所述音频文件有关的文本信息。

在一种示范音频播放设备中，所述控制处理器被配置为通过提取以所述音频文件编码的文本信息来识别与所述音频文件相关的文本信息。

在一种示范音频播放设备中，所述文本信息包括演唱者、歌曲名以及专辑名中的至少一个。

在一种示范音频播放设备中，所述控制处理器还被配置为基于存储在存储器中的一个或更多个过滤列表对所述网络搜索引擎返回的所述网页列表作进一步的过滤，并基于所述过滤来选择要显示的图像。

在一种示范音频播放设备中，所述控制处理器还被配置为基于允许列表、阻止列表以及偏好列表中的至少一个来对所述网络搜索引擎返回的所述网页列表进行过滤。

在一种示范音频播放设备中，所述控制处理器还被配置为下载过滤之后留下的一个或更多个网页，并且从所下载的网页中提取图像。

在一种示范音频播放设备中，所述控制处理器还被配置为对所述网络搜索引擎返回的所述网页列表进行排序，并且基于所述排序来选择要显示的图像。

附图说明

图1示出了根据本发明一个示范实施方式的示范通信网络。

图2示出了通过显示在因特网搜索中获得的相关图像来增强音频播放的示范方法。

图3示出了通过显示在因特网搜索中获得的相关图像来增强音频播放的示范用户设备。

图4示出了由用户设备实现的通过显示在因特网搜索中获得的相关图像来增强音频播放的示范方法。

具体实施方式

现在参照附图，图1示出了可以采用本发明的示范通信网络10。通信网络10包括具有一个或更多个与用户设备100进行通信的基站22的无线网络20。无线网络20例如可以包括，诸如全球移动通信系统(GSM)网络、宽带码分多址(WCDMA)网络，或者其他现在已知或以后开发的蜂窝通信网络的便捷蜂窝通信网络。用户设备100例如可以包括，移动电话、个人数字助理(PDA)、膝上型计算机，或者其他无线通信设备。下面将详细描述，用户设备100并入有用于向用户播放音频文件的音频播放器和用于向用户显示视觉内容的显示器。

无线网络20连接到分组数据网络(PDN)30。PDN 30优选地包含公共的广域网(WAN)比如因特网。然而本领域的技术人员可理解的是，本发明可以在专用网或局域网(LAN)中实施。

多个网络服务器50连接到PDN 30。网络服务器50包括可通过PDN 30访问以托管(host)可从远程计算机访问的站点的计算机。由网络服务器50托管的站点通常包括网页、图像、视频及其他数字内容的集合。远程用户可以使用网络浏览器或安装在用户设备100上的类似程序来访问由网络服务器50托管的站点的资源。用户设备100中的网络浏览器以及网络服务器50通常使用某个协议，比如超文本传输协议(HTTP)在网络服务器50和用户设备100之间传输信息。

网络搜索引擎60也连接到PDN 30。网络搜索引擎60是一个被特别设计为在与PDN 30相连接的网络服务器50上搜索信息的搜索引擎。网络搜索引擎通常提供一个可由网络浏览器访问的与其他任何网页方式相同的网络界面。网络搜索引擎60接受用户通过网络界面而输入的查询内容并且以HTML页面方式返回满足该查询的搜索结果。该领域所公知的典型搜索引擎包括谷歌搜索引擎、MSN搜索引擎、雅虎搜索引擎和AltaVista搜索引擎。

在一些实施方式中，音乐识别服务器70也可连接到PDN 30。音乐识别服务器70通过将从音频文件中采集的样本与数据库进行比较而能够识别音频文件。因此，当音乐识别服务器70被提供一个音频样本时，它可以返回关于该音频文件的信息，比如演唱者、歌曲名、专辑名等。

根据本发明的实施方式，用户设备100响应于用户对音频文件的选择或播放而从网络服务器50下载或播放视觉内容。当用户选择或播放音频文件时，其演唱者的姓名、歌曲名、专辑名，或者其他与该音频文件有关的文字信息被用于发起经由网络搜索引擎60对包含相关图像的可公开访问网页的搜索。相关图像例如可以包括专辑封面、演唱者表演图像、演唱会视频等。当网络搜索引擎60返回搜索结果时，用户的设备过滤该搜索结果，从一个或更多个网络服务器50下载所选择的网页，从这些网页中提取图像并且将图像输出在显示器上。图像可以被全屏显示或被转换为显示在背景中的壁纸。

举一个例子，用户可以选择要播放的歌曲。如果该歌曲的曲名或者演唱者是已知的，那么用户设备100可以连接到网络搜索引擎60并且向网络搜索引擎发起针对该演唱者的图像或视频的搜索。此外，如果该歌曲是现场表演的记录，那么用户设备可以基于该演唱会的日期和/或地点发起一个针对演唱了此歌曲的特定演唱会的图像或视频的搜索。除此之外，如果巡回演唱会是已知的，那么用户设备也可以发起针对该巡回演唱会的图像或视频的搜索。

图2示出了根据本发明一个实施方式的动态下载并显示与正在播放的音频文件有关的图像的示范方法。用户设备100，将在下面详细描述，包括媒体播放器120、控制处理器102以及显示器110。媒体播放器120可以播放储存在存储器中的音频文件和/或来自远程服务器的流音频。当用户选择要播放或流传送的音频文件时，媒体播放器120生成由控制处理器102接收的触发信号。响应于该触发信号，控制处理器102激活网络浏览器105。网络浏览器105反过来向网络搜索引擎60发送查询以发起针对包含相关图像的网页的搜索。网络浏览器105可使用关于所选音频文件的描述信息，比如歌名、演唱者、专辑名，或者其他可以制定查询的文本信息。在本发明的一些实施例中，这些描述信息可能包括可以被提交到通过分组数据网络30访问的音乐识别服务器70上的音频文件的样本以获得之后被用来制定一个查询的识别信息。

网络搜索引擎60优选为可公共访问的网络搜索引擎，比如谷歌搜索引擎、MSN搜索引擎、雅虎搜索引擎、AltaVista搜索引擎或者类似的搜索引擎。网络搜索引擎60返回与用户设备100中的网络浏览器105的搜索标准相匹配的网页列表。在从网络服务器60接收到网页列表之后，浏览器105可以应用过滤器来缩减由搜索引擎60返回的网页列表。举例来说，过滤器可以被设计为排除“阻止”列表中的网页和/或包含“允许”列表中的网页。在一些实施方式中，用户可以制定“偏好”网站列表。在这种情况下，过滤器可排除那些“偏好”网站以外的所有网页。在某些情况下，网络搜索引擎60可允许搜索指定域。在这种情况下，“偏好”列表可被用于制定一个仅从指定域返回结果的查询从而不需要在用户设备100处的单独的过滤步骤，因为锅炉仅由网络搜索引擎来完成。

在过滤了由网络搜索引擎60返回的网页列表之后，浏览器105根据一些预定标准来对这些网页进行排序并且选择一个或更多个网页。例如，可以基于诸如相关性，通俗性，内容分级等因素来对这些网页进行排序。在排序中，排序算法可以考虑多重标准。一旦网页被排序，网络浏览器105就按照排列顺序来选择一个或更多个网页并且以传统的方式从相应的网络服务器50下载网页。更具体来讲，网络浏览器105可向网络服务器50发送资源请求，例如网络服务器50的统一资源定位符(URL)，以请求网络服务器50的资源。响应于该资源请求，网络服务器50返回所请求的资源。

网络浏览器105发送的资源请求可以包括对包含一个或更多个图像的网页的请求。在这种情况下，网络浏览器105下载该网页并且从该网页中提取图像。在其他实施方式中，资源请求可包括对特定图像的请求。在某些情况下，网络浏览器105可能需要发出多重请求。举例来说，网络浏览器105接收的网页可能包括指向图像的链接。在这种情况下，网络浏览器105可以解析该网页的HTML以识别这些图像，并且发送额外的资源请求来下载这些图像。在浏览器105下载了这些图像和/或从这些网页中提取了这些图像之后，控制处理器102将这些图像输出到显示器106上。如果下载了多于一个图像，则可以按照顺序以类似于幻灯片的方式将每个图像显示预定的时间。这些图像可以在用户桌面顶部的浏览器窗口中全屏显示。如果选择了多于一个图像，则这些图像可以像幻灯片一样被显示。另外，控制处理器102可以把这些图像转换成在背景中显示的壁纸。

图3更详细地示出了用于下载和显示图像的示范用户设备。用户设备100包括控制处理器102、存储器104、通信电路106以及用户接口108。控制处理器102根据储存在存储器104中的指示来控制用户设备100的整体运行。控制处理器102可包括一个或更多个微处理器、微控制器、硬件电路，或它们的任意组合。存储器104包括用于存储控制处理器102所需要的指令和数据的易失性和非易失性存储器。存储器104可包括一个或更多个存储设备，可以是内部存储设备或外部存储设备。

通信电路106使用户设备100能够与无线网络20进行通信。通信电路106可包括，举例来说，根据任何已知或以后开发的标准来工作的全功能蜂窝收发器。示范收发器包括执行GSM和WCDMA标准的收发器。通信电路106还可包括执行802.11系列标准的无线LAN收发器。

用户接口108使用户能够与用户设备100交互并控制用户设备100。用户接口108包括显示器110、用户输入装置112、麦克风114以及一个或更多个扬声器116。显示器110例如可以包括液晶显示器。用户输入装置112包括任何传统的输入装置，比如键盘、小键盘、定点装置(如鼠标、触摸板等)、操纵杆或其他用户控件。在一些实施方式中，显示器110可包括也起到用户输入装置112作用的触摸屏显示器。处理器102经由一个或更多个用户输入装置112接收用户输入并且向显示器110输出供用户浏览的信息。

麦克风114和扬声器116向用户设备100提供音频输入和输出的功能。麦克风114检测可听声音并且将这些可听声音转换为可以被控制处理器102处理的音频信号。扬声器116把从控制处理器102输出的音频信号转换为用户可听到的可听声音。举例来说，扬声器116可以被用来播放存储在用户设备100中的或流传送的音频文件。

图4示出了由用户设备100中的控制处理器102实施的增强用户音频播放体验的示范方法。音乐增强特征可以由用户手动或者基于用户的选择由控制处理器102自动激活。当用户选择一首歌曲进行播放或者当音频播放开始(块152)时该方法150发起。假设音乐增强功能被激活。响应于用户选择或者音频播放的开始，控制处理器102确定相关信息如歌曲名、演唱者、专辑名等(块154)。这样的信息可编码在正播放的音频文件中、存储在用户设备100的数据库中，或基于所提供的音频样本从音乐识别服务器70中获取。控制处理器102随后构建一个查询，连接到网络搜索引擎60，并且发起针对包含相关图像的网页的网络搜索(块156)。作为响应，控制处理器102从包含一个或更多个图像的网络服务器60接收网页列表(块158)。在某些实施方式中，控制处理器102过滤由网络服务器60返回的网页(块160)。如上所述，过滤可基于预定的过滤列表，比如“阻止”列表、“允许”列表，或“偏好”列表来进行。在其他实施方式中，可以使用“偏好”列表来构建原始列表，从而无需在控制处理器102处过滤网页列表。控制处理器102基于预定标准，比如相关性、通俗性、内容分级或它们的组合，对过滤之后留下的所有网页进行排序(块162)。一旦网页被排序，控制处理器102就按照排列顺序选择一个或更多个网页并且从所选择的网页中获取图像(块164)。控制处理器102随后把所选择的网页输出到显示器上(块166)。在某些实施方式中，图像可被显示在交叠的浏览器窗口中。如果选择了多于一个图像，则这些图像可以像幻灯片一样被显示。在其他实施方式中，处理器可将图像转换为可以在背景中显示的壁纸。

以上被描述用来获取并且显示视觉内容的处理器也可被应用于音频被麦克风114拾取的场合。举例来说，如果用户处于音乐正在播放的公共场合，则用户可以手动激活一种音乐增强模式。在这种情况下，被麦克风114拾取的音乐可以被采样并且该采样被发送到音乐识别服务器70。当音乐识别服务器70返回与正在播放的音乐有关的文本信息时，控制处理器102可使用户设备100中的网络浏览器105发起如先前描述的图像搜索。

当然，本发明可以这里阐述的未偏离本发明的范围和本质特征的那些其他特定方式而被实施。因此，本发明的实施方式被认为是说明性的而非限制性的，并且是在附加的那些权利要求所包含的等同范围和意义上的所有改变。

Claims

1.一种在连网设备(100)的显示器(110)上显示与音频文件相关的图像的方法，该方法包括以下步骤：

播放音频文件；

识别与所述音频文件有关的文本信息；

访问公共网络搜索引擎(60)；

向所述网络搜索引擎(60)提供基于所述文本信息的搜索标准并发起针对包含相关图像的公共网页的搜索；

从所述网络搜索引擎(60)接收包含相关图像的网页列表；以及

在所述音频文件被播放的同时在所述连网设备(100)的所述显示器(110)上显示这些网页中的一个或更多个相关图像。

2.根据权利要求1所述的方法，其中，识别与所述音频文件相关的文本信息的步骤包括：从所述音频文件中捕捉音频样本并且基于所捕捉的音频样本来识别与所述音频文件相关的文本信息。

3.根据权利要求1所述的方法，其中，识别与所述音频文件相关的文本信息的步骤包括：提取编码在所述音频文件中的文本信息。

4.根据权利要求1所述的方法，其中，所述文本信息包括演唱者、歌曲名以及专辑名中的至少一个。

5.根据权利要求1所述的方法，该方法还包括以下步骤：基于存储在存储器(104)中的一个或更多个过滤列表对所述网络搜索引擎(60)返回的所述网页列表进行过滤，并且基于所述过滤来选择要显示的图像。

6.根据权利要求5所述的方法，其中，对所述网络搜索引擎(60)返回的所述网页列表进行过滤的步骤包括：基于允许列表、阻止列表以及偏好列表中的至少一个来对所述网页列表进行过滤。

7.根据权利要求5所述的方法，该方法还包括以下步骤：下载过滤之后留下的一个或更多个网页，并且从所下载的网页中提取图像。

8.根据权利要求1所述的方法，该方法还包括以下步骤：对所述网络搜索引擎(60)返回的所述网页列表进行排序，并且基于所述排序来选择要显示的图像。

9.一种音频播放设备(100)，该音频播放设备包括：

用于播放音频文件的媒体播放器(120)；

显示器(110)；以及

连接至所述媒体播放器(120)和扬声器(116)的控制处理器(102)，该控制处理器被配置为：

识别与正在播放的音频文件有关的文本信息；

连接到公共网络搜索引擎(60)；

向所述网络搜索引擎(60)提供基于所述文本信息的搜索标准并发起由所述网络搜索引擎(60)进行的针对包含相关图像的公共网页的搜索；

从所述网络搜索引擎(60)接收包含相关图像的网页列表；以及

在所述音频文件被播放的同时向所述音频播放设备(100)的所述显示器(110)输出所述网络搜索引擎(60)返回的网页中的一个或更多个相关图像。

10.根据权利要求9所述的音频播放设备(100)，其中，所述控制处理器(102)被配置为：通过从所述音频文件中捕捉音频样本并基于所捕捉的音频样本识别与所述音频文件有关的文本信息，来识别与所述音频文件有关的文本信息。

11.根据权利要求9所述的音频播放设备(100)，其中，所述控制处理器(102)被配置为：通过提取编码在所述音频文件中的文本信息来识别与所述音频文件相关的文本信息。

12.根据权利要求9所述的音频播放设备(100)，其中，所述文本信息包括演唱者、歌曲名以及专辑名中的至少一个。

13.根据权利要求9所述的音频播放设备(100)，其中，所述控制处理器(102)还被配置为：基于存储在存储器(104)中的一个或更多个过滤列表对所述网络搜索引擎(60)返回的所述网页列表作进一步的过滤，并基于所述过滤来选择要显示的图像。

14.根据权利要求13所述的音频播放设备(100)，其中，所述控制处理器(102)还被配置为：基于允许列表、阻止列表以及偏好列表中的至少一个来对所述网络搜索引擎(60)返回的所述网页列表进行过滤。

15.根据权利要求13所述的音频播放设备(100)，其中，所述控制处理器(102)还被配置为：下载过滤之后留下的一个或更多个网页，并且从所下载的网页中提取图像。

16.根据权利要求9所述的音频播放设备(100)，其中，所述控制处理器(102)还被配置为：对所述网络搜索引擎(60)返回的所述网页列表进行排序，并且基于所述排序来选择要显示的图像。