CN104584010B

CN104584010B - 基于语音的媒体搜索

Info

Publication number: CN104584010B
Application number: CN201380044924.5A
Authority: CN
Inventors: S·巴达斯卡
Original assignee: Apple Computer Inc
Current assignee: Apple Inc
Priority date: 2012-09-19
Filing date: 2013-09-17
Publication date: 2018-01-19
Anticipated expiration: 2033-09-17
Also published as: KR101712296B1; US20140081633A1; US9547647B2; JP2015527683A; WO2014047047A1; KR20150038375A; CN104584010A; JP6139684B2; US9971774B2; US20170161268A1

Abstract

本发明描述了用于使用基于语音的数字助理来搜索媒体项的方法和系统。提供了对应于搜索查询的自然语言文本串。该搜索查询包括查询词。文本串可与由用户输入到电子设备中的语音输入对应。搜索至少一个信息源以识别与所述查询词中的至少一个查询词相关联的至少一个参数。该参数包括时间参数、日期参数或地理代码参数中的至少一个。将该参数与媒体项的标签进行比较以识别匹配。在一些具体实施中，其标签与该参数匹配的媒体项被呈现给用户。

Description

基于语音的媒体搜索

技术领域

本发明所公开的具体实施整体涉及数字助理系统，并且更具体地涉及用于基于语音的媒体搜索的方法和系统。

背景技术

在相机技术、图像处理和图像存储技术中的进步已使得人类能够通过数字照片来与其周围环境无缝地进行交互并“捕获”其周围环境。此外，围绕手持式设备(例如，移动电话和数字助理系统)的技术中的最近的进步已提高了手持式设备的图像捕获和图像存储能力。这已导致用于照片采集和数字照片存储的手持式设备的使用显著增加。

在电子设备上采集和存储的数字照片的日益增加产生对照片的系统分类和有效组织的需求，从而能够便于查看和搜索。照片的加标签例如通过与人或地点的照片名称相关联有助于易于组织和搜索照片。其他信息诸如时间、日期和GPS坐标数据也被越来越多地与照片相关联，从而允许高效的分类和组织。

虽然照片捕获和数字图像存储技术在过去十年里已显著进步，但是用于照片搜索的传统方法可能是不直观的、费力的和耗时的。

发明内容

因此，需要一种简单、直观、容易使用的方式来搜索照片。本发明提供了用于在电子设备处实施的基于语音的照片搜索的系统和方法。

下述具体实施提供了通过使用自然语言处理技术进行基于语音的照片搜索的方法和系统。自然语言处理技术被部署以使得用户能够以口头或文本的形式来与手持式设备以及数字助理系统进行交互，由此数字助理系统可解释用户的输入以推断用户的意图，将所推断出的意图转化成可执行的任务和参数，执行操作或部署服务以执行任务，并且产生用户可理解的输出。

基于语音的照片搜索显著地增加了照片搜索的速度和便利性。例如，通过将语音识别技术与智能自然语言处理组合，本发明所公开的具体实施使得用户能够简单地说出对他们想要搜索的照片的描述，例如“把我的假期照片显示给我”，并且自动地识别照片并将其返回给用户以用于进行查看、编辑等。本发明所公开的技术能够处理这种基于语音的输入，以便查找和检索相关的照片，甚至在照片先前尚未与用户生成的文本标签诸如“假期”或“海滩”相关联的情况下。相反，当数字照片被捕获或保存时，与数字照片存储在一起的元数据与其他用户信息交叉引用以促进搜索。例如，指示用户的假期跨越某组天数的日历条目可用于创建搜索查询以查找在这些日期拍摄或保存的照片。又如，可查询使地理代码与位置相关联的表以确定与在搜索查询中所识别的位置对应的地理代码范围。用户的照片然后可被搜索以查找其地理代码对应于所识别的位置的那些照片。

因此，本文所公开的具体实施提供了实现基于语音的自然语言照片搜索的方法、系统和计算机可读存储介质。

一些具体实施提供了一种用于使用基于语音的数字助理来搜索媒体项的方法。该方法在具有处理器和存储用于由处理器执行的指令的存储器的电子设备处执行。该方法包括提供多个媒体项。媒体项可包括照片、视频和/或音频。媒体项中的至少一些媒体项各自与相应标签相关联，该相应标签包括时间标签、日期标签或地理代码标签中的至少一个。在一些具体实施中，将标签与媒体项存储在一起作为元数据。

该方法还包括提供与针对一个或多个媒体项的搜索查询对应的自然语言文本串，其中搜索查询包括一个或多个查询词。在一些具体实施中，文本串对应于来自用户的语音输入。在一些具体实施中，语音输入使用语音至文本处理被转化为文本。

该方法还包括搜索至少一个信息源以识别与一个或多个查询词中的至少一个查询词相关联的至少一个参数。在一些具体实施中，信息源为日历、电子邮件/文本消息、社交网络帖子、通信录、和/或类似物。至少一个参数包括时间参数、日期参数或地理代码参数中的至少一个。至少一个参数和与所述多个媒体项相关联的标签是分开的，例如，该参数不是媒体项的元数据的一部分。

该方法还包括将相应标签与至少一个参数进行比较以识别至少一个其标签与所识别的参数相匹配的媒体项；以及促进向用户呈现所述至少一个媒体项。在一些具体实施中，促进呈现包括将所述至少一个媒体项显示给用户。

根据一些实施例，一种电子设备包括存储器、一个或多个处理器以及一个或多个程序，所述一个或多个程序存储在存储器中并被配置为由该一个或多个处理器执行，并且所述一个或多个程序包括用于执行上述方法中的任一方法的操作的指令。根据一些实施例，非暂态计算机可读存储介质在其中存储有指令，该指令当由电子设备执行时，使得该设备执行上述方法中的任一方法的操作。

根据一些实施例，一种电子设备包括被配置为提供多个媒体项的媒体项提供单元，其中媒体项中的至少一些媒体项各自与相应标签相关联，该相应标签包括时间标签、日期标签或地理代码标签中的至少一个。电子设备还包括自然语言文本串提供单元，该自然语言文本串提供单元被配置为提供与针对一个或多个媒体项的搜索查询对应的自然语言文本串，其中搜索查询包括一个或多个查询词。电子设备还包括耦接至媒体项提供单元和自然语言文本串提供单元的处理单元，该处理单元被配置为：搜索至少一个信息源以识别与所述一个或多个查询词中的至少一个查询词相关联的至少一个参数，其中所述至少一个参数包括时间参数、日期参数或地理代码参数中的至少一个，并且其中所述至少一个参数和与所述多个媒体项相关联的标签是分开的；将相应标签与所述至少一个参数进行比较以识别至少一个其标签与所识别的参数相匹配的媒体项；以及促进向用户呈现所述至少一个媒体项。

附图说明

图1为示出根据一些具体实施的数字助理在其中进行操作的环境的框图。

图2为示出根据一些具体实施的数字助理客户端系统的框图。

图3A为示出根据一些具体实施的独立式数字助理系统或数字助理服务器系统的框图。

图3B为示出根据一些具体实施的图3A中所示出的数字助理的功能的框图。

图3C为示出根据一些具体实施的知识本体的一部分的网络图。

图4A-4C为示出根据一些具体实施的用于使用基于语音的数字助理来搜索媒体项的方法的流程图。

图5示出根据一些实施例的电子设备的功能框图。

在整个附图中，类似的附图标号是指对应的部件。

具体实施方式

图1为根据一些具体实施的数字助理的操作环境100的框图。术语“数字助理”、“虚拟助理”、“智能自动化助理”或“自动数字助理”是指解释口头和/或文本形式的自然语言输入以推断用户意图(例如，识别对应于自然语言输入的任务类型)并基于所推断出的用户意图来执行动作(例如，执行对应于所识别的任务类型的任务)的任何信息处理系统。例如，为遵照所推断出的用户意图来执行动作，系统可执行以下操作中的一个或多个操作：识别具有被设计来实现所推断出的用户意图的步骤和参数的任务流(例如，识别任务类型)，将来自所推断出的用户意图的特定要求输入到任务流中，通过调用程序、方法、服务、API等来执行任务流(例如，向服务提供方发送请求)；以及以可听(例如，语音)和/或可视形式来生成对用户的输出响应。

具体地，数字助理系统能够接受至少部分地为自然语言命令、请求、声明、讲述和/或查询的形式的用户请求。通常，用户请求或者寻求信息性回答，或者寻求由数字助理系统来执行任务。对用户请求的令人满意的响应通常是提供所请求的信息性回答、执行所请求的任务、或这两者的组合。例如，用户可向数字助理系统提出一个问题，例如“我现在在哪里？”。基于用户的当前位置，数字助理可回答“您在西门附近的中央公园”。用户也可请求执行任务，例如通过陈述“请邀请我的朋友下周参加我女朋友的生日派对”。作为响应，数字助理可通过生成语音输出“是的，马上”来确认该请求，然后从用户的电子邮件地址向用户的电子通讯录或联系人列表中所列出的用户的朋友中的每个朋友发送合适的日历邀请。存在与数字助理进行交互以请求信息或执行各种任务的许多其他方法。除提供言语响应并采取经编程的动作之外，数字助理还可提供其他视频或音频形式(例如，作为文本、警报、音乐、视频、动画等)的响应。

如图1中所示，在一些具体实施中，根据客户端-服务器模型来实施数字助理系统。数字助理系统包括在用户设备(例如，104a和104b)上执行的客户端侧部分(例如，102a和102b)(在下文中为“数字助理(DA)客户端102”)，以及在服务器系统108上执行的服务器侧部分106(在下文中为“数字助理(DA)服务器106”)。DA客户端102通过一个或多个网络110来与DA服务器106通信。DA客户端102提供客户端侧功能诸如面向用户的输入和输出处理以及与DA服务器106的通信。DA服务器106为任意数量的DA客户端102提供服务器侧功能，所述任意数量的DA客户端102各自驻留在相应的用户设备104(也称作客户端设备)上。

在一些具体实施中，DA服务器106包括面向客户端的I/O接口112、一个或多个处理模块114、数据与模型116、至外部服务的I/O接口118、照片和标签数据库130、以及照片-标签模块132。面向客户端的I/O接口促进数字助理服务器106的面向客户端的输入和输出处理。所述一个或多个处理模块114基于自然语言输入利用数据和模型116来确定用户的意图，并基于所推断出的用户意图来进行任务执行。照片和标签数据库130存储数字照片的指纹和任选地数字照片本身，以及元数据和与该数字照片相关联的用户生成和/或自动生成的标签。照片-标签模块132创建标签、存储与照片和/或指纹关联的标签、对照片自动地加标签、并且将标签链接到照片内的位置。

在一些具体实施中，DA服务器106通过一个或多个网络110来与外部服务120(例如，日历服务122-4、电话服务122-5、一种或多种导航服务122-1、一种或多种消息型服务122-2、一种或多种信息服务122-3、一种或多种照片服务122-6、一种或多种社交网络服务122-7等)进行通信以用于任务完成或信息采集。至外部服务的I/O接口118促进此类通信。

用户设备104的实例包括但不限于手持式计算机、个人数字助理(PDA)、平板电脑、膝上型计算机、台式计算机、蜂窝电话、智能电话、增强型通用分组无线电服务(EGPRS)移动电话、媒体播放器、导航设备、游戏机、电视机、遥控器、或者这些数据处理设备中任意两种或更多种的组合或任何其他合适的数据处理设备。有关用户设备104的更多细节参照图2中示出的示例性用户设备104来提供。

一个或多个通信网络110的实例包括局域网(“LAN”)和广域网(“WAN”)，例如互联网。一个或多个通信网络110可使用任何已知的网络协议来实施，该任何已知的网络协议包括各种有线或无线协议，诸如以太网、通用串行总线(USB)、火线、全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、Wi-Fi、互联网协议语音技术(VoIP)、Wi-MAX、或任何其他合适的通信协议。

服务器系统108可在计算机的至少一个数据处理装置和/或分布式网络上实施。在一些具体实施中，服务器系统108还采用第三方服务提供方(例如，第三方云服务提供方)的各种虚拟设备和/或服务来提供服务器系统108的潜在计算资源和/或基础结构资源。

尽管图1中示出的数字助理系统包括客户端侧部分(例如，DA客户端102)和服务器侧部分(例如，DA服务器106)两者，但在一些具体实施中，数字助理系统仅指服务器侧部分(例如，DA服务器106)。在一些具体实施中，数字助理的功能可被实现为安装在用户设备上的独立式应用程序。此外，数字助理的客户端部分和服务器部分之间的功能划分在不同的具体实施中可以是不同的。例如，在一些具体实施中，DA客户端102为仅提供面向用户的输入和输出处理功能并且将数字助理的所有其他功能委派给DA服务器106的瘦客户端。在一些其他具体实施中，DA客户端102被配置为执行或协助DA服务器106的一种或多种功能。

图2为根据一些具体实施的用户设备104的框图。用户设备104包括存储器接口202、外围设备接口206以及一个或多个处理器204。用户设备104中的各种部件通过一根或多根通信总线或信号线进行耦接。用户设备104包括各种传感器、子系统、以及耦接至外围设备接口206的外围设备。传感器、子系统、以及外围设备采集信息和/或促进用户设备104的各种功能。

例如，在一些具体实施中，运动传感器210(例如，加速计)、光传感器212、GPS接收器213、温度传感器215、以及罗盘217、接近传感器214耦接至外围设备接口206以促进取向、光和接近感测功能。在一些具体实施中，其他传感器216诸如生物识别传感器、气压计等被连接到外围设备接口206以促进相关功能。

在一些具体实施中，用户设备104包括耦接至外围设备接口206的相机子系统220。在一些具体实施中，相机子系统220的光学传感器222促进相机功能，诸如拍摄照片和记录视频剪辑。在一些具体实施中，当照片和视频剪辑由相机子系统220拍摄时，它们与元数据相关联。元数据包括例如日期标签、时间标签和位置标签(例如，地理代码标签)。这些标签分别识别照片或视频的日期、时间和位置。这些标签可由用户设备104(和/或作为整体的数字助理系统)用于搜索和分类功能，如下文所述。

在一些具体实施中，用户设备104包括提供通信功能的一个或多个有线和/或无线通信子系统224。通信子系统224通常包括各种通信端口、射频接收器和发射器、和/或光学(例如，红外)接收器和发射器。在一些具体实施中，用户设备104包括音频子系统226，该音频子系统耦接至一个或多个扬声器228以及一个或多个麦克风230以促进支持语音的功能，诸如语音识别、语音复制、数字记录和电话功能。

在一些具体实施中，I/O子系统240还耦接至外围设备接口206。在一些具体实施中，用户设备104包括触摸屏246，并且I/O子系统240包括耦接至触摸屏246的触摸屏控制器242。当用户设备104包括触摸屏246和触摸屏控制器242时，触摸屏246和触摸屏控制器242通常被配置为例如使用多种触敏技术中的任一种触敏技术来检测接触和移动或它们的间断，所述多种触敏技术诸如电容技术、电阻技术、红外技术、表面声波技术、接近传感器阵列等。在一些具体实施中，用户设备104包括不具有触敏表面的显示器。在一些具体实施中，用户设备104包括独立的触敏表面。在一些具体实施中，用户设备104包括一个或多个其他输入控制器244。当用户设备104包括一个或多个其他输入控制器244时，所述一个或多个其他输入控制器244通常被耦接至其他输入/控制设备248，诸如一个或多个按钮、摇臂开关、拇指滚轮、红外线端口、USB端口、和/或指针设备诸如触笔。

存储器接口202耦接至存储器250。在一些具体实施中，存储器250包括非暂态计算机可读介质，诸如高速随机存取存储器和/或非易失性存储器(例如，一个或多个磁盘存储设备、一个或多个闪存存储器设备、一个或多个光学存储设备、和/或其他非易失性固态存储器设备)。

在一些具体实施中，存储器250存储操作系统252、通信模块254、图形用户界面模块256、传感器处理模块258、电话模块260和应用程序262，以及它们的子集或超集。操作系统252包括用于处理基础系统服务以及用于执行硬件相关任务的指令。通信模块254促进与一个或多个附加设备、一个或多个计算机和/或一个或多个服务器进行通信。图形用户界面模块256促进图形用户界面处理。传感器处理模块258促进与传感器相关的处理和功能(例如，处理利用一个或多个麦克风228所接收的语音输入)。电话模块260促进与电话相关的过程和功能。应用程序模块262促进用户应用程序的各种功能，诸如电子消息传送、网页浏览、媒体处理、导航、成像和/或其他过程和功能。在一些具体实施中，用户设备104将各自与外部服务提供方中的至少一个外部服务提供方相关联的一个或多个软件应用程序270-1和270-2存储在存储器250中。

如上所述，在一些具体实施中，存储器250还存储客户端侧数字助理指令(例如，在数字助理客户端模块264中)以及各种用户数据266(例如，特定于用户的词汇数据、偏好数据，和/或其他数据诸如用户的电子通讯录或联系人列表、待办事项、购物清单等)以提供数字助理的客户端侧功能。

在各种具体实施中，数字助理客户端模块264能够通过用户设备104的各种用户界面(例如，I/O子系统240)接受语音输入、文本输入、触摸输入和/或手势输入。数字助理客户端模块264还能够提供音频、视频和/或触觉形式的输出。例如，可将输出提供作为语音、声音、警报、文本消息、菜单、图形、视频、动画、振动、和/或以上两者或更多者的组合。在操作期间，数字助理客户端模块264使用通信子系统224来与数字助理服务器(例如，数字助理服务器106，图1)通信。

在一些具体实施中，数字助理客户端模块264利用各种传感器、子系统和外围设备来从用户设备104的周围环境采集附加信息以建立与用户输入相关联的上下文。在一些具体实施中，数字助理客户端模块264将上下文信息或其子集与用户输入一起提供至数字助理服务器(例如，数字助理服务器106，图1)以帮助推断用户的意图。

在一些具体实施中，可伴随用户输入的上下文信息包括传感器信息，例如，照明、环境噪声、环境温度、周围环境的图像或视频等。在一些具体实施中，上下文信息还包括设备的物理状态，例如，设备取向、设备位置、设备温度、功率电平、速度、加速度、运动模式、蜂窝信号强度等。在一些具体实施中，还将与用户设备104的软件状态相关的信息例如用户设备104的运行过程、已安装的程序、过去和目前的网络活动、后台服务、错误日志、资源使用等作为与用户输入相关联的上下文信息提供至数字助理服务器(例如，数字助理服务器106，图1)。

在一些具体实施中，DA客户端模块264响应于来自数字助理服务器的请求而选择性地提供存储在用户设备104上的信息(例如，用户数据266的至少一部分)。在一些具体实施中，当数字助理服务器106(图1)进行请求时，数字助理客户端模块264还经由自然语言对话或其他用户界面来引出来自用户的附加输入。数字助理客户端模块264将所述附加输入传送至数字助理服务器106，以帮助数字助理服务器106进行意图推断和/或满足在用户请求中所表达的用户的意图。

在一些具体实施中，存储器250可包括附加指令或更少的指令。此外，用户设备104的各种功能可在硬件和/或在软件中，包括在一个或多个信号处理集成电路和/或专用集成电路中实施，并且用户设备104因而不需要包括图2中示出的所有模块和应用程序。

图3A是根据一些具体实施的示例性数字助理系统300(也称为数字助理)的框图。在一些具体实施中，数字助理系统300在独立式计算机系统上实施。在一些具体实施中，数字助理系统300跨多个计算机进行分布。在一些具体实施中，数字助理的一些模块和功能被划分成服务器部分和客户端部分，其中客户端部分驻留在用户设备(例如，用户设备104)上并通过一个或多个网络来与服务器部分(例如，服务器系统108)通信，例如如图1中所示。在一些具体实施中，数字助理系统300为图1中所示的服务器系统108(和/或数字助理服务器106)的实施例。在一些具体实施中，数字助理系统300在用户设备(例如，用户设备104，图1)中被实施，从而消除了对客户端-服务器系统的需求。应当指出的是，数字助理系统300仅为数字助理系统的一个实例，并且该数字助理系统300可具有比示出更多或更少的部件、可组合两个或更多个部件、或可具有部件的不同配置或布置。图3A中所示的各种部件可在硬件、软件、固件(包括一个或多个信号处理集成电路和/或专用集成电路)或它们的组合中实施。

数字助理系统300包括存储器302、输入/输出(I/O)接口306、网络通信接口308以及一个或多个处理器304。这些部件通过一根或多根通信总线或信号线310彼此通信。

在一些具体实施中，存储器302包括非暂态计算机可读介质，诸如高速随机存取存储器和/或非易失性计算机可读存储介质(例如，一个或多个磁盘存储设备、一个或多个闪存存储器设备、一个或多个光学存储设备、和/或其他非易失性固态存储器设备)。

I/O接口306将数字助理系统300的输入/输出设备316诸如显示器、键盘、触摸屏、和麦克风耦接至用户界面模块322。I/O接口306与用户界面模块322结合用于接收用户输入(例如，语音输入、键盘输入、触摸输入等)并相应地对这些输入进行处理。在一些具体实施中，当数字助理在独立式用户设备上实施时，数字助理系统300包括相对于图2中的用户设备104所描述的部件和I/O接口及通信接口中的任一个(例如，一个或多个麦克风230)。在一些具体实施中，数字助理系统300表示数字助理具体实施的服务器部分，并且通过驻留在用户设备(例如，图2中所示的用户设备104)上的客户端侧部分来与用户进行交互。

在一些具体实施中，网络通信接口308包括无线发送和接收电路314和/或一个或多个有线通信端口312。一个或多个有线通信端口经由一个或多个有线接口例如以太网、通用串行总线(USB)、火线等来接收和发送通信信号。无线电路314通常从通信网络及其他通信设备接收RF信号和/或光学信号并将RF信号和/或光学信号发送至通信网络及其他通信设备。无线通信可使用多种通信标准、协议和技术中的任一种通信标准、协议和技术，诸如GSM、EDGE、CDMA、TDMA、蓝牙、Wi-Fi、VoIP、Wi-MAX、或任何其他合适的通信协议。网络通信接口308实现数字助理系统300与网络(诸如互联网、内联网和/或无线网络，该无线网络诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))以及其他设备之间的通信。

在一些具体实施中，存储器302的非暂态计算机可读存储介质存储程序、模块、指令和数据结构，这些程序、模块、指令和数据结构包括以下各项中的全部或子集：操作系统318、通信模块320、用户界面模块322、数字助理模块326、以及一个或多个应用程序324。一个或多个处理器304执行这些程序、模块和指令，并从数据结构读取数据或将数据写到数据结构。

操作系统318(例如，Darwin、RTXC、LINUX、UNIX、OS X、iOS、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电源管理等)的各种软件部件和/或驱动器，并促进各种硬件、固件和软件部件之间的通信。

通信模块320促进通过网络通信接口308在数字助理系统300和其他设备之间的通信。例如，通信模块320可与图2中所示的设备104的通信模块254通信。通信模块320还包括用于处理由无线电路314和/或有线通信端口312所接收的数据的各种软件部件。

在一些具体实施中，用户界面模块322经由I/O接口306(例如，来自键盘、触摸屏、和/或麦克风)来从用户接收命令和/或输入，并将用户界面对象提供在显示器上。

应用程序324包括被配置为由所述一个或多个处理器304执行的程序和/或模块。例如，如果数字助理系统在独立式用户设备上实施，则应用程序324可包括用户应用程序，诸如游戏、日历应用程序、导航应用程序或邮件应用程序。如果数字助理系统300在服务器场上实施，则应用程序324可包括例如资源管理应用程序、诊断应用程序、或调度应用程序。

存储器302还存储数字助理模块(或数字助理的服务器部分)326。在一些具体实施中，数字助理模块326包括以下子模块、或者它们的子集或超集：输入/输出处理模块328、语音至文本(STT)处理模块330、自然语言处理模块332、对话流处理模块334、任务流处理模块336、服务处理模块338、以及照片模块132。这些处理模块中的每一个处理模块均具有对数字助理326的以下数据和模型中的一个或多者，或者它们的子集或超集的访问权限：知识本体360、词汇索引344、用户数据348、分类模块349、消歧模块350、任务流模型354、服务模型356、搜索模块360、以及本地标签/照片存储装置362。

在一些具体实施中，使用在数字助理模块326中实施的处理模块(例如，输入/输出处理模块328、STT处理模块330、自然语言处理模块332、对话流处理模块334、任务流处理模块336、和/或服务处理模块338)、数据以及模型，数字助理系统300执行以下操作中的至少一些操作：识别在从用户所接收的自然语言输入中表达的用户的意图；主动引出并获取完全推断出用户的意图所需的信息(例如，通过对词、名称、意图等进行消歧)；确定用于满足所推断出的意图的任务流；以及执行该任务流以满足所推断出的意图。在一些具体实施中，当出于各种原因而未向或不能向用户提供令人满意的响应时，数字助理还采取适当的行动。

在一些具体实施中，如下文所讨论的，数字助理系统300从自然语言输入识别用户搜索照片的意图。数字助理系统300处理自然语言输入，以便确定哪些照片可能与用户的搜索查询相关。在一些具体实施中，数字助理系统300还执行与照片相关的其他任务，诸如对数字照片加标签，如例如在于2013年3月13日提交的名称为“Voice-Based Image Taggingand Searching”的美国专利申请序列号13/801,534中所描述的，该专利申请全文以引用方式并入本文。

如图3B中所示，在一些具体实施中，I/O处理模块328通过图3A中的I/O设备316来与用户进行交互或通过图3A中的网络通信接口308来与用户设备(例如，图1中的用户设备104)进行交互以获取用户输入(例如，语音输入)并提供对用户输入的响应。连同接收到用户输入一起或在接收到用户输入之后不久，I/O处理模块328任选地获取与来自用户设备的用户输入相关联的上下文信息。上下文信息包括特定于用户的数据、词汇、和/或与用户输入有关的偏好。在一些具体实施中，上下文信息还包括在接收到用户请求时所述设备(例如，图1中的用户设备104)的软件和硬件状态，和/或与在接收到用户请求时该用户的周围环境相关的信息。在一些具体实施中，I/O处理模块328还向用户发送与用户请求有关的跟进问题，并从用户接收回答。在一些具体实施中，当用户请求被I/O处理模块328接收到并且用户请求包含语音输入时，I/O处理模块328将语音输入转发至语音至文本(STT)处理模块330以用于进行语音至文本转换。

在一些具体实施中，语音至文本处理模块330通过I/O处理模块328来接收语音输入(例如，在语音记录中捕获的用户话语)。在一些具体实施中，语音至文本处理模块330使用各种声音和语言模型来将语音输入识别为音素的序列，并最终将其识别为以一种或多种语言书写的词或符号的序列。语音至文本处理模块330使用任何合适的语音识别技术、声音模型以及语言模型诸如隐马尔可夫模型、基于动态时间规整(DTW)的语音识别以及其他统计和/或分析技术被实施。在一些具体实施中，语音至文本处理可至少部分地由第三方服务执行或在用户的设备上执行。一旦语音至文本处理模块330获取语音至文本处理的结果(例如，词或符号的序列)，其便将结果传送至自然语言处理模块332以用于进行意图推断。

数字助理326的自然语言处理模块332(“自然语言处理器”)取得由语音至文本处理模块330所生成的词或符号的序列(“符号序列”)，并尝试将该符号序列与由数字助理所识别的一个或多个“可执行意图”相关联。如本文所用，“可执行意图”表示可由数字助理326和/或数字助理系统300(图3A)执行的任务并且具有在任务流模型354中实施的相关联的任务流。相关联的任务流是数字助理系统300为了执行任务而采取的一系列经编程的动作和步骤。数字助理系统的能力的范围取决于已在任务流模型354中实施并存储的任务流的数量和种类，或换句话讲，取决于数字助理系统300所识别的“可执行意图”的数量和种类。然而，数字助理系统300的有效性还取决于数字助理系统从以自然语言表达的用户请求中推断出正确的“一种或多种可执行意图”的能力。

在一些具体实施中，除从语音至文本处理模块330获取的词或符号的序列之外，自然语言处理器332还接收与用户请求相关联的上下文信息(例如，来自I/O处理模块328)。自然语言处理器332任选地使用上下文信息来阐明、补充和/或进一步限定包含在从语音至文本处理模块330所接收的符号序列中的信息。上下文信息包括例如用户偏好、用户设备的硬件和/或软件状态、在用户请求之前、期间或之后不久所收集的传感器信息、数字助理和用户之间的先前交互(例如，对话)等等。

在一些具体实施中，自然语言处理是基于知识本体360的。知识本体360为包含多个节点的分级结构，每个节点表示与“可执行意图”或其他“属性”中的一个或多者相关的“可执行意图”或“属性”。如上所述，“可执行意图”表示数字助理系统300能够执行的任务(例如，“可执行”或可进行的任务)。“属性”表示与可执行意图或另一属性的子方面相关联的参数。知识本体360中的可执行意图节点和属性节点之间的连接定义由属性节点表示的参数如何从属于由可执行意图节点表示的任务。

在一些具体实施中，知识本体360由可执行意图节点和属性节点组成。在知识本体360内，每个可执行意图节点直接链接至或通过一个或多个中间属性节点连接至一个或多个属性节点。类似地，每个属性节点直接链接至或通过一个或多个中间属性节点连接至一个或多个可执行意图节点。例如，图3C中所示的知识本体360包括为可执行意图节点的“餐厅预订”节点。属性节点“餐厅”、“日期/时间”(针对预订)和“同行人数”各自直接链接至“餐厅预订”节点(即，可执行意图节点)。此外，属性节点“菜系”、“价格范围”、“电话号码”和“位置”为属性节点“餐厅”的子节点，并且每个子节点通过中间属性节点“餐厅”链接至“餐厅预订”节点(即，可执行意图节点)。又如，图3C中示出的知识本体360还包括为另一可执行意图节点的“设定提醒”节点。属性节点“日期/时间”(针对设定提醒)和“主题”(针对提醒)各自链接至“设定提醒”节点。由于属性“日期/时间”与进行餐厅预订的任务和设定提醒的任务两者相关，因此属性节点“日期/时间”同时链接至知识本体360中的“餐厅预订”节点和“设定提醒”节点。

可执行意图节点连同其所链接的概念节点一起可被描述为“域”。在本讨论中，每个域与相应的可执行意图相关联，并涉及与特定可执行意图相关联的一组节点(以及其间的关系)。例如，图3C中示出的知识本体360包括知识本体360内的餐厅预订域362的实例和提醒域364的实例。餐厅预订域包括可执行意图节点“餐厅预订”、属性节点“餐厅”、“日期/时间”和“同行人数”、以及子属性节点“菜系”、“价格范围”、“电话号码”和“位置”。提醒域364包括可执行意图节点“设定提醒”和属性节点“主题”和“日期/时间”。在一些具体实施中，知识本体360由多个域组成。每个域可与一个或多个其他域共享一个或多个属性节点。例如，除了餐厅预订域362和提醒域364之外，“日期/时间”属性节点还可与许多其他域(例如，行程安排域、旅行预订域、电影票域等)相关联。

尽管图3C示出知识本体360内的两个示例性域，但知识本体360可包括其他域(或可执行意图)，诸如“发起电话呼叫”、“寻找方向”、“安排会议”、“发送消息”和“提供对问题的回答”、“对照片加标签”等。例如，“发送消息”域与“发送消息”可执行意图节点相关联，并且还可包括属性节点诸如“一个或多个接收人”、“消息类型”和“消息主体”。属性节点“接收人”还可例如由子属性节点诸如“接收人姓名”和“消息地址”来限定。

在一些具体实施中，知识本体360包括数字助理能够理解并对其起作用的所有域(并且因此可执行意图)。在一些具体实施中，知识本体360可诸如通过添加或移除域或节点，或者通过修改知识本体360内的节点之间的关系来进行修改。

在一些具体实施中，可将与多个相关的可执行意图相关联的节点群集在知识本体360中的“超级域”下。例如，“旅行”超级域可包括与旅行相关的属性节点和可执行意图节点的群集。与旅行相关的可执行意图节点可包括“机位预订”、“酒店预订”、“汽车租赁”、“获取方向”、“寻找兴趣点”，等等。同一超级域(例如，“旅行”超级域)下的可执行意图节点可具有多个共用的属性节点。例如，针对“机位预订”、“酒店预订”、“汽车租赁”、“获取方向”、“寻找兴趣点”的可执行意图节点可共享属性节点“起始位置”、“目的地”、“出发日期/时间”、“到达日期/时间”及“同行人数”中的一个或多者。

在一些具体实施中，知识本体360中的每个节点和与由节点所代表的属性或可执行意图有关的一组词和/或短语相关联。与每个节点相关联的相应的一组的词和/或短语是与节点相关联的所谓的“词汇”。与每个节点相关联的相应的一组词和/或短语可存储在与由节点所表示的属性或可执行意图相关联的词汇索引344(图3B)中。例如，返回图3B，与“餐厅”属性的节点相关联的词汇可包括词诸如“美食”、“酒水”、“菜系”、“饥饿”、“吃”、“披萨”、“快餐”、“膳食”等。又如，与“发起电话呼叫”的可执行意图的节点相关联的词汇可包括词和短语诸如“呼叫”、“打电话”、“拨号”、“响铃”、“呼叫该号码”、“给……打电话”等。词汇索引344任选地包括使用不同语言的词和短语。

在一些具体实施中，图3B中所示的自然语言处理器332接收来自语音至文本处理模块330的符号序列(例如，文本串)，并且确定哪些节点由符号序列中的词所牵连。在一些具体实施中，如果发现符号序列中的词或短语与知识本体360中的一个或多个节点相关联(经由词汇索引344)，则所述词或短语将“触发”或“激活”这些节点。当多个节点被“触发”时，基于已激活节点的数量和/或相对重要性，自然语言处理器332将选择可执行意图中的一个可执行意图作为用户意图使数字助理去执行的任务(或任务类型)。在一些具体实施中，选择具有最多“已触发”节点的域。在一些具体实施中，选择具有最高置信度值(例如，基于其各个已触发节点的相对重要性)的域。在一些具体实施中，基于已触发节点的数量和重要性的组合来选择域。在一些具体实施中，在选择节点的过程中还考虑附加因素，诸如数字助理系统300先前是否已正确解释来自用户的类似请求。

在一些具体实施中，数字助理系统300还将特定实体的名称存储在词汇索引344中，使得当在用户请求中检测到这些名称中的一个名称时，自然语言处理器332将能够识别涉及知识主体中的属性或子属性的特定实例的该名称。在一些具体实施中，特定实体的名称是企业、餐厅、人、电影等的名称。在一些具体实施中，数字助理系统300可从其他数据源中搜索并识别特定实体名称，所述其他数据源诸如用户的通讯录或联系人列表、电影数据库、音乐家数据库和/或餐厅数据库。在一些具体实施中，当自然语言处理器332识别出符号序列中的词是特定实体的名称(诸如用户的通讯录或联系人列表中的名称)时，在于用户请求的知识主体内选择可执行意图的过程中，为该词赋予附加重要性。

例如，当从用户请求识别出词“Santo先生”并且在词汇索引344中发现姓“Santo”是用户的联系人列表中的联系人之一时，则用户请求可能对应于“发送消息”或“发起电话呼叫”域。又如，当在用户请求中发现词“ABC咖啡馆”并且在词汇索引344中发现术语“ABC咖啡馆”是用户所在城市中的特定餐厅的名称时，则用户请求可能对应于“餐厅预订”域。

用户数据348包括特定于用户的信息，诸如特定于用户的词汇、用户偏好、用户地址、用户的默认语言和第二语言、用户的联系人列表，以及每个用户的其他短期或长期信息。自然语言处理器332可使用特定于用户的信息来补充用户输入中所包含的信息以进一步限定用户意图。例如，针对用户请求“邀请我的朋友参加我的生日派对”，自然语言处理器332能够访问用户数据348以确定“朋友”是哪些人以及“生日派对”将于何时何地举行，而不需要用户在他/她的请求中明确地提供此类信息。

在一些具体实施中，自然语言处理器332包括分类模块349。在一些具体实施中，分类模块349确定文本串中的一个或多个术语中的每个术语(例如，对应于与数字照片相关联的语音输入)是否是实体、活动或位置中的一个，如下文更详细讨论的。在一些具体实施中，分类模块349将一个或多个术语中的每个术语分类为实体、活动或位置中的一个。

一旦自然语言处理器332基于用户请求识别出可执行意图(或域)，自然语言处理器332便生成结构化查询以表示所识别的可执行意图。在一些具体实施中，结构化查询包括针对可执行意图的域内的一个或多个节点的参数，并且所述参数中的至少一些参数填充有在用户请求中所指定的特定信息和要求。例如，用户可以说：“于晚上7点在寿司店为我预定晚餐”。在这种情况下，自然语言处理器332可以能够基于用户输入来将可执行意图正确地识别为“餐厅预订”。根据知识主体，“餐厅预订”域的结构化查询可包括参数诸如{菜系}、{时间}、{日期}、{同行人数}等。基于包含在用户的话语中的信息，自然语言处理器332可针对餐厅预订域生成部分结构化的查询，其中部分结构化的查询包括参数{菜系＝“寿司”}和{时间＝“晚上7点”}。然而，在该实例中，用户的话语包含不足以完成与域相关联的结构化查询的信息。因此，其他必要参数诸如{同行人数}和{日期}未基于当前可用的信息在结构化查询中被指定。在一些具体实施中，自然语言处理器332利用所接收的上下文信息来填充结构化查询的一些参数。例如，如果用户请求了“我附近”的寿司餐厅，则自然语言处理器332可利用来自用户设备104的GPS坐标来填充结构化查询中的{位置}参数。

在一些具体实施中，自然语言处理器332将结构化查询(包括任何已完成的参数)传送至任务流处理模块336(“任务流处理器”)。任务流处理器336被配置为执行以下操作中的一个或多个操作：从自然语言处理器332接收结构化查询、完成结构化查询、以及执行“完成”用户的最终请求所需的动作。在一些具体实施中，完成这些任务所必需的各种过程在任务流模型354中被提供。在一些具体实施中，任务流模型354包括用于获取来自用户的附加信息的过程，以及用于执行与可执行意图相关联的动作的任务流。

如上所述，为了完成结构化查询，任务流处理器336可能需要发起与用户的附加对话，以便获取附加信息和/或弄清可能有歧义的话语。当此类交互是必要的时，任务流处理器336调用对话处理模块334(“对话处理器”)来参与和用户的对话。在一些具体实施中，对话处理模块334确定如何(和/或何时)向用户询问附加信息，并接收和处理用户响应。在一些具体实施中，通过I/O处理模块328将问题提供给用户并从用户接收回答。例如，对话处理模块334经由音频和/或视频输出向用户呈现对话输出，并接收经由口头或物理(例如，触摸手势)响应的来自用户的输入。继续上文的实例，当任务流处理器336调用对话处理器334以针对与域“餐厅预订”相关联的结构化查询来确定“同行人数”和“日期”信息时，对话处理器334生成问题诸如“共有多少人用餐？”和“具体哪天用餐？”以传送至用户。一旦从用户接收到回答，对话处理模块334便利用缺失信息来填充结构化查询，或将信息传送至任务流处理器336以完成来自结构化查询的缺失信息。

在一些情况下，任务流处理器336可能接收到具有一个或多个模糊属性的结构化查询。例如，针对“发送消息”域的结构化查询可指示预期接收人为“Bob”，并且用户可能有多个名为“Bob”的联系人。任务流处理器336将请求对话处理器334对结构化查询的此属性进行消歧。继而，对话处理器334可能向用户询问“哪个Bob？”，并且显示(或读取)用户可从中进行选择的名为“Bob”的联系人的列表。

在一些具体实施中，对话处理器334包括消歧模块350。在一些具体实施中，消歧模块350对一个或多个有歧义的术语(例如，和与数字照片相关联的语音输入对应的文本串中的一个或多个有歧义的术语)进行消歧。在一些具体实施中，消歧模块350识别所述一个或多个术语中的第一术语具有多个候选含义，提示用户关于第一术语的附加信息，响应于该提示来从用户接收该附加信息，并且根据该附加信息来识别与第一术语相关联的实体、活动或位置。

在一些具体实施中，消歧模块350对代词进行消歧。在此类具体实施中，消歧模块350将所述一个或多个术语中的一个术语识别为代词并且确定该代词所指的名词。在一些具体实施中，消歧模块350通过使用与电子设备的用户相关联的联系人列表来确定代词所指的名词。作为另外一种选择或除此之外，消歧模块350将代词所指的名词确定为在与先前加标签的数字照片相关联的先前的语音输入中所识别的实体、活动或位置的名称。作为另外一种选择或除此之外，消歧模块350将代词所指的名词确定为基于与先前加标签的数字照片相关联的先前的语音输入而识别的人的名称。

在一些具体实施中，消歧模块350访问从手持式电子设备(例如，用户设备104)的一个或多个传感器(例如，接近传感器214、光传感器212、GPS接收器213、温度传感器215和运动传感器210)获取的信息以用于确定这些术语中的一个或多个术语的含义。在一些具体实施中，消歧模块350识别各自与实体、活动或位置中的一个相关联的两个术语。例如，这两个术语中的第一个术语指人，并且这两个术语中的第二个术语指位置。在一些具体实施中，消歧模块350识别各自与实体、活动或位置中的一个相关联的三个术语。

一旦任务流处理器336已针对可执行意图完成结构化查询，任务流处理器336便继续执行与可执行意图相关联的最终任务。因此，任务流处理器336根据结构化查询中包含的特定参数来执行任务流模型中的步骤和指令。例如，针对“餐厅预订”的可执行意图的任务流模型可包括用于联系餐厅并实际上请求在特定时间针对特定同行人数的预订的步骤和指令。例如，通过使用结构化查询诸如：{餐厅预订，餐厅＝ABC咖啡馆，日期＝2012年3月12日，时间＝晚上7点，同行人数＝5人}，任务流处理器336可执行以下步骤：(1)登录ABC咖啡馆的服务器，或者被配置为接受针对多个餐厅诸如ABC咖啡馆的预订的餐厅预订系统，(2)在网站上的表格中输入日期、时间和同行人数信息，(3)提交表格，以及(4)在用户的日历中针对该预订制作日历条目。又如，如在下文更详细描述的，响应于语音输入例如结合照片模块132，任务流处理器336执行与对数字照片加标签或搜索数字照片相关联的步骤和指令。

在一些具体实施中，任务流处理器336使用服务处理模块338(“服务处理器”)的辅助来完成用户输入中所请求的任务或者提供用户输入中所请求的信息性回答。例如，服务处理器338可代表任务流处理器336来发起电话呼叫、设置日历条目、调用地图搜索、调用用户设备上安装的其他用户应用程序或与所述其他用户应用程序进行交互，以及调用第三方服务(例如，餐厅预订门户网站、社交网络网站或服务、银行门户网站等)或与第三方服务进行交互。在一些具体实施中，可通过服务模型356中的相应服务模型来指定每项服务所需的协议和应用程序编程接口(API)。服务处理器338针对服务来访问适当的服务模型，并依据服务模型根据该服务所需的协议和API来生成对该服务的请求。

例如，如果餐厅已启用在线预订服务，则餐厅可提交服务模型，该服务模型指定进行预订的必要参数以及用于将必要参数的值传送至在线预订服务的API。当被任务流处理器336请求时，服务处理器338可使用存储在服务模型356中的网址来建立与在线预订服务的网络连接，并将预订的必要参数(例如，时间、日期、同行人数)以根据在线预订服务的API的格式发送至在线预订接口。

在一些具体实施中，自然语言处理器332、对话处理器334以及任务流处理器336共同且反复地使用以推断并限定用户的意图，获取信息以进一步明确并细化用户意图，并最终生成响应(例如，将输出提供至用户，或完成任务)以满足用户的意图。

在一些具体实施中，在已执行满足用户请求所需的所有任务之后，数字助理326制定确认响应，并通过I/O处理模块328将该响应发送回到用户。如果用户请求寻求信息性回答，则确认响应向用户呈现所请求的信息。在一些具体实施中，数字助理还请求用户来指示用户是否对由数字助理326所产生的响应满意。

在一些具体实施中，数字助理326包括照片模块132(图3A)。在一些具体实施中，照片模块132结合任务流处理模块336(图3A)执行以响应于用户输入来搜索数字照片。

照片模块132对照片执行操作并搜索该照片。例如，在一些具体实施中，照片模块132创建标签，检索与数字照片的指纹相关联的标签，将标签与照片相关联(例如，对照片加标签)，基于用户输入搜索照片数据库(例如，照片和标签数据库130，图1)以识别照片，并且在本地存储各自与一个或多个标签相关联的照片。

在一些具体实施中，照片模块132包括搜索模块361。在一些具体实施中，搜索模块361基于语音输入生成用于搜索数字照片的搜索查询，如下文参照方法400(图4A-4C)更详细地解释的。例如，在一些具体实施中，照片模块132接收对应于照片搜索请求的自然语言文本串，并且查询信息源诸如日历、社交网络等(例如，信息服务122-3、日历服务122-4)以识别用于执行对照片元数据的搜索的信息。如下所述，信息可包括日期参数、时间参数或地理代码参数。搜索模块361从照片的集合(例如，从照片和标签数据库130，图1)识别和与参数中的一个参数匹配的标签相关联的一个或多个照片。例如，对于对应于搜索字符串“查找我上次假期的照片”的所接收到的语音输入，搜索模块361查询日历以确定用户上次假期的日期范围，并且在用户的照片中搜索在该日期范围内拍摄的任何照片。

在一些具体实施中，照片模块132包括本地标签/照片存储装置362。在一些具体实施中，在相机子系统拍摄照片或视频之后，本地标签/照片存储装置362存储与数字照片或视频相关联的照片和标签(包括例如元数据标签，其包括日期标签、时间标签和地理代码标签)。在一些具体实施中，本地标签/照片存储装置362存储标签和一个或多个对应的数字照片。作为另外一种选择或除此之外，本地标签/照片存储装置362将标签存储在距一个或多个对应照片的远程位置(例如，在单独的存储器存储设备上)，但存储与所存储的标签相关联的对应照片的链接或索引。

图4A-4C是表示根据某些具体实施的用于使用基于语音的数字助理来搜索照片的方法的流程图。尽管本讨论主要涉及搜索照片，但相同的讨论同等地适用于其他媒体项，诸如视频、音频等。此外，尽管以下讨论描述由数字助理系统300执行的步骤、过程和操作，但所述步骤、程序和操作在一些具体实施中由用户设备104a、服务器系统108或上文所述的任何其他合适的设备或设备的组合来执行。

照片在由相机、扫描仪等捕获和/或存储时通常与元数据标签相关联，例如数字照片常常包括元数据标签，该元数据标签包括识别照片何时被拍摄的日期戳和/或时间戳以及识别照片在何处被拍摄的地理代码。元数据标签被写入数字文件或以其他方式与数字文件相关联，例如，数据被存储在文件的“属性”中或表现为文件的“属性”。可使用元数据格式诸如可交换图像文件格式(EXIF)和/或可扩展元数据平台(XMP)。单独来看，该信息具有有限的用途。具体地，在用户生日期间拍摄的照片将用那一天(例如，2010年8月16日)的日期戳加标签，但为了搜索该照片，用户实际上必须输入实际日期。当然，用户可花时间查看其照片并且将关键字标签分配给所述照片以使搜索更容易(例如，利用词语“生日”对照片加标签)，但这是麻烦而耗时的，并且许多用户不会花时间来为将来的搜索和/或分类前瞻性地分配标签。

然而，存在可供数字助理系统使用的许多信息源，该数字助理系统可用于使日历日期(以及时间和地理代码)与事件、地点、人等的名称关联。例如，与用户相关联的日历(例如，日历服务122-4或存储在用户设备上和/或由用户设备提供的日历应用程序)可包含将语义(诸如，“生日”)链接到日期(诸如，8月16日)的信息。通过使用此类信息源，数字助理系统能够将自然语言搜索查询(例如，“显示我的生日的图片”)转变为基于日期、时间或地理代码的查询，使得可基于已与照片相关联的元数据标签来搜索该照片。

许多类型的信息源可用于将自然语言搜索查询确定为可用于搜索照片的日期、时间和/或地理代码。例如，电子日历可包含与事件、人、时间或位置相关的显著量的信息，这些事件、人、时间或位置可用于识别将用于照片搜索的具体日期和/或时间。例如，日历可包括指示朋友的生日派对在某一天和某个时间的条目(例如，“Tina的生日派对”)。如果用户请求“Tina的派对的图片”，则数字助理将确定“Tina的派对”发生的日期，并且搜索具有对应的日期标签和时间标签的照片。(如下文所讨论的，数字助理可将搜索范围扩大适当的余量，使得所有相关的照片都被识别，即使它们落在由信息源指示的明确的时间、日期或位置范围之外。)又如，日历可将假日名称(例如，国定假日、宗教假日、工作假日等)与具体日期相关联。因此，用户可搜索“劳动节野餐的照片”，并且数字助理在访问日历之后将搜索在劳动节(例如，2011年10月5日)拍摄的照片。在一些具体实施中，如果日历只是指示劳动节假日的日期，则数字助理搜索在那一天(或者在那个周末内)拍摄的任何照片。在一些具体实施中，数字助理使用用户的自然语言查询中的其他词来细化或修改照片搜索的日期、时间或位置。在这种情况下，术语“野餐”可与主要在中午12点之后发生的事件和/或发生在公园或休闲区的事件相关联。因此，数字助理可搜索在劳动节下午或可能地在野餐位置拍摄的照片。在一些具体实施中，如果用户具有跨越某个时间范围的“劳动节野餐”的日历条目，则搜索将集中在该具体时间范围(加上适当的余量，如果有必要或需要的话)内拍摄的照片上。

在一些具体实施中，日历或其他数据服务(例如，信息服务122-3)将用户查询中的相对的或模糊的日期/时间基准转化为实际日期和/或时间。例如，在一些具体实施中，日历或服务将术语诸如“昨天”、“上周”、“今天上午”、“几天前”、“几周前”和“过去一周”(例如，相对的和/或模糊的时间/日期基准)转化为绝对的日期和/或时间值或范围。当查询词为相对的但不是模糊的时，它会被转化为它所对应的绝对的日期/时间(例如，“昨天”和“上周”是指具体的绝对日期/时间范围，但以相对的术语来表达)。当查询词为模糊的(例如，“几天前”或“今天早些时候”)时，日历或服务会把该基准转化为对于给定查询词来说适合的日期/时间范围。例如，术语“几天前”可被转化为先前1天、3天、5天或10天(或任何其他天数)的日期范围。术语“几周前”可被转化为先前1周、3周、5周或10周(或任何其他周数)的日期范围。术语“今天上午”可被转化为在同一天的中午12点至晚上12点的时间范围。

另外，日历条目常常包含可由数字助理用于促进照片搜索的位置信息。例如，表述“在毛伊岛的假期”或“在富特希尔斯公园的野餐”的日历条目提供将位置信息与日期和事件信息(例如，“假期”和“野餐”)链接的信息。因此，数字助理可确定哪些日期与仅指定位置的查询(诸如，“毛伊岛的照片”)相关联，或者什哪些理代码与仅指定事件的查询(诸如，“显示假期照片”)相关联。这些日期或地理代码可然后用作搜索参数以识别具有对应的日期标签或地理代码标签的照片。

尽管上述实例描述了使用日历来识别用于照片搜索的日期、时间和/或地理代码，但其他信息源可具有相同或类似的信息。例如，此类信息可能得自用户的社交网络账户、联系人列表、数字钱包、旅行计划、收据等。就社交网络而言，用户可将信息发布到社交网络，诸如“刚从毛伊岛度假返回！”因此，如果用户请求“假期照片”(缺少时间或位置信息的查询)，则社交网络可用于确定哪些地理代码可能与其“假期照片”相关联(例如，与毛伊岛相关联的地理代码)。另外，联系人列表可包括信息诸如生日、周年纪念日和/或地址。因此，如果用户对数字助理说“提供来自Jim的生日的图片”，则可从联系人列表中识别Jim的生日，以便搜索具有对应的日期标签的照片。又如，如果用户请求“上周旅行的照片”，则数字助理可使用旅行计划或收据(例如，用于飞机、火车、租车等)来确定该次假期的日期、时间和/或位置。信息源可得自任意数量的来源和/或位置。例如，在一些具体实施中，日历、联系人列表、数字钱包、旅行计划等可被存储在便携式电子设备诸如智能电话(例如，用户设备104a，图1)上。在一些具体实施中，该信息除此之外或作为另外一种选择由一个或多个远程计算机或服务存储，该服务诸如数字助理服务器106、信息服务122-3、日历服务122-4、社交网络服务122-7等(图1)。

当照片将使用位置信息被搜索时，可能有必要将位置的名称转化成地理代码。具体地，如果照片包括自动地生成的位置信息，则其常常呈地理代码的形式，诸如纬度/经度坐标对。但当用于照片搜索的位置信息使用信息源诸如日历、飞行路线、社交网络帖子等进行识别时，其往常常呈位置名称或地址的形式。该信息因此在其可用于搜索利用地理坐标对来加标签的照片之前需要一些转化。因此，在一些具体实施中，地理代码查找表或数据库用于将位置信息转换为用于搜索的地理代码。在一些具体实施中，当位置被识别(例如，“夏威夷的毛伊岛”)时，对应于夏威夷的毛伊岛的地理代码范围被识别，并且数字助理搜索落入由那些代码所指定的地理区域内的照片。在一些具体实施中，在用户的自然语言搜索查询中所识别的位置被转换为一系列可能的地理代码，并且数字助理识别地理代码标签与可能的地理代码范围匹配的照片。在一些具体实施中，数字助理确定与待搜索的照片的地理代码标签相关联的位置(例如，代替确定在搜索查询中所识别的位置的地理代码或除此之外)，并且确定那些地理代码标签中的任一个地理代码标签是否对应于在搜索查询中所识别的位置。在一些具体实施中，这些技术中的两者均被使用。

在一些具体实施中，数字助理使用与用户生成的信息相关联的一个照片的元数据标签，以便识别用于搜索其他照片的时间参数、日期参数或地理代码参数。例如，如果用户将图片发布到社交网络的网站，并且用户(或在社交网络中的另一个人)对该照片发表评论、插图说明或以其它方式加标签，则插图说明或评论描述照片的一些方面似乎是合理的。因此，评论“来自我们的假期！”表明与该评论相关联的照片是在用户度假期间拍摄的。因此，由此断定该照片的时间标签、日期标签和/或地理代码标签对应于用户的假期的时间、日期和/或位置。这些标签于是被用作搜索参数以定位具有相同或类似的元数据标签的其他照片。因此，甚至在一张照片的评论、插图说明或标签本身不包括时间、日期或位置信息的情况下，此类信息仍可从该张照片的时间、日期或地理代码标签来确定。

通常，优选的是，照片搜索返回所有可用的相关照片而没有不相关的照片。然而，搜索算法常常或者是过少包含的(即，这些算法漏掉一些相关的结果)，要么是过多包含的(即，这些算法包括和相关的结果在一起的一些不相关的结果)。因此，在一些具体实施中，数字助理使用信息源和搜索参数的组合来识别候选照片的可用集合，而不包括过多的不相关照片或者过少的相关照片。例如，用户可能在度假期间旅行过许多不同的位置，使得搜索在特定国家或城市拍摄的照片将返回太少的结果。因此，数字助理可以基于时间、日期和地理代码信息的任意组合来执行搜索，以便提供有用且全面的搜索结果。

作为一个实例，某人可能在毛伊岛度假几天，花费一天的时间到其他夏威夷岛屿中的一个岛屿旅游，然后返回毛伊岛度过剩余的假期。在一些具体实施中，为了响应于针对“我的毛伊岛之行的图片”的搜索查询，数字助理将确定用户最近飞到毛伊岛(例如，使用最近的旅行计划)，并且识别针对毛伊岛的地理代码参数以用于照片搜索。在一些具体实施中，数字助理还将确定用户在其日历中圈定了7天作为“假期”。因此，数字助理还可搜索在不同位置，但在用户的日历指定的日期内拍摄的照片。在一些具体实施中，数字助理搜索在特定位置拍摄的照片，但排除落在时间或日期范围之外的照片。例如，如果用户已到某个位置旅行过多次，则将仅返回在先前所识别的“假期”时间范围期间拍摄的那些照片。甚至在没有具体日期或时间范围已被识别的情况下，也可通过识别照片的分组和/或忽略超出日期范围的照片而基于其日期或时间来推断照片与特定的事件或事件的类型相关。例如，如果用户在1周的跨度内有100张照片都拍摄在夏威夷，并且有2张附加照片是在第一分组之前5周拍自毛伊岛，则可以推断这2张附加照片与用户的假期无关。

在一些具体实施中，数字助理搜索在日期范围(例如，对应于日历中的假期条目)期间拍摄的照片，但排除在与用户无关的位置处拍摄的照片。例如，用户可保存这样的照片：该照片由其他人拍摄或与其假期无关，但刚好在同一天或在同一个位置拍摄。在一些情况下，这些照片不应被识别为用户的“假期照片”。在一些具体实施中，如果用户请求例如“我的假期照片”或“拍自我的假期的照片”，则数字助理将识别术语“我的”并且确定用户仅仅希望看到他们自己的照片。数字助理然后将结果限制到仅该用户的照片(例如，通过排除在与用户不相关联的位置处拍摄的照片)。在一些具体实施中，数字助理不试图将照片限制到由用户拍摄或者以其它方式与用户相关联的那些照片。例如，用户可请求“拍自巴黎的照片”作为一般图像搜索。在这种情况下，数字助理可执行一般搜索以检索在巴黎拍摄的照片，即使它们不是由用户拍摄的。

在一些具体实施中，如上所述，组合日期/时间和位置信息的搜索从源的任何组合获取信息。例如，查询可包括多种类型的信息，诸如当用户说“获取我上周在夏威夷拍摄的照片。”该查询提供了位置和时间信息两者。在一些具体实施中，查询将包括仅一种类型的信息，但另一种类型从查询进行推断。例如，说“获取我在夏威夷的照片”的查询可与显示用户何时计划到夏威夷旅行的旅行计划交叉引用。多种类型的信息然后可用于提供一组理想的搜索结果，如以上实例所描述的。

在一些具体实施中，数字助理参与与用户的对话，以便细化搜索查询和/或对搜索查询进行消歧，以采集可能有帮助将搜索结果限制到更相关的集合的附加信息，或者以增加数字助理已正确地理解查询的置信度。例如，如果用户搜索“去年夏天的假期的照片”，则数字助理可通过询问“您是指所有照片还是在特定区域拍摄的照片？”来响应于用户(例如，经由可听输出和/或可视输出)。用户然后可利用附加信息作出响应(例如，通过说“仅夏威夷”或“全部”)。在该实例中，数字助理可具有涉及针对“假期”和“夏天”的搜索查询但在不同位置拍摄的初始识别的多组照片。因此，数字助理从用户请求附加信息，以便确定用户希望看到哪些照片。数字助理也可或附加地识别出搜索查询不包含利用其来生成相关结果集合的足够的信息。例如，数字助理可以认识到针对“去年夏天的假期的照片”的搜索查询可能返回过多的结果，或者返回的那些照片不与“假期”图片的模型或简档匹配(例如，它们拍摄于过多不同的位置，它们跨越太长的时间，在返回的照片之间存在显著的差异，等等)。因此，在一些具体实施中，数字助理将从用户请求附加信息，以便生成将返回更合适的结果集合的搜索查询。

响应于搜索查询而搜索的照片是与用户相关联(或可公开访问的)并可由数字助理访问的任何照片。在一些具体实施中，照片被存储在用户用来访问数字助理或与数字助理进行交互的设备上。例如，当用户利用智能电话、平板电脑或相机(除了其他可能之外)访问数字助理时，数字助理可搜索存储在该设备上的照片。(虽然处理自然语言输入，但利用信息源等的査询可由该设备或其他设备诸如数字助理服务器108、一个或多个外部服务122-n等独立地或组合地执行。)在一些具体实施中，照片远离用户用来访问数字助理或与数字助理进行交互的设备被存储。例如，在一些具体实施中，照片被存储在“云”中，即，在连接到互联网的远程服务器处。远程服务器可由存储装置提供商、社交网络、可经网络访问的家庭媒体服务器或存储单元、照片托管网站等来操作。在一些具体实施中，数字助理被授权使用授权技术来访问(例如，搜索、查看、编辑、下载等)远程存储的图像。例如，在一些具体实施中，数字助理与允许数字助理以编程方式访问图像源的证书相关联。具体地，数字助理设提供有用户到社交网络站点的证书，使得助理能使用社交网络作为信息源(例如，以确定由自然语言搜索查询所指示的日期、时间或位置)或作为照片源(例如，以搜索可能与该自然语言搜索查询相关的图像)。

根据一些具体实施，以下方法允许用户在电子设备诸如智能电话、便携式音乐播放器、膝上型计算机、平板电脑等上搜索照片。当用户希望检索照片以用于查看时，用户可仅仅提供自然语言输入，并且数字助理系统300处理该自然语言输入以确定使用哪些参数来便于搜索相关的照片。为此，如上所述，数字助理系统300使用一个或多个信息源来确定对应于自然语言输入的具体日期、时间和/或地理代码搜索参数。然后，照片被搜索以识别具有与搜索的日期、时间和/或地理代码参数匹配的元数据标签的照片。因此，照片不必首先被自然语言关键字加标签或以其他方式与该自然语言关键字相关联，以便使自然语言搜索特征起作用。

返回至图4A-4C，方法400表示用于使用基于语音的数字助理来搜索媒体项的方法。可任选地，方法400由指令支配，该指令存储在非暂态计算机可读存储介质中并且由数字助理系统的一个或多个计算机系统的一个或多个处理器来执行，该数字助理系统包括但不限于服务器系统108、用户设备104a和/或照片服务122-6。图4A-4C中所示操作中的每一个操作通常对应于存储在计算机存储器或非暂态计算机可读存储介质(例如，客户端设备104的存储器250、与数字助理系统300相关联的存储器302)中的指令。计算机可读存储介质可包括磁盘或光盘存储设备、固态存储设备诸如闪存存储器或一个或多个其他非易失性存储器设备。存储在计算机可读存储介质上的计算机可读指令可包括以下各项中的一个或多者：源代码、汇编语言代码、目标代码或由一个或多个处理器解释的其他指令格式。在各种具体实施中，方法400中的一些操作可被组合和/或一些操作的次序可从图4A-4C所示次序改变。此外，在一些具体实施中，方法400中的一个或多个操作由数字助理系统300的模块来执行，包括例如自然语言处理模块332、对话流处理模块334、照片模块132和/或它们的任何子模块。

提供多个媒体项，其中媒体项中的至少一些媒体项各自与相应标签相关联，所述相应标签包括时间标签、日期标签或地理代码标签中的至少一个(402)。在一些具体实施中，地理代码标签包括GPS坐标。在一些具体实施中，GPS坐标包括纬度/经度对。在一些具体实施中，标签是与媒体项存储在一起的元数据。

多个媒体项中相应的一个媒体项可被存储在各个位置中。例如，在一些具体实施中，多个媒体项的至少一个子集被存储在电子设备上。在一些具体实施中，多个媒体项的至少一个子集相对于电子设备被远程地存储。在一些具体实施中，被远程存储的媒体项与电子设备的用户的社交网络账户相关联。例如，用户可允许基于语音的数字助理访问用户的社交网络账户，使得数字助理可搜索并检索与用户的账户相关联的媒体项(和/或其他信息)。在一些具体实施中，数字助理借助于设备范围内的授权而允许访问社交网络账户。

在一些具体实施中，多个媒体项为照片(404)。在一些具体实施中，多个媒体项为视频(406)。

提供自然语言文本串，该文本串与针对一个或多个媒体项的搜索查询对应，其中搜索查询包括一个或多个查询词(412)。在一些具体实施中，一个或多个查询词不包括日期、时间或地理代码中的任一个。

在一些具体实施中，在步骤(412)之前，从用户接收语音输入，其中自然语言文本串对应于语音输入(408)，并且对语音输入执行语音至文本处理以生成自然语言文本串(410)。例如，用户可提供表示对数字助理的查询的语音输入，诸如“显示我的假期照片”。语音输入(例如，记录的和/或缓存的音频)使用语音至文本处理被转化为文本。所得的文本串被提供给数字助理。在一些具体实施中，语音至文本处理(即，步骤410)由在其上记录语音输入的相同设备执行。在一些具体实施中，语音至文本处理(即，步骤410)由不同设备执行，诸如远程语音至文本处理服务器。

方法400在图4B上继续。搜索至少一个信息源以识别与一个或多个查询词中的至少一个查询词相关联的至少一个参数(即，步骤414)。所述至少一个参数包括时间参数、日期参数或地理代码参数中的至少一个，并且所述至少一个参数和与多个媒体项相关联的标签是分开的。在一些具体实施中，至少一个信息源选自：日历；电子邮件消息；文本消息；社交网络帖子；通讯录；旅行计划；以及事件计划表。(416)。在一些具体实施中，日历是将公共假日、宗教假日、公共事件等关联的可公开访问的日历。在一些具体实施中，日历是与数字助理的用户相关联的私人日历。用户的私人日历可被存储在例如用户设备(例如，用户设备104a，图1)上或外部设备(例如，日历服务122-4或数字助理服务器106，图1)上。在一些具体实施中，用户的日历被存储在这些或其他设备的组合上。

在一些具体实施中，文本消息(例如，步骤416)包括具有文本组件的消息，诸如SMS(简单消息服务)、即时消息等。在一些具体实施中，文本消息的内容可被访问，以便识别可识别媒体项的可能的上下文线索。具体地，在时间上与照片的时间戳非常接近的由用户发送或接收的文本消息可包含识别图片的内容的信息。或者，包括作为附件的媒体项(例如，照片)的文本信息的文本内容可提供关于媒体项的内容的线索。例如，在用户拍摄海滩的照片后2分钟发出的文本消息可以说“我们在波罗海滩–当你有空时来见我们。”该文本可用于识别照片可能已在海滩拍摄，并且用于促进使用自然文本输入来搜索和检索该照片。

如上所述，与一个或多个查询词中的至少一个查询词相关联的至少一个参数被识别(414)。在一些具体实施中，时间参数包括围绕一个或多个查询词中所指定的时间的时间范围(418)。例如，如果查询包括术语“昨天2点左右”，则时间参数可包括前一天中午12点至下午4点的时间范围。

在一些具体实施中，日期参数包括围绕一个或多个查询词中所指定的日期的日期范围(420)。例如，如果查询词为“圣诞节”，则日期参数可包括从12月23日至12月27日的日期范围。

在一些具体实施中，搜索与用户相关联的日历以识别跨越包括假日和/或接近假日的日期范围的事件。例如，日历可具有跨越假日诸如美国独立日的假期事件。因此，假期事件的日期范围可用作对应于美国独立日的媒体项的搜索的日期参数。在搜索日历之后，与多个媒体项相关联的日期标签被搜索(例如，以上的步骤(414))以识别至少一个其相关联的日期标签落入该日期范围内的媒体项。

在其他实例中，如果查询包括指示单日范围的术语，则时间参数可包括具有在所指示的一天的任一侧的1天、2天或3(或更多)天的范围。如果查询包括指示一周或多周的范围的术语，则时间参数可包括具有在所指定的一周的任一侧的另外1天、2天或3天或者在所指定的一周或多周的任一侧的1周、2周或3周或更多另外的周的范围。如果查询包括指示一个或多个小时的范围的术语，则时间参数可包括具有在任一侧的1/2小时、1小时、2小时或3(或更多)小时的范围。如果查询包括指示一分钟或数分钟的范围(即，小于1小时)的术语，则时间参数可包括具有在任一侧的5分钟、10分钟、15分钟或30(或更多)分钟的范围。如果查询包括指示一年或数年的范围的术语，则时间参数可包括具有在任一侧的2个月、3个月或6个(或更多个)月的范围。非数字查询词也可使得数字助理扩展时间参数以包括更大的范围。例如，在一些具体实施中，当查询包括假日(例如，劳动节)时，时间参数可包括该假日所在的整周或周末。数字助理也可基于用户的查询来扩展或调整其他参数，诸如地理代码参数。例如，如果用户在搜索查询中指定了城市，则地理代码参数可被扩展以包括周围的城市、该城市周围的国家/州/地区等。如果用户指定了国家，则地理代码参数可被扩展以包括周围的国家。

在一些具体实施中，地理代码参数包括与一个或多个查询词中所指定的位置相关联的地理代码范围(422)。在一些具体实施中，地理代码范围对应于位置的地理边界(424)。例如，地理代码范围可对应于城市、州、公园、城镇、岛等的地理边界。在一些具体实施中，地理代码范围对应于主要地理代码和在一个或多个方向上的与该主要地理代码的一个或多个距离(426)。例如，主要地理代码可对应于特定位置的代表性的地理位置(例如，城市的中心、公园的入口等)，并且与主要地理代码的一个或多个距离可对应于围绕主要地理代码的半径(例如，1英里、5英里、10英里或100英里的半径或其他距离)。

在一些具体实施中，一个或多个查询词例如，来自搜索查询，(即，步骤412)包括事件名称，并且至少一个信息源包括使事件名称与日期相关联的信息(428)。例如，在一些具体实施中，日历使事件名称与日期相关联。在一些具体实施中，事件名称为宗教假日、国定假日、生日、季节、体育赛事等(430)。

方法400在图4C上继续。将相应标签与至少一个参数进行比较(432)。具体地，在一些具体实施中，地理代码标签、时间标签和/或日期标签被分别与地理代码参数、时间参数和/或日期参数进行比较，这些参数通过搜索所述至少一个信息源而被识别。例如，自然语言文本串可包括查询“获取我的假期照片”，其导致从用户的日历(或通过与用户的模糊对话，如上所述)识别出用户最近曾在夏威夷度假。然后，可将与用户相关联的照片和视频的地理代码标签和与夏威夷州相关联的地理代码范围参数进行比较，以确定哪些照片可能落入用户的“假期照片”的类别中。在一些具体实施中，使用图像识别技术来确定照片的位置。例如，缺少地理代码标签的图像的位置可通过将该照片与具有已知位置的其他照片进行比较来识别。所确定的位置然后可代替地理代码标签使用以促进搜索该照片。图像识别技术(例如，使用图像指纹以利用例如位置信息对图像自动加标签)在于2013年3月13日提交的名称为“Voice-Based Image Tagging and Searching”美国专利申请序列号13/801,534中有所描述，该专利申请全文以引用方式并入本文。

促进向用户呈现所述至少一个媒体项(434)。在一些具体实施中，诸如在方法400在手持式电子设备或客户端计算机系统处执行的情况下，促进对至少一个媒体项的呈现包括在显示设备上显示至少一个媒体项(436)。在一些具体实施中，诸如当在方法400在服务器系统处执行的情况下，促进对至少一个媒体项的呈现包括将至少一个媒体项和/或所述至少一个媒体项的地址或标识符发送至客户端设备以用于显示(438)。

在一些具体实施中，置信度值被分配给每个所识别的媒体项，其中置信度值对应于媒体项的时间标签、日期标签或地理代码标签和与一个或多个查询词中的至少一个查询词相关联的时间、日期或地理代码(440)之间的匹配强度。在一些具体实施中，匹配强度由媒体项的标签与搜索参数的接近度来确定。例如，如果用户搜索“圣诞节的照片”，具有“2011年12月25日”的日期标签的媒体项可具有比在那年的12月20日拍摄的照片更高的置信度值。当要呈现多个媒体项时，基于置信度值来对所述多个媒体项进行排序，并且以基于该排序的次序来显示所述多个媒体项(442)。因此，首先向用户显示与用户的查询更可能匹配或更紧密地匹配的媒体项。

应当理解，对图4A-4C图中已进行描述的操作的特定次序仅仅是示例性的，并非旨在指示所述次序是这些操作可被执行的唯一次序。

根据一些实施例，图5示出了根据各种所述实施例的原理进行配置的电子设备500的功能框图。该设备的功能块任选地由进行各种所描述的实施例的原则的硬件、软件、或硬件和软件的组合来实现。本领域的技术人员应当理解，图5中所述的功能块任选地被组合或被分离为子块，以便实现各种所描述的实施例的原理。因此，本文的描述任选地支持本文所述功能块的任何可能的组合或分离或进一步限定。

如图5中所示，电子设备500包括媒体项提供单元502、自然语言文本串提供单元504、以及耦接至媒体项提供单元502和自然语言文本串提供单元504的处理单元506。在一些实施例中，处理单元506包括信息源搜索单元508、标签比较单元510、呈现促进单元512、语音至文本处理单元514、以及置信度值分配单元516。

媒体项提供单元502被配置为提供多个媒体项，其中媒体项中的至少一些媒体项各自与相应标签相关联，所述相应标签包括时间标签、日期标签或地理代码标签中的至少一个。自然语言文本串提供单元504被配置为提供与针对一个或多个媒体项的搜索查询对应的自然语言文本串，其中搜索查询包括一个或多个查询词。

处理单元506被配置为搜索至少一个信息源以识别与所述一个或多个查询词中的至少一个查询词相关联的至少一个参数(例如，利用信息源搜索单元508)，其中所述至少一个参数包括时间参数、日期参数或地理代码参数中的至少一个，并且其中所述至少一个参数和与多个媒体项相关联的标签是分开的；将相应标签与所述至少一个参数进行比较以识别至少一个其标签与所识别的参数相匹配的媒体项(例如，利用标签比较单元510)；以及促进向用户呈现所述至少一个媒体项(例如，利用呈现促进单元512)。

在一些实施例中，多个媒体项为照片。在一些实施例中，多个媒体项为视频。在一些实施例中，标签是与媒体项存储在一起的元数据。

在一些实施例中，多个媒体项的至少一个子集被存储在电子设备上。

在一些实施例中，多个媒体项的至少一个子集相对于电子设备被远程地存储。

在一些实施例中，被远程存储的媒体项与电子设备的用户的社交网络账户相关联。

在一些实施例中，电子设备还包括耦接至处理单元506的语音输入接收单元505，该语音输入接收单元505被配置为接收来自用户的语音输入，其中自然语言文本串对应于该语音输入。

在一些实施例中，处理单元506被进一步配置为对语音输入执行语音至文本处理以生成自然语言文本串(例如，利用语音至文本处理单元514)。

在一些实施例中，至少一个信息源选自：日历；电子邮件消息；文本消息；社交网络帖子；通讯录；旅行计划；以及事件计划表。

在一些实施例中，一个或多个查询词不包括日期、时间或地理代码中的任一个。

在一些实施例中，一个或多个查询词包括事件名称，并且至少一个信息源包括使事件名称与日期相关联的信息。在一些实施例中，事件名称为宗教假日。在一些实施例中，事件名称为国定假日。在一些实施例中，事件名称选自：生日；季节；以及体育赛事。

在一些实施例中，一个或多个查询词包括假日名称，并且处理单元506被进一步配置为：搜索与用户相关联的日历以识别跨越包括该假日和/或接近该假日的日期范围的事件(例如，利用信息源搜索单元508)；并且搜索与多个媒体项相关联的日期标签以识别至少一个其相关联的日期标签落入该日期范围内的媒体项(例如，利用标签比较单元510)。

在一些实施例中，时间参数包括围绕一个或多个查询词中所指定的时间的时间范围。在一些实施例中，日期参数包括围绕一个或多个查询词中所指定的日期的日期范围。

在一些实施例中，地理代码参数包括与一个或多个查询词中所指定的位置相关联的地理代码范围。在一些实施例中，地理代码范围对应于该位置的地理边界。在一些实施例中，地理代码范围对应于主要地理代码和在一个或多个方向上的与该主要地理代码的一个或多个距离。

在一些实施例中，至少一个参数中的一个参数对应于位置，并且将所述相应标签与至少一个参数进行比较还包括确定地理代码标签是否对应于该位置(例如，利用标签比较单元510)。

在一些实施例中，处理单元506被进一步配置为将置信度值分配给每个所识别的媒体项(例如，利用置信度值分配单元516)，其中置信度值对应于媒体项的时间标签、日期标签或地理代码标签和与一个或多个查询词中的至少一个查询词相关联的时间、日期或地理代码之间的匹配强度。

在一些实施例中，至少一个媒体项包括多个媒体项，并且处理单元506被进一步配置为：促进所述多个媒体项的至少一个子集在与电子设备相关联的显示器(例如，利用呈现促进单元512)上的呈现。

在一些实施例中，处理单元506被进一步配置为在促进对多个媒体项的子集的呈现之前基于置信度值来对多个媒体项进行排序(例如，利用置信度值分配单元516)，其中以基于该排序的次序来显示多个媒体项。

在一些实施例中，电子设备为手持式电子设备。

在一些实施例中，电子设备为服务器，并且文本串在与该电子设备分开的第二电子设备处被接收。

出于解释的目的，前面的描述已参考特定的具体实施进行了描述。然而，上述示例性的讨论并非旨在是穷尽的或将本发明所公开的具体实施限于本发明所公开的精确形式。根据以上教导内容，很多修改和变型都是可能的。选择和描述具体实施是为了更好地阐明所公开的观点的原理及其实际应用，以由此使得本领域的其他技术人员能够更好地利用具有适合于所构想的特定用途的各种修改的所公开的观点。

应当理解，虽然术语“第一”、“第二”等可以在本文中用于描述各种元素，但这些元素不应受这些术语的限制。这些术语只是用于将一个元素与另一元素区分开。例如，第一照片可称为第二照片，并且类似地，第二照片可称为第一照片，而不改变描述的含义，只要出现“第一照片”的所有地方都被一致地重新命名，并且出现第二照片的所有地方也都被一致地重新命名。第一照片和第二照片均为照片，但它们不是同一照片。

本文中所使用的术语仅仅是为了描述特定的具体实施，而并非旨在对权利要求书进行限制。如在具体实施和所附权利要求的描述中所使用的，单数形式“一个”(“a”、“an”)和“该”也旨在包括复数形式，除非上下文以其他方式明确地指出。也将理解的是，本文所用的术语“和/或”是指并包括相关联的所列出的项中的一个或多个项的任何和所有可能的组合。进一步应当理解的是，当在本说明书中使用时，术语“包括”(“comprises”和/或“comprising”)指定了所述特征、整体、步骤、操作、元件和/或部件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元件、部件和/或其组合的存在或添加。

如本文所用，术语“如果”可被理解为表示“当(“when”或“upon”)所阐述的先决条件是真的时”或“响应于确定所阐述的先决条件是真的”或“根据确定所阐述的先决条件是真的”或“响应于检测到所阐述的先决条件是真的”，这取决于上下文。类似地，短语“如果确定[所阐述的先决条件是真的]”或“如果[所阐述的先决条件是真的]”或“当[所阐述的先决条件是真的]时”可被理解为表示“当确定[所阐述的先决条件是真的]时”或“响应于确定[所阐述的先决条件是真的]”或“根据确定[所阐述的先决条件是真的]”或“当检测到[所阐述的先决条件是真的]时”或“响应于检测到[所阐述的先决条件是真的]”，这取决于上下文。

Claims

1.一种用于使用基于语音的数字助理来搜索媒体项的方法，包括：

在具有处理器和存储用于由所述处理器执行的指令的存储器的电子设备处：

提供多个媒体项，其中所述媒体项中的至少一些媒体项各自与相应标签相关联，所述相应标签包括时间标签、日期标签或地理代码标签中的至少一个；

提供与针对一个或多个媒体项的搜索查询对应的自然语言文本串，其中所述搜索查询包括一个或多个查询词；

搜索至少一个信息源以识别与所述一个或多个查询词中的至少一个查询词相关联的至少一个参数，其中所述至少一个参数包括时间参数、日期参数或地理代码参数中的至少一个，其中所述至少一个信息源包括用户特定描述信息，并且其中所述至少一个参数并未在所述搜索查询中提供；

将所述相应标签与所述至少一个参数进行比较以识别至少一个其标签与所识别的参数相匹配的媒体项；以及

促进向用户呈现所述至少一个媒体项。

2.根据权利要求1所述的方法，其中所述多个媒体项为照片或视频。

3.根据权利要求1至2中任一项所述的方法，其中所述标签为与所述媒体项存储在一起的元数据。

4.根据权利要求1至2中任一项所述的方法，其中所述多个媒体项的至少一个子集被存储在所述电子设备上。

5.根据权利要求1至2中任一项所述的方法，其中所述多个媒体项的至少一个子集相对于所述电子设备被远程地存储。

6.根据权利要求5所述的方法，其中被远程存储的所述媒体项与所述电子设备的用户的社交网络账户相关联。

7.根据权利要求1至2中任一项所述的方法，还包括接收来自用户的语音输入，其中所述自然语言文本串对应于所述语音输入。

8.根据权利要求7所述的方法，还包括对所述语音输入执行语音至文本处理以生成所述自然语言文本串。

9.根据权利要求1至2中任一项所述的方法，其中所述至少一个信息源选自包括以下各项的组：

日历；

电子邮件消息；

文本消息；

社交网络帖子；

通讯录；

旅行计划；以及

事件计划表。

10.根据权利要求1至2中任一项所述的方法，其中所述一个或多个查询词不包括日期、时间或地理代码中的任一个。

11.根据权利要求1至2中任一项所述的方法，其中所述一个或多个查询词包括事件名称，并且所述至少一个信息源包括使事件名称与日期相关联的信息。

12.根据权利要求11所述的方法，其中所述事件名称选自下述各项构成的组：生日；季节；运动事件。

13.根据权利要求1至2中任一项所述的方法，其中所述一个或多个查询词包括假日名称，所述方法还包括：

搜索与用户相关联的日历以识别跨越包括和/或接近所述假日的日期范围的事件；以及

搜索与所述多个媒体项相关联的所述日期标签以识别至少一个其相关联的日期标签落入所述日期范围内的媒体项。

14.根据权利要求1至2中任一项所述的方法，其中所述时间参数包括围绕所述一个或多个查询词中所指定的时间的时间范围。

15.根据权利要求1至2中任一项所述的方法，其中所述日期参数包括围绕所述一个或多个查询词中所指定的日期的日期范围。

16.根据权利要求1至2中任一项所述的方法，其中所述地理代码参数包括与所述一个或多个查询词中所指定的位置相关联的地理代码范围。

17.根据权利要求16所述的方法，其中所述地理代码范围对应于所述位置的地理边界。

18.根据权利要求16所述的方法，其中所述地理代码范围对应于主要地理代码和在一个或多个方向上距所述主要地理代码的一个或多个距离。

19.根据权利要求1至2中任一项所述的方法，其中所述至少一个参数中的一个参数对应于位置，并且其中将所述相应标签与所述至少一个参数进行比较还包括确定所述地理代码标签是否对应于所述位置。

20.根据权利要求1至2中任一项所述的方法，还包括将置信度值分配给每个所识别的媒体项，其中所述置信度值对应于所述媒体项的所述时间标签、所述日期标签或所述地理代码标签和与所述一个或多个查询词中的所述至少一个查询词相关联的所述时间、所述日期或所述地理代码之间的匹配强度。

21.根据权利要求20所述的方法，其中所述至少一个媒体项包括多个媒体项，所述方法还包括：

在与所述电子设备相关联的显示器上显示所述多个媒体项的至少一个子集。

22.根据权利要求21所述的方法，进一步包括在所述显示之前，基于所述置信度值对所述多个媒体项进行排序，其中所述多个媒体项按照基于所述排序的顺序进行显示。

23.根据权利要求1至2其中任一项所述的方法，其中所述媒体项是音频。

24.根据权利要求1至2其中任一项所述的方法，其中所述电子设备是手持电子设备。

25.根据权利要求1至2其中任一项所述的方法，其中所述电子设备是服务器，所述文本串在与所述电子设备分离的第二电子设备处被接收。

26.根据权利要求1至2其中任一项所述的方法，其中所述用户特定描述信息是事件信息。

27.一种电子设备，包括存储器、一个或多个处理器、以及存储在所述存储器中并被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括指令，所述指令用于：

促进向用户呈现所述至少一个媒体项。

28.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由电子设备执行的一个或多个程序，所述一个或多个程序包括指令，所述指令用于：

促进向用户呈现所述至少一个媒体项。