CN102473186A - 标记多个数字图像的系统和方法 - Google Patents
标记多个数字图像的系统和方法 Download PDFInfo
- Publication number
- CN102473186A CN102473186A CN2010800327140A CN201080032714A CN102473186A CN 102473186 A CN102473186 A CN 102473186A CN 2010800327140 A CN2010800327140 A CN 2010800327140A CN 201080032714 A CN201080032714 A CN 201080032714A CN 102473186 A CN102473186 A CN 102473186A
- Authority
- CN
- China
- Prior art keywords
- mark
- image
- electronic installation
- input
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
Abstract
一种用于标记多个数字图像的系统包括具有用于呈现数字图像的显示器(22)的电子装置(10)。电子装置中的接口(22a)接收对呈现的图像中的一个图像内的关注区域的输入,并接收对呈现的图像中将与关注区域关联的图像的选择。电子装置中的输入装置(24)接收将应用于关联图像的基于关注区域的标记输入。在一种实施方式中,输入装置是接收手动标记输入的键盘。或者,可以向网络服务器(75)发送呈现的图像的部分。服务器可以将图像部分与参考数据库进行比较以识别图像部分的主题,并生成基于该主题的多个建议标记。
Description
技术领域
本发明涉及呈现数字图像的电子装置,具体地说,涉及下述系统和方法,其以方便且高效的方式标记多个数字图像以提供用于数字图像的数据库的改进的组织机制。
背景技术
除常规的图像采集电路之外,当代的数字照相机通常还包括嵌入的数字照片簿或数字照片管理应用。此外,随着数字成像电路已经变得越来越便宜,包括移动电话、便携式数据助理(PDA)和其它移动电子装置的其它便携式装置除了包括常规的移动电话应用外,通常也包括嵌入的图像采集电路(例如,数字照相机)和数字照片簿或数字照片管理应用。
流行的数字照片管理应用包括用于组织数字照片的若干功能。标记是一种这样的功能,其中用户选择数字照片或其一部分并且将选择的数字照片或者其一部分与文本条目关联。文本条目通常指“文本标记”,并且可以为数字图像或数字图像内描述的具体主题提供识别标签(label)。标记可以存储在包含数字图像的数据文件中,这包括例如将标记并入图像文件的元数据中的方式。额外地或替代地,标记可以存储在单独的数据库中,该单独的数据库链接到相应的数字图像的数据库。给定的数字照片或图像可以包含多个标记,并且/或者标记可以与多个数字图像关联。每个标记可以与数字照片中的不同主题关联,一个主题可以具有多个标记,并且/或者一个给定的标记可以与单个数字照片中的多个主题关联或与多个照片中的多个主题关联。
例如,假设拍摄一张包括一个主题人物的数字照片,其中主题人物为用户的父亲。用户可以将与数字图像关联的诸如“父亲”、“家庭”和“假期”(例如,如果用户的父亲在休假时被拍摄)的一个或多个标记应用于该照片。该数字照片可以包括每一个与其自己的标记关联的其它主题人物。例如,如果该照片还包括用户的兄弟,则该照片也可以被标记为“兄弟”。包含用户的父亲的图像的其它照片可以与第一照片共享标记,并缺少其它标记。例如,在家拍摄的用户的父亲的照片可以被标记为“父亲”和“家庭”,但没有标记为“假期”。作为另一示例,仅包括用户的母亲的假期照片也可以被标记为“家庭”和“假期”,但没有标记为“父亲”。
因此,将理解的是,标记的网络可以应用于数字图像的数据库以生成数据库的综合组织结构。具体地说,数字图像的标记已经成为用于为了在可经由互联网或其它通信网络访问的社交网络站点上发布、与其它电子装置共享、打印和操作等而对朋友、家庭、目的、事件和其它主题的照片进行组织的有用工具。一旦数据库中的数字图像与标记完全关联,则可以通过传统方法来进行搜索以访问类似的照片。在以上描述的示例中,希望在社交网络站点上发布假期照片的用户可以简单地通过“假期”标记搜索数字图像数据库以一次性地识别和访问他假期的所有用户照片,然后可以将这些照片发布在社交网络站点上。类似地,如果用户想要访问和/或发布他母亲的照片,则用户可以通过“母亲”标记来搜索数据库,以此类推。
尽管用于为了操作而组织数字照片的标记的普及和越来越多的使用,但是用于添加标记的当前系统已经证实是有缺陷的。一种标记方法是用户手动输入。如果数字图像和包含的主题的数据库相对较大,那么手动标记是耗时和麻烦的。在减少与手动标记相关的工作的尝试中,一些标记应用可以保持用户可以较容易从其选择标记的最近的标记、常用的标记等等的列表。即使在这样的改进的情况下,对于大量的数字图像而言,手动标记仍然被证明是麻烦的。
为了克服与手动标记相关的负担,已经开发了自动标记技术,其应用识别算法以识别数字图像的数据库中描述的主题。在识别算法中,在数字图像中描述的主题可以与图像的参考数据库进行比较以尝试识别主题。这种识别算法尤其已经被以脸部识别的形式应用于主题人物。然而,脸部识别也被证实是有缺陷的。脸部识别的准确性仍是受限的,尤其是在大的参考数据库的情况下。很可能的是,即使共享公共的整体特征的普通“相似”可能被错误识别,并且因此被错误地标记。当然,错误标记将破坏任何自动标记系统的有用性。因为目标识别已经被证实难以准确地执行,因此当这样的算法总体地应用于对象时当前的自动标记系统的准确性进一步降低。
此外,常规的手动和识别标记系统通常一次仅标记一个数字图像。然而,如上所述,为了提供数字图像数据库的综合组织结构,常常需要多个数字图像共享一个或多个公共标记。即使当使用识别或其它自动标记系统时,单个地标记每个数字图像也是麻烦和耗时的。
发明内容
因此,在本领域中需要用于呈现在电子装置上的数字图像(以及数字图像的部分)的操作和组织的改进的系统和方法。具体地说,在本领域中需要利用一个或多个公共标记一次对多个数字图像进行文本标记的改进的系统和方法。
因此,一种用于标记多个数字图像的系统包括具有用于呈现多个数字图像的显示器的电子装置。电子装置中的接口接收对呈现的图像中的一个图像内的关注区域的输入,并接收对呈现的图像中将与关注区域关联的图像的选择。在一种实施方式中,接口可以是显示器上的表面或者触摸屏接口,并且可以通过利用触摸笔、手指或者其它适合的输入装置与触摸屏表面交互来提供对关注区域的输入和对关联图像的选择。电子装置中的输入装置接收基于关注区域输入的标记,然后将该标记应用于关联图像。在一种实施方式中,输入装置是接收标记文本的手动输入的键盘。
替代地,可以执行自动标记操作。在自动标记中,可以向网络标记生成服务器发送呈现的图像的部分。服务器可以将图像部分与图像的参考数据库进行比较以识别图像部分的公共主题。服务器可以生成基于公共主题的多个建议标记,并向电子装置发送建议标记。用户可以接受建议标记中的一个,并可以将接受的标记应用于关联图像中的每一个。
因此,根据本发明的一方面,电子装置包括用于呈现多个数字图像的显示器。接口接收对呈现的所述多个图像中的至少一个图像内的关注区域的输入,并接收对呈现的所述多个图像中将与关注区域关联的图像的选择。输入装置接收基于关注区域的将应用于关联图像的标记输入,并且控制器被构造为接收标记输入,并将标记应用于关联图像中的每一个。
根据电子装置的一种实施方式,输入装置被构造为接收标记的手动输入。
根据电子装置的一种实施方式,控制器被构造为从关联图像中的每一个提取图像部分,所述图像部分包含基于关注区域的公共主题。电子装置包括通信电路,该通信电路用于向标记生成服务器发送图像部分,并用于接收基于公共主题的来自标记生成服务器的多个标记建议。输入装置接收对建议的标记中的一个的输入,并且控制器被进一步构造为将接受的标记应用于关联图像中的每一个。
根据电子装置的一种实施方式,每个图像部分包括分别从每个关联图像提取的缩略图部分。
根据电子装置的一种实施方式,每个图像部分包括公共主题的对象印章。
根据电子装置的一种实施方式,接口包括显示器上的触摸屏表面,并且通过在触摸屏表面的位于至少一个呈现的图像内的部分上绘制关注区域来输入关注区域。
根据电子装置的一种实施方式,通过与触摸屏表面的位于将被关联的每个图像内的部分交互从所呈现的所述多个图像中选择关联图像。
根据电子装置的一种实施方式,该电子装置还包括触摸笔,该触摸笔用于向触摸屏表面提供输入。
根据电子装置的一种实施方式,接口包括显示器上的触摸屏表面,并且显示器具有显示部分,该显示部分用于显示输入的关注区域,并且通过与触摸屏表面交互来选择关联图像以将显示的关注区域应用于将关联的每个图像。
根据电子装置的一种实施方式,分别为多个呈现的图像输入相应的多个关注区域,并且控制器被构造为将标记应用于与至少一个关注区域关联的每个图像。
根据电子装置的一种实施方式,至少第一标记和第二标记被应用于至少一个关联图像,其中第一标记对应于总图像分类,并且第二标记对应于总图像分类中的具体图像分类。
根据本发明的另一方面,标记生成服务器包括网络接口,该网络接口用于从电子装置接收多个图像部分,每个图像部分是分别从多个关联图像提取的。数据库包括多个参考图像。控制器被构造为将接收的图像部分与参考图像进行比较以识别图像部分的公共主题,并被构造为生成将应用于每个关联图像的基于公共主题的多个标记建议,其中,标记建议经由网络接口发送给电子装置。
根据标记生成服务器的一种实施方式,如果控制器不能识别公共主题,则控制器被构造为生成无法标记指示,其中所述无法标记指示经由网络接口发送给电子装置。
根据标记生成服务器的一种实施方式,网络接口从电子装置接收每一个都从第一组关联图像提取的第一组图像部分,以及每一个都从第二组关联图像提取的第二组图像部分。控制器被构造为将第一组图像部分与参考图像进行比较以识别第一组图像部分的第一公共主题,并被构造为生成将应用于每个第一关联图像的基于第一公共主题的第一多个标记建议。控制器还被构造为将第二组图像部分与参考图像进行比较以识别第二组图像部分的第二公共主题,并被构造为生成将应用于每个第二关联图像的基于第二公共主题的第二多个标记建议。第一多个标记建议和第二多个标记建议经由网络接口发送给电子装置。
根据标记生成服务器的一种实施方式,每个参考图像分别包括数字图像的对象印章。
根据本发明的另一方面,一种标记多个数字图像的方法包括以下步骤:在显示器上呈现多个数字图像;接收对所述多个数字图像中的至少一个图像内的关注区域的输入;接收对呈现的所述多个图像中的图像的选择并将选择的图像与关注区域关联;接收对将应用于关联图像的标记的输入;以及将输入的标记应用于关联图像中的每一个。
根据该方法的一种实施方式,接收标记输入包括接收标记的手动输入。
根据该方法的一种实施方式,该方法还包括:从关联图像中的每一个提取图像部分,各图像部分包含基于关注区域的公共主题;向标记生成服务器发送图像部分;从标记生成服务器接收基于公共主题的多个标记建议;以及将至少一个建议标记应用于关联图像中的每一个。
根据该方法的一种实施方式,该方法还包括:接收分别用于多个呈现的图像的相应多个关注区域的输入;以及将标记应用于与至少一个关注区域关联的每个图像。
根据该方法的一种实施方式,该方法还包括:将至少第一标记和第二标记应用于至少一个关联图像,其中第一标记对应于总图像分类,并且第二标记对应于总图像分类中的具体图像分类。
参照以下描述和附图,本发明的这些特征以及进一步特征将是显而易见的。在说明书和附图中,已经详细地公开了本发明的特定实施方式,如其中可以采用本发明的原则的一些方式所表示的,然而理解的是,本发明没有在范围上受相应的限制。相反地,本发明包括落入所附的权利要求的精神和范围内的所有变化、修改和等同物。
对于一种实施方式中描述和/或示出的特征可以以同样的方式或相似的方式用于一个或多个其它实施方式和/或与其它实施方式结合或替代其它实施方式的特征。
应当强调的是,说明书中使用的术语“包括”用来指明所述特征、部件、步骤或组件的存在,但并不排除一个或更多其它特征、部件、步骤、组件或其组合的存在或者添加。
附图说明
图1是作为包括标记应用的示例性电子装置的移动电话的示意性正视图。
图2是图1的移动电话的操作部分的示意性框图。
图3是描述利用公共标记来标记多个数字图像的示例性方法的概况的流程图。
图4描述电子装置的显示器上将标记的多个图像的示例性呈现。
图5和图6均描述了关联多个图像以便于进行标记的示例性处理。
图7描述了示例性组织标记树,其表示标记可以彼此相关的方式的示例。
图8是其中可以运行图1的移动电话的通信系统的示意图。
图9描述了示例性标记生成服务器的操作部分的功能框图。
图10是从用户电子装置的视角描绘利用公共标记自动标记多个数字图像的示例性方法的概况的流程图。
图11描述了示例性自动标记操作。
图12是从网络标记生成服务器的视角描绘利用公共标记自动标记多个数字图像的示例性方法的概况的流程图。
图13描述了基于对象识别的示例性自动标记操作。
图14描述了基于用户定义的标准的示例性自动标记操作。
具体实施方式
现在将参考附图描述本发明的实施方式,在整个附图中,相同的附图标记用于表示相同的元件。将理解的是,附图不必按比例。
在示出的实施方式中,作为移动电话的操作的一部分,可以呈现并且操作数字图像。将理解的是,本发明的方面不意在限于移动电话的环境中,并且本发明的各方面可以涉及任何类型的适当的电子装置,其示例包括单机数字照相机、媒体播放机、游戏装置、膝上或台式电脑等。为了此处描述的目的,可互相替换的术语“电子器材”和“电子装置”还可以包括便携式无线通信器材。有时被称为“移动无线终端”的术语“便携式无线通信装置”包括诸如移动电话、寻呼机、通信器、电子记事本、个人数字助理(PDA)、智能电话和任何通信装置等的所有装置。所有这样的装置可以根据此处描述的原理进行操作。
图1是移动电话的形式的电子装置10的示意性正视图,并且图2是电子装置/移动电话10的操作部分的示意性框图。虽然示例性移动电话被描述为具有“方块”或“砖”构造,但是移动电话可以具有如本领域所公知的诸如翻盖、枢转(pivot)、回转(swivel)和/或滑盖构造的其它构造。
电子装置10包括显示器22,显示器22用于向用户显示移动电话10的运行状态和各种特征的信息。显示器22还显示由移动电话10接收和/或从存储器90检索到的可视内容。作为本发明的一部分,显示器22可以呈现并且显示用于标记的数字图像。在一种实施方式中,显示器22可以用作照相机组件12的电子取景器。
以键盘24的形式提供的输入装置包括为各种用户输入操作提供的按钮26。例如,键盘24/按钮26通常包括字母数字键,用于允许输入诸如电话号码、电话列表、联系人信息、笔记等的字母数字信息。此外,键盘24/按钮26通常包括特殊功能键,例如用于发起或应答呼叫的“发送”键等。特殊功能键还可以包括用于访问移动电话10内的菜单信息的导航和选择操作的各种键。例如,如图1中所示,特殊功能键可以包括五向导航环,该五向导航环包含四方向表面和可以用作“输入键”选择按钮的中心按钮。键中的一些或全部可以与显示器结合用作软键。此外,键盘24和/或按钮26可以与照相机系统12的方面相关联。例如,键盘24的一个键或按钮26中的一个可以是用户可以按下以命令拍照的快门键。一个或多个键还可以与进入操作的照相机模式关联,例如通过从常规菜单进行选择或通过推动用于照相机功能的专用键来进入照相机模式。键或键类功能性也可以实施为与显示器22关联的触摸屏。
在一种实施方式中,可以利用摄像头组件12拍摄将根据此处描述的原理标记的数字图像。然而,将被理解的是,如此处描述的将被标记的数字图像不需要来自照相机组件12。例如,数字图像可以存储在存储器90中,并从存储器90检索。此外,可以经由任何常规的有线或无线网络接口从外部或网络资源访问数字图像。因此,将被标记的数字图像的资源的精度可以改变。
再参照图2,电子装置10可以包括被构造为执行装置10的功能和操作的整体控制的主控制电路30。控制电路30可以包括处理装置92,例如CPU、微控制器或微处理器。
在功能当中,为了实施本发明的特征,控制电路30和/或处理装置92可以包括控制器,该控制器可以执行存储在机器可读介质上的实施为标记生成应用38的程序代码。应用38可以是独立的软件应用或形成执行与电子装置10相关的附加任务的软件应用的一部分。对于计算机编程领域中,尤其是移动电话、服务器或其它电子装置的应用编程领域中的普通技术人员而言,如何对电子装置进行编程以进行操作和执行与应用38关联的逻辑功能是显而易见的。因此,为了简洁起见省去关于具体编程代码的细节。此外,应用38及其各种组成可以实施为硬件模块、固件或其组合,或与软件代码的组合。而且,虽然根据示例性实施例可以由控制电路30执行代码,但是在不偏离本发明的范围的情况下,也可以经由专用硬件、固件、软件或其组合执行这样的控制器功能。
应用38可以用于以比常规标记系统更有效的方式将公共文本标记应用于多个数字图像。图3是描述利用公共文本标记来标记多个数字图像的示例性方法的概况的流程图。尽管以执行功能逻辑步骤的特定顺序描述示例性方法,但可以相对于描述的顺序改变执行这些步骤的顺序。而且,可以同时或者部分同时执行顺序描述的两个或更多步骤。理解的是所有这些变化都在本发明的范围内。如所提到的,图3中描述的方法示出了概况,并与以下阐述的各种示例提供额外的细节。
该方法可以开始于呈现多个数字图像的步骤100。例如,可以通过任何传统手段在电子装置10的显示器22上呈现多个数字图像,或者也可以通过下述方法来进行:利用照相机组件12拍摄多个图像,从存储器90检索图像,从外部或网络资源访问图像。在步骤110,电子装置可以接收输入,该输入限定了呈现的多个图像中的一个图像内的特定关注区域。输入的关注区域可以限定想要的标记可以基于的代表性主题。在步骤120,电子装置可以接收将彼此关联作为图像组的多个图像的用户输入选择。在步骤130,电子装置可以接收可以基于如上限定的关注区域的标记的输入。在步骤140,可以将标记应用于关联图像中的每一个。
将理解的是,步骤130(标记的输入)特别地可以在标记生成处理内的任意点处发生。例如,标记输入可以替代地在本方法的开端,在呈现图像之后,在限定关注区域之后或在任何适合的时间由电子装置接收。在一种实施方式中,可以将多个图像存储或者链接为关联图像组,并稍后对其进行标记。在这样的实施方式中,可以在各种装置和/或图像数据库之间共享或者发送关联图像组,并且每个对应的用户将他或她自己的标记应用于关联图像组。
如上所述,图3呈现了标记多个数字图像的示例性方法的概况。现在将对于以下示例描述额外的细节。为了解释变化和特定实施方式的示出目的提供示例,并且将理解的是,这些示例不意在限制本发明的范围。具体地说,此处描述的与标记生成应用关联的图形用户接口的具体形式和内容可以改变。
图4描述了在电子装置的显示器22上呈现多个数字图像12a-12f的示例。电子装置可以首先接收如图中的指示线所示的关注区域16的输入。在描述的实施方式中,电子装置可以具有并入到显示器22中的触摸屏表面22a的形式的接口。用户可以利用本领域中公知的诸如触摸笔、手指或者其它适合的输入工具的输入工具14在触摸屏接口上绘制关注区域16。为了方便,输入工具14将随后被称为触摸笔14。将理解的是,也可以使用其它形式的输入。例如,可以利用语音命令、眼睛追踪、照相机检测手势等产生输入。因此,虽然此处的许多示例利用与触摸屏交互的触摸笔,但是输入机制还可以有实质上的变化。一旦限定了关注区域,关注区域可以被表示或者近似为显示在显示器22的上部20中的缩略图18。一旦限定了关注区域,可以关联多个图像12a-f以便于以下述方式进行标记。
图5描述了关联多个图像12a-f以便于进行标记的示例性处理。图5的四个子图像可以被视为表示显示器22的触摸屏接口22a和/或其中呈现的图像的顺序操作或交互。左上图可与图3进行比较,并且示出通过利用触摸笔14在触摸屏接口22a上进行绘制来限定关注区域16。在显示器22的上部20中再次在缩略图18中描述了关注区域。图5中描述的虚线箭头意在示出经由触摸屏表面或接口22a对显示器22顺序操作或交互。将理解的是,箭头提供说明性指示,但通常不会实际显示在显示器22上。如图5中看到的,用户可以将显示的关注区域应用于将被关联的每个图像。例如,用户可以利用触摸笔14来选择缩略图18。然后,用户可以在触摸屏表面上点击或拖拽该缩略图,从而选择一个或多个图像12a-f。在图5中,通过跟随虚线箭头示出图像12d、12b和12e的顺序选择。虽然为了简化而没有具体示出,但将理解的是,可以以类似的方式选择图像12c和12f。一旦完成了图像的选择,标记生成应用38(见图2)可以将选择的图像自动地互相关联并与从其生成缩略图18的图像12a关联。
然后,可以基于关注区域16的缩略图18接收标记的输入。如图5的右下子图中看到的,在一种实施方式中,可以通过请求标记生成输入的提示23提示用户。用户可以使用键盘、触摸屏或通过任何常规手段选择输入生成方法。用户可以选择通过利用电子装置的诸如键盘的输入装置键入或者输入想要的标记文本来在文本框25中手动输入标记。在此示例中,用户已经基于限定的关注区域输入标记文本“菊花”。也可以利用“自动标记”选项提示用户以尝试自动生成或建议标记。以下将详细描述自动标记特征。在图5中,标记输入被示出为发生在图像关联之后。如上所述,这并不是必须的。在一种实施方式中,图像可以被存储或者链接为关联图像组,可以在以后的时间进行访问以便于进行标记。
图6描述了关联多个数字图像以便于进行标记的另一示例性处理。在此示例中,在电子装置的显示器22中呈现三个数字图像32a-c。如图中的指示线所示,触摸笔14已经用于在触摸屏表面22a上限定用于数字图像32a-c的三个各自的关注区域34a-c。标记生成应用已经相称地产生显示在显示器22的上部20中的用于关注区域34a-c的三个缩略图37a-c。
在此示例中,用户具有多种标记选项。例如,与图4和图5的处理类似地,可以通过显示部分20内的提示23提示用户以在公共标记下标记所有三个图像。用户可以采用诸如键盘的输入装置在文本框25中输入诸如“花”的标记文本,以在用户限定的公共标记下对图像进行分组,或者用户可以选择自动标记选项(在下面更详细地描述)以利用公共标记来标记三个图像。替代地或附加地,可以经由与每个图像分别关联的单独提示/框对33a/35a、33b/35b和33c/35c提示用户单独地标记每个图像。以这种方式,每个图像可以与多个标记相关联,每个图像可以与其它图像具有公共标记,也可以不与其它图像具有公共标记。
根据上文所述,图7描述了表示标记可以彼此相关的方式的组织标记树36。例如,可以通过以如上所述的方式之一将诸如“植物”的总标记应用于关联图像组来组织图像。可以通过总分类内的更具体的标记进一步组织图像的子组。在图7的示例中,可以通过一般性地将更具体的标记“花”施加到花的图像来对植物图像进行细分。可以通过为每个给定类型的花(例如,“菊花”、“郁金香”、“玫瑰花”应用更具体的标记来对花图像进行进一步细分。如图3-6所展现的,关于多图像的组,可以为该组分配一个或多个公共标记。将理解的是,组和子组的组织组成以及关联的标记可以进行各种改变,并且不受到图7的示例的限制。
在该情况下,可以以更高效的方式将标记应用于多个图像。系统可以以“自上而下”的方式操作。通过选择标记花,随后在更具体的标记菊花、郁金香或玫瑰下自动分组的图像也将被标记为花。系统也可以以“自下而上”的方式操作。通过限定相关但不相同的菊花、郁金香和玫瑰的主题的关注区域,系统可以根据标记树为该组自动生成标记花。类似地,在一种实施方式中,仅一个标记为菊花的图像将需要被标记为花。通过利用标记花来标记一个标记为菊花的图像,标记花也可以自动应用于每个其它标记为菊花的图像。结果,基本上以各种形式提高了多个图像的公共标记的效率。
各种标记可以与每个数字图像的图像数据文件合并或关联。例如,如本领域所公知的,可以将标记并入到图像文件的元数据中。附加地或替代地,标记可以存储在具有到关联图像文件的链接的单独的数据库中。然后,可以访问并搜索标记以为存储的图像的数据库提供组织结构。例如,如图2中所示,电子装置10可以包括照片管理应用39,该照片管理应用39可以是单独的功能,其可以并入到照相机组件12中,并入到标记生成应用38中或存在于电子装置10中。如果用户想要访问关联数字图像组(例如用于打印,在社区网络站点上发布,与朋友分享或其它操作),用户可以通过任何常规手段执行应用39。应用39可以包括搜索功能,该搜索功能允许用户输入对于例如“花”的标记的搜索查询,根据该搜索对所有标记为“花”的数字图像进行分组以用于进一步的操作。在如上的特定示例中,使用花标记的查询将提供图4和图5的六个菊花图像以及图6的郁金香和玫瑰图像作为结果。
在以上示例中的每一个中,通过用户利用诸如键盘的输入装置输入的手动输入,电子装置接收特定标记输入。然后,标记被自动应用于关联图像组。在其它实施方式中,可以自动接收(图3的步骤130)标记输入本身。具体地说,可以将与限定的关注区域相关的多个图像部分与数字图像(或数字图像的部分)的参考数据库相比较来自动生成多个建议的标记。用户可以选择接受建议的标记之一,或如上所述手动输入标记。在一种实施方式中,参考数据库可以被包含在电子装置10中,并由内部控制器(如图2中所描述的控制电路30和/或处理器92)执行上述比较。然而,由于期望参考数据库很大,所以为了增强存储容量和处理能力,参考数据库可以存储在网络服务器上,该网络服务器具有其自己的控制器以执行所要求的处理。
回到图2,电子装置10可以包括与通信电路96耦合的天线94。通信电路96可以包括射频发送器和接收器,用于如传统那样经由天线94发送和接收信号。根据本发明,通信电路是网络接口形式的标记输入装置,其可以用于如下面所述地在通信网络上发送和接收图像或图像部分、标记建议和/或相关数据。
参照图8,电子装置(移动电话)10可以被构造为用作通信系统68的一部分。系统68可以包括具有服务器72的通信网络70,用于管理由移动电话10发起的或者以移动电话10为目标的呼叫、向移动电话10发送数据并执行任何其他支持功能。服务器72经由传输介质与移动电话10通信。传输介质可以是任何适当的装置或者组件,包括例如通信塔(例如,小区塔)、另一移动电话、无线接入点、卫星等。网络的部分可以包括无线传输路径。网络70可以支持多个移动电话10和其它类型终端用户装置的通信活动。如将理解的是,服务器72可以被构造为用于执行服务器功能的典型计算机系统,并且可以包括被构造为执行包含实施服务器72的功能的逻辑指令的软件的处理器和存储这样的软件的存储器。
通信网络70也可以包括标记生成服务器75以执行本发明相关的操作。虽然将标记生成服务器75或其部件描述为单独的服务器,但标记生成服务器75或其部件可以并入到通信服务器72中一个或多个中。
图9描述了示例性标记生成服务器75的操作部分的功能框图。标记生成服务器可以包括控制器76,制器76用于执行并协调服务器的各种功能。标记生成服务器也可以包括图像数据库78,图像数据库78用于存储多个参考数字图像。标记生成服务器75还可以包括网络接口77,网络接口77用于通过网络与电子装置通信。标记生成服务器75还可以包括图片识别功能79,该图片识别功能79可以由控制器执行以尝试在图像内识别主题以便于进行标记。图片识别功能79可以实施为驻留在标记生成服务器75中并由标记生成服务器75执行的可执行代码。例如,功能79可以由控制器76执行。图片识别功能79可以是独立的软件应用或形成软件应用的执行与服务器75相关的附加任务的部分。对计算机编程领域、尤其是移动电话或其他电子装置产品的应用程序编程方面的技术人员来说,如何对服务器75进行编程以进行操作并且执行与图片识别功能79关联的逻辑功能将是显而易见的。因此,为了简洁省去关于具体编程代码的细节。而且,虽然根据实施方式,功能79可以由各处理装置执行,这样的功能也可以经由专用硬件或固件,或硬件、固件和/或软件的某组合来执行。
图10是从用户电子装置的角度描述利用公共标记自动标记多个数字图像的示例性方法的概况的流程图。尽管以执行功能逻辑步骤的特定顺序描述了示例性方法,但对于描述的顺序,可以改变执行这些步骤的顺序。而且,可以同时或者部分同时地执行顺序描述的两个或更多步骤。理解的是,所有这样的变化都处于本发明的范围内。如所提到的,图10中描述的方法呈现了概况,并结合以下提出的各种示例提供额外的细节。
该方法可以开始于呈现多个数字图像的步骤200。在步骤210,电子装置可以接收输入,该输入限定呈现的图像中的一个图像内的特定关注区域。输入的关注区域可以限定想要的标记可以基于的代表图像部分。在步骤220,电子装置可以接收将彼此关联作为图像组的多个图像的用户输入选择。注意,步骤200、210和220可对应于图3的步骤100、110和120,并且可以用相同或相似的方式执行。
作为步骤230,可以从电子装置将每个关联图像的一部分发送到外部或诸如标记生成服务器75的网络标记生成服务器。在一种实施方式中,图像部分可以包括整个图像。回到图4和图5,例如,电子装置可以发送图像12a-f中的每一个。然而,由于发送和处理整个图像所需要的处理能力,因此优选的是仅发送每个关联图像的一部分。
因此,在另一实施方式中,可以根据每个关联图像限定局部图像部分并从每个关联图像提取局部图像部分。例如,基于图像中用户使用触摸笔14在触摸屏表面22a上触摸图像的点,可以从每个关联图像提取缩略图像部分。例如,如在图5中看到的,用户已在这里描述的菊花中的一个处触摸了每个关联图像。因此,将分别在每个雏菊的中心提取具有较小的轮廓面积的缩略图。在另一实施方式中,应用38可以进一步生成从每个关联图像12a-f提取的提取图像部分的“对象印章”。
如这里使用的,术语“对象印章”指在数字图像中描述的对象的代表,其占据比较大的数字图像本身小的存储容量。例如,对象印章可以是基于足以识别对象的图像特征的图像内的对象或者图像的数学描述或模型。例如,特征可以包括例如对象边缘、颜色、纹理、呈现的文本、图像缩微(缩略图)等。对象的数学描述或模型是本领域公知的,并可以用于各种图像操作应用。对象印章有时在本领域中可以被称为“特征向量”。通过向标记生成服务器发送对象印章,而不是发送整个图像,可以更有效率地使用处理能力。
如以下将要详细解释的,标记生成服务器可以分析发送的图像部分以确定用于图像的多个建议的公共标记。与仅生成一个标记建议的情况相比较,标记生成服务器可以生成多个标记建议以增强将识别主题的可能性。可以生成任何数量的标记建议。在一种实施方式中,标记建议的数量可以是5-10个标记建议。此外,可以按照主题的匹配的几率或比例对标记建议进行分级或排序以增加标记建议的有用性。
因此,在图10的步骤240,电子装置可以从标记建议服务器接收多个标记建议。在步骤250,电子装置可以接收关于是否接受标记建议之一的用户输入。如果标记建议之一被接受,则电子装置可以将接受的标记自动应用于每个关联图像。如果在步骤250没有标记建议被接受,则在步骤270,电子装置可以返回手动标记模式,通过手动标记模式,以上文描述的方式之一接收标记的手动输入。在步骤260,可以将接受的或输入的标记应用于关联图像中的每一个。不论标记建议被接受还是标记被手动输入,在步骤280,电子装置都可以将应用的标记发送到标记生成服务器,该标记生成服务器关于应用的标记更新参考数据库。然后,在接下来的自动标记操作中,可以访问应用的标记以提高这样的随后的自动标记操作的效率和准确性。
例如,图11描述了图5的变化,其中已选择了自动标记操作。与图5相似,图11描述了用户如何限定关注区域16,然后,关注区域16可以与图像12a-f中的每一个关联。如上文所解释的,基于每个图像中用户使用触摸笔14在触摸屏表面22a上触摸的菊花,可以从每个关联图像提取缩略图像部分和/或对象印章。可以将包含菊花图像的图像部分发送给标记生成服务器,该标记生成服务器可以尝试识别图像部分的公共主题。例如,在右下方图像中,提示23现在是自动标记提示,其包含“菊花、玫瑰花或花”的多个建议的标记文本。文字框25现在包含接收接受或拒绝建议的标记文本的输入(“Y/N”)的提示。在图中所描述的示例中,用户已接受“菊花”标记建议,并将接受的标记“菊花”应用于关联图像12a-f中的每一个。如果标记建议没有被接受(输入“N”),则显示器22的显示可以变为与图5的显示类似的形式,其中可以提示用户在文字框25中手动输入标记文字。如上所述,不论接受标记建议还是手动输入标记,电子装置都可以向标记生成服务器发送应用的标记。然后,在接下来的自动标记操作中可以访问应用的标记。
类似的处理可以应用于图6中描述的数字图像。在这样的示例中,可以分别生成包含菊花、郁金香和玫瑰花的图像部分。注意,公共主题现在是“花”,并且每个图像部分描述了特定类型的花。图像部分可以被发送给标记生成服务器,标记生成服务器可以如上所述地识别公共主题并发送多个标记建议。在该示例中,用户可以从建议标记中接受建议标记“花”,并将建议标记“花”并入到关联图像中的每一个中。
图12是从诸如标记生成服务器75的网络标记生成服务器的角度描述利用公共文字标记自动标记多个数字图像的示例性方法的概况的流程图。因此,图12可以被视为对应于图10中的方法的方法,只是从标记生成服务器的角度进行示出。尽管以执行功能逻辑步骤的特定顺序描述了示例性方法,但对于描述的顺序,可以改变执行步骤的顺序。而且,可以同时或者部分同时地执行顺序描述的两个或更多步骤。理解的是所有这些变化都在本发明的范围内。如所提到的,图12中描述的方法示出了概况,并结合以下提出的各种示例提供额外的细节。
该方法可以开始于步骤300,在该步骤300,服务器从电子装置接收每个分别提取自在电子装置上呈现的关联数字图像的多个图像部分。如上所述,图像部分可以是从数字图像提取的缩略图部分、图像中描述的主题的对象印章,或者次优选地为整个图像本身。在步骤310,标记生成服务器可以将接收的图像部分与参考图像数据库相比较。与接收的图像部分类似,参考图像可以是整个数字图像,但为了保留处理能力,参考图像类似地可以是提取自较大的数字图像的主题的对象印章或缩略图部分。在步骤320,可以确定是否能够基于与参考图像数据库的比较识别接收的图像部分中的公共主题。如果确定的结果为肯定,那么在步骤325,可以生成基于公共主题的多个标记建议,并在步骤330,可以向电子装置发送多个标记建议。如以上结合电子装置的镜像操作所描述的,用户可以接受应用建议标记或手动输入标记。无论如何,在步骤333,标记生成服务器可以接收识别应用的标记的信息的发送。在步骤335,标记生成服务器可以更新参考数据库,所以应用的标记可以用在接下来的自动标记操作中。
如果在步骤320中没有识别出公共主题,则在步骤340中,标记生成服务器可以生成“无法标记”的指示,该指示在步骤350中被发送给电子装置。然后,用户电子装置可以返回手动标记模式,通过手动标记模式可以用上文所述的方式之一输入标记的手动输入。在这种情况下,标记生成服务器仍然可以接收识别应用的标记的信息的发送,并相应地更新参考数据库(步骤333和335)。
利用标记生成服务器的自动标记也可以用于提供多个标记建议,每个标记建议涉及不同的主题。例如,服务器可以从电子装置接收分别提取自第一组关联图像的第一组图像部分,以及分别提取自第二组关联图像的第二组图像部分。可以将第一组和第二组图像部分与参考数据库进行比较来识别每组的公共主题。可以为第一组图像部分生成第一多个标记建议,并且为第二组图像部分生成第二多个标记建议。此外,在以上示例中,图像的主题多是普通对象。假设参考数据库的内容足够丰富,则即使用户不知道正在处理的图像中描述的精确主题,也可以生成标记建议。
例如,图13描述了当用户没有识别出图像的精确主题时自动标记描述多个主题的图像的示例。在图13的示例中,电子装置已呈现了两辆汽车位于各种位置的多个图像,但是用户可能不知道每个车的精确车型。如以下进一步描述的,这里描述的自动标记系统可以识别特定车型并为用户生成相应的标记。
与前面的图类似地,图13描述了显示器22,其中呈现了编号为13a-f的六个图像。可以利用施加于显示器22上的触摸屏接口或表面22a的触摸笔14对图像进行操作。可以在显示器22的上显示部分20中提供自动标记信息。在此示例中,用户已用触摸笔14在触摸屏表面22a上限定了两个关注区域16a和16b。每个关注区域可以描述用户感关注的车,但用户可能不知道每辆车的精确车型。例如,关注区域16a可以描述特定的轿车,而关注区域16b可以描述特定的货车。与前述示例类似地,限定的关注区域16a被以关注区域16a(轿车)的缩略图表示的形式重新生成为图像部分18a。此外,限定的关注区域16b被以关注区域16b(货车)的缩略图表示的形式重新生成为图像部分18b。图像13b-f中的每一个描述了由缩略图18a(轿车)或18b(货车)之一表示的汽车之一。
在图13中,分别通过实线和箭头与虚线和箭头区分基于关注区域16a和16b的图像操作。图13中描述的箭头旨在示出对于显示器22的触摸屏接口22a的顺序的操作或交互。将理解的是,箭头提供说明性指示,但通常不会实际显示在显示器22上。如图13中看到的,用户可以利用触摸笔14来选择轿车的第一缩略图18a。然后,用户可以通过点击或拖拽缩略图从而选择将与轿车关联的一个或多个图像13b-f来应用显示的关注区域。例如,在图13中,通过跟随实线箭头示出对将与轿车关联的图像13d和13f的顺序选择。
类似地,用户可以利用触摸笔14来选择货车的第二缩略图18b。然后,用户可以点击或拖拽该缩略图从而选择将与货车关联的一个或多个图像13b-f。例如,在图13中,通过跟随虚线箭头示出对将与货车关联的图像13e、13b和13c的顺序选择。以这种方式,用户已限定了两个关联图像组,用于轿车(13a、13d和13f)的第一组关联图像和用于货车(13a、13e、13b和13c)的第二组关联图像。
与图10和12的方法类似的方法可以应用到每个关联图像组。可以将用于轿车的第一组图像部分发送给标记生成服务器,并与参考图像进行比较。在识别出主题轿车时,可以为轿车生成第一标记建议。类似地,可以将用于货车的第二组图像部分发送给标记生成服务器,并与参考图像进行比较。在识别出主题货车时,可以为货车生成第二标记建议。如图13中看到的,系统已识别出轿车和货车中的每一个的型号,并已建议了分别对应于每个型号的标记文本。在显示部分20中的对话框25中可以显示自动标记建议。如果接受,则“轿车XJ500”标记将自动应用于与轿车关联的每个图像,且“货车350LTD”标记将自动应用于与货车关联的每个图像。
因此,即使在用户不知道数字图像中描述的精确主题时,也可以为描述多种主题的图像自动生成标记。相对于传统自动标记系统,描述的系统具有优点。这里描述的系统生成多个图像部分,每个图像部分包含特定主题,以与参考图像进行比较,这与传统系统中通常处理的非特定单个大图像相比。通过比较多个特定图像部分与参考图像,这里描述的系统具有高于常规系统的准确性。此外,在以上示例中,对于两组图像自动执行标记。将理解的是,这样的标记操作可以应用于任意数量的多组图像(例如五、十、十二等)。
在以上示例中,标记基本上对应于相关主题的识别。这并不是必须的。例如,用户可以完全不应用任何标记。在这种情况下,电子装置可以生成标记。装置生成的标记可以是随机数、缩略图、图标或其它标识符。然后,用户可以用上文所述的方式中的一种将装置生成的标记应用于多个图像。
用户也可以基于个人描述、感觉、态度、特征或任何其它用户定义的标准来定义标记。图14描述了可以基于用户定义的标准对多个图像进行标记的示例。在图14的示例中,电子装置已呈现出艺术作品的图像,但用户并不特别了解艺术。用户更愿意基于用户定义的特征或描述组织图像,而不是基于每件作品的诸如标题、艺术家、流派等的信息来组织图像。如以下进一步描述的,这里描述的标记系统为用户提供一种基于这样的用户定义的标准来组织图像的方法。
与前述附图类似地,图14描述了显示器22,其中呈现了编号为15a-e的多个图像。可以利用施加于显示器22上的触摸屏接口或者表面22a的触摸笔14对图像进行操作。与前述附图类似地,用户已经选择图15a中的一个,以提供图像15a的缩略图表示的形式的图像部分18a的内容,此外,用于已经选择了图像15c中的另外一个,以提供图像15c的缩略图表示的形式的图像部分18c的内容。用户希望将其它图像15b、15e和15c中的每一个与分别由缩略图18a或18b表示的一个或另一个图像关联。
在图14中,分别通过实线和箭头与虚线和箭头来区分基于缩略图18a和18b的图像操作。图14中描述的箭头旨在示出对于显示器22的顺序操作或交互。将理解的是,箭头提供说明性指示,但通常不会实际显示在显示器22上。如图14中看到的,用户可以利用触摸笔14来选择第一缩略图18a。然后,用户可以在触摸屏表面上点击或拖拽该缩略图从而选择将与缩略图18a关联的一个或多个图像15b-f。例如,在图14中,通过跟随实线箭头示出将与缩略图18a关联的图像15d的选择。
类似地,用户可以利用触摸笔14选择第二缩略图18b。然后,用户可以在触摸屏表面上点击或拖拽该缩略图从而选择将与缩略图18b关联的一个或多个图像15b-f。例如,在图14中,通过跟随虚线箭头示出将与缩略图18b关联的图像15b和15e的顺序选择。以这种方式,用户已定义了两个关联图像组,一个用于缩略图18a(图像15a和15b),一个用于缩略图18b(图像15b、15c和15e)。然后,对话框25可以用于输入将自动地应用于每个关联组中的图像的标记文本。在此示例中,用户希望将一组艺术作品的图像标记为“经典”,将另一组标记为“陌生”。因此,可以基于用户特征或其它定义的标准为均包含多个图像的不同组自动生成标记。
如上所述,这里描述的各种示例仅用于说明性目的。图形用户接口、数据库和数字图像的具体形式和内容可以在不背离本发明的精神下进行各种变化。
将理解的是,这里描述的标记系统和方法相对于传统标记系统具有优点。由于标记可以基于数字图像内具体的用户定义的关注区域,所以描述的系统具有增强的准确性并且提供更多的信息。因此,图像的哪一部分应提供标记的基础将不是问题。
因为手动输入的标记可以应用于很多关联图像的子区域,所以改进了手动标记。因此,用户不需要单独标记每张照片。鉴于这种情况,通过将数字图像与不同风格的分类标记关联,可以很容易地产生数字照片的分级组织。分级分类标记也可以用于同时产生给定分类内的多个图像的标记。用户也可以基于内容的特征或其它的用户定义的标准来标记图像,消除了用户了解描述的主题的具体内容的需要。
与传统识别标记系统相比,自动标记也得到了改善。与传统系统中通常处理非特定的单个大图相比,这里描述的系统提供了包含具体主题的用于与参考图像比较的多个图像部分。通过比较包含特定主题的多个图像部分与参考图像,这里描述的系统具有高于传统识别标记系统的准确性。因此,即使在用户不知道描述的准确主题时,也可以为描述各种主题的图像自动生成准确的标记。
尽管已参考数字照片对本发明进行了描述,但这些实施方式也可以利用数字图像的其它分类来实施。例如,可以将类似的原理应用于数字动画或其帧或部分、从互联网或其它网络下载的网页或任何其它数字图像。
再参照图2,将对移动电话10的附加部件进行描述。为了简明,这里将不详细描述移动电话10的传统特征。
移动电话10包括使移动电话10能够与被叫/主叫装置(通常是另一移动电话或有线电话或其它电子装置)建立通话和/或交换信号的通话电路。移动电话10还可以被构造为发送、接收和/或处理数据,例如文本信息(例如,通俗地称为“SMS”,其代表短消息服务)、电子邮件消息、多媒体消息(例如,通俗地称为“MMS”,其代表多媒体短消息服务)、图像文件、视频文件、音频文件、电话铃音、流音频、流视频、数据输送(包括播客)等等。处理这样的数据可以包括将数据存储在存储器90中、执行应用以允许用户与数据交互、显示与数据关联的视频和/或图像内容、输出与数据关联的音频声音等等。
移动电话10还包括用于处理由无线电路96发送或从无线电路96接收的音频信号的声音信号处理电路98。如传统上那样,使用户能够通过移动电话10聆听和讲话的扬声器60和麦克风62耦合到声音处理电路(也参见图1)。
显示器22可以通过将视频数据转换成用于驱动显示器的视频信号的视频处理电路64耦合到控制电路30。视频处理电路64可以包括任何适合的缓冲器、解码器、视频数据处理器等。视频数据可以由控制电路30生成、从存储器90中存储的视频文件检索或者从由无线电路96接收的输入视频数据流获得或通过任何其它适当的方法获得。
移动电话10还可以包括用于与附件、另一移动无线终端、计算机或其它装置建立无线通信的本地无线接口69,例如红外收发器、RF适配器、蓝牙适配器或类似的部件。在本发明的实施方式中,本地无线接口69可以用做用于相对较近的范围内的装置之间的图像或图像部分、标记建议和/或相关数据的短距离无线传输的通信电路。
移动电话10还可以包括允许连接到各种传统I/O装置的I/O接口67。一个这样的装置是电源充电器,该电源充电器能够用于为内部供电单元(PSU)68充电。在本发明的实施方式中,I/O接口67可以用做用于共享有线连接的装置之间的图像或图像部分、标记建议和/或相关数据的有线传输的通信电路。
尽管已经示出本发明并对特定优选实施方式进行了描述,但是应理解的是,在阅读并理解了本说明书的情况下,本领域的技术人员可以想到各种等同物或修改。本发明包括所有这样的等同物和修改,并且本发明仅由以下权利要求的范围来限制。
Claims (20)
1.一种电子装置(10),该电子装置包括:
显示器(22),所述显示器(22)用于呈现多个数字图像;
接口(22a),所述接口(22a)用于接收对所呈现的所述多个图像中的至少一个图像内的关注区域的输入,并用于接收对所呈现的所述多个图像中将与所述关注区域关联的图像的选择;
输入装置(24),所述输入装置(24)用于接收对将应用于关联图像的基于所述关注区域的标记的输入;以及
控制器(30、92),所述控制器(30、92)被构造为接收标记输入,并将所述标记应用于关联图像中的每一个。
2.根据权利要求1所述的电子装置(10),其中,所述输入装置(24)被构造为接收所述标记的手动输入。
3.根据权利要求1-2中的任一项所述的电子装置(10),其中,所述控制器(30、92)被构造为从所述关联图像中的每一个提取图像部分,所述图像部分包含基于所述关注区域的公共主题;并且
所述电子装置包括通信电路(96),所述通信电路(96)用于向标记生成服务器(75)发送所述图像部分,并用于从所述标记生成服务器接收基于所述公共主题的多个标记建议;其中
所述输入装置(24)接收对建议的标记中的一个标记的接受的标记输入,并且所述控制器进一步构造为将接受的标记应用于所述关联图像中的每一个。
4.根据权利要求3所述的电子装置(10),其中,每个图像部分包括分别提取自每个关联图像的缩略图部分。
5.根据权利要求3所述的电子装置(10),其中,每个图像部分包括所述公共主题的对象印章。
6.根据权利要求1-5中的任一项所述的电子装置(10),其中,所述接口(22a)包括所述显示器(22)上的触摸屏表面,并且通过在所述触摸屏表面的位于至少一个呈现的图像内的部分上绘制所述关注区域来输入所述关注区域。
7.根据权利要求6所述的电子装置(10),其中,通过与所述触摸屏表面(22a)的位于将关联的每一个图像内的部分交互来从所呈现的所述多个图像中选择所述关联图像。
8.根据权利要求6-7中的任一项所述的电子装置(10),所述电子装置(10)还包括触摸笔(14),所述触摸笔(14)用于将输入提供到所述触摸屏表面(22a)。
9.根据权利要求1所述的电子装置(10),其中,所述接口(22a)包括所述显示器(22)上的触摸屏表面,并且所述显示器具有显示部分(20),所述显示部分(20)用于显示输入的关注区域,并且通过与所述触摸屏表面交互以将显示的关注区域应用于将被关联的每一个图像来选择所述关联图像。
10.根据权利要求1-9中的任一项所述的电子装置(10),其中,分别为多个呈现的图像输入相应的多个关注区域,并且所述控制器(30、92)被构造为将所述标记应用于与至少一个关注区域关联的每个图像。
11.根据权利要求10所述的电子装置(10),其中,至少第一标记和第二标记被应用于至少一个关联图像,其中所述第一标记对应于总图像分类,并且所述第二标记对应于所述总图像分类内的具体图像分类。
12.一种标记生成服务器(75),所述标记生成服务器(75)包括:
网络接口(77),所述网络接口(77)用于从电子装置(10)接收多个图像部分,所述图像部分中的每一个是分别从相应的多个关联图像中提取的;
数据库(78),所述数据库(78)包括多个参考图像;以及
控制器(76),所述控制器(76)被构造为将接收的图像部分与所述参考图像进行比较以识别所述图像部分的公共主题,并且所述控制器(76)被构造为生成将应用于所述关联图像中的每一个的基于所述公共主题的多个标记建议;
其中,所述标记建议经由所述网络接口发送给所述电子装置。
13.根据权利要求12所述的标记生成服务器(75),其中,如果所述控制器(76)不能识别所述公共主题,则所述控制器被构造为生成无法标记指示,其中所述无法标记指示经由所述网络接口(77)发送给所述电子装置(10)。
14.根据权利要求12-13中的任一项所述的标记生成服务器(75),其中,所述网络接口(77)从所述电子装置(10)接收每个图像部分都提取自第一组关联图像的第一组图像部分,以及每个图像部分都提取自第二组关联图像的第二组图像部分;
所述控制器(76)被构造为将所述第一组图像部分与所述参考图像进行比较以识别所述第一组图像部分的第一公共主题,并且所述控制器(76)被构造为生成将应用于所述第一关联图像中的每一个的基于所述第一公共主题的第一多个标记建议;并且
所述控制器被构造为将所述第二组图像部分与所述参考图像进行比较以识别第二组图像部分的第二公共主题,并且所述控制器被构造为生成将应用于所述第二关联图像中的每一个的基于所述第二公共主题的第二多个标记建议;
其中,所述第一多个标记建议和所述第二多个标记建议经由所述网络接口发送给所述电子装置。
15.根据权利要求12-14中的任一项所述的标记生成服务器(75),其中,每个参考图像包括相应数字图像的对象印章。
16.一种标记多个数字图像的方法,所述方法包括以下步骤:
在显示器(22)上呈现多个数字图像;
接收对所述多个数字图像中的至少一个内的关注区域的输入;
接收对所呈现的所述多个图像中的图像的选择并且将选择的图像与所述关注区域关联;
接收对将应用于关联图像的标记的输入;以及
将输入的标记应用于所述关联图像中的每一个。
17.根据权利要求16所述的方法,其中,接收标记输入包括接收所述标记的手动输入。
18.根据权利要求16-17中的任一项所述的方法,所述方法还包括以下步骤:
从所述关联图像中的每一个提取图像部分,所述图像部分分别包含基于所述关注区域的公共主题;
向标记生成服务器(75)发送所述图像部分;
从所述标记生成服务器接收基于所述公共主题的多个标记建议;以及
将至少一个建议的标记应用于所述关联图像中的每一个。
19.根据权利要求16-18中的任一项所述的方法,所述方法还包括以下步骤:接收分别用于多个呈现的图像的多个关注区域的输入,以及将所述标记应用于与至少一个关注区域关联的每个图像。
20.根据权利要求19所述的方法,所述方法还包括以下步骤:将至少第一标记和第二标记应用于至少一个关联图像,其中所述第一标记对应于总图像分类,并且所述第二标记对应于所述总图像分类中的具体图像分类。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/505,642 | 2009-07-20 | ||
US12/505,642 US20110016150A1 (en) | 2009-07-20 | 2009-07-20 | System and method for tagging multiple digital images |
PCT/IB2010/000074 WO2011010192A1 (en) | 2009-07-20 | 2010-01-15 | System and method for tagging multiple digital images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102473186A true CN102473186A (zh) | 2012-05-23 |
CN102473186B CN102473186B (zh) | 2014-04-30 |
Family
ID=42104701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080032714.0A Expired - Fee Related CN102473186B (zh) | 2009-07-20 | 2010-01-15 | 标记多个数字图像的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20110016150A1 (zh) |
EP (1) | EP2457183B1 (zh) |
CN (1) | CN102473186B (zh) |
TW (1) | TWI539303B (zh) |
WO (1) | WO2011010192A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103716488A (zh) * | 2012-09-28 | 2014-04-09 | 兄弟工业株式会社 | 信息处理装置 |
CN103856764A (zh) * | 2012-11-30 | 2014-06-11 | 浙江大华技术股份有限公司 | 一种利用双快门进行监控的装置 |
CN104243834A (zh) * | 2013-06-08 | 2014-12-24 | 杭州海康威视数字技术股份有限公司 | 高清相机的图像分流控制方法及其装置 |
CN105183739A (zh) * | 2014-04-04 | 2015-12-23 | 卡姆芬德公司 | 图像处理方法 |
Families Citing this family (206)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
JP4636141B2 (ja) * | 2008-08-28 | 2011-02-23 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US8423916B2 (en) * | 2008-11-20 | 2013-04-16 | Canon Kabushiki Kaisha | Information processing apparatus, processing method thereof, and computer-readable storage medium |
US20120311585A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Organizing task items that represent tasks to perform |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US8416997B2 (en) * | 2010-01-27 | 2013-04-09 | Apple Inc. | Method of person identification using social connections |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US20120146923A1 (en) * | 2010-10-07 | 2012-06-14 | Basir Mossab O | Touch screen device |
US8650194B2 (en) * | 2010-12-10 | 2014-02-11 | Sap Ag | Task-based tagging and classification of enterprise resources |
US20120185533A1 (en) * | 2011-01-13 | 2012-07-19 | Research In Motion Limited | Method and system for managing media objects in mobile communication devices |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US9195679B1 (en) * | 2011-08-11 | 2015-11-24 | Ikorongo Technology, LLC | Method and system for the contextual display of image tags in a social network |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
EP2613552A3 (en) * | 2011-11-17 | 2016-11-09 | Axell Corporation | Method for moving image reproduction processing and mobile information terminal using the method |
US10013949B2 (en) * | 2011-12-21 | 2018-07-03 | Sony Mobile Communications Inc. | Terminal device |
KR101969583B1 (ko) * | 2012-01-10 | 2019-08-20 | 삼성전자주식회사 | 컨텐츠 관리 방법과 장치 및 기록 매체 |
JP5871629B2 (ja) * | 2012-01-20 | 2016-03-01 | キヤノン株式会社 | 情報処理装置およびその制御方法およびプログラム |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US11284251B2 (en) | 2012-06-11 | 2022-03-22 | Samsung Electronics Co., Ltd. | Mobile device and control method thereof |
EP3379441B1 (en) | 2012-06-11 | 2019-12-18 | Samsung Electronics Co., Ltd. | Mobile device and control method thereof |
KR102071692B1 (ko) * | 2012-06-11 | 2020-01-31 | 삼성전자주식회사 | 모바일 디바이스 및 그 제어 방법 |
US20130346068A1 (en) * | 2012-06-25 | 2013-12-26 | Apple Inc. | Voice-Based Image Tagging and Searching |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
BR112015018905B1 (pt) | 2013-02-07 | 2022-02-22 | Apple Inc | Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico |
US9633272B2 (en) * | 2013-02-15 | 2017-04-25 | Yahoo! Inc. | Real time object scanning using a mobile phone and cloud-based visual search engine |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US9195720B2 (en) * | 2013-03-14 | 2015-11-24 | Google Inc. | Requesting search results by user interface gesture combining display objects |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10546352B2 (en) * | 2013-03-14 | 2020-01-28 | Facebook, Inc. | Method for selectively advertising items in an image |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
JP2014203164A (ja) * | 2013-04-02 | 2014-10-27 | 株式会社東芝 | 情報処理装置、情報処理方法およびプログラム |
US10185898B1 (en) | 2013-05-01 | 2019-01-22 | Cloudsight, Inc. | Image processing including streaming image output |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
CN105264524B (zh) | 2013-06-09 | 2019-08-02 | 苹果公司 | 用于实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面 |
USD768661S1 (en) * | 2013-12-01 | 2016-10-11 | Vizio Inc | Television screen with a transitional graphical user interface |
USD773495S1 (en) * | 2013-12-01 | 2016-12-06 | Vizio, Inc | Television screen with a transitional graphical user interface |
USD768160S1 (en) * | 2013-12-01 | 2016-10-04 | Vizio Inc | Television screen with a graphical user interface |
USD771083S1 (en) * | 2013-12-01 | 2016-11-08 | Vizio Inc | Television screen with a graphical user interface |
USD768161S1 (en) * | 2013-12-01 | 2016-10-04 | Vizio, Inc | Television screen with a graphical user interface |
USD768662S1 (en) * | 2013-12-01 | 2016-10-11 | Vizio Inc | Television screen with a graphical user interface |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
US9734168B1 (en) * | 2013-12-08 | 2017-08-15 | Jennifer Shin | Method and system for organizing digital files |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
EP3149728B1 (en) | 2014-05-30 | 2019-01-16 | Apple Inc. | Multi-command single utterance input method |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
JP6043753B2 (ja) * | 2014-06-12 | 2016-12-14 | 富士フイルム株式会社 | コンテンツ再生システム、サーバ、携帯端末、コンテンツ再生方法、プログラムおよび記録媒体 |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
KR20170022192A (ko) * | 2015-08-19 | 2017-03-02 | 삼성전자주식회사 | 터치 센서를 구비하고 있는 전자장치 |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
CN105512220B (zh) * | 2015-11-30 | 2018-12-11 | 小米科技有限责任公司 | 图像页面输出方法及装置 |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
CN105760448B (zh) * | 2016-02-03 | 2019-11-15 | 北京金山安全软件有限公司 | 一种图片处理方法、装置及电子设备 |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
KR20180014586A (ko) | 2016-08-01 | 2018-02-09 | 삼성전자주식회사 | 사용자 입력에 대응하는 섬네일을 출력하는 전자 장치 및 방법 |
US20180052589A1 (en) * | 2016-08-16 | 2018-02-22 | Hewlett Packard Enterprise Development Lp | User interface with tag in focus |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10146758B1 (en) * | 2016-09-30 | 2018-12-04 | Amazon Technologies, Inc. | Distributed moderation and dynamic display of content annotations |
US10650262B2 (en) | 2016-11-09 | 2020-05-12 | Clicpic, Inc. | Electronic system for comparing positions of interest on media items |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10878024B2 (en) * | 2017-04-20 | 2020-12-29 | Adobe Inc. | Dynamic thumbnails |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US20190197315A1 (en) * | 2017-12-21 | 2019-06-27 | Facebook, Inc. | Automatic story generation for live media |
US10805647B2 (en) * | 2017-12-21 | 2020-10-13 | Facebook, Inc. | Automatic personalized story generation for visual media |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
WO2019187493A1 (ja) * | 2018-03-26 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US10817654B2 (en) * | 2018-11-27 | 2020-10-27 | Snap-On Incorporated | Method and system for modifying web page based on tags associated with content file |
TWI684907B (zh) * | 2018-11-28 | 2020-02-11 | 財團法人金屬工業研究發展中心 | 數位影像辨識方法、電子裝置、電腦程式產品 |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
DK201970511A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Voice identification in digital assistant systems |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
US11043220B1 (en) | 2020-05-11 | 2021-06-22 | Apple Inc. | Digital assistant hardware abstraction |
CN112492206B (zh) * | 2020-11-30 | 2021-10-26 | 维沃移动通信(杭州)有限公司 | 图像处理方法、装置及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101354791A (zh) * | 2007-05-09 | 2009-01-28 | 捷讯研究有限公司 | 用于编辑照片标签的用户接口 |
CN101467145A (zh) * | 2006-07-24 | 2009-06-24 | 谷歌公司 | 用于自动注释图像的方法和装置 |
US20090171783A1 (en) * | 2008-01-02 | 2009-07-02 | Raju Ruta S | Method and system for managing digital photos |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2390968A1 (fr) * | 1977-05-16 | 1978-12-15 | Skovajsa Joseph | Dispositif de traitement local d'un patient, notamment pour acupuncture ou auriculotherapie |
US4558703A (en) * | 1982-05-27 | 1985-12-17 | Hermann Mark | Vestibular stimulation method |
US4928695A (en) * | 1989-02-17 | 1990-05-29 | Leon Goldman | Laser diagnostic and treatment device |
US5419312A (en) * | 1993-04-20 | 1995-05-30 | Wildflower Communications, Inc. | Multi-function endoscope apparatus |
US5327902A (en) * | 1993-05-14 | 1994-07-12 | Lemmen Roger D | Apparatus for use in nerve conduction studies |
US5749081A (en) * | 1995-04-06 | 1998-05-05 | Firefly Network, Inc. | System and method for recommending items to a user |
DE29508077U1 (de) * | 1995-05-16 | 1995-08-10 | Wilden Lutz Dr Med | Mundpflegegerät |
JPH10301938A (ja) * | 1997-04-22 | 1998-11-13 | Canon Inc | 画像処理装置およびその方法、画像処理システム、記憶媒体 |
AUPP764398A0 (en) * | 1998-12-11 | 1999-01-14 | Canon Kabushiki Kaisha | Method and apparatus for computing the similarity between images |
US6152882A (en) * | 1999-01-26 | 2000-11-28 | Impulse Dynamics N.V. | Apparatus and method for chronic measurement of monophasic action potentials |
US7302296B1 (en) * | 1999-07-06 | 2007-11-27 | Neurostream Technologies, Inc. | Electrical stimulation system and methods for treating phantom limb pain and for providing sensory feedback to an amputee from a prosthetic limb |
US6504951B1 (en) * | 1999-11-29 | 2003-01-07 | Eastman Kodak Company | Method for detecting sky in images |
AUPQ717700A0 (en) * | 2000-04-28 | 2000-05-18 | Canon Kabushiki Kaisha | A method of annotating an image |
US6804684B2 (en) * | 2001-05-07 | 2004-10-12 | Eastman Kodak Company | Method for associating semantic information with multiple images in an image database environment |
US7158692B2 (en) * | 2001-10-15 | 2007-01-02 | Insightful Corporation | System and method for mining quantitive information from medical images |
US7010356B2 (en) * | 2001-10-31 | 2006-03-07 | London Health Sciences Centre Research Inc. | Multichannel electrode and methods of using same |
WO2004080291A2 (en) * | 2003-03-12 | 2004-09-23 | Color Kinetics Incorporated | Methods and systems for medical lighting |
US20040212695A1 (en) * | 2003-04-28 | 2004-10-28 | Stavely Donald J. | Method and apparatus for automatic post-processing of a digital image |
US7840892B2 (en) * | 2003-08-29 | 2010-11-23 | Nokia Corporation | Organization and maintenance of images using metadata |
US7190993B2 (en) * | 2003-11-04 | 2007-03-13 | Medtronic, Inc. | Implantable medical device having optical fiber for sensing electrical activity |
US20060161218A1 (en) * | 2003-11-26 | 2006-07-20 | Wicab, Inc. | Systems and methods for treating traumatic brain injury |
US7853564B2 (en) * | 2004-09-17 | 2010-12-14 | Adobe Systems Incorporated | Adding metadata to a stock content item |
US7883535B2 (en) * | 2004-11-09 | 2011-02-08 | Institut National D'optique | Device and method for transmitting multiple optically-encoded stimulation signals to multiple cell locations |
US7833257B2 (en) * | 2004-11-12 | 2010-11-16 | Northwestern University | Apparatus and methods for optical stimulation of the auditory nerve |
US7488341B2 (en) * | 2005-09-14 | 2009-02-10 | Massachusetts Eye & Ear Infirmary | Method for optical stimulation of the vestibular system |
US20070098303A1 (en) * | 2005-10-31 | 2007-05-03 | Eastman Kodak Company | Determining a particular person from a collection |
US8197539B2 (en) * | 2006-05-05 | 2012-06-12 | University Of Southern California | Intraocular camera for retinal prostheses |
US8436911B2 (en) * | 2006-09-14 | 2013-05-07 | Freezecrowd, Inc. | Tagging camera |
US7747318B2 (en) * | 2006-12-07 | 2010-06-29 | Neuropace, Inc. | Functional ferrule |
US20090092299A1 (en) * | 2007-10-03 | 2009-04-09 | Siemens Medical Solutions Usa, Inc. | System and Method for Joint Classification Using Feature Space Cluster Labels |
US8144939B2 (en) * | 2007-11-08 | 2012-03-27 | Sony Ericsson Mobile Communications Ab | Automatic identifying |
US20090254841A1 (en) * | 2007-11-12 | 2009-10-08 | Move Sales, Inc. | Apparatus, method, and computer program product for characterizing user-defined areas |
EP2232898A4 (en) * | 2007-12-17 | 2012-08-08 | Smooth Productions Inc | COMMUNICATIONS NETWORK SYSTEM |
US8589402B1 (en) * | 2008-08-21 | 2013-11-19 | Adobe Systems Incorporated | Generation of smart tags to locate elements of content |
US8280164B2 (en) * | 2009-03-04 | 2012-10-02 | Eastman Kodak Company | Producing object cutouts in topically related images |
US20110145275A1 (en) * | 2009-06-19 | 2011-06-16 | Moment Usa, Inc. | Systems and methods of contextual user interfaces for display of media items |
-
2009
- 2009-07-20 US US12/505,642 patent/US20110016150A1/en not_active Abandoned
-
2010
- 2010-01-15 CN CN201080032714.0A patent/CN102473186B/zh not_active Expired - Fee Related
- 2010-01-15 WO PCT/IB2010/000074 patent/WO2011010192A1/en active Application Filing
- 2010-01-15 EP EP10707957.6A patent/EP2457183B1/en not_active Not-in-force
- 2010-06-18 TW TW099119897A patent/TWI539303B/zh not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101467145A (zh) * | 2006-07-24 | 2009-06-24 | 谷歌公司 | 用于自动注释图像的方法和装置 |
CN101354791A (zh) * | 2007-05-09 | 2009-01-28 | 捷讯研究有限公司 | 用于编辑照片标签的用户接口 |
US20090171783A1 (en) * | 2008-01-02 | 2009-07-02 | Raju Ruta S | Method and system for managing digital photos |
Non-Patent Citations (1)
Title |
---|
吴俊: "在Vista中批量添加照片标记的两种方法", 《电脑迷》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103716488A (zh) * | 2012-09-28 | 2014-04-09 | 兄弟工业株式会社 | 信息处理装置 |
US9507796B2 (en) | 2012-09-28 | 2016-11-29 | Brother Kogyo Kabushiki Kaisha | Relay apparatus and image processing device |
CN103856764A (zh) * | 2012-11-30 | 2014-06-11 | 浙江大华技术股份有限公司 | 一种利用双快门进行监控的装置 |
CN103856764B (zh) * | 2012-11-30 | 2016-07-06 | 浙江大华技术股份有限公司 | 一种利用双快门进行监控的装置 |
CN104243834A (zh) * | 2013-06-08 | 2014-12-24 | 杭州海康威视数字技术股份有限公司 | 高清相机的图像分流控制方法及其装置 |
CN104243834B (zh) * | 2013-06-08 | 2017-10-13 | 杭州海康威视数字技术股份有限公司 | 高清相机的图像分流控制方法及其装置 |
CN105183739A (zh) * | 2014-04-04 | 2015-12-23 | 卡姆芬德公司 | 图像处理方法 |
CN105183739B (zh) * | 2014-04-04 | 2019-01-04 | 云视公司 | 图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2011010192A1 (en) | 2011-01-27 |
TWI539303B (zh) | 2016-06-21 |
EP2457183B1 (en) | 2017-12-27 |
TW201126358A (en) | 2011-08-01 |
US20110016150A1 (en) | 2011-01-20 |
EP2457183A1 (en) | 2012-05-30 |
CN102473186B (zh) | 2014-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102473186B (zh) | 标记多个数字图像的系统和方法 | |
US7873356B2 (en) | Search interface for mobile devices | |
CN204856601U (zh) | 连续性 | |
TWI524192B (zh) | 智慧型的文字訊息產生系統、方法與裝置 | |
CN102640101B (zh) | 用于提供用户接口的方法及装置 | |
CN101495965B (zh) | 语义富对象的动态用户体验 | |
CN100461109C (zh) | 语义任务计算 | |
EP2160915B1 (en) | Automatic contact information entry via location sensing | |
US20060200778A1 (en) | Windowing and controlling system thereof comprising a computer device | |
CN102763079A (zh) | 用自定义控件取代键盘的应用程序编程接口(api) | |
CN103282937A (zh) | 用于在社交网络中共享内容的内容共享接口 | |
CN102460362A (zh) | 在计算设备上的字形输入 | |
CN103119538A (zh) | 扩展应用程序服务的设备和方法 | |
CN104932770A (zh) | 用于显示基于行为的使用者界面的版面配置(build)的方法、系统及电子装置 | |
CN102089744A (zh) | 用于移动设备的应用管理的用户界面 | |
CN108369806B (zh) | 可配置的通用语言理解模型 | |
CN105519101A (zh) | 用于计算装置的辨识界面 | |
WO2019232041A1 (en) | Feature exposure for model recommendations and feedback | |
CN102004984A (zh) | 信息处理设备、程序和信息处理系统 | |
KR20180021316A (ko) | 문자 입력 및 컨텐츠 추천을 위한 통합 키보드 | |
CN101387938A (zh) | 用于选择照片标签的用户接口 | |
CN105229638A (zh) | 作为对内容的收集的贡献者的自动化的库管理员 | |
US8364135B2 (en) | Apparatus and method for managing data in portable terminal | |
CN103703762A (zh) | 用于具有因特网能力的设备上的窗口小部件通知的方法、导览和显示系统 | |
CN102473260A (zh) | 管理联系条目信息的方法、执行该方法的用户设备及其存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140430 Termination date: 20200115 |
|
CF01 | Termination of patent right due to non-payment of annual fee |