CN110457504B - 数字资产搜索技术 - Google Patents
数字资产搜索技术 Download PDFInfo
- Publication number
- CN110457504B CN110457504B CN201910371242.4A CN201910371242A CN110457504B CN 110457504 B CN110457504 B CN 110457504B CN 201910371242 A CN201910371242 A CN 201910371242A CN 110457504 B CN110457504 B CN 110457504B
- Authority
- CN
- China
- Prior art keywords
- digital assets
- search
- digital
- metadata
- keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明题为“数字资产搜索技术”。本公开的实施方案呈现了用于使用户能够快速且容易地过滤和搜索数字资产集合的设备、方法和计算机可读介质。所公开的技术允许快速调用期望的数字资产,将资产链接到逻辑集合中,以及整体改善的用户体验。零关键字/上下文关键字特征呈现多媒体内容图标和可搜索关键字,以允许用户仅通过点击这些关键字之一来搜索所述数字资产集合。所述顶部自动完成功能基于各种启发法自动完成所述搜索字段中的建议,以确保所述方法产生多样化和相关的结果。所述下一个关键字建议特征基于有关所述数字资产集合的已学习属性来预测下一个搜索术语。所述语义同义词和语法同义词特征扩展了索引词汇表以允许更广泛的搜索。所述快速/受限属性特征仅加载搜索需要的所需属性。
Description
相关申请的交叉引用
本申请要求2018年5月7日提交的名称为“Digital Asset Search Techniques”的美国临时申请62/668,153;以及2018年9月28日提交的名称为“Digital Asset SearchTechniques”的美国专利申请16/147,233;这两个申请据此全文以引用方式并入本文以用于所有目的。该申请全文以引用方式并入名称为“Knowledge Graph Metadata NetworkBased on Notable Moments”的共同拥有的提交于2016年12月27目的美国专利申请序列号15/391,276并用于所有目的。
背景技术
现代计算设备提供在电子设备中存储数千个数字资产(例如,数字照片、数字视频等)的机会。用户通常通过在计算设备的显示屏上呈现图像来向他人显示他们的数字资产。查找特定数字资产或一组相关数字资产可能需要耗费时间并导致糟糕的用户体验。将数千或数万个数字资产手动分类到数字相册或文件夹中可能是耗时的,并且可能难以将单个数字资产与多个集合链接。管理数字资产集合对于用户而言可为资源密集型运动。在找到感兴趣的数字资产之前,用户可能必须对许多不相关的数字资产进行分类。管理电子设备的数字资产集合需要用于执行查询或事务的处理能力以及用于必要数据库的存储装置内存空间。这些要求剥夺了可分配给其他任务的有限资源。
发明内容
本公开的实施方案可提供用于实现对数字资产集合中的数字资产进行搜索的设备、方法和计算机可读介质。本公开使用户能够快速且容易地过滤数字资产集合中的数字资产。所述公开的技术允许快速调用期望的资产,将资产链接到逻辑集合,以及提供整体改善的用户体验。
在各种实施方案中,可通过本公开中描述的技术来克服搜索数字资产集合的困难。在各种实施方案中,该方法涉及生成数字资产的零关键字或上下文关键字搜索。在该方法中,与描述特征的关键字标签结合的一个或多个用户界面元素可与数字资产相关联。可由计算设备的一个或多个处理器执行的这些技术使用知识图,该知识图包括表示数字资产与资产类别之间的关联性的多个节点。数字资产可存储在计算设备的数字资产集合中,多个资产类别中的每个类别对应于多个关键字标签中的相应关键字标签。
该技术可至少部分地基于由计算设备定义的动作来访问知识图以检索多个关键字标签。可至少部分地基于与知识图的多个节点中的特定节点相关联的特定数字资产来针对多个关键字标签中的每个关键字标签选择数字资产集合中的特定数字资产。该技术可以准备显示包括用户界面元素的用户界面,多个用户界面元素中的每个用户界面元素包括多个关键字标签中的关键字标签和表示对应的所选数字资产的对应多媒体图标。根据所公开的技术,可从用户界面接收对至少一个用户界面元素的选择,其中该选择至少部分地基于针对该选择的对应关键字标签来指示期望的搜索类别。该技术可包括由一个或多个处理器过滤数字资产集合中的数字资产,以排除与期望的搜索类别无关的某些数字资产。该过滤可创建经修改的数字资产集合。该技术可包括发起对计算设备的经修改的数字资产集合的搜索以搜索具有与用于选择的对应关键字标签对应的元数据的数字资产,并准备显示包括与经修改的数字资产集合对应的第二用户界面元素的第二用户界面。第二用户界面元素中的每个第二用户界面元素包括至少部分地基于所期望的搜索类别的第二关键字标签和第二对应的多媒体图标。
在各种实施方案中,该技术还可包括计算每个资产集合的由包括多媒体图标和关键字标签的项表示的多个关键字标签的优先级分数,其中优先级分数基于标准。在该方法中,项按优先级分数排序。在一些实施方案中,每个所建议的搜索术语可包括资产计数,以响应于搜索请求通知用户数字资产的数量。
在各种实施方案中,使得知识图检索多个关键字标签的动作可包括以下事件中的至少一个:对数字资产集合中的数字资产的改变;改变数字资产集合中的面部,其中面部表示人物图像与人物身份之间的联系;添加或删除知识图的多个节点中的所选节点;将数字资产集合同步到云存储应用程序;或第一数字资产与第二数字资产之间关系的改变。
在各种实施方案中,该技术还包括生成多媒体图标,该多媒体图标包括数字资产集合中的与关键字标签对应的代表性数字资产的描绘,其中数字资产包括数字资产集合中的视频,并且代表性资产的描绘包括视频帧。
在各种实施方案中,下一个关键字建议特征推断用户可能想要搜索的下一个关键字,以便细化搜索查询。该技术具有优化搜索查询和以最短步骤数为用户获得最佳搜索结果这两个优点,同时显示用户应熟悉的搜索术语,因为搜索术语可基于用户的数字资产集合中的资产。
在各种实施方案中,下一个关键字建议技术至少部分地基于所期望搜索类别的第一元数据集与该资产类别的数字资产的第二元数据集之间的相关性来导出至少一个建议的搜索术语。该技术准备显示与至少一个所建议的搜索术语相关联的第二关键字标签,并进一步过滤数字资产集合中的数字资产,以排除与至少一个所建议的搜索术语无关的某些数字资产,该进一步过滤创建了进一步修改的数字资产集合。
在各种实施方案中,至少一个所建议的搜索术语包括集合图标,其中集合图标可呈现与数字资产集合中的所建议的搜索术语相关联的数字资产的集合。
在各种实施方案中,顶部自动完成特征基于加权标准自动完成搜索字段中的建议,以便提供多样化和相关的搜索结果。顶部自动完成方法可包括自动完成输入到用户界面的第一区域中所示出的搜索字段中的搜索术语的一部分的文本输入,其中自动完成可至少部分地基于存储在知识图中的元数据和考虑以下中的至少一者的加权标准:与所完成的搜索术语匹配的关键字标签的数字资产的数量;多术语关键字标签中的关键字标签中匹配术语的位置,其中所匹配的术语与已完成的搜索术语匹配;与所完成的搜索术语对应的关键字标签的资产类别;所完成搜索术语的关键字标签的位置,其中该位置在所选资产类别中的关键字标签的排名中;或所完成搜索术语的匹配的关键字标签的数量。该方法还包括在用户界面上显示在搜索字段中所完成的搜索术语。
在各种实施方案中,加权标准还考虑历史搜索的多个历史搜索术语的搜索历史,该搜索历史存储在计算设备上。
在各种实施方案中,该技术可结合顶部自动完成特征和下一个关键字建议特征。该技术可包括由一个或多个处理器至少部分地基于与所完成的搜索术语对应的第一元数据集与该资产类别的数字资产的第二元数据集之间的相关性来导出至少一个所建议的搜索术语。该技术可包括准备由一个或多个处理器显示与至少一个建议的搜索术语相关联的第二关键字标签。该技术可包括由一个或多个处理器过滤数字资产集合中的数字资产,以排除与至少一个所建议的搜索术语无关的某些数字资产,其中该进一步过滤可创建进一步修改的数字资产集合。
在各种实施方案中,语义同义词特征通过将关键字标签与语义同义词相关联来扩展关键字标签的搜索引擎的词汇表。语义同义词是与其他字词具有相同含义的字词。语义同义词特征降低了没有搜索结果的可能性并改善了整体用户体验。该技术还包括在计算设备的存储器中对多个关键字标签中的关键字标签进行索引;将多个词典术语存储在计算设备的存储器中;由一个或多个处理器通过将多个词典术语与所索引的关键字标签相关联来生成多个语义相似的术语,其中该关联至少部分地与词典术语的含义相关;以及将多个语义相似的术语存储在设备的存储器中的语义字词嵌入模型中。该方法还包括由一个或多个处理器访问语义字词嵌入模型以检索多个语义相似的术语;由一个或多个处理器发起对计算设备的经修改的数字资产集合的搜索以搜索具有与多个语义相似的术语相关联的关键字标签对应的元数据的数字资产。
在各种实施方案中,语法同义词特征通过将关键字标签与语法同义词相关联来扩展关键字标签的搜索引擎的词汇表。语法同义词是基于搜索术语(基于搜索术语周围的字词和短语的排布)的语法的字词。语法同义词特征还可降低没有搜索结果的可能性并改善整体用户体验。该技术还包括将多个关键字标签中的关键字标签索引在计算设备的存储器中。该技术可以包括将多个词典术语存储在计算设备的存储器中,并且由一个或多个处理器通过将多个词典术语与所索引的关键字标签相关联来生成多个语法同义词术语,其中该关联至少部分地与所索引的关键字标签的语言排布相关。该技术可包括将多个语法同义词术语存储在设备的存储器中的语法字词嵌入模型中。该技术还包括由一个或多个处理器访问语法字词嵌入模型,以检索多个语法同义词术语;由一个或多个处理器发起对计算设备的经修改的数字资产集合的搜索以搜索具有与语法同义词术语相关联的关键字标签对应的元数据的数字资产。
在各种实施方案中,快速加载特征可允许仅加载用于搜索存储器中的数字资产集合的期望属性并卸载不需要的属性,以便减少存储器需求并加速搜索。用于快速加载的技术还包括:至少部分地基于与关键字标签对应的期望搜索类别来确定知识图的每个节点和每个边缘的期望属性;将知识图的每个节点和每个边缘的期望属性预加载到存储器中;并从存储器中卸载未使用的属性。
在各种实施方案中,搜索特征可显示前8个搜索结果的缩略图,其中伴随有响应于搜索查询的元数据。
在各种实施方案中,零关键字/上下文关键字、顶部自动完成、下一个关键字建议、语义同义词、语法同义词和快速/受限属性加载特征中的每一者可作为多个指令存储在计算机可读介质中。
在各种实施方案中,零关键字/上下文关键字、顶部自动完成、下一个关键字建议、语义同义词、语法同义词以及快速/受限属性加载功能中的每一者可结合在计算设备中,包括一个或多个存储器,以及与一个或多个存储器通信并配置成执行存储在一个或多个存储器中的指令的一个或多个处理器。
以下具体实施方式连同附图将提供对本公开的实质和优点的更好的理解。
附图说明
图1示出了在数字资产集合中的搜索数字资产的方法的示例流程图。
图2示出了根据至少一个实施方案的示例用户界面,具体地为数字资产搜索页面。
图3示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为数字资产搜索页面的另一示例。
图4示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为建议页面。
图5示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为建议页面的另一示例。
图6示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为建议页面的另一示例。
图7示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为示例结果页面。
图8示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为另一示例结果页面。
图9示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为下一个关键字建议的示例。
图10示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为下一个关键字建议的另一示例。
图11示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为建议页面。
图12示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为结果页面。
图13是根据至少一个示例来说明如本文所述的在数字资产集合中搜索数字资产的流程图。
图14是根据至少一个示例来说明如本文所述的在数字资产集合中搜索数字资产的另一个流程图。
图15是示出根据至少一个示例的用于如本文所述在数字资产集合中搜索数字资产的计算机构架的简化框图。
具体实施方式
本公开的某些实施方案涉及用于实现在计算设备中搜索数字资产的各种技术的设备、计算机可读介质和方法。在以下描述中,将描述各种实施方案。为了解释的目的,阐述了很多具体配置和细节以便提供对实施方案的彻底理解。然而,对本领域的技术人员也将显而易见的是,这些实施方案可在没有这些具体细节的情况下被实施。此外,可省略或简化熟知的特征以防止对本文所述的实施方案造成混淆。本公开描述了用于搜索存储在计算设备上的数字资产集合中的各种数字资产(例如,数字照片、数字视频等)的设备和方法。
本公开的实施方案尤其涉及改善关于访问和搜索数字资产集合的用户体验。如本文所用,“数字资产”可包括可以数字形式存储或存储为数字形式的数据(例如,数字图像、数字视频、音乐文件、数字语音记录)。如本文所用,“数字资产集合”是指可存储在一个或多个存储位置中的多个数字资产。一个或多个存储位置可以在空间上或逻辑上分开。如本文所用,“知识图”是指与数字资产集合相关联的元数据网络,这些数字资产集合包括描述与数字资产集合中的数字资产相关联的特征的相关元数据资产。如本文所用,元数据网络中的“节点”是指与数字资产集合中的一个或多个数字资产相关联的元数据资产。本文提供的示例和此类示例的上下文旨在用于说明性目的,而不是限制本公开的范围。
本文公开了用于改善数字资产集合的搜索过程的若干不同特征。这些特征可包括零关键字/上下文关键字、顶部自动完成、下一个关键字建议、语义同义词、语法同义词、快速/受限属性加载特征、前8个和建议计数。零关键字/上下文关键字特征呈现多媒体内容图标和可搜索关键字,以允许用户仅通过点击这些关键字中的一者来搜索数字资产。顶部自动完成特征可基于各种启发法在搜索字段中自动完成文本建议,以确保搜索产生多样化且相关的结果。下一个关键字建议特征基于有关数字资产集合的已学习属性来预测下一个搜索术语。语义同义词和语法同义词特征扩展了索引词汇表,以允许更广泛地搜索数字资产集合。快速/受限属性加载特征识别数字资产管理方法/逻辑最初所需的属性,仅加载这些属性,并卸载不需要的属性,以改善搜索时间并减少总体存储器占用面积。前8个特征响应于搜索请求显示了顶部数字资产结果的缩略图。资产计数特征响应于搜索请求、所建议的搜索术语以及各种时刻所包含的数字资产显示了数字资产的数量。
在一个实施方案中,所公开的技术涉及生成数字资产的零关键字或上下文关键字搜索。在该技术中,与描述特征的关键字标签结合的一个或多个用户界面元素与数字资产相关联。该技术可由计算设备的一个或多个处理器使用知识图来执行,该知识图包括表示数字资产与资产类别之间的关联性的多个节点。数字资产可存储在计算设备的数字资产集合中。资产类别中的每个类别对应于多个关键字标签中的相应关键字标签。根据各种实施方案,这些技术涉及至少部分地基于由计算设备限定的动作来访问知识图以检索多个关键字标签。至少部分地基于与知识图的多个节点中的特定节点相关联的特定数字资产来针对多个关键字标签中的每个关键字标签选择数字资产集合中的特定数字资产。该技术涉及准备显示包括用户界面元素的用户界面。用户界面元素中的每个用户界面元素可包括多个关键字标签中的关键字标签和表示对应的所选数字资产的对应多媒体图标。这些技术还涉及接收对至少一个用户界面元素的选择,该选择至少部分地基于用于该选择的对应关键字标签来指示期望的搜索类别。该技术还包括由一个或多个处理器过滤数字资产集合中的数字资产,以排除与期望的搜索类别无关的某些数字资产。该过滤创建了经修改的数字资产集合。该技术包括发起对计算设备的经修改的数字资产集合的搜索以搜索具有与用于该选择的对应关键字标签对应的元数据的数字资产,并准备显示第二用户界面。第二用户界面包括与经修改的数字资产集合对应的元素,其中第二用户界面元素中的每个第二用户界面元素包括至少部分地基于所期望的搜索类别的第二关键字标签和第二对应的多媒体图标。
在各种实施方案中,该技术还包括计算每个资产集合的由包括多媒体图标和关键字标签的项表示的多个关键字标签的优先级分数。优先级分数基于标准。根据各种实施方案,通过优先级分数的排名来显示多媒体图标和关键字标签。除了各种启发法之外(例如,应该在最近事件之前的上下文位置之前显示基于计算设备的当前位置的上下文位置),使用当前日期与上下文事件的日期之间的时间距离,可在零关键字之前显示上下文关键字。
零关键字建议的关键字标签显示的优先级分数可因关键字标签的集合而有所不同。对于“人物”集合,优先级分数可基于可包括以下的标准:与数字资产集合中的某个人有关的若干资产/集合;设备所有者与某个人(例如,配偶、朋友、家庭成员、同事、合作者等)的关系;如果某个人可与一个或多个社交群组相关联,则该人可与来自这些社交群组的其他人物一起显示。对于社交“群组”集合,优先级分数可基于可包括以下各项的标准:与社交群组相关联的多个资产/集合;以及基于属于社交群组的人物大多出现在数据资产集合中的该社交群组中的这一事实的社交群组一致性分数。对于“地点”集合,优先级分数可基于可包括以下各项的标准:在该位置处的多个资产/集合(即,可使用集合的时间/距离集群来与位置近似);例如,如果该地点是数字资产集合中的常见位置;或者如果该地点被识别为用户的联系卡中的家/工作地点;或者如果该地点是设备的GPS数据检测到的感兴趣的位置(即,不需要数字资产集合);或者各种启发法允许基于用户的数字资产集合来支持适当的位置规模(例如,城市、州、国家)。这些因素考虑了知识图中位置的层次结构,并基于位置节点在知识图的层次结构中具有多少个子项/继承项。对于类别(场景)集合,优先级分数可基于可包括以下各项的标准:具有该场景的多个资产/集合;场景分类中该场景的层级;以及一个很好的显示为零关键字的场景白名单。对于“事件”(知识图含义)集合,优先级分数可基于可包括以下各项的标准:具有该含义的多个资产/集合或图形含义层次结构中具有该含义的任何父项;以及可显示为零关键字的含义白名单。一旦数字资产管理模块/逻辑部件确定了每个集合的优先级分数,则可基于它们的分数显示零关键字特征的每个集合。该技术可利用基于均值和标准差的启发法来切割用于显示的零关键字的顶部选择。
上下文关键字标签的显示的优先级分数可基于关键字标签的集合而不同。对于“人物”集合,上下文关键字建议的优先级分数可基于可包括以下各项的标准:当前位于计算设备附近的人物;最近过生日或即将过生目的人物;和/或用户最近看到的人。对于社交“群组”集合,上下文关键字建议的优先级分数可基于可包括以下各项的标准:社交群组的成员当前位于计算设备附近的社交群组;用户最近看到的社交群组。对于“地点”集合,上下文关键字建议的优先级分数可基于可包括以下各项的标准:靠近计算设备的地点;以及用户最近访问过的有意义的地点。对于事件(含义)集合,上下文关键字建议的优先级分数可基于可包括以下各项的标准:来自用户的最近事件(例如,博物馆、主题公园、婚礼等)的含义。对于“场景”集合,上下文关键字建议的优先级分数可基于可包括以下各项的标准:来自用户的最近事件(以及场景白名单)的场景。对于“节日”集合,上下文关键字建议的优先级分数可基于可包括以下各项的标准:您经常庆祝的过去和即将到来的节日(例如,庆祝活动是在知识图中推断出来的)。对于“季节”集合,上下文关键字建议的优先级分数可基于可包括以下各项的标准:当前季节以及刚刚过去的季节。对于“一年前”集合,上下文关键字建议的优先级分数可基于可包括以下各项的标准:如果在一年前的这一天捕获了数字资产(一周跨度),则会显示。
在各种实施方案中,使得知识图检索多个关键字标签的动作可包括以下事件中的至少一者:对数字资产集合中的数字资产的改变;改变数字资产集合中的面部。面部表示人物图像与人物身份之间的联系。该动作可包括添加或删除知识图的多个节点中的所选节点。该动作还可包括将数字资产集合同步到云存储应用程序。该动作还可包括第一数字资产与第二数字资产之间的关系的变化。
在各种实施方案中,该技术还包括生成多媒体图标,该多媒体图标包括与关键字标签对应的数字资产集合中的代表性数字资产的描绘。在数字资产是数字资产集合中的视频的情况下,代表性资产的描绘可以是视频帧。
在各种实施方案中,下一个关键字建议特征推断用户可能想要搜索的下一个关键字以便细化搜索查询。该技术具有优化搜索查询和以最短步骤数为用户获得最佳搜索结果这两个优点,同时显示用户应熟悉的搜索术语,因为它们是基于用户的数字资产集合中的资产。下一个关键字建议特征由访问知识图的系统运行,以访问与关键字标签相关联的多个元数据。
在各种实施方案中,下一个关键字建议方法至少部分地基于所期望搜索类别的第一元数据集(所选多媒体图标和/或关键字标签)与该资产类别的数字资产的第二元数据集之间的相关性来导出至少一个建议的搜索术语。下一个关键字建议技术准备显示与至少一个所建议的搜索术语相关联的第二关键字标签,并进一步过滤数字资产集合中数字资产,以排除与至少一个所建议的搜索术语无关的某些数字资产。进一步过滤可创建进一步修改的数字资产集合。下一个关键字建议特征还可包括在大多数搜索引擎中找到的经典自动完成功能。然而,本公开教导了一种创新的建议方法,以便最小化用户输入的文本的字符数量,同时鼓励用户尽可能地细化他或她的搜索,以找到他或她的搜索结果。数字资产管理模块/逻辑部件通过尝试推断用户可能想要搜索的下一个关键字来细化他或她的搜索查询以实现下一个关键字建议。然而,大多数搜索引擎通过查看搜索术语之间的统计相关性或尝试基于所学习的现有信息来预测下一个搜索术语以实现此目的。数字资产管理模块/逻辑部件分析了已经在搜索查询中输入的关键字所覆盖的域空间,以推断最佳分离空间的下一个关键字,并在理论上引导用户更快地获得他或她的结果。每次用户输入关键字时,数字资产管理模块/逻辑部件会找到将最大化当前可搜索域空间的覆盖范围(例如,可能达到100%)的下一个潜在关键字的集合,同时在将每个所以建议的下一个关键字添加到现有查询时,最小化所更新的搜索查询所覆盖的子域之间的重叠。该技术具有优化搜索查询以使用户尽可能快地到达其下一个结果(就步骤而言)的优点,同时显示他或她熟悉的下一个关键字建议,因为这些术语来自他或她自己的集合。
在各种实施方案中,至少一个所建议的搜索术语包括集合图标。集合图标标识与数字资产集合中的所建议的搜索术语相关联的数字资产的集合。例如,集合图标可包括人物、地点、类别、时刻和事件。
自动完成建议和搜索字段通常基于统计数据。例如,可从一组用户搜索或从大文本语料库中提取的术语的频率来学习这些建议。这些经典方法在目前的情况下不适用或可能取得有限的成功,其中搜索特定于每个用户的数字资产集合。在这种情况下,数字资产管理模块/逻辑部件仍然希望确保用户具有最佳搜索结果。该方法结合了不同的启发法,以确保用户获得多样化和相关的结果。
在各种实施方案中,顶部自动完成功能基于加权标准自动完成搜索字段中的建议,以便提供多样化和相关的搜索结果两者。顶部自动完成方法包括自动完成输入到用户界面的区域中所示的搜索字段中的搜索术语的一部分的文本输入。该自动完成至少部分地基于存储在知识图中的元数据和考虑以下中的至少一者的加权标准:与所完成的搜索术语匹配的关键字标签的数字资产的数量;多术语关键字标签的关键字标签中匹配术语的位置,其中所匹配的术语与已完成的搜索术语匹配;与所完成的搜索术语对应的关键字标签的资产类别;所完成搜索术语的关键字标签的位置,其中该位置在所选资产类别中关键字标签的排名中;或所完成搜索术语的匹配关键字标签的数量。除了这些标准之外,数字资产管理模块/逻辑部件还可添加经典标准,诸如搜索历史。最后,数字资产管理模块/逻辑部件通过对所有标准应用权重来建立分数,以便返回最佳结果。用于多术语关键字标签的关键字标签中的匹配术语的位置(其中匹配的术语与完成的搜索术语匹配)的标准在自动完成中创建多样性,因为每个部分可以与不同的类别相关联。此外,出于自动完成的目的,第一位置意味着更高的分数,因此即使在不考虑该分数中的位置的情况下,即使一个部分的第一元素不如另一个部分的最后一个元素那么好,也可挑选那个部分的第一元素。该技术还包括在用户界面上显示搜索字段中的所完成的搜索术语。
在各种实施方案中,加权标准还考虑历史搜索的多个历史搜索术语的搜索历史,其中该搜索历史可存储在计算设备上。
在各种实施方案中,这些技术可结合顶部自动完成特征和下一个关键字建议特征。该技术通过首先至少部分地基于与所完成的搜索术语对应的第一元数据集与该资产类别的数字资产的第二元数据集之间的相关性来导出至少一个所建议的搜索术语来实现。接下来,该技术包括准备显示与至少一个所建议的搜索术语相关联的第二关键字标签。最后,该技术包括进一步过滤数字资产集合中的数字资产,以排除与至少一个所建议的搜索术语无关的某些数字资产,该进一步过滤创建了进一步修改的数字资产集合。
在各种实施方案中,语义同义词特征通过将关键字标签与语义同义词相关联来扩展关键字标签的搜索引擎的词汇表。与用户的语言相比,搜索引擎的索引词汇量很小。一种解决方案是在搜索引擎中包括字词嵌入模型,以便可通过索引关键字来与非索引关键字近似。数字资产管理模块/逻辑部件希望能够为未索引的术语提供相关搜索结果或搜索建议。例如,其中一个关键字可针对“狗”,并且其他语义同义词可包括:狩猎犬、犬、幼犬、小狗、杂种狗等。在另一示例中,关键字之一可以是“派对”,并且其他语义同义词可包括:庆祝、聚会、节日或晚会。一种解决方案如下:在关键字标签的索引时间,从索引内容开始,确定从每个索引关键字开始的所有语义相似的字词,并将语义同义词添加到将语义同义词映射到索引关键字的数据结构中,同时在语义同义词中提供快速匹配。在搜索时间,当用户在搜索字段中输入字符时,如果没有找到索引结果,则数据资产管理模块/逻辑部件找到语义同义词,以建议用户搜索与所映射的索引关键字对应的语义同义词。这样,用户为非索引关键字提供附加选项,同时仍控制该建议是否适合他或她正在寻找的东西。语义同义词是与其他字词具有相同含义的字词。语义同义词特征降低了没有搜索结果的可能性,并改善了整体用户体验。该技术还包括在计算设备的存储器中对多个关键字标签中的关键字标签进行索引。接下来,该技术包括将多个词典术语存储在计算设备的存储器中。接下来,该技术包括通过将多个词典术语与所索引关键字标签相关联来生成多个语义相似的术语,其中该关联至少部分地与词典术语的含义相关。接下来,该技术包括将多个语义相似的术语存储在设备的存储器中的语义字词嵌入模型中。该技术还包括访问语义字词嵌入模型以检索多个语义相似的术语。该技术包括发起对计算设备的经修改的数字资产集合的搜索以搜索具有与多个语义相似的术语相关联的关键字标签对应的元数据的数字资产。
在各种实施方案中,语法同义词特征通过将关键字标签与语法同义词相关联来扩展关键字标签的搜索引擎的词汇表。语法同义词是基于搜索术语(基于搜索术语周围的字词和短语的排布)的语法的字词。语法同义词特征降低了没有搜索结果的可能性,并改善了整体用户体验。该技术还包括在计算设备的存储器中对多个关键字标签中的关键字标签进行索引。该技术包括将多个词典术语存储在计算设备的存储器中。接下来,该技术包括通过将多个词典术语与索引关键字标签相关联来生成多个语法同义词术语,其中该关联至少部分地与索引关键字标签的语言排布相关。接下来,该技术包括将多个语法同义词术语存储在设备的存储器中的语法字词嵌入模型中。该技术还包括访问语法字词嵌入模型以检索多个语法同义词术语。该技术包括发起对计算设备的经修改的数字资产集合的搜索以搜索具有与语法同义词术语相关联的关键字标签对应的元数据的数字资产。语法同义词的技术类似于语义同义词的方法。例如,其中一个关键字可针对“海滩”,并且其他语法同义词可包括:沙子、冲浪、防晒霜、毛巾等。一种解决方案是在搜索引擎中包括字词嵌入模型,以便可通过索引关键字来与非索引关键字近似。数字资产管理模块/逻辑部件为未索引的术语提供搜索自动完成,以包括更广泛的结果集。一种解决方案如下:在关键字索引时间,该技术包括从索引内容开始,并从每个索引关键字开始确定多个语法相似的字词,并将它们添加到将语法同义词映射到索引关键字的数据结构中。在搜索时间,当用户在搜索字段中输入字符并且如果没有找到索引结果时,该技术包括找到语法同义词并向用户建议与语法同义词相关的映射关键字标签。这样,用户为非索引关键字提供附加选项,同时仍控制该建议是否适合他或她正在寻找的东西。
在各种实施方案中,快速加载特征允许仅加载用于在存储器中搜索数字资产集合的期望属性并卸载不需要的属性,以便减少存储器需求并加速搜索。用于快速加载的技术还包括:至少部分地基于与关键字标签对应的期望搜索类别来确定知识图的每个节点和每个边缘的期望属性;将知识图的每个节点和每个边缘的期望属性预加载到存储器中;并从存储器中卸载未使用的属性。例如,对于找到资产或时刻的相关存储器的任务,数字资产管理模块/逻辑部件可加载以下属性:
时刻节点:时间范围开始、时间范围结束、标识符
位置节点:名称
常见位置:时间范围开始、时间范围结束
又如,如果数字资产管理模块/逻辑部件模块试图识别在某些节日拍摄的数字资产(例如,“这些照片是在圣诞节那天拍摄的吗?”),则数字资产管理模块/逻辑部件可加载以下属性:
时间节点:名称
时刻节点:时间范围开始、是感兴趣的、资产数量、内容分数
地址节点:经度、纬度
场景类别节点:高置信度场景的数量
数字资产管理模块/逻辑部件基于对时刻内容的分析来确定用户是否认为时刻是感兴趣的。例如,在迪斯尼乐园的用户和用户的朋友或用户家人的资产集合可能是用户感兴趣的。相比之下,来自会议的白板图片的集合可能是用户不感兴趣的。在各种实施方案中,数字资产管理模块/逻辑部件通过分析用户是否已选择共享一张或多张照片来确定数字资产是否可能是用户感兴趣的。数字资产管理模块/逻辑部件试图预测用户的朋友是谁以及用户可能希望与之共享数字资产的人。例如,用户更可能想要与照片中的人共享数字资产,而不是与其他人共享数字资产。而且,用户可能与在用户的设置中被指定为喜欢的人共享数字资产,而不是与其他人共享数字资产。在共享建议特征的情况下,数字资产管理模块/逻辑部件可加载以下属性:
时刻节点:时间范围的开始和结束、资产的数量、是感兴趣的
“我”人物节点:标识、喜欢的
人物节点:标识、喜欢的
时间节点:名称
“我”人物节点意味着数字资产管理模块/逻辑部件认为是拥有该照片集的人,即主用户。名称“喜欢的”是数字资产管理模块/逻辑部件的标记,用于维护记录。
在一些实施方案中,数字资产管理模块/逻辑部件可过滤搜索结果,以响应于搜索请求而显示顶部数字资产。在一些实施方案中,用户界面可显示那些顶部图像的一个或多个缩略图。在一些实施方案中,顶部数字资产可以是前2、前4、前6、前8或任何定义数量的“顶部”资产。在一些实施方案中,缩略图可显示在一行或多行缩略图中。缩略图可在两行中显示前8个数字资产,每行有四个缩略图。在一些实施方案中,资产可按时间顺序显示,其中最旧的缩略图首先显示,最新的缩略图最后显示。在一些实施方案中,资产可以反向时间顺序(从最新到最旧)显示。在一些实施方案中,资产可按照资产分数的顺序显示,其中第一位置是分数最高的资产,并且最后位置是分数最低的资产。在一些实施方案中,第一位置可以是两行缩略图中的第一行中的最左侧缩略图。在一些实施方案中,最后位置可以是两行缩略图中的第二行中的最右侧缩略图。在一些实施方案中,可按照分数的顺序显示数字资产缩略图,其中首先显示针对Top资产的数字资产的缩略图,并且最后显示最高分数的资产的缩略图。如果搜索查询包含更多预设数量的资产(例如,八个资产),则会显示“显示全部”按钮,如果选择该按钮,则显示全部资产。如果用户选择Top数字资产中的一者,则资产可显示在转盘中,从而允许用户使用显示屏幕上的手势来滚动资产。
在一些实施方案中,用户界面可计算和显示搜索结果的建议计数。例如,除了显示所建议的搜索术语之外,如果选择了附加搜索术语,则数字资产管理模块/逻辑部件可显示数字资产结果的数量。在一些实施方案中,建议计数可显示在显示器的右侧。在一些实施方案中,数字资产管理模块/逻辑部件可响应于搜索请求而计算和显示数字资产中的数字资产(例如,数字照片或视频)的总数。可通过计算给定查询的建议的结果数来计算建议计数。当多个建议折叠在一起时,数字资产管理模块/逻辑部件可对搜索结果中的数字资产的数量去重。去重有助于确保计数始终代表用户在选择结果后将看到的结果数。
在一些实施方案中,数字资产管理模块/逻辑部件获得或生成与数字资产的集合相关联的知识图元数据网络(下文中称为“知识图”)。元数据网络可包括相关元数据资产,其描述了与数字资产集合中的数字资产相关联的特征。每个元数据资产可描述与数字资产集合中的一个或多个数字资产相关联的特征。在非限制性示例中,元数据资产可描述与数字资产集合中的多个数字资产相关联的特征。每个元数据资产可表示为元数据网络中的节点。元数据资产可以与至少一个其他元数据资产相关联。元数据资产之间的每个相关性可表示为元数据网络中表示相关元数据资产的节点之间的边缘。在一些实施方案中,数字资产管理模块/逻辑部件识别元数据网络中的第一元数据资产。数字资产管理模块/逻辑部件还可至少基于第一元数据资产来识别第二元数据资产。在一些实施方案中,数字资产管理模块/逻辑部件使得具有第一元数据资产和/或第二元数据资产的一个或多个数字资产经由输出设备呈现。
在一些实施方案中,数字资产管理模块/逻辑部件可使系统能够生成和使用数字资产元数据的知识图并将其作为多维网络。数字资产管理模块/逻辑部件可获得或接收与数字资产集合相关联的数字资产元数据的集合。存储在数字资产集合中的数字资产包括但不限于以下各项:图像媒体(例如,静止或动画图像等);音频媒体(例如,数字声音文件);文本媒体(例如,电子书等);视频媒体(例如,电影等);以及触觉媒体(例如,结合其他媒体提供的振动或运动等)。上述数字化数据的示例可结合以形成多媒体(例如,动画电影、视频游戏等)。单个数字资产是指数字化数据的单个实例(例如,图像、歌曲、电影等)。
如本文所用,“元数据”和“数字资产元数据”统称为关于一个或多个数字资产的信息。元数据可以是:(i)关于数字化数据的的信息的单个实例(例如,与一个或多个图像相关联的时间戳等);或(ii)元数据分组,其是指由关于数字化数据的信息的多个实例(例如,与一个或多个图像等相关联的若干时间戳)组成的群组。存在不同类型的元数据。每种类型的元数据描述与一个或多个数字资产相关联的一个或多个特征或属性。每个元数据类型可被分类为原始元数据或推断元数据,如下文进一步描述。
在一些实施方案中,数字资产管理模块/逻辑部件可识别与数字资产元数据内的一个或多个数字资产相关联的原始元数据。在一些实施方案中,数字资产管理模块/逻辑部件可至少基于原始元数据确定推断元数据。如本文所用,“原始元数据”是指描述与一个或多个数字资产相关联的一个或多个特征或属性的元数据。也就是说,原始元数据包括描述一个或多个数字资产的所获得的元数据。在一些情况下,可从推断元数据中提取原始元数据,如下文进一步描述。
主要原始元数据可包括以下中的一者或多者:时间元数据、地理定位元数据;地理位置元数据;人物元数据;场景元数据;内容元数据;对象元数据;和声音元数据。时间元数据是指与一个或多个数字资产相关联的时间(例如,与数字资产相关联的时间戳,数字资产生成的时间,数字资产被修改的时间,数字资产被存储的时间,数字资产被传输的时间,数字资产被接收的时间等)。地理定位元数据是指使用地理坐标系(例如,纬度、经度和/或海拔等)与一个或多个数字资产相关联的地理或空间属性。地理位置元数据是指与一个或多个数字资产相关联的一个或多个有意义的位置,而不是与数字资产相关联的地理坐标。示例包括海滩(及其名称)、街道地址、国家名称、地区、建筑物、地标等。例如,可通过将地理位置信息与来自地图应用程序的数据一起处理来确定地理位置元数据,以确定一组图像中的场景的地理位置。人物元数据是指与一个或多个数字资产相关联的至少一个检测到的或已知的人物(例如,通过面部识别技术检测到的图像中的已知人物等)。场景元数据是指与一个或多个数字资产相关联的活动或情况的整体描述。例如,如果数字资产包括一组图像,则可使用图像中的检测到的对象来确定该组图像的场景元数据。对于更具体的示例,可使用在该组中的至少两个图像中存在具有蜡烛和气球的大蛋糕来确定该组图像的场景是生日庆祝。对象元数据是指与一个或多个数字资产(例如,检测到的动物、检测到的公司徽标、检测到的家具等)相关联的一个或多个检测到的对象。内容元数据是指数字资产的特征(例如,像素特征、像素强度值、发光值、亮度值、响度级别等)。声音元数据是指与一个或多个数字资产相关联的一个或多个检测到的声音(例如,检测到的声音是人的声音,检测到的声音是消防车的警报器等)。
辅助原语元数据包括但不限于以下内容:(i)与捕获一个或多个数字资产相关联的条件;(ii)与修改一个或多个数字资产相关联的条件;以及(iii)与存储或检索一个或多个数字资产相关联的条件。如本文所用,“推断元数据”是指超出原始元数据提供的信息的关于一个或多个数字资产的附加信息。原始元数据与推断元数据之间的一个区别是原始元数据表示一个或多个数字资产的描述的初始集,而推断元数据基于对原始元数据和上下文信息中的一者或多者的处理来提供对一个或多个数字资产的附加描述。例如,原始元数据可用于识别一组图像中的检测到的人物,如John Doe和Jane duo,一个推断元数据可基于处理一个或多个原始元数据(即,描述和上下文信息的初始集)将John Doe和Jane Doe识别为已婚夫妇。在一些实施方案中,推断元数据由以下中的至少一者形成:(i)不同类型的原始元数据的组合;(ii)不同类型的上下文信息的组合;(iii)或原始元数据和上下文信息的组合。如本文所用,“联系人”及其变型是指用户设备的任何或所有属性,该用户设备包括或可访问与用户相关联的数字资产集合,诸如物理、逻辑、社交和/或其他联系人上下文信息。如本文所用,“上下文信息”及其变型是指描述或定义用户的上下文或用户设备的上下文的元数据资产,该用户设备包括或可访问与用户相关联的数字资产集合。示例性上下文信息包括但不限于以下内容:预先确定的时间间隔;计划以预先确定的时间间隔发生的事件;以预先确定的时间间隔访问的地理位置;与预先确定的时间相关联的一个或多个识别的人物;在预先确定的时间内计划的事件,或在预先确定时间将访问的地理位置;元数据是否描述是否与特定时间段相关联(例如,下雨、下雪、刮风、阴天、晴天、炎热、寒冷等);描述与捕获图像相关联的季节的季节相关的元数据。对于一些实施方案,上下文信息可从外部源、社交网络应用程序、天气应用程序、日历应用程序和通讯录应用程序、任何其他类型的应用程序获得,或者从可经由有线或无线网络(例如,互联网、专用内联网等)访问的任何类型的数据存储中获得。
主要推断元数据可包括描述与一个或多个数字资产相关联的一个或多个事件的事件元数据。例如,如果数字资产包括一个或多个图像,则主要推断元数据可包括描述捕获一个或多个图像的一个或多个事件的事件元数据(例如,度假、生日、体育赛事、音乐会、毕业典礼、晚餐、项目、健身课程、传统节日等)。在一些实施方案中,主要推断元数据可通过聚类一个或多个主要原始元数据、辅助原始元数据和上下文元数据来确定。辅助推断元数据包括但不限于以下内容:(i)地理位置关系元数据;(ii)人物关系元数据;(iii)对象关系元数据;空间以及(iv)声音关系元数据。地理位置关系元数据是指与一个或多个数字资产相关联的一个或多个已知人物与一个或多个数字资产相关联的一个或多个有意义的位置之间的关系。例如,分析引擎或数据会议技术可用于确定与John Doe的一个或多个图像相关联的场景表示John Doe的家。人物关系元数据是指与一个或多个数字资产相关联的一个或多个已知人物与一个或多个数字资产相关联的一个或多个其他已知人物之间的关系。例如,可使用分析引擎或数据挖掘技术来确定(与John Doe一起出现在多个图像中的)JaneDoe是John Doe的妻子。对象关系元数据是指与一个或多个数字资产相关联的一个或多个已知对象与一个或多个数字资产相关联的一个或多个已知人物之间的关系。例如,可使用分析引擎或数据挖掘技术来确定出现在John Doe的一个或多个图像中的船由John Doe拥有。声音关系元数据是指与一个或多个数字资产相关联的一个或多个已知声音与一个或多个数字资产相关联的一个或多个已知人物之间的关系。例如,可使用分析引擎或数据挖掘技术来确定与John Doe一起出现在一个或多个视频中的语音是John Doe的声音。
如上所述,推断元数据可通过执行以下中的至少一者来从原始元数据和/或上下文信息确定或推断:(i)数据挖掘原始元数据和/或上下文信息;(ii)分析原始元数据和/或上下文信息;(iii)将逻辑规则应用于原始元数据和/或上下文信息;或(iv)用于从所提供或获取的信息中推断新信息的任何其他已知方法。而且,可从推断元数据中提取原始元数据。对于具体的实施方案,可从主要推断元数据(例如,事件元数据等)中提取主要原始元数据(例如,时间元数据、地理位置元数据、场景元数据等)。用于确定推断元数据和/或从推断元数据提取原始元数据的技术可以是迭代的。对于第一示例,推断元数据可触发其他元数据的推断等,来自推断元数据的原始元数据可触发对附加的推断元数据的推断或者提取附加的原始元数据。
上述原始元数据和推断元数据统称为数字资产元数据。在一些实施方案中,数字资产维护模块/逻辑部件使用数字资产元数据来生成知识图。所有或一些元数据网络可存储在一个或多个处理单元和/或存储器中。如本文所用,“知识图”、“知识图元数据网络”、“元数据网络”及它们的变型是指动态组织的元数据集合,其描述了由一个或多个计算机系统用于演绎推理的一个或多个数字资产(例如,数字资产集合中的一个或多个数字资产组,数字资产集合中的一个或多个数字资产等)。在元数据网络中,不存在仅为数字资产的元数据(例如,与一个或多个数字资产组相关联的元数据、与一个或多个数字资产相关联的元数据等)。元数据网络与数据库不同,因为通常元数据网络允许使用多个维度的元数据之间的深度连接,其可被遍历以用于附加推断的相关性。在没有加载大量(例如,数百、数千等)数据库表的情况下,这种演绎推理通常在常规的关系数据库中是不可行的。因此,常规数据库可能需要大量计算资源(例如,外部数据存储、远程服务器及它们的相关联通信技术等)来执行演绎推理。相比之下,可使用比前述数据库示例更少的计算资源要求来查看、操作和/或存储元数据网络。此外,元数据网络是动态资源,其具有学习、成长和适应添加至其的新信息的能力。这与数据库不同,数据库对于访问交叉引用信息很有用。虽然可使用附加信息扩展数据库,但数据库仍然是访问放入其中的交叉引用信息的工具。元数据网络不只是访问交叉引用的信息,而是远不止于此,并涉及数据外推以用于推断或确定附加数据。
如前述段落中所解释的,元数据网络在元数据网络中能够使用多个维度实现元数据之间的深度连接,其可被遍历以用于附加推断的相关性。可将元数据网络中的每个维度视为基于元数据类型的元数据分组。例如,元数据分组可以是元数据集合中的所有时间元数据资产,而另一个分组可以是同一元数据集合中的所有地理定位元数据资产。因此,对于该示例,时间维度是指元数据集合中的所有时间元数据资产,并且地理定位维度是指同一元数据集合中的所有地理定位元数据资产。此外,维度的数量可基于约束而变化。约束包括但不限于元数据网络的期望用途、期望的细节级别和/或用于实现元数据网络的可用元数据或计算资源。例如,元数据网络可仅包括时间维度,元数据网络可包括所有类型的原始元数据维度等。关于期望的细节级别,可基于元数据的特异性进一步细化每个维度。也就是说,元数据网络中的每个维度是基于元数据类型以及由元数据描述的信息的粒度的元数据分组。对于第一示例,在元数据网络中可以存在两个时间维度,其中第一时间维度包括按周分类的所有时间元数据资产,并且第二时间维度包括按月分类的所有时间元数据资产。对于第二个示例,元数据网络中可以存在两个地理位置维度,其中第一地理位置维度包括按建立类型(例如,家庭、商业等)分类的所有地理位置元数据资产,并且第二地理位置维度包括按国家分类的所有地理位置元数据资产。前述示例仅是例示性的而非限制性的。应当理解,维度的细节级别可根据设计者选择、应用程序、可用元数据和/或可用计算资源而变化。
数字资产管理模块/逻辑部件可被配置为生成元数据网络作为数字资产元数据的多维网络。如本文所用,“多维网络”及其变型是指具有多种关系的复杂图形。多维网络通常包括多个节点和边缘。对于一个实施方案,节点表示元数据,并且边缘表示元数据之间的关系或相关性。示例性多维网络包括但不限于边缘标记的多图、多部分边缘标记的多图和多层网络。
对于一个实施方案,元数据网络中的节点表示在数字资产元数据中找到的元数据资产。例如,每个节点表示与数字资产集合中的一个或多个数字资产相关联的元数据资产。又如,每个节点表示与数字资产集合中的一组数字资产相关联的元数据资产。如本文所用,“元数据资产”及其变型指的是描述数字资产集合中的一个或多个数字资产的一个或多个特征的元数据(例如,元数据的单个实例、一组多个元数据实例等)。因此,可存在原始元数据资产、推断元数据资产、主要原始元数据资产、以及令人振奋的原始元数据资产、主要推断的元数据资产和/或令人振奋的推断元数据资产。对于第一示例,原始元数据资产是指描述2016年6月1日至2016年6月3日期间当捕获一个或多个数字资产时的时间间隔的时间元数据资产。对于第二示例,原始元数据资产是指描述捕获一个或多个数字资产的一个或多个纬度和/或经度的地理定位元数据资产。又如,推断元数据资产是指描述2016年6月5日至2016年6月30日期间在捕获一个或多个数字资产时在Paris,France度假的事件元数据资产。
在一些实施方案中,元数据网络包括两种类型的节点:(i)时刻节点;和(ii)非时刻节点。如本文所用,“时刻”是指与一个或多个数字资产相关联的单个事件(如事件元数据资产所描述的)。例如,时刻是指在2016年6月1日至2016年6月9日期间在Paris,France度假。例如,该时刻可用于识别与2016年6月1日至2016年6月9日期间在Paris,France度假相关联(而不是与任何其他事件)的一个或多个数字资产(例如,一个图像、一组图像、一个视频、一组视频、一首歌曲、一组歌曲等)。如本文所用,“时刻节点”是指多维网络中表示时刻的节点。因此,时刻节点是指表示与一个或多个数字资产相关联的单个事件的主要推断元数据资产。如上所述的主要推断元数据。如本文所用,“非时刻节点”是指多维网络中不表示时刻的节点。因此,非时刻节点是指以下中的至少一者:(i)与一个或多个数字资产相关联的原始元数据资产;或(ii)与一个或多个不是时刻的数字资产相关联的推断元数据资产(即,不是事件元数据资产)。
如本文所用,变型型式的“事件”是指在特定时间间隔期间在一个或多个位置发生的情况或活动。事件包括但不限于以下内容:一个或多个人聚会以执行活动(例如,节日、假期、生日、晚餐、项目、健身课程等);体育赛事(例如,体育比赛等);典礼(例如,在特殊场合进行的具有文化意义的仪式等);会议(例如,参与一些共同利益的个人聚会等);节日(例如,庆祝社区一些方面的聚会等);音乐会(例如,艺术表演等);媒体事件(例如,为宣传而创建的事件等);以及派对(例如,大型社交或娱乐聚会等)。
根据实施方案,知识图可由处理系统生成和使用以执行数字资产管理。由数字资产管理模块/逻辑部件生成元数据网络可包括基于原始元数据和/或与数字资产集合中的一个或多个数字资产相关联的推断元数据来定义节点。当数字资产管理模块/逻辑部件利用与数字资产集合相关联的元数据识别更多原始元数据和/或至少从原始元数据推断元数据时,数字资产管理模块/逻辑部件可生成附加节点,以表示原始元数据和/或推断元数据。此外,当数字资产管理模块/逻辑部件确定节点之间的相关性时,数字资产管理模块/逻辑部件可在节点之间创建边缘。可使用两个生成过程来生成元数据网络。使用不描述时刻的元数据资产(例如,主要原始元数据资产、辅助原始元数据资产和辅助推断元数据资产等)来发起第一生成过程。使用描述时刻的元数据资产(例如,事件元数据)来发起第二生成过程。下面描述了这些生成过程中的每一个。
对于第一生成过程,数字资产管理模块/逻辑部件可生成非时刻节点,以表示与用户、消费者或与元数据网络相关联的数字资产集合的所有者相关联的元数据。例如,用户可被识别为Jean DuPont。在一个实施方案中,数字资产管理模块/逻辑部件生成非时刻节点,以表示由用户(例如,Jean DuPont等)经由输入设备提供的元数据。例如,用户可经由输入设备将关于他或她自己的至少一些元数据添加到元数据网络。这样,数字资产管理模块/逻辑部件可使用元数据以将用户与从数字资产集合中获取的其他元数据相关联,例如,用户Jean DuPont提供的元数据可包括他的一个或多个出生地(Paris,France)、他的出生日期(1991年5月27日)、他的性别(男性)、他的关系状态(已婚)、他的重要他人或配偶(MarieDupont)以及他目前的住所(位于Key West,Florida,USA)。
关于第一生成过程,可基于由数字资产管理模块/逻辑部件执行的处理来预测至少一些元数据。数字资产管理模块/逻辑部件可基于元数据访问应用程序或元数据和数据存储(例如,存储器)的分析来预测元数据。例如,数字资产管理模块/逻辑部件可基于分析通过访问用户的联系人(经由联系人应用程序)、活动(帐户或应用程序或组织应用程序)、上下文信息(经由传感器或外围设备)和/或社交网络数据(经由社交网络应用程序)获得的信息来预测元数据。
在一些实施方案中,元数据包括但不限于其他元数据,诸如用户与他人的关系(例如,家庭成员、朋友、同事等)、用户的工作场所(例如,过去的工作场所、当前的工作场所等)、用户访问的地点(例如,用户访问的先前地点、用户将访问的地点等)。对于一个实施方案,元数据210可单独使用或与其他数据结合使用以确定或推断以下中的至少一者:(i)Jean Dupont度假或旅行(例如,节点231等);一周中的几天(例如,周末、节日等);与JeanDupont相关联的位置(例如,节点231、233、235等);Jean Dupont的社交群组(例如,节点227代表的他的妻子Marie Dupont等);Jean Dupont的专业群组或其他群组(例如,基于其职业的群组等);Jean Dupont访问过的地点类型(例如,节点229代表的Prime 114餐厅,节点225代表的家等);所进行的活动(例如,健身课程等);等等。前述示例是例示性的而非限制性的。
对于第二生成过程,元数据网络可包括至少一个时刻节点。对于该第二生成过程,数字资产管理模块/逻辑部件生成时刻节点,以表示一个或多个主要推断元数据资产(例如,事件元数据资产等)。数字资产管理模块/逻辑部件可从一个或多个信息、元数据或从外部源(例如,天气应用程序、日历应用程序、社交网络应用程序、通讯录等)接收的其他数据来确定或推断主要推断元数据(例如,事件元数据资产等)。而且,数字资产管理模块/逻辑部件可接收主要推断元数据资产,生成该元数据作为时刻节点,并从表示为时刻节点的主要推断元数据资产中提取主要原始元数据。
知识图可从存储器中获得。除此之外或另选地,元数据网络可由处理单元生成。当在表示元数据网络的多维网络中识别出第一元数据资产(例如,时刻节点、非时刻节点等)时,创建知识图。对于一个实施方案,第一元数据可表示为时刻节点。对于该实施方案,第一元数据资产表示与一个或多个数字资产相关联的第一事件。至少基于第一元数据资产来识别或检测第二元数据资产。在一些实施方案中,可在元数据网络中基于用于表示第一元数据资产的第一节点来识别或检测第二元数据资产为第二节点(例如,时刻节点中的时刻节点等),第二元数据资产被表示为与第一时刻节点不同的第二时刻节点。这是因为第一时刻节点表示第一事件元数据资产,其描述与一个或多个数字资产相关联的第一个第二事件,其中第二时刻节点表示描述与一个或多个数字资产相关联的第二事件的第二事件元数据资产。
在一些实施方案中,通过确定第一元数据资产和第二元数据资产共享主要原始元数据资产、主要推断元数据资产、辅助原始元数据资产和/或辅助推断元数据资产来执行识别第二元数据资产(例如,时刻节点等),即使它们的一些元数据不同。关于使用或生成知识图的进一步说明可在2016年12月27日提交的名称为“Knowledge Graph Metadata NetworkBased on Notable Moments”的美国专利申请序列号15,391,276中找到,据此其全文以引用方式并入本文以用于所有目的。
图1示出了用于在计算设备的数字资产集合中搜索数字资产的示例过程流程图。搜索过程100示出了数字资产管理模块/逻辑部件102、知识图104、资产集合106和显示器108。数字资产管理模块/逻辑部件102、知识图104、资产集合106和显示器108指示执行每个标题下面列出的过程的系统的元素。数字资产管理模块/逻辑部件102可存储在一个或多个存储器中,并由计算设备的一个或多个处理器执行。知识图104是与数字资产相关联的元数据的逻辑集合。知识图104建立元数据之间的联系和相关性,其可用于生成用于在数字资产集合中搜索数字资产的关键字标签116。显示器108可以是LCD、OLED、AMOLED、SuperAMOLED、TFT、IPS或TFT-LCD,其通常可以是计算设备。显示器108可以是计算设备的触摸屏显示器。
过程100被示为逻辑流程图,其每个操作表示一系列能够在硬件、计算机指令或它们的组合中实现的操作。在计算机指令的上下文中,操作表示存储在一种或多种计算机可读存储介质上的计算机可执行指令,这些计算机可执行指令由一种或多种处理器执行时执行所述操作。一般来讲,计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序并非旨在被理解为限制,并且任何数量的所述操作均可按照任意顺序和/或平行组合以实现这些过程。
过程100中的一些、任何或全部(或本文描述的任何其他过程、或其变型和/或组合)可在一种或多种计算机系统的控制下执行,一种或多种计算机系统被配置为具有计算机可执行指令并且可实现为在一种或多种处理器上共同执行的代码(例如,可执行指令、一种或多种计算机程序或一种或多种应用程序)该代码。代码可存储在计算机可读存储介质上,例如以计算机程序的形式存储,该计算机程序包括可由一种或多种处理器执行的多个指令。该计算机可读存储介质可以是非暂态的。
在框110处,搜索过程100通过打开资产页面开始。可通过选择计算设备的页面上的图标来打开资产页面。该图标可标记为“照片”或用于存储在数字资产集合中的数字资产的另一个类似的描述性术语。打开资产页面会导致显示用于搜索数字资产的用户界面。用户界面可呈现在计算设备的显示器上。接下来,数字资产管理模块/逻辑部件在框112处检索与存储在数字资产集合中的数字资产相关联的关键字标签。在框114处,更新知识图,以在框116处包括针对存储在资产集合106中的所有数字资产的关键字标签。随着将附加资产添加到数字资产集合中,还可更新知识图以包括与新的数字资产相关联的新的关键字标签。
在框118处,数字搜索模块/逻辑部件选择多个所选的关键字标签120以用于显示。知识图基于标准优先考虑一系列关键字标签。数字资产集合可包含数万个资产,并且每个资产可具有针对知识图中的每个资产存储的多个元数据。为了使用户更容易搜索,数字搜索模块/逻辑部件选择最可能被用户搜索的最佳关键字。关键字标签可分成与数字资产集合中的可搜索维度相关的各种集合(部分)。这些集合(部分)可包括人物、位置、时间、事件。接下来,数字资产管理模块/逻辑部件在框122处准备用户界面以用于显示。从存储在计算设备的存储器中的资产集合106中的关键字标签116中选择所选的关键字标签120。该步骤涉及选择适合于用户的关键字,并生成相关的多媒体内容图标/用户界面元素以供显示。选择用于显示的关键字标签可随着计算设备上的数字资产集合或用户活动的改变而改变。
在框124处,显示器呈现用于搜索数字资产集合的用户界面。在计算设备的显示器上生成用户界面以供用户查看。在框126处,显示器被配置为接收用户对搜索类别的选择。可通过仅点击所显示的多媒体内容图标/用户界面元素之一来进行用户对搜索类别的选择。选择多媒体内容图标/用户界面元素之一的其他手段可由用户通过设备按钮或其他手势使用。在接收到用户对搜索类别的选择之后,在框126处,数字资产管理模块/逻辑部件使用所选择的搜索类别来识别与数字资产集合中的资产相关的元数据。该元数据可用于查找数字资产,或者可用于进一步生成所建议的搜索术语,以进一步限制对数字资产的搜索。在框130处,数字资产管理模块/逻辑部件过滤与所选搜索类别无关的数字资产。在框132处,数字资产管理模块/逻辑部件创建修改的资产集合。在框132处,修改的资产集合包括来自资产集合106的选择关键字标签134。选择关键字标签134与来自框126的所选类别相关联。接下来,数字资产管理模块/逻辑部件在框136处准备第二用户界面。第二用户界面可在显示器上呈现进一步的搜索建议,以允许用户进一步细化数字资产的搜索。第二用户界面可以是与所选搜索类别对应的一个或多个时刻。这些时刻对应于资产类别,这些资产类别对应于相同地理位置和时间范围。第二用户界面可显示来自搜索术语的图像。在框140处,显示器108呈现第二用户界面。
图2示出了根据本公开的至少一个实施方案的示例用户界面,具体地为数字资产管理页面。用户界面200在数字资产管理页面的第一区域中显示搜索字段202。搜索字段202被配置为接收用于在数字资产集合中搜索数字资产的文本的一个或多个字符。搜索字段202被描绘在数字资产管理页面的顶部,但是可被配置为在页面的任何部分中显示。在显示器的第二区域中,可显示标记有集合标识符204的多个数字资产集合。在一些实施方案中,这些集合可包括照片、人物、地点、事件、类别和群组。每个集合显示具有相关联关键字标签208的多个多媒体内容图标(用户界面元素)206。多媒体内容图标206显示缩略图,该缩略图表示与关联关键字标签208相关联的数字资产的搜索结果中的资产。因此,与多媒体内容图标搜索结果相关联的数字资产集合中的至少一个数字资产将包含显示为缩略图的数字图像/视频帧。用户界面200允许至少响应于手势的识别来滚动多媒体内容图标206。在一些实施方案中,可经由计算设备的触摸屏显示器接收手势。在一些实施方案中,手势导致多媒体内容图标206和相关联的关键字标签208水平滚动。在一些实施方案中,垂直手势导致数字资产搜索页面的垂直滚动,从而提供附加集合的显示。另外,虽然主要是参考手指输入(例如,手指接触、单指轻击手势、手指轻扫手势)来给出下面的示例,但是应当理解,在一些实施方案中,这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如,基于鼠标的输入或触笔输入)替代。例如,轻扫手势任选地由鼠标点击(例如,而不是接触),之后是光标沿着轻扫的路径的移动(例如,而不是接触的移动)替代。又如,轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如,代替对接触的检测,之后是停止检测接触)替代。类似地,当同时检测到多个用户输入时,应当理解的是,多个计算机鼠标任选地被同时使用,或鼠标和手指接触任选地被同时使用。
事件集合203呈现了多个多媒体内容图标206和相关联的关键字标签208,其中每个多媒体内容图标206和相关联的关键字标签208表示存储在数字资产集合中的数字资产的集合。每个数字资产包括将数字资产与由相关联关键字标签208描述的事件相关联的对应元数据。例如,第一关键字标签被标记为“复活节”,并且选择针对“复活节”的相关联的多媒体内容图标206将导致过滤数字资产,以排除与标记为“复活节”的事件无关的任何资产。搜索引擎参考知识图以基于数字资产集合中的每个数字资产的多个元数据来确定多媒体内容图标206和关键字标签208。关键字标签108由数字资产集合中的数字资产的元数据相关联。
具有相关联的集合标识符204的人物集合240呈现多个多媒体内容图标206和相关联的关键字标签208,其中每个多媒体内容图标206和相关联的关键字标签208表示存储在数字资产集合中的数字资产的集合。每个数字资产包含将数字资产与多媒体内容图标206以及相关联关键字标签208中描绘的一个或多个人物相关联的元数据。例如,图2中描绘的第一多媒体内容图标206具有标记为“Mary”的相关联的关键字标签208,并且选择相关联的多媒体内容图标206将导致过滤数字资产,以排除与“Mary”无关的任何资产。在一些实施方案中,关键字标签208与存储在计算设备的联系人列表中的人物的图像相关联。在一些实施方案中,关键字标签接收来自图像分析中的信息和与存储在数字资产集合中的其他标记数字资产的相关性。在一些实施方案中,用户可通过将资产存储为可用图像中的人物的身份标记的数字资产文件夹来识别资产。
地点集合250将在下文进一步描述。搜索用户界面200描绘了多个图标,从而允许用于管理数字资产集合的附加组织工具。图标可包括“相册”图标、“收藏夹”图标(标记为“个人专属”)和“照片”图标。如图2所示,选择“搜索”特征。选择“相册”图标将引导用户使用数字资产的相册特征。选择“收藏夹”图标将引导用户进入“收藏夹”页面。选择“照片”将引导用户访问按时间顺序列出数字资产的页面。
图3示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为数字资产搜索页面的另一示例。图3示出了图2的数字资产管理用户界面的延续。可通过从图2中描绘的用户界面200向下滚动来访问图3中描绘的用户界面300。用户可通过在显示器上向上滚动来返回到用户界面100。在一些实施方案中,该滚动响应于计算设备的触摸屏显示器对手势的识别。用户界面300在显示器的第一区域中呈现搜索字段302。用户界面300描绘了地点、类别和群组的集合。
具有相关联的集合标识符304的地点集合350呈现多个多媒体内容图标306和相关联的关键字标签308,其中每个多媒体内容图标306和相关联的关键字标签308表示存储在数字资产集合中的数字资产的集合。每个数字资产包括将数字资产与多媒体内容图标306和相关联关键字标签308中描绘的地理地点相关联的元数据。地点集合250描绘了标记为“家”、“Paris”和“San Francisco”的关键字标签308的示例性集合。数字资产管理模块/逻辑部件将基于用户的活动来识别针对计算设备的用户的“家”标识符。图3中描绘的示例性“家”是San Jose,CA。所公开的技术不是针对地点图标描绘的每个多媒体内容图标306显示表示该集合中的代表性资产的缩略图,而是生成该位置的地图的图像。因此,在“家”集合中,不存在数字资产具有San Jose,CA地图的图像。选择针对“家”的相关联多媒体内容图标306将导致过滤数字资产,以排除不包含与San Jose,CA相关的位置元数据的任何资产。“Paris”和“San Francisco”是示例性地点,并且用户将附加多媒体内容图标306和关键字标签308与已捕获数字资产的相关地点相关联。数字资产的捕获位置由与每个数字资产相关联的位置元数据识别。数字资产管理模块/逻辑部件决定显示哪些多媒体内容图标306和相关联的关键字标签308,以及以何种顺序显示多媒体内容图标306和相关联的关键字标签308。
具有相关联的集合标识符304的类别集合360呈现多个多媒体内容图标306和相关联的关键字标签308,其中每个多媒体内容图标306和相关联的关键字标签308表示存储在数字资产集合中的数字资产的集合。每个数字资产包括将数字资产与多媒体内容图标306和相关联的关键字标签308中描绘的类别相关联的元数据。图3中描绘的用户界面300描绘了标记为“动物”、“下雪”和“体育”的关键字标签308的示例。通过访问知识图,数字资产管理模块/逻辑部件基于存储在数字资产集合中的数字资产的多个元数据来生成与存储在数字资产集合中的数字资产相关的代表性多媒体内容图标306和相关联的关键字标签308。选择针对“动物”的相关联多媒体内容图标306将导致过滤数字资产,以排除不包含与“动物”相关的元数据的任何资产。相似地,选择针对“下雪”或“运动”的相关联的多媒体内容图标206将导致过滤数字资产,以排除不包含与“下雪”或“运动”相关的元数据的任何资产。通过访问知识图,数字资产管理模块/逻辑部件决定显示哪些多媒体内容图标306和相关联的关键字标签308,以及以何种顺序显示多媒体内容图标306和相关联的关键字标签308。
具有相关联的集合标识符304的社交群组370呈现多个多媒体内容图标306和相关联的关键字标签308,其中每个多媒体内容图标306和相关联的关键字标签308表示存储在数字资产集合中的数字资产的集合。每个数字资产包括将数字资产与多媒体内容图标306和相关联的关键字标签308中描绘的人物的群组相关联的元数据。图3中描绘的用户界面300呈现示例性多媒体内容图标306,其描绘了相同图像中的多个人物或包括在同一图像中描绘的多个人物的图像拼贴。与大多数其他集合不同,群组集合可能不描绘与每个群组相关联的关键字标签308。每个群组的多媒体内容图标306可具有表示该群组内包含的不同数字资产的多个不同图像。社交群组多媒体内容图标306可具有与该群组相关联的两到九个人。在一些实施方案中,多媒体内容图标可呈现所描绘的两到九个图像中的任一个图像。多媒体内容图标中的多个图像的拼贴可取决于响应于该群组的人物元数据的数字资产的数量。为一个群组选择相关联的多媒体内容图标306将导致返回包含所有人物的数字资产以及包含与由所有这些人物组成的社交群组相关联的所有人物或所有资产集合。通过访问知识图,数字资产管理模块/逻辑部件决定针对群组显示哪些多媒体内容图标306,以及以何种顺序显示多媒体内容图标306。
类似于用户界面200,用户界面300允许至少响应于手势的识别来滚动每个集合中的多媒体内容图标306,以显示附加的多媒体内容图标206。在一些实施方案中,可经由计算设备的触摸屏显示器接收手势。在一些实施方案中,手势导致多媒体内容图标306和相关联的关键字标签308水平滚动。在一些实施方案中,垂直手势导致数字资产搜索页面的垂直滚动,从而提供附加集合的显示。
图4示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为建议页面。用户界面400允许用户进一步细化对数字资产集合的搜索。类似于用户界面200和用户界面300,在显示器的一个区域中描绘了搜索字段402。在选择多媒体内容图标406之一时,数字资产管理模块/逻辑部件呈现一个或多个附加搜索类别414,其可被选择以进一步细化数字资产的搜索。例如,在用户界面400中,选择群组多媒体内容图标作为主要搜索类别412,从而导致在搜索字段402中描绘群组图标。数字资产管理模块/逻辑部件呈现附加的建议搜索类别414,其包括由元数据识别的与所选群组406相关的人、地点、场景和动态照片的名称。如图4所示,可在每个人的姓名旁边描绘“人物”图标。地点图标位于“SantaClara,CA”的旁边。场景图标位于“海滩”关键字标签旁边。“动态照片”图标旁边存在一个图标,该图标表示存在相关元数据的动态照片。动态照片记录用户拍照前后1.5秒发生的事情。可从数字资产的元数据中描绘人物的姓名或通过用户的联系人列表识别人物的姓名。选择这些人物中的任一个将进一步限制对数字资产集合的搜索,并仅返回与所选择的指定人相关的数字资产。例如,选择“Marie Smith”将导致仅返回被识别为与“Marie Smith”人相关联的数字资产。通过访问知识图,数字资产管理模块/逻辑部件决定了显示哪些附加搜索类别和搜索类别标识符以及它们的显示顺序。使用该功能,用户可能够搜索与特定人物相关联的资产,即使用户忘记了特定人物的姓名但记得该人物与个体群组相关联。
图4中描绘的用户界面400允许选择一个或多个时刻多媒体内容图标306。时刻是在时间和地理上相互关联的数字资产的集合。用户界面400可描绘多个时刻多媒体内容图标410。每个时刻多媒体内容图标406描绘了来自与该时刻相关联的数字资产的代表性图像和关键字标签408标识符,该标识符识别了与数字资产相关联的位置和日期,这些数字资产与该时刻相关联。选择这些时刻多媒体内容图标406中的任一个将进一步限制对数字资产集合的搜索,并且仅返回与该时刻相关联的位置和时间限制两者相关的数字资产。例如,选择“Santa Clara,CA,2月2日”将导致仅返回被识别为与“Santa Clara,CA”相关联的位置元数据以及与“2月2日”相关联的时间元数据两者的相关联的数字资产。通过访问知识图,数字资产管理模块/逻辑部件决定显示哪些多媒体内容图标406和相关联的关键字标签408,以及以何种顺序显示多媒体内容图标406和相关联的关键字标签408。此外,通过访问知识图,数字资产管理模块/逻辑部件决定了时间元数据的范围,以包括特定时刻和用于识别该时刻位置的位置元数据的范围。通过选择“显示全部”选项332可显示附加时刻。关于时刻产生的附加信息可在2016年12月27日提交的名称为“Knowledge Graph Metadata NetworkBased on Notable Moments”的美国专利申请序列号15,391,276中找到,据此其全文以引用方式并入本文以用于所有目的。
图5示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为建议页面的另一示例。用户界面500允许用户进一步细化对数字资产集合的搜索。类似于用户界面200、用户界面300和用户界面400,在显示器的一个区域中描绘了搜索字段502。在选择多媒体内容图标506之一时,数字资产管理模块/逻辑部件呈现一个或多个附加搜索类别514,其可被选择以进一步细化搜索。例如,在用户界面500中,在搜索字段502中选择并描绘了地点(此处为“Paris”)、主要搜索术语512和日期(此处为“2015”)、次要搜索术语520。选择这些主要搜索术语和次要搜索术语进一步细化了对数字资产集合中数字资产的搜索,以限制具有与“Paris”和“2015”相关联的元数据的数字资产的返回。数字资产管理模块/逻辑部件进一步建议附加的附加搜索术语514以进一步细化搜索。附加搜索术语图标516和相关联的搜索术语518包括名称“Marie Smith”、“家”、“连拍”和“视频”。这些附加搜索图标516或搜索术语518中的任一个的选择将进一步限制具有与所选术语相关联的特征的元数据的数字资产的显示。例如,选择“Marie Smith”图标将导致数字资产集合的进一步过滤,以仅显示具有与“Paris”、“2015”和“Marie Smith”相关联的元数据的数字资产。
类似于用户界面400,图5中描绘的用户界面500允许选择一个或多个时刻多媒体内容图标。时刻是在时间和地理上相互关联的数字资产的集合。多个时刻多媒体内容图标510。每个时刻多媒体内容图标506描绘了来自与该时刻相关联的数字资产的代表性图像和关键字标签508标识符,该标识符识别与数字资产相关联的位置和日期,这些数字资产与该时刻相关联。选择这些时刻多媒体内容图标506中的任一个将进一步限制对数字资产集合的搜索,并且仅返回与该时刻相关联的位置和时间限制两者相关的数字资产。例如,选择“Paris-Le Marais&15周年”将导致仅返回被识别为与“paris”相关联的位置元数据以及与“2015年12月15日”相关联的时间元数据两者的相关联的数字资产。通过访问知识图,数字资产管理模块/逻辑部件决定显示哪些多媒体内容图标506和相关联的关键字标签508,以及以何种顺序显示多媒体内容图标506和相关联的关键字标签508。此外,通过访问知识图,数字资产管理模块/逻辑部件决定了时间元数据的范围,以包括特定时刻和用于识别该时刻位置的位置元数据的范围。通过选择“显示全部”选项532可显示附加时刻。
图5中描绘的用户界面500还允许根据附加类别进一步对结果进行分类。附加类别的数量和类型由数字资产管理模块/逻辑部件确定,并且取决于与存储在数字资产集合中的数字资产相关联的元数据。在示例中,如图5所示,数字资产可根据日期或地点被进一步过滤。例如,数字资产管理模块/逻辑部件呈现附加的多媒体内容图标506和关键字标签508,用于附加的搜索类别以供用户选择。在该示例中,数字资产管理模块/逻辑部件通过访问知识图来决定将包括在该类别中的各个日期和特定位置。
图6示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为建议页面的另一示例。用户界面600允许用户进一步细化对数字资产集合的搜索。类似于用户界面200、用户界面300、用户界面400和用户界面500,在显示器的区域中描绘了搜索字段602。在选择多媒体内容图标606之一时,数字资产管理模块/逻辑部件呈现一个或多个附加搜索类别614,其可被选择以进一步细化搜索。例如,在用户界面600中,已选择地点(此处为“Paris”)作为主要搜索术语612,已选择日期(此处为“2015”)作为辅助搜索术语620,并且已选择人物(此处为“Marie Smith”)作为第三级搜索术语622。这些术语显示在搜索字段602中。选择这些主要术语、次要搜索术语和第三级术语进一步细化了对数字资产集合中数字资产的搜索,以限制与“Paris”、“2015”和“Marie Smith”相关联的元数据的数字资产的返回。数字资产管理模块/逻辑部件进一步建议另外的附加搜索术语614以进一步细化搜索。附加搜索术语图标616和相关联的搜索术语618包括姓名“Jack Delaney”、“AlbertBrassier”、“Anatol Boxeur”和地点“家”。这些附加搜索图标616或搜索术语618中的任一个的选择将进一步限制具有与所选术语相关联的特征的元数据的数字资产的显示。例如,选择“Jack Delaney”图标将导致数字资产集合的进一步过滤,以仅显示具有与“Paris”、“2015”、“Marie Smith”和“Jack Delaney”相关联的元数据的数字资产。
用户界面600还呈现时刻和附加的所建议的搜索类别,其功能类似于针对用户界面500描述的时刻604和附加搜索类别。在示例中,在图6中,用于搜索的附加搜索类别是“日期”、“人物”和“地点”。向下滚动用户界面页面600可呈现附加的多媒体内容图标606和相关联的关键字标签608。
图7示出了根据至少一个实施方案的用于数字资产管理的另一示例用户界面,具体地为示例结果页面。用户界面700允许用户进一步细化对数字资产集合的搜索。类似于用户界面200、用户界面300、用户界面400和用户界面600,在显示器的一个区域中描绘了搜索字段702。当选择“Jack Delaney”作为附加搜索术语724时,示例性用户界面700呈现来自用户界面600的结果。此处,用户界面仅显示与“Paris”、“2015”、“Marie Smith”和“JackDelaney”相关联的元数据的时刻。这说明了众多搜索类别的选择可如何缩小搜索范围,可能缩小到单个时刻,从而使用户可以更轻松地通过几次击键查找集合中的特定数字资产。示例性用户界面700仅描绘了利用具有相关联的多媒体内容图标706的关键字标签708“Paris-Trocadero,2015年12月21日”来标识的单个时刻。选择时刻多媒体内容图标606将返回与该时刻相关联的数字资产。
图8示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为另一示例结果页面。用户界面800描述了来自对图7描述的搜索的针对“Paris-Trocadero”的多媒体内容图标806和关键字标签808的时刻。如图8所示,可通过为群组和人物的集合选择多媒体内容图标806之一来进行相关搜索。这允许对与所选时刻相关的数字资产进行附加搜索。例如,“显示附近的照片”允许数字资产管理模块/逻辑部件搜索具有存储在相邻节点上的元数据的数字资产。
图9示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为自动完成的示例。用户界面900允许用户进一步细化对数字资产集合的搜索。类似于本文中公开的其他用户界面,在显示器的第一区域中描绘了搜索字段902。用户界面900示出了下一个关键字建议特征。如图9所示,将文本串(此处为字母“l”)输入到搜索字段902中。数字资产管理模块/逻辑部件返回了具有相关联的集合图标916和关键字标签918的所建议的搜索类别914,以帮助建议另一搜索类别。用户界面900还呈现了功能类似于针对用户界面500描述的时刻和附加搜索类别的时刻。例如,可在用户界面900中描绘多媒体内容图标906和相关联的关键字标签908。图9还示出了用于将文本输入到搜索字段中的虚拟键盘930。可通过输入所选择的搜索字段来显示虚拟键盘930,而无需首先选择多媒体内容图标906。通过选择“显示全部”选项932可显示附加时刻。
图10示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为下一个关键字建议特征的另一示例。用户界面1000允许用户通过在选择一个或多个搜索类别1022之后输入文本来进一步细化对数字资产集合的搜索。类似于本文中的其他公开的用户界面,在显示器的区域中描绘了搜索字段1002。用户界面1000还示出了下一个关键字建议特征。如图10所示,在人物“Bao Thieu”搜索类别之后,将文本串(此处为字母“ch”)输入到搜索字段1002中。数字资产管理模块/逻辑部件返回了具有相关联的集合图标1016和关键字标签1018的所建议的搜索类别1014,以帮助建议另一搜索类别。用户界面1000还呈现了功能类似于针对用户界面900描述的时刻和附加搜索类别的时刻。图10还示出了用于将文本输入到搜索字段中的虚拟键盘1030。通过选择“显示全部”选项1032可显示附加时刻。
图11示出了根据至少一个实施方案的用于数字资产搜索的另一示例用户界面,具体地为建议页面。用户界面1100允许用户进一步细化对数字资产集合的搜索。类似于用户界面300和用户界面400,在显示器的一个区域中描绘了搜索字段1102。在将类别1136诸如“用餐”选择到搜索字段1102中时,数字资产搜索技术将建议可能的搜索术语,以响应于类别1136返回数字资产。所建议的搜索术语1122为用户提供了基于所建议的搜索术语1122的元数据进一步细化搜索的能力。在图11中,所建议的搜索术语1122包括:人物图标和“Sonia”。建议计数1140指示存在具有与“用餐”和“Sonia”相关联的元数据的74个数字资产。选择“Sonia”搜索术语将返回与“用餐”和“Sonia”相关联的数字资产。
在图11中,示例用户界面1100建议以下内容:具有1,606个数字资产的位置“SantaClara”和具有434个数字资产的“Los Gatos”;搜索术语“晚餐”,具有2,001个数字资产;以及“冬天”的日历,具有483个数字资产。照片标识符1124列出了具有与搜索术语条目1118相关联的元数据的数字资产的类型。照片标识符1124列出了具有与“用餐”类别1136相关联的元数据的数字资产的类型。资产计数数字1125指示照片标识符1124的数字资产的数量。在图11的示例中,响应于“用餐”的类别1136,存在2,238张照片。一个示例性数字资产1126是用餐的数字照片。图11还描绘了照片标识符1124下面的两行中的示例性数字资产缩略图。在示例性数字资产缩略图下面是用于将文本输入到搜索字段1102中的虚拟键盘1120。
在一些实施方案中,前8大特征可显示响应于搜索查询的顶部数字资产的缩略图1038。在各种实施方案中,前8大缩略图结果显示为两行,每行为四个缩略图。在一些实施方案中,可首先将数字资产按时间顺序排序。在一些实施方案中,时间顺序可从基于资产创建日期的最旧资产到基于资产创建日期的最新资产。在一些实施方案中,可颠倒时间顺序。在一些实施方案中,数字资产管理模块/逻辑部件可访问数字资产的知识图,以将数字资产分类成集群。如果数字资产的数量小于设定量(例如,160个资产),则可将资产索引到不同数量的组中,每组具有相同数量的资产。例如,对于具有160个数字资产的前8大呈现,数字资产管理模块/逻辑部件可将数字资产索引为八组,每组具有20个数字资产。又如,对于前8大呈现和80个资产,数字资产管理模块/逻辑部件可将数字资产索引为八组,每组具有10个资产。如果数字资产的数量大于设定量(例如,160个资产),则可使用多个数字资产集群对资产进行采样以减少运行时间。例如,如果响应于搜索请求存在1,200个数字资产,则数字资产管理模块/逻辑部件可查找前8大资产集群,并将前8大集群划分为8组,每组包含20个数字资产。因此,数字资产的数量越大,前8大结果中不会被采样的数字资产数量就越多。如果少于设定数量的数字资产(例如,160个数字资产),则该技术对所有数字资产进行采样。
数字资产管理/逻辑可使用知识图来确定数字资产之间是否存在足够的时间距离。例如,搜索结果不应从同一集群或事件返回多个资产。这为数字资产的缩略图显示呈现了一些多样性。
在一些实施方案中,可对来自每个索引位置的设定数量的资产(例如,20个资产)进行采样。数字资产管理/逻辑可从知识图中访问每个采样资产的内容分数。在一些实施方案中,可使用经验规则和阈值来计算内容分数。例如,基于这些规则,这些技术可以选择一系列可能的分数,包括:对于垃圾数字资产、屏幕截图、文档、模糊资产、美学分数非常低的资产以及非常短(例如,只有几秒钟)的视频而言,为[0.00;0.25];对于编辑的资产、经常查看或播放的资产或者主要为全景图或肖像的资产而言,为[0.60;0.75];对于被标记为收藏的数字资产、具有优异的美学分数、经常被共享、在数字资产中识别出许多人物的数字资产而言,为[0.75;1.00];对于所有剩余的数字资产而言,为[0.50;075]。在将分数分配给数字资产之后,可基于数字资产中的人物数量、数字资产中的面部、数字资产中的微笑、数字资产中的眨眼、数字资产的份额数量以及数字资产的类型(例如,照片、视频、屏幕截图、动态照片、连拍、全景图、肖像、自拍、长曝光、屏幕快照、动画、慢动作等)来在指定范围内计算精确分数。每个资产采样的最高得分资产可用于在前8大资产中显示。
可将每个索引组中具有最高内容分数的数字资产选择为用于显示的前8大缩略图之一。在各种实施方案中,如果索引组的两个或更多个数字资产之间存在联系,则数字资产管理/逻辑可访问每个数字资产的美学分数,作为用于选择前8大数字资产之一的决胜局。在一些实施方案中,可通过将权重分配给数字资产的多个属性来计算美学分数。可使用深度神经网络来计算美学分数。在各种实施方案中,该技术策划数据集,然后训练模型。该技术可首先创建与用户设备上的数字资产无关的图片数据集。这些技术可通过要求人类注释器对图片(例如,从1到5的范围)的全局美学和照片属性诸如取景、聚焦、照明、构图、定时、模糊等进行评分来训练模型。在各种实施方案中,可存在总共20个此类属性。随后,可训练神经网络来预测其他数字资产的这些属性分数。训练过程可将图像作为输入并基于训练预测最终的美学分数。该公式可通过深度学习模型进行抽象,该模型通过多个非线性变换将图像映射到预测的美学分数。可通过用于设备推断的网络编辑应用程序(例如,Espresso)完成在各种设备上对该模型的推断。
在一些实施方案中,搜索结果可包括建议计数1140。建议计数可通过计算数字资产或可响应于搜索结果来确定。建议计数可包括建议计数中的多种类型的数字资产(例如,照片、视频、全景图等)。在一些实施方案中,建议计数可显示在显示器上的建议搜索类别的右侧,并且包括数字资产的数量。在一些实施方案中,当多个建议被折叠在一起时,数字资产管理/逻辑可对数字资产进行去重,以确保建议计数可表示用户在选择搜索术语之后将看到的结果的数量。
图12示出了用于数字资产搜索的示例用户界面,具体地为图11的用户界面的延续。使用用户界面1100上的电子设备的触摸屏显示器上的手势向下滚动呈现附加的用户界面1200。除了在显示器的区域中描绘搜索字段1202之外,在照片标识符1224下面的两行中的示例性数字资产缩略图,用户界面1200呈现了时刻指示符1228。在将类别1236诸如“用餐”选择到搜索字段1202中时,数字资产搜索技术将响应于类别1236显示时刻。时刻是在时间和地理上相互关联的数字资产的集合。在用户界面1200中还描绘了多个时刻多媒体内容图标1230。每个时刻多媒体内容图标1230描绘了来自与该时刻相关联的数字资产的代表性图像和关键字标签1232标识符,该标识符识别了与数字资产相关联的位置和日期,这些数字资产与该时刻相关联。选择这些时刻多媒体内容图标1230中的任一个将进一步限制对数字资产集合的搜索,并且仅返回与该时刻相关联的位置和时间限制两者相关的数字资产。例如,选择“Cupertino Village”的时刻内容图标1230将返回数字资产,其具有与2018年8月22日捕获的针对Cupertino Village的时刻相关联的元数据。图12呈现了2018年7月27日“San Francisco Marriot Marquis”和2018年7月26日“San Francisco”的附加时刻。通过访问知识图,数字资产管理模块/逻辑部件决定显示哪些多媒体内容图标1230和相关联的关键字标签1232,以及以何种顺序显示多媒体内容图标1230和相关联的关键字标签1232。此外,通过访问知识图,数字资产管理模块/逻辑部件决定了时间元数据的范围,以包括特定时刻和用于识别该时刻位置的位置元数据的范围。
用户界面1200描绘了多个图标,从而允许用于管理数字资产集合的附加组织工具。图标可包括“照片”图标1210、“收藏夹”图标(标记为“个人专属”)1212、“相册”图标1214和“搜索”图标1216。如图12所示,选择“搜索”特征。选择“相册”图标将引导用户使用数字资产的相册特征。选择“收藏夹”图标将引导用户进入“收藏夹”页面。选择“照片”将引导用户访问按时间顺序列出数字资产的页面。
图13是示出根据至少一个示例的如本文所述的用于搜索数字资产集合的过程1300的流程图。过程1300被示为逻辑流程图,其每个操作表示能够在硬件、计算机指令或它们的组合中实现的一系列操作。在计算机指令的上下文中,操作表示存储在一种或多种计算机可读存储介质上的计算机可执行指令,这些计算机可执行指令由一种或多种处理器执行时执行所述操作。一般来讲,计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序并非旨在被理解为限制,并且任何数量的所述操作均可按照任意顺序和/或平行组合以实现这些过程。
过程1300中的一些、任何或全部(或本文描述的任何其他过程、或其变型和/或组合)可在一种或多种计算机系统的控制下执行,一种或多种计算机系统被配置为具有计算机可执行指令并且可实现为在一种或多种处理器上共同执行的代码(例如,可执行指令、一种或多种计算机程序或一种或多种应用程序)。代码可存储在计算机可读存储介质上,例如以计算机程序的形式存储,该计算机程序包括可由一种或多种处理器执行的多个指令。该计算机可读存储介质可以是非暂态的。
在1302处,该过程包括维护包含多个节点的知识图,该知识图表示数字资产与资产类别之间的关联,数字资产存储在计算设备的数字资产集合中,资产类别中的每个资产类别对应于多个关键字标签中的相应关键字标签,多个关键字标签描述与该资产类别的数字资产相关联的特征。
在1304处,该过程包括至少部分地基于由计算设备识别的动作来访问知识图以检索多个关键字标签。
在1306处,该过程包括至少部分地基于与知识图的多个节点中的特定节点相关联的特定数字资产来为多个关键字标签中的每一个关键字标签选择数字资产集合中的特定数字资产。
在1308处,该过程包括准备显示包括用户界面元素的用户界面,用户界面元素中的每个用户界面元素包括多个关键字标签中的关键字标签和表示对应的所选数字资产的对应多媒体图标。
在1310处,该过程包括接收对至少一个用户界面元素的选择,该选择至少部分地基于用于该选择的对应关键字标签来指示期望的搜索类别。
在1312处,该过程包括过滤数字资产集合中的数字资产,以排除与期望的搜索类别无关的某些数字资产,该过滤创建了修改的数字资产集合。
图14示出了示例流程图,其示出根据至少一些实施方案的用于实现数字资产搜索的过程(例如,计算机实现的方法)1400。过程1400被示为逻辑流程图,其每个操作表示能够在硬件、计算机指令或它们的组合中实现的一系列操作。在计算机指令的上下文中,操作表示存储在一种或多种计算机可读存储介质上的计算机可执行指令,这些计算机可执行指令由一种或多种处理器执行时执行所述操作。一般来讲,计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序并非旨在被理解为限制,并且任何数量的所述操作均可按照任意顺序和/或平行组合以实现这些过程。
过程1400中的一些、任何或全部(或本文描述的任何其他过程、或其变型和/或组合)可在一种或多种计算机系统的控制下执行,一种或多种计算机系统被配置为具有在一种或多种处理器上共同执行的计算机可执行指令并且可实现为代码(例如,可执行指令、一种或多种计算机程序或一种或多种应用程序)。代码可存储在计算机可读存储介质上,例如以计算机程序的形式存储,该计算机程序包括可由一种或多种处理器执行的多个指令。该计算机可读存储介质可以是非暂态的。
在1402处,一个或多个处理器执行的操作包括维护包含多个节点的知识图,该知识图表示数字资产与资产类别之间的关联,数字资产存储在计算设备的数字资产集合中,资产类别中的每个资产类别对应于多个关键字标签中的相应关键字标签,多个关键字标签描述与资产类别的数字资产相关联的特征。
在1404处,一个或多个处理器执行操作,包括至少部分地基于由计算设备识别的动作来访问知识图以检索多个关键字标签。
在1406处,一个或多个处理器执行操作,包括至少部分地基于与知识图的多个节点中的特定节点相关联的特定数字资产来为多个关键字标签中的每一个关键字标签选择数字资产集合中的特定数字资产。
在1408处,一个或多个处理器执行操作,包括准备显示包括用户界面元素的用户界面,用户界面元素中的每个用户界面元素包括多个关键字标签中的关键字标签和表示对应的所选数字资产的对应多媒体图标。
在1410处,一个或多个处理器执行操作,包括接收对至少一个用户界面元素的选择,该选择至少部分地基于用于该选择的对应关键字标签来指示期望的搜索类别。
在1412处,一个或多个处理器执行操作,包括过滤数字资产集合中的数字资产,以排除与期望的搜索类别无关的某些数字资产,该过滤创建了修改的数字资产集合。
图15是示出根据至少一个实施方案的用于实现本文描述的功能的示例架构1500的简化框图。在一些示例中,具有示例架构1500的计算设备1502可被配置为呈现相关用户界面、捕获音频和视频信息、搜索数字资产集合、在显示器上显示相关结果、接收触觉输入、接收触摸屏输入以及执行逻辑。
计算设备1502可被配置为执行或以其他方式管理用于执行所述技术的应用程序或指令,诸如但不限于提供用于搜索数字资产的用户界面(例如,图2-12的用户界面200-1200)。计算设备1502可在用户界面处从一个或多个用户1508接收输入(例如,利用一个或多个I/O设备1504诸如在触摸屏1506处),捕获信息,处理信息,然后也利用一个或多个I/O设备1504(例如,计算设备1502的扬声器)呈现资产。计算设备1502可被配置为搜索存储在数据资产集合1520中的数据资产。
计算设备1502可为任何类型的计算设备,诸如但不限于移动电话(例如,智能电话)、平板电脑、个人数字助理(PDA)、膝上型计算机、台式计算机、瘦客户端设备、智能手表、无线耳机等。根据一些实施方案,计算设备1502可以是具有触摸屏1506的便携式多功能设备。触摸屏任选地在用户界面(UI)内显示一个或多个图形。在该实施方案中,以及在下文中介绍的其他实施方案中,用户能够通过例如用一个或多个手指或者用一个或多个触控笔在图形上作出手势来选择这些图形中的一个或多个。在一些实施方案中,当用户中断与一个或多个图形的接触时,将发生对一个或多个图形的选择。在一些实施方案中,手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与计算设备1502发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下,不经意地与图形接触不会选择图形。例如,当与选择对应的手势是轻击时,在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。计算设备1502可任选地还包括一个或多个物理按钮,诸如“home”按钮或菜单按钮。任选地,菜单按钮用于导航到任选地在计算设备1502上被执行的一组应用程序中的任何应用程序。另选地,在一些实施方案中,菜单按钮被实现为被显示在触摸屏1506上的GUI中的软键。
在一个实施方案中,计算设备1502包括触摸屏1506、菜单按钮、用于对设备开关机和锁定设备的下压按钮、一个或多个音量调节按钮、用户身份模块(SIM)卡槽、耳麦插孔和对接/充电外部端口。下压按钮任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机;通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备;和/或对设备进行解锁或发起解锁过程。在另选的实施方案中,设备1502还通过麦克风接受用于激活或去激活某些功能的语音输入。计算设备1502还任选地包括用于检测触摸屏1506上的接触的强度的一个或多个接触强度传感器,和/或用于为设备1502的用户生成触觉输出的一个或多个触觉输出发生器。
在一种例示性配置中,计算设备1502可包括至少一个存储器1512和一个或多个处理单元(或一个或多个处理器)1514。一个或多个处理器1514可在硬件、软件或其组合中适当地实现。一个或多个处理器1514的计算机可执行指令或固件实施方式包括以任何合适的编程语言编写的计算机可执行指令,以执行所述的各种功能。
存储器1512可存储能够在一个或多个处理器1514上加载和执行的程序指令以及在执行这些程序过程中所生成的数据。根据计算设备1502的配置和类型,存储器1512可为易失性存储器(诸如随机存取存储器(RAM))和/或非易失性存储器(诸如只读存储器(ROM)、闪存存储器等)。计算设备1502还可包括附加的可移除存储设备和/或不可移除存储设备,包括但不限于磁性存储装置、光盘和/或磁带存储装置。磁盘驱动器及其相关联的非暂态计算机可读介质可为计算设备提供计算机可读指令、数据结构、程序模块及其他数据的非易失性存储设备。在一些具体实施中,存储器1512可包括多种不同类型的存储器,诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或ROM。虽然本文所述的易失性存储器可以被称为RAM,但是从主机和/或电源拔下后将不会保留其中所存储的数据的任何易失性存储器都是适当的。
存储器1512和附加存储器为可移除或不可移除的,均为非暂态计算机可读存储介质的示例。例如,非暂态计算机可读存储介质可包括易失性或非易失性、可移除或不可移除介质,其通过任何方法或技术实现为用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据。存储器1512和附加存储装置均为非暂态计算机存储介质的示例。可存在于计算设备1502中的其他类型的计算机存储介质可包括但不限于:相变RAM(PRAM)、SRAM、DRAM、RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪存存储器或其他存储器技术、光盘只读存储器(CD-ROM)、数字视频光盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储磁性存储装置或其他磁性存储设备或任何其他可用于存储所需信息并可被计算设备1502访问的介质。上述任意组合也应该包括在非暂态计算机可读存储介质的范围内。
另选地,计算机可读通信介质可包括计算机可读指令、程序模块或在数据信号诸如载波或其他传输手段内传输的其他数据。然而,如本文所用,计算机可读存储介质不包括计算机可读通信介质。
计算设备1502还可包含一个或多个通信连接件1516,该通信连接件允许计算设备1502经由一个或多个网络与数据存储装置、另一个计算设备或服务器、用户终端和/或其他设备进行通信。此类网络可包括许多不同类型的网络中的任一种或组合,诸如有线网络、互联网、无线网络、蜂窝网络、卫星网络、其他专用网络和/或公共网络或者它们的任意组合。计算设备1502还可包括一个或多个I/O设备1504,诸如触摸输入设备、键盘、鼠标、笔、语音输入设备、显示器、扬声器、打印机等。
更详细地转至存储器1512的内容,存储器1512可包括操作系统1516和/或用于实现本文公开的特征的一个或多个应用程序或服务,包括用户界面模块1518、数字资产集合1520和知识图1510。存储器1512还可被配置为将一个或多个音频和视频文件存储为数字资产集合1520和知识图1510中的数字资产。这样,计算设备1502可执行本文描述的所有操作。
在一些示例中,用户界面模块1518可被配置为管理计算设备1502的用户界面。例如,用户界面模块1518可呈现由计算设备1502请求的任何数量的各种UI。特别地,用户界面模块1518可被配置为呈现图2-10的UI 200-1000,这使得能够实现本文描述的功能,具体地为搜索数字资产集合并向用户1508提供搜索数字资产的简单方式。
计算设备1502还包括图形用户界面(GUI)模块1518。GUI模块1518用于输出与客户端计算设备1502相关联的显示设备的信号。客户端计算设备1502还包括用于与显示设备交互的显示界面。客户端计算设备1502可经由网络接口从媒体服务器(例如,媒体服务器)请求视频信息窗口的数据。在一个实施方案中,媒体服务器以XML格式提供所请求的数据。客户端计算设备1502可处理所请求的数据并使GUI模块1518呈现视频信息窗口。在一些实施方案中,对象更新器创建并更新在图形用户界面中使用的对象。例如,对象更新器创建新的用户界面对象或更新用户界面对象的位置。GUI更新器更新GUI。例如,GUI更新器准备显示信息,并将显示信息发送到图形模块,以在显示器诸如触敏显示器上显示。
还可在各种操作环境中实现各种实施方案,在一些情况下,操作环境可包括可用于操作许多应用程序中的任何应用程序的一个或多个用户计算机、计算设备或处理设备。用户设备或客户端设备可包括许多个人计算机中的任一个,诸如运行适当操作系统的台式计算机或膝上型计算机,以及运行移动软件并能够支持多个联网协议和即时消息协议的蜂窝设备、无线设备和手持设备。此系统还可包括运行各种可商购获得的操作系统和用于目的诸如开发和数据库管理等的其他已知应用程序中的任何一者的多个工作站。这些设备还可包括其他电子设备,诸如虚拟终端、瘦客户端、游戏系统以及能够经由网络进行通信的其他设备。
大多数实施方案利用本领域技术人员熟悉的至少一个网络来支持使用各种商用协议诸如TCP/IP、OSI、FTP、UPnP、NFS、CIFS和AppleTalk中的任何协议的通信。网络可以是例如局域网、广域网、虚拟专用网络、互联网、内联网、外联网、公共交换电话网、红外网络、无线网络及其任何组合。
在利用网络服务器的实施方案中,网络服务器可运行各种服务器或中间层应用程序中的任何一者,包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器和业务应用程序服务器。一个或多个服务器还可能够响应于来自用户设备的请求而执行程序或脚本,诸如通过执行一个或多个应用程序,所述一个或多个应用程序可被实现为以任何编程语言诸如C、C#或C++或者任何脚本语言诸如Peri、Python或TCL以及它们的组合编写的一个或多个脚本或程序。一个或多个服务器还可包括数据库服务器,包括但不限于可从和商购获得的那些。
环境可包括各种数据存储库和其他存储器和存储介质,如上所述。这些可驻留在各个位置,诸如在一个或多个计算机本地的存储介质上或者远离网络上的任何或全部计算机的存储介质上(和/或驻留在一个或多个计算机中)。在特定的一组实施方案中,信息可驻留在本领域技术人员熟悉的存储区域网络(SAN)中。类似地,用于执行归属于计算机、服务器或其他网络设备的功能的任何必要文件可以根据需要本地存储以及/或者远程存储。当系统包括计算机化设备时,每个此类设备可包括可经由总线电耦接的硬件元件,所述元件包括例如至少一个中央处理单元(CPU)、至少一个输入设备(例如,鼠标、键盘、控制器、触摸屏或小键盘),以及至少一个输出设备(例如,显示设备、打印机或扬声器)。此类系统还可包括一个或多个存储设备,诸如磁盘驱动器、光存储设备和固态存储设备诸如RAM或ROM,以及可移除媒体设备、存储卡、闪存卡,等等。
此类设备还可包括如上所述的计算机可读存储介质读取器、通信设备(例如,调制解调器、网卡(无线或有线)、红外通信设备等)和工作存储器。计算机可读存储介质读取器可连接至或配置为接收表示远程、本地、固定和/或可移除的存储设备的非暂态计算机可读存储介质,以及用于临时和/或更永久地包含、存储、传输和检索计算机可读信息的存储介质。系统和各种设备通常还将包括位于至少一个工作存储器设备内的多个软件应用程序、模块、服务或其他元件,包括操作系统和应用程序,诸如客户端应用程序或浏览器。应当理解的是,另选实施方案可具有根据上文所述的许多变型形式。例如,还可使用定制硬件,和/或可在硬件、软件(包括便携式软件,诸如小应用程序)或两者中实现特定元件。此外,可使用与其他计算设备诸如网络输入/输出设备的连接。
用于包含代码或代码的部分的非暂态存储介质和计算机可读存储介质可包括本领域中已知或使用的任何适当的介质(载波等暂态介质除外),诸如但不限于在任何方法或技术中实现的用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据的易失性和非易失性、可移除和不可移除的介质,包括RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪存存储器或其他存储器技术、CD-ROM、DVD或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁性存储设备,或者可用于存储所需信息并且可由系统设备访问的任何其他介质。基于本文提供的公开和教导,本领域的普通技术人员将理解实现各种实施方案的其他方式和/或方法。然而,如上所述,计算机可读存储介质不包括暂态介质诸如载波等。
相应地,说明书和附图应被视为具有例示性的而非限制性的意义。然而,显而易见的是,在不脱离权利要求中阐述的本公开的更广泛的实质和范围的情况下,可对其进行各种修改和改变。
如上所述,本技术的一个方面在于收集和使用得自各种来源的数据,以搜索数字资产。本公开预期,在一些实例中,这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如,生命信号测量、药物信息、锻炼信息)、出生日期、或任何其他标识或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如,个人信息数据可用于搜索和显示数字资产以及有关数字资产的信息。因此,可在显示器上向用户呈现此类个人信息数据的使用。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,健康和健身数据可用于向用户的总体健康状况提供见解,或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集,分析,公开,传输,存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类策略应该能被用户方便地访问,并应当随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,在收到用户知情同意后,应进行此类采集/共享。此外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和做法。此外,应当调整政策和实践,以便采集和/或访问的特定类型的个人信息数据,并适用于包括管辖范围的具体考虑的适用法律和标准。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险转移和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此,在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,就数字资产搜索技术而言,本发明的技术可被配置为在注册服务期间或之后任何时候允许用户选择以“选择加入”或“选择退出”参与对个人信息数据的收集。又如,用户可选择不提供将在显示器上显示的个人信息。又如,用户可选择限制个人数据的数量来维持或完全禁止显示个人数据。除了提供“选择加入”和“选择退出”选项外,本公开设想提供与访问或使用个人信息相关的通知。例如,可在下载应用时向用户通知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据采集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如,出生日期等)、控制所存储数据的量或特异性(例如,在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如,在用户上聚集数据)、和/或其他方法来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,可通过基于非个人信息数据或绝对最低数量的个人信息诸如与用户相关联的设备所请求的内容、对边界路径技术可用的其他非个人信息或公开可用的信息来推断偏好,从而选择内容并将该内容递送至用户。
其他变型形式在本公开的实质内。因此,尽管所公开的技术容易受到各种修改和另选构造的影响,但是其某些例示的实施方案在附图中示出并且已经在上面详细描述。然而,应当理解,并不旨在将本公开限制于所公开的特定形式,相反,其目的在于覆盖落入由所附权利要求所限定的本公开的实质和范围内的所有修改、另选构造和等同形式。
在描述所公开的实施方案的上下文中(特别是在下面的权利要求书的上下文中)使用术语“一”、“一个”和“该”以及类似的指示词将被解释为覆盖单数和复数,除非另有说明或与上下文明显矛盾。除非另有说明,否则术语“包含”、“具有”、“包括”和“含有”应被解释为开放式术语(即,意思为“包括但不限于”)。术语“连接”被解释为即使有干预的东西,也被部分或全部地包含在内、附接或接合在一起。短语“基于”应当被理解为开放式的,并且不以任何方式进行限制,并且旨在在适当的情况下被解释或以其他方式理解为“至少部分地基于”。除非本文另有说明,否则本文中对数值范围的叙述仅仅旨在用作单独提及落入该范围内的每个单独值的简单方法,并且每个单独的值被并入说明书中,如同在本文中单独引用。本文描述的所有方法能够以任何合适的顺序执行,除非本文另有说明或以其他方式与上下文明显矛盾。除非另有声明,否则本文提供的任何和所有示例或示例性语言(例如,“诸如”)的使用仅仅旨在更好地说明本公开的实施方案,并且不会限制本公开的范围。说明书中的任何语言都不应被解释为指示任何未声明的元素对于本公开的实践是必不可少的。
除非另外特别说明,否则析取语言诸如短语“X、Y或Z中的至少一者”在上下文中被理解为通常用于呈现项目、术语等,其可以是X、Y或Z,或它们的任何组合(例如,X、Y和/或Z)。因此,此类析取语言通常不旨在并且不应该暗示某些实施方案要求X中的至少一个、Y中的至少一个或者Z中的至少一个均各自存在。另外,除非另外特别说明,否则诸如短语“X,Y和Z中的至少一者”的联合语言也应理解为意指X、Y、Z或它们的任何组合,包括“X、Y和/或Z”。
本文描述了本公开的各种实施方案,包括发明人已知的用于执行本公开的最佳模式。在阅读前面的描述之后,那些实施方案的变型形式对于本领域的普通技术人员而言可变得显而易见。发明人期望技术人员适当地采用此类变型形式,并且发明人旨在以不同于本文具体描述的方式来实践本公开。因此,如适用法律所允许的,本公开包括所附权利要求中记载的主题的所有修改和等同形式。此外,除非在本文中另外指出或者明显与上下文矛盾,否则本公开包含上述元素的所有可能变型形式的任何组合。
本文引用的所有参考文献,包括出版物、专利申请和专利,均据此以引用方式并入本文,正如每篇参考文献被单独且具体地指示为以引用方式并入并且在本文全文阐述。
Claims (45)
1.一种计算机实现的方法,包括:
由计算设备的一个或多个处理器维护包含多个节点的知识图,所述多个节点表示数字资产与资产类别之间的关联,所述数字资产存储在所述计算设备的数字资产集合中,所述资产类别的每个资产类别对应于多个关键字标签中的相应关键字标签,所述多个关键字标签描述与所述资产类别的数字资产相关联的特征;
由所述一个或多个处理器访问所述知识图,以至少部分地基于由所述计算设备识别的动作来检索所述多个关键字标签;
由所述一个或多个处理器至少部分地基于与所述知识图的所述多个节点中的特定节点相关联的特定数字资产来为所述多个关键字标签中的每一个关键字标签选择所述数字资产集合中的所述特定数字资产;
由所述一个或多个处理器准备显示包括用户界面元素的用户界面,所述用户界面元素中的每个用户界面元素包括所述多个关键字标签中的关键字标签和表示对应的所选数字资产的对应多媒体图标;
由所述一个或多个处理器接收所述用户界面元素中的至少一个用户界面元素的选择,所述选择至少部分地基于用于所述选择的对应关键字标签来指示期望的搜索类别;
由所述一个或多个处理器过滤所述数字资产集合中的所述数字资产,以排除与所述期望的搜索类别无关的某些数字资产,所述过滤创建修改的数字资产集合;
由所述一个或多个处理器发起对所述计算设备的所述修改的数字资产集合的搜索以搜索具有与用于所述选择的所述对应关键字标签对应的元数据的数字资产;以及
由所述一个或多个处理器准备显示第二用户界面,所述第二用户界面包括对应于所述修改的数字资产集合的第二用户界面元素,所述第二用户界面元素中的每个第二用户界面元素包括至少部分地基于所述期望的搜索类别的第二关键字标签和第二对应的多媒体图标。
2.根据权利要求1所述的计算机实现的方法,还包括:
针对由包括所述多媒体图标和所述关键字标签的项表示的每个资产集合计算所述多个关键字标签的优先级分数,其中所述优先级分数基于标准;以及
以对所述优先级分数排名的方式对所述项进行排序。
3.根据权利要求1所述的计算机实现的方法,其中所述动作包括以下中的至少一者:
改变所述数字资产集合中的所述数字资产;
改变所述数字资产集合中的面部,其中所述面部表示人物图像与人物身份之间的链接;
添加或删除所述知识图的所述多个节点中的已选节点;
将所述数字资产集合同步到云存储应用程序;或者
改变第一数字资产与第二数字资产之间的关系。
4.根据权利要求1所述的计算机实现的方法,还包括生成多媒体图标,所述多媒体图标包括与所述关键字标签对应的所述数字资产集合中的代表性数字资产的描绘,其中所述数字资产包括所述数字资产集合中的视频,并且所述代表性数字资产的所述描绘包括所述视频的帧。
5.根据权利要求1所述的计算机实现的方法,还包括:
由所述一个或多个处理器至少部分地基于所述期望的搜索类别的第一元数据集与所述资产类别的数字资产的第二元数据集之间的相关性来导出至少一个建议的搜索术语;
由所述一个或多个处理器准备显示与所述至少一个建议的搜索术语相关联的第二关键字标签;以及
由所述一个或多个处理器进一步过滤所述数字资产集合中的所述数字资产,以排除与所述至少一个建议的搜索术语无关的某些数字资产,所述进一步过滤创建进一步修改的数字资产集合。
6.根据权利要求5所述的计算机实现的方法,其中所述至少一个建议的搜索术语包括集合图标,并且其中所述集合图标标识与所述数字资产集合中的所述建议的搜索术语相关联的数字资产的集合。
7.根据权利要求1所述的计算机实现的方法,还包括:
自动完成输入到所述用户界面的区域中描绘的搜索字段中的搜索术语的一部分的文本条目,其中所述自动完成至少部分地基于存储在所述知识图中的元数据和考虑以下中的至少一者的加权标准:
与完成的搜索术语匹配的所述关键字标签的所述数字资产的数量;
用于多术语关键字标签的所述关键字标签中匹配的术语的位置,其中所述匹配的术语与所述完成的搜索术语匹配;
与所述完成的搜索术语对应的所述关键字标签的资产类别;
所述完成的搜索术语的所述关键字标签的位置,其中所述位置处于所选资产类别中的所述关键字标签的排名中;或者
用于所述完成的搜索术语的匹配的关键字标签的数量;
在所述用户界面上显示所述搜索字段中的所述完成的搜索术语。
8.根据权利要求7所述的计算机实现的方法,其中所述加权标准还考虑历史搜索的多个历史搜索术语的搜索历史,所述搜索历史存储在所述计算设备上。
9.根据权利要求7所述的计算机实现的方法,还包括:
由所述一个或多个处理器至少部分地基于与所述完成的搜索术语对应的第一元数据集和所述资产类别的数字资产的第二元数据集之间的相关性来导出至少一个建议的搜索术语;
由所述一个或多个处理器准备显示与所述至少一个建议的搜索术语相关联的第二关键字标签;以及
由所述一个或多个处理器进一步过滤所述数字资产集合中的所述数字资产,以排除与所述至少一个建议的搜索术语无关的某些数字资产,所述进一步过滤创建进一步修改的数字资产集合。
10.根据权利要求1所述的计算机实现的方法,还包括:
将所述多个关键字标签中的所述关键字标签在所述计算设备的存储器中编入索引;
将多个词典术语存储在所述计算设备的所述存储器中;
由所述一个或多个处理器通过将所述多个词典术语与所述编入 索引的关键字标签相关联来生成多个语义相似的术语,其中所述关联至少部分地与所述词典术语的含义相关;以及
将所述多个语义相似的术语存储在所述设备的所述存储器中的语义字词嵌入模型中。
11.根据权利要求10所述的计算机实现的方法,还包括:
由所述一个或多个处理器访问所述语义字词嵌入模型以检索所述多个语义相似的术语;以及
由所述一个或多个处理器发起对所述计算设备的所述修改的数字资产集合的搜索以搜索具有与跟所述多个语义相似的术语相关联的关键字标签对应的元数据的数字资产。
12.根据权利要求1所述的计算机实现的方法,还包括:
将所述多个关键字标签中的所述关键字标签在所述计算设备的存储器中编入索引;
将多个词典术语存储在所述计算设备的所述存储器中;
由所述一个或多个处理器通过将所述多个词典术语与所述编入 索引的关键字标签相关联来生成多个语法同义词术语,其中所述关联至少部分地与所述编入 索引的关键字标签的语言排布相关;以及
将所述多个语法同义词术语存储在所述设备的所述存储器中的语法字词嵌入模型中。
13.根据权利要求12所述的计算机实现的方法,还包括:
由所述一个或多个处理器访问所述语法字词嵌入模型,以检索所述多个语法同义词术语;以及
由所述一个或多个处理器发起对所述计算设备的所述修改的数字资产集合的搜索以搜索具有与跟所述语法同义词术语相关联的关键字标签对应的元数据的数字资产。
14.根据权利要求1所述的计算机实现的方法,还包括:
至少部分地基于与所述关键字标签对应的期望的搜索类别来确定所述知识图的每个节点和每个边缘的期望属性;
将所述知识图的每个节点和每个边缘的所述期望属性预加载到存储器中;以及
从所述存储器卸载未使用的属性。
15.一种存储多个指令的计算机可读介质,所述多个指令当由计算设备的一个或多个处理器执行时使所述一个或多个处理器执行包括以下项的操作:
维护包含多个节点的知识图,所述多个节点表示数字资产与资产类别之间的关联,所述数字资产存储在所述计算设备的数字资产集合中,所述资产类别的每个资产类别对应于多个关键字标签中的相应关键字标签,所述多个关键字标签描述与所述资产类别的数字资产相关联的特征;
访问所述知识图,以至少部分地基于由所述计算设备识别的动作来检索所述多个关键字标签;
至少部分地基于与所述知识图的所述多个节点中的特定节点相关联的特定数字资产,为所述关键字标签中的每一个关键字标签选择所述数字资产集合中的所述特定数字资产;
准备显示包括用户界面元素的用户界面,所述用户界面元素中的每个用户界面元素包括关键字标签和表示对应的数字资产的对应多媒体图标;
接收对所述用户界面元素中的至少一个用户界面元素的选择,所述选择至少部分地基于用于所述选择的对应关键字标签来指示期望的搜索类别;以及
过滤所述数字资产集合的所述数字资产,以排除与所述期望的搜索类别无关的某些数字资产,所述过滤创建修改的数字资产集合。
16.根据权利要求15所述的计算机可读介质,所述操作还包括:
发起对所述计算设备的所述修改的数字资产集合的搜索以搜索具有与用于所述选择的所述对应关键字标签对应的元数据的数字资产;以及
准备显示第二用户界面,所述第二用户界面包括与所述修改的数字资产集合对应的第二用户界面元素,所述第二用户界面元素的每个第二用户界面元素包括至少部分地基于所述期望的搜索类别的第二关键字标签和第二对应的多媒体图标。
17.根据权利要求15所述的计算机可读介质,所述操作还包括:
针对由包括所述多媒体图标和所述关键字标签的项表示的每个资产集合计算所述多个关键字标签的优先级分数,其中所述优先级分数基于标准;以及
以对所述优先级分数排名的方式对所述项进行排序。
18.根据权利要求15所述的计算机可读介质,其中所述动作包括以下中的至少一者:
改变所述数字资产集合中的所述数字资产;
改变所述数字资产集合中的面部,其中所述面部表示人物图像与人物身份之间的链接;
添加或删除所述知识图的所述多个节点中的已选节点;
将所述数字资产集合同步到云存储应用程序;或者
改变第一数字资产与第二数字资产之间的关系。
19.根据权利要求15所述的计算机可读介质,所述操作还包括生成多媒体图标,所述多媒体图标包括所述数字资产集合中与所述关键字标签对应的代表性数字资产的描绘,其中所述数字资产包括所述数字资产集合中的视频,并且所述代表性数字资产的描绘包括所述视频的帧。
20.根据权利要求15所述的计算机可读介质,所述操作还包括:
至少部分地基于所述期望的搜索类别的第一元数据集与所述资产类别的数字资产的第二元数据集之间的相关性来导出至少一个建议的搜索术语;
准备显示与所述至少一个建议的搜索术语相关联的第二关键字标签;以及
进一步过滤所述数字资产集合中的所述数字资产,以排除与所述至少一个建议的搜索术语无关的某些数字资产,所述进一步过滤创建进一步修改的数字资产集合。
21.根据权利要求20所述的计算机可读介质,其中所述至少一个建议的搜索术语包括集合图标,并且其中所述集合图标标识与所述数字资产集合中的所述建议的搜索术语相关联的数字资产的集合。
22.根据权利要求15所述的计算机可读介质,所述操作还包括:
自动完成输入到所述用户界面的区域中描绘的搜索字段中的搜索术语的一部分的文本条目,其中所述自动完成至少部分地基于存储在所述知识图中的元数据和考虑以下中的至少一者的加权标准:
与完成的搜索术语匹配的所述关键字标签的所述数字资产的数量;
用于多术语关键字标签的所述关键字标签中匹配的术语的位置,其中所述匹配的术语与所述完成的搜索术语匹配;
与所述完成的搜索术语对应的所述关键字标签的资产类别;
所述完成的搜索术语的所述关键字标签的位置,其中所述位置处于所选资产类别中的所述关键字标签的排名中;或者
用于所述完成的搜索术语的匹配的关键字标签的数量;
在所述用户界面上显示所述搜索字段中的所述完成的搜索术语。
23.根据权利要求22所述的计算机可读介质,其中所述加权标准还考虑历史搜索的多个历史搜索术语的搜索历史,所述搜索历史存储在所述计算设备上。
24.根据权利要求22所述的计算机可读介质,所述操作还包括:
至少部分地基于与所述完成的搜索术语对应的第一元数据集和所述资产类别的数字资产的第二元数据集之间的相关性来导出至少一个建议的搜索术语;
准备显示与所述至少一个建议的搜索术语相关联的第二关键字标签;以及
进一步过滤所述数字资产集合中的所述数字资产,以排除与所述至少一个建议的搜索术语无关的某些数字资产,所述进一步过滤创建进一步修改的数字资产集合。
25.根据权利要求15所述的计算机可读介质,所述操作还包括:
将所述多个关键字标签中的所述关键字标签在所述计算设备的存储器中编入索引;
将多个词典术语存储在所述计算设备的所述存储器中;
通过将所述多个词典术语与所述编入 索引的关键字标签相关联来生成多个语义相似的术语,其中所述关联至少部分地与所述词典术语的含义相关;以及
将所述多个语义相似的术语存储在所述设备的所述存储器中的语义字词嵌入模型中。
26.根据权利要求25所述的计算机可读介质,所述操作还包括:
访问所述语义字词嵌入模型以检索所述多个语义相似的术语;以及
发起对所述计算设备的所述修改的数字资产集合的搜索以搜索具有与跟所述多个语义相似的术语相关联的关键字标签对应的元数据的数字资产。
27.根据权利要求15所述的计算机可读介质,所述操作还包括:
将所述多个关键字标签中的所述关键字标签在所述计算设备的存储器中编入索引;
将多个词典术语存储在所述计算设备的所述存储器中;
通过将所述多个词典术语与所述编入 索引的关键字标签相关联来生成多个语法同义词术语,其中所述关联至少部分地与所述编入 索引的关键字标签的语言排布相关;以及
将所述多个语法同义词术语存储在所述设备的所述存储器中的语法字词嵌入模型中。
28.根据权利要求27所述的计算机可读介质,所述操作还包括:
访问所述语法字词嵌入模型,以检索所述多个语法同义词术语;以及
发起对所述计算设备的所述修改的数字资产集合的搜索以搜索具有与跟所述语法同义词术语相关联的关键字标签对应的元数据的数字资产。
29.根据权利要求15所述的计算机可读介质,所述操作还包括:
至少部分地基于与所述关键字标签对应的期望的搜索类别来确定所述知识图的每个节点和每个边缘的期望属性;
将所述知识图的每个节点和每个边缘的所述期望属性预加载到存储器中;以及
从所述存储器卸载未使用的属性。
30.一种计算设备,包括:
一个或多个存储器;和
一个或多个处理器,所述一个或多个处理器与所述一个或多个存储器通信并被配置为执行存储在所述一个或多个存储器中的指令以:
维护包含多个节点的知识图,所述多个节点表示数字资产与资产类别之间的关联,所述数字资产存储在所述计算设备的数字资产集合中,所述资产类别中的每个资产类别与多个关键字标签中的相应关键字标签对应,所述多个关键字标签描述与所述资产类别的数字资产相关联的特征;
访问所述知识图,以至少部分地基于由所述计算设备识别的动作来检索所述多个关键字标签;
至少部分地基于与所述知识图的所述多个节点中的特定节点相关联的特定数字资产,为所述多个关键字标签中的每一个关键字标签选择所述数字资产集合的所述特定数字资产;
准备显示包括用户界面元素的用户界面,所述用户界面元素的每个用户界面元素包括所述多个关键字标签中的关键字标签和表示对应的数字资产的对应多媒体图标;
接收对所述用户界面元素中的至少一个用户界面元素的选择,所述选择至少部分地基于用于所述选择的对应关键字标签来指示期望的搜索类别;以及
过滤所述数字资产集合的所述数字资产,以排除与所述期望的搜索类别无关的某些数字资产,从而创建修改的数字资产集合。
31.根据权利要求30所述的计算设备,其中所述一个或多个处理器还被配置为执行所述指令以:
发起对所述计算设备的所述修改的数字资产集合的搜索以搜索具有与用于所述选择的所述对应关键字标签对应的元数据的数字资产;以及
准备显示第二用户界面,所述第二用户界面包括与所述修改的数字资产集合对应的第二用户界面元素,所述第二用户界面元素中的每个第二用户界面元素包括至少部分地基于所述期望的搜索类别的第二关键字标签和第二对应的多媒体图标。
32.根据权利要求30所述的计算设备,其中所述动作包括以下中的至少一者:
改变所述数字资产集合中的所述数字资产;
改变所述数字资产集合中的面部,其中所述面部表示人物图像与人物身份之间的链接;
添加或删除所述知识图的所述多个节点中的已选节点;
将所述数字资产集合同步到云存储应用程序;或者
改变第一数字资产与第二数字资产之间的关系。
33.根据权利要求30所述的计算设备,其中所述一个或多个处理器还被配置为执行所述指令以:
至少部分地基于所述期望的搜索类别的第一元数据集与所述资产类别的数字资产的第二元数据集之间的相关性来导出至少一个建议的搜索术语;
准备显示与所述至少一个建议的搜索术语相关联的第二关键字标签;以及
进一步过滤所述数字资产集合中的所述数字资产,以排除与所述至少一个建议的搜索术语无关的某些数字资产,从而创建进一步修改的数字资产集合。
34.根据权利要求30所述的计算设备,其中所述一个或多个处理器还被配置为执行所述指令以:
针对由包括所述多媒体图标和所述关键字标签的项表示的每个资产集合计算所述多个关键字标签的优先级分数,其中所述优先级分数基于标准;以及
以对所述优先级分数排名的方式对所述项进行排序。
35.根据权利要求30所述的计算设备,其中所述一个或多个处理器还被配置为执行所述指令以生成多媒体图标,所述多媒体图标包括与所述关键字标签对应的所述数字资产集合中的代表性数字资产的描绘,其中所述数字资产包括所述数字资产集合中的视频,并且所述代表性数字资产的所述描绘包括所述视频的帧。
36.根据权利要求33所述的计算设备,其中所述至少一个建议的搜索术语包括集合图标,并且其中所述集合图标标识与所述数字资产集合中的所述建议的搜索术语相关联的数字资产的集合。
37.根据权利要求30所述的计算设备,其中所述一个或多个处理器还被配置为执行所述指令以:
自动完成输入到所述用户界面的区域中描绘的搜索字段中的搜索术语的一部分的文本条目,其中所述自动完成至少部分地基于存储在所述知识图中的元数据和考虑以下中的至少一者的加权标准:
与完成的搜索术语匹配的所述关键字标签的所述数字资产的数量;
用于多术语关键字标签的所述关键字标签中匹配的术语的位置,其中所述匹配的术语与所述完成的搜索术语匹配;
与所述完成的搜索术语对应的所述关键字标签的资产类别;
所述完成的搜索术语的所述关键字标签的位置,其中所述位置处于所选资产类别中的所述关键字标签的排名中;或者
用于所述完成的搜索术语的匹配的关键字标签的数量;
在所述用户界面上显示所述搜索字段中的所述完成的搜索术语。
38.根据权利要求37所述的计算设备,其中所述加权标准还考虑历史搜索的多个历史搜索术语的搜索历史,所述搜索历史存储在所述计算设备上。
39.根据权利要求37所述的计算设备,其中所述一个或多个处理器还被配置为执行所述指令以:
至少部分地基于与所述完成的搜索术语对应的第一元数据集和所述资产类别的数字资产的第二元数据集之间的相关性来导出至少一个建议的搜索术语;
准备显示与所述至少一个建议的搜索术语相关联的第二关键字标签;以及
进一步过滤所述数字资产集合中的所述数字资产,以排除与所述至少一个建议的搜索术语无关的某些数字资产,所述进一步过滤创建进一步修改的数字资产集合。
40.根据权利要求30所述的计算设备,其中所述一个或多个处理器还被配置为执行所述指令以:
将所述多个关键字标签中的所述关键字标签在所述计算设备的存储器中编入索引;
将多个词典术语存储在所述计算设备的所述存储器中;
通过将所述多个词典术语与所述编入 索引的关键字标签相关联来生成多个语义相似的术语,其中所述关联至少部分地与所述词典术语的含义相关;以及
将所述多个语义相似的术语存储在所述设备的所述存储器中的语义字词嵌入模型中。
41.根据权利要求40所述的计算设备,其中所述一个或多个处理器还被配置为执行所述指令以:
访问所述语义字词嵌入模型以检索所述多个语义相似的术语;以及
发起对所述计算设备的所述修改的数字资产集合的搜索以搜索具有与跟所述多个语义相似的术语相关联的关键字标签对应的元数据的数字资产。
42.根据权利要求30所述的计算设备,其中所述一个或多个处理器还被配置为执行所述指令以:
将所述多个关键字标签中的所述关键字标签在所述计算设备的存储器中编入索引;
将多个词典术语存储在所述计算设备的所述存储器中;
通过将所述多个词典术语与所述编入 索引的关键字标签相关联来生成多个语法同义词术语,其中所述关联至少部分地与所述编入 索引的关键字标签的语言排布相关;以及
将所述多个语法同义词术语存储在所述设备的所述存储器中的语法字词嵌入模型中。
43.根据权利要求42所述的计算设备,其中所述一个或多个处理器还被配置为执行所述指令以:
访问所述语法字词嵌入模型,以检索所述多个语法同义词术语;以及
发起对所述计算设备的所述修改的数字资产集合的搜索以搜索具有与跟所述语法同义词术语相关联的关键字标签对应的元数据的数字资产。
44.根据权利要求30所述的计算设备,其中所述一个或多个处理器还被配置为执行所述指令以:
至少部分地基于与所述关键字标签对应的期望的搜索类别来确定所述知识图的每个节点和每个边缘的期望属性;
将所述知识图的每个节点和每个边缘的所述期望属性预加载到存储器中;以及
从所述存储器卸载未使用的属性。
45.一种用于数字资产的系统,包括用于实现根据权利要求1至14中任一项所述的方法的装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862668153P | 2018-05-07 | 2018-05-07 | |
US62/668,153 | 2018-05-07 | ||
US16/147,233 | 2018-09-28 | ||
US16/147,233 US20190340255A1 (en) | 2018-05-07 | 2018-09-28 | Digital asset search techniques |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110457504A CN110457504A (zh) | 2019-11-15 |
CN110457504B true CN110457504B (zh) | 2022-12-20 |
Family
ID=68384994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910371242.4A Active CN110457504B (zh) | 2018-05-07 | 2019-05-06 | 数字资产搜索技术 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20190340255A1 (zh) |
CN (1) | CN110457504B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109918555B (zh) * | 2019-02-20 | 2021-10-15 | 百度在线网络技术(北京)有限公司 | 用于提供搜索建议的方法、装置、设备和介质 |
US11074407B2 (en) * | 2019-03-21 | 2021-07-27 | International Business Machines Corporation | Cognitive analysis and dictionary management |
US11036936B2 (en) * | 2019-03-21 | 2021-06-15 | International Business Machines Corporation | Cognitive analysis and content filtering |
JP7386889B2 (ja) * | 2019-04-30 | 2023-11-27 | ウォークミー リミテッド | Gui要素の複数の代替表記を使用したgui要素獲得 |
CN110941680B (zh) * | 2019-12-06 | 2024-02-20 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及存储介质 |
CN111522994B (zh) * | 2020-04-15 | 2023-08-01 | 北京百度网讯科技有限公司 | 用于生成信息的方法和装置 |
US11514336B2 (en) | 2020-05-06 | 2022-11-29 | Morgan Stanley Services Group Inc. | Automated knowledge base |
CN112199526B (zh) * | 2020-09-30 | 2023-03-14 | 抖音视界有限公司 | 一种多媒体内容发布的方法、装置、电子设备及存储介质 |
WO2022120244A1 (en) * | 2020-12-03 | 2022-06-09 | Novartis Ag | Collaboration platform for enabling collaboration on data analysis across multiple disparate databases |
US20220392219A1 (en) * | 2021-06-04 | 2022-12-08 | Apple Inc. | Learning Iconic Scenes and Places with Privacy |
CN113779417B (zh) * | 2021-11-12 | 2022-04-01 | 中国信息通信研究院 | 数字资产对象搜索方法、装置、电子设备和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101336424A (zh) * | 2006-01-31 | 2008-12-31 | 微软公司 | Xna关系管理 |
US20110087670A1 (en) * | 2008-08-05 | 2011-04-14 | Gregory Jorstad | Systems and methods for concept mapping |
CN104756110A (zh) * | 2012-10-24 | 2015-07-01 | 微软公司 | 关系数据库上的即时搜索 |
CN104981802A (zh) * | 2013-02-27 | 2015-10-14 | 日立数据系统有限公司 | 针对对象存储器索引系统的内容类别 |
US20160110723A1 (en) * | 2014-10-20 | 2016-04-21 | Tata Consultancy Services Limited | Issue extraction based on ticket mining |
CN106326211A (zh) * | 2016-08-17 | 2017-01-11 | 海信集团有限公司 | 交互语句的关键词间距离的确定方法和装置 |
US20170185670A1 (en) * | 2015-12-28 | 2017-06-29 | Google Inc. | Generating labels for images associated with a user |
US20170358051A1 (en) * | 2016-06-10 | 2017-12-14 | Apple Inc. | Providing variants of digital assets based on device-specific capabilities |
US20170359236A1 (en) * | 2016-06-12 | 2017-12-14 | Apple Inc. | Knowledge graph metadata network based on notable moments |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2165279A4 (en) * | 2007-06-01 | 2012-01-18 | Getty Images Inc | METHOD AND SYSTEM FOR SEARCHING FOR DIGITAL ASSETS |
WO2010064960A2 (ru) * | 2008-12-02 | 2010-06-10 | Lifshits Grigory Rafailovich | Биржевой программно-аппаратный комплекс |
US9703895B2 (en) * | 2010-06-11 | 2017-07-11 | Microsoft Technology Licensing, Llc | Organizing search results based upon clustered content |
US10467290B1 (en) * | 2015-12-29 | 2019-11-05 | Amazon Technologies, Inc. | Generating and refining a knowledge graph |
-
2018
- 2018-09-28 US US16/147,233 patent/US20190340255A1/en not_active Abandoned
-
2019
- 2019-05-06 CN CN201910371242.4A patent/CN110457504B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101336424A (zh) * | 2006-01-31 | 2008-12-31 | 微软公司 | Xna关系管理 |
US20110087670A1 (en) * | 2008-08-05 | 2011-04-14 | Gregory Jorstad | Systems and methods for concept mapping |
CN104756110A (zh) * | 2012-10-24 | 2015-07-01 | 微软公司 | 关系数据库上的即时搜索 |
CN104981802A (zh) * | 2013-02-27 | 2015-10-14 | 日立数据系统有限公司 | 针对对象存储器索引系统的内容类别 |
US20160110723A1 (en) * | 2014-10-20 | 2016-04-21 | Tata Consultancy Services Limited | Issue extraction based on ticket mining |
US20170185670A1 (en) * | 2015-12-28 | 2017-06-29 | Google Inc. | Generating labels for images associated with a user |
US20170358051A1 (en) * | 2016-06-10 | 2017-12-14 | Apple Inc. | Providing variants of digital assets based on device-specific capabilities |
US20170359236A1 (en) * | 2016-06-12 | 2017-12-14 | Apple Inc. | Knowledge graph metadata network based on notable moments |
CN106326211A (zh) * | 2016-08-17 | 2017-01-11 | 海信集团有限公司 | 交互语句的关键词间距离的确定方法和装置 |
Non-Patent Citations (1)
Title |
---|
基于领域本体的网络搜索模型;王艳文等;《计算机工程与科学》;20100215(第02期);第23-26页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110457504A (zh) | 2019-11-15 |
US20190340255A1 (en) | 2019-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110457504B (zh) | 数字资产搜索技术 | |
US11243996B2 (en) | Digital asset search user interface | |
US10423656B2 (en) | Tag suggestions for images on online social networks | |
US20230306052A1 (en) | Method and system for entity extraction and disambiguation | |
AU2010284506B2 (en) | Semantic trading floor | |
US8510287B1 (en) | Annotating personalized recommendations | |
US10803135B2 (en) | Techniques for disambiguating clustered occurrence identifiers | |
US20170097984A1 (en) | Method and system for generating a knowledge representation | |
US10032234B2 (en) | Ranking search results using diversity groups | |
US20140344265A1 (en) | Personalizing Default Search Queries on Online Social Networks | |
CA2913461C (en) | Tag suggestions for images on online social networks | |
US20150269231A1 (en) | Clustered search results | |
WO2014152989A2 (en) | Social entity previews in query formulation | |
US20190370282A1 (en) | Digital asset management techniques | |
US10534814B2 (en) | Generating snippets on online social networks | |
CN105874452B (zh) | 从社交摘要中标记兴趣点 | |
US11558324B2 (en) | Method and system for dynamically generating a card | |
GENTILE | Using Flickr geotags to find similar tourism destinations | |
CN115438242A (zh) | 包容性节日 | |
JP2018101283A (ja) | Webページを構成する成分キーワードの評価プログラム | |
TW201447615A (zh) | 查詢建構中之社群實體預覽 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |