CN110275990B - Kv存储的键与值的生成方法及装置 - Google Patents

Kv存储的键与值的生成方法及装置 Download PDF

Info

Publication number
CN110275990B
CN110275990B CN201810207416.9A CN201810207416A CN110275990B CN 110275990 B CN110275990 B CN 110275990B CN 201810207416 A CN201810207416 A CN 201810207416A CN 110275990 B CN110275990 B CN 110275990B
Authority
CN
China
Prior art keywords
key
machine learning
neural network
layer
artificial neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810207416.9A
Other languages
English (en)
Other versions
CN110275990A (zh
Inventor
孙唐
沈飞
古进
谈笑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Starblaze Technology Co ltd
Original Assignee
Beijing Starblaze Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Starblaze Technology Co ltd filed Critical Beijing Starblaze Technology Co ltd
Priority to CN202110324464.8A priority Critical patent/CN112988750A/zh
Priority to CN202110324397.XA priority patent/CN112988749A/zh
Priority to CN201810207416.9A priority patent/CN110275990B/zh
Publication of CN110275990A publication Critical patent/CN110275990A/zh
Application granted granted Critical
Publication of CN110275990B publication Critical patent/CN110275990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种KV存储的键与值的生成方法及装置，涉及KV存储技术领域，解决了KV存储设备响应速度慢的技术问题。本申请的KV存储的键与值的生成方法的主要技术方案包括：根据原始数据生成结构化信息；将检索式提供给机器学习部件，根据机器学习部件处理检索式的输出生成键；其中所述检索式用于检索所述结构化信息；将根据所述检索式实施检索的检索结果作为值；以及将所述键与所述值记录在所述KV存储设备中。本申请主要用于KV存储设备。

Description

KV存储的键与值的生成方法及装置
技术领域
本申请涉及KV存储，具体地，涉及利用KV存储设备存储与AI有关的键与值。
背景技术
支持Key-Value(键-值，也简称为“KV”)存储模型的存储设备，提供基于键(Key)的读操作(Get(Key))与写(Put(Key,Value))。为执行写操作，主机向存储设备提供键(Key)与值(Value)，以将值写入存储设备，并将键作为所写入的值的索引。为执行读操作，主机向存储设备提供键，存储设备根据键找到值，并将值提供给主机。因而在KV存储系统中，键是用来访问值的索引，而值(Value)是被访问的数据。一般地，键与值的长度可以是定长或不定长。
发明内容
根据本申请的第一方面，提供了根据本申请第一方面的第一KV存储的键与值的生成方法，包括：根据原始数据生成结构化信息；将检索式提供给机器学习部件，根据机器学习部件处理检索式的输出生成键；其中所述检索式用于检索所述结构化信息；将根据所述检索式实施检索的检索结果作为值；以及将所述键与所述值记录在所述KV存储设备中。
根据本申请的第一方面的第一KV存储的键与值的生成方法，提供了根据本申请第一方面的第二KV存储的键与值的生成方法，对原始数据进行结构化处理的方法包括：对原始数据添加标签和/或提取原始数据的特征。
根据本申请的第一方面的第二KV存储的键与值的生成方法，提供了根据本申请第一方面的第三KV存储的键与值的生成方法，对原始数据添加的标签，指示原始数据的来源、格式、存储位置、所需的访问权限中的一种或多种。
根据本申请的第一方面的第一至第三KV存储的键与值的生成方法之一，提供了根据本申请第一方面的第四KV存储的键与值的生成方法，生成的结构化信息包括可检索的要素。
根据本申请的第一方面的第四KV存储的键与值的生成方法，提供了根据本申请第一方面的第五KV存储的键与值的生成方法，可检索的要素包括：视频或图片中所含有的物体、物体的特征、文件摘要中的关键字中的一种或多种。
根据本申请的第一方面的第一至第五KV存储的键与值的生成方法之一，提供了根据本申请第一方面的第六KV存储的键与值的生成方法，检索式中包括一个或多个检索要素。
根据本申请的第一方面的第一至第六KV存储的键与值的生成方法之一，提供了根据本申请第一方面的第七KV存储的键与值的生成方法，获取用户的检索行为，从用户的检索行为中获取用户所提供的检索式。
根据本申请的第一方面的第一至第七KV存储的键与值的生成方法之一，提供了根据本申请第一方面的第八KV存储的键与值的生成方法，检索式是实施检索过程中向搜索引擎或数据库提供的检索命令。
根据本申请的第一方面的第一至第八KV存储的键与值的生成方法之一，提供了根据本申请第一方面的第九KV存储的键与值的生成方法，机器学习部件包括由多层节点构成的人工神经网络，人工神经网络依次包括输入层、一个或多个内部层和输出层，人工神经网络的各层包括多个节点，输入层的各节点接收输入的检索式。
根据本申请的第一方面的第九KV存储的键与值的生成方法，提供了根据本申请第一方面的第十KV存储的键与值的生成方法，输入层的每个节点接收构成检索式的检索要素之一。
根据本申请的第一方面的第九或第十KV存储的键与值的生成方法，提供了根据本申请第一方面的第十一KV存储的键与值的生成方法，输出层的各个节点的值指示机器学习部件的输出。
根据本申请的第一方面的第十一KV存储的键与值的生成方法，提供了根据本申请第一方面的第十二KV存储的键与值的生成方法，机器学习部件的输出为对输入的检索式的打分。
根据本申请的第一方面的第九至第十二KV存储的键与值的生成方法之一，提供了根据本申请第一方面的第十三KV存储的键与值的生成方法，对人工神经网络的各层的节点值分别连接，得到同人工神经网络的各层对应的序列。
根据本申请的第一方面的第十三KV存储的键与值的生成方法，提供了根据本申请第一方面的第十四KV存储的键与值的生成方法，对同各层对应的序列分别进行哈希计算，得到同各层对应的哈希值。
根据本申请的第一方面的第十四KV存储的键与值的生成方法，提供了根据本申请第一方面的第十五KV存储的键与值的生成方法，各层对应的哈希值具有相同的长度。
根据本申请的第一方面的第十四或第十五KV存储的键与值的生成方法，提供了根据本申请第一方面的第十六KV存储的键与值的生成方法，连接同人工神经网络的一层或多层对应的哈希值，作为提供给KV存储设备的键。
根据本申请的第一方面的第十四或第十五KV存储的键与值的生成方法，提供了根据本申请第一方面的第十七KV存储的键与值的生成方法，对同人工神经网络的一层或多层对应的哈希值的连接结果再进行哈希计算，将得到的结果作为提供给KV存储设备的键。
根据本申请的第一方面的第十四或第十五KV存储的键与值的生成方法，提供了根据本申请第一方面的第十八KV存储的键与值的生成方法，根据人工神经网络的一层或多层节点的值生成提供给KV存储设备的键。
根据本申请的第一方面的第一至第十八KV存储的键与值的生成方法之一，提供了根据本申请第一方面的第十九KV存储的键与值的生成方法，机器学习部件根据被输入的检索式，产生对检索式的打分作为输出。
根据本申请的第一方面的第十九KV存储的键与值的生成方法，提供了根据本申请第一方面的第二十KV存储的键与值的生成方法，根据检索式的优劣的评价所述打分的准确性。
根据本申请的第一方面的第二十KV存储的键与值的生成方法，提供了根据本申请第一方面的第二十一KV存储的键与值的生成方法，所述机器学习部件被训练为通过输出的打分评价被输入的检索式的优劣。
根据本申请的第一方面的第二十一KV存储的键与值的生成方法，提供了根据本申请第一方面的第二十二KV存储的键与值的生成方法，所述机器学习部件被训练为对具有相似检索结果的检索式产生相似的打分。
根据本申请的第一方面的第二十二KV存储的键与值的生成方法，提供了根据本申请第一方面的第二十三KV存储的键与值的生成方法，根据实施检索的检索结果作为对机器学习部件输出的检索式的打分的评价，使得对相似的检索结果的检索式机器学习部件输出相似的打分。
根据本申请的第一方面的第一至第二十三KV存储的键与值的生成方法之一，提供了根据本申请第一方面的第二十四KV存储的键与值的生成方法，根据用户实施检索后的后续行为作为对机器学习部件输出的检索式的打分的评价，并将评价提供给机器学习部件。
根据本申请的第一方面的第二十四KV存储的键与值的生成方法，提供了根据本申请第一方面的第二十五KV存储的键与值的生成方法，用户点击了数据库或搜索引擎提供的一个或多个检索结果，意味着检索式较优。
根据本申请的第一方面的第二十四KV存储的键与值的生成方法，提供了根据本申请第一方面的第二十六KV存储的键与值的生成方法，用户忽视了数据库或搜索引擎提供的所有或大部分检索结果，意味着检索式较劣。
根据本申请的第一方面的第一至第二十六KV存储的键与值的生成方法之一，提供了根据本申请第一方面的第二十七KV存储的键与值的生成方法，机器学习部件根据评价更新其内部节点的权值，以逐步产生能更准确评价检索式优劣的打分。
根据本申请的第一方面的第一至第二十七KV存储的键与值的生成方法之一，提供了根据本申请第一方面的第二十八KV存储的键与值的生成方法，对实施检索的检索结果分类，用对应于类别的值与打分的差作为对机器学习部件输出的检索式的打分的评价。
根据本申请的第一方面的第一至第二十八KV存储的键与值的生成方法之一，提供了根据本申请第一方面的第二十九KV存储的键与值的生成方法，KV存储设备响应于收到对键的查询请求，输出同键对应的值作为对查询请求的响应。
根据本申请的第二方面，提供了根据本申请第二方面的第一KV存储的键与值的生成系统，包括：结构化处理模块，用于根据原始数据生成结构化信息；键生成模块，用于将检索式提供给机器学习部件，根据机器学习部件处理检索式的输出生成键；其中所述检索式用于检索所述结构化信息；值生成模块，用于将根据所述检索式实施检索的检索结果作为值；以及存储模块，用于将所述键与所述值记录在所述KV存储设备中。
根据本申请的第三方面，提供了用于根据本申请第三方面的第一通过KV存储设备响应检索请求的方法，包括：将检索式中的检索要素提供给机器学习部件；机器学习部件将生成的节点值提供给键生成部件；键生成部件生成键，并将生成的键提供给KV存储设备，从KV存储设备读取同键对应的值。
根据本申请的第三方面的第一通过KV存储设备响应检索请求的方法，提供了根据本申请第三方面的第二通过KV存储设备响应检索请求的方法，键为第一方面的第十六至第十八任一项所述的键。
根据本申请的第三方面的第一或第二通过KV存储设备响应检索请求的方法，提供了根据本申请第三方面的第三通过KV存储设备响应检索请求的方法，值中记录了同键对应的结构化信息。
根据本申请的第三方面的第三通过KV存储设备响应检索请求的方法，提供了根据本申请第三方面的第四通过KV存储设备响应检索请求的方法，结构化信息中包括生成结构化信息的原始数据的存储位置。
根据本申请的第三方面的第一至第四通过KV存储设备响应检索请求的方法之一，提供了根据本申请第三方面的第五通过KV存储设备响应检索请求的方法，用从KV存储设备获取的同键对应的结构化信息作为对检索的响应。
根据本申请的第三方面的第一至第五通过KV存储设备响应检索请求的方法之一，提供了根据本申请第三方面的第六通过KV存储设备响应检索请求的方法，向用户展示结构化信息作为检索的结果。
根据本申请的第三方面的第一至第六通过KV存储设备响应检索请求的方法之一，提供了根据本申请第三方面的第七通过KV存储设备响应检索请求的方法，结构化信息中包括根据用户搜索的特征所命中的图像或视频的缩略图。
根据本申请的第三方面的第一至第七通过KV存储设备响应检索请求的方法之一，提供了根据本申请第三方面的第八通过KV存储设备响应检索请求的方法，向用户展示缩略图，以便于用户识别所需的搜索目标。
根据本申请的第三方面的第一至第八通过KV存储设备响应检索请求的方法之一，提供了根据本申请第三方面的第九通过KV存储设备响应检索请求的方法，响应于用户对搜索目标的进一步选择，从结构化信息中获取同搜索目标对应的原始数据存储位置，并获取原始数据以提供给用户。
根据本申请的第三方面的第一至第九通过KV存储设备响应检索请求的方法之一，提供了根据本申请第三方面的第十通过KV存储设备响应检索请求的方法，根据结构化信息中记录的原始数据存储位置，在用户进一步选择之前而提前加载原始数据。
根据本申请的第四方面，提供一种包括程序代码的程序，当被载入存储设备并在存储设备上执行时，所述程序代码使所述存储设备执行根据本申请第一方面、第三方面的方法之一。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的框图；
图2是根据本申请实施例的机器学习部件的示意图；
图3是根据本申请实施例通过KV存储设备响应检索请求的示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
图1是根据本申请实施例的框图。
原始数据是例如视频、图片、文本文件等非结构化数据。
对原始数据进行结构化处理。例如，对原始数据添加标签，以指示原始数据的来源、格式、存储位置、所需的访问权限等结构化信息；对原始数据的内容进行分析，例如从视频或图片中提取、缩略图、摘要，提取诸如人像、汽车等物体，提取人面部特征、身高、性别、年龄等特征，提取汽车品牌、车牌照等特征。与原始数据关联的标签、特征等都作为结构化处理生成的结构化信息。结构化信息是便于检索的，通过现有技术的数据库或搜索引擎技术，或者现有或将来出现的其他搜索技术对结构化信息进行检索。
结构化处理模块110生成的结构化信息包括多种可检索的要素(例如，视频或图片中所含有的物体，物体的特征，文件摘要中的关键字等)。用户可检索这些要素。例如，用户检索包含人物的图片或视频，并进一步指定作为检索目标的人物的面部特征、身高、性别等特征。根据本申请的实施例，检索式生成模块120根据结构化处理模块110提供的可检索要素及其组合生成多种可能的检索式。检索式中包括了被检索的一个或多个检索要素。
可选地，或进一步地，检索式生成模块120还获取用户的检索行为，从用户的检索行为中获取用户所描述的检索式。
检索式生成模块120使用生成的检索式实施检索。例如通过向搜索引擎、数据库提供检索式来实施检索。搜索引擎或数据库130根据检索式产生检索结果。可选地，一些搜索引擎/数据库130支持模糊检索、语义检索、图像检索等检索方式。检索式生成模块120也使用这些检索方式实施检索，并将实施检索过程中向搜索引擎/数据库130提供的检索命令也称为检索式。
检索式生成模块120将实施检索的检索式也提供给机器学习部件140。机器学习部件140是例如现有技术的机器学习部件或将来出现的机器学习部件。
机器学习部件140以检索式生成模块120提供的检索式作为输入。可选地，将检索式的各个检索要素分别提供给机器学习部件140的各个输入节点。机器学习部件140根据被输入的检索式，产生对检索式的打分作为输出。可选地，打分作为对检索式优劣的评价。例如，相对高的打分，意味着检索式有较好的检索效果，而相对低的打分，意味着检索式有较坏的检索效果从而不被建议使用。较好的检索效果，例如，从检索结果中能迅速有效的获得检索目标，检索结果中的无关内容较少；反之，则意味着较坏的检索效果。
可选地，机器学习部件140被训练为对具有相似检索结果的检索式产生相似的打分。例如，根据实施检索的检索结果作为对机器学习部件140输出的检索式的打分的评价，使得对相似的检索结果的检索式，机器学习部件140输出相似的打分。
在机器学习部件140的学习过程中，以检索式作为输入，根据输入产生打分，以打分评价模块150提供的评价作为对所产生的打分的反馈。机器学习部件140根据评价更新其内部节点的权值，以逐步产生能更准确评价检索式优劣的打分。
被输入给机器学习部件140的检索式，也被提供给搜索引擎/数据库130。搜索引擎或数据库130根据检索式产生检索结果。打分评价模块150根据搜索引擎或数据库130产生的检索结果对机器学习部件140产生的打分进行评价，并将评价提供给机器学习部件140。可选地，通过人工标注获得对检索式的评价，或者根据用户使用搜索引擎或数据库130实施检索后的后续行为作为对机器学习部件140输出的检索式的打分的评价，并将评价提供给机器学习部件140(例如，用户点击了一个或多个检索结果，意味着检索式具有较好的检索效果，而用户忽视了搜索引擎或数据库130提供的所有或大部分检索结果，意味着检索式具有较差的检索效果)。
在另一种实施方式中，打分评价模块150还对搜索引擎或数据库130实施检索的检索结果分类，不同的分类对应于不同的值，用对应于类别的值与机器学习部件140打分的差作为对机器学习部件140输出的检索式的打分的评价，并将评价提供给机器学习部件140。
对于经历了学习过程的机器学习部件140，对于输入的检索式(记为s)，机器学习部件140的内部节点的计算结果被提供给键生成(K生成)模块160。K生成模块160根据机器学习部件140提供的各节点的计算结果生成用于KV存储设备的键(K)。键(K)对应于检索式(s)。
搜索引擎/数据库130处理检索式(s)得到的结果被提供给值生成(V生成)模块170。V生成模块170根据搜索引擎/数据库130提供的结果生成用于KV存储设备的值(V)。值(V)也对应于检索式(s)。
将对应于相同检索式(s)的键(K)与值(V)提供给KV存储设备，在KV存储设备中记录键(K)与值(V)。
图2是根据本申请实施例的机器学习部件的示意图。
机器学习部件140包括例如由多层节点构成的人工神经网络。图2展示的人工神经网络包括4层(例如L0层、L1层、L2层与L3层)，L0层是输入层，L3层是输出层，L1层与L2层是内部层。各层包括多个节点。作为举例，L0层包括节点C1、C2……C5，L1层包括节点0、节点1、节点2与节点3，L2层包括节点4、节点5、节点6与节点7，输出层L3包括节点8与节点9。
输入层L0的各节点接收输入的检索式。例如，每个节点接收构成检索式的检索要素之一。
输出层L3的各节点的值指示机器学习部件140的输出(对输入的检索式的打分)。
内部层的各个节点代表了对同其耦合的节点计算得到的值(记为Nn，其中n指示节点在图2中的序号)。作为举例：
N0＝C1*F0(C1)+C2*F0(C2)+C3*F0(C3)+C4*F0(C4)+C5*F0(C5)
N1＝C1*F1(C1)+C2*F1(C2)+C3*F1(C3)+C4*F1(C4)+C5*F1(C5)，其中
C1～C5指示节点C1～C5各自接收的输入(被量化为值)，F0()指示同节点0关联的函数，F1()指示同节点1关联的函数。对于人工神经网络中的其他节点，以类似的方式得到节点对应的值。
从而响应于指定的输入(例如，检索式s)，节点0到节点9将生成各自的值(分别记为N0～N9)。
可选地，现有技术的神经网络的各节点根据多种已知的函数来得到节点的值。
记(N0,N1,N2,N3)为对节点值N0、N1、N2与N3的连接。例如，若节点值N0～N3分别为数字0、1、2与3，则(N0,N1,N2,N3)为数字序列“0123”。根据本申请的实施例，对人工神经网络的各层的节点值分别连接，得到同人工神经网络的各层对应的序列。例如，L1层对应的序列为(N0,N1,N2,N3)，L2层对应的序列为(N4,N5,N6,N7)，而L3层对应的序列为(N8,N9)。
对同各层对应的序列分别进行哈希计算，得到同各层对应的哈希值。例如，同L1层对应的哈希值为Hash((N0,N1,N2,N3))，同L2层对应的哈希值为Hash((N4,N5,N6,N7))，同L3层对应的哈希值为Hash((N8,N9))。可选地，各层对应的哈希值具有相同的长度。
连接同人工神经网络的一层或多层对应的哈希值，作为提供给KV存储设备的键(K)。例如，连接人工神经网络的L2-L4层对应的哈希值，得到(Hash((N0,N1,N2,N3)),Hash((N4,N5,N6,N7)),Hash((N8,N9)))作为提供给KV存储设备的键(K)。可选地，对同人工神经网络的一层或多层对应的哈希值的连接结果(例如，(Hash((N0,N1,N2,N3)),Hash((N4,N5,N6,N7)),Hash((N8,N9))))再进行哈希计算，将得到的结果作为提供给KV存储设备的键(K)，使得键(K)的长度被缩短或具有指定长度。
也参看图1，K生成模块160根据人工神经网络的一层或多层节点的值生成提供给KV存储设备的键(K)。
返回参看图1，在KV存储设备中记录了同检索式(s)对应的成对的键(K)与值(V)。以及KV存储设备响应于收到对键(K)的查询请求，输出同键(K)对应的值(V)作为对查询请求的响应。
实施例二
图3是根据本申请实施例通过KV存储设备响应检索请求的示意图。
用户提供用于搜索数据库或搜索引擎的检索式，检索式包括一个或多个检索要素。可选地，分析检索式，从检索式中提取检索要素。
将检索要素提供给机器学习部件140。也参看例如图2，将各个检索要素分别提供给机器学习部件140的人工神经网络的各输入节点。机器学习部件140的人工神经网络的各个节点响应于输入的检索要素生成各自的节点值。节点值被提供给K生成模块160。根据结合图1与图2描述的K生成模块160生成键(K)的方式，图3的K生成模块160根据被提供的节点值生成键(K)。
所生成的键(K)被提供给KV存储设备，用于从KV存储设备读取同键(K)对应的值(V)。值(V)中记录了同键(K)对应的结构化信息。结构化信息中还包括生成结构化信息的原始数据的存储位置。用从KV存储设备获取的同键(K)对应的结构化信息作为对搜索的响应。可选地，向用户展示结构化信息作为搜索的结果。作为举例，结构化信息中包括根据用户搜索的特征所命中的图像或视频的缩略图。向用户展示这些缩略图，以便于用户识别所需的搜索目标。响应于用户对搜索目标的进一步选择，从结构化信息中获取同搜索目标对应的原始数据存储位置，并获取原始数据以提供给用户。
可选地，还根据结构化信息中记录的原始数据存储位置，在用户进一步选择之前而提前加载原始数据。从而加快对用户进一步选择搜索目标的响应速度。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (7)

1.一种KV存储的键与值的生成方法，其特征在于，包括：
根据原始数据生成结构化信息；
将检索式提供给机器学习部件，根据机器学习部件处理检索式的输出生成键；其中所述检索式用于检索所述结构化信息；
将根据所述检索式实施检索的检索结果作为值；以及
将所述键与所述值记录在KV存储设备中；
其中，机器学习部件包括由多层节点构成的人工神经网络，人工神经网络依次包括输入层、一个或多个内部层、输出层，人工神经网络的各层包括多个节点，输入层的各节点接收输入的检索式；输出层的各个节点的值指示机器学习部件的输出；
对人工神经网络的各层的节点值分别连接，得到同人工神经网络的各层对应的序列；
对同各层对应的序列分别进行哈希计算，得到同各层对应的哈希值；
连接同人工神经网络的一层或多层对应的哈希值，作为提供给KV存储设备的键。
2.如权利要求1所述的方法，其特征在于，机器学习部件根据被输入的检索式，产生对检索式的打分作为输出。
3.如权利要求2所述的方法，其特征在于，根据检索式的优劣评价所述打分的准确性。
4.如权利要求3所述的方法，其特征在于，所述机器学习部件被训练为对具有相似检索结果的检索式产生相似的打分。
5.如权利要求1、3-4中任一项所述的方法，其特征在于，根据用户实施检索后的后续行为作为对机器学习部件输出的检索式的打分的评价，并将评价提供给机器学习部件。
6.一种KV存储的键与值的生成系统，其特征在于，包括：
结构化处理模块，用于根据原始数据生成结构化信息；
键生成模块，用于将检索式提供给机器学习部件，根据机器学习部件处理检索式的输出生成键；其中所述检索式用于检索所述结构化信息；
值生成模块，用于将根据所述检索式实施检索的检索结果作为值；以及
存储模块，用于将所述键与所述值记录在KV存储设备中；
其中，机器学习部件包括由多层节点构成的人工神经网络，人工神经网络依次包括输入层、一个或多个内部层、输出层，人工神经网络的各层包括多个节点，输入层的各节点接收输入的检索式；输出层的各个节点的值指示机器学习部件的输出；对人工神经网络的各层的节点值分别连接，得到同人工神经网络的各层对应的序列；对同各层对应的序列分别进行哈希计算，得到同各层对应的哈希值；连接同人工神经网络的一层或多层对应的哈希值，作为提供给KV存储设备的键。
7.一种通过KV存储设备响应检索请求的方法，其特征在于，包括：
将检索式中的检索要素提供给机器学习部件；
机器学习部件将生成的节点值提供给键生成部件；
键生成部件生成键，并将生成的键提供给KV存储设备，从KV存储设备读取同键对应的值；
其中，机器学习部件包括由多层节点构成的人工神经网络，人工神经网络依次包括输入层、一个或多个内部层、输出层，人工神经网络的各层包括多个节点，输入层的各节点接收输入的检索式；输出层的各个节点的值指示机器学习部件的输出；
对人工神经网络的各层的节点值分别连接，得到同人工神经网络的各层对应的序列；
对同各层对应的序列分别进行哈希计算，得到同各层对应的哈希值；
连接同人工神经网络的一层或多层对应的哈希值，作为提供给KV存储设备的键；所述值中记录了同键对应的结构化信息。
CN201810207416.9A 2018-03-14 2018-03-14 Kv存储的键与值的生成方法及装置 Active CN110275990B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110324464.8A CN112988750A (zh) 2018-03-14 2018-03-14 基于结构化信息的kv存储的键与值的生成方法及装置
CN202110324397.XA CN112988749A (zh) 2018-03-14 2018-03-14 通过kv存储设备响应检索请求的方法及装置
CN201810207416.9A CN110275990B (zh) 2018-03-14 2018-03-14 Kv存储的键与值的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810207416.9A CN110275990B (zh) 2018-03-14 2018-03-14 Kv存储的键与值的生成方法及装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202110324464.8A Division CN112988750A (zh) 2018-03-14 2018-03-14 基于结构化信息的kv存储的键与值的生成方法及装置
CN202110324397.XA Division CN112988749A (zh) 2018-03-14 2018-03-14 通过kv存储设备响应检索请求的方法及装置

Publications (2)

Publication Number Publication Date
CN110275990A CN110275990A (zh) 2019-09-24
CN110275990B true CN110275990B (zh) 2021-04-23

Family

ID=67958273

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110324464.8A Pending CN112988750A (zh) 2018-03-14 2018-03-14 基于结构化信息的kv存储的键与值的生成方法及装置
CN202110324397.XA Pending CN112988749A (zh) 2018-03-14 2018-03-14 通过kv存储设备响应检索请求的方法及装置
CN201810207416.9A Active CN110275990B (zh) 2018-03-14 2018-03-14 Kv存储的键与值的生成方法及装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202110324464.8A Pending CN112988750A (zh) 2018-03-14 2018-03-14 基于结构化信息的kv存储的键与值的生成方法及装置
CN202110324397.XA Pending CN112988749A (zh) 2018-03-14 2018-03-14 通过kv存储设备响应检索请求的方法及装置

Country Status (1)

Country Link
CN (3) CN112988750A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988750A (zh) * 2018-03-14 2021-06-18 北京忆芯科技有限公司 基于结构化信息的kv存储的键与值的生成方法及装置
JP7451157B2 (ja) 2019-12-06 2024-03-18 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310617A (ja) * 2006-05-18 2007-11-29 Nec Corp 構造化文書処理システム、構造化文書処理方法およびプログラム
JP2008003721A (ja) * 2006-06-20 2008-01-10 Canon Software Inc 情報検索システムおよび情報検索方法およびプログラムおよび記録媒体
JP5050599B2 (ja) * 2007-03-23 2012-10-17 トヨタ自動車株式会社 情報検索システム、情報検索装置、情報検索方法、及びそのプログラム。
CN101727465B (zh) * 2008-11-03 2011-12-21 中国移动通信集团公司 分布式列存储数据库索引建立、查询方法及装置与系统
JP5552448B2 (ja) * 2011-01-28 2014-07-16 株式会社日立製作所 検索式生成装置、検索システム、検索式生成方法
JP5466191B2 (ja) * 2011-02-18 2014-04-09 日本電信電話株式会社 アクセス制御システム、サーバ管理装置、データ蓄積装置、アクセス制御方法、サーバ管理プログラム、及びデータ蓄積プログラム
JP5762878B2 (ja) * 2011-08-08 2015-08-12 株式会社東芝 ｋｅｙ−ｖａｌｕｅストアを有するメモリシステム
CN103902632B (zh) * 2012-12-31 2018-01-02 华为技术有限公司 键值存储系统中构建文件系统的方法、装置及电子设备
CN104112020A (zh) * 2014-07-25 2014-10-22 沈阳美行科技有限公司 一种导航设备的一框式检索方法
CN106469198B (zh) * 2016-08-31 2019-10-15 华为技术有限公司 键值存储方法、装置及系统
CN106446122B (zh) * 2016-09-19 2020-03-10 华为技术有限公司 信息检索的方法、装置与计算设备
CN107066498B (zh) * 2016-12-30 2020-04-14 成都华为技术有限公司 键值kv存储方法和装置
CN106970936B (zh) * 2017-02-09 2020-07-03 阿里巴巴集团控股有限公司 数据处理方法及装置、数据查询方法及装置
CN112988750A (zh) * 2018-03-14 2021-06-18 北京忆芯科技有限公司 基于结构化信息的kv存储的键与值的生成方法及装置

Also Published As

Publication number Publication date
CN110275990A (zh) 2019-09-24
CN112988749A (zh) 2021-06-18
CN112988750A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
RU2686590C1 (ru) Способ и устройство для сравнения схожих элементов высокоразмерных признаков изображений
CN108280114B (zh) 一种基于深度学习的用户文献阅读兴趣分析方法
US9710491B2 (en) Content-based image search
WO2021139191A1 (zh) 数据标注的方法以及数据标注的装置
WO2019169872A1 (zh) 搜索内容资源的方法、装置和服务器
US20110103699A1 (en) Image metadata propagation
MX2013005056A (es) Enfoque multimodal para entrada de busqueda de consulta.
CN108319723A (zh) 一种图片分享方法和装置、终端、存储介质
JP7451747B2 (ja) コンテンツを検索する方法、装置、機器及びコンピュータ読み取り可能な記憶媒体
US20130013591A1 (en) Image re-rank based on image annotations
CN113704623B (zh) 一种数据推荐方法、装置、设备及存储介质
CN116975615A (zh) 基于视频多模态信息的任务预测方法和装置
CN110275990B (zh) Kv存储的键与值的生成方法及装置
WO2020071216A1 (ja) 画像検索装置、画像検索方法及び画像検索用プログラム
CN116034401A (zh) 用于使用自然语言描述检索视频的系统和方法
CN114491079A (zh) 知识图谱构建和查询方法、装置、设备和介质
Lu et al. Learning multimodal neural network with ranking examples
KR101592670B1 (ko) 인덱스를 이용하는 데이터 검색 장치 및 이를 이용하는 방법
JP4544047B2 (ja) Ｗｅｂ画像検索結果分類提示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
US20210056149A1 (en) Search system, search method, and program
WO2022241987A1 (zh) 图像检索方法及装置
CN114969253A (zh) 市场主体与政策的匹配方法、装置、计算设备及介质
CN111881352B (zh) 内容推送方法、装置、计算机设备和存储介质
Badghaiya et al. Image classification using tag and segmentation based retrieval
Bhairnallykar et al. Content based medical image retrieval with SVM classification and relevance feedback

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant