CN112347289A - 一种图像管理方法及终端 - Google Patents

一种图像管理方法及终端 Download PDF

Info

Publication number
CN112347289A
CN112347289A CN201910720819.8A CN201910720819A CN112347289A CN 112347289 A CN112347289 A CN 112347289A CN 201910720819 A CN201910720819 A CN 201910720819A CN 112347289 A CN112347289 A CN 112347289A
Authority
CN
China
Prior art keywords
image
processed
hierarchical data
index database
converting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910720819.8A
Other languages
English (en)
Inventor
王一尧
李靖阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Corp
TCL Research America Inc
Original Assignee
TCL Research America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Research America Inc filed Critical TCL Research America Inc
Priority to CN201910720819.8A priority Critical patent/CN112347289A/zh
Publication of CN112347289A publication Critical patent/CN112347289A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification

Abstract

本发明适用于计算机技术领域，提供了图像管理方法及终端，包括：获取待处理图像，将待处理图像转化为文本描述信息，再将文本描述信息转化为层级数据，最后建立层级数据到待处理图像的索引数据库，根据索引数据库，可以对待处理图像进行检索或分类。本方案通过分层的关键词来表示待处理图像，提高了图像辨识度，也提升了用户对图像检索的精确度，同时在用户未进行主动检索时，可以根据索引数据库和历史检索记录，将待处理图像智能分类，提高了图像分类管理的效率和智能化。

Description

一种图像管理方法及终端
技术领域
本发明属于计算机技术领域，尤其涉及一种图像管理方法及终端。
背景技术
随着智能手机的全面普及，用户对相册管理系统的要求也越来越高，尤其是希望系统能在海量的照片中快速检索出需要的图像。目前支持检索的相册管理系统仅提供比较低级的检索功能，检索的依据主要基于用户手工标注的信息，这种方式既需要用户自主编辑图像信息，同时也不能完全表示出图像信息，这样显然不能满足用户需求。
现有技术中基于文本的图像检索或者基于内容的图像检索，前者主要依赖于用户对图像的命名信息进行检索，但是用户经常只根据图像的局部信息或者某个主题来命名，丢失了图像中大量的信息，因此这种方法检索的精度较低，而且还增加了用户的时间成本；后者主要利用特征提取和高维索引技术进行图像检索，但是由于图像语义与日常语言之间鸿沟的存在，需要使用人们日常生活中积累的大量经验和知识来进行推理和判断图像语义，如一幅关于节日的图像所表达出的欢乐和喜庆的感觉等，即使另外一幅图像与其特征相似，也可能会表达完全相反的含义，这将导致用户通过语义或者词条检索到的图像与用户本意不符。这种图像管理方式使得在进行基于内容的图像检索时，图像检索结果与用户的检索信息不匹配，造成图像管理和检索效率较低的问题。
发明内容
本发明的目的在于，提供一种图像管理方法、终端及计算机存储介质，以解决现有技术中基于内容进行图像检索时，图像检索结果与用户的检索信息不匹配，造成图像管理和检索效率较低的问题。
为实现上述目的，本发明实施例第一方面提供了一种图像管理方法，具体包括如下步骤：
获取待处理图像；
将所述待处理图像转化为文本描述信息；
将所述文本描述信息转化为层级数据；
建立所述层级数据到所述待处理图像的索引数据库；
根据所述索引数据库，对待处理图像进行检索或分类。
其中，所述建立所述层级数据到所述待处理图像的索引数据库的步骤具体包括：
提取所述层级数据中不同层数据之间的链接关系，将所述层级数据以及所述层级数据中不同层数据之间的链接关系以倒排索引的方式保存，建立所述层级数据到所述待处理图像的索引数据库。
其中，将所述文本描述信息转化为所述待处理图像的层级数据的步骤具体包括：
对所述文本描述信息进行关键词提取或文本聚类，将所述文本描述信息转化为所述待处理图像的主题信息；
将所述主题信息转化为所述层级数据。
其中，将所述主题信息转化为所述待处理图像的层级数据的步骤具体包括：
通过命名实体识别、关系抽取和事件抽取，将所述主题信息结构化，得到所述层级数据。
其中，根据所述索引数据库，对待处理图像进行检索或分类的步骤还包括：
获取检索词；
根据所述索引数据库，对所述待处理图像进行相关性排序。
其中，根据所述索引数据库，对所述待处理图像进行相关性排序的步骤具体包括：
根据所述索引数据库中保存的所述层级数据，计算所述待处理图像与所述检索词的相似度；
根据所述索引数据库中保存的所述层级数据中不同层数据之间的链接关系，分析所述待处理图像的重要性；
综合所述待处理图像与所述检索词的相似度及所述待处理图像的重要性，对所述待处理图像进行相关性排序。
其中，所述根据所述索引数据库，对待处理图像进行检索或分类的步骤还包括：
获取历史检索记录；
根据所述索引数据库和所述历史检索记录，对所述待处理图像进行分类。
其中，根据所述索引数据库和历史检索记录，对所述待处理图像进行分类的步骤具体包括：
根据所述待处理图像的主题信息，将所述层级数据分类，转化成分类层级数据；
将所述历史检索记录与所述分类层级数据进行相似度匹配并排序；
根据排序结果和所述索引数据库，显示对应的分类图像集；
其中，所述历史检索记录是从预设的查询记录数据库中选取的最近一条检索意图记录。
其中，所述将所述待处理图像转化为所述待处理图像的文本描述信息的步骤具体包括：
提取所述待处理图像的图像特征；
将所述图像特征转化为所述文本描述信息。
本发明实施例第二方面提供了一种图像管理终端，所述图像管理终端包括：
图像理解模块，用于获取待处理图像，并将所述待处理图像转化为文本描述信息；
信息转化模块，用于将所述文本描述信息转化为层级数据；
数据索引模块，用于建立所述层级数据到所述待处理图像的索引数据库；
图像检索模块，用于获取检索词，并根据所述索引数据库，对所述待处理图像进行检索；
图像分类模块，用于根据所述索引数据库，对所述待处理图像进行分类。
本发明实施例第三方面提供了另一种图像管理终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现本发明第一方面提供的方法。
本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，处理器执行所述计算机程序时可以实现本发明第一方面提供的方法。
本发明实施例与现有技术相比存在的有益效果是：通过基于图像理解的方法得到图像的文本描述信息，再对文本描述信息进一步处理得到层级数据，在此基础上实现通过分层的关键词来表示待处理图像，提高了基于图像内容的图像辨识度，也提升了用户对图像检索的精确度，同时在用户未进行主动检索时，智能分类模块根据所述索引数据库和历史检索记录，将对所述待处理图像智能分类，提高了图像分类处理的效率和智能化。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例第一方面提供的图像管理方法的流程图；
图2是本发明实施例第二方面提供的图像管理终端的示意图；
图3是本发明实施例第二方面提供的图像理解模块处理数据的流程图；
图4是本发明实施例第二方面提供的信息转化模块处理数据的流程图；
图5是本发明实施例第二方面提供的图像检索模块处理数据的流程图；
图6是本发明实施例第二方面提供的图像分类模块处理数据的流程图；
图7是本发明实施例第三方面提供的图像管理终端的示意图。
具体实施方式
为了说明本发明所述的技术方案，下面将结合附图进行详细说明。
参见图1，图1是本发明实施例提供了一种图像管理方法的流程图可以包括以下步骤：
S101：获取待处理图像；
其中，本实施例中待处理图像用于表示待进行管理或者处理的图像，数量可以是一个，也可以是多个，当获取的待处理图像是两个或者多个时，则对这些待处理图像进行批量处理。
S102：将待处理图像转化为文本描述信息；
进一步的，步骤S102可以具体包括步骤S1021～S1022：
S1021：提取待处理图像的图像特征；
可选的，本实施例中的图像特征可以包括图像的颜色特征、纹理特征、形状特征和空间关系特征等，此处不做限定。提取所述待处理图像的图像特征可以利用根据历史图像进行训练得到的卷积神经网络。卷积神经网络包含卷积计算且具有深度结构的前馈神经网络，仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征。
卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑，在一些更为现代的算法中可能有开端模块、残差块等复杂构筑。在常见构筑中，卷积层和池化层为卷积神经网络特有。卷积层中的卷积核包含权重系数，而池化层不包含权重系数，因此在文献中，池化层可能不被认为是独立的层。以五层结构为例，3类常见构筑在隐含层中的顺序通常为：输入-卷积层-池化层-卷积层-池化层-全连接层-输出。
S1022：将图像特征转化为文本描述信息。
可选的，将所述图像特征转化为所述文本描述信息可以利用根据历史图像特征训练得到的长短期记忆网络。在训练长短期记忆网络时，为了最小化训练误差，可以通过应用时序性倒传递算法来依据错误修改每次的权重。当设置了训练长短期记忆网络区块时，误差也随着倒回计算，从数据输出影响回数据输入阶段的每一个关口，直到这个数值被过滤掉。因此正常的倒传递类神经是一个有效训练长短期记忆网络区块保留住长时间数值的方法。
其中，得到的文本描述信息包括表示待处理图像的文本数据。
更进一步的，还可以在步骤S1021和S1022之间加入适合的注意力机制，神经注意力机制可以使得神经网络具备专注于其输入子集的能力：选择特定的输入。注意力可以应用于任何类型的输入而不管其形状如何。在计算能力有限情况下，注意力机制是解决信息超载问题的主要手段的一种资源分配方案，将计算资源分配给更重要的任务。
可选的，硬性注意力有两种实现方式，一种是选取最高概率的输入信息。另一种硬性注意力可以通过在注意力分布式上随机采样的方式实现。硬性注意力的一个缺点是基于最大采样或随机采样的方式来选择信息。因此最终的损失函数与注意力分布之间的函数关系不可导，因此无法使用在反向传播算法进行训练。为了使用反向传播算法，一般使用软性注意力来代替硬性注意力。
S103：将所述文本描述信息转化为层级数据；
进一步的，步骤S103可以具体包括步骤S1031～S1032：
S1031：对文本描述信息进行关键词提取或文本聚类，将文本描述信息转化为待处理图像的主题信息；
可选的，本实施例中的将文本描述信息转化为待处理图像的主题信息可以采用关键词提取技术或文本聚类算法。
关键词的提取技术可以采用基于无监督学习的方法，如TFIDF、TextRank、左右信息熵等，其处理过程为：先对文本描述信息进行预处理，包括分句、分词和词性标注处理，并过滤掉停用词。然后构建候选关键词图G＝(V，E)，其中V为节点集。根据公式迭代传播各节点的权重，直至收敛。最后，对节点权重进行倒序排序，按照关键词的置信度的大小选取其中若干关键词，若形成相邻词组，则组合成多词关键词，以此作为待处理图像的主题信息。
其中，对文本描述信息进行预处理可以包括：将文本描述信息中的文本数据划分为单独的句子，并识别出这些句子中的词语，以及每个词语的词性。在确定了文本描述信息中的词语以及每个词语的词性之后，可以根据预设的停用词性，来删除掉停用词性对应的词语，本实施例中的停用词性用于表示预设的不参与计算的词语的词性。在识别出词语的词性之后，将介词、代词对应的词语删除，来减少关键词计算的工作量，提高计算效率。
文本聚类算法可以包括如下步骤：1)对文本进行中文分词，得到一个个有意义的词，因为在自然语言处理中认为词是表达语义的最小单位；2)文档特征表示，通过提取文档特征将文档用数学形式表达出来，常用的特征表示方式有词向量、TFIDF、文本卡方值等；3)模型训练：常用的文本聚类模型有LDA、K-Means等。经过文本聚类后，会产生标签集，以此作为主题信息。
S1032：将主题信息转化为层级数据。
具体的，本实施例中的步骤S102可以包括：通过命名实体识别、关系抽取和事件抽取，将主题信息结构化，得到层级数据。
其中，命名实体识别是指从文本中识别出命名性指称项，为关系抽取等任务做铺垫。在本实施例中可以指识别主题信息中具有特定意义的实体，如人名、地名、机构名、专有名词等。关系抽取和事件抽取事件是信息抽取技术的重要子任务。信息抽取旨在从非结构化信息中或半结构的自然语言文本中抽取结构化信息，也可以理解为抽取出用户感兴趣的信息，并以结构化呈现给用户。关系抽取主要目的是从文本中识别实体并抽取实体之间的语义关系。事件抽取任务可分解为4个子任务:触发词识别、事件类型分类、论元识别和角色分类任务。其中，触发词识别和事件类型分类可合并成事件识别任务。事件识别判断句子中的每个单词归属的事件类型，是一个基于单词的多分类任务。论元识别和角色分类可合并成论元角色分类任务。角色分类任务则是一个基于词对的多分类任务，判断句子中任意一对触发词和实体之间的角色关系。
可选的，本实施例中的层级数据可以包括第一层级数据和第二层级数据。
其中，第一层级数据为主题(照片反映的最主要信息，例如：风景、美食、合影等)、时间(照片拍摄的时间或者照片内容中的时间信息，例如“2018年10月8日上午10点22分”，“清晨”)、地点(照片拍摄的地理位置或者照片内容中的地理位置信息，例如：“中国北京市”，“埃菲尔铁塔”)、人物(照片中所涉及到的人物)、动物(照片中所涉及到的动物)、物体(照片中所涉及到的实物)、空间关系(实体之间的空间关系)等；
第二层级数据是第一层级数据的属性描述信息，对于人物的属性有名字、性别、衣着等，对于动物和物体有名称、颜色、状态等。
S104：建立层级数据到待处理图像的索引数据库；
具体的，步骤S104包括：提取所述层级数据中不同层数据之间的链接关系，将所述层级数据以及所述层级数据中不同层数据之间的链接关系以倒排索引的方式保存，建立所述层级数据到所述待处理图像的索引数据库。
可选的，在步骤S104之前还可以包括：去除层级数据中的重复数据。
其中，去除层级数据中的重复数据后，需要对层级数据进行解析，提取层级数据中处于不同层级的数据之间的链接关系，如继承关系等。为了加快响应用户查询的速度，层级数据通过倒排索引这种高效查询数据结构来保存，而不同层数据之间的链接关系也予以保存。之所以要保存这种链接关系，是因为这种关系在数据相关性排序阶段是可利用的，通过链接分析可以判断数据的相对重要性，为用户提供准确的搜索结果。
可选的，本实施例中可以根据不同的层级数据，在索引数据库中设定不同层级数据对应的图像集，每个图像集都用于存储和管理相同层级数据所对应的图像。在确定了待处理图像的层级数据之后，可以根据层级数据，在索引数据库中查询是否存在该层级数据所对应的目标图集。
进一步的，若索引数据库中存在目标图集，则说明当前的层级数据在索引数据库中存在与其对应的目标图集，则将待处理图像存储至目标图集中。若索引数据库中不存在目标图集，则说明当前的层级数据在索引数据库中不存在与其对应的目标图集，这种情况下根据层级数据新建一个目标图集，并将待处理图像存储至新建的目标图集中。
S105：根据索引数据库，对待处理图像进行检索或分类。
其中，步骤S105中对待处理图像进行检索的步骤可以包括：获取检索词，根据索引数据库，对待处理图像进行相关性排序。
进一步的，根据索引数据库，对待处理图像进行相关性排序的步骤可以包括：根据索引数据库中保存的层级数据，计算待处理图像与检索词的相似度；根据索引数据库中保存的层级数据中不同层数据之间的链接关系，分析待处理图像的重要性；综合待处理图像与检索词的相似度及待处理图像的重要性，对待处理图像进行相关性排序。
其中，在索引数据库建立完成，并将待处理图像存储至索引数据库中对应的图像集之后，可以随时获取用户输入的检索词。以通过检索词在索引数据库中查找与检索词条匹配的待处理图像，并计算检索词条与待处理图像之间的相关性，根据相关性的大小，对待处理图像进行排序。而图像排序中有两个重要参考因素，一是内容相似性因素，即哪些图片是和用户查询密切相关的:另外一个是图片重要性因素，即哪些图片是质量较好或者相对重要的，这点往往可以从索引数据库中的链接分析结果获得。结合以上两个考虑因素，就可以对图片进行排序，作为用户查询的搜索结果。
更进一步的，在获取到检索词后，可以先在缓存中査找，搜索引擎的缓存系统存储了不同的查询意图对应的搜索结果，如果能够在缓存系统找到满足用户需求的信息，则可以直接将搜索结果返回给用户，这样既省掉了重复计算对资源的消耗，又加快了响应速度。如果保存在缓存的信息无法满足用户需求，则调用图像排序功能，根据用户的查询实时计算哪些图像是满足用户信息需求的，并排序输出作为搜索结果。
步骤S105中对待处理图像进行分类的步骤可以包括：获取历史检索记录；根据所述索引数据库和所述历史检索记录，对所述待处理图像进行分类。
具体的，根据索引数据库和历史检索记录，对待处理图像进行分类，并显示分类结果的步骤可以包括：
根据待处理图像的主题信息，将所述层级数据分类，转化成分类层级数据；
将所述历史检索记录与所述分类层级数据进行相似度匹配并排序；
根据排序结果和所述索引数据库，显示对应的分类图像集；
其中，所述历史检索记录是从预设的查询记录数据库中选取的最近一条检索意图记录。
进一步的，本实施例可以用于根据用户的检索习惯定时为用户显示某一主题的图集。具体过程如下：首先该模块会将层级数据集按照主题信息进行分类，然后从用户的检索记录数据库取出用户最近一条检索意图记录，将该记录与主题信息进行相似度匹配并进行排序，选出相似度最高的主题信息，经过图片和层级数据的对应关系，为用户定时显示该主题的图集。
可选的，在文本相似度方面，仅以字面的距离来比较两个字符串的相似度，可以使用莱文斯坦距离、Jaro距离、汉明距离等；在语义相似度方面可以先采用基于神经网络语言模型将文本转化为词向量模型，然后基于词向量模型来计算相似度。
上述方案，通过基于图像理解的方法得到图像的文本描述信息，再对文本描述信息进一步处理得到层级数据，在此基础上实现通过分层的关键词来表示待处理图像，提高了基于图像内容的图像辨识度，进而也提升了用户对图像检索的精确度，同时在用户未进行主动检索时，智能分类模块结合所述索引数据库和用户的检索记录，将对所述待处理图像智能分类，将分类结果返回给用户，提高了图像分类处理的效率和智能化。
参见图2，图2是本发明实施例提供的一种图像管理终端的示意图。本实施例的图像管理终端200包括的各模块用于执行图1对应的实施例中的各步骤。本实施例的图像管理终端200包括：
图像理解模块201，用于获取待处理图像，并将待处理图像转化为文本描述信息；
信息转化模块202，用于将文本描述信息转化为层级数据；
数据索引模块203，用于建立层级数据到待处理图像的索引数据库；
图像检索模块204，用于获取检索词，并根据索引数据库，对待处理图像进行检索；
图像分类模块205，用于根据索引数据库，对待处理图像进行分类。
具体的，图像理解模块可以包括编码器Encoder和解码器Decoder，具体步骤为：将待处理图像输入预设的编码器，提取出待处理图像的图像特征，再将图像特征输入预设的解码器，得到待处理图像的文本描述信息。
进一步的，在获取到图像之后，提取图像的文本描述时，可以通过将图像通过编码器进行卷积特征提取，得到中间向量a1,a2,…,aL，再将中间向量通过解码器，通过Attention机制得到向量Z1,Z2,…,ZN，最后根据训练得到的长短时记忆网络对向量Z1,Z2,…,ZN进行卷积运算，得到图像的文本描述。
上述方案，通过基于图像理解的方法得到图像的文本描述信息，再对文本描述信息进一步处理得到层级数据，在此基础上实现通过分层的关键词来表示待处理图像，提高了基于图像内容的图像辨识度，进而也提升了用户对图像检索的精确度，同时在用户未进行主动检索时，智能分类模块结合所述索引数据库和用户的检索记录，将对所述待处理图像智能分类，将分类结果返回给用户，提高了图像分类处理的效率和智能化。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
参见图7，图7是本发明实施例提供的另一种图像管理终端的示意图。如图7所示的本实施例中的用于图像管理终端700可以包括：处理器701、存储器702以及存储在存储器702中并可在处理器701上运行的计算机程序703。处理器701执行计算机程序703时实现上述各个用于图像管理方法实施例中的步骤。存储器702用于存储计算机程序，所述计算机程序包括程序指令。处理器701用于执行存储器702存储的程序指令。其中，处理器701被配置用于调用所述程序指令执行以下操作：
处理器701用于：
获取待处理图像；
将待处理图像转化为文本描述信息；
将文本描述信息转化为层级数据；
建立层级数据到待处理图像的索引数据库；
根据索引数据库，对待处理图像进行检索或分类。
上述方案，通过基于图像理解的方法得到图像的文本描述信息，再对文本描述信息进一步处理得到层级数据，在此基础上实现通过分层的关键词来表示待处理图像，提高了基于图像内容的图像辨识度，进而也提升了用户对图像检索的精确度，同时在用户未进行主动检索时，智能分类模块结合所述索引数据库和用户的检索记录，将对所述待处理图像智能分类，将分类结果返回给用户，提高了图像分类处理的效率和智能化。
应当理解，在本发明实施例中，所称处理器701可以是中央处理模块(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器702可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。存储器702的一部分还可以包括非易失性随机存取存储器。例如，存储器702还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器701、存储器702、计算机程序703可执行本发明实施例提供的图像管理方法所描述的实现方式，也可执行本发明实施例提供的终端的实现方式，在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，处理器执行程序指令时可以实现：
获取待处理图像；
将所述待处理图像转化为文本描述信息；
将所述文本描述信息转化为层级数据；
建立所述层级数据到所述待处理图像的索引数据库；
根据所述索引数据库，对待处理图像进行检索或分类。
进一步的，处理器执行计算机程序时还可以实现：
提取所述层级数据中不同层数据之间的链接关系，将所述层级数据以及所述层级数据中不同层数据之间的链接关系以倒排索引的方式保存，建立所述层级数据到所述待处理图像的索引数据库。
进一步的，处理器执行计算机程序时还可以实现：
对所述文本描述信息进行关键词提取或文本聚类，将所述文本描述信息转化为所述待处理图像的主题信息；
将所述主题信息转化为所述层级数据。
进一步的，处理器执行计算机程序时还可以实现：
通过命名实体识别、关系抽取和事件抽取，将所述主题信息结构化，得到所述层级数据。
进一步的，处理器执行计算机程序时还可以实现：
获取检索词；
根据所述索引数据库，对所述待处理图像进行相关性排序。
进一步的，处理器执行计算机程序时还可以实现：
根据所述索引数据库中保存的所述层级数据，计算所述待处理图像与所述检索词的相似度；
根据所述索引数据库中保存的所述层级数据中不同层数据之间的链接关系，分析所述待处理图像的重要性；
综合所述待处理图像与所述检索词的相似度及所述待处理图像的重要性，对所述待处理图像进行相关性排序。
进一步的，处理器执行计算机程序时还可以实现：
获取历史检索记录；
根据所述索引数据库和所述历史检索记录，对所述待处理图像进行分类。
进一步的，处理器执行计算机程序时还可以实现：
根据所述待处理图像的主题信息，将所述层级数据分类，转化成分类层级数据；
将所述历史检索记录与所述分类层级数据进行相似度匹配并排序；
根据排序结果和所述索引数据库，显示对应的分类图像集；
其中，所述历史检索记录是从预设的查询记录数据库中选取的最近一条检索意图记录。
进一步的，处理器执行计算机程序时还可以实现：
提取所述待处理图像的图像特征；
将所述图像特征转化为所述文本描述信息。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种图像管理方法，其特征在于，包括如下步骤：
获取待处理图像；
将所述待处理图像转化为文本描述信息；
将所述文本描述信息转化为层级数据；
建立所述层级数据到所述待处理图像的索引数据库；
根据所述索引数据库，对待处理图像进行检索或分类。
2.如权利要求1所述的图像管理方法，其特征在于，所述建立所述层级数据到所述待处理图像的索引数据库的步骤具体包括：
提取所述层级数据中不同层数据之间的链接关系，将所述层级数据以及所述层级数据中不同层数据之间的链接关系以倒排索引的方式保存，建立所述层级数据到所述待处理图像的索引数据库。
3.如权利要求1所述的图像管理方法，其特征在于，所述将所述文本描述信息转化为所述待处理图像的层级数据的步骤具体包括：
对所述文本描述信息进行关键词提取或文本聚类，将所述文本描述信息转化为所述待处理图像的主题信息；
将所述主题信息转化为所述层级数据。
4.如权利要求3所述的图像管理方法，其特征在于，所述将所述主题信息转化为所述待处理图像的层级数据的步骤具体包括：
通过命名实体识别、关系抽取和事件抽取，将所述主题信息结构化，得到所述层级数据。
5.如权利要求2所述的图像管理方法，其特征在于，根据所述索引数据库，对待处理图像进行检索或分类的步骤还包括：
获取检索词；
根据所述索引数据库，对所述待处理图像进行相关性排序。
6.如权利要求4所述的图像管理方法，其特征在于，根据所述索引数据库，对所述待处理图像进行相关性排序的步骤具体包括：
根据所述索引数据库中保存的所述层级数据，计算所述待处理图像与所述检索词的相似度；
根据所述索引数据库中保存的所述层级数据中不同层数据之间的链接关系，分析所述待处理图像的重要性；
综合所述待处理图像与所述检索词的相似度及所述待处理图像的重要性，对所述待处理图像进行相关性排序。
7.如权利要求3所述的图像管理方法，其特征在于，所述根据所述索引数据库，对待处理图像进行检索或分类的步骤还包括：
获取历史检索记录；
根据所述索引数据库和所述历史检索记录，对所述待处理图像进行分类。
8.如权利要求6所述的图像管理方法，其特征在于，所述根据所述索引数据库和历史检索记录，对所述待处理图像进行分类的步骤具体包括：
根据所述待处理图像的主题信息，将所述层级数据分类，转化成分类层级数据；
将所述历史检索记录与所述分类层级数据进行相似度匹配并排序；
根据排序结果和所述索引数据库，显示对应的分类图像集；
其中，所述历史检索记录是从预设的查询记录数据库中选取的最近一条检索意图记录。
9.如权利要求1-8任一所述的图像管理方法，其特征在于，所述将所述待处理图像转化为所述待处理图像的文本描述信息的步骤具体包括：
提取所述待处理图像的图像特征；
将所述图像特征转化为所述文本描述信息。
10.一种图像管理终端，其特征在于，所述图像管理终端包括：
图像理解模块，用于获取待处理图像，并将所述待处理图像转化为文本描述信息；
信息转化模块，用于将所述文本描述信息转化为层级数据；
数据索引模块，用于建立所述层级数据到所述待处理图像的索引数据库；
图像检索模块，用于获取检索词，并根据所述索引数据库，对所述待处理图像进行检索；
图像分类模块，用于根据所述索引数据库，对所述待处理图像进行分类。
11.一种图像管理终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时可以实现如权利要求1至9任一项所述方法的步骤。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，处理器执行所述计算机程序时可以实现如权利要求1至9任一项所述方法的步骤。
CN201910720819.8A 2019-08-06 2019-08-06 一种图像管理方法及终端 Pending CN112347289A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910720819.8A CN112347289A (zh) 2019-08-06 2019-08-06 一种图像管理方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910720819.8A CN112347289A (zh) 2019-08-06 2019-08-06 一种图像管理方法及终端

Publications (1)

Publication Number Publication Date
CN112347289A true CN112347289A (zh) 2021-02-09

Family

ID=74366410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910720819.8A Pending CN112347289A (zh) 2019-08-06 2019-08-06 一种图像管理方法及终端

Country Status (1)

Country Link
CN (1) CN112347289A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777064A (zh) * 2009-01-12 2010-07-14 鸿富锦精密工业（深圳）有限公司 图片搜索系统及方法
CN102254043A (zh) * 2011-08-17 2011-11-23 电子科技大学 一种基于语义映射的服装图像检索方法
CN102682084A (zh) * 2012-04-11 2012-09-19 中国科学院上海光学精密机械研究所 基于htm算法的图像检索系统及其图像检索方法
US20130138636A1 (en) * 2011-11-25 2013-05-30 Alibaba Group Holding Limited Image Searching
CN103793498A (zh) * 2014-01-22 2014-05-14 百度在线网络技术（北京）有限公司 图片搜索方法、装置以及搜索引擎
CN103902595A (zh) * 2012-12-27 2014-07-02 北京新媒传信科技有限公司 一种构建数据库的方法和装置
CN103955543A (zh) * 2014-05-20 2014-07-30 电子科技大学 基于多模态的服装图像检索方法
CN103995848A (zh) * 2014-05-06 2014-08-20 百度在线网络技术（北京）有限公司 图片搜索方法及装置
CN104199842A (zh) * 2014-08-07 2014-12-10 同济大学 一种基于局部特征邻域信息的相似图片检索方法
CN104346370A (zh) * 2013-07-31 2015-02-11 阿里巴巴集团控股有限公司 图像搜索、获取图像文本信息的方法及装置
CN104572905A (zh) * 2014-12-26 2015-04-29 小米科技有限责任公司 照片索引创建方法、照片搜索方法及装置
CN105160039A (zh) * 2015-10-13 2015-12-16 四川携创信息技术服务有限公司 一种基于大数据的查询方法
CN106909684A (zh) * 2017-03-06 2017-06-30 青岛鹏海软件有限公司 全景图像检索及展示方法
CN109685075A (zh) * 2018-11-27 2019-04-26 山东鲁能软件技术有限公司 一种基于图像的电力设备识别方法、装置及系统
CN109840287A (zh) * 2019-01-31 2019-06-04 中科人工智能创新技术研究院(青岛)有限公司 一种基于神经网络的跨模态信息检索方法和装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777064A (zh) * 2009-01-12 2010-07-14 鸿富锦精密工业（深圳）有限公司 图片搜索系统及方法
CN102254043A (zh) * 2011-08-17 2011-11-23 电子科技大学 一种基于语义映射的服装图像检索方法
US20130138636A1 (en) * 2011-11-25 2013-05-30 Alibaba Group Holding Limited Image Searching
CN102682084A (zh) * 2012-04-11 2012-09-19 中国科学院上海光学精密机械研究所 基于htm算法的图像检索系统及其图像检索方法
CN103902595A (zh) * 2012-12-27 2014-07-02 北京新媒传信科技有限公司 一种构建数据库的方法和装置
CN104346370A (zh) * 2013-07-31 2015-02-11 阿里巴巴集团控股有限公司 图像搜索、获取图像文本信息的方法及装置
CN103793498A (zh) * 2014-01-22 2014-05-14 百度在线网络技术（北京）有限公司 图片搜索方法、装置以及搜索引擎
CN103995848A (zh) * 2014-05-06 2014-08-20 百度在线网络技术（北京）有限公司 图片搜索方法及装置
CN103955543A (zh) * 2014-05-20 2014-07-30 电子科技大学 基于多模态的服装图像检索方法
CN104199842A (zh) * 2014-08-07 2014-12-10 同济大学 一种基于局部特征邻域信息的相似图片检索方法
CN104572905A (zh) * 2014-12-26 2015-04-29 小米科技有限责任公司 照片索引创建方法、照片搜索方法及装置
CN105160039A (zh) * 2015-10-13 2015-12-16 四川携创信息技术服务有限公司 一种基于大数据的查询方法
CN106909684A (zh) * 2017-03-06 2017-06-30 青岛鹏海软件有限公司 全景图像检索及展示方法
CN109685075A (zh) * 2018-11-27 2019-04-26 山东鲁能软件技术有限公司 一种基于图像的电力设备识别方法、装置及系统
CN109840287A (zh) * 2019-01-31 2019-06-04 中科人工智能创新技术研究院(青岛)有限公司 一种基于神经网络的跨模态信息检索方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴家良;梁正友;林烁;: "高效聚类索引表图像检索", 计算机工程与应用, no. 09 *
王嵘;: "基于深度学习的图像搜索算法研究", 计算机产品与流通, no. 11 *

Similar Documents

Publication Publication Date Title
CN111753060B (zh) 信息检索方法、装置、设备及计算机可读存储介质
AU2018214675B2 (en) Systems and methods for automatic semantic token tagging
CN111125422B (zh) 一种图像分类方法、装置、电子设备及存储介质
CN108733766B (zh) 一种数据查询方法、装置和可读介质
CN111143576A (zh) 一种面向事件的动态知识图谱构建方法和装置
US10769502B1 (en) Semantic image retrieval
US10776707B2 (en) Language translation based on search results and user interaction data
US20110078205A1 (en) Method and system for finding appropriate semantic web ontology terms from words
US10482146B2 (en) Systems and methods for automatic customization of content filtering
US10140315B1 (en) Identifying visual portions of visual media files responsive to visual portions of media files submitted as search queries
CN109471944A (zh) 文本分类模型的训练方法、装置及可读存储介质
CN112559684A (zh) 一种关键词提取及信息检索方法
CN109947902B (zh) 一种数据查询方法、装置和可读介质
CN111539197A (zh) 文本匹配方法和装置以及计算机系统和可读存储介质
US10740385B1 (en) Identifying visual portions of visual media files responsive to search queries
CN112989208B (zh) 一种信息推荐方法、装置、电子设备及存储介质
CN115203421A (zh) 一种长文本的标签生成方法、装置、设备及存储介质
US11372914B2 (en) Image annotation
CN116383430A (zh) 知识图谱构建方法、装置、设备及存储介质
KR20150041908A (ko) 정답 유형 자동 분류 방법 및 장치, 이를 이용한 질의 응답 시스템
CN114996549A (zh) 基于活动对象信息挖掘的智能追踪方法与系统
CN114328800A (zh) 文本处理方法、装置、电子设备和计算机可读存储介质
CN114491076B (zh) 基于领域知识图谱的数据增强方法、装置、设备及介质
CN116226320A (zh) 一种预测下文信息的方法、装置、电子设备及存储介质
CN112270189B (zh) 一种提问式的分析节点生成方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination