CN109684500A - 基于知识图谱的图片操作方法 - Google Patents

基于知识图谱的图片操作方法 Download PDF

Info

Publication number
CN109684500A
CN109684500A CN201811637546.2A CN201811637546A CN109684500A CN 109684500 A CN109684500 A CN 109684500A CN 201811637546 A CN201811637546 A CN 201811637546A CN 109684500 A CN109684500 A CN 109684500A
Authority
CN
China
Prior art keywords
picture
keyword
node
search term
target photo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811637546.2A
Other languages
English (en)
Other versions
CN109684500B (zh
Inventor
张兰
李向阳
郑达人
韩风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201811637546.2A priority Critical patent/CN109684500B/zh
Publication of CN109684500A publication Critical patent/CN109684500A/zh
Application granted granted Critical
Publication of CN109684500B publication Critical patent/CN109684500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于知识图谱的图片操作方法,该图片操作方法为图片搜索操作,包括:接收关键词,步骤1,获取已标注有搜索词的图片,识别各图片已标注的搜索词,若搜索词为关键词本身、同义词、上位词、下位词和相关词中任一个,则返回该图片;步骤2,将返回的图片中,标注的搜索词为关键词本身和关键词同义词的图片排前面,标注的搜索词为关键词上位词、关键词下位词和关键词相关词的图片排后面,用户从排列后的图片中若找到目标图片,则完成本次搜索;若用户从排列图片中未找到目标图片,则执行步骤3;步骤3,关联关键词与返回图片已标注搜索词后,重复步骤1和步骤2,直至返回图片中找到目标图片。该方法能小计算开销提升图片搜索效率。

Description

基于知识图谱的图片操作方法
技术领域
本发明涉及人工智能的图片操作领域,尤其涉及一种基于知识图谱的图片操作方法。
背景技术
近年来,手机等智能终端中的图片数量逐年增长,人们习惯于用图片记录生活中的点点滴滴。用图片的方式记录信息方便快捷,只需按下快门就可以了。但同时,当用户拍摄了大量的图片后,想要找到目标图片也就变的愈发困难了。
目前手机的图片管理系统主要有两个操作,即搜索和浏览。对于搜索操作,现有的方法主要有两种:人工标注和自动标注。其中,人工标注对用户不够友好,需要大量的时间;而自动标注则受限于标签的完整性和准确性。同时,自动标注还存在标签粒度的问题。比如用户想找一张有拉布拉多犬的图片,那么如果在搜索框中输入“拉布拉多”,该用户很可能会失败,因为很有可能这张图片的标签是“狗”,而手机的图片管理系统并不知道拉布拉多属于狗。当然现在也有很多复杂的深度学习模型对图片本身的某一特征识别的相当准确,但绝大多数深度学习模型的计算开销是手机不能承受的。对于浏览操作,大多数手机会把图片分成几个类,例如IOS系统自带相册将图片分成人、位置、自拍、食物和截屏等,而这样的分类很可能并不符合用户的理解,使得分类浏览图书时并不契合用户的意图。
因此,如何更智能的对智能终端的图片进行管理,进而能够支持灵活搜索和智能浏览等操作是需要解决的问题。
发明内容
基于现有技术所存在的问题,本发明的目的是提供一种基于知识图谱的图片操作方法,能以较低的处理开销,快速地搜索或浏览到用户想要找到的图片。
本发明的目的是通过以下技术方案实现的:
本发明实施例提供一种基于知识图谱的图片操作方法,该图片操作方法是从已构建知识图谱的相册中搜索找到目标图片的操作,包括以下步骤:
步骤1,接收用户要寻找目标图片输入的关键词;
步骤2,从已构建知识图谱的相册中获取已标注有搜索词的图片,识别各图片已标注的搜索词,若识别出某一图片的搜索词为关键词本身、关键词同义词、关键词上位词、关键词下位词和关键词相关词中的任一个,则返回该图片;
步骤3,将所述步骤2返回的全部图片按先后次序排列,用户从排列后的图片中若找到所要的目标图片,则判断该目标图片已标注的搜索词是否是关键词本身,若是,则完成本次搜索操作,若不是,则执行步骤4;
步骤4,用所述关键词和所找到目标图片已标注的搜索词进行关联学习,使所述关键词与所找到的目标图片建立关联,完成本次搜索操作。
本发明实施方式还提供一种基于知识图谱的图片操作方法,该图片操作方法用于已构建知识图谱的相册中,为浏览找到目标图片的操作,包括:
步骤A,用户选择与目标图片相关的展开词,若展开词所对应的首层节点包含的图片数量未超过设定数量,直接展开该首层节点下的所有图片供用户浏览,由用户从中找到目标图片后结束本次浏览,若包含的图片数量超过设定数量则转到步骤B;
步骤B,获取下一层展开节点:先获取首层节点的下一层子节点,若获取的下一层子节点是沉默节点,若存在一个或多个下一层子节点是沉默节点或低频节点,则继续展开该节点直到展开的节点不是沉默节点或低频节点;重复上述步骤直至获取与首层节点相关联的所有节点;
步骤C,节点排序:根据贝叶斯网络计算所述步骤B获取的每个节点的条件概率,并按照条件概率从高到低的顺序对获取的各节点排序,按排序后的顺序显示所有节点;
步骤D,判断是否继续展开节点:获取首层节点本身包含的图片,若图片和展开节点的总数量小于设定数量,则依照每个节点的条件概率从高到低的顺序按步骤B继续展开节点直到节点或图片的数量大于设定数量为止;否则按照先图片后节点的顺序显示,等待用户选择下一个图片或者节点,若下一个图片或者节点不是用户所要的目标图片则转到步骤A重复进行浏览,直到用户浏览找到目标图片。
由上述本发明提供的技术方案可以看出,本发明实施例提供的基于知识图谱的图片操作方法,其有益效果为:
该方法的搜索操作中,通过采用低计算开销的方式从每张图片中提取有限的搜索词,并利用这些搜索词与用户输入的关键词比对,扩展出与其相关联的完整语义知识图谱,来表达图片中包含的语义信息;基于该知识图谱,支持灵活的语义搜索,用户可用任意关键词搜索图片,解决了传统方法用户需要选取合适的关键词的问题;
该方法的浏览操作支持多层次语义的图片浏览,通过动态地按照用户的逻辑思维方式按照多层次语义展开图片,提升用户体验;采用隐式学习模式,通过用户操作隐式地学习新知识和用户逻辑思维,更新知识图谱,进而提升搜索和浏览效率,并体现出用户的个性化。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的基于知识图谱的图片操作方法的搜索操作流程图;
图2为本发明实施例提供的基于知识图谱的图片操作方法的浏览操作流程图;
图3为本发明实施例提供的基于知识图谱的图片操作方法的构建相册的知识图谱的流程图。
具体实施方式
下面结合本发明的具体内容,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
如图1所示,本发明实施例提供一种基于知识图谱的图片操作方法,该图片操作方法是从已构建知识图谱的相册中搜索找到目标图片的操作,包括以下步骤:
步骤1,接收用户要寻找目标图片输入的关键词;
步骤2,从已构建知识图谱的相册中获取已标注有搜索词的图片,识别各图片已标注的搜索词,若识别出某一图片的搜索词为关键词本身、关键词同义词、关键词上位词、关键词下位词和关键词相关词中的任一个,则返回该图片;
步骤3,将所述步骤2返回的全部图片按先后次序排列,用户从排列后的图片中若找到所要的目标图片,则判断该目标图片已标注的搜索词是否是关键词本身,若是,则完成本次搜索操作,若不是,则执行步骤4;
步骤4,用所述关键词和所找到目标图片已标注的搜索词进行关联学习,使所述关键词与所找到的目标图片建立关联,完成本次搜索操作。
上述方法的步骤2中,已标注有搜索词的图片为:自动标注搜索词的图片和/或人工标注搜索词的图片。
上述方法的步骤2中,所述关键词相关词为词义与关键词的词义相关的搜索词。
上述方法的步骤2中,若识别出某一图片的搜索词为关键词本身、关键词同义词、关键词上位词、关键词下位词和关键词相关词中的任一个,则返回该图片为:
按以下顺序返回找到的图片;
第一返回搜索词为关键词本身的图片;
第二返回搜索词为关键词同义词的图片;
第三返回搜索词为关键词上位词、关键词下位词和关键词相关词的图片。
上述方法的步骤3中,将所述步骤2返回的图片按先后次序排列为:
首先排列标注的搜索词为关键词本身的图片,其次排列标注的搜索词为关键词同义词的图片,最后排列标注的搜索词为关键词上位词、关键词下位词和关键词相关词的图片。
上述方法的步骤3中,对排在最后的标注的搜索词为关键词上位词、关键词下位词和关键词相关词的图片,通过贝叶斯网络计算各图片的相关性,再按照相关性从高到低的顺序对各图片进行排序,按排序的顺序显示各图片。
上述方法的步骤4中,用所述关键词和所找到目标图片已标注的搜索词进行关联学习,使所述关键词与所找到的目标图片建立关联为:
建立所述关键词与所找到的目标图片已标注的搜索词的关联;
将所述关键词添加到所找到的目标图片中作为标注的搜索词;
增加所述关键词与所找到的目标图片的已标注的搜索词的边的权重。
上述方法中,已构建知识图谱的相册为通过以下方式构建,包括(参见图3):
步骤S1,获取相册内各图片的标签:通过识别相册中各图片内容自动为各图片产生对应的关键词标签;
步骤S2,构建相册的每一张图片的知识图谱形成总知识图谱:以所构建的图片作为图片节点,所构建的图片对应的关键词标签作为词节点,将所述图片节点和所述词节点用一条边连接起来形成该图片的知识图谱;然后通过语义知识网络,将该图片的知识图谱中的所有关键词标签添加到语义网络的语义根节点的上下位关系路径上,其中的每一个节点为一个关键词标签;当构建完所有图片的知识图谱形成总知识图谱;
步骤S3,合并所有图片的知识图谱:将所述步骤S2创建的总知识图谱中的所有公共节点和公共边合并,并更新所有公共节点和公共边的属性值,最后得到整个相册的知识图谱。
上述构建相册的知识图谱中,还包括:
步骤S4,标记沉默节点:将步骤S3得到的相册的知识图谱中不属于图片的关键词标签且只有一个直接下位词节点的标签节点标记为沉默节点。
上述构建相册的知识图谱中,还包括:
步骤S5,用下位词扩展知识图谱:对于步骤S1得到的所有图片的关键词标签,向语义知识网络查询获取对应标签的全部下位词,利用词频统计过滤掉不常用的下位词,将过滤后得到的常用下位词作为标签节点加入图谱,并与对应的关键词标签节点以直接上下位关系边连接。
上述构建相册的知识图谱中,关键词标签的关键词为:物体、动作、颜色各词性词语中的任一种。上述关键词标签的关键词为:各词性词语中的任一种。优选的,所述各词性词语包括:物体、动作、颜色、地点、环境、天气、动物和人。但不限于上述各词性词语,其他可用的均可作为关键词标签;只要能描述图片的词,无论是名词,动词,还是形容词都可以作为关键词。
本发明的搜索操作方法,通过判断图片标注的搜索词是关键词本身、关键词同义词、关键词上位词、关键词下位词和关键词相关词的方式,建立关键词与图标标注的搜索词之间的关系,扩展出与关键词相关联的完整语义知识图谱,在图片自动标注的词不够准确前提下,利用较低的计算开销,使用户可在短时间内找到想要的图片,同时能通过用户操作学习新知识和用户逻辑思维,不断提升查找图片的效率。
如图2所示,本发明实施例还提供一种基于知识图谱的图片操作方法,该图片操作方法用于已构建知识图谱的相册中,为浏览找到目标图片的操作,是用户多层次的浏览图片,包括以下步骤:
步骤A,用户选择与目标图片相关的展开词,若展开词包含的图片数量(对任一图片,存在已标注的搜索词是展开词本身或展开词的下位词,则该图片为展开词包含的图片)未超过设定数量,直接显示所有该展开词包含的图片供用户浏览,由用户从中找到目标图片后结束本次浏览,若包含的图片数量超过设定数量则转到步骤B;
步骤B,获取下一层能展开的节点:先获取展开词节点的下一层子节点,若存在一个或多个下一层子节点是沉默节点或低频节点(低频节点为不在常用词库的节点),则继续展开该节点直到展开的节点不是沉默节点或低频节点;
步骤C,节点排序:根据贝叶斯网络计算所述步骤B获取相册的知识图谱中每个节点的条件概率,并按照条件概率从高到低的顺序对获取的各节点排序,按排序后的顺序显示所有节点;
步骤D,判断是否继续展开节点:获取展开词节点本身包含的图片,若图片和能展开节点的总数量小于设定数量,则依照每个节点的条件概率从高到低的顺序按步骤B继续展开节点直到节点和图片的数量大于设定数量为止;否则按照先图片后节点的顺序显示,等待用户选择下一个图片或者节点,若下一个图片或者节点不是用户所要的目标图片则转到步骤A重复进行浏览,直到用户浏览找到目标图片。
进一步的,上述方法步骤D后,还包括:步骤E,当用户找到目标图片后,对用户浏览图片的路径进行隐式学习,强化用户选择过的路径。具体方法是在知识图谱中增大浏览图片路径每相邻两个节点之间边的权重,这里权重可由用户设定,权重增加的越大对排序结果的改变越大。这样父节点与之前被选中过的子节点的权重会变高,当用户再次选择展开该父节点时,节点排序结果会倾向于把之前选中并成功找到目标图片的子节点排在前面。
上述方法中,相册的知识图谱的构建方式与上述知识图谱的构建方式相同,可参见图3中的步骤S1至S5,其中步骤S1至S5与下述方法中的步骤A1至A5一一对应,包括:
步骤A1,获取相册内各图片的标签:通过识别相册中各图片内容自动为各图片产生对应的关键词标签;
步骤A2,构建相册的每一张图片的知识图谱形成总知识图谱:以所构建的图片作为图片节点,所构建的图片对应的关键词标签作为词节点,将所述图片节点和所述词节点用一条边连接起来形成该图片的知识图谱;然后通过语义知识网络,将该图片的知识图谱中的所有关键词标签添加到语义网络的语义根节点的上下位关系路径上,其中的每一个节点为一个关键词标签;当构建完所有图片的知识图谱形成总知识图谱;
步骤A3,合并所有图片的知识图谱:将所述步骤2创建的总知识图谱中的所有公共节点和公共边合并,并更新所有公共节点和公共边的属性值,最后得到整个相册的知识图谱。
上述构建相册的知识图谱中,还包括:
标记沉默节点:将步骤A3得到的相册的知识图谱中不属于图片的关键词标签且只有一个直接下位词节点的标签节点标记为沉默节点。
上述构建相册的知识图谱中,还包括:
用下位词扩展知识图谱:对于步骤A1得到的所有图片的关键词标签,向语义知识网络查询获取对应标签的全部下位词,利用词频统计过滤掉不常用的下位词,将过滤后得到的常用下位词作为标签节点加入总知识图谱,并与对应的关键词标签节点以直接上下位关系边连接。
上述构建相册的知识图谱中,关键词标签的关键词为:物体、动作、颜色各词性词语中的任一种。上述关键词标签的关键词为:各词性词语中的任一种。优选的,所述各词性词语包括:物体、动作、颜色、地点、环境、天气、动物和人。但不限于上述各词性词语,其他可用的均可作为关键词标签;只要能描述图片的词,无论是名词,动词,还是形容词都可以作为关键词。
本发明基于知识图谱的图片操作(搜索和浏览)方法,具有以下优势:通过采用低计算开销的方式从每张图片中提取有限的词作为搜索词,并利用这些搜索词作为种子关键词,扩展出与其相关联的完整语义知识图谱,以表达图片中包含语义信息;基于该知识图谱,支持灵活的语义搜索,用户可用任意关键词搜索图片,解决了传统方法用户需要选取合适的关键词的问题;支持多层次语义的图片浏览,通过动态地按照用户的逻辑思维方式按照多层次语义展开图片,提升用户体验;采用隐式学习模式,该算法通过用户操作隐式地学习新知识和用户逻辑思维,更新知识图谱,进而提升搜索和浏览效率,并体现出用户的个性化。
下面对本发明实施例具体作进一步地详细描述。
本发明提供的基于知识图谱的图片搜索方法,先接收用户输入的关键词来寻找目标图片,包括以下步骤(参见图1):
步骤S1)获取标注了搜索词本身或者搜索词同义词的图片(用户输入的关键词为搜索词):对任一图片,如果模型识别出的关键词即是搜索词,则返回该图片;如果模型识别出的关键词是搜索词的同义词,那么也返回该图片;
步骤S2)获取标注了搜索词下位词的图片:用户可以通过输入一个比较泛化的词获得目标图片;例如,用户想找一张有“拉布拉多犬”的图,那么就可以通过输入“狗”来获取该图片;
步骤S3)获取标注了搜索词上位词图片:用户可以通过输入一个比较具体的词来获得目标图片;例如,用户想找一张有“咖啡”的图片,但是该图片模型识别出的词是“饮料”;但由于“饮料”是“咖啡”的上位词,所以用户输入“咖啡”也可以找到目标图片;
步骤S4)获取标注了与搜索词相关的概念的图片:用户输入的词可能模型并没有识别出来,但是可能识别出了与输入词很相关的概念;例如,“游泳”和“水”这两个词的相关性比较强;如果某图片模型识别出了“水”而没有识别出“游泳”,那么当用户输入“游泳”来搜索该图片时,通过概念的相关性,也会返回该图片;
步骤S5)图片排序:很显然,标注了搜索词本身或者同义词的图片会被排在最靠前的位置。而对于标注了搜索词下位词,上位词和相关词的图片,会通过贝叶斯网络计算其相关性,再按照相关性从高到低的顺序进行排序。
隐式学习:如果目标图片不在步骤S1)返回的图片中,说明本次搜索对图片的理解和用户对图片的理解不同,需要进行学习,具体分为三步:首先以建立关联的方式,强化搜索词和该搜索操作识别出的搜索词的关系;向图片中添加关键词(这样新加入的关键词与图片原标记的搜索词的相关词均关联起来);增加不同词之间相关性的边,即增加边的权重。例如,用户想找一张有“蛋糕”的图片,但预先识别出的搜索词是“食物”和“盘子”;用户输入“蛋糕”进行搜索,则该图片是通过“蛋糕”的上位词“食物”返回的,那么首先强化“蛋糕”和“食物”之间的关系;然后将“蛋糕”作为新的关键词加入到该图片中;在本次搜索前“蛋糕”和“盘子”是有相关性的,而“食物”和“盘子”没有相关性,在这次搜索后,会认为“食物”和“盘子”也是有相关性的,即增加相关性边:“食物”<->“盘子”。
本发明提供的基于知识图谱的图片浏览方法,需要用户多层次的浏览图片,包括以下步骤(参见图2):
步骤21)用户选择展开词:如果被选择的词包含的图片数量超过一定数量则转到步骤(2),否则直接展开所有图片;
步骤22)获得下一层被展开的节点:首先获得被选择节点的下一层子节点。对每一个子节点,如果是沉默节点(本身不含图片并只有唯一子节点的节点)或者低频节点(低频节点为不在常用词库的节点),则继续展开该节点直到展开的节点不是沉默节点或低频节点;然后获得与被选择节点相关联的所有节点;
步骤23)节点排序:根据贝叶斯网络计算每个节点的条件概率,并按照概率从高到低的顺序排序;
步骤24)判断是否继续展开节点:获得被选择节点本身的图片。如果展开节点数量加上图片数量小于一定数量,则按照条件概率从高到低的顺序继续按步骤22)的方法展开节点直到大于该数量为止。否则按照先图片后概念的顺序显示,等待用户选择下一个图片或者节点,如果不是目标图片则转到步骤21)直到找到目标图片。
步骤25)当用户找到目标图片后,对用户浏览图片的路径进行隐式学习,强化用户选择过的路径。具体方法是在知识图谱中增大浏览图片路径每相邻两个节点之间边的权重,这里权重可由用户设定,权重增加的越大对排序结果的改变越大。这样父节点与之前被选中过的子节点的权重会变高,当用户再次选择展开该父节点时,节点排序结果会倾向于把之前选中并成功找到目标图片的子节点排在前面。
上述方法中,浏览操作中的隐式学习为:由于很多图片都可以通过不同的展开路径获得,因此不同用户可能会通过不同的路径获得图片,该浏览方法会强化用户选择过的路径,使得浏览时的展开也具有个性化。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于知识图谱的图片操作方法,其特征在于,该图片操作方法是从已构建知识图谱的相册中搜索找到目标图片的操作,包括以下步骤:
步骤1,接收用户要寻找目标图片输入的关键词;
步骤2,从已构建知识图谱的相册中获取已标注有搜索词的图片,识别各图片已标注的搜索词,若识别出某一图片的搜索词为关键词本身、关键词同义词、关键词上位词、关键词下位词和关键词相关词中的任一个,则返回该图片;
步骤3,将所述步骤2返回的全部图片按先后次序排列,用户从排列后的图片中若找到所要的目标图片,则判断该目标图片已标注的搜索词是否是关键词本身,若是,则完成本次搜索操作,若不是,则执行步骤4;
步骤4,用所述关键词和所找到目标图片已标注的搜索词进行关联学习,使所述关键词与所找到的目标图片建立关联,完成本次搜索操作。
2.根据权利要求1所述的基于知识图谱的图片操作方法,其特征在于,所述方法的步骤2中,已标注有搜索词的图片为:自动标注搜索词的图片和/或人工标注搜索词的图片。
3.根据权利要求1所述的基于知识图谱的图片操作方法,其特征在于,所述方法的步骤2中,所述关键词相关词为词义与关键词的词义相关的搜索词。
4.根据权利要求1至3任一项所述的基于知识图谱的图片操作方法,其特征在于,所述方法的步骤2中,若识别出某一图片的搜索词为关键词本身、关键词同义词、关键词上位词、关键词下位词和关键词相关词中的任一个,则返回该图片为:
按以下顺序返回找到的图片;
第一返回搜索词为关键词本身的图片;
第二返回搜索词为关键词同义词的图片;
第三返回搜索词为关键词上位词、关键词下位词和关键词相关词的图片。
5.根据权利要求1至3任一项所述的基于知识图谱的图片操作方法,其特征在于,所述方法的步骤3中,将所述步骤2返回的图片按先后次序排列为:
首先排列标注的搜索词为关键词本身的图片,其次排列标注的搜索词为关键词同义词的图片,最后排列标注的搜索词为关键词上位词、关键词下位词和关键词相关词的图片。
6.根据权利要求5所述的基于知识图谱的图片操作方法,其特征在于,所述方法的步骤3中,对排在最后的标注的搜索词为关键词上位词、关键词下位词和关键词相关词的图片,通过贝叶斯网络计算各图片的相关性,再按照相关性从高到低的顺序对各图片进行排序,按排序的顺序显示各图片。
7.根据权利要求1或2所述的基于知识图谱的图片操作方法,其特征在于,所述方法的步骤4中,用所述关键词和所找到目标图片已标注的搜索词进行关联学习,使所述关键词与所找到的目标图片建立关联为:
建立所述关键词与所找到的目标图片已标注的搜索词的关联;
将所述关键词添加到所找到的目标图片中作为标注的搜索词;
增加所述关键词与所找到的目标图片的已标注的搜索词的边的权重。
8.根据权利要求1至3任一项所述的基于知识图谱的图片操作方法,其特征在于,所述方法中,相册的知识图谱通过以下方式构建,包括:
步骤S1,获取相册内各图片的标签:通过识别相册中各图片内容自动为各图片产生对应的关键词标签;
步骤S2,构建相册的每一张图片的知识图谱形成总知识图谱:以所构建的图片作为图片节点,所构建的图片对应的关键词标签作为词节点,将所述图片节点和所述词节点用一条边连接起来形成该图片的知识图谱;然后通过语义知识网络,将该图片的知识图谱中的所有关键词标签添加到语义网络的语义根节点的上下位关系路径上,其中的每一个节点为一个关键词标签;当构建完所有图片的知识图谱形成总知识图谱;
步骤S3,合并所有图片的知识图谱:将所述步骤S2创建的总知识图谱中的所有公共节点和公共边合并,并更新所有公共节点和公共边的属性值,最后得到整个相册的知识图谱。
9.一种基于知识图谱的图片操作方法,其特征在于,该图片操作方法是对已构建知识图谱的相册中的图片进行浏览找到目标图片的操作,包括:
步骤A,用户选择与目标图片相关的展开词,若展开词包含的图片数量未超过设定数量,直接显示所有该展开词包含的图片供用户浏览,由用户从中找到目标图片后结束本次浏览,若包含的图片数量超过设定数量则转到步骤B;
步骤B,获取下一层能展开的节点:先获取展开词节点的下一层子节点,若存在一个或多个下一层子节点是沉默节点或低频节点,则继续展开该节点直到展开的节点不是沉默节点或低频节点;
步骤C,节点排序:根据贝叶斯网络计算所述步骤B获取相册的知识图谱中每个节点的条件概率,并按照条件概率从高到低的顺序对获取的各节点排序,按排序后的顺序显示所有节点;
步骤D,判断是否继续展开节点:获取展开词节点本身包含的图片,若图片和能展开节点的总数量小于设定数量,则依照每个节点的条件概率从高到低的顺序按步骤B继续展开节点直到节点和图片的数量大于设定数量为止;否则按照先图片后节点的顺序显示,等待用户选择下一个图片或者节点,若下一个图片或者节点不是用户所要的目标图片则转到步骤A重复进行浏览,直到用户浏览找到目标图片。
10.根据权利要求9所述的基于知识图谱的图片操作方法,其特征在于,所述方法中,相册的知识图谱通过以下方式构建,包括:
步骤A1,获取相册内各图片的标签:通过识别图片内容自动为相册中各图片产生对应的关键词标签;
步骤A2,构建相册中每张图片的知识图谱:将所构建图片的图片节点和关键词标签节点加入图谱中,并在关键词标签节点中两两添加一条边表示它们的关联关系;然后向语义知识网络查询,获取从关键词标签到根结点的关键词的所有上下位关系路径,并将所有关系路径经过合并公共节点和公共边之后加入到图谱中;
步骤A3,合并所有图片的知识图谱:对所述步骤A2创建的每张图片的知识图谱合并在一起,合并所有公共节点和公共边,并更新公共节点和公共边的属性值,最后得到整个相册的知识图谱。
CN201811637546.2A 2018-12-29 2018-12-29 基于知识图谱的图片操作方法 Active CN109684500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811637546.2A CN109684500B (zh) 2018-12-29 2018-12-29 基于知识图谱的图片操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811637546.2A CN109684500B (zh) 2018-12-29 2018-12-29 基于知识图谱的图片操作方法

Publications (2)

Publication Number Publication Date
CN109684500A true CN109684500A (zh) 2019-04-26
CN109684500B CN109684500B (zh) 2022-10-28

Family

ID=66191340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811637546.2A Active CN109684500B (zh) 2018-12-29 2018-12-29 基于知识图谱的图片操作方法

Country Status (1)

Country Link
CN (1) CN109684500B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069326A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 知识图谱的构建方法、装置、电子设备及存储介质
CN114741550A (zh) * 2022-06-09 2022-07-12 腾讯科技(深圳)有限公司 图像搜索方法、装置、电子设备和计算机可读存储介质
US11501070B2 (en) 2020-07-01 2022-11-15 International Business Machines Corporation Taxonomy generation to insert out of vocabulary terms and hypernym-hyponym pair induction
CN116170397A (zh) * 2023-02-21 2023-05-26 北京奇艺世纪科技有限公司 表情生成方法、装置、服务端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015043077A1 (zh) * 2013-09-29 2015-04-02 北大方正集团有限公司 语义信息获取方法及其关键词扩展方法和检索方法及系统
CN106709040A (zh) * 2016-12-29 2017-05-24 北京奇虎科技有限公司 一种应用搜索方法和服务器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015043077A1 (zh) * 2013-09-29 2015-04-02 北大方正集团有限公司 语义信息获取方法及其关键词扩展方法和检索方法及系统
CN106709040A (zh) * 2016-12-29 2017-05-24 北京奇虎科技有限公司 一种应用搜索方法和服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹国兵等: "基于领域本体的信息搜索模型", 《同济大学学报(自然科学版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501070B2 (en) 2020-07-01 2022-11-15 International Business Machines Corporation Taxonomy generation to insert out of vocabulary terms and hypernym-hyponym pair induction
CN112069326A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 知识图谱的构建方法、装置、电子设备及存储介质
CN114741550A (zh) * 2022-06-09 2022-07-12 腾讯科技(深圳)有限公司 图像搜索方法、装置、电子设备和计算机可读存储介质
CN116170397A (zh) * 2023-02-21 2023-05-26 北京奇艺世纪科技有限公司 表情生成方法、装置、服务端及存储介质

Also Published As

Publication number Publication date
CN109684500B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN109684500A (zh) 基于知识图谱的图片操作方法
CN105393263B (zh) 计算机‑人交互式学习中的特征完成
CN108268441B (zh) 句子相似度计算方法和装置及系统
CN110502621A (zh) 问答方法、问答装置、计算机设备及存储介质
CN109145303A (zh) 命名实体识别方法、装置、介质以及设备
WO2016062255A1 (zh) 多轮会话交互方法、系统和计算机设备
CN106716402A (zh) 以实体为中心的知识发现
CN107450725B (zh) 人机交互应用平台、方法、以及存储介质
CN106537370A (zh) 在存在来源和翻译错误的情况下对命名实体鲁棒标记的方法和系统
CN107729493A (zh) 旅行知识图谱的构建方法、装置及旅行问答方法、装置
CN110968650A (zh) 基于医生协助的医疗领域知识图谱构建方法
CN112380385B (zh) 一种基于多模态关系图的视频时刻定位方法及设备
CN109710776B (zh) 相册的知识图谱的构建方法
WO2013049529A1 (en) Method and apparatus for unsupervised learning of multi-resolution user profile from text analysis
Marques et al. Semi-automatic semantic annotation of images using machine learning techniques
Chantrapornchai et al. Information extraction based on named entity for tourism corpus
CN103927339B (zh) 知识重组系统和知识重组方法
CN112199478A (zh) 自动问答方法、装置、电子设备及计算机可读存储介质
Wang et al. Data-driven approach for bridging the cognitive gap in image retrieval
CN106021615A (zh) 题目搜索优化方法及装置
CN114880514A (zh) 图像检索方法、装置以及存储介质
CN110502613A (zh) 一种模型训练方法、智能检索方法、装置和存储介质
CN116386895B (zh) 基于异构图神经网络的流行病舆情实体识别方法与装置
CN104866203B (zh) 一种应用处理方法、装置及电子设备
CN116595139A (zh) 一种基于多模态知识图谱的智能问答方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant