CN107133237A - 图像链接方法和图像链接设备 - Google Patents
图像链接方法和图像链接设备 Download PDFInfo
- Publication number
- CN107133237A CN107133237A CN201610112405.3A CN201610112405A CN107133237A CN 107133237 A CN107133237 A CN 107133237A CN 201610112405 A CN201610112405 A CN 201610112405A CN 107133237 A CN107133237 A CN 107133237A
- Authority
- CN
- China
- Prior art keywords
- label
- unambiguously
- image
- approximate
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
公开了一种图像链接方法和图像链接设备，其中该图像链接方法包括：在图像的标签中查找与语义知识库中的本体存在无歧义关联的无歧义标签；针对每个无歧义标签，查找与其相似性高的近似标签，并且计算该无歧义标签与每个近似标签之间的语义相似度；基于无歧义标签与本体的无歧义关联关系和语义相似度，计算图像与本体的关联值；如果图像与本体的关联值大于等于第一阈值，将该本体判定为存在真实关联的本体；基于语义知识库中已有的包含存在真实关联的本体的语义关系组，判断是否将图像关联到存在真实关联的本体，并且根据判断结果来执行关联操作。根据本公开的实施例，能够利用图像的标签信息将图像链接到语义知识库。
Description
技术领域
本公开涉及互联网和自然语言处理领域，更具体地，涉及一种用于利用图像的标签信息自动地将图像链接到语义知识库的图像链接方法和图像链接设备。
背景技术
语义网络是一种使用可以被计算机理解的方式描述事物的网络，由节点和弧组成。其中，文本、图像、音频以及视频都能成为语义网络中的不同类型节点，而连接这些节点的弧则代表着这些节点之间的语义关系。
目前，如何将各种类型的内容自动添加到语义网络中，已经成为扩大语义网络规模的关键技术点。以中文文本类型的内容为例，由于中文包含常用文字仅为几千个，即使是由这些字组成的常用词语也不过几万或者几十万的量级，因此对文本内容的理解、处理和自动添加到语义网络的过程相对容易，能够利用的文本处理工具也较多。然而，针对图像类型的数据内容，由于图像本身包含的视觉信息千差万别，仅仅针对一种物体，就可能由于拍摄角度、光线强度或者其他各种因素而产生非常多不同的图像，因此自动理解图像中的内容并且实现自动化的图像语义化过程，是非常困难的。目前，将图像链接到语义知识库中的本体或者资源的过程，基本是由人工来手动完成的，而与图像链接的本体或者资源则包括图像的拍摄地点、图像内的景点、人物以及对图像内容的其他类型描述。
曾有工作尝试实现自动的图像标注过程，其尝试利用网页中的文本内容，将网页中的图片进行自动的语义标注。然而，由于网页文本内容的复杂性，使得定位与图片有实际关联的文本片段非常困难，有的时候甚至会出现图片与网页中所有文本均无语义关联的情况发生。因此，上述方法中使用的数据包含了很多噪音，使得最终的图片标注结果不理想。
随着Web2.0技术的发展，以Flickr等为代表的在线图像标注系统网站日益流行。在线图像标注系统中的图像对应了大量的人工标注的标签，这些标签是上传图像的用户为了让别人更容易的搜索到自己上传的图像而对图像的拍摄地点、图像内的景点、人物等等方面进行描述。这些人工标注的标签质量好、准确度高，因此，如果利用这些图像的标签信息来将图像链接到语义知识库中，则能够更有效地实现基于语义的图像检索以及图像与其他实体之间的关联关系检测。
发明内容
在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。
鉴于以上问题，本公开的目的是提供一种图像链接方法和图像链接设备，其能够利用图像的标签信息自动地将图像链接到语义知识库，从而更有效地实现基于语义的图像检索以及图像与其他实体之间的关联关系检测。
根据本公开的一方面，提供了一种用于将图像链接到语义知识库的图像链接方法，包括：查找无歧义标签步骤，可以用于在图像的标签中，查找与语义知识库中的本体存在无歧义关联的一个或多个无歧义标签；查找近似标签步骤，可以用于针对一个或多个无歧义标签中的每个无歧义标签，在图像的标签中，查找与该无歧义标签相似性高的一个或多个近似标签，并且计算该无歧义标签与一个或多个近似标签中的每个近似标签之间的语义相似度；计算关联值步骤，可以用于基于一个或多个无歧义标签与本体的无歧义关联关系和语义相似度，计算图像与本体的关联值；判定步骤，如果图像与本体的关联值大于或等于第一阈值，则可以将该本体判定为存在真实关联的本体；以及关联步骤，基于语义知识库中已有的包含存在真实关联的本体的语义关系组，可以判断是否将图像关联到存在真实关联的本体，并且可以根据判断结果来执行关联操作。
根据本公开的另一方面，还提供了一种用于将图像链接到语义知识库的图像链接设备，包括：查找无歧义标签单元，可以被配置成在图像的标签中，查找与语义知识库中的本体存在无歧义关联的一个或多个无歧义标签；查找近似标签单元，可以被配置成针对一个或多个无歧义标签中的每个无歧义标签，在图像的标签中，查找与该无歧义标签相似性高的一个或多个近似标签，并且计算该无歧义标签与一个或多个近似标签中的每个近似标签之间的语义相似度；计算关联值单元，可以被配置成基于一个或多个无歧义标签与本体的无歧义关联关系和语义相似度，计算图像与本体的关联值；判定单元，可以被配置成如果图像与本体的关联值大于或等于第一阈值，则将该本体判定为存在真实关联的本体；以及关联单元，可以被配置成基于语义知识库中已有的包含存在真实关联的本体的语义关系组，判断是否将图像关联到存在真实关联的本体，并且根据判断结果来执行关联操作。
根据本公开的其它方面，还提供了用于实现上述根据本公开的方法的计算机程序代码和计算机程序产品以及其上记录有该用于实现上述根据本公开的方法的计算机程序代码的计算机可读存储介质。
在下面的说明书部分中给出本公开实施例的其它方面，其中，详细说明用于充分地公开本公开实施例的优选实施例，而不对其施加限定。
附图说明
本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：
图1是示出根据本公开的实施例的图像链接方法的流程示例的流程图；
图2是示出图像-标签之间的关联关系的图；
图3是示出图像-主题-标签三者之间的关联关系的图；
图4是示出根据本公开的实施例的图像链接设备的功能配置示例的框图；以及
图5是示出作为本公开的实施例中可采用的信息处理设备的个人计算机的示例结构的框图。
具体实施方式
在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其它细节。
下面结合附图详细说明根据本公开的实施例。
首先，将参照图1描述根据本公开的实施例的图像链接方法的流程示例。图1是示出根据本公开的实施例的图像链接方法的流程示例的流程图。如图1所示，根据本公开的实施例的图像链接方法可包括查找无歧义标签步骤S102、查找近似标签步骤S104、计算关联值步骤S106、判定步骤S108以及关联步骤S110。
首先，在查找无歧义标签步骤S102中，可以在图像的标签中，查找与语义知识库中的本体存在无歧义关联的一个或多个无歧义标签。
在本公开中，例示而非限制，语义知识库为Dbpedia。另外，语义知识库还可以是Schema。我们将无歧义标签定义为能够在Dbpedia或者Schema等语义库中匹配到唯一对应的已经定义好的本体或者资源的标签。举例来说，假设图像包含一个标签为“Asus”，我们首先在Dbpedia中搜索与华硕匹配的本体定义，若发现该标签能够无歧义地与本体“http://dbpedia.org/resource/Asus”进行关联，则将该标签定义为无歧义标签。以此类推，可以在该图像的标签中查找到与本体“http://dbpedia.org/resource/Asus”存在无歧义关联的全部无歧义标签。换言之，查找无歧义标签相当于把无歧义标签链接到语义知识库，即将无歧义标签与语义知识库中的本体或资源进行链接。
在查找近似标签步骤S104中，可以针对一个或多个无歧义标签中的每个无歧义标签，在图像的标签中，查找与该无歧义标签相似性高的一个或多个近似标签，并且计算该无歧义标签与一个或多个近似标签中的每个近似标签之间的语义相似度。
我们将与无歧义标签相似性高的标签定义为近似标签。在查找近似标签步骤S104中，可以查找每个无歧义标签的一个或多个近似标签，并且计算该无歧义标签与每个近似标签之间的语义相似度。
优选地，在查找近似标签步骤S104中，可以利用主题模型来发现图像的标签的主题信息并且形成图像的标签与主题之间的转换关系，从而将图像的标签表示成主题向量。
具体地，在在线图像标注系统中，每个图像的标签个数从几个到几百个，因为本公开在后面阶段需要利用标签之间的语义相似度进行标签链接的扩充，因此在查找近似标签步骤S104中，我们利用LDA(LatentDirichlet Allocation，潜在狄利克雷分配)主题模型来发现标签的主题信息，用以将标签表示成主题向量并能够很方便地计算标签之间的主题向量相似性，亦即是标签之间的语义相似度。另外，LSA(Latent SemanticAnalysis，潜在语义分析)模型以及pLSA(Probabilistic Latent SemanticAnalysis，概率潜在语义分析)模型亦可以实现该过程。由于LDA模型为领域内常用模型，该处不再进行详细介绍，只结合本公开实现过程进行直观解释。我们首先对大量的图像标签进行收集，并将这些标签去重后形成一个标签向量空间，将每幅图像表示成标签向量之后，利用LDA模型发现隐含主题，并形成标签与主题之间的转换关系。此处，标签向量的维度约为几万维，并且其中的数据比较稀疏，而主题数目通常会根据经验设定为几十到几百。因此，利用主题模型，每个标签能够表示成一个几十或几百维的主题向量，方便之后计算标签之间的语义相似性。
图2是示出图像-标签之间的关联关系的图。根据图2可知，对于M(例如，M为数万的量级)个图像，每个标签(标签的总数量为N)的标签向量为M维。
在查找近似标签步骤S104中，利用“图像-标签”关系矩阵训练主题模型，基于标签之间的语义相似性进一步增加链接到语义知识库的标签范围。主题模型训练是指将“图像-标签”关系通过对其中包含的隐含主题进行发现从而得到“图像-主题-标签”关系，进而能够将每个标签表示成一个主题向量。
图3是示出图像-主题-标签三者之间的关联关系的图。关联主题发现的过程，就是如图2到图3的转变过程。根据图3可知，图像的数量为M(例如，M为数万的量级)，而对于K(K为几十或几百的量级)个主题，每个标签(标签的总数量为N)能够表示成K维的主题向量。由于标签的主题向量的维度较低，因此方便计算标签之间的语义相似度。
优选地，在查找近似标签步骤S104中，可以基于主题向量和图像的标签之间的包含关系和/或编辑距离，查找一个或多个近似标签。
如上所述，可以得到每一个标签的几十或者几百维的主题向量。此处的主题向量维度应根据具体的‘图像-标签’数据规模，由本领域技术人员根据经验进行设定，通常的维度设定范围在几十到几百之间。本公开利用两个标签的主题向量另外辅以两个标签的包含关系和/或编辑距离来查找近似标签。
优选地，对于一个或多个无歧义标签中的一个无歧义标签，判定如下标签为所述一个无歧义标签的近似标签：该标签与所述一个无歧义标签存在包含关系，并且该标签的主题向量与所述一个无歧义标签的主题向量之间的余弦相似度大于或等于第三阈值。
具体地，如果一个无歧义标签与另一标签存在包含关系(例如标签“birds”和“bird”之间存在包含关系、标签“grandfather”和“father”之间存在包含关系)，并且这两个标签的主题向量之间的余弦相似度大于或等于阈值α(α为0到1之间的实数)，则判定所述另一标签为所述一个无歧义标签的近似标签。
优选地，对于一个或多个无歧义标签中的一个无歧义标签，判定如下标签为所述一个无歧义标签的近似标签：该标签与所述一个无歧义标签之间的编辑距离小于或等于第四阈值，并且该标签的主题向量与所述一个无歧义标签的主题向量之间的余弦相似度大于或等于第五阈值。
具体地，如果一个无歧义标签与另一标签的编辑距离小于等于阈值β(β为大于或等于1的整数)(例如标签“fish”和“fsih”之间的编辑距离较小)，并且这两个标签的主题向量之间的余弦相似度大于或等于α(α为0到1之间的实数)，则判定所述另一标签为所述一个无歧义标签的近似标签。
优选地，还可以基于近义词典来判定两个标签之间是否为近似标签的关系。
如果所述另一标签为所述一个无歧义标签的近似标签，并且其中所述一个无歧义标签已经存在与语义知识库中本体的无歧义关联，则可以认为所述另一个标签存在到语义知识库中同一本体的间接关联。需要注意的是，本公开并没有把与无歧义标签相似性较高的近似标签真的链接到了语义知识库中，而是为了在计算关联值步骤S106中，增加将图像链接到语义知识库的可能性。
优选地，基于主题向量而计算一个或多个无歧义标签中的每个无歧义标签与一个或多个近似标签中的每个近似标签之间的语义相似度。
具体地，本公开利用两个标签的主题向量之间的余弦相似度来衡量这两个标签的语义相似度。
如上所述，在查找近似标签步骤S104中，利用“图像-标签”关系矩阵训练主题模型，并且基于标签之间的语义相似度进一步增加链接到语义知识库的标签范围。即，通过计算那些尚未关联到语义知识库的标签与那些已经关联到语义知识库的无歧义标签之间的语义相似度，进而将标签更大范围地关联到语义知识库。
在计算关联值步骤S106中，可以基于一个或多个无歧义标签与本体的无歧义关联关系和语义相似度，计算图像与本体的关联值。
优选地，在计算关联值步骤S106中，针对一个或多个无歧义标签中的每个无歧义标签进行如下增加关联值的处理：基于该无歧义标签与本体的无歧义关联关系而将关联值增加一，以及对于该无歧义标签的一个或多个近似标签中的每个近似标签，将关联值增加该无歧义标签与该近似标签之间的语义相似度。
具体地，将图像的所有标签出现的与语义知识库的直接或者间接关联，均作为对图像与本体关联的依据。对于能够直接关联到本体的无歧义标签的情况，将图像与该本体之间的关联值增加1；对于能够间接关联到该本体的近似标签的情况，将图像与该本体之间的关联值增加“该近似标签与其对应的无歧义标签之间的语义相似度”。
在判定步骤S108中，如果图像与本体的关联值大于或等于第一阈值，则将该本体判定为存在真实关联的本体。
具体地，如果图像与本体之间的关联值大于或等于阈值γ(γ为大于或等于1的实数)，则将其判定为与图像存在真实关联的本体。
在关联步骤S110中，基于语义知识库中已有的包含存在真实关联的本体的语义关系组，判断是否将图像关联到存在真实关联的本体，并且根据判断结果来执行关联操作。
由于在将图像链接到语义知识库中本体的过程中，需要定义图像与本体之间的关联类型，因此，并不是每个判定与图像存在真实关联的本体最后都能直接建立它们之间的关联。对于这些本体，本公开基于语义知识库中已有的语义关系三元组来判断是否将图像关联到存在真实关联的本体。若判断将图像关联到存在真实关联的本体，则执行图像和存在真实关联的本体之间的关联操作。
优选地，在关联步骤S110中，如果在以存在真实关联的本体作为宾语的语义关系组中谓语相同的组的数量与以该存在真实关联的本体作为宾语的语义关系组的总数量的比值大于或等于第二阈值，则将图像关联到该本体。
具体地，本公开在已有的语义关系三元组中对以存在真实关联的本体作为宾语的情况进行统计，如果谓语相同的组的数量与以该存在真实关联的本体作为宾语的语义关系组的总数量的比值大于或等于第二阈值，则将图像关联到该本体，否则不予建立关联。
优选地，第二阈值可以由本领域技术人员根据经验或实验确定。例示而非限制，第二阈值可以为0.9到1之间的实数。第二阈值选取得越大，则越能保证图像与本体之间所建立的链接的准确性。
优选地，对于该图像，可以基于所述谓语形成以存在真实关联的本体作为宾语的语义关系组。
下面以第二阈值为1、即以该存在真实关联的本体作为宾语的语义关系组中的谓语均相同的情况为例，描述建立图像与该本体之间的关联。
例如，假设在判定步骤S108中判定<http://dbpedia.org/ontology/Casino>为与图像存在真实关联的本体，如果在语义知识库中已有的所有以本体<http://dbpedia.org/ontology/Casino>为宾语的三元组中，谓语均相同(假设谓语均为<http://schema.org/location>)，则对于该图像，以谓语<http://schema.org/location>形成以本体<http://dbpedia.org/ontology/Casino>作为宾语的语义三元组，即将该图像与本体<http://dbpedia.org/ontology/Casino>间的关系标为<http://schema.org/location>。该过程能够保证建立链接的准确性，从而将图像有效地链接到语义知识库中。
在以上描述中，介绍了将图像与一个本体进行关联的操作，可以按上述步骤，类似地将图像与其他本体进行关联。
根据以上描述可知，根据本公开的实施例的图像链接方法利用图像的标签信息自动地将图像链接到语义知识库，从而更有效地实现基于语义的图像检索以及图像与其他实体之间的关联关系检测。
与上述方法实施例相对应地，本公开还提供了以下设备实施例。
图4是示出根据本公开的实施例的图像链接设备400的功能配置示例的框图。
如图4所示，根据本公开的实施例的图像链接设备400可以包括查找无歧义标签单元402、查找近似标签单元404、计算关联值单元406、判定单元408以及关联单元410。接下来将描述各个单元的功能配置示例。
在查找无歧义标签单元402中，可以在图像的标签中，查找与语义知识库中的本体存在无歧义关联的一个或多个无歧义标签。查找无歧义标签相当于把无歧义标签链接到语义知识库，即将无歧义标签与语义知识库中的本体或资源进行链接。
查找无歧义标签的具体方法可参见以上方法实施例中相应位置的描述，在此不再重复。
在查找近似标签步单元404中，可以针对一个或多个无歧义标签中的每个无歧义标签，在图像的标签中，查找与该无歧义标签相似性高的一个或多个近似标签，并且计算该无歧义标签与一个或多个近似标签中的每个近似标签之间的语义相似度。
优选地，在查找近似标签单元404中，可以利用主题模型来发现图像的标签的主题信息并且形成图像的标签与主题之间的转换关系，从而将图像的标签表示成主题向量。
得到主题向量的具体方法可参见以上方法实施例中相应位置的描述，在此不再重复。
优选地，在查找近似标签单元404中，可以基于主题向量和图像的标签之间的包含关系和/或编辑距离，查找一个或多个近似标签。
本公开利用两个标签的主题向量另外辅以两个标签的包含关系和/或编辑距离来查找近似标签。
优选地，对于一个或多个无歧义标签中的一个无歧义标签，判定如下标签为所述一个无歧义标签的近似标签：该标签与所述一个无歧义标签存在包含关系，并且该标签的主题向量与所述一个无歧义标签的主题向量之间的余弦相似度大于或等于第三阈值。
优选地，对于一个或多个无歧义标签中的一个无歧义标签，判定如下标签为所述一个无歧义标签的近似标签：该标签与所述一个无歧义标签之间的编辑距离小于或等于第四阈值，并且该标签的主题向量与所述一个无歧义标签的主题向量之间的余弦相似度大于或等于第五阈值。
判定近似标签的具体方法可参见以上方法实施例中相应位置的描述，在此不再重复。
优选地，还可以基于近义词典来判定两个标签之间是否为近似标签的关系。
如果一个标签为一个无歧义标签的近似标签，并且其中所述一个无歧义标签已经存在与语义知识库中本体的无歧义关联，则可以认为所述一个个标签存在到语义知识库中同一本体的间接关联。
优选地，基于主题向量而计算一个或多个无歧义标签中的每个无歧义标签与一个或多个近似标签中的每个近似标签之间的语义相似度。
具体地，本公开利用两个标签的主题向量之间的余弦相似度来衡量这两个标签的语义相似度。
在查找近似标签单元404中，利用“图像-标签”关系矩阵训练主题模型，并且基于标签之间的语义相似度进一步增加链接到语义知识库的标签范围。即，通过计算那些尚未关联到语义知识库的标签与那些已经关联到语义知识库的标签之间的语义相似度，进而将标签更大范围地关联到语义知识库。
在计算关联值单元406中，可以基于一个或多个无歧义标签与本体的无歧义关联关系和语义相似度，计算图像与本体的关联值。
优选地，在计算关联值单元406中，针对一个或多个无歧义标签中的每个无歧义标签进行如下增加关联值的处理：基于该无歧义标签与本体的无歧义关联关系而将关联值增加一，以及对于该无歧义标签的一个或多个近似标签中的每个近似标签，将关联值增加该无歧义标签与该近似标签之间的语义相似度。
具体地，将图像的所有标签出现的与语义知识库的直接或者间接关联，均作为对图像与本体关联的依据。对于能够直接关联到本体的无歧义标签的情况，将图像与该本体之间的关联值增加1；对于能够间接关联到该本体的近似标签的情况，将图像与该本体之间的关联值增加“该近似标签与其对应的无歧义标签之间的语义相似度”。
在判定单元408中，如果图像与本体的关联值大于或等于第一阈值，则将该本体判定为存在真实关联的本体。
具体地，如果图像与本体之间的关联值大于或等于阈值γ(γ为大于或等于1的实数)，则将其判定为与图像存在真实关联的本体。
在关联单元410中，基于语义知识库中已有的包含存在真实关联的本体的语义关系组，判断是否将图像关联到存在真实关联的本体，并且根据判断结果来执行关联操作。
由于在将图像链接到语义知识库中本体的过程中，需要定义图像与本体之间的关联类型，因此，并不是每个判定与图像存在真实关联的本体最后都能直接建立它们之间的关联。对于这些本体，本公开基于语义知识库中已有的语义关系三元组来判断是否将图像关联到存在真实关联的本体。若判断将图像关联到存在真实关联的本体，则执行图像和存在真实关联的本体之间的关联操作。
优选地，在关联单元410中，如果在以存在真实关联的本体作为宾语的语义关系组中谓语相同的组的数量与以该存在真实关联的本体作为宾语的语义关系组的总数量的比值大于或等于第二阈值，则将图像关联到该本体。
具体地，本公开在已有的语义关系三元组中对以存在真实关联的本体作为宾语的情况进行统计，如果谓语相同的组的数量与以该存在真实关联的本体作为宾语的语义关系组的总数量的比值大于或等于第二阈值，则将图像关联到该本体，否则不予建立关联。
优选地，第二阈值可以由本领域技术人员根据经验或实验确定。例示而非限制，第二阈值可以为0.9到1之间的实数。第二阈值选取得越大，则越能保证图像与本体之间所建立的链接的准确性。
优选地，对于该图像，可以基于所述谓语形成以存在真实关联的本体作为宾语的语义关系组。
建立图像与本体的关联的具体示例可参见以上方法实施例中相应位置的描述，在此不再重复。
根据以上描述可知，根据本公开的实施例的图像链接设备利用图像的标签信息自动地将图像链接到语义知识库，从而更有效地实现基于语义的图像检索以及图像与其他实体之间的关联关系检测。
应指出，尽管以上描述了根据本公开的实施例的图像链接设备的功能配置，但是这仅是示例而非限制，并且本领域技术人员可根据本公开的原理对以上实施例进行修改，例如可对各个实施例中的功能模块进行添加、删除或者组合等，并且这样的修改均落入本公开的范围内。
此外，还应指出，这里的装置实施例是与上述方法实施例相对应的，因此在装置实施例中未详细描述的内容可参见方法实施例中相应位置的描述，在此不再重复描述。
应理解，根据本公开的实施例的存储介质和程序产品中的机器可执行的指令还可以被配置成执行上述图像链接方法，因此在此未详细描述的内容可参考先前相应位置的描述，在此不再重复进行描述。
相应地，用于承载上述包括机器可执行的指令的程序产品的存储介质也包括在本发明的公开中。该存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
另外，还应该指出的是，上述系列处理和装置也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图5所示的通用个人计算机500安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。
在图5中，中央处理单元(CPU)501根据只读存储器(ROM)502中存储的程序或从存储部分508加载到随机存取存储器(RAM)503的程序执行各种处理。在RAM 503中，也根据需要存储当CPU 501执行各种处理等时所需的数据。
CPU 501、ROM 502和RAM 503经由总线504彼此连接。输入/输出接口505也连接到总线504。
下述部件连接到输入/输出接口505：输入部分506，包括键盘、鼠标等；输出部分507，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等；存储部分508，包括硬盘等；和通信部分509，包括网络接口卡比如LAN卡、调制解调器等。通信部分509经由网络比如因特网执行通信处理。
根据需要，驱动器510也连接到输入/输出接口505。可拆卸介质511比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器510上，使得从中读出的计算机程序根据需要被安装到存储部分508中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质511安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图5所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质511。可拆卸介质511的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 502、存储部分508中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
以上参照附图描述了本公开的优选实施例，但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改，并且应理解这些变更和修改自然将落入本公开的技术范围内。
例如，在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外，以上功能之一可由多个单元来实现。无需说，这样的配置包括在本公开的技术范围内。
在该说明书中，流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理，而且包括并行地或单独地而不是必须按时间序列执行的处理。此外，甚至在按时间序列处理的步骤中，无需说，也可以适当地改变该顺序。
另外，根据本公开的技术还可以如下进行配置。
附记1.一种用于将图像链接到语义知识库的图像链接方法，包括：
查找无歧义标签步骤，用于在所述图像的标签中，查找与所述语义知识库中的本体存在无歧义关联的一个或多个无歧义标签；
查找近似标签步骤，用于针对所述一个或多个无歧义标签中的每个无歧义标签，在所述图像的标签中，查找与该无歧义标签相似性高的一个或多个近似标签，并且计算该无歧义标签与所述一个或多个近似标签中的每个近似标签之间的语义相似度；
计算关联值步骤，用于基于所述一个或多个无歧义标签与所述本体的无歧义关联关系和所述语义相似度，计算所述图像与所述本体的关联值；
判定步骤，如果所述图像与所述本体的关联值大于或等于第一阈值，则将所述本体判定为存在真实关联的本体；以及
关联步骤，基于所述语义知识库中已有的包含所述存在真实关联的本体的语义关系组，判断是否将所述图像关联到所述存在真实关联的本体，并且根据判断结果来执行关联操作。
附记2.根据附记1所述的图像链接方法，其中，在所述关联步骤中，如果在以所述存在真实关联的本体作为宾语的语义关系组中谓语相同的组的数量与以所述存在真实关联的本体作为宾语的语义关系组的总数量的比值大于或等于第二阈值，则将所述图像关联到该本体。
附记3.根据附记2所述的图像链接方法，其中，对于所述图像，基于所述谓语形成以所述存在真实关联的本体作为宾语的语义关系组。
附记4.根据附记1所述的图像链接方法，其中，在所述查找近似标签步骤中，利用主题模型来发现所述图像的标签的主题信息并且形成所述图像的标签与主题之间的转换关系，从而将所述图像的标签表示成主题向量。
附记5.根据附记4所述的图像链接方法，其中，基于所述主题向量和所述图像的标签之间的包含关系和/或编辑距离，查找所述一个或多个近似标签。
附记6.根据附记5所述的图像链接方法，其中，对于所述一个或多个无歧义标签中的一个无歧义标签，判定如下标签为所述一个无歧义标签的近似标签：该标签与所述一个无歧义标签存在包含关系，并且该标签的主题向量与所述一个无歧义标签的主题向量之间的余弦相似度大于或等于第三阈值。
附记7.根据附记5所述的图像链接方法，其中，对于所述一个或多个无歧义标签中的一个无歧义标签，判定如下标签为所述一个无歧义标签的近似标签：该标签与所述一个无歧义标签之间的编辑距离小于或等于第四阈值，并且该标签的主题向量与所述一个无歧义标签的主题向量之间的余弦相似度大于或等于第五阈值。
附记8.根据附记4所述的图像链接方法，其中，基于所述主题向量而计算所述一个或多个无歧义标签中的每个无歧义标签与所述一个或多个近似标签中的每个近似标签之间的语义相似度。
附记9.根据附记1所述的图像链接方法，其中，在所述计算关联值步骤中，针对所述一个或多个无歧义标签中的每个无歧义标签进行如下增加所述关联值的处理：基于该无歧义标签与所述本体的无歧义关联关系而将所述关联值增加一，以及对于该无歧义标签的所述一个或多个近似标签中的每个近似标签，将所述关联值增加该无歧义标签与该近似标签之间的语义相似度。
附记10.一种用于将图像链接到语义知识库的图像链接设备，包括：
查找无歧义标签单元，被配置成在所述图像的标签中，查找与所述语义知识库中的本体存在无歧义关联的一个或多个无歧义标签；
查找近似标签单元，被配置成针对所述一个或多个无歧义标签中的每个无歧义标签，在所述图像的标签中，查找与该无歧义标签相似性高的一个或多个近似标签，并且计算该无歧义标签与所述一个或多个近似标签中的每个近似标签之间的语义相似度；
计算关联值单元，被配置成基于所述一个或多个无歧义标签与所述本体的无歧义关联关系和所述语义相似度，计算所述图像与所述本体的关联值；
判定单元，被配置成如果所述图像与所述本体的关联值大于或等于第一阈值，则将所述本体判定为存在真实关联的本体；以及
关联单元，被配置成基于所述语义知识库中已有的包含所述存在真实关联的本体的语义关系组，判断是否将所述图像关联到所述存在真实关联的本体，并且根据判断结果来执行关联操作。
附记11.根据附记10所述的图像链接设备，其中，在所述关联步骤中，如果在以所述存在真实关联的本体作为宾语的语义关系组中谓语相同的组的数量与以所述存在真实关联的本体作为宾语的语义关系组的总数量的比值大于或等于第二阈值，则将所述图像关联到该本体。
附记12.根据附记11所述的图像链接设备，其中，对于所述图像，基于所述谓语形成以所述存在真实关联的本体作为宾语的语义关系组。
附记13.根据附记10所述的图像链接设备，其中，在所述查找近似标签步骤中，利用主题模型来发现所述图像的标签的主题信息并且形成所述图像的标签与主题之间的转换关系，从而将所述图像的标签表示成主题向量。
附记14.根据附记13所述的图像链接设备，其中，基于所述主题向量和所述图像的标签之间的包含关系和/或编辑距离，查找所述一个或多个近似标签。
附记15.根据附记14所述的图像链接设备，其中，对于所述一个或多个无歧义标签中的一个无歧义标签，判定如下标签为所述一个无歧义标签的近似标签：该标签与所述一个无歧义标签存在包含关系，并且该标签的主题向量与所述一个无歧义标签的主题向量之间的余弦相似度大于或等于第三阈值。
附记16.根据附记14所述的图像链接设备，其中，对于所述一个或多个无歧义标签中的一个无歧义标签，判定如下标签为所述一个无歧义标签的近似标签：该标签与所述一个无歧义标签之间的编辑距离小于或等于第四阈值，并且该标签的主题向量与所述一个无歧义标签的主题向量之间的余弦相似度大于或等于第五阈值。
附记17.根据附记13所述的图像链接设备，其中，基于所述主题向量而计算所述一个或多个无歧义标签中的每个无歧义标签与所述一个或多个近似标签中的每个近似标签之间的语义相似度。
附记18.根据附记10所述的图像链接设备，其中，在所述计算关联值步骤中，针对所述一个或多个无歧义标签中的每个无歧义标签进行如下增加所述关联值的处理：基于该无歧义标签与所述本体的无歧义关联关系而将所述关联值增加一，以及对于该无歧义标签的所述一个或多个近似标签中的每个近似标签，将所述关联值增加该无歧义标签与该近似标签之间的语义相似度。
Claims (10)
1.一种用于将图像链接到语义知识库的图像链接方法，包括：
查找无歧义标签步骤，用于在所述图像的标签中，查找与所述语义知识库中的本体存在无歧义关联的一个或多个无歧义标签；
查找近似标签步骤，用于针对所述一个或多个无歧义标签中的每个无歧义标签，在所述图像的标签中，查找与该无歧义标签相似性高的一个或多个近似标签，并且计算该无歧义标签与所述一个或多个近似标签中的每个近似标签之间的语义相似度；
计算关联值步骤，用于基于所述一个或多个无歧义标签与所述本体的无歧义关联关系和所述语义相似度，计算所述图像与所述本体的关联值；
判定步骤，如果所述图像与所述本体的关联值大于或等于第一阈值，则将所述本体判定为存在真实关联的本体；以及
关联步骤，基于所述语义知识库中已有的包含所述存在真实关联的本体的语义关系组，判断是否将所述图像关联到所述存在真实关联的本体，并且根据判断结果来执行关联操作。
2.根据权利要求1所述的图像链接方法，其中，在所述关联步骤中，如果在以所述存在真实关联的本体作为宾语的语义关系组中谓语相同的组的数量与以所述存在真实关联的本体作为宾语的语义关系组的总数量的比值大于或等于第二阈值，则将所述图像关联到该本体。
3.根据权利要求2所述的图像链接方法，其中，对于所述图像，基于所述谓语形成以所述存在真实关联的本体作为宾语的语义关系组。
4.根据权利要求1所述的图像链接方法，其中，在所述查找近似标签步骤中，利用主题模型来发现所述图像的标签的主题信息并且形成所述图像的标签与主题之间的转换关系，从而将所述图像的标签表示成主题向量。
5.根据权利要求4所述的图像链接方法，其中，基于所述主题向量和所述图像的标签之间的包含关系和/或编辑距离，查找所述一个或多个近似标签。
6.根据权利要求5所述的图像链接方法，其中，对于所述一个或多个无歧义标签中的一个无歧义标签，判定如下标签为所述一个无歧义标签的近似标签：该标签与所述一个无歧义标签存在包含关系，并且该标签的主题向量与所述一个无歧义标签的主题向量之间的余弦相似度大于或等于第三阈值。
7.根据权利要求5所述的图像链接方法，其中，对于所述一个或多个无歧义标签中的一个无歧义标签，判定如下标签为所述一个无歧义标签的近似标签：该标签与所述一个无歧义标签之间的编辑距离小于或等于第四阈值，并且该标签的主题向量与所述一个无歧义标签的主题向量之间的余弦相似度大于或等于第五阈值。
8.根据权利要求4所述的图像链接方法，其中，基于所述主题向量而计算所述一个或多个无歧义标签中的每个无歧义标签与所述一个或多个近似标签中的每个近似标签之间的语义相似度。
9.根据权利要求1所述的图像链接方法，其中，在所述计算关联值步骤中，针对所述一个或多个无歧义标签中的每个无歧义标签进行如下增加所述关联值的处理：基于该无歧义标签与所述本体的无歧义关联关系而将所述关联值增加一，以及对于该无歧义标签的所述一个或多个近似标签中的每个近似标签，将所述关联值增加该无歧义标签与该近似标签之间的语义相似度。
10.一种用于将图像链接到语义知识库的图像链接设备，包括：
查找无歧义标签单元，被配置成在所述图像的标签中，查找与所述语义知识库中的本体存在无歧义关联的一个或多个无歧义标签；
查找近似标签单元，被配置成针对所述一个或多个无歧义标签中的每个无歧义标签，在所述图像的标签中，查找与该无歧义标签相似性高的一个或多个近似标签，并且计算该无歧义标签与所述一个或多个近似标签中的每个近似标签之间的语义相似度；
计算关联值单元，被配置成基于所述一个或多个无歧义标签与所述本体的无歧义关联关系和所述语义相似度，计算所述图像与所述本体的关联值；
判定单元，被配置成如果所述图像与所述本体的关联值大于或等于第一阈值，则将所述本体判定为存在真实关联的本体；以及
关联单元，被配置成基于所述语义知识库中已有的包含所述存在真实关联的本体的语义关系组，判断是否将所述图像关联到所述存在真实关联的本体，并且根据判断结果来执行关联操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610112405.3A CN107133237A (zh) | 2016-02-29 | 2016-02-29 | 图像链接方法和图像链接设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610112405.3A CN107133237A (zh) | 2016-02-29 | 2016-02-29 | 图像链接方法和图像链接设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107133237A true CN107133237A (zh) | 2017-09-05 |
Family
ID=59721241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610112405.3A Pending CN107133237A (zh) | 2016-02-29 | 2016-02-29 | 图像链接方法和图像链接设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107133237A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110085299A (zh) * | 2019-04-19 | 2019-08-02 | 合肥中科离子医学技术装备有限公司 | 一种图像识别去燥方法、系统及图像库 |
| CN111782847A (zh) * | 2019-07-31 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 图像处理方法、装置和计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6202175B1 (en) * | 1998-08-05 | 2001-03-13 | International Business Machines Corporation | Debuggin client server programs from third party workstations |
| US20100229080A1 (en) * | 2009-03-03 | 2010-09-09 | Xerox Corporation | Collaborative linking of support knowledge bases with visualization of device |
| CN104462126A (zh) * | 2013-09-22 | 2015-03-25 | 富士通株式会社 | 一种实体链接方法及装置 |
| CN105045826A (zh) * | 2015-06-29 | 2015-11-11 | 华东师范大学 | 一种基于图模型的实体链接算法 |
-
2016
- 2016-02-29 CN CN201610112405.3A patent/CN107133237A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6202175B1 (en) * | 1998-08-05 | 2001-03-13 | International Business Machines Corporation | Debuggin client server programs from third party workstations |
| US20100229080A1 (en) * | 2009-03-03 | 2010-09-09 | Xerox Corporation | Collaborative linking of support knowledge bases with visualization of device |
| CN104462126A (zh) * | 2013-09-22 | 2015-03-25 | 富士通株式会社 | 一种实体链接方法及装置 |
| CN105045826A (zh) * | 2015-06-29 | 2015-11-11 | 华东师范大学 | 一种基于图模型的实体链接算法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110085299A (zh) * | 2019-04-19 | 2019-08-02 | 合肥中科离子医学技术装备有限公司 | 一种图像识别去燥方法、系统及图像库 |
| CN110085299B (zh) * | 2019-04-19 | 2020-12-08 | 合肥中科离子医学技术装备有限公司 | 一种图像识别去燥方法、系统及图像库 |
| CN111782847A (zh) * | 2019-07-31 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 图像处理方法、装置和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kuznetsova et al. | The open images dataset v4: Unified image classification, object detection, and visual relationship detection at scale | |
| Guo et al. | From general to specific: Informative scene graph generation via balance adjustment | |
| US10558754B2 (en) | Method and system for automating training of named entity recognition in natural language processing | |
| Qin et al. | DuerQuiz: A personalized question recommender system for intelligent job interview | |
| TWI645303B (zh) | 字串驗證方法、字串擴充方法與驗證模型訓練方法 | |
| CN110674312B (zh) | 构建知识图谱方法、装置、介质及电子设备 | |
| US20150032747A1 (en) | Method for systematic mass normalization of titles | |
| CN103885933B (zh) | 用于评价文本的情感度及用于评价实体的方法和设备 | |
| CN107193892B (zh) | 一种文档主题确定方法及装置 | |
| Stancheva et al. | A model for generation of test questions | |
| Sahi et al. | A novel technique for detecting plagiarism in documents exploiting information sources | |
| CN108304381B (zh) | 基于人工智能的实体建边方法、装置、设备及存储介质 | |
| Iqbal et al. | Bias-aware lexicon-based sentiment analysis | |
| CN106897274B (zh) | 一种跨语种的点评复述方法 | |
| Botov et al. | Mining labor market requirements using distributional semantic models and deep learning | |
| Bonela et al. | Development and validation of the Alcoholic Beverage Identification Deep Learning Algorithm version 2 for quantifying alcohol exposure in electronic images | |
| CN107133237A (zh) | 图像链接方法和图像链接设备 | |
| Schirmer et al. | A new dataset for topic-based paragraph classification in genocide-related court transcripts | |
| Fu et al. | Attribute‐Sentiment Pair Correlation Model Based on Online User Reviews | |
| Hu et al. | Clinga: bringing Chinese physical and human geography in linked open data | |
| Lee et al. | Building place-specific sentiment Lexicon | |
| CN110717029A (zh) | 一种信息处理方法和系统 | |
| CN112905884B (zh) | 生成序列标注模型的方法、设备、介质及程序产品 | |
| US11763589B1 (en) | Detection of blanks in documents | |
| Feng et al. | Relationship matching of data sources: a graph-based approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170905 |