CN113568983B - 场景图生成方法、装置、计算机可读介质及电子设备 - Google Patents

Abstract

本申请的实施例提供了一种场景图生成方法、装置、计算机可读介质及电子设备。该场景图生成方法包括：获取待处理图像中包含的各个对象的多个特征向量；根据所述各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到所述各个对象的目标特征向量；根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系；根据所述待处理图像中包含的多个对象以及所述待处理图像中包含的对象关系，生成针对所述待处理图像的场景图。本申请实施例的技术方案能够更准确地预测图像中包含的对象关系，从而使得生成的场景图对图结构的描述也更加准确和全面。

Description

场景图生成方法、装置、计算机可读介质及电子设备

技术领域

本申请涉及人工智能技术领域，具体而言，涉及一种场景图生成方法、装置、计算机可读介质及电子设备。

背景技术

场景图是图像内容的结构化表示，不仅提供场景中各个物体的语义和空间信息，还捕获每对物体之间的关系。然而，传统生成的场景图的方法只是基于场景图像中的物体的视觉表达并结合自然语言处理生成对图像内容的整体语言描述，忽略了物体本身的一些特性，也没有利用物体之间本身存在的相关性质，因而导致生成的场景图对图像的图结构描述存在着不全面、不准确的问题。

发明内容

本申请的实施例提供了一种场景图生成方法、装置、计算机可读介质及电子设备，进而至少在一定程度上能够更准确地预测图像中包含的对象关系，从而使得生成的场景图对图结构的描述也更加准确和全面。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种场景图生成方法，包括：获取待处理图像中包含的各个对象的多个特征向量；根据所述各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到所述各个对象的目标特征向量；根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系；根据所述待处理图像中包含的多个对象以及所述待处理图像中包含的对象关系，生成针对所述待处理图像的场景图。

根据本申请实施例的一个方面，提供了一种场景图生成装置，包括：获取单元，配置为获取待处理图像中包含的各个对象的多个特征向量；融合处理单元，配置为根据所述各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到所述各个对象的目标特征向量；分类单元，配置为根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系；生成单元，配置为根据所述待处理图像中包含的多个对象以及所述待处理图像中包含的对象关系，生成针对所述待处理图像的场景图。

在本申请的一些实施例中，基于前述方案，所述融合处理单元包括：确定子单元，配置为确定所述各个对象在所述知识图谱中对应的特征向量，根据所述各个对象在所述知识图谱中对应的特征向量和所述各个对象的多个特征向量进行特征向量的融合处理，得到所述各个对象的第一特征向量；处理子单元，配置为根据所述各个对象的多个特征向量进行特征向量的融合处理，得到所述各个对象的第二特征向量；生成子单元，配置为根据所述第一特征向量和所述第二特征向量，生成所述各个对象的目标特征向量。

在本申请的一些实施例中，基于前述方案，所述生成子单元配置为：对所述第一特征向量和所述第二特征向量分别进行加权，得到加权后的第一特征向量和加权后的第二特征向量；对所述加权后的第一特征向量与所述加权后的第二特征向量进行合并处理，得到所述各个对象的目标特征向量。

在本申请的一些实施例中，基于前述方案，所述分类单元配置为：将所述两两对象组合成对象对，根据所述对象对中两两对象分别对应的目标特征向量，生成所述对象对的特征向量；将所述对象对的特征向量输入预定的分类器，得到所述分类器输出的分类预测结果，所述分类预测结果中包含有所述对象对中两两对象之间的关系属于各个关系类别的预测分数；将最大预测分数指示的关系类别作为所述两两对象之间的关系类别，以得到所述待处理图像中包含的对象关系。

在本申请的一些实施例中，基于前述方案，所述多个特征向量包含有所述各个对象的图像特征向量，所述获取单元配置为：对所述待处理图像进行目标检测，以获得所述待处理图像中包含的各个对象对应的图像区域；根据所述各个对象对应的图像区域，获取所述各个对象的图像特征向量。

在本申请的一些实施例中，基于前述方案，所述多个特征向量包含有所述各个对象的类别特征向量，所述获取单元配置为：获取所述各个对象的类别标签，并对所述各个对象的类别标签进行向量化，得到所述各个对象的类别特征向量。

在本申请的一些实施例中，基于前述方案，所述多个特征向量中包含有所述各个对象的属性特征向量，所述获取单元配置为：获取所述各个对象的属性标签，并对所述各个对象的属性标签进行向量化，得到所述各个对象的属性特征向量。

根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的场景图生成方法。

根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的场景图生成方法。

根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的场景图生成方法。

在本申请的一些实施例所提供的技术方案中，通过获取待处理图像中包含的各个对象的多个特征向量，然后，根据各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到各个对象的目标特征向量，进而，基于两两对象分别对应的目标特征向量，对两两对象之间的关系进行分类，以得到待处理图像中包含的对象关系，最后，根据待处理图像中包含的多个对象以及待处理图像中包含的对象关系，生成针对待处理图像的场景图。相比于相关技术中比较单一的特征表达，本申请实施例的技术方案获取的是各个对象的多个特征向量，同时，结合知识图谱实现了特征融合处理，得到了各个对象的目标特征向量，使得最终分类得到的对象关系是由特征表达更加丰富的目标特征向量决定的，因而本申请实施例的技术方案中的场景图生成方式能够更准确地预测图像中包含的对象关系，从而使得生成的场景图对图结构的描述也更加准确和全面。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；

图2示出了根据本申请的一个实施例的场景图生成方法的流程图；

图3示出了根据本申请的一个实施例的场景图生成方法的流程图；

图4示出了根据本申请的一个实施例的场景图生成方法的流程图；

图5示出了根据本申请的一个实施例的场景图生成方法的流程图；

图6示出了根据本申请的一个实施例的待处理图像的示意图；

图7示出了根据本申请的一个实施例的场景图生成方法的逻辑图；

图8示出了根据本申请的一个实施例的生成的针对待处理图像的场景图的示意图；

图9示出了根据本申请的一个实施例的场景图生成装置的框图；

图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

需要说明的是，本申请的说明书和权利要求书及上述附图中使用的术语仅用于描述实施例，并不旨在限制本申请的范围。应该理解的是，术语“包括”、“包含”、“具有”等在本文中使用时指定存在所陈述的特点、整体、步骤、操作、元件、组件和/或其群组，但并不排除存在或添加其他特点、整体、步骤、操作、元件、组件和/或其群组中的一个或多个。

将进一步理解的是，尽管术语“第一”、“第二”、“第三”等可以在本文中用于描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于区分一个元件和另一个元件。例如，在不脱离本发明的范围的情况下，第一元件可以被称为第二元件。类似地，第二元件可以被称为第一元件。如本文所使用的，术语“和/或”包含关联的列出的项目中的一个或多个的任何和所有组合。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

场景图：是图像内容的结构化表示，由物体、物体的类别标签和物体对之间的视觉关系所组成，场景图中的节点表示物体，节点之间使用有向边进行连接表示物体之间的视觉关系。

场景图生成：是一种基础的图像理解任务，指的是根据图像生成一个以检测到的对象作为节点，以及对象之间的关系作为边所构成的图像。

知识图谱(knowledge gragh)：用来描述真实世界中存在的各种实体和概念，并通过属性-值对来刻画实体的内在特性，通过关系来连接两个或多个实体，刻画两个或多个实体之间的关联。知识图谱亦可看作是一张巨大的网状图，网状图中的节点表示实体，而网状图中的边则由属性或关系构成。知识图谱本质上是一种语义网络。其节点代表实体或者概念，边代表实体/概念之间的各种语义关系。知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(“实体”)和边(“关系”)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。

实体(entity)：是指客观存在并可相互区别的事物，包括具体的人、事、物、抽象的概念或联系。例如，在一个知识图谱中，一个节点代表一个实体，而节点之间的边代表实体之间的关联关系，知识图谱中的实体可以是人、动物、植物、书籍、电影、事件等等。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实际需要，可以具有任意数目的终端设备、网络和服务器。比如服务器103可以是多个服务器组成的服务器集群等。终端设备101可以是诸如可以是智能手机、平板电脑、便携式个人计算机、台式计算机、智能音箱、智能手表、手环及智能电视等智能设备。笔记本、便携式电脑、台式电脑等终端设备。服务器103可以是独立的物理服务器，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

在本申请的一个实施例中，终端设备101获取到待处理图像后，通过网络102将待处理图像发送至服务器103。服务器103接收到待处理图像后，首先可以对待处理图像进行处理，以获取待处理图像中包含的各个对象的多个特征向量；接着服务器103可以根据各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到各个对象的目标特征向量；服务器103在得到各个对象的目标特征向量之后，可以根据两两对象分别对应的目标特征向量，对两两对象之间的关系进行分类，以获得待图像处理中包含的对象关系；最后可以根据待处理图像中包含的多个对象以及待处理图像中包含的对象关系，生成针对待处理图像的场景图。

需要说明的是，本申请实施例所提供的场景图生成方法一般由服务器103执行，相应地，场景图生成装置一般设置于服务器103中。但本领域技术人员容易理解的是，本申请实施例所提供的场景图生成方法也可以由终端设备101执行，相应地，场景图生成装置也可以设置于终端设备101中，本示例性实施例中对此不做特殊限定。

在计算机视觉技术领域，为了使计算机更好的理解图像内容，随着人工神经网络的发展，出现了用场景图对图像(确切的说指被分析图像)内容进行结构化表示的图像识别技术。该技术对被分析图像中的实体对象进行识别并生成包含相关实体对象之间关系的场景图。

随着5G的到来以及移动互联网平台的发展，互联网平台积累的图像越来越多，场景图的应用也越来越广泛，例如，利用生成的场景图对图像进行检索可以极大地提高检索的质量与效率；在跨模态语义分析方面，可以利用生成的场景图进行图像描述的生成，将图结构转化为自然语言描述从而实现了跨模态的转化；在视觉问答系统方面，基于关系预测的视觉问答系统也是一个有效的解决方法。

然而，传统生成的场景图的方法只是基于场景图像中的物体的视觉表达并结合自然语言处理生成对图像内容的整体语言描述，忽略了物体本身的一些特性，也没有利用物体之间本身存在的相关性质，因而导致生成的场景图对图像的图结构描述存在着不全面、不准确的问题。

鉴于相关技术中存在的问题，本申请实施例提供了一种场景图生成方法，通过获取待处理图像中包含的各个对象的多个特征向量，然后，根据各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到各个对象的目标特征向量，进而，基于两两对象分别对应的目标特征向量，对两两对象之间的关系进行分类，以得到待处理图像中包含的对象关系，最后，根据待处理图像中包含的多个对象以及待处理图像中包含的对象关系，生成针对待处理图像的场景图。本申请实施例的技术方案，相比于相关技术中比较单一的特征表达，本方案考虑的是各个对象的多个特征向量，同时，结合知识图谱实现了特征融合处理，得到了各个对象的目标特征向量，使得最终分类得到的对象关系是由特征表达更加丰富的目标特征向量决定的，因而本申请实施例的技术方案中的场景图生成方式能够更准确地预测图像中包含的对象关系，从而使得生成的场景图对图结构的描述也更加准确和全面。

本申请实施例提供的场景图生成方法是基于人工智能实现的。人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的图像处理技术，具体通过如下实施例进行说明：

本申请实施例首先提供了一种场景图生成方法，图2示出了根据本申请的一个实施例的场景图生成方法的流程图，在本申请实施例中以该方法应用于上述服务器103为例进行说明。参照图2所示，该场景图生成方法至少包括以下步骤：

步骤S210、获取待处理图像中包含的各个对象的多个特征向量；

步骤S220、根据各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到各个对象的目标特征向量；

步骤S230、根据两两对象分别对应的目标特征向量，对两两对象之间的关系进行分类，以得到待处理图像中包含的对象关系；

步骤S240、根据待处理图像中包含的多个对象以及待处理图像中包含的对象关系，生成针对待处理图像的场景图。

下面对这些步骤进行详细描述。

在步骤S210中，获取待处理图像中包含的各个对象的多个特征向量。

具体地，服务器获取待处理图像，其中，待处理图像可以通过大规模知识库或者图像数据库获取，也可以直接从互联网、区块链或者分布式文件系统中获取，本申请实施例中对此不进行限定。这里待处理图像可以是单独的图像，也可以是视频中的一帧。

需要说明的是，获取的待处理图像中包含有多个对象，该对象可以包括但不限于人、动物、建筑物、书、足球、虚拟对象(游戏角色、动画角色等)或其他实体对象等，本申请实施例中对此不进行限定。

在获取待处理图像后，服务器可以对待处理图像进行处理，以获取待处理图像中包含的各个对象的多个特征向量。其中，各个对象的多个特征向量可以是基于诸如各个对象的图像信息、属性信息以及类别信息等获取到的特征向量。

在步骤S220中，根据各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到各个对象的目标特征向量。

由于传统生成的场景图的方法只是基于场景图像中的物体的视觉表达并结合自然语言处理生成对图像内容的整体语言描述，忽略了物体本身的一些特性，也没有利用物体之间本身存在的相关性质，从而导致生成的场景图对图像的图结构描述存在着不全面、不准确的问题。

鉴于此，本实施例不仅可以获取到待处理图像中包含的各个对象的多个特征向量，同时，引入外部先验知识，预先构建知识图谱，预先构建的知识图谱包括待处理图像中的各个对象。这样一来，通过知识图谱可以确定各个对象周围具有关联关系的至少一个实体，然后，根据多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到各个对象的目标特征向量。最终，获得的各个对象的目标特征向量，既包含了对象自身的特征信息，又包含了与该对象关联的实体的信息，从而丰富了各个对象的目标特征向量中表征的信息，提高了目标特征向量描述对象的精准度。

其中，构建知识图谱的方法可以是首先对数据库进行知识学习，以识别数据库中包含的实体，接着构建任意两个实体组成的实体对的特征向量，然后对各个实体对进行筛选并基于预设的实体之间的关系进行分类，从而得到两个实体以及实体关系的三元组数据，最后将该三元组数据导入到数据库中进行可视化从而得到知识图谱。示意性地，数据库可以是ConceptNet，ConceptNet是人类所了解的最基本知识的常识知识库。

在步骤S230中，根据两两对象分别对应的目标特征向量，对两两对象之间的关系进行分类，以得到待处理图像中包含的对象关系。

在通过步骤S220获得各个对象的目标特征向量之后，则可以基于两两对象分别对应的目标特征向量，对两两对象之间的关系进行分类，然后，基于两两对象之间的关系获得待处理图像中包含的对象关系。

具体实施时，一种实现方式为，将两两对象分别对应的目标特征向量输入预定的分类器，由预定的分类器输出两两对象之间的关系的分类结果。其中，分类器是具有对图像进行分类的能力的机器学习模型，机器学习模型可以是通过卷积神经网络模型、循环神经网络模型、支持向量机模型等训练得到的模型。

另一种实现方式为，针对两两对象之间的关系，预设多个关系类别，同时，将两两对象组合成对象对，根据对象对中两两对象分别对应的目标特征向量，生成对象对的特征向量。针对各预设关系类别，可以根据对象对的特征向量分别与各预设关系类别的类别特征向量之间的距离，以及各预设关系类别的类别特征向量的权重，确定对象对中两两对象之间的关系属于各预设关系类别的概率。类别特征向量可以是基于对应的预设关系类别下训练样本的训练特征向量确定的。

在步骤S240中，根据待处理图像中包含的多个对象以及待处理图像中包含的对象关系，生成针对待处理图像的场景图。

场景图是图像内容的结构化表示，由物体、物体的类别标签和物体对之间的视觉关系所组成，场景图中的节点表示物体，节点之间使用有向边进行连接表示物体之间的视觉关系。

因此，在确定待处理图像中包含的多个对象，且得到待处理图像中包含的对象关系之后，则可以根据待处理图像中包含的多个对象以及待处理图像中包含的对象关系，生成针对待处理图像的场景图。

基于以上实施例的技术方案，考虑了各个对象的多个特征向量，同时，结合知识图谱实现了特征融合处理，得到了各个对象的目标特征向量，通过特征融合处理，各个对象能够学习到其周边关联的实体的特征信息，同时对象自身的特征信息也不会发生太大的改变，使得对象的目标特征向量既很好的保留了对象自身的特征信息，又包含周围关联的其他实体的特征信息，丰富了各个对象的目标特征向量中表征的信息，使得最终分类得到的对象关系能够由特征表达更加丰富的目标特征向量决定的，因而能够更准确地预测图像中包含的对象关系，从而使得生成的场景图对图结构的描述也更加准确和全面。

在本申请的一个实施例中，如图3所示，步骤S220具体可以包括步骤S310-步骤S330，具体说明如下：

步骤S310、确定各个对象在知识图谱中对应的特征向量，根据各个对象在知识图谱中对应的特征向量和各个对象的多个特征向量进行特征向量的融合处理，得到各个对象的第一特征向量。

由于预先构建的知识图谱包括待处理图像中的各个对象，因此，可以确定出各个对象在知识图谱中对应的特征向量。

具体地，可以基于各个对象的嵌入向量和与该对象具有关联关系的实体的嵌入向量，获得各个对象在知识图谱中对应的特征向量。其中，各个对象的嵌入向量用于表征各个对象的属性特征，具体地，可将各个对象的属性信息投影到同一向量空间中，进而获得各个实体的嵌入向量。同时，基于知识图谱中的关联关系，确定各个对象在知识图谱中所关联的实体，基于各个对象的嵌入向量和与该对象关联的实体的嵌入向量，获得各个对象在知识图谱中对应的特征向量。

在一实施方式中，由于各个对象在知识图谱中关联的实体可能存在多个，因此，为了降低复杂度，可以预先设定知识图谱的最大推理深度，也即限定各个对象关联的实体的个数，基于预设数量个的关联实体的嵌入向量与各个对象的嵌入向量，获得各个对象在知识图谱中对应的特征向量。

在一种可能的实现方式中，在确定各个对象在知识图谱中对应的特征向量之后，则可以根据各个对象在知识图谱中对应的特征向量和各个对象的多个特征向量进行特征向量的融合处理，得到各个对象的第一特征向量。其中，对各个对象在知识图谱中对应的特征向量和各个对象的多个特征向量进行特征向量的融合处理的方式，包括但不限于：

将各个对象在知识图谱中对应的特征向量和各个对象的多个特征向量输入多头注意力模型中的第一全连接层进行特征拼接处理，得到第一中间特征序列；对第一中间特征序列进行第一线性变换处理；将得到的第一线性变换结果通过第一激活函数进行第一非线性变换处理，得到各个对象的第一特征向量。

示例性地，可以通过concat()方法对各个对象在知识图谱中对应的特征向量和各个对象的多个特征向量进行特征拼接处理，本申请实施例对此不进行具体限定。

在得到第一中间特征序列后，本申请实施例对第一中间特征序列进行第一线性变换处理，即可以通过第一全连接层对第一中间特征序列进行线性加权求和处理，将得到的第一线性变换结果通过第一激活函数进行第一非线性变换处理，得到各个对象的第一特征向量。也即，第一全连接层的输出可以看做是第一中间特征序列乘以一个权重系数W1，最后加上一个偏置值b1得到。其中，第一激活函数可以为tanh函数，本申请实施例对此不进行具体限定。

步骤S320、根据各个对象的多个特征向量进行特征向量的融合处理，得到各个对象的第二特征向量。

在一种可能的实现方式中，对各个对象的多个特征向量进行特征向量的融合处理，包括但不限于：

将各个对象的多个特征向量输入多头注意力模型中的第二全连接层进行特征拼接处理，得到第二中间特征序列；对第二中间特征序列进行第二线性变换处理；将得到的第二线性变换结果通过第二激活函数进行第二非线性变换处理，得到各个对象的第二特征向量。

示例性地，可以通过concat()方法对各个对象的多个特征向量进行特征拼接处理，本申请实施例对此不进行具体限定。

在得到第二中间特征序列后，本申请实施例对第二中间特征序列进行第二线性变换处理，即可以通过第二全连接层对第二中间特征序列进行线性加权求和处理，将得到的第二线性变换结果通过第二激活函数进行第二非线性变换处理，得到各个对象的第二特征向量。也即，第二全连接层的输出可以看做是第二中间特征序列乘以一个权重系数W2，最后加上一个偏置值b2得到。其中，第一激活函数可以为Relu函数，本申请实施例对此不进行具体限定。另外，上述权重系数和偏置值可以通过训练得到。

步骤S330、根据第一特征向量和第二特征向量，生成各个对象的目标特征向量。

在通过步骤S310将各个对象在知识图谱中对应的特征向量和各个对象的多个特征向量进行特征向量的融合处理，得到各个对象的第一特征向量，以及通过步骤S320将各个对象的多个特征向量进行特征向量的融合处理，得到各个对象的第二特征向量之后，则可以将第一特征向量和第二特征向量进行融合，生成各个对象的目标特征向量。在一实施方式中，可以直接将第一特征向量和第二特征向量进行相加，得到各个对象的目标特征向量，例如，第一特征向量为[u1,u2,u3]，第二特征向量为[u’1,u’2,u’3]，则融合后得到的目标特征向量为[u1+u’1,u2+u’2,u3+u’3]。

在本申请的一个实施例中，根据第一特征向量和第二特征向量，生成各个对象的目标特征向量可以具体包括：首先，对第一特征向量和第二特征向量分别进行加权，得到加权后的第一特征向量和加权后的第二特征向量；然后，对加权后的第一特征向量与加权后的第二特征向量进行合并处理，得到各个对象的目标特征向量。例如，第一特征向量为[u1,u2,u3]，第二特征向量为[u’1,u’2,u’3]，则融合后得到的目标特征向量为[αu1+βu’1,αu2+βu’2,αu3+βu’3]。其中，上述加权过程中的加权系数可以根据应用需求进行确定。

在本申请的一个实施例中，如图4所述，步骤S230具体可以包括步骤S410-步骤S430，详细介绍如下：

步骤S410、将两两对象组合成对象对，根据对象对中两两对象分别对应的目标特征向量，生成对象对的特征向量。

在本实施例中，为了获得待处理图像中包含的对象关系，也即获取待处理图像中两两对象之间的对象关系，可以预先将两两对象组合成对象对，然后，根据对象对中两两对象分别对应的目标特征向量，生成对象对的特征向量。

需要说明的是，这里，将两两对象组合成对象对是指将待处理图像中包含的多个对象进行任意两两组合，生成对象对，举例说明，假设待处理图像中包含有5个对象，分别为对象A、对象B、对象C、对象D和对象E，则可以组合得到的对象对可以有对象A和对象B组成对象对，对象A和对象C组成对象对，对象A和对象D组成对象对，对象A和对象E组成对象对，对象B和对象C组成对象对，对象B和对象D组成对象对，对象B和对象E组成对象对，对象C和对象D组成对象对，对象C和对象E组成对象对，对象D和对象E组成对象对。

还需要说明的是，根据对象对中两两对象分别对应的目标特征向量，生成对象对的特征向量可以是直接拼接两两对象分别对应的目标特征向量，将拼接后的特征向量作为对象对的特征向量。例如，对象A的目标特征向量为[p1,p2,…,pn]，对象B的目标特征向量为[q1,q2,…,qm]，将对象A的目标特征向量[p1,p2,…,pn]和对象B的目标特征向量[q1,q2,…,qm]拼接在一起，则可以获得一个n+m维的特征向量[p1,p2,…,pn,q1,q2,…,qm]，该特征向量可以作为对象A和对象B组成的对象对的特征向量。

步骤S420、将对象对的特征向量输入预定的分类器，得到分类器输出的分类预测结果，分类预测结果中包含有所述对象对中两两对象之间的关系属于各个关系类别的预测分数。

在获得对象对的特征向量之后，则可以基于对象对的特征向量对两两对象之间的关系进行分类，得到两两对象之间的关系分类结果。具体地，可以将对象对的特征向量输入预定的分类器，由预定的分类器输出分类预测结果。其中，分类器是具有对图像进行分类的能力的机器学习模型，机器学习模型可以是通过卷积神经网络模型、循环神经网络模型、支持向量机模型等训练得到的模型。

分类预测结果可以包括对象对中两两对象之间的关系属于各个关系类别的预测分数，分类预测结果可以是一个向量，向量中的每个向量值表示各个关系类别对应的预测分数。示例性地，可以通过计算Y＝softmax(H)来计算两两对象之间的关系属于各个关系类别的预测分数，本申请实施例对此不进行具体限定。

步骤S430、将最大预测分数指示的关系类别作为两两对象之间的关系类别，以得到待处理图像中包含的对象关系。

在获得分类器输出的分类预测结果之后，可以将最大预测分数指示的关系类别作为两两对象之间的关系类别，从而得到待处理图像中包含的对象关系。举例说明，假设预设关系类别包含五个类别，分别为关系A、关系B、关系C、关系D、关系E，分类器输出的对象1和对象2之间的关系的分类预测结果为(0.2,0.1,0.3,0.8,05)，则可以将预测分数0.8对应的关系D作为对象1和对象2之间的关系。

在本申请的一个实施例中，待处理图像包含的各个对象的多个特征向量可以包含各个对象的图像特征向量，如图5所示，获取各个对象的视觉特征向量，可以具体包括步骤S510-步骤S520，详细介绍如下：

在步骤S510中，对待处理图像进行目标检测，以获得待处理图像中包含的各个对象对应的图像区域。

其中，目标检测(target detection)是采用深度神经网络算法，检测并输出目标在图像或视频帧中的位置信息的方法，该位置信息包括目标在图像或视频帧中的边界框(bounding box)和坐标信息。

具体实施时，服务器对待处理图像进行目标检测，以获得待处理图像中包含的各个对象对应的图像区域可以包括：首先，可以从待处理图像中提取包括各个对象的特征图，其中，包括各个对象的特征图为对待处理图像进行初次特征提取所得到的特征图，该特征图包括待处理图像的所有笼统表征的特征，特别是各个对象的特征。在得到包括各个对象的特征图后，结合特征图确定各个对象对应的图像区域。

在一些实施例中，对包括各个对象的待处理图像进行特征提取处理，以得到包括各个对象的特征图包括：通过卷积神经网络对包括各个对象的待处理图像进行卷积处理，以得到待处理图像的卷积特征图；对卷积特征图进行下采样编码处理，以得到包括各个对象的特征图。

例如，卷积神经网络可以采用区域-卷积神经网络(Region-ConvolutionalNeural Networks，R-CNN)、快速区域-卷积神经网络(Fast Region-Convolutional NeuralNetworks，Fast R-CNN)算法、多分类单杆检测器(Single Shot MultiBox Detector，SSD)网络、只看一次的第三版(You Only Look Once v3，yolov3)网络等，本申请实施例中并不进行限制。

在一些实施例中，结合特征图确定各个对象对应的图像区域可以包括：通过候选区域网络(Region Proposal Network，RPN)结合特征图，确定待处理图像中的多个候选区域(Region Proposal)，候选区域所覆盖的区域包括了各个对象，从而可以得到各个对象对应的图像区域。

在步骤S520中，根据各个对象对应的图像区域，获取各个对象的图像特征向量。

由于各个对象对应的图像区域包含有各个对象，因此，可以根据包含各个对象的图像区域，获取各个对象的图像特征向量。在一些实施方式中，根据各个对象对应的图像区域，获取各个对象的图像特征向量可以具体包括：基于已训练的特征提取模型，以各个对象对应的图像区域为输入参数，对各个对象对应的图像区域进行特征提取，从而获得各个对象的图像特征向量。其中，特征提取模型可以采用残差网络(Residual Network，resnet)、VGG网络，本申请实施例中并不进行限制。其中，VGG网络结构主要由卷积和全连接层组成。

例如，待处理图像为一张包含小狗的图像，则可以首先获取该小狗对应的图像区域，然后将该小狗对应的图像区域输入到特征提取模型，从而获得该小狗的图像特征向量。

在一些实施方式中，在确定出待处理图像的各个对象所在区域后，则可以将各个对象对应的图像区域映射到待处理图像的特征图上，然后对该特征图进行感兴趣区域池化操作，从而提取出各个对象的特征向量。

其中，感兴趣区域池化操作可以为空间池化(Spatial Pooling)操作或者最大池化(Max Pooling)操作等，在此不作限定。空间池化操作可以在降低特征图的维度的同时，保留大部分重要的信息。空间池化操作包括最大化、平均化和加和等方式。在最大池化操作中，定义一个空间领域(例如2×2的窗口)，并从特征图的窗口中取出最大的元素，或者取窗口中各个元素的平均值，或者对窗口中的各个元素求和。通过感兴趣区域池化操作，能够降低卷积输出的特征向量的维度，并能够可控地减小卷积神经网络中的参数和计算量，从而能够改善输出结果，不易出现过拟合。

在本申请的一个实施例中，待处理图像包含的各个对象的多个特征向量可以包含各个对象的类别特征向量。本实施例中，服务器可以获取各个对象的类别标签，然后对各个对象的类别标签进行向量化，得到各个对象的类别特征向量。上述向量化是指将各个对象的类别标签转化为其对应的向量。

在本申请的一个实施例中，待处理图像包含的各个对象的多个特征向量可以包含各个对象的属性特征向量。本实施例中，服务器可以获取各个对象的属性标签，然后对各个对象的属性标签进行向量化，得到各个对象的属性特征向量。

图6示出了根据本申请的一个实施例的待处理图像的示意图，图7示出了根据本申请的一个实施例的场景图生成方法的逻辑图，图8示出了根据本申请的一个实施例的生成的针对待处理图像的场景图的示意图，下面结合图6、图7和图8，对本申请实施例的场景图生成方法进行说明：

以图6中的待处理图像输入为例，首先，针对待处理图像，可以通过特征提取模块601获取待处理图像中包含的各个对象的图像特征向量，并通过向量化模块602对待处理图像中包含的各个对象的属性标签以及类别标签进行向量化，分别得到各个对象的属性特征向量和类别特征向量。

接着，在得到各个对象的图像特征向量、属性特征向量以及类别特征向量之后，可以通过融合模块603进行特征向量的融合处理，其中，融合模块603的第一个支路用于对各个对象在知识图谱中对应的特征向量、以及各个对象的图像特征向量、属性特征向量以及类别特征向量进行特征向量的融合处理，得到各个对象的第一特征向量，融合模块603的第二个支路用于对各个对象的图像特征向量、属性特征向量以及类别特征向量进行特征向量的融合处理，得到各个对象的第二特征向量。在分别得到两个支路输出的特征向量之后，则可以根据第一支路输出的第一特征向量和第二支路输出的第二特征向量，生成各个对象的目标特征向量。

为了提高特征向量融合处理的效果，可以设置两个融合模块603，将经过两个融合模块603的处理之后输出的特征向量作为待处理图像中包含的各个对象的目标特征向量。

最后，在得到各个对象的目标特征向量之后，则可以根据两两对象分别对应的目标特征向量，通过分类模块604对两两对象之间的关系进行分类，以得到待处理图像中包含的对象关系，从而根据待处理图像中包含的多个对象以及待处理图像中包含的对象关系，生成针对待处理图像的场景图。其中，生成的针对待处理图像的场景图可以参照图8所示，生成的场景图中包括节点和边，节点表示实体，边则由属性或关系构成。

如图8所示，场景图中包括了8个节点，分别对应待处理图像中的8个对象：飞盘、男人、建筑物、树、头带、花、草地和窗户。其中，节点“飞盘”具有三条边，有两条边表示飞盘的属性，另外一条边表示节点“飞盘”与节点“男人”之间的关系；节点“男人”具有四条边，四条边表示节点“男人”与节点“头带”、与节点“建筑物”、与节点“草地”以及与节点“飞盘”之间的关系；节点“建筑物”具有三条边，有一条边表示建筑物的属性，另外两条边表示节点“建筑物”与节点“男人”、与节点“树”之间的关系；节点“树”具有两条边，有一条边表示树的属性，另外一条边表示节点“树”与节点“建筑物”之间的关系；节点“头带”具有两条边，有一条边表示头带的属性，另外一条边表示节点“头带”与节点“男人”之间的关系；节点“花”具有两条边，有一条边表示花的属性，另外一条边表示节点“花”与节点“草地”之间的关系；节点“草地”具有三条边，有两条边表示草地的属性，另外一条边表示节点“草地”与节点“花”之间的关系；节点“窗户”具有两条边，有一条边表示窗户的属性，另外一条边表示节点“窗户”与节点“建筑物”之间的关系。

基于本申请实施例提供的聚类集合的处理方法，在基于公开视觉基因(VisualGenome)数据集的实验中，设计了对比实验，请参阅表1，其中，基线方法是基于对象的图像特征和对象的类别特征，没有加入属性和知识图谱的嵌入特征。

表1

由表1可见，本申请的场景图生成方法在召回率(Recall)和平均召回率(MeanRecall)的指标上均有不同程度的提升，另外在Mean Recall上提升明显，说明本申请实施例的方法对长尾分布的类别预测更加有效。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的场景图生成方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的场景图生成方法的实施例。

图9示出了根据本申请的一个实施例的场景图生成装置的框图。

参照图9所示，根据本申请的一个实施例的场景图生成装置900，包括：获取单元902、融合处理单元904、分类单元906和生成单元908。

其中，所述获取单元902，配置为获取待处理图像中包含的各个对象的多个特征向量；所述融合处理单元904，配置为根据所述各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到所述各个对象的目标特征向量；所述分类单元906，配置为根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系；所述生成单元908，配置为根据所述待处理图像中包含的多个对象以及所述待处理图像中包含的对象关系，生成针对所述待处理图像的场景图。

在本申请的一些实施例中，所述融合处理单元904包括：确定子单元，配置为确定所述各个对象在所述知识图谱中对应的特征向量，根据所述各个对象在所述知识图谱中对应的特征向量和所述各个对象的多个特征向量进行特征向量的融合处理，得到所述各个对象的第一特征向量；处理子单元，配置为根据所述各个对象的多个特征向量进行特征向量的融合处理，得到所述各个对象的第二特征向量；生成子单元，配置为根据所述第一特征向量和所述第二特征向量，生成所述各个对象的目标特征向量。

在本申请的一些实施例中，所述生成子单元配置为：对所述第一特征向量和所述第二特征向量分别进行加权，得到加权后的第一特征向量和加权后的第二特征向量；对所述加权后的第一特征向量与所述加权后的第二特征向量进行合并处理，得到所述各个对象的目标特征向量。

在本申请的一些实施例中，所述分类单元906配置为：将所述两两对象组合成对象对，根据所述对象对中两两对象分别对应的目标特征向量，生成所述对象对的特征向量；将所述对象对的特征向量输入预定的分类器，得到所述分类器输出的分类预测结果，所述分类预测结果中包含有所述对象对中两两对象之间的关系属于各个关系类别的预测分数；将最大预测分数指示的关系类别作为所述两两对象之间的关系类别，以得到所述待处理图像中包含的对象关系。

在本申请的一些实施例中，所述多个特征向量包含有所述各个对象的图像特征向量，所述获取单元902配置为：对所述待处理图像进行目标检测，以获得所述待处理图像中包含的各个对象对应的图像区域；根据所述各个对象对应的图像区域，获取所述各个对象的图像特征向量。

在本申请的一些实施例中，所述多个特征向量包含有所述各个对象的类别特征向量，所述获取单元902配置为：获取所述各个对象的类别标签，并对所述各个对象的类别标签进行向量化，得到所述各个对象的类别特征向量。

在本申请的一些实施例中，所述多个特征向量中包含有所述各个对象的属性特征向量，所述获取单元902配置为：获取所述各个对象的属性标签，并对所述各个对象的属性标签进行向量化，得到所述各个对象的属性特征向量。

图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图10示出的电子设备的计算机系统1000仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图10所示，计算机系统1000包括中央处理单元(Central Processing Unit，CPU)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种场景图生成方法，其特征在于，所述方法包括：

获取待处理图像中包含的各个对象的多个特征向量；

将所述各个对象的属性信息投影到同一向量空间中，获得各个实体的嵌入向量；

基于预先构建的知识图谱中的关联关系，确定所述各个对象在所述知识图谱中关联的实体，基于所述各个对象的嵌入向量和与所述各个对象关联的实体的嵌入向量，获得所述各个对象在所述知识图谱中对应的特征向量；所述知识图谱包括所述待处理图像中的各个对象；

根据所述各个对象在所述知识图谱中对应的特征向量和所述各个对象的多个特征向量进行特征向量的融合处理，得到所述各个对象的第一特征向量；

根据所述各个对象的多个特征向量进行特征向量的融合处理，得到所述各个对象的第二特征向量；

根据所述第一特征向量和所述第二特征向量，生成所述各个对象的目标特征向量；

根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系；

根据所述待处理图像中包含的多个对象以及所述待处理图像中包含的对象关系，生成针对所述待处理图像的场景图。

2.根据权利要求1所述的方法，其特征在于，根据所述第一特征向量和所述第二特征向量，生成所述各个对象的目标特征向量，包括：

对所述第一特征向量和所述第二特征向量分别进行加权，得到加权后的第一特征向量和加权后的第二特征向量；

对所述加权后的第一特征向量与所述加权后的第二特征向量进行合并处理，得到所述各个对象的目标特征向量。

3.根据权利要求1所述的方法，其特征在于，根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系，包括：

将所述两两对象组合成对象对，根据所述对象对中两两对象分别对应的目标特征向量，生成所述对象对的特征向量；

将所述对象对的特征向量输入预定的分类器，得到所述分类器输出的分类预测结果，所述分类预测结果中包含有所述对象对中两两对象之间的关系属于各个关系类别的预测分数；

将最大预测分数指示的关系类别作为所述两两对象之间的关系类别，以得到所述待处理图像中包含的对象关系。

4.根据权利要求1所述的方法，其特征在于，所述多个特征向量包含有所述各个对象的图像特征向量，所述方法还包括：

对所述待处理图像进行目标检测，以获得所述待处理图像中包含的各个对象对应的图像区域；

根据所述各个对象对应的图像区域，获取所述各个对象的图像特征向量。

5.根据权利要求1所述的方法，其特征在于，所述多个特征向量包含有所述各个对象的类别特征向量，所述方法还包括：

获取所述各个对象的类别标签，并对所述各个对象的类别标签进行向量化，得到所述各个对象的类别特征向量。

6.根据权利要求1所述的方法，其特征在于，所述多个特征向量中包含有所述各个对象的属性特征向量，所述方法还包括：

获取所述各个对象的属性标签，并对所述各个对象的属性标签进行向量化，得到所述各个对象的属性特征向量。

7.一种场景图生成装置，其特征在于，所述装置包括：

获取单元，配置为获取待处理图像中包含的各个对象的多个特征向量；

融合处理单元，配置为将所述各个对象的属性信息投影到同一向量空间中，获得各个实体的嵌入向量；基于预先构建的知识图谱中的关联关系，确定所述各个对象在所述知识图谱中关联的实体，基于所述各个对象的嵌入向量和与所述各个对象关联的实体的嵌入向量，获得所述各个对象在所述知识图谱中对应的特征向量；所述知识图谱包括所述待处理图像中的各个对象；根据所述各个对象在所述知识图谱中对应的特征向量和所述各个对象的多个特征向量进行特征向量的融合处理，得到所述各个对象的第一特征向量；根据所述各个对象的多个特征向量进行特征向量的融合处理，得到所述各个对象的第二特征向量；根据所述第一特征向量和所述第二特征向量，生成所述各个对象的目标特征向量；

分类单元，配置为根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系；

生成单元，配置为根据所述待处理图像中包含的多个对象以及所述待处理图像中包含的对象关系，生成针对待处理图像的场景图。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的场景图生成方法。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的场景图生成方法。