CN111767379B - 图像问答方法、装置、设备以及存储介质 - Google Patents

图像问答方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN111767379B
CN111767379B CN202010603698.1A CN202010603698A CN111767379B CN 111767379 B CN111767379 B CN 111767379B CN 202010603698 A CN202010603698 A CN 202010603698A CN 111767379 B CN111767379 B CN 111767379B
Authority
CN
China
Prior art keywords
image
graph
fusion
node
query statement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010603698.1A
Other languages
English (en)
Other versions
CN111767379A (zh
Inventor
钦夏孟
李煜林
黄聚
谢群义
韩钧宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010603698.1A priority Critical patent/CN111767379B/zh
Publication of CN111767379A publication Critical patent/CN111767379A/zh
Priority to EP21275029.3A priority patent/EP3885935A1/en
Priority to US17/206,351 priority patent/US20210264190A1/en
Priority to KR1020210037798A priority patent/KR20210040301A/ko
Priority to JP2021051835A priority patent/JP7291169B2/ja
Application granted granted Critical
Publication of CN111767379B publication Critical patent/CN111767379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开了图像问答方法、装置、设备以及存储介质，涉及图像处理、计算机视觉、深度学习以及自然语言处理技术领域。具体实现方案为：根据查询语句，构建具有拓扑结构的问题图以及提取查询语句的问题特征；根据与查询语句对应的目标图像，构建具有拓扑结构的视觉图和文本图；利用融合模型将视觉图、文本图和问题图进行融合，得到最终融合图；根据最终融合图提取的推理特征以及问题特征，确定查询语句的答复信息。本申请实施例由于将基于目标图像和查询语句所构建视觉图、文本图和问题图进行跨模态的融合，因此可以获取到目标图像在不同模态下的关注点，从而能够在此基础上根据查询语句的意图更加准确的识别出图像问答的答案。

Description

图像问答方法、装置、设备以及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及计算机视觉、深度学习以及自然语言处理技术领域。
背景技术
在现有的图像问答技术中，由于查询语句中通常包含有大量口语化的描述，且查询语句所对应的图像中通常存在较多目标，因此很难做到快速准确的理解问题，并且从图像中准确的推理出对应答案。
发明内容
本申请提供了一种图像问答方法、装置、设备以及存储介质。
根据本申请的一方面，提供了一种图像问答方法，包括：
根据查询语句，构建具有拓扑结构的问题图以及提取查询语句的问题特征；
根据与查询语句对应的目标图像，构建具有拓扑结构的视觉图和文本图；
利用融合模型将视觉图、文本图和问题图进行融合，得到最终融合图；
根据最终融合图提取的推理特征以及问题特征，确定查询语句的答复信息。
根据本申请的另一方面，提供了一种图像问答装置，包括：
查询语句模块，用于根据查询语句，构建问题图以及提取查询语句的问题特征；
图像模块，用于根据与查询语句对应的目标图像，构建视觉图和文本图；
融合模块，用于利用融合模型将视觉图、文本图和问题图进行融合，得到最终融合图；
确定模块，用于根据最终融合图提取的推理特征以及问题特征，确定查询语句的答复信息。
根据本申请的另一方面，提供了一种电子设备，电子设备的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，电子设备的结构中包括处理器和存储器，存储器用于存储支持电子设备执行上述图像问答的方法的程序，处理器被配置为用于执行存储器中存储的程序。电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，用于存储电子设备及电子设备所用的计算机软件指令，其包括用于执行上述图像问答的方法所涉及的程序。
根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
根据本申请的技术解决了现有技术中无法准确的从图像中推理出查询语句所对应答案的问题。本申请实施例由于将基于目标图像和查询语句所构建视觉图、文本图和问题图进行跨模态的融合，因此可以获取到目标图像在不同模态下的关注点，从而能够在此基础上根据查询语句的意图更加准确的识别出图像问答的答案。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例的图像问答方法的示意图；
图2是根据本申请实施例的图像问答方法的步骤S10的示意图；
图3是根据本申请另一实施例的图像问答方法的步骤S10的示意图；
图4是根据本申请实施例的应用示意图；
图5是根据本申请实施例的图像问答方法的步骤S20的示意图；
图6是根据本申请另一实施例的图像问答方法的步骤S20的示意图；
图7是根据本申请另一实施例的图像问答方法的步骤S20的示意图；
图8是根据本申请另一实施例的图像问答方法的步骤S20的示意图；
图9是根据本申请实施例的图像问答方法的步骤S30的示意图；
图10是根据本申请实施例的应用示意图；
图11是根据本申请另一实施例的图像问答方法的示意图；
图12是根据本申请实施例的应用示意图；
图13是根据本申请实施例的图像问答装置的示意图；
图14是用来实现本申请实施例的图像问答方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
根据本申请的实施例，如图1所示，本申请提供了一种图像问答方法，包括：
S10：根据查询语句，构建具有拓扑结构的问题图以及提取查询语句的问题特征。
查询语句可以包括针对图像进行提问的任何内容。查询语句可以是语音形式的语句，也可以是文字形式的语句。例如，查询语句可以为“请问图中有几个男士？”。
问题图可以理解为由节点和节点之间的边关系所构建的拓扑图。该拓扑图的具体节点、节点所对应的特征以及节点之间的边关系可以根据查询语句进行自定义。
问题特征可以包括用于表示查询语句意图或语义的任意特征。问题特征的提取方式和问题特征的维度可以根据需要进行选择和调整，只要能够实现获取的问题特征能够表征与查询语句相关的内容即可。
S20：根据与查询语句对应的目标图像，构建具有拓扑结构的视觉图和文本图。
目标图像可以理解为查询语句所提问的目标。目标图像可以是一张也可以是多张。
视觉图可以理解为由节点和节点之间的边关系所构建的拓扑图。该拓扑图的具体节点、节点所对应的特征以及节点之间的边关系可以根据目标进行自定义。视觉图可以用于表示目标图像中识别出的各个目标视觉相关内容的拓扑关系。
文本图可以理解为由节点和节点之间的边关系所构建的拓扑图。该拓扑图的具体节点、节点所对应的特征以及节点之间的边关系可以根据目标进行自定义。文本图可以用于表示目标图像中识别出的各个目标类别和相互间关联性的拓扑关系。
S30：利用融合模型将视觉图、文本图和问题图进行融合，得到最终融合图。
融合模型可以采用现有技术中的任意神经网络模型，只要能够实现不同模态下的拓扑图的融合即可。
最终融合图中可以包含有视觉图中每个节点的节点特征和/或节点边关系，文本图中每个节点的节点特征和/或节点边关系，问题图中每个节点的节点特征和/或节点边关系。
S40：根据最终融合图提取的推理特征以及问题特征，确定查询语句的答复信息。
推理特征可以理解为表示查询语句与目标图像之间的关系的特征。答复信息可以理解为基于查询语句的意图和目标图像中的图像内容，所作出的针对查询语句的回答。例如，当查询语句为“图中有几个男士？”时，答复信息可以为“图中有三个男士”。
根据本申请的技术解决了现有技术中无法准确的从图像中推理出查询语句所对应答案的问题。本申请实施例通过构建视觉图和问题图来学习不同模态上的关注点，从而降低了包含多目标的图像和复杂问题带来的噪声。同时，通过构建了文本图来显式表示目标图像上各目标之间的视觉语义关系，提高了关系推理的能力。同时，由于将基于目标图像和查询语句所构建的视觉图、文本图和问题图进行跨模态的融合，因此可以实现根据目标图像在不同模态下的关注点以及查询语句的意图，进过多步关系推理而更加准确的识别出图像问答的答案。
在一种实施方式中，如图2所示，根据查询语句，构建问题图，包括：
S11：利用句法分析算法对查询语句进行计算，确定各个词节点之间的边关系，各个词节点由从查询语句中的各个词构成。
查询语句中的词可以根据现有技术中的方式进行识别确认。词可以包括单字、单个字母、单词、词汇等。
句法分析算法用于分析查询语句中的结构化的句法依存关系。根据分析得到的句法关系确定各个词节点之间的边关系。问题图的边En可以用一种二进制表示
Figure GDA0002932351020000051
其中，k2表示节点个数，n表示问题图的标识。
句法分析算法可以采用自然语言处理(NLP，Natural Language Processing)的任意算法。例如，依存句法分析(Dependency Parsing)、句法结构分析(syntactic structureparsing)、成分结构分析(constituent structure parsing)和短语结构分析(phrasestructure parsing)等。
S12：根据查询语句，确定各个词节点的节点特征。
可以通过词编码和特征编码方式确定查询语句中各词节点的节点特征。具体采用的词编码和特征编码可以根据需要进行选择。例如，可以通过Glove(Global Vectors forWord Representation，单词表示的全局向量)词编码和Bi-GRU(Bi Gate Recurrent Unit，双向门循环单元)特征编码得到问题图的各词节点的节点特征
Figure GDA0002932351020000052
其中，k2表示节点个数，n表示问题图的标识，无实际含义。
S13：根据各个词节点的节点特征以及各个词节点之间的边关系，构建问题图。
在本实施例中，基于查询语句构建问题图，能够有效的获取到查询语句中各词之间的关联关系以及各词的特征向量，从而进一步准确确定查询语句的关注点。
在一种实施方式中，如图3所示，图像问答方法还包括：
S50：利用第一编码模型对各个词节点的节点特征进行更新。
第一编码网络可以采用任意神经网络结构，只要能够实现对问题图的各词节点的节点特征进行更新即可。
第一编码模型通过对问题图的词节点的节点特征以及词节点之间的边关系进行计算，可以对问题图中各词节点的节点特征进行更新，使得问题图中各侧节点的节点特征更加准确。
在一个示例中，如图4所示，利用第一编码模型对各个词节点的节点特征进行更新，包括：
将构建的问题图输入第一编码模型的全连接层，通过全连接层将问题图的各词节点的节点特征V映射成特征维度为d的节点特征X，具体表示为：X＝σ(W1*V)。其中，V表示节点特征，W1表示全连接层的参数。
根据问题图的边关系E，利用对角矩阵和拉普拉斯变换，得到拉普拉斯矩阵L(graph Laplacian)。
将拉普拉斯矩阵L和节点特征X输入一个图卷积层(Gconv1)进行问题图的节点特征的更新和隐式关系的学习，得到更新的节点特征X′。其中，(Gconv1)的更新策略定义如下：
X′＝σ(W2(X+W3(L X)))；
L＝(D)-1/2E(D)1/2；
Figure GDA0002932351020000061
其中，
Figure GDA0002932351020000062
表示对角矩阵。k1表示节点个数。W2表示可学习的参数。W3表示可学习的参数。i表示节点序号。j表示节点序号。
将更新的节点特征X′输入关联层(Adj)，利用关联层学习各节点之间隐式的关系矩阵A′。具体表示如下：
A′＝{a′ij},i,j∈[1,…,K1]；
Figure GDA0002932351020000063
Figure GDA0002932351020000064
其中，i表示节点序号。j表示节点序号。k1表示节点个数。
将更新的节点特征X′和关系矩阵A′输入另一个图卷积层(Gconv2)。通过该图卷积层对节点特征X′再次进行更新，得到节点特征X″。Gconv2的更新策略定义如下：X″＝X′+W4(A′X′)。其中，W4表示可学习的参数。
基于各节点特征的更新结果完成对问题图的更新。
在一种实施方式中，如图5所示，根据与查询语句对应的目标图像，构建视觉图，包括：
S21：利用目标检测算法识别目标图像中包括的各个目标，以及确定各个目标的表观特征和空间特征。
目标检测算法可以采用图像识别中的任意方法，只要能够实现对图像中目标的识别即可。例如，目标检测算法可以采用R-CNN(Region Convolutional Neural Networks，区域卷积神经网络)、Fast RCNN(Fast Region Convolutional Neural Networks，快速区域卷积神经网络)、Faster RCNN(Faster Region Convolutional Neural Networks，快速区域卷积神经网络)等。通过目标检测算法可以检测出目标图像中存在的目标K1。以及根据识别出的目标K1，利用ROI Pooling(region of interest Pooling，感兴趣区域池化)提取目标K1的表观特征F，
Figure GDA0002932351020000071
和空间特征S，/>
Figure GDA0002932351020000072
Figure GDA0002932351020000073
目标图像中包括的目标可以理解为图像中的任何事物。例如，图像中的人物、建筑、交通工具、动物等均可以被认为是目标图像中的目标。
空间特征可以包括用于表示图像中识别出的目标在图像中的位置、角度等。表观特征可以包括表示目标视觉相关内容的特征，例如，纹理、颜色、形状等特征，以及更高维度的特征。
S22：根据各个目标的表观特征和空间特征，确定由各个目标构成的各视觉图节点的节点特征。节点特征Vm可以表示为Vm＝{F||S}，其中，m表示视觉图的标识，无实际含义。
S23：根据各个目标之间的重叠度(IOU，Intersection over Union)，确定各视觉图节点之间的边关系。
当两个目标之间的重叠度大于设定的阈值时，则认为两个视觉图节点之间存在边关系。当两个目标之间的重叠度小于设定的阈值时，则认为两个视觉图节点之间不存在边关系。视觉图的边Em可以用一种二进制表示
Figure GDA0002932351020000074
其中，k1表示目标，m表示视觉图的标识，无实际含义。
S24：根据各视觉图节点的节点特征以及各视觉图节点之间的边关系，构建视觉图。
在本实施例中，基于目标图像构建的视觉图可以能够有效的获取到目标图像中表示每个目标的特征向量，以及各个目标之间的视觉相关特征的关联关系。
在一种实施方式中，如图6所示，图像问答方法还包括：
S60：利用第二编码模型对各视觉图节点的节点特征进行更新。
第二编码网络可以采用与第一编码网络相同的结构。第二编码网络对视觉图的各视觉图节点的节点特征的更新过程，与上述第一编码网络对问题图的各词节点的节点特征的更新过程基本一致，在此不再赘述。具体更新过程可以参考上述第一编码网络，两者的区别在于输入的拓扑图不同，也即是说输入的节点的节点特征和边关系不同。
第二编码模型通过对视觉图的视觉图节点的节点特征以及视觉图节点之间的边关系进行计算，可以对视觉图中各视觉图节点的节点特征进行更新，使得视觉图中各视觉图节点的节点特征更加准确。
在一个示例中，第一编码网络和第二编码网络为同一编码网络，也即是说视觉图和问题图通过同一个编码网络进行节点特征的更新。
在一种实施方式中，如图7所示，根据与查询语句对应的目标图像，构建文本图，包括：
S25：利用视觉关系检测算法(VRD，Visual Relationship Detection)确定目标图像中识别出的各个目标的标签特征以及各个目标之间的关系特征。
标签特征可以包括用于表示目标所属类型的特征。例如，通过标签特征可以确定目标为人物、建筑或车辆等。目标之间的关系特征可以包括用于表示两个目标之间位置关系的特征。例如，通过目标之间的关系特征可以确定目标一(人物)和目标二(自行车)之间的关系是目标一坐在目标二上。
S26：根据各个目标的标签特征和各个目标之间的关系特征，确定由各个目标构成的各文本图节点的节点特征。
S27：根据各个目标之间的关系特征，确定各文本图节点之间的边关系。
S28：根据各文本图节点的节点特征以及各文本图节点之间的边关系，构建文本图。
在本实施中，基于目标图像构建的文本图可以能够有效的获取到目标图像中表示每个目标类别的标签特征，以及各个目标之间的关联关系特征。
在一个示例中，通过视觉关系检测算法得到目标图像I中K1个目标对应的labels(标签)以及两两之间存在的关系relations(关系)。利用Glove词编码和Bi-GRU特征编码将labels映射成标签特征L，
Figure GDA0002932351020000091
利用Glove词编码和Bi-GRU特征编码将relations映射成关系特征R，/>
Figure GDA0002932351020000092
Figure GDA0002932351020000093
再将得到的关系特征R按照其中一个K1维度进行Average Sum(平均求和)操作得到新的关系特征/>
Figure GDA0002932351020000094
最后合并labels和relations对应的特征得到文本图的节点特征Vl＝L+R′。文本图的边El是根据两个物体之间是否存在关系来构建的，二进制表示为/>
Figure GDA0002932351020000095
Figure GDA0002932351020000096
在一种实施方式中，如图8所示，图像问答方法还包括：
S70：利用第三编码模型对各文本图节点的节点特征进行更新。
第三编码网络可以采用与第一编码网络相同的结构。第三编码网络对文本图的各文本图节点的节点特征的更新过程，与上述第一编码网络对问题图的各词节点的节点特征的更新过程一致，在此不再赘述。具体更新过程可以参考上述第一编码网络，两者的区别在于输入的拓扑图不同，也即是说输入的节点的节点特征和边关系不同。
第三编码模型通过对文本图的文本图节点的节点特征以及文本图节点之间的边关系进行计算，可以对文本图中各文本图节点的节点特征进行更新，使得文本图中各文本图节点的节点特征更加准确。
在一个示例中，第一编码网络和第三编码网络为同一编码网络，也即是说文本图和问题图通过同一个编码网络进行节点特征的更新。
在一个示例中，第一编码网络、第二编码网络和第三编码网络为同一编码网络，也即是说文本图、视觉图和问题图均通过同一个编码网络进行节点特征的更新。
在一种实施方式中，如图9所示，利用融合模型将视觉图、文本图和问题图进行融合，得到最终融合图，包括：
S31：利用第一融合模型将视觉图和文本图进行融合，得到第一融合图。
S32：利用第二融合模型将文本图和问题图进行融合，得到第二融合图。
S33：利用第三融合模型将第一融合图和第二融合图进行融合，得到最终融合图。
在本实施中，由于将基于目标图像和查询语句所构建视觉图、文本图和问题图进行跨模态的融合，因此可以获取到目标图像在不同模态下的关注点，从而能够在此基础上根据查询语句的意图更加准确的识别出图像问答的答案。
在一个示例中，第一融合模型、第二融合模型和第三融合模型可以次用相同的神经网络结构。第一融合模型、第二融合模型和第三融合模型也可以是同一个融合模型，也即是说通过一个融合模型执行上述步骤S31至S33。
在一个示例中，如图10所示，利用第一融合模型将视觉图和文本图进行融合，得到第一融合图，包括：
利用图匹配算法(Graph Match)对视觉图G′1＝{X″,Em}和文本图G′2＝{Y″,En}之间的节点特征进行对齐，从而使得不同模态的特征融合更加准确。图匹配算法可以表示如下：
sij＝fa(x″i,y″j),{i∈K1,j∈K2}；
其中，x″i∈X″，x″i表示为视觉图的节点特征。y″j∈Y″,y″j表示为文本图的节点特征。K1和K2分别表示融合的两个图的节点的个数，fa可以设置一个双线性映射。具体可以表示如下：
Figure GDA0002932351020000101
Figure GDA0002932351020000102
其中，
Figure GDA0002932351020000111
是可学习的矩阵参数,τ是数值问题的超参数。
经过图匹配算法后，得到两个图节点的匹配矩阵
Figure GDA0002932351020000112
接着使用注意力机制得到两个图节点之间的基于匹配关系的注意力图S1(attention map)。
再利用注意力图S1对视觉图和文本图进行融合并输入全连接层后，得到第一融合图Gf1，Gf1表示为：Gf1＝{Vf1,Ef1}。
利用注意力图S1对视觉图和文本图进行融合的具体的融合策略如下：
Figure GDA0002932351020000113
Ef1＝En；
其中，W5表示为可学习的参数。n表示标识，无实际含义。
在一个示例中，第二融合模型可以采用与第一融合模型相同的结构。利用第二融合模型将文本图和问题图进行融合的过程，与利用第一融合模型将视觉图和文本图进行融合的过程一致，在此不再赘述。具体融合过程可以参考上述第一融合模型的实施例。
第三融合模型可以采用与第一融合模型相同的结构。利用第三融合模型将第一融合图和第二融合图进行融合的过程，与利用第一融合模型将视觉图和文本图进行融合的过程一致，在此不再赘述。具体融合过程可以参考上述第一融合模型的实施例。
在一种实施方式中，如图11所示，根据最终融合图提取的推理特征以及问题特征，确定查询语句的答复信息，包括：
S41：基于最终融合图提取的推理特征以及问题特征，利用多层感知器(MLP，Multilayer Perceptron)确定查询语句的答复信息。
在本实施例中，通过多层感知器对推理特征以及问题特征的计算，可以准确的推理出查询语句的答复信息。
在一个示例中，最终融合图通过最大池化(Max Pooling)操作获得用于最终回答生成所需的推理特征。
在一个示例中，根据查询语句，提取查询语句的问题特征，包括：
利用word embedding(词嵌入)和Bi-GRU特征编码对查询语句进行处理，确定目标语句的问题特征。
在一个示例中，如图12所示，图像问答方法包括：
利用依存句法分析算法和查询语句构建问题图，并利用第一编码模型对各个词节点的节点特征进行更新，得到更新的问题图。
利用Faster RCNN和目标图像构建视觉图，并利用第二编码模型对各视觉图节点的节点特征进行更新，得到更新的视觉图。
利用视觉关系检测算法和目标图像构建文本图，并利用第三编码模型对各文本图节点的节点特征进行更新，得到更新的文本图。
利用第一融合模型将视觉图和文本图进行融合，得到第一融合图，利用第二融合模型将文本图和问题图进行融合，得到第二融合图，利用第三融合模型将第一融合图和第二融合图进行融合，得到最终融合图。
最终融合图通过最大池化(Max Pooling)操作获得用于最终回答生成所需的推理特征。
通过词嵌入和Bi-GRU特征编码确定目标语句的问题特征。
基于最终融合图提取的推理特征以及问题特征，利用多层感知器确定查询语句的答复信息。
根据本申请的实施例，如图13所示，提供了一种图像问答装置，包括：
查询语句模块10，用于根据查询语句，构建问题图以及提取查询语句的问题特征。
图像模块20，用于根据与查询语句对应的目标图像，构建视觉图和文本图。
融合模块30，用于利用融合模型将视觉图、文本图和问题图进行融合，得到最终融合图。
确定模块40，用于根据最终融合图提取的推理特征以及问题特征，确定查询语句的答复信息。
在一种实施方式中，融合模块30包括：
第一融合子模块，用于利用第一融合模型将视觉图和文本图进行融合，得到第一融合图。
第二融合子模块，用于利用第二融合模型将文本图和问题图进行融合，得到第二融合图。
第三融合子模块，用于利用第三融合模型将第一融合图和第二融合图进行融合，得到最终融合图。
在一种实施方式中，查询语句模块10包括：
第一确定子模块，用于利用句法分析算法对查询语句进行计算，确定各个词节点之间的边关系，各个词节点由从查询语句中的各个词构成。
第二确定子模块，用于根据查询语句，确定各个词节点的节点特征。
第一构建子模块，用于根据各个词节点的节点特征以及各个词节点之间的边关系，构建问题图。
在一种实施方式中，图像问答装置还包括：
第一更新模块，用于利用第一编码模型对各个词节点的节点特征进行更新。
在一种实施方式中，图像模块20包括：
第三确定子模块，用于利用目标检测算法识别目标图像中包括的各个目标，以及确定各个目标的表观特征和空间特征。
第四确定子模块，用于根据各个目标的表观特征和空间特征，确定由各个目标构成的各视觉图节点的节点特征。
第五确定子模块，用于根据各个目标之间的重叠度，确定各视觉图节点之间的边关系。
第二构建子模块，用于根据各视觉图节点的节点特征以及各视觉图节点之间的边关系，构建视觉图。
在一种实施方式中，图像问答装置还包括：
第二更新模块，用于利用第二编码模型对各视觉图节点的节点特征进行更新。
在一种实施方式中，图像模块20包括：
第六确定子模块，用于利用视觉关系检测算法确定目标图像中识别出的各个目标的标签特征以及各个目标之间的关系特征。
第七确定子模块，用于根据各个目标的标签特征和各个目标之间的关系特征，确定由各个目标构成的各文本图节点的节点特征。
第八确定子模块，用于根据各个目标之间的关系特征，确定各文本图节点之间的边关系。
第三构建子模块，用于根据各文本图节点的节点特征以及各文本图节点之间的边关系，构建文本图。
在一种实施方式中，图像问答装置还包括：
第三更新模块，用于利用第三编码模型对各文本图节点的节点特征进行更新。
在一种实施方式中，确定模块40包括：
第九确定子模块，用于基于最终融合图提取的推理特征以及问题特征，利用多层感知器确定查询语句的答复信息。
本申请上述图像问答装置的功能可以参考上述图像问答方法的各实施例。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图14所示，是根据本申请实施例的图像问答的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图14所示，该电子设备包括：一个或多个处理器1401、存储器1402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图14中以一个处理器1401为例。
存储器1402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像问答的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像问答的方法。
存储器1402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像问答的方法对应的程序指令/模块(例如，附图13所示的查询语句模块10、图像模块20、融合模块30和确定模块40)。处理器1401通过运行存储在存储器1402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像问答的方法。
存储器1402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像问答的电子设备的使用所创建的数据等。此外，存储器1402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1402可选包括相对于处理器1401远程设置的存储器，这些远程存储器可以通过网络连接至图像问答的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像问答的方法的电子设备还可以包括：输入装置1403和输出装置1404。处理器1401、存储器1402、输入装置1403和输出装置1404可以通过总线或者其他方式连接，图14中以通过总线连接为例。
输入装置1403可接收输入的数字或字符信息，以及产生与图像问答的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向目标的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种图像问答方法，包括：
根据查询语句，构建具有拓扑结构的问题图以及提取所述查询语句的问题特征；
根据与所述查询语句对应的目标图像，构建具有拓扑结构的视觉图和文本图；
利用融合模型将所述视觉图、所述文本图和所述问题图进行融合，得到最终融合图；
根据所述最终融合图提取的推理特征以及所述问题特征，确定所述查询语句的答复信息；
所述根据与所述查询语句对应的目标图像，构建视觉图，包括：
利用目标检测算法识别所述目标图像中包括的各个目标，以及确定所述各个目标的表观特征和空间特征；
根据所述各个目标的表观特征和空间特征，确定由所述各个目标构成的各视觉图节点的节点特征；
根据所述各个目标之间的重叠度，确定所述各视觉图节点之间的边关系；
根据所述各视觉图节点的节点特征以及所述各视觉图节点之间的边关系，构建所述视觉图；
所述根据与所述查询语句对应的目标图像，构建文本图，包括：
利用视觉关系检测算法确定所述目标图像中识别出的各个目标的标签特征以及所述各个目标之间的关系特征；
根据所述各个目标的标签特征和所述各个目标之间的关系特征，确定由所述各个目标构成的各文本图节点的节点特征；
根据所述各个目标之间的关系特征，确定所述各文本图节点之间的边关系；
根据所述各文本图节点的节点特征以及所述各文本图节点之间的边关系，构建所述文本图；
所述利用融合模型将所述视觉图、所述文本图和所述问题图进行融合，得到最终融合图，包括：
利用第一融合模型将视觉图和所述文本图进行融合，得到第一融合图；
利用第二融合模型将所述文本图和所述问题图进行融合，得到第二融合图；
利用第三融合模型将所述第一融合图和所述第二融合图进行融合，得到所述最终融合图。
2.根据权利要求1所述的方法，其中，所述根据查询语句，构建问题图，包括：
利用句法分析算法对所述查询语句进行计算，确定各个词节点之间的边关系，所述各个词节点由从所述查询语句中的各个词构成；
根据所述查询语句，确定所述各个词节点的节点特征；
根据所述各个词节点的节点特征以及所述各个词节点之间的边关系，构建所述问题图。
3.根据权利要求2所述的方法，还包括：
利用第一编码模型对所述各个词节点的节点特征进行更新。
4.根据权利要求1所述的方法，还包括：
利用第二编码模型对所述各视觉图节点的节点特征进行更新。
5.根据权利要求1所述的方法，还包括：
利用第三编码模型对所述各文本图节点的节点特征进行更新。
6.根据权利要求1至5任一项所述的方法，其中，所述根据所述最终融合图提取的推理特征以及所述问题特征，确定所述查询语句的答复信息，包括：
基于所述最终融合图提取的推理特征以及所述问题特征，利用多层感知器确定所述查询语句的答复信息。
7.一种图像问答装置，包括：
查询语句模块，用于根据查询语句，构建具有拓扑结构的问题图以及提取所述查询语句的问题特征；
图像模块，用于根据与所述查询语句对应的目标图像，构建具有拓扑结构的视觉图和文本图；
融合模块，用于利用融合模型将所述视觉图、所述文本图和所述问题图进行融合，得到最终融合图；
确定模块，用于根据所述最终融合图提取的推理特征以及所述问题特征，确定所述查询语句的答复信息；
所述图像模块包括：
第三确定子模块，用于利用目标检测算法识别所述目标图像中包括的各个目标，以及确定所述各个目标的表观特征和空间特征；
第四确定子模块，用于根据所述各个目标的表观特征和空间特征，确定由所述各个目标构成的各视觉图节点的节点特征；
第五确定子模块，用于根据所述各个目标之间的重叠度，确定所述各视觉图节点之间的边关系；
第二构建子模块，用于根据所述各视觉图节点的节点特征以及所述各视觉图节点之间的边关系，构建所述视觉图；
所述图像模块包括：
第六确定子模块，用于利用视觉关系检测算法确定所述目标图像中识别出的各个目标的标签特征以及所述各个目标之间的关系特征；
第七确定子模块，用于根据所述各个目标的标签特征和所述各个目标之间的关系特征，确定由所述各个目标构成的各文本图节点的节点特征；
第八确定子模块，用于根据所述各个目标之间的关系特征，确定所述各文本图节点之间的边关系；
第三构建子模块，用于根据所述各文本图节点的节点特征以及所述各文本图节点之间的边关系，构建所述文本图；
所述融合模块包括：
第一融合子模块，用于利用第一融合模型将视觉图和所述文本图进行融合，得到第一融合图；
第二融合子模块，用于利用第二融合模型将所述文本图和所述问题图进行融合，得到第二融合图；
第三融合子模块，用于利用第三融合模型将所述第一融合图和所述第二融合图进行融合，得到所述最终融合图。
8.根据权利要求7所述的装置，其中，所述查询语句模块包括：
第一确定子模块，用于利用句法分析算法对所述查询语句进行计算，确定各个词节点之间的边关系，所述各个词节点由从所述查询语句中的各个词构成；
第二确定子模块，用于根据所述查询语句，确定所述各个词节点的节点特征；
第一构建子模块，用于根据所述各个词节点的节点特征以及所述各个词节点之间的边关系，构建所述问题图。
9.根据权利要求8所述的装置，还包括：
第一更新模块，用于利用第一编码模型对所述各个词节点的节点特征进行更新。
10.根据权利要求7所述的装置，还包括：
第二更新模块，用于利用第二编码模型对所述各视觉图节点的节点特征进行更新。
11.根据权利要求7所述的装置，还包括：
第三更新模块，用于利用第三编码模型对所述各文本图节点的节点特征进行更新。
12.根据权利要求7至11任一项所述的装置，其中，所述确定模块包括：
第九确定子模块，用于基于所述最终融合图提取的推理特征以及所述问题特征，利用多层感知器确定所述查询语句的答复信息。
13.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至6中任一项所述的方法。
CN202010603698.1A 2020-06-29 2020-06-29 图像问答方法、装置、设备以及存储介质 Active CN111767379B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010603698.1A CN111767379B (zh) 2020-06-29 2020-06-29 图像问答方法、装置、设备以及存储介质
EP21275029.3A EP3885935A1 (en) 2020-06-29 2021-03-16 Image questioning and answering method, apparatus, device and storage medium
US17/206,351 US20210264190A1 (en) 2020-06-29 2021-03-19 Image questioning and answering method, apparatus, device and storage medium
KR1020210037798A KR20210040301A (ko) 2020-06-29 2021-03-24 이미지 문답 방법, 장치, 기기, 저장매체 및 컴퓨터 프로그램
JP2021051835A JP7291169B2 (ja) 2020-06-29 2021-03-25 画像の質疑応答方法、装置、電子デバイス、記憶媒体、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010603698.1A CN111767379B (zh) 2020-06-29 2020-06-29 图像问答方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111767379A CN111767379A (zh) 2020-10-13
CN111767379B true CN111767379B (zh) 2023-06-27

Family

ID=72722918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010603698.1A Active CN111767379B (zh) 2020-06-29 2020-06-29 图像问答方法、装置、设备以及存储介质

Country Status (5)

Country Link
US (1) US20210264190A1 (zh)
EP (1) EP3885935A1 (zh)
JP (1) JP7291169B2 (zh)
KR (1) KR20210040301A (zh)
CN (1) CN111767379B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515886B (zh) * 2021-04-28 2023-11-24 上海科技大学 基于地标特征卷积的视觉定位方法、系统、终端及介质
CN113761153B (zh) * 2021-05-19 2023-10-24 腾讯科技（深圳）有限公司 基于图片的问答处理方法、装置、可读介质及电子设备
KR102342580B1 (ko) * 2021-07-16 2021-12-24 주식회사 애자일소다 딥러닝 알고리즘을 이용한 정형 데이터 처리 장치 및 방법
CN113722549B (zh) * 2021-09-03 2022-06-21 优维科技(深圳)有限公司 一种基于图的数据状态融合存储系统及方法
CN114266258B (zh) * 2021-12-30 2023-06-23 北京百度网讯科技有限公司 一种语义关系提取方法、装置、电子设备及存储介质
CN114444472B (zh) * 2022-04-02 2022-07-12 北京百度网讯科技有限公司 文本处理方法、装置、电子设备和存储介质
CN114581906B (zh) * 2022-05-06 2022-08-05 山东大学 自然场景图像的文本识别方法及系统
CN114842368B (zh) * 2022-05-07 2023-10-03 中国电信股份有限公司 基于场景的视觉辅助信息确定方法、系统、设备及存储介质
CN114973294B (zh) * 2022-07-28 2022-10-21 平安科技（深圳）有限公司 基于图文匹配方法、装置、设备及存储介质
CN115409855B (zh) * 2022-09-20 2023-07-07 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN115905591B (zh) * 2023-02-22 2023-05-30 浪潮电子信息产业股份有限公司 一种视觉问答方法、系统、设备及可读存储介质
CN116628004B (zh) * 2023-05-19 2023-12-08 北京百度网讯科技有限公司 信息查询方法、装置、电子设备及存储介质
KR102620260B1 (ko) * 2023-05-30 2023-12-29 국방과학연구소 그래프 기반의 객체 인식방법 및 장치
CN116862000B (zh) * 2023-09-01 2024-01-23 浪潮电子信息产业股份有限公司 一种生成式人工智能的因果思维链生成方法、装置及设备
CN117312516A (zh) * 2023-09-27 2023-12-29 星环信息科技(上海)股份有限公司 一种知识问答方法、装置、设备及存储介质
CN117271818B (zh) * 2023-11-22 2024-03-01 鹏城实验室 视觉问答方法、系统、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255359A (zh) * 2018-09-27 2019-01-22 南京邮电大学 一种基于复杂网络分析方法的视觉问答问题解决方法
WO2019148315A1 (en) * 2018-01-30 2019-08-08 Intel Corporation Visual question answering using visual knowledge bases
CN110717024A (zh) * 2019-10-08 2020-01-21 苏州派维斯信息科技有限公司 基于图像视觉到文本转换的视觉问答问题解决方法
CN111159376A (zh) * 2019-12-30 2020-05-15 深圳追一科技有限公司 会话处理方法、装置、电子设备以及存储介质
CN111177355A (zh) * 2019-12-30 2020-05-19 北京百度网讯科技有限公司 基于搜索数据的人机对话交互方法、装置和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007012039A (ja) * 2005-05-31 2007-01-18 Itochu Techno-Science Corp 検索システムおよびコンピュータプログラム
US9965705B2 (en) * 2015-11-03 2018-05-08 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering
US10872083B2 (en) * 2018-10-31 2020-12-22 Microsoft Technology Licensing, Llc Constructing structured database query language statements from natural language questions
CN110555153A (zh) * 2019-08-20 2019-12-10 暨南大学 一种基于领域知识图谱的问答系统及其构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019148315A1 (en) * 2018-01-30 2019-08-08 Intel Corporation Visual question answering using visual knowledge bases
CN109255359A (zh) * 2018-09-27 2019-01-22 南京邮电大学 一种基于复杂网络分析方法的视觉问答问题解决方法
CN110717024A (zh) * 2019-10-08 2020-01-21 苏州派维斯信息科技有限公司 基于图像视觉到文本转换的视觉问答问题解决方法
CN111159376A (zh) * 2019-12-30 2020-05-15 深圳追一科技有限公司 会话处理方法、装置、电子设备以及存储介质
CN111177355A (zh) * 2019-12-30 2020-05-19 北京百度网讯科技有限公司 基于搜索数据的人机对话交互方法、装置和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Graph-Structured Representations for Visual Question Answering;Damien Teney 等;ARXIV;全文 *
Relation-Aware Graph Attention Network for Visual Question Answering;Linjie Li;IEEE/CVF International Conference on Computer Vision (ICCV);全文 *
增强视觉特征的视觉问答任务研究;秦淑婧;杨关;;中原工学院学报(01);全文 *

Also Published As

Publication number Publication date
JP2021103576A (ja) 2021-07-15
JP7291169B2 (ja) 2023-06-14
KR20210040301A (ko) 2021-04-13
CN111767379A (zh) 2020-10-13
US20210264190A1 (en) 2021-08-26
EP3885935A1 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
CN111767379B (zh) 图像问答方法、装置、设备以及存储介质
KR102588894B1 (ko) 이미지 문답 방법, 장치, 컴퓨터 장비, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램
CN112560912B (zh) 分类模型的训练方法、装置、电子设备和存储介质
US11367271B2 (en) Similarity propagation for one-shot and few-shot image segmentation
CN112560496B (zh) 语义分析模型的训练方法、装置、电子设备及存储介质
WO2021093435A1 (zh) 语义分割网络结构的生成方法、装置、设备及存储介质
CN111259671B (zh) 文本实体的语义描述处理方法、装置及设备
CN112560479B (zh) 摘要抽取模型训练方法、摘要抽取方法、装置和电子设备
US11768876B2 (en) Method and device for visual question answering, computer apparatus and medium
EP3879456B1 (en) Method and apparatus for generating target re-recognition model and re-recognizing target
CN111241838B (zh) 文本实体的语义关系处理方法、装置及设备
CN115223020B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN111611808B (zh) 用于生成自然语言模型的方法和装置
CN111966782B (zh) 多轮对话的检索方法、装置、存储介质及电子设备
CN116127319B (zh) 多模态负样本构建、模型预训练方法、装置、设备及介质
CN116030235A (zh) 目标检测模型训练方法、目标检测方法、装置和电子设备
CN112053362B (zh) 图像分割方法、装置、电子设备及存储介质
CN111324747B (zh) 三元组的生成方法、装置及电子设备
CN114840656B (zh) 一种视觉问答方法、装置、设备及存储介质
CN114973333B (zh) 人物交互检测方法、装置、设备以及存储介质
Park et al. A neuro-symbolic AI system for visual question answering in pedestrian video sequences
CN116226478B (zh) 信息处理方法、模型训练方法、装置、设备及存储介质
CN116453221B (zh) 目标对象姿态确定方法、训练方法、装置以及存储介质
WO2023236900A1 (zh) 一种项目推荐方法及其相关设备
CN117213496A (zh) 视觉导航方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant