CN110348462B - 一种图像特征确定、视觉问答方法、装置、设备及介质 - Google Patents

一种图像特征确定、视觉问答方法、装置、设备及介质 Download PDF

Info

Publication number
CN110348462B
CN110348462B CN201910617309.8A CN201910617309A CN110348462B CN 110348462 B CN110348462 B CN 110348462B CN 201910617309 A CN201910617309 A CN 201910617309A CN 110348462 B CN110348462 B CN 110348462B
Authority
CN
China
Prior art keywords
image
determining
matrix
feature
answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910617309.8A
Other languages
English (en)
Other versions
CN110348462A (zh
Inventor
梅崴
李长亮
丁洪利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Digital Entertainment Co Ltd
Original Assignee
Beijing Kingsoft Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Digital Entertainment Co Ltd filed Critical Beijing Kingsoft Digital Entertainment Co Ltd
Priority to CN201910617309.8A priority Critical patent/CN110348462B/zh
Publication of CN110348462A publication Critical patent/CN110348462A/zh
Application granted granted Critical
Publication of CN110348462B publication Critical patent/CN110348462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种图像特征确定、视觉问答方法、装置、设备及介质，图像特征确定方法包括：接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。

Description

一种图像特征确定、视觉问答方法、装置、设备及介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像特征确定、视觉问答方法、装置、设备及介质。
背景技术
现有技术中有许多研究领域涉及到图像特征的确定，例如在视觉问答领域。视觉问答(Visual Question Answering，VQA)是一种涉及计算机视觉和自然语言处理的综合性任务，一个视觉问答系统的输入包含一张图像和一个问句，结合这两部分信息，输出一个符合自然语言规则且内容合理的答案来回答该问句。在视觉问答领域，图像特征的确定结果可以直接影响问题答案的准确性。
现有技术中，通过目标检测网络得到图像的候选特征框，并从候选特征框提取出相应的图像特征，各个图像特征之间相对独立，未考虑同一图像的各个图像特征之间的相互关系，且并未对各个候选特征框的特征框信息进行有效利用；现有技术中，采取的是直接统计数据集中所有出现过的答案作为最终分类的候选项，分类种类较大，难以保障分类精度，导致系统整体准确率不足，降低视觉问答准确性。
有鉴于此，需要更有效和更高效的图像特征确定和视觉问答方案。
发明内容
本说明书实施例提供一种图像特征确定方法、装置、设备及介质，用以解决如何更有效或更高效地进行图像特征确定的技术问题；本说明书实施例提供一种视觉问答方法，用以解决如何更高效和更准确地进行视觉问答的技术问题。
为解决上述技术问题，本说明书实施例是这样实现的：
本说明书实施例提供一种图像特征确定方法，包括：
接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；
根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；
根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。
本说明书实施例提供一种图像特征确定装置，包括；
初始特征确定模块，用于确定目标图像的图像内容特征以及图像几何特征；
编码模块，用于确定所述图像几何特征的位置编码；
关联矩阵确定模块，用于根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；
图像特征确定模块，用于根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。
本说明书实施例提供一种图像特征确定设备，包括：
至少一个处理器；
以及，
与所述至少一个处理器通信连接的存储器；
其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；
根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；
根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。
本说明书实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如下的步骤：
接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；
根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；
根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
通过确定图像内容特征以及图像几何特征，引入自注意力机制，对各个特征框之间的关系进行编码，能够充分利用各个特征框的特征框信息，能够确定图像内容特征之间的位置关系和/或相互关联关系，将融合了关联关系的图像内容特征作为图像特征，有效提高了图像特征的信息丰富度和准确度。
本说明书实施例提供一种视觉问答方法，包括：
接收目标图像输入与问题输入；
确定问题特征以及目标图像的图像特征，根据所述图像特征和问题特征确定预测答案，以及根据所述问题特征确定掩模矩阵；
根据所述预测答案和所述掩模矩阵确定并输出最终答案；
其中，所述图像特征根据上述实施例得到。
本说明书实施例提供一种视觉问答装置，包括：
输入模块，用于接收目标图像输入与问题输入；
图像特征确定模块，用于确定所述目标图像的图像特征；
问题特征确定模块，用于确定所述问题的问题特征；
预测答案确定模块，用于根据所述图像特征和问题特征确定预测答案；
掩模确定模块，用于根据所述问题特征确定掩模矩阵；
应答模块，用于根据所述预测答案和所述掩模矩阵确定并输出最终答案。
本说明书实施例提供一种视觉问答设备，包括：
至少一个处理器；
以及，
与所述至少一个处理器通信连接的存储器；
其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
接收目标图像输入与问题输入；
确定问题特征以及目标图像的图像特征，根据所述图像特征和问题特征确定预测答案，以及根据所述问题特征确定掩模矩阵；
根据所述预测答案和所述掩模矩阵确定并输出最终答案；
其中，所述图像特征根据上述实施例得到。
本说明书实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如下的步骤：
接收目标图像输入与问题输入；
确定问题特征以及目标图像的图像特征，根据所述图像特征和问题特征确定预测答案，以及根据所述问题特征确定掩模矩阵；
根据所述预测答案和所述掩模矩阵确定并输出最终答案；
其中，所述图像特征根据上述实施例得到。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
通过确定图像内容特征以及图像几何特征，引入自注意力机制，对各个特征框之间的关系进行编码，能够充分利用各个特征框的特征框信息，能够确定图像内容特征之间的位置关系和/或相互关联关系，将融合了关联关系的图像内容特征作为图像特征，有效提高了图像特征的信息丰富度和准确度，以及视觉问答的准确度；基于问题的语义表征对其答案进行分类，生成问题掩码，以对分类候选项进行过滤，能够有效减少答案分类数量，加快损失函数收敛速度，提高视觉问答的准确度。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对本说明书实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书第一个实施例中图像特征确定方法的流程示意图。
图2是本说明书第一个实施例中的图像特征确定过程示意图。
图3是本说明书第一个实施例中利用服务器确定图像特征的示意图。
图4是本说明书第二个实施例中视觉应答方法的流程示意图。
图5是本说明书第二个实施例中的视觉问答过程示意图。
图6是本说明书第二个实施例中利用服务器进行视觉应答的示意图。
图7是本说明书第二个实施例中的掩模生成与应用示意图。
图8是本说明书第二个实施例中的视觉问答示例图。
图9是本说明书第三个实施例中图像特征确定装置的结构示意图。
图10是本说明书第四个实施例中视觉应答装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
图1是本说明书第一个实施例中图像特征确定方法的流程示意图，图2是本说明书第一个实施例中的图像特征确定过程示意图。结合图1和图2，本实施例中的图像特征确定方法包括：
S101：接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征(均为矩阵，可以统称为图像特征提取)；以及，确定所述图像几何特征的位置编码。
本实施例的执行主体可以是计算机或服务器或相应的图像特征确定系统等，例如，可以具有如图3所示的服务器，将目标图像输入所述的服务器后，服务器输出本实施例中的图像特征。
在本实施例中，可以根据目标检测网络确定目标图像的候选特征框(也可称为特征框，即目标检测过程中生成的用以进行目标分类和特征框坐标回归的矩形候选区域；目标检测：与计算机视觉和图像处理相关的一项计算机技术，用来对图像或者视频中的目标实例进行分类和准确定位)，根据候选特征框确定目标图像的图像内容特征；和/或，可以根据目标检测网络确定目标图像的候选特征框，将候选特征框的坐标数据作为目标图像的图像几何特征。其中，图像内容特征可以是候选特征框内包含的内容信息经过深度神经网络编码之后的高维度特征，图像几何特征则可以是候选特征框的中心坐标以及宽、高等数据。
在本实施例中，可以利用一个或一类目标检测网络来进行目标图像的图像内容特征和图像几何特征的提取，也可以利用多个或多类目标检测网络来进行目标图像的图像内容特征和图像几何特征的提取。以下以两个(或两类)目标检测网络为例进行说明：
1.1、目标检测网络Faster RCNN
利用基于候选特征框的目标检测网络Faster RCNN，将该网络中感兴趣池化之后的全连接层的输出维度修改为需要的特征维度K，随后采用COCO数据集对该网络进行训练。感兴趣池化：对目标检测过程中生成的候选框进行池化操作，并生成维度相同的特征信息。
将目标图像输入训练完成后的网络中，由RPN(候选特征框推荐网络，Faster RCNN的一部分)产生包含目标置信度和特征框坐标的候选特征框；设置置信度阈值(置信度阈值推荐0.2，可以根据需要设置或变化)，将低于该阈值的候选特征框去除；根据目标置信度对剩余的候选特征框进行排序，取出前预定数量(例如100，可以根据需要设置或变化)个候选特征框对应的图像特征及特征框坐标信息(若根据置信度阈值过滤后剩余的候选特征框的数量不足所述的“预定数量”，则将根据置信度阈值过滤后剩余的候选特征框对应的图像特征以及特征框坐标信息全部取出)。
在本实施例中，对于每张图像，提取出的图像特征维度为N*2048(可以根据需要设置或变化)，特征框坐标信息维度为N*4(可以根据需要设置或变化)，其中N为筛选后的候选特征框个数(可以根据需要设置或变化)。
1.2、目标检测网络YOLOv3
利用基于网格的目标检测网络YOLOv3，采用官方预训练的权重进行推理。将目标图像输入网络当中，输出未经非极值抑制处理的预测结果；对于单张图像，输出维度为10647*255(可以根据需要设置或变化)，其中10647为所有的预测特征框数，255包含每个网格内3个特征框对应的特征框坐标、目标置信度和类别置信度；设置两个置信度阈值(推荐0.1和0.6，可以根据需要设置或变化)，通过目标置信度对预测特征框进行过滤，去除在所述两个阈值之间(例如0.1<conf<0.6)的特征框。在置信度低于0.1的特征框中，选取与原始目标图像交并比大于一定阈值(推荐0.125，可以根据需要设置或变化)的第一预定数量(例如20，可以根据需要设置或变化)个特征框；如根据置信度筛选后置信度低于0.1的特征框数不足所述第一预定数量，则将置信度低于0.1的特征框全部取出；在置信度大于0.6的特征框中，按置信度从高到低排序，选出前第二数量(例如80，可以根据需要设置或变化)个特征框；如根据置信度筛选后置信度大于0.6的特征框数不足所述第二预定数量，则将置信度大于0.6的特征框全部取出；将取出的这两部分特征框拼接在一起，从YOLOv3下采样率为32(可以根据需要设置或变化)的卷积层中提取出候选特征框对应图像内容特征，维度为M*m*n*1024(可以根据需要设置或变化)，其中M为特征框个数，m和n为特征框的宽和高；对该候选特征框对应图像内容特征进行二维最大池化，并利用线性插值进行维度转换，最终对于单张图像，图像内容特征维度为M*K(此处K值与Faster RCNN中的特征维度K相同，维度设置相同是为了方便后续对两种目标检测网络提取的图像内容特征进行拼接)，坐标信息维度为M*4(可以根据需要设置或变化)；存储该M*K的图像内容及特征框对应的M*4的坐标信息。
在本实施例中，由于使用了两种目标检测网络(也可以使用其他的目标检测网络，例如Mask RCNN，本实施例对此不作限定)，故可以分别将两种目标检测网络得到的图像内容特征在候选特征框维度上进行拼接，形成(M+N)*K维的图像内容特征，即为S101中所述的目标图像的图像内容特征，以下记为组合图像内容特征；可以分别将两种目标检测网络得到的图像几何特征在候选特征框维度上进行拼接，形成(M+N)*4维的图像几何特征，即为S101中所述的目标图像的图像几何特征，以下记为组合图像几何特征。
上面分别用两种目标检测网络确定目标图像的图像内容特征和图像几何特征。若使用的目标检测网络更多，则可以分别将各种目标检测网络得到的图像内容特征进行拼接，来得到上述的组合图像内容特征；相应的，也可以分别将各种目标检测网络得到的图像几何特征进行拼接，来得到上述的组合图像几何特征。当然，若是只使用一个目标检测网络，则可以把根据该目标检测网络得到的图像内容特征作为S101中所述的目标图像的图像内容特征；相应的，也可以把根据该目标检测网络得到的图像几何特征作为S101中所述的目标图像的图像几何特征。
目标检测网络是否属于同一种类的划分标准可以根据需要设置或变化。
在确定了目标图像的图像几何特征后，就可以确定图像几何特征的位置编码。本实施例中，位置编码包括绝对位置编码和相对位置编码。
具体的，确定目标图像的图像几何特征的绝对位置编码包括：
对任一候选特征框，不妨第n个候选特征框，将其坐标数据记为fn,fn包括xn,yn,wn,hn，其中，xn,yn为fn的中心坐标，wn为fn的宽度数据，hn为fn的高度数据。
使用可学习的线性变换矩阵Wn与该候选特征框的坐标矩阵fn相乘，得到该候选特征框对应的绝对位置编码，即绝对位置编码
Figure BDA0002124131090000081
从而对fn进行了编码。对于任一候选特征框，其原始的绝对位置信息是4个坐标值，通过与线性转换矩阵相乘，得到高维度的特征表示，即绝对位置编码，丰富了该特征的信息。
和/或，
确定目标图像的图像几何特征的相对位置编码包括：
对任意的第m(m≥1)个和第n(n≥1)个候选特征框，分别将它们的坐标数据记为fm和fn，fm包括xm,ym,wm,hm，其中，xm,ym为fm的中心坐标，wm为fm的宽度数据，hm为fm的高度数据；fn包括xn,yn,wn,hn，其中，xn,yn为fn的中心坐标，wn为fn的宽度数据，hn为fn的高度数据；
确定第m个和第n个候选特征框之间的坐标差值
Figure BDA0002124131090000091
根据
Figure BDA0002124131090000092
进行编码，得到fm和fn之间的相对位置编码
Figure BDA0002124131090000093
其中，Pos为fm和fn的4个坐标差值，i为位置编码的第i个维度，dmodel为位置编码的特征维度，Concatenate表示在特征维度进行矩阵拼接。
S102：根据所述位置编码确定所述图像内容特征之间的关联关系矩阵。
根据位置编码确定图像内容特征之间的关联关系矩阵包括：
将前述的(M+N)*K维的图像内容特征记为fC，并利用三个参数可学习的线性转换矩阵WV、WK和WQ，通过矩阵相乘分别产生fV＝fc.WV、fK＝fc.WK和fQ＝fc.WQ；此处利用三个线性转换矩阵分别于图像内容特征矩阵进行相乘，是为了后续计算图像特征的注意力(该注意力模型由Google在《Attention isall you need》一文中提出)，其中fv代表Value，fk代表Key，fQ代表Query，Query与Key用以计算注意力，该注意力与Value计算加权后的图像特征。
对fK和fQ通过Scale Dot计算出
Figure BDA0002124131090000094
并与相应的相对位置编码信息
Figure BDA0002124131090000095
进行加和，最终经过Softmax函数得注意力权重矩阵wmn，具体计算公式如下：
Figure BDA0002124131090000101
Figure BDA0002124131090000102
其中dk为
Figure BDA0002124131090000103
的特征维度，
Figure BDA0002124131090000104
和
Figure BDA0002124131090000105
分别代表第m个和第n个候选特征框内的图像内容特征；
将所述注意力权重矩阵wmn作为fm和fn的关联关系矩阵，该矩阵中各元素值的大小就是代表上述两候选特征框对应特征之间关联的程度，权重值越大，关联越紧密，权重值越小，关联越小。
S103：根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。
根据图像内容特征和关联关系矩阵确定目标图像的图像特征包括：
将注意力权重矩阵wmn与fV加权求和，从而得到包含了相对位置关系的加权图像特征
Figure BDA0002124131090000106
将所述包含相对位置关系的加权图像特征与绝对位置编码进行加和(即相加)，得到包含了相对位置关系和绝对位置关系的图像特征fI n：
Figure BDA0002124131090000107
fI n即为目标图像的图像特征。图像特征确定的过程也可以看作目标关系编码的过程。
上述的任一线性转换矩阵的构造如下：该矩阵的初始元素值是通过正态分布(在[0,1]中)采样得到，然后通过反向传播机制进行更新，确定最后的元素值。
本实施例中，通过确定图像内容特征以及图像几何特征，引入自注意力机制，对各个特征框之间的关系进行编码，能够充分利用各个特征框的特征框信息，能够确定图像内容特征之间的位置关系和/或相互关联关系，将融合了关联关系的图像内容特征作为图像特征，有效提高了图像特征的信息丰富度和准确度。
图4是本说明书第二个实施例中视觉问答方法的流程示意图，图5是本实施例中的视觉问答过程示意图，结合图4和图5，本实施例中的视觉问答方法包括：
S201：接收目标图像输入与问题输入。
本实施例的执行主体可以是计算机或服务器或相应的视觉问答系统等，例如，可以具有如图6所示的服务器，将目标图像和问题输入所述的服务器后，服务器输出本实施例中的答案。
在本实施例中，所述的目标图像可以与第一个实施例相同，所述的问题可以是实际情景中的问题。
S202：确定问题特征(矩阵)以及目标图像的图像特征，根据所述图像特征和问题特征确定预测答案，以及根据所述问题特征确定掩模矩阵。
确定目标图像的图像特征参见第一个实施例。
确定问题的问题特征包括：
对输入的问题进行拆分，对拆分后的词语进行词嵌入(词嵌入：自然语言处理中将来自词汇表的单词或短语映射到向量空间的过程)和编码，得到表征所述问题的语义信息的矩阵，将所述矩阵作为问题特征(矩阵)。具体的，可以将问题拆分为单词，再经过Glove进行词嵌入，最后经过LSTM、GRU等模块进行编码，得到表征问题语义信息的矩阵，作为问题矩阵。问题特征提取相当于通过词嵌入网络对问题进行编码，并通过RNN或Transformer提取出问题的语义信息
根据所述图像特征和问题特征确定预测答案包括：
将所述图像特征和所述问题特征进行融合处理，得到融合矩阵；其中，所述融合处理包括点乘和/或相加和/或双线性池化等多模态信息融合方式；可见，融合矩阵融合了语义信息和图像信息；多模态融合：组合来自各种输入模态的信息，并将其融合为有效的特征的过程，在视觉系统中指对图像特征和问题特征的融合过程；融合方式有多种选择，如基于注意力的融合、基于双线性池化的融合等；具体的，多模态融合可以包括：将上述的问题特征矩阵fQ(设维度为1*m)与线性变换矩阵WQ(构建方式如前述，设维度为m*k)作矩阵乘法，相乘结果经过激活函数relu，生成f’Q(维度为1*k)；将按第一个实施例得到的经过目标关系编码之后的图像特征fI(包含了各个候选特征框之间的关联关系，设维度为t*n)与线性变换矩阵WI(构建方式如上，设维度为n*k)作矩阵乘法，相乘结果经过激活函数relu，生成f’I(维度为t*k)；将f’Q与f’I的转置作矩阵乘法，得到问题特征与图像特征的相关矩阵，再经过softmax函数后，得到注意力矩阵Att(维度为1*t)；将该注意力矩阵与线性变换后的n*k维图像特征进行矩阵乘法，得到注意力引导下的图像特征fI Att，最后与变换后的问题特征f’Q进行元素级的点乘，得到融合后的特征ffusion；表示如下：
f′Q＝relu(fQ.WQ)
f′I＝relu(fI.WI)
Att＝softmax(f′Q.(f′I)T)
fI Att＝Att.f′I
ffusion＝f′Q*fI Att；
将融合矩阵进行分类，得到预测答案；包括：
融合后的矩阵经过分类器产生初步的预测答案，如下所示：
log its＝weight_norm(ffusion.WC1)
log its＝relu(log its)
log its＝Dropout(log its)
log its＝weight_norm(log its.WC2)
多模态融合后的特征ffusion(维度为1*k)与线性转换矩阵WC1(构建方式如上，设维度为k*h)作乘法后，经过权重规范化后，再依次进入relu激活函数和随机失活函数，最后与线性转换矩阵WC2(构建方式如上，设维度为h*a，其中a为候选答案的个数)进行矩阵乘法，并经权重规范化，得到初始的预测答案log its(维度为1*a)。
在第一个和第二个实施例中，线性转换矩阵的作用是进行特征维度的转换，学习图像的不同表征；relu激活函数是为神经网络增加非线性，提高网络的复杂度，提升特征的表征能力；权重规范化是用来约束线性转换矩阵中权值的大小，以提高模型的稳定性；随机失活是用来提高模型的泛化能力。
参考图5和图7，根据问题特征确定掩模矩阵包括：
选择问题-答案库(该库中包含了若干问题及其对应答案，可以使用现有的库或自行构造)中频次大于等于预设值(例如9)的答案，得到无重复元素的答案组，维度为a，与预测答案中的a相同；根据答案类型将答案组及其相应的问题分成k类，从而生成k*a维的基础掩模矩阵；对于每一个类别，属于该类的答案索引位置为1，其余类别答案索引位置为0；
将前述的问题特征矩阵fQ(设维度为1*m)与线性转换矩WI(构建方式如上，设维度为m*hidden)阵进行矩阵乘法，相乘结果进行权重规范化，得到f′Q；将权重规范化后的结果f′Q输入非线性激活函数relu，并将非线性激活函数relu的输出结果与线性转换矩阵W2(构建方式如上，设维度为hidden*k)进行矩阵乘法，并进行权重规范化，得到1*k维的logitstype；将所述logitstype输入gumbel_softmax函数，得到1*k维的问题分类输出矩阵Qtype(维度为)，该输出为one_hot形式向量，Qtype中值为1的元素所在索引值表示问题所属类别；表示如下：
f′Q＝weight_norm(fQ.W1)
f′Q＝relu(f′Q)
log itstype＝weight_norm(f′Q.W2)
Qtype＝gumbel_softmax(log itstype)
将所述问题分类输出矩阵与所述基础掩模矩阵相乘，从而得到1*a维的掩模矩阵。掩模矩阵相当于问题特征矩阵经过线性层/非线性激活层/线性层/Softmax进行转换后的输出。此外，可以将问题分类的真实标签表示成维度为1*k的one-hot向量，与问题的分类输出Qtype计算交叉熵损失。
S203：根据所述预测答案和所述掩模矩阵确定并输出最终答案。
根据所述预测答案和所述掩模矩阵确定并输出最终答案包括：
将所述预测答案与所述掩模矩阵进行元素级点乘，根据相乘结果确定并输出最终答案。具体的，将所述预测答案与所述掩模矩阵进行元素级点乘，相乘结果再经过softmax函数后，即可得到对每个候选答案预测出的置信度(即概率值)，经过argmax函数得到置信度最高的答案对应的索引，即可通过该索引在候选答案数组中挑选出相应的答案(多标签预测的过程)，表示如下：
logits’＝fmask*logits
answer_conf＝softmax(logits')
answer_index＝argmax(answer_conf)
本实施例中，可以将多标签预测结果与答案的真实标签计算答案分类损失；视觉问答的最终损失为问题分类损失和答案分类损失的加权求和，一般设置问题分类损失权重为5，答案分类损失权重为1
图8示出了本实施例的具体示例，通过输入目标图像和问题，最终得到问题答案(矩阵)。
计算机视觉领域中的多分类问题中和自然语言处理领域的多分类问答问题中，图像所属类别或者候选答案的数量较大，应用常规的分类方法，大量相关性较低的类别会对模型分类造成干扰，影响分类精度；本实施例中应用掩模对候选类别或答案进行筛选，可有效减少待分类个数，提高分类精度，以及提高机器资源利用率，提高机器处理效率。对于类别数目较大，且类别自身可进行层级归类的多分类问题，可以利用分类掩模进行备选答案过滤，降低分类维度，提高分类精度。本实施例的掩模可应用于自然语言处理中基于分类的问答模型、图像识别领域的细颗粒度分类等任务当中。
在本实施例中，通过确定图像内容特征以及图像几何特征，引入自注意力机制，对各个特征框之间的关系进行编码，能够充分利用各个特征框的特征框信息，能够确定图像内容特征之间的位置关系和/或相互关联关系，将融合了关联关系的图像内容特征作为图像特征，有效提高了图像特征的信息丰富度和准确度，以及视觉问答的准确度；基于问题的语义表征对其答案进行分类，生成问题掩码，以对分类候选项进行过滤，能够有效减少答案分类数量，加快损失函数收敛速度，提高视觉问答的准确度。
对应于第一个实施例，如图9所示，本说明书第三个实施例提供了一种图像特征确定装置，包括：
初始特征确定模块301，用于确定目标图像的图像内容特征以及图像几何特征；
编码模块302，用于确定所述图像几何特征的位置编码；
关联矩阵确定模块303，用于根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；
图像特征确定模块304，用于根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。
可选的，确定目标图像的图像内容特征包括：
根据目标检测网络确定所述目标图像的候选特征框；
根据所述候选特征框确定所述目标图像的图像内容特征；
和/或，
确定目标图像的图像几何特征包括：
根据目标检测网络确定所述目标图像的候选特征框；
将所述候选特征框的坐标数据作为所述目标图像的图像几何特征。
可选的，所述目标检测网络有一类或多类；
确定目标图像的图像内容特征包括：
对任一类目标检测网络，根据该类目标检测网络确定与其对应的目标图像候选特征框；
根据与该类目标检测网络对应的目标图像候选特征框确定与该类目标检测网络对应的图像内容特征；
将与各类目标检测网络对应的图像内容特征组合作为所述目标图像的图像内容特征；
和/或，
确定目标图像的图像几何特征包括：
对任一类目标检测网络，根据该类目标检测网络确定与其对应的目标图像的候选特征框；
将与各类目标检测网络对应的候选特征框的坐标数据组合，作为所述目标图像的图像几何特征。
可选的，所述坐标数据包括候选特征框的特征框长度数据或候选特征框中心坐标数据。
可选的，所述位置编码包括绝对位置编码和相对位置编码。
可选的，确定所述图像几何特征的绝对位置编码包括：
对任一候选特征框，使用线性变换矩阵与该候选特征框的坐标矩阵相乘，得到该候选特征框对应的绝对位置编码；
和/或，
确定所述图像几何特征的相对位置编码包括：
对任一对候选特征框坐标矩阵fm和fn，确定该对候选特征框的坐标差值
Figure BDA0002124131090000161
根据
Figure BDA0002124131090000162
得到fm和fn之间的相对位置编码
Figure BDA0002124131090000163
其中，xm,ym为fm的中心坐标，wm为fm的宽度数据，hm为fm的高度数据；
xn,yn为fn的中心坐标，wn为fn的宽度数据，hn为fn的高度数据；
Pos为fm和fn的4个坐标差值，i为位置编码的第i个维度，dmodel为位置编码的特征维度，Concatenate表示在特征维度进行矩阵拼接。
可选的，根据所述位置编码确定所述图像内容特征之间的关联关系矩阵包括：
将图像内容特征矩阵分别与线性变换矩阵WV、WK和WQ相乘，得到fV＝fc.WV、fK＝fc.WK和fQ＝fc.WQ；
根据
Figure BDA0002124131090000171
确定注意力权重矩阵wmn；其中，dk为
Figure BDA0002124131090000174
的特征维度，
Figure BDA0002124131090000172
和
Figure BDA0002124131090000173
分别代表第m个和第n个候选特征框内的图像内容特征；
将所述注意力权重矩阵wmn作为fm和fn的关联关系矩阵。
可选的，根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征包括：
将所述注意力权重矩阵wmn与fV加权求和，得到包含相对位置关系的加权图像特征；
将所述加权图像特征与所述绝对位置编码相加，将相加结果作为所述图像特征。
对应于第二个实施例，如图10所示，本说明书第四个实施例提供了一种视觉问答装置，包括：
输入模块401，用于接收目标图像输入与问题输入；
图像特征确定模块402，用于确定所述目标图像的图像特征；
问题特征确定模块403，用于确定所述问题的问题特征；
预测答案确定模块403，用于根据所述图像特征和问题特征确定预测答案；
掩模确定模块405，用于根据所述问题特征确定掩模矩阵；
应答模块406，用于根据所述预测答案和所述掩模矩阵确定并输出最终答案。
可选的，确定问题特征包括：
对输入的问题进行拆分，对拆分后的词语进行词嵌入和编码，得到表征所述问题的语义信息的矩阵，将所述矩阵作为问题特征。
可选的，根据所述图像特征和问题特征确定预测答案包括：
将所述图像特征和所述问题特征进行融合处理，得到融合矩阵；其中，所述融合处理包括点乘和/或相加和/或双线性池化；
将融合矩阵进行分类，得到预测答案。
可选的，根据所述问题特征确定掩模矩阵包括：
选择问题-答案库中频次大于等于预设值的答案，得到无重复元素的答案组，维度为N；根据答案类型将答案组及其相应的问题分成k类，从而生成k*N维的基础掩模矩阵；对于每一个类别，属于该类的答案索引位置为1，其余类别答案索引位置为0；
将1*m维的所述问题特征与m*hidden维的线性转换矩阵进行矩阵乘法，并进行权重规范化；将权重规范化后的结果输入非线性激活函数relu，并将非线性激活函数relu的输出结果与hidden*k维的线性转换矩阵进行矩阵乘法，并进行权重规范化，得到1*k维的logitstype；将所述logitstype输入gumbel_softmax函数，得到1*k维的问题分类输出矩阵Qtype(维度为)，Qtype中值为1的元素所在索引值表示问题所属类别；
将所述问题分类输出矩阵与所述基础掩模矩阵相乘，得到掩模矩阵。
可选的，根据所述预测答案和所述掩模矩阵确定并输出最终答案包括：
将所述预测答案与所述掩模矩阵相乘，根据相乘结果确定并输出最终答案。
本说明书第五个实施例提供了一种图像特征确定设备，包括：
至少一个处理器；
以及，
与所述至少一个处理器通信连接的存储器；
其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；
根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；
根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。
本说明书第六个实施例提供了一种视觉问答设备，包括：
至少一个处理器；
以及，
与所述至少一个处理器通信连接的存储器；
其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
接收目标图像输入与问题输入；
确定问题特征以及目标图像的图像特征，根据所述图像特征和问题特征确定预测答案，以及根据所述问题特征确定掩模矩阵；
根据所述预测答案和所述掩模矩阵确定并输出最终答案；其中，所述图像特征可以根据第一或第二或第三个实施例得到。
本说明书第七个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如下的步骤：
接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；
根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；
根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征。
本说明书第八个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如下的步骤：
接收目标图像输入与问题输入；
确定问题特征以及目标图像的图像特征，根据所述图像特征和问题特征确定预测答案，以及根据所述问题特征确定掩模矩阵；
根据所述预测答案和所述掩模矩阵确定并输出最终答案；其中，所述图像特征可以根据第一或第二或第三个实施例得到。
本说明书第九个实施例提供了一种芯片，其存储有计算机指令，该指令被芯片执行时用于实现：
接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；
根据所述位置编码确定所述图像内容特征之间的关联关系矩阵；
根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征；
以及用于实现第一个实施例所述的方法
本说明书第十个实施例提供了一种芯片，其存储有计算机指令，该指令被芯片执行时用于实现：
接收目标图像输入与问题输入；
确定问题特征以及目标图像的图像特征，根据所述图像特征和问题特征确定预测答案，以及根据所述问题特征确定掩模矩阵；
根据所述预测答案和所述掩模矩阵确定并输出最终答案；其中，所述图像特征可以根据第一或第二或第三个实施例得到；
以及用于实现第二个实施例所述的方法。
上述各实施例可以结合使用，上述各实施例中的“特征”等都可以是矩阵，本说明书中不再一一说明。
上述对本说明书特定实施例进行了描述，其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，附图中描绘的过程不一定必须按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的装置、设备、非易失性计算机可读存储介质与方法是对应的，因此，装置、设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备、非易失性计算机存储介质的有益技术效果。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware DescrIP地址tion Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescrIP地址tionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware DescrIP地址tion Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware DescrIP地址tion Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware DescrIP地址tion Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、MicrochIP地址PIC18F26K20以及Silicone LabsC8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (21)

1.一种图像特征确定方法，包括：
接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；所述位置编码包括绝对位置编码；
根据所述位置编码和图像内容特征确定所述图像内容特征之间的关联关系矩阵；
根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征；
确定所述图像几何特征的绝对位置编码包括：
对任一候选特征框，使用线性变换矩阵与该候选特征框的坐标矩阵相乘，得到该候选特征框对应的绝对位置编码。
2.如权利要求1所述的方法，
确定目标图像的图像内容特征包括：
根据目标检测网络确定所述目标图像的候选特征框；
根据所述候选特征框确定所述目标图像的图像内容特征；
和/或，
确定目标图像的图像几何特征包括：
根据目标检测网络确定所述目标图像的候选特征框；
将所述候选特征框的坐标数据作为所述目标图像的图像几何特征。
3.如权利要求2所述的方法，所述目标检测网络有一类或多类；
确定目标图像的图像内容特征包括：
对任一类目标检测网络，根据该类目标检测网络确定与其对应的目标图像候选特征框；
根据与该类目标检测网络对应的目标图像候选特征框确定与该类目标检测网络对应的图像内容特征；
将与各类目标检测网络对应的图像内容特征组合作为所述目标图像的图像内容特征；
和/或，
确定目标图像的图像几何特征包括：
对任一类目标检测网络，根据该类目标检测网络确定与其对应的目标图像的候选特征框；
将与各类目标检测网络对应的候选特征框的坐标数据组合，作为所述目标图像的图像几何特征。
4.如权利要求2所述的方法，所述坐标数据包括候选特征框的特征框长度数据或候选特征框中心坐标数据。
5.如权利要求4所述的方法，所述位置编码还包括相对位置编码。
6.如权利要求5所述的方法，其特征在于，
确定所述图像几何特征的相对位置编码包括：
对任一对候选特征框坐标矩阵fm和fn，确定该对候选特征框的坐标差值
Figure FDA0003361658970000021
根据
Figure FDA0003361658970000022
得到fm和fn之间的相对位置编码
Figure FDA0003361658970000023
其中，xm,ym为fm的中心坐标，wm为fm的宽度数据，hm为fm的高度数据；
xn,yn为fn的中心坐标，wn为fn的宽度数据，hn为fn的高度数据；
Pos为fm和fn的4个坐标差值，i为位置编码的第i个维度，dmodel为位置编码的特征维度，Concatenate表示在特征维度进行矩阵拼接。
7.如权利要求6所述的方法，根据所述位置编码确定所述图像内容特征之间的关联关系矩阵包括：
将图像内容特征矩阵分别与线性变换矩阵WV、WK和WQ相乘，得到fV＝fc.WV、fK＝fc.WK和fQ＝fc.WQ；
根据
Figure FDA0003361658970000024
确定注意力权重矩阵wmn；其中，dk为
Figure FDA0003361658970000025
的特征维度，
Figure FDA0003361658970000031
和
Figure FDA0003361658970000032
分别代表第m个和第n个候选特征框内的图像内容特征；
将所述注意力权重矩阵wmn作为fm和fn的关联关系矩阵。
8.如权利要求7所述的方法，根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征包括：
将所述注意力权重矩阵wmn与fV加权求和，得到包含相对位置关系的加权图像特征；
将所述加权图像特征与所述绝对位置编码相加，将相加结果作为所述图像特征。
9.一种视觉问答方法，包括：
接收目标图像输入与问题输入；
确定问题特征以及目标图像的图像特征，根据所述图像特征和问题特征确定预测答案，以及根据所述问题特征确定掩模矩阵；
根据所述预测答案和所述掩模矩阵确定并输出最终答案；
其中，所述图像特征根据权利要求1至7中任一项得到。
10.如权利要求9所述的方法，确定问题特征包括：
对输入的问题进行拆分，对拆分后的词语进行词嵌入和编码，得到表征所述问题的语义信息的矩阵，将所述矩阵作为问题特征。
11.如权利要求9所述的方法，根据所述图像特征和问题特征确定预测答案包括：
将所述图像特征和所述问题特征进行融合处理，得到融合矩阵；其中，所述融合处理包括点乘和/或相加和/或双线性池化；
将融合矩阵进行分类，得到预测答案。
12.如权利要求9所述的方法，根据所述问题特征确定掩模矩阵包括：
选择问题-答案库中频次大于等于预设值的答案，得到无重复元素的答案组，维度为N；根据答案类型将答案组及其相应的问题分成k类，从而生成k*N维的基础掩模矩阵；对于每一个类别，属于该类的答案索引位置为1，其余类别答案索引位置为0；
将1*m维的所述问题特征与m*hidden维的线性转换矩阵进行矩阵乘法，并进行权重规范化；将权重规范化后的结果输入非线性激活函数relu，并将非线性激活函数relu的输出结果与hidden*k维的线性转换矩阵进行矩阵乘法，并进行权重规范化，得到1*k维的logitstype；将所述logitstype输入gumbel_softmax函数，得到1*k维的问题分类输出矩阵Qtype，Qtype中值为1的元素所在索引值表示问题所属类别；
将所述问题分类输出矩阵与所述基础掩模矩阵相乘，得到掩模矩阵。
13.如权利要求9至12中任一项所述的方法，根据所述预测答案和所述掩模矩阵确定并输出最终答案包括：
将所述预测答案与所述掩模矩阵相乘，根据相乘结果确定并输出最终答案。
14.一种图像特征确定装置，包括：
初始特征确定模块，用于确定目标图像的图像内容特征以及图像几何特征；
编码模块，用于确定所述图像几何特征的位置编码；所述位置编码包括绝对位置编码；
关联矩阵确定模块，用于根据所述位置编码和图像内容特征确定所述图像内容特征之间的关联关系矩阵；
图像特征确定模块，用于根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征；
所述编码模块，具体用于确定所述图像几何特征的绝对位置编码，包括：
对任一候选特征框，使用线性变换矩阵与该候选特征框的坐标矩阵相乘，得到该候选特征框对应的绝对位置编码。
15.一种视觉问答装置，包括：
输入模块，用于接收目标图像输入与问题输入；
图像特征确定模块，用于确定所述目标图像的图像特征；
问题特征确定模块，用于确定所述问题的问题特征；
预测答案确定模块，用于根据所述图像特征和问题特征确定预测答案；
掩模确定模块，用于根据所述问题特征确定掩模矩阵；
应答模块，用于根据所述预测答案和所述掩模矩阵确定并输出最终答案。
16.一种图像特征确定设备，包括：
至少一个处理器；
以及，
与所述至少一个处理器通信连接的存储器；
其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；所述位置编码包括绝对位置编码；
根据所述位置编码和图像内容特征确定所述图像内容特征之间的关联关系矩阵；
根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征；
确定所述图像几何特征的绝对位置编码包括：
对任一候选特征框，使用线性变换矩阵与该候选特征框的坐标矩阵相乘，得到该候选特征框对应的绝对位置编码。
17.一种视觉问答设备，包括：
至少一个处理器；
以及，
与所述至少一个处理器通信连接的存储器；
其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
接收目标图像输入与问题输入；
确定问题特征以及目标图像的图像特征，根据所述图像特征和问题特征确定预测答案，以及根据所述问题特征确定掩模矩阵；
根据所述预测答案和所述掩模矩阵确定并输出最终答案；
其中，所述图像特征根据权利要求1至7中任一项得到。
18.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如下的步骤：
接收目标图像，确定所述目标图像的图像内容特征以及图像几何特征；以及，确定所述图像几何特征的位置编码；所述位置编码包括绝对位置编码；
根据所述位置编码和图像内容特征确定所述图像内容特征之间的关联关系矩阵；
根据所述图像内容特征和所述关联关系矩阵确定所述目标图像的图像特征；
确定所述图像几何特征的绝对位置编码包括：
对任一候选特征框，使用线性变换矩阵与该候选特征框的坐标矩阵相乘，得到该候选特征框对应的绝对位置编码。
19.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如下的步骤：
接收目标图像输入与问题输入；
确定问题特征以及目标图像的图像特征，根据所述图像特征和问题特征确定预测答案，以及根据所述问题特征确定掩模矩阵；
根据所述预测答案和所述掩模矩阵确定并输出最终答案；
其中，所述图像特征根据权利要求1至7中任一项得到。
20.一种芯片，其存储有计算机指令，该指令被芯片执行时用于实现权利要求1至8中任一项所述的方法。
21.一种芯片，其存储有计算机指令，该指令被芯片执行时用于实现权利要求9至13中任一项所述的方法。
CN201910617309.8A 2019-07-09 2019-07-09 一种图像特征确定、视觉问答方法、装置、设备及介质 Active CN110348462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910617309.8A CN110348462B (zh) 2019-07-09 2019-07-09 一种图像特征确定、视觉问答方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910617309.8A CN110348462B (zh) 2019-07-09 2019-07-09 一种图像特征确定、视觉问答方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN110348462A CN110348462A (zh) 2019-10-18
CN110348462B true CN110348462B (zh) 2022-03-04

Family

ID=68176857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910617309.8A Active CN110348462B (zh) 2019-07-09 2019-07-09 一种图像特征确定、视觉问答方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN110348462B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598118B (zh) * 2019-12-10 2023-07-07 中山大学 一种视觉问答任务实现方法及系统
CN111523534B (zh) * 2020-03-31 2022-04-05 华东师范大学 一种图像描述的方法
CN113837212B (zh) * 2020-06-24 2023-09-26 四川大学 一种基于多模态双向导向注意力的视觉问答方法
CN111897939B (zh) * 2020-08-12 2024-02-02 腾讯科技（深圳）有限公司 视觉对话方法、视觉对话模型的训练方法、装置及设备
CN112149653B (zh) * 2020-09-16 2024-03-29 北京达佳互联信息技术有限公司 信息处理方法、装置、电子设备及存储介质
CN112446933B (zh) * 2020-11-13 2024-05-03 中信银行股份有限公司 金融资产的图像化方法、装置、电子设备及可读存储介质
CN112364933A (zh) * 2020-11-23 2021-02-12 北京达佳互联信息技术有限公司 图像分类方法、装置、电子设备和存储介质
CN112710310B (zh) * 2020-12-07 2024-04-19 深圳龙岗智能视听研究院 一种视觉语言室内导航方法、系统、终端及应用
CN113139575B (zh) * 2021-03-18 2022-03-01 杭州电子科技大学 一种基于条件嵌入预训练语言模型的图像标题生成方法
JP2024511675A (ja) * 2021-03-30 2024-03-14 チャイナ・テレコム・コーポレーション・リミテッド 画像特徴を送信する方法、装置、及びシステム
CN113392253B (zh) * 2021-06-28 2023-09-29 北京百度网讯科技有限公司 视觉问答模型训练及视觉问答方法、装置、设备及介质
CN113516182B (zh) * 2021-07-02 2024-04-23 文思海辉元辉科技(大连)有限公司 视觉问答模型训练、视觉问答方法和装置
CN113688695A (zh) * 2021-08-03 2021-11-23 北京数美时代科技有限公司 一种图片识别方法、系统、存储介质和电子设备
CN113656570B (zh) * 2021-08-25 2024-05-10 平安科技（深圳）有限公司 基于深度学习模型的视觉问答方法及装置、介质、设备
CN114972944B (zh) * 2022-06-16 2023-10-27 中国电信股份有限公司 视觉问答模型的训练方法及装置、问答方法、介质、设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126596A (zh) * 2016-06-20 2016-11-16 中国科学院自动化研究所 一种基于层次化记忆网络的问答方法
CN107463609A (zh) * 2017-06-27 2017-12-12 浙江大学 一种使用分层时空注意力编解码器网络机制解决视频问答的方法
CN107679224A (zh) * 2017-10-20 2018-02-09 竹间智能科技（上海）有限公司 一种面向无结构文本智能问答的方法和系统
CN107766447A (zh) * 2017-09-25 2018-03-06 浙江大学 一种使用多层注意力网络机制解决视频问答的方法
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法
CN109840506A (zh) * 2019-02-13 2019-06-04 杭州一知智能科技有限公司 利用结合关系互动的视频转换器解决视频问答任务的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126596A (zh) * 2016-06-20 2016-11-16 中国科学院自动化研究所 一种基于层次化记忆网络的问答方法
CN107463609A (zh) * 2017-06-27 2017-12-12 浙江大学 一种使用分层时空注意力编解码器网络机制解决视频问答的方法
CN107766447A (zh) * 2017-09-25 2018-03-06 浙江大学 一种使用多层注意力网络机制解决视频问答的方法
CN107679224A (zh) * 2017-10-20 2018-02-09 竹间智能科技（上海）有限公司 一种面向无结构文本智能问答的方法和系统
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法
CN109840506A (zh) * 2019-02-13 2019-06-04 杭州一知智能科技有限公司 利用结合关系互动的视频转换器解决视频问答任务的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MUREL: Multimodal Relational Reasoning for Visual Question Answering;Remi Cadene 等;《https://arxiv.org/pdf/1902.09487.pdf》;20190225;图3和第3节 *

Also Published As

Publication number Publication date
CN110348462A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110348462B (zh) 一种图像特征确定、视觉问答方法、装置、设备及介质
Raschka et al. Python machine learning: Machine learning and deep learning with Python, scikit-learn, and TensorFlow 2
CN111340509B (zh) 一种虚假交易识别方法、装置及电子设备
CN112329680B (zh) 基于类激活图的半监督遥感影像目标检测和分割方法
CN108959246A (zh) 基于改进的注意力机制的答案选择方法、装置和电子设备
CN111241851A (zh) 语义相似度确定方法、装置及处理设备
CN113837370B (zh) 用于训练基于对比学习的模型的方法和装置
CN107590690B (zh) 数据处理方法、装置及服务器
CN111461004A (zh) 基于图注意力神经网络的事件检测方法、装置和电子设备
Ajmal et al. Convolutional neural network based image segmentation: a review
CN111860138A (zh) 基于全融合网络的三维点云语义分割方法及系统
CN113255328B (zh) 语言模型的训练方法及应用方法
CN113298096A (zh) 训练零样本分类模型的方法、系统、电子设备及存储介质
CN111753878A (zh) 一种网络模型部署方法、设备及介质
CN111507726B (zh) 一种报文生成方法、装置及设备
CN108805260A (zh) 一种图说生成方法及装置
CN110033092B (zh) 数据标签生成、模型训练、事件识别方法和装置
CN110119754A (zh) 图像生成描述方法、装置及模型
CN116308738B (zh) 一种模型训练的方法、业务风控的方法及装置
CN115204301A (zh) 视频文本匹配模型训练、视频文本匹配方法和装置
Wakchaure et al. A scheme of answer selection in community question answering using machine learning techniques
CN115496162A (zh) 一种模型的训练方法、装置以及设备
CN113255857A (zh) 一种图形码的风险检测方法、装置及设备
CN118012403B (zh) 基于自然语言处理的低代码开发方法、系统及存储介质
CN117786234B (zh) 一种基于两阶段对比学习的多模态资源推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant