CN109858555A - 基于图像的数据处理方法、装置、设备及可读存储介质 - Google Patents

基于图像的数据处理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109858555A
CN109858555A CN201910111412.5A CN201910111412A CN109858555A CN 109858555 A CN109858555 A CN 109858555A CN 201910111412 A CN201910111412 A CN 201910111412A CN 109858555 A CN109858555 A CN 109858555A
Authority
CN
China
Prior art keywords
feature
text
image
matching degree
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910111412.5A
Other languages
English (en)
Other versions
CN109858555B (zh
Inventor
黄剑辉
黄苹苹
乔敏
李盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910111412.5A priority Critical patent/CN109858555B/zh
Publication of CN109858555A publication Critical patent/CN109858555A/zh
Priority to EP19210677.1A priority patent/EP3696729A1/en
Priority to JP2019210905A priority patent/JP6893233B2/ja
Priority to US16/690,432 priority patent/US11151406B2/en
Priority to KR1020190157613A priority patent/KR102266529B1/ko
Application granted granted Critical
Publication of CN109858555B publication Critical patent/CN109858555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于图像的数据处理方法、装置、设备及可读存储介质。其中，方法包括：获取图像和待处理的文本；提取图像中多个对象的特征，以及提取所述文本的特征；根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征；根据所述图像的融合特征和文本的特征，对所述文本进行处理。本发明实施例能够精确学习文本与图像中各对象的关联关系，提高处理准确率。

Description

基于图像的数据处理方法、装置、设备及可读存储介质
技术领域
本发明实施例涉及计算机视觉技术，尤其涉及一种基于图像的数据处理方法、装置、设备及可读存储介质。
背景技术
随着计算机视觉技术的发展，出现了视觉问答等基于图像的数据处理方法。视觉问答(Visual Question Answer，VQA)是多模态数据挖掘的前沿应用之一，旨在对视觉图像的自然语言问答，作为视觉理解(Visual Understanding)的一个研究方向，连接着视觉和语言，VQA需要在理解图像的基础上，根据具体的文本问题做出处理。
目前的基于图像的数据处理方法中，首先采用两套不同的底层表示系统，分别提取出图像和文本的底层特征，并学习到图像和文本的高层特征，再通过关联学习模块对图像和文本的高层特征进行关联，进而对文本做出处理。
目前的基于图像的数据处理方法需要在图像特征和文本特征之上，学习文本与图像中各对象的关联关系，使得该关联关系的准确性不高，导致文本处理错误。
发明内容
本发明实施例提供一种基于图像的数据处理方法、装置、设备及可读存储介质，以精确学习文本与图像中各对象的关联关系，提高处理的准确率。
第一方面，本发明实施例提供了一种基于图像的数据处理方法，包括：
获取图像和待处理的文本；
提取图像中多个对象的特征，以及提取所述文本的特征；
根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征；
根据所述图像的融合特征和文本的特征，对所述文本进行处理。
第二方面，本发明实施例还提供了一种基于图像的数据处理装置，包括：
获取模块，用于获取图像和待处理的文本；
提取模块，用于提取图像中多个对象的特征，以及提取文本的特征；
融合模块，用于根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征；
处理模块，用于根据图像的融合特征和文本的特征，对所述文本进行处理。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一实施例所述的基于图像的数据处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的基于图像的数据处理方法。
本发明实施例中，通过获取图像和待处理的文本，提取图像中多个对象的特征，以及提取文本的特征，根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征，充分利用文本与对象特征具有关联性这一先验知识，并基于匹配度调整图像的特征，使得融合特征更加关注与文本具有强关联性的部分，避免注意力分布分散；通过与文本强关联的融合特征和文本的特征，能够提高对文本进行处理的准确率。
附图说明
图1a是本发明实施例一提供的一种基于图像的数据处理方法的流程图；
图1b是本发明实施例一提供的每个对象所在的边界框的示意图；
图1c是本发明实施例一提供的融合特征对应的图像的示意图；
图2a是本发明实施例二提供的一种基于图像的数据处理方法的流程图；
图2b是本发明实施例二提供的通过匹配模型进行匹配操作的流程示意图；
图2c是本发明实施例二提供的一种匹配模型训练的流程图；
图2d是本发明实施例二提供的采用匹配模型的基于图像的数据处理方法的流程图；
图3是本发明实施例三提供的一种基于图像的数据处理方法的流程图；
图4是本发明实施例四提供的一种基于图像的数据处理装置的结构示意图；
图5是本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a是本发明实施例一提供的一种基于图像的数据处理方法的流程图，本实施例可适用于通过对图像进行识别，对文本进行处理的情况，该方法可以由基于图像的数据处理装置来执行，该装置可以由硬件和/或软件构成，并一般集成在电子设备中，具体包括如下操作：
S110、获取图像和待处理的文本。
本实施例中，图像可以是照片、截图、视频帧等。待处理的文本为包括关于该图像的形式自由、开放式的自然语言文本。待处理的文本包括对文本的理解，例如真假判断、文本内容解释等；待处理的文本还包括自然语言问题，文本所提问题的类型包括但不限于细粒度识别(例如：这位女士是白种人吗？)、物体识别(例如：图中有几个香蕉？)、行为识别(例如：这位女士在哭吗？)和对问题所包含文本的理解。
S120、提取图像中多个对象的特征，以及提取文本的特征。
可选地，将图像输入至目标检测模型或者分类模型中，提取出图像中多个对象的特征，进一步地，还提取每个对象所在的边界框坐标。其中，目标检测模型或者分类模型可以是基于深度学习的目标检测模型或者分类模型，例如R-CNN、Fast R-CNN等。
可选地，预先设置需要提取的对象数量，例如36个、52个，目标检测模型提取预设数量个对象的特征，并提取每个对象所在的边界框坐标。图1b是本发明实施例一提供的每个对象所在的边界框的示意图。图1b示出了两个对象，分别是熊身和熊掌，熊身所在的边界框用粗实线表示，熊掌所在的边界框用细实线表示。
可选地，通过词袋模型(bag of words model)或者循环神经网络(RecurrentNeural Network，RNN)提取文本的特征。
S130、根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征。
按照注意力机制(Attention Mechanism)，人们在观察图像的时候，其实并不是一次就把整幅图像的每个位置像素都看过，大多是根据需求将注意力集中到图像的特定部分，例如人物的面部。而且人类会根据之前观察的图像学习到未来要观察图像注意力应该集中的位置。类似地，对于文本来说，文本对图像中每个对象的注意力也不同，例如“你能看到熊掌吗？”的注意力应重点在图1b中的熊掌；又例如，“熊是什么表情”的注意力应重点在图1b中的熊头。
基于上述分析，根据文本施加注意力较多的对象的特征，有利于更准确地对文本进行处理。本实施例中，采用文本与每个对象的特征的匹配度来表示文本对每个对象的注意力。基于此，根据文本与每个对象的特征的匹配度，对每个对象的特征进行调整。例如，对匹配度大的对象的特征进行强化，对匹配度小的对象的特征进行弱化；然后，将调整后每个对象的特征融合为图像的新特征。为了方便描述与区分，将融合后图像的新特征称为图像的融合特征。图1c是本发明实施例一提供的融合特征对应的图像的示意图。例如，待处理的文本为“你能看到熊掌吗？”，文本与熊掌对象的特征的匹配度为90％，熊腿的特征的匹配度为50％，与其它对象(如树干对象、草丛对象)的特征匹配度为10％。然后，采用匹配度调整对应对象的特征，融合得到图像的融合特征。可选地，保留或者强化匹配度大于等于匹配度阈值的对象的特征，删除或者弱化匹配度小于匹配度阈值的对象的特征，再将保留的特征融合得到图像的融合特征。从图1c中可以看出熊掌的特征进行了强化，熊腿的特征无变化，其它对象的特征进行了弱化。
在根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征之前，还包括文本与每个对象的特征的匹配度的计算操作。可选地，提取图像中多个对象的特征以及获取每个对象的类别，例如熊掌、熊腿、树干、草丛等。在文本中查找每个对象的类别，根据查找结果确定文本与每个对象的特征的匹配度。例如，在“你能看到熊掌吗？”中查找到“熊掌”和“熊腿”中的“熊”，未查找到“树干”和“草丛”。因此，确定文本与熊掌对象的特征的匹配度大，与熊腿对象的特征的匹配度适中，与树干和草丛对象的特征的匹配度小。
S140、根据图像的融合特征和文本的特征，对文本进行处理。
可选地，对文本的处理操作包括但不限于对文本的理解，例如真假判断、文本内容解释等；以及对文本的回答。
可选地，将图像的融合特征和文本的特征输入至视觉问答(Visual QuestionAnswer，VQA)系统中，得到VQA系统输出的回答。本实施例提供的VQA系统包括以下几种模型组合，例如Deeper LSTM Q+norm I模型、VIS+LSTM模型、2-VIS+BLSTM、IMG+BOW等。
本发明实施例中，通过获取图像和待处理的文本，提取图像中多个对象的特征，以及提取文本的特征，根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征，充分利用文本与对象特征具有关联性这一先验知识，并基于匹配度调整图像的特征，使得融合特征更加关注与文本具有强关联性的部分，避免注意力分布分散；通过与文本强关联的融合特征和文本的特征，能够提高对文本进行处理的准确率。
实施例二
本实施例在上述实施例各可选实施方式的基础上，进一步优化。可选地，在“根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征”之前，追加操作“依次将每个对象对应的边界框内的图像和文本输入至匹配模型中，得到匹配模型输出的每个对象的特征分别与文本中每个词的特征的匹配度；根据每个对象的特征分别与文本中每个词的特征的匹配度，得到文本与每个对象的特征的匹配度”。图2a是本发明实施例二提供的一种基于图像的数据处理方法的流程图，本实施例提供的方法包括以下操作：
S210、获取图像和待处理的文本。
S220、提取图像中多个对象的特征，以及提取文本的特征。
S230、依次将每个对象对应的边界框内的图像和文本输入至匹配模型中，得到匹配模型输出的每个对象的特征分别与文本中每个词的特征的匹配度。
根据上述实施例的相关描述，依次将每个图像输入至目标检测模型或者分类模型中，提取出图像中多个对象的特征，以及每个对象所在的边界框坐标。本实施例中，根据每个对象所在的边界框坐标从图像中截取每个对象对应的边界框内的图像。然后，依次将每个对象对应的边界框内的图像输入至匹配模型中。在输入第一个图像时，还应输入文本，文本输入一次即可，后续输入图像时可不再输入文本。当然，也可以在每次输入图像时，均输入文本。
图2b是本发明实施例二提供的通过匹配模型进行匹配操作的流程示意图。结合图2b，匹配模型包括：图像特征提取步骤、文本特征提取步骤、图像特征维度变换步骤、文本特征维度变换步骤以及匹配步骤。
其中，图像特征提取步骤，用于从每个对象对应的边界框内的图像中提取每个对象的特征；图像特征维度变换步骤，用于将每个对象的特征维度变换为预设维度；文本特征提取步骤，用于提取文本中每个词的特征；文本特征维度变换步骤，用于将文本中每个词的特征维度变换为预设维度；匹配步骤，用于计算维度变化后，每个对象的特征分别与每个词的特征的匹配度。
一般情况下，图像比文本包含的信息较多，经过特征提取后，每个对象的特征维度与文本中每个词的特征维度不同，在一示例中，每个对象的特征维度是1024，每个词的特征维度是300，要想计算每个对象的特征与每个词的特征的匹配度，需要将二者的特征维度变换为预设维度，具体地，对提取出的特征进行矩阵变换，得到共同维度的特征，例如600维的特征。
接着，匹配步骤处，计算维度变换后，每个对象的特征与每个词的特征的匹配度。可选地，匹配步骤，具体用于：计算维度变换后，每个对象的特征分别与文本中每个词的特征的距离、余弦相似度，或距离和余弦相似度，得到每个对象的特征与文本中每个词的特征的匹配度。可选地，距离包括欧式距离、马氏距离等。对于计算距离和余弦相似度得到匹配度的情况，可以选取每个对象的特征分别与文本中每个词的特征的距离和余弦相似度中的较大值、较小值或者平均值，得到每个对象的特征与文本中每个词的特征的匹配度。
在一可选实施方式中，在依次将每个对象对应的边界框内的图像和文本输入至匹配模型中之前，还包括匹配模型的训练操作，图2c是本发明实施例二提供的一种匹配模型训练的流程图，训练过程大致包括以下三步：
第一步：获取用于训练匹配模型的正样本对象对应的边界框内的图像、负样本对象对应的边界框内的图像和正样本对象的标签。其中，正样本对象的标签(Label)为正样本对象的类别。
VG数据集中每张图像的标注信息包括图像中每个对象、关系和属性，以及对象和属性在图像中的边界框坐标，其中，对象和对应边界框内的图像存在强关联性。
本实施例中，利用现有的VG(Visual Genome)数据集获取上述图像和标签。具体地，预设正样本对象为S，对应的标签也为S，负样本对象为非S。在VG数据集上，根据正样本对象S在图像中的边界框坐标，截取正样本对象对应的边界框内的图像，根据负样本对象非S在图像中的边界框坐标，截取负样本对象对应的边界框内的图像。在图2c中，正样本对象为熊掌，负样本对象为熊身，对应的边界框内的图像用实线框出，正样本对象的标签为熊掌。
第二步：将正样本对象对应的边界框内的图像、负样本对象对应的边界框内的图像和标签输入至匹配模型中，得到正样本对象的特征与标签特征的第一匹配度，以及负样本对象的特征与标签特征的第二匹配度。
匹配模型中的图像特征提取步骤从正样本对象对应的边界框内的图像中提取正样本对象的特征，从负样本对象对应的边界框内的图像中提取负样本对象的特征；文本特征提取步骤提取标签的特征。然后，图像特征维度变换步骤将正样本对象的特征维度和负样本对象的特征维度均变换为预设维度，文本特征维度变换步骤将标签的特征维度变换为预设维度。匹配步骤计算维度变换后，正样本对象的特征与标签的特征的第一匹配度，以及负样本对象的特征与标签的特征的第二匹配度。第一匹配度是正样本对象的特征与标签的特征的距离和/或余弦相似度，第二匹配度是负样本对象的特征与标签的特征的距离和/或余弦相似度。
第三步：以最大化第一匹配度并最小化第二匹配度为目标，或者以第一匹配度与第二匹配度的差值大于预设阈值为目标，训练匹配模型。
根据最大化第一匹配度并最小化第二匹配度构建目标函数，或者根据第一匹配度与第二匹配度的差值大于预设阈值构建目标函数，再根据目标函数，迭代匹配模型中的参数。可选地，可以迭代匹配模型中全部或者部分步骤的参数，例如，图像特征提取步骤、文本特征提取步骤、图像特征维度变换步骤和文本特征维度变换步骤中的参数采用经验值，不进行迭代，仅迭代匹配步骤中的参数。
S240、根据每个对象的特征分别与文本中每个词的特征的匹配度，得到文本与每个对象的特征的匹配度。
可选地，在每个对象的特征分别与文本中每个词的特征的匹配度中，计算与每个对象的特征对应的最大匹配度或者平均匹配度，作为文本与每个对象的特征的匹配度。例如，熊掌的特征与文本“你能看到熊掌吗？”中“你”、“能”、“看到”、“熊掌”、“吗”的特征的匹配度分别为10％、10％、10％、90％、10％，则文本与熊掌的特征的匹配度为：最大匹配度90％，或者平均匹配度26％。又例如，草丛的特征与文本“你能看到熊掌吗？”中“你”、“能”、“看到”、“熊掌”、“吗”的特征的匹配度分别为15％、10％、10％、10％、10％，则文本与草丛的特征的匹配度为：最大匹配度15％，或者平均匹配度11％。
S250、根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征。
S260、根据图像的融合特征和文本的特征，对文本进行处理。
图2d是本发明实施例二提供的采用匹配模型的基于图像的数据处理方法的流程图，基于图像的数据处理装置的输入为文本“你能看到熊掌吗？”，图1b示出的图像。基于图像的数据处理装置一方面提取文本的特征，一方面通过匹配模型得到匹配度，进而根据匹配度将多个对象的特征融合为图像的融合特征，然后对文本的特征和融合特征进行融合再分类，对文本进行处理。
本实施例中，通过依次将每个对象对应的边界框内的图像和文本输入至匹配模型中，得到匹配模型输出的每个对象的特征分别与文本中每个词的特征的匹配度，从而基于预先训练的匹配模型，直接得到对象的特征分别与每个词的特征的匹配度，而且，从图像的角度，体现了局部特征与文本中哪些词是对应的；从文本的角度，可以得到词对应了图像中哪些局部信息。对象与文本的匹配度细化到对象与每个词的匹配度，预先学习到图像的局部特征与词之间细粒度、精准地关联。
进一步地，通过根据每个对象的特征分别与文本中每个词的特征的匹配度，得到文本与每个对象的特征的匹配度，从而针对与每个词的匹配度，综合得到文本与对象的匹配度，提高了匹配度的准确性，进而提高文本处理的准确性。
进一步地，本实施例采用正负样本对匹配模型进行训练，减小了匹配的正样本对象与标签的距离，同时，增大了不匹配的负样本对象与标签的距离，能够有效提高模型训练的准确性；而且，用于预训练匹配模型的样本仅包括边界框内的图像和标签，相比于包括图像、问句和回答的VQA数据来说，样本获取渠道广泛，进而应用场景广泛、文本易于扩充。本实施例提供的采用匹配模型的基于图像的数据处理方法是一种普适性、应用场景广泛、应用成本低且文本易于扩充的多模态学习方法，在原任务的计算系统流程变化不大的情况下，可以将匹配模型应用到几乎所有的多模态任务上。
进一步地，本实施例充分利用对象的标签和对象、标签和文本之间的强相关性，有助于增强基于图像的数据处理装置对图像和文本之间的关联进行学习。
实施例三
图3是本发明实施例三提供的一种基于图像的数据处理方法的流程图。本发明实施例在上述各实施例的技术方案的基础上进行操作细化。可选地，将操作“根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征”细化为“根据文本与每个对象的特征的匹配度，对每个对象的特征进行加权求和，得到图像的融合特征”。如图3所示的一种基于图像的数据处理方法，包括：
S310、获取图像和待处理的文本。
S320、提取图像中多个对象的特征，以及提取文本的特征。
S330、根据文本与每个对象的特征的匹配度，对每个对象的特征进行加权求和，得到图像的融合特征。
可选地，文本与每个对象的特征的匹配度可以采用以下两种可选实施方式得到：
第一种可选实施方式：依次将每个对象对应的边界框内的图像和文本输入至匹配模型中，得到匹配模型输出的每个对象的特征分别与文本中每个词的特征的匹配度；根据每个对象的特征分别与文本中每个词的特征的匹配度，得到文本与每个对象的特征的匹配度。
第二种可选实施方式：获取每个对象的类别；在文本中查找每个对象的类别，并根据查找结果确定文本与每个对象的特征的匹配度。
上述两种可选实施方式的具体描述详见上述各实施例，此处不再赘述。
本操作中，将文本与每个对象的特征的匹配度，作为每个对象的特征的权值，采用权值对对应对象的特征进行加权求和，得到图像的融合特征。例如：文本“你能看到熊掌吗？”与熊掌的特征的匹配度为90％，与草丛的特征的匹配度为10％，与树干的特征的匹配度为10％，与熊腿的特征的匹配度为50％，则图像的融合特征为90％×熊掌的特征+10％×草丛的特征+10％×树干的特征+50％×熊腿的特征。
值得说明的是，为了保证对象的特征的准确和全面，在对多个对象的特征进行融合时，多个对象的特征采用维度变换之前的特征，即采用从每个对象对应的边界框内的图像中提取出的每个对象的特征。
S340、根据图像的融合特征和文本的特征，对文本进行处理。
相比于现有技术，本实施例将图像的融合特征替换掉图像的高层特征，显然，融合特征具备了图像的局部特征与文本之间的匹配度的先验知识，继而有利于提高文本处理的准确性。例如，由于文本中的“熊掌”与熊掌对象的特征得到了较高的匹配度，则基于图像的数据处理装置能够准确找到“熊掌”在图中对应的区域，进而分析得到正确答案是“是”。
实施例四
图4是本发明实施例四提供的一种基于图像的数据处理装置的结构示意图，本发明实施例适用于通过对图像进行识别，对文本进行处理的情况，结合图4,基于图像的数据处理装置包括：获取模块410、提取模块420、融合模块430和处理模块440。
获取模块410，用于获取图像和待处理的文本；
提取模块420，用于提取图像中多个对象的特征，以及提取文本的特征；
融合模块430，用于根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征；
处理模块440，用于根据融合模块430得到的图像的融合特征和提取模块420提取的文本的特征，对文本进行处理。
本发明实施例中，通过获取图像和待处理的文本，提取图像中多个对象的特征，以及提取文本的特征，根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征，充分利用文本与对象特征具有关联性这一先验知识，并基于匹配度调整图像的特征，使得融合特征更加关注与文本具有强关联性的部分，避免注意力分布分散；通过与文本强关联的融合特征和文本的特征，能够提高对文本进行处理的准确率。
可选地，该装置还包括第一匹配度获得模块，用于在根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征之前，依次将每个对象对应的边界框内的图像和文本输入至匹配模型中，得到匹配模型输出的每个对象的特征分别与文本中每个词的特征的匹配度；根据每个对象的特征分别与文本中每个词的特征的匹配度，得到文本与每个对象的特征的匹配度。
可选地，匹配模型包括：图像特征提取步骤、文本特征提取步骤、图像特征维度变换步骤、文本特征维度变换步骤以及匹配步骤；其中，图像特征提取步骤，用于从每个对象对应的边界框内的图像中提取每个对象的特征；图像特征维度变换步骤，用于将每个对象的特征维度变换为预设维度；文本特征提取步骤，用于提取文本中每个词的特征；文本特征维度变换步骤，用于将文本中每个词的特征维度变换为预设维度；匹配步骤，用于计算维度变换后，每个对象的特征分别与每个词的特征的匹配度。
可选地，匹配步骤，具体用于：计算维度变换后，每个对象的特征分别与文本中每个词的特征的距离和/或余弦相似度，得到每个对象的特征与文本中每个词的特征的匹配度。
可选地，该装置还包括模型训练模块，用于在依次将每个对象对应的边界框内的图像和文本输入至匹配模型中之前，获取用于训练匹配模型的正样本对象对应的边界框内的图像、负样本对象对应的边界框内的图像和正样本对象的标签；将正样本对象对应的边界框内的图像、负样本对象对应的边界框内的图像和标签输入至匹配模型中，得到正样本对象的特征与标签特征的第一匹配度，以及负样本对象的特征与标签特征的第二匹配度；以最大化第一匹配度并最小化第二匹配度为目标，或者以第一匹配度与第二匹配度的差值大于预设阈值为目标，训练匹配模型。
可选地，第一匹配度获得模块在根据每个对象的特征分别与文本中每个词的特征的匹配度，得到文本与每个对象的特征的匹配度时，具体用于：在每个对象的特征分别与文本中每个词的特征的匹配度中，计算与每个对象的特征对应的最大匹配度或者平均匹配度，作为文本与每个对象的特征的匹配度。
可选地，该装置还包括第二匹配度获得模块，用于在根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征之前，获取每个对象的类别；在文本中查找每个对象的类别，并根据查找结果确定文本与每个对象的特征的匹配度。
可选地，融合模块430在根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征时，具体用于：根据文本与每个对象的特征的匹配度，对每个对象的特征进行加权求和，得到图像的融合特征。
本发明实施例所提供的基于图像的数据处理装置可执行本发明任意实施例所提供的基于图像的数据处理方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的基于图像的数据处理方法。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例的基于图像的数据处理方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种基于图像的数据处理方法，其特征在于，包括：
获取图像和待处理的文本；
提取图像中多个对象的特征，以及提取所述文本的特征；
根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征；
根据所述图像的融合特征和文本的特征，对所述文本进行处理。
2.根据权利要求1所述的方法，其特征在于，在所述根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征之前，还包括：
依次将每个对象对应的边界框内的图像和文本输入至匹配模型中，得到匹配模型输出的每个对象的特征分别与文本中每个词的特征的匹配度；
根据每个对象的特征分别与文本中每个词的特征的匹配度，得到所述文本与每个对象的特征的匹配度。
3.根据权利要求2所述的方法，其特征在于，所述匹配模型包括：图像特征提取步骤、文本特征提取步骤、图像特征维度变换步骤、文本特征维度变换步骤以及匹配步骤；
其中，图像特征提取步骤，用于从每个对象对应的边界框内的图像中提取每个对象的特征；图像特征维度变换步骤，用于将每个对象的特征维度变换为预设维度；文本特征提取步骤，用于提取文本中每个词的特征；文本特征维度变换步骤，用于将文本中每个词的特征维度变换为所述预设维度；匹配步骤，用于计算维度变换后，每个对象的特征分别与每个词的特征的匹配度。
4.根据权利要求3所述的方法，其特征在于，所述匹配步骤，具体用于：
计算维度变换后，每个对象的特征分别与文本中每个词的特征的距离和/或余弦相似度，得到每个对象的特征与文本中每个词的特征的匹配度。
5.根据权利要求2所述的方法，其特征在于，在所述依次将每个对象对应的边界框内的图像和文本输入至匹配模型中之前，还包括：
获取用于训练所述匹配模型的正样本对象对应的边界框内的图像、负样本对象对应的边界框内的图像和正样本对象的标签；
将所述正样本对象对应的边界框内的图像、负样本对象对应的边界框内的图像和所述标签输入至匹配模型中，得到正样本对象的特征与标签特征的第一匹配度，以及负样本对象的特征与标签特征的第二匹配度；
以最大化第一匹配度并最小化第二匹配度为目标，或者以第一匹配度与第二匹配度的差值大于预设阈值为目标，训练所述匹配模型。
6.根据权利要求2所述的方法，其特征在于，所述根据每个对象的特征分别与文本中每个词的特征的匹配度，得到所述文本与每个对象的特征的匹配度，包括：
在每个对象的特征分别与文本中每个词的特征的匹配度中，计算与每个对象的特征对应的最大匹配度或者平均匹配度，作为所述文本与每个对象的特征的匹配度。
7.根据权利要求1所述的方法，其特征在于，在所述根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征之前，还包括：
获取每个对象的类别；
在文本中查找每个对象的类别，并根据查找结果确定文本与每个对象的特征的匹配度。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征，包括：
根据文本与每个对象的特征的匹配度，对每个对象的特征进行加权求和，得到图像的融合特征。
9.一种基于图像的数据处理装置，其特征在于，包括：
获取模块，用于获取图像和待处理的文本；
提取模块，用于提取图像中多个对象的特征，以及提取文本的特征；
融合模块，用于根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征；
处理模块，用于根据图像的融合特征和文本的特征，对所述文本进行处理。
10.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的基于图像的数据处理方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的基于图像的数据处理方法。
CN201910111412.5A 2019-02-12 2019-02-12 基于图像的数据处理方法、装置、设备及可读存储介质 Active CN109858555B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910111412.5A CN109858555B (zh) 2019-02-12 2019-02-12 基于图像的数据处理方法、装置、设备及可读存储介质
EP19210677.1A EP3696729A1 (en) 2019-02-12 2019-11-21 Method, apparatus, device and readable storage medium for image-based data processing
JP2019210905A JP6893233B2 (ja) 2019-02-12 2019-11-21 画像に基づくデータ処理方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム
US16/690,432 US11151406B2 (en) 2019-02-12 2019-11-21 Method, apparatus, device and readable storage medium for image-based data processing
KR1020190157613A KR102266529B1 (ko) 2019-02-12 2019-11-29 이미지 기반의 데이터 처리 방법, 장치, 기기 및 판독 가능 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910111412.5A CN109858555B (zh) 2019-02-12 2019-02-12 基于图像的数据处理方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109858555A true CN109858555A (zh) 2019-06-07
CN109858555B CN109858555B (zh) 2022-05-17

Family

ID=66897798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910111412.5A Active CN109858555B (zh) 2019-02-12 2019-02-12 基于图像的数据处理方法、装置、设备及可读存储介质

Country Status (5)

Country Link
US (1) US11151406B2 (zh)
EP (1) EP3696729A1 (zh)
JP (1) JP6893233B2 (zh)
KR (1) KR102266529B1 (zh)
CN (1) CN109858555B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334749A (zh) * 2019-06-20 2019-10-15 浙江工业大学 基于注意力机制的对抗攻击防御模型、构建方法及应用
CN111125422A (zh) * 2019-12-13 2020-05-08 北京达佳互联信息技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN111611420A (zh) * 2020-05-26 2020-09-01 北京字节跳动网络技术有限公司 用于生成图像描述信息的方法和装置
CN112613293A (zh) * 2020-12-29 2021-04-06 北京中科闻歌科技股份有限公司 摘要生成方法、装置、电子设备及存储介质
CN113033307A (zh) * 2021-02-22 2021-06-25 浙江大华技术股份有限公司 对象的匹配方法、装置、存储介质及电子装置
CN113222026A (zh) * 2021-05-18 2021-08-06 合肥工业大学 一种机务段场景视觉问答方法、系统及服务器
KR20220002067A (ko) * 2020-06-30 2022-01-06 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 이미지 문답 방법, 장치, 컴퓨터 장비, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램
CN114626455A (zh) * 2022-03-11 2022-06-14 北京百度网讯科技有限公司 金融信息处理方法、装置、设备、存储介质及产品

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645505B2 (en) * 2020-01-17 2023-05-09 Servicenow Canada Inc. Method and system for generating a vector representation of an image
CN112163465B (zh) * 2020-09-11 2022-04-22 华南理工大学 细粒度图像分类方法、系统、计算机设备及存储介质
CN114969417B (zh) * 2020-09-23 2023-04-11 华为技术有限公司 图像重排序方法、相关设备及计算机可读存储介质
CN112100358A (zh) * 2020-09-27 2020-12-18 四川长虹电器股份有限公司 一种基于匹配算法的视觉问答方法及系统
CN112417132B (zh) * 2020-12-17 2023-11-17 南京大学 一种利用谓宾信息筛选负样本的新意图识别方法
CN112541475B (zh) * 2020-12-24 2024-01-19 北京百度网讯科技有限公司 感知数据检测方法及装置
CN112580620A (zh) * 2020-12-25 2021-03-30 北京百度网讯科技有限公司 标志图片处理方法、装置、设备和介质
KR102533775B1 (ko) * 2020-12-31 2023-05-19 중앙대학교 산학협력단 데이터 통합 분석 학습을 이용한 데이터 분류 장치 및 방법
CN112926586A (zh) * 2021-02-19 2021-06-08 北京大米未来科技有限公司 一种文本识别的方法、装置、可读存储介质和电子设备
KR102279797B1 (ko) * 2021-03-05 2021-07-21 전남대학교산학협력단 멀티모달 데이터 융합 시스템 및 방법
CN113342995B (zh) * 2021-07-05 2022-12-02 成都信息工程大学 一种基于路径语义和特征提取的负样本提取方法
CN113609279B (zh) * 2021-08-05 2023-12-08 湖南特能博世科技有限公司 一种物料型号提取方法、装置及计算机设备
CN113709548B (zh) * 2021-08-09 2023-08-25 北京达佳互联信息技术有限公司 基于图像的多媒体数据合成方法、装置、设备及存储介质
CN113792617B (zh) * 2021-08-26 2023-04-18 电子科技大学 一种结合图像信息和文本信息的图像解译方法
WO2023157265A1 (ja) * 2022-02-18 2023-08-24 日本電信電話株式会社 応答生成装置、応答生成方法および応答生成プログラム
CN114880517A (zh) * 2022-05-27 2022-08-09 支付宝(杭州)信息技术有限公司 用于视频检索的方法及装置
CN115690149B (zh) * 2022-09-27 2023-10-20 江苏盛利智能科技有限公司 显示器的图像融合处理系统及方法
CN115456176B (zh) * 2022-10-10 2023-07-21 延边大学 一种基于知识增强的文本匹配方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649542A (zh) * 2015-11-03 2017-05-10 百度（美国）有限责任公司 用于视觉问答的系统和方法
CN108228703A (zh) * 2017-10-31 2018-06-29 北京市商汤科技开发有限公司 图像问答方法、装置、系统和存储介质
CN108446404A (zh) * 2018-03-30 2018-08-24 中国科学院自动化研究所 面向无约束视觉问答指向问题的检索方法及系统
CN108898185A (zh) * 2018-07-03 2018-11-27 北京字节跳动网络技术有限公司 用于生成图像识别模型的方法和装置
CN108920587A (zh) * 2018-06-26 2018-11-30 清华大学 融合外部知识的开放域视觉问答方法及装置
CN109241267A (zh) * 2018-09-27 2019-01-18 北京百度网讯科技有限公司 生成vqa系统的训练数据的方法、装置、设备和介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9384408B2 (en) * 2011-01-12 2016-07-05 Yahoo! Inc. Image analysis system and method using image recognition and text search
US10489448B2 (en) 2016-06-02 2019-11-26 Baidu Usa Llc Method and system for dynamically ranking images to be matched with content in response to a search query
US20170364492A1 (en) * 2016-06-20 2017-12-21 Machine Learning Works, LLC Web content enrichment based on matching images to text
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
CN110532571B (zh) 2017-09-12 2022-11-18 腾讯科技（深圳）有限公司 文本处理方法及相关装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649542A (zh) * 2015-11-03 2017-05-10 百度（美国）有限责任公司 用于视觉问答的系统和方法
CN108228703A (zh) * 2017-10-31 2018-06-29 北京市商汤科技开发有限公司 图像问答方法、装置、系统和存储介质
CN108446404A (zh) * 2018-03-30 2018-08-24 中国科学院自动化研究所 面向无约束视觉问答指向问题的检索方法及系统
CN108920587A (zh) * 2018-06-26 2018-11-30 清华大学 融合外部知识的开放域视觉问答方法及装置
CN108898185A (zh) * 2018-07-03 2018-11-27 北京字节跳动网络技术有限公司 用于生成图像识别模型的方法和装置
CN109241267A (zh) * 2018-09-27 2019-01-18 北京百度网讯科技有限公司 生成vqa系统的训练数据的方法、装置、设备和介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334749B (zh) * 2019-06-20 2021-08-03 浙江工业大学 基于注意力机制的对抗攻击防御模型、构建方法及应用
CN110334749A (zh) * 2019-06-20 2019-10-15 浙江工业大学 基于注意力机制的对抗攻击防御模型、构建方法及应用
CN111125422A (zh) * 2019-12-13 2020-05-08 北京达佳互联信息技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN111125422B (zh) * 2019-12-13 2024-04-02 北京达佳互联信息技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN111611420A (zh) * 2020-05-26 2020-09-01 北京字节跳动网络技术有限公司 用于生成图像描述信息的方法和装置
CN111611420B (zh) * 2020-05-26 2024-01-23 北京字节跳动网络技术有限公司 用于生成图像描述信息的方法和装置
KR20220002067A (ko) * 2020-06-30 2022-01-06 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 이미지 문답 방법, 장치, 컴퓨터 장비, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램
KR102588894B1 (ko) 2020-06-30 2023-10-12 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 이미지 문답 방법, 장치, 컴퓨터 장비, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램
CN112613293A (zh) * 2020-12-29 2021-04-06 北京中科闻歌科技股份有限公司 摘要生成方法、装置、电子设备及存储介质
CN112613293B (zh) * 2020-12-29 2024-05-24 北京中科闻歌科技股份有限公司 摘要生成方法、装置、电子设备及存储介质
CN113033307B (zh) * 2021-02-22 2024-04-02 浙江大华技术股份有限公司 对象的匹配方法、装置、存储介质及电子装置
CN113033307A (zh) * 2021-02-22 2021-06-25 浙江大华技术股份有限公司 对象的匹配方法、装置、存储介质及电子装置
CN113222026A (zh) * 2021-05-18 2021-08-06 合肥工业大学 一种机务段场景视觉问答方法、系统及服务器
CN113222026B (zh) * 2021-05-18 2022-11-11 合肥工业大学 一种机务段场景视觉问答方法、系统及服务器
CN114626455A (zh) * 2022-03-11 2022-06-14 北京百度网讯科技有限公司 金融信息处理方法、装置、设备、存储介质及产品

Also Published As

Publication number Publication date
US20200257922A1 (en) 2020-08-13
JP6893233B2 (ja) 2021-06-23
US11151406B2 (en) 2021-10-19
EP3696729A1 (en) 2020-08-19
JP2020135852A (ja) 2020-08-31
KR20200098379A (ko) 2020-08-20
KR102266529B1 (ko) 2021-06-17
CN109858555B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN109858555A (zh) 基于图像的数据处理方法、装置、设备及可读存储介质
JP6351689B2 (ja) 視覚質問応答用の注目に基づく設定可能な畳み込みニューラルネットワーク（ａｂｃ−ｃｎｎ）のシステム及び方法
US20240054767A1 (en) Multi-modal Model Training Method, Apparatus and Device, and Storage Medium
Yang et al. Benchmarking commercial emotion detection systems using realistic distortions of facial image datasets
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN111563502A (zh) 图像的文本识别方法、装置、电子设备及计算机存储介质
US10846568B2 (en) Deep learning-based automatic gesture recognition method and system
CN111274372A (zh) 用于人机交互的方法、电子设备和计算机可读存储介质
CN115526259A (zh) 一种多模态预训练模型的训练方法和装置
WO2023284182A1 (en) Training method for recognizing moving target, method and device for recognizing moving target
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
Pillai et al. Unsupervised selection of negative examples for grounded language learning
Balasuriya et al. Learning platform for visually impaired children through artificial intelligence and computer vision
US20210117723A1 (en) Method and system for auto multiple image captioning
CN115223020B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
Tasmere et al. Real time hand gesture recognition in depth image using cnn
Wang et al. (2+ 1) D-SLR: an efficient network for video sign language recognition
Rahim et al. Dynamic hand gesture based sign word recognition using convolutional neural network with feature fusion
CN116012913A (zh) 模型训练方法、人脸关键点检测方法、介质及装置
CN110991155A (zh) 文本修正方法、设备及介质
Nanda You Only Gesture Once (YouGo): American Sign Language Translation using YOLOv3
Prietch et al. Discussion on Image Processing for Sign Language Recognition: An overview of the problem complexity
Petkar et al. Real Time Sign Language Recognition System for Hearing and Speech Impaired People
Karim et al. Bangla Sign Language Recognition using YOLOv5
Renjith et al. Indian sign language recognition: A comparative analysis using cnn and rnn models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant