CN114627353A - 一种图像描述生成方法、装置、设备、介质及产品 - Google Patents

一种图像描述生成方法、装置、设备、介质及产品 Download PDF

Info

Publication number
CN114627353A
CN114627353A CN202210278138.2A CN202210278138A CN114627353A CN 114627353 A CN114627353 A CN 114627353A CN 202210278138 A CN202210278138 A CN 202210278138A CN 114627353 A CN114627353 A CN 114627353A
Authority
CN
China
Prior art keywords
image
target object
feature
visual
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210278138.2A
Other languages
English (en)
Other versions
CN114627353B (zh
Inventor
毛晓飞
黄灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202210278138.2A priority Critical patent/CN114627353B/zh
Publication of CN114627353A publication Critical patent/CN114627353A/zh
Priority to PCT/CN2023/078335 priority patent/WO2023179308A1/zh
Application granted granted Critical
Publication of CN114627353B publication Critical patent/CN114627353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)

Abstract

本公开提供了一种图像描述生成方法、装置、设备、介质及产品，涉及图像处理技术领域，该方法包括获取包括目标对象的图像；从所述图像中分别提取出所述目标对象的标签特征、所述目标对象在所述图像中的位置特征、所述图像中文本特征以及所述目标对象的视觉特征；根据所述标签特征、所述位置特征、所述文本特征、所述视觉特征和视觉语言模型生成针对所述图像的自然语言描述。可见，该方法从图像中提取了更多的有效信息，使得模型能够更好地理解图像，进而能够提高得到自然语言描述与图像中目标对象的匹配度。

Description

一种图像描述生成方法、装置、设备、介质及产品
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像描述生成方法、装置、设备、计算机可读存储介质以及计算机程序产品。
背景技术
随着计算机技术尤其是图像处理技术的发展，以图像为载体的信息传递方式占越来越多的比重。在一些场景下，如电商场景中，商品的图像与商品的自然语言描述之间的匹配度，会影响到商品的推广效果，当商品的自然语言描述与商品的匹配度较高时，用户能够更加直接了解该商品，从而提高商品的推广效果。
图像中包括丰富的视觉信息，目前基于该视觉信息可以生成自然语言描述。但是，仅基于视觉信息生成的自然语言描述与该图像中商品的匹配度较差。因此，亟需一种图像描述生成方法，以提高自然语言描述与商品的匹配度。
发明内容
本公开的目的在于：提供了一种图像描述生成方法、装置、设备、计算机可读存储介质以及计算机程序产品，能够提高得到的自然语言描述与图像中目标对象的匹配度。
第一方面，本公开提供了一种图像描述生成方法，所述方法包括：
获取包括目标对象的图像；
从所述图像中分别提取出所述目标对象的标签特征、所述目标对象在所述图像中的位置特征、所述图像中文本特征以及所述目标对象的视觉特征；
根据所述标签特征、所述位置特征、所述文本特征、所述视觉特征和视觉语言模型生成针对所述图像的自然语言描述。
第二方面，本公开提供了一种图像描述生成装置，包括：
获取模块，用于获取包括目标对象的图像；
提取模块，用于从所述图像中分别提取出所述目标对象的标签特征、所述目标对象在所述图像中的位置特征、所述图像中文本特征以及所述目标对象的视觉特征；
生成模块，用于根据所述标签特征、所述位置特征、所述文本特征、所述视觉特征和视觉语言模型生成针对所述图像的自然语言描述。
第三方面，本公开提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面中任一项所述方法的步骤。
第四方面，本公开提供了一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面中任一项所述方法的步骤。
第五方面，本公开提供了一种包含指令的计算机程序产品，当其在设备上运行时，使得设备执行上述第一方面中的任一种实现方式所述的方法。
从以上技术方案可以看出，本公开具有如下优点：
本公开提供了一种图像描述生成方法，该方法先获取包括目标对象的图像，如商品的图像，然后从图像中分别提取出目标对象的标签特征、目标对象在图像中的位置特征、图像中文本特征以及目标对象的视觉特征；可见，该方法从图像中提取的更多的有效信息，接着，再基于标签特征、位置特征、文本特征、视觉特征以及视觉语言模型生成针对图像的自然语言描述，基于更多的有效信息得到的自然语言描述更加准确，进而使得该自然语言描述与图像中的目标对象更加匹配。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
为了更清楚地说明本公开实施例的技术方法，下面将对实施例中所需使用的附图作以简单地介绍。
图1为本公开实施例提供的一种推荐系统的架构图；
图2为本公开实施例提供的一种图像描述生成方法的流程图；
图3A为本公开实施例提供的一种图像获取界面的示意图；
图3B为本公开实施例提供的一种图像上传界面的示意图；
图4为本公开实施例提供的一种编解码结构的示意图；
图5为本申请实施例提供的一种特征融合过程的示意图；
图6为本公开实施例提供的一种图像描述生成装置的示意图；
图7为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
本公开实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
首先对本公开实施例中所涉及到的一些技术术语进行介绍。
图像处理(image processing)是指用计算机对图像进行分析，以达到所需结果的技术。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别等。
自然语言是指人类日常所使用的语言，是人类交际的重要方式，也是人类区别于其他动物的本质特征。
一般的，图像中会包括目标对象，如图像中可以包括商品，商品可以是手环、耳机等产品。针对该图像的自然语言描述，用户能够直接的了解到该图像中的内容，例如图像中包括手环、耳机等。
在电商场景下，推荐系统需要基于商品的图像挖掘出图像中商品的自然语言描述，从而保证下游推荐任务的推荐效果。因此，需要准确地挖掘出图像的自然语言描述。目前，采用图像中所包括的视觉信息，自动生成该图像的自然语言描述。但是，仅基于视觉信息生成的自然语言描述与该图像中商品的匹配度较差，所依赖的图像信息较少，难以满足业务需求。
有鉴于此，本公开实施例提供了一种图像描述生成方法，该方法应用于电子设备。电子设备是指具有数据处理能力的设备，例如可以是服务器，或者是终端。其中，终端包括但不限于智能手机、平板电脑、笔记本电脑、个人数字助理(personal digital assistant，PDA)或者智能穿戴设备等。服务器可以是云服务器，例如是中心云计算集群中的中心服务器，或者是边缘云计算集群中的边缘服务器。当然，服务器也可以是本地数据中心中的服务器。本地数据中心是指用户直接控制的数据中心。
具体地，该方法包括：电子设备获取目标对象的图像，然后从图像中分别提取出目标对象的标签特征、目标对象在该图像中的位置特征、图像中的文本特征以及目标对象的视觉特征；接着根据标签特征、位置特征、文本特征、视觉特征和视觉语言(visuallinguistic)模型生成针对该图像的自然语言描述。
可见，在该方法中，不仅仅从图像中挖掘了视觉特征，还挖掘了目标对象的标签特征、目标对象在图像中的位置特征以及图像中的文本特征，使图像提供了更多的有效信息，进而能够使得生成的自然语言描述与该图像中的目标对象更加匹配。进一步的，当目标对象的自然语言描述与该目标对象的匹配度较高时，推荐系统基于该更加准确的自然语言描述能够实现较好的推荐效果。
如上述，该方法可以由服务器单独执行，也可以由终端和服务器协同执行。为了便于理解，以终端和服务器协同执行为例，其中，终端和服务器可以构成推荐系统(例如商品推荐系统)。该方法应用于推荐系统时，具体是以计算机程序的形式实现。在一些实施例中，该计算机程序可以是独立的，例如可以是具有相应功能的独立应用。在另一些实施例中，该计算机程序可以是功能模块或插件等，附着于已有的应用中运行。
举例说明，推荐系统可以获取包括手环的图像，然后生成该手环的自然语言描述，接着基于该手环的自然语言描述，确定针对该手环的推广策略，然后基于确定的推广策略，对该手环进行推广。由于生成的自然语言描述与该手环更加匹配，进而推荐系统基于该更加准确的自然语言描述对该手环进行推广时，能够达到较好的推广效果。
为了使得本公开的技术方案更加清楚、易于理解，下面结合附图对本公开实施例提供的推荐系统的架构进行介绍。
参见图1所示的推荐系统100的系统架构图，推荐系统100包括终端110、终端120和服务器130。终端110、终端120和服务器130通过网络连接。其中，终端110可以为商户终端，商户基于商户终端发布商品，终端120可以为用户终端，用户基于用户终端可以浏览商户所发布的商品。
在一些示例中，商户可以通过终端110向服务器130发送包括商品的图像，服务器130可以对该商品的图像进行处理，以获得针对该图像的自然语言描述，然后再根据图像的自然语言描述，确定针对商品的推广策略，基于该推广策略对商品进行推广。例如，服务器130通过向终端120推送广告，以实现向终端120的用户推广该商品。
可见，当服务器130生成的商品的自然语言描述与该商品匹配度较高时，基于准确的自然语言描述确定的推广策略也更加准确，能够使用户与该商品更加匹配，提高推广效果以及转化率。
为了使得本公开的技术方案更加清楚、易于理解，下面从终端110、终端120和服务器130的角度，对本公开实施例提供的图像描述生成方法进行介绍。
如图2所示，该图为本公开实施例提供的一种图像描述生成方法的流程图，该方法包括：
S201、终端110向服务器130发送包括目标对象的图像。
在一些实施例中，如图3A所示，该图为本公开实施例提供的一种图像获取界面的示意图。终端110可以向商户呈现图像获取界面，该图像获取界面包括拍摄控件301、相册控件302以及预览画面303，其中，预览画面303可以是终端的摄像头所采集的视频流。
商户可以通过多种方式上传包括目标对象的图像。在一些示例中，商户可以点击该拍摄控件301，对目标对象(例如商品)进行拍摄，进行得到包括目标对象的图像。在另一些示例中，商户可以点击该相册控件302，从相册中选择预先存储的包括目标对象的图像。
如图3B所示，该图为本公开实施例提供的一种图像上传界面的示意图。该图像上传界面包括重选控件304、上传控件305和预览图像306。在商户通过拍摄控件301或相册控件302选择包括目标对象的图像后，终端110所呈现的界面由图3A所示的图像获取界面切换为图3B所示的图像上传界面。在该图像上传界面可以显示预览图像306，以便商户得知自己所选择的图像。接着，商户对预览图像306不满意的情况下，商户可以通过点击重选控件304重选在相册选择图像或重新拍摄图像；商户也可以直接通过点击上传控件305,上传目标对象的图像(如预览图像306对应的图像)给服务器130。
需要说明的是，以上仅仅是终端110向服务器130发送包括目标对象的图像的一种示例，本领域技术人员可以根据实际需要选择合适方式，使得服务器130获取包括目标对象的图像。
S202、服务器130从图像中分别提取出目标对象的标签特征、目标对象在图像中的位置特征、图像中的文本特征以及目标对象的视觉特征。
在一些实施例中，如图4所示，该图为本公开实施例提供的一种编解码结构的示意图。服务器130在获取到包括目标对象的图像后，将该图像依次通过卷积神经网络、编码结构和解码结构，提取目标对象在图像中的位置以及目标对象的标签，接着，根据目标对象在图像中的位置坐标，得到图像中的位置特征，根据目标对象的标签得到目标对象的标签特征。
其中，编解码结构可以包括4层卷积神经网络、N层conformer(encoder)结构以及N层decoder结构。位置坐标可以是目标对象在图像中的左上角的坐标以及右下角的坐标，基于左上角的坐标和右下角的坐标能够确定目标对象所在的矩形区域，即目标对象对应的区域图像，然后基于该目标对象对应的区域图像，得到目标对象的视觉特征，而不是基于整个图像得到目标对象的视觉特征，如此能够使得该视觉特征更能够表征该目标对象。
其中，上述目标对象的标签可以是一个单词、也可以是多个多单词，例如，当标签为一个单词时，该单词可以是“黑”等，当标签为多个单词时，多个单词可以是“手表”、“屏幕”等。也就是说，在本公开实施例中，标签不仅仅局限于一个单词。
需要说明的是，上述标签的具体内容仅仅是示例说明。
服务器130在得到目标对象的位置坐标和标签后，分别对目标对象的位置坐标和标签进行向量化处理，例如通过postion embedding，将位置坐标转换为768长度的序列，通过token embedding将标签转换为768长度的序列。
需要说明的是，上述768长度的序列仅仅是示例说明，在另一些示例中还可以是其他长度的序列。
接着，服务器130可以基于目标对象在图像中的位置坐标，从图像中确定目标对象对应的区域图像；然后根据目标对象对应的区域图像，得到目标对象的视觉特征。在一些示例中，服务器130可以在将图像通过卷积神经网络后得到的特征图中，基于该特征图得到与目标对象对应的区域，然后再进行转换为768长度的序列，作为目标对象的视觉特征。
服务器130可以通过光学字符识别(Optical Character Recognition，OCR)技术对图像进行处理，从该图像中提取出图像中的文本，然后再基于该图像中的文本，得到图像中的文本特征。服务器130在获取到图像中的文本后，对该文本进行向量化处理，例如通过segment embedding，将文本转换为768长度的序列。
在本公开实施例中，不仅选用了视觉特征，而且还选用了图像中的其他特征(如文本特征、位置特征、标签特征等)，从而使得模型能够充分理解该图像，进而使生成的自然语言描述更加准确，使该自然语言描述与图像更加匹配。
S203、服务器130根据标签特征、位置特征、文本特征、视觉特征和视觉语言模型生成针对图像的自然语言描述。
在一些实施例中，服务器可以先通过加和操作，将上述标签特征、位置特征、文本特征以及视觉特征进行融合，得到融合特征，将融合特征输入到视觉语言模型，生成该图像的自然语言描述。
如图5所示，该图为本申请实施例提供的一种特征融合过程的示意图。如图5所示，目标对象可以是智能手表，图像可以是包括智能手环的图像。从图中可以看出，文本特征为可以通过两种向量标识，例如，当文本特征通过A表征时，对应的标签特征可以单词，当文本特征通过C表征时，对应的标签特征可以是图像。位置特征中“1”可以表征两个坐标，即目标对象的左上角的坐标和右下角的坐标。例如，“1”可以对应左上角的横坐标和纵坐标、右下角的横坐标和纵坐标。标签特征中，“CLS”放在首位，为起始符，“END”放在末尾，为结束符；“SEP”用于分开两种输入，为分隔符，可以用于区分文本与图像，“MASK”用于遮盖文本中的一些单词，将单词用“MASK”遮盖之后，预测“MASK”位置的单词，从而生成更多的样本，便于模型训练，从而仅需要少量原始样本即可实现对视觉语言模型的训练。
其中，视觉语言模型可以由多层编码结构(conformer)和多层解码结构(decoder)构成，其中编码结构的层数可以是6层，解码结构的层数也可以是6层。在将上述标签特征、位置特征、文本特征和视觉特征加和后，输入到该视觉语言模型，经过全连接(FullyConnected，FC)层，得到该图像的自然语言描述，该自然语言描述可以是文本，如输出的结果可以是“具有大屏幕和彩色显示屏的智能手表”。
S204、服务器130根据图像的自然语言描述，确定针对目标对象的推广策略。
S205、服务器130根据针对目标对象的推广策略向终端120推送针对目标对象的广告。
服务器130在得到更加准确的自然语言描述后，基于该更加准确的自然语言描述，能够确定出更加准确的推广策略，接着基于该更加准确的推广策向终端120推送针对目标对象的广告，如此，不仅能够减少服务器130的资源浪费，而且还能够使终端120侧的用户更加直接的了解目标对象，便于提高转化率。
基于上述内容描述，本公开实施例提供了一种图像描述生成方法。在该方法中，不仅仅从图像中挖掘了视觉特征，还挖掘了目标对象的标签特征、目标对象在图像中的位置特征以及图像中的文本特征，使图像提供了更多的有效信息，进而能够使得生成的自然语言描述与该图像中的目标对象更加匹配。进一步的，当目标对象的自然语言描述与该目标对象的匹配度较高时，推荐系统基于该更加准确的自然语言描述能够实现较好的推荐效果。
图6是根据一示例性公开实施例示出的一种图像描述生成装置的示意图，如图6所示，所述图像描述生成装置600包括：
获取模块601，用于获取包括目标对象的图像；
提取模块602，用于从所述图像中分别提取出所述目标对象的标签特征、所述目标对象在所述图像中的位置特征、所述图像中文本特征以及所述目标对象的视觉特征；
生成模块603，用于根据所述标签特征、所述位置特征、所述文本特征、所述视觉特征和视觉语言模型生成针对所述图像的自然语言描述。
可选的，所述生成模块603，还用于根据所述图像的自然语言描述，确定针对所述目标对象的推广策略，所述推广策略用于推广所述目标对象。
可选的，所述提取模块602，具体用于将所述图像依次通过卷积神经网络、编码结构和解码结构，提取所述目标对象在所述图像中的位置坐标以及所述目标对象的标签；根据所述目标对象在所述图像中的位置坐标，得到所述图像中的位置特征，根据所述目标对象的标签，得到所述目标对象的标签特征。
可选的，所述目标对象的标签包括至少一个单词。
可选的，所述提取模块602，具体用于对所述图像进行光学字符识别，提取所述图像中的文本；根据所述图像中的文本，得到所述图像中的文本特征。
可选的，所述提取模块602，具体用于根据所述目标对象在所述图像中的位置坐标，从所述图像中确定所述目标对象对应的区域图像；根据所述目标对象对应的区域图像，得到所述目标对象的视觉特征。
可选的，所述生成模块603，具体用于通过加和操作，将所述标签特征、所述位置特征、所述文本特征以及所述视觉特征件进行融合，得到融合特征；将所述融合特征输入到所述视觉语言模型，生成针对所述图像的自然语言描述。
上述各模块的功能在上一实施例中的方法步骤中已详细阐述，在此不做赘述。
下面参考图7，其示出了适于用来实现本公开实施例的电子设备7的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，终端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取包括目标对象的图像；从所述图像中分别提取出所述目标对象的标签特征、所述目标对象在所述图像中的位置特征、所述图像中文本特征以及所述目标对象的视觉特征；根据所述标签特征、所述位置特征、所述文本特征、所述视觉特征和视觉语言模型生成针对所述图像的自然语言描述。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一获取模块还可以被描述为“获取至少两个网际协议地址的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种图像描述生成方法所述方法包括：获取包括目标对象的图像；从所述图像中分别提取出所述目标对象的标签特征、所述目标对象在所述图像中的位置特征、所述图像中文本特征以及所述目标对象的视觉特征；根据所述标签特征、所述位置特征、所述文本特征、所述视觉特征和视觉语言模型生成针对所述图像的自然语言描述。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述方法还包括：根据所述图像的自然语言描述，确定针对所述目标对象的推广策略，所述推广策略用于推广所述目标对象。
根据本公开的一个或多个实施例，示例3提供了示例1的方法，所述从所述图像中提取出所述目标对象的标签特征、所述目标对象在所述图像中的位置特征，包括：将所述图像依次通过卷积神经网络、编码结构和解码结构，提取所述目标对象在所述图像中的位置坐标以及所述目标对象的标签；根据所述目标对象在所述图像中的位置坐标，得到所述图像中的位置特征，根据所述目标对象的标签，得到所述目标对象的标签特征。
根据本公开的一个或多个实施例，示例4提供了示例3的方法，所述目标对象的标签包括至少一个单词。
根据本公开的一个或多个实施例，示例5提供了示例1的方法，提取所述图像中文本特征的过程包括：对所述图像进行光学字符识别，提取所述图像中的文本；根据所述图像中的文本，得到所述图像中的文本特征。
根据本公开的一个或多个实施例，示例6提供了示例3的方法，提取所述目标对象的视觉特征的过程包括：根据所述目标对象在所述图像中的位置坐标，从所述图像中确定所述目标对象对应的区域图像；根据所述目标对象对应的区域图像，得到所述目标对象的视觉特征。
根据本公开的一个或多个实施例，示例7提供了示例1-6的方法，所述根据所述标签特征、所述位置特征、所述文本特征、所述视觉特征和视觉语言模型生成针对所述图像的自然语言描述，包括：通过加和操作，将所述标签特征、所述位置特征、所述文本特征以及所述视觉特征件进行融合，得到融合特征；将所述融合特征输入到所述视觉语言模型，生成针对所述图像的自然语言描述。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (11)

1.一种图像描述生成方法，其特征在于，所述方法包括：
获取包括目标对象的图像；
从所述图像中分别提取出所述目标对象的标签特征、所述目标对象在所述图像中的位置特征、所述图像中文本特征以及所述目标对象的视觉特征；
根据所述标签特征、所述位置特征、所述文本特征、所述视觉特征和视觉语言模型生成针对所述图像的自然语言描述。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述图像的自然语言描述，确定针对所述目标对象的推广策略，所述推广策略用于推广所述目标对象。
3.根据权利要求1所述的方法，其特征在于，所述从所述图像中提取出所述目标对象的标签特征、所述目标对象在所述图像中的位置特征，包括：
将所述图像依次通过卷积神经网络、编码结构和解码结构，提取所述目标对象在所述图像中的位置坐标以及所述目标对象的标签；
根据所述目标对象在所述图像中的位置坐标，得到所述图像中的位置特征，根据所述目标对象的标签，得到所述目标对象的标签特征。
4.根据权利要求3所述的方法，其特征在于，所述目标对象的标签包括至少一个单词。
5.根据权利要求1所述的方法，其特征在于，提取所述图像中文本特征的过程包括：
对所述图像进行光学字符识别，提取所述图像中的文本；
根据所述图像中的文本，得到所述图像中的文本特征。
6.根据权利要求3所述的方法，其特征在于，提取所述目标对象的视觉特征的过程包括：
根据所述目标对象在所述图像中的位置坐标，从所述图像中确定所述目标对象对应的区域图像；
根据所述目标对象对应的区域图像，得到所述目标对象的视觉特征。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述标签特征、所述位置特征、所述文本特征、所述视觉特征和视觉语言模型生成针对所述图像的自然语言描述，包括：
通过加和操作，将所述标签特征、所述位置特征、所述文本特征以及所述视觉特征件进行融合，得到融合特征；
将所述融合特征输入到所述视觉语言模型，生成针对所述图像的自然语言描述。
8.一种图像描述生成装置，其特征在于，包括：
获取模块，用于获取包括目标对象的图像；
提取模块，用于从所述图像中分别提取出所述目标对象的标签特征、所述目标对象在所述图像中的位置特征、所述图像中文本特征以及所述目标对象的视觉特征；
生成模块，用于根据所述标签特征、所述位置特征、所述文本特征、所述视觉特征和视觉语言模型生成针对所述图像的自然语言描述。
9.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1至7中任一项所述的方法。
11.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得计算机执行如权利要求1至7中任一项所述的方法。
CN202210278138.2A 2022-03-21 2022-03-21 一种图像描述生成方法、装置、设备、介质及产品 Active CN114627353B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210278138.2A CN114627353B (zh) 2022-03-21 2022-03-21 一种图像描述生成方法、装置、设备、介质及产品
PCT/CN2023/078335 WO2023179308A1 (zh) 2022-03-21 2023-02-27 一种图像描述生成方法、装置、设备、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210278138.2A CN114627353B (zh) 2022-03-21 2022-03-21 一种图像描述生成方法、装置、设备、介质及产品

Publications (2)

Publication Number Publication Date
CN114627353A true CN114627353A (zh) 2022-06-14
CN114627353B CN114627353B (zh) 2023-12-12

Family

ID=81904313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210278138.2A Active CN114627353B (zh) 2022-03-21 2022-03-21 一种图像描述生成方法、装置、设备、介质及产品

Country Status (2)

Country Link
CN (1) CN114627353B (zh)
WO (1) WO2023179308A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023179308A1 (zh) * 2022-03-21 2023-09-28 北京有竹居网络技术有限公司 一种图像描述生成方法、装置、设备、介质及产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472688A (zh) * 2019-08-16 2019-11-19 北京金山数字娱乐科技有限公司 图像描述的方法及装置、图像描述模型的训练方法及装置
CN110825901A (zh) * 2019-11-11 2020-02-21 腾讯科技（北京）有限公司 基于人工智能的图文匹配方法、装置、设备及存储介质
CN111368118A (zh) * 2020-02-13 2020-07-03 中山大学 一种图像描述生成方法、系统、装置和存储介质
CN113569892A (zh) * 2021-01-29 2021-10-29 腾讯科技（深圳）有限公司 图像描述信息生成方法、装置、计算机设备及存储介质
AU2021106049A4 (en) * 2021-08-19 2021-12-09 Abrar Alvi An enhancing visual data caption generation using machine learning
CN113792113A (zh) * 2020-07-31 2021-12-14 北京京东尚科信息技术有限公司 视觉语言模型获得及任务处理方法、装置、设备及介质
CN114387430A (zh) * 2022-01-11 2022-04-22 平安科技（深圳）有限公司 基于人工智能的图像描述生成方法、装置、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472642B (zh) * 2019-08-19 2022-02-01 齐鲁工业大学 基于多级注意力的细粒度图像描述方法及系统
US11657230B2 (en) * 2020-06-12 2023-05-23 Adobe Inc. Referring image segmentation
CN113792112A (zh) * 2020-07-31 2021-12-14 北京京东尚科信息技术有限公司 视觉语言任务处理系统、训练方法、装置、设备及介质
CN112200268A (zh) * 2020-11-04 2021-01-08 福州大学 一种基于编码器-解码器框架的图像描述方法
CN113569068B (zh) * 2021-01-19 2023-09-29 腾讯科技（深圳）有限公司 描述内容生成方法、视觉内容的编码、解码方法、装置
CN114627353B (zh) * 2022-03-21 2023-12-12 北京有竹居网络技术有限公司 一种图像描述生成方法、装置、设备、介质及产品

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472688A (zh) * 2019-08-16 2019-11-19 北京金山数字娱乐科技有限公司 图像描述的方法及装置、图像描述模型的训练方法及装置
CN110825901A (zh) * 2019-11-11 2020-02-21 腾讯科技（北京）有限公司 基于人工智能的图文匹配方法、装置、设备及存储介质
CN111368118A (zh) * 2020-02-13 2020-07-03 中山大学 一种图像描述生成方法、系统、装置和存储介质
CN113792113A (zh) * 2020-07-31 2021-12-14 北京京东尚科信息技术有限公司 视觉语言模型获得及任务处理方法、装置、设备及介质
CN113569892A (zh) * 2021-01-29 2021-10-29 腾讯科技（深圳）有限公司 图像描述信息生成方法、装置、计算机设备及存储介质
AU2021106049A4 (en) * 2021-08-19 2021-12-09 Abrar Alvi An enhancing visual data caption generation using machine learning
CN114387430A (zh) * 2022-01-11 2022-04-22 平安科技（深圳）有限公司 基于人工智能的图像描述生成方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023179308A1 (zh) * 2022-03-21 2023-09-28 北京有竹居网络技术有限公司 一种图像描述生成方法、装置、设备、介质及产品

Also Published As

Publication number Publication date
WO2023179308A1 (zh) 2023-09-28
CN114627353B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
US11367313B2 (en) Method and apparatus for recognizing body movement
CN112184738B (zh) 一种图像分割方法、装置、设备及存储介质
CN111340131B (zh) 图像的标注方法、装置、可读介质和电子设备
CN112153422B (zh) 视频融合方法和设备
CN110659639B (zh) 汉字识别方法、装置、计算机可读介质及电子设备
CN110991373A (zh) 图像处理方法、装置、电子设备及介质
WO2023179308A1 (zh) 一种图像描述生成方法、装置、设备、介质及产品
CN115294501A (zh) 视频识别方法、视频识别模型训练方法、介质及电子设备
CN115905622A (zh) 视频标注方法、装置、设备、介质及产品
CN110148024B (zh) 一种用于提供评论输入模式的方法与装置
CN113610034B (zh) 识别视频中人物实体的方法、装置、存储介质及电子设备
CN114581336A (zh) 图像修复方法、装置、设备、介质及产品
CN109816023B (zh) 用于生成图片标签模型的方法和装置
CN110851059A (zh) 图片编辑方法、装置和电子设备
CN110674813B (zh) 汉字识别方法、装置、计算机可读介质及电子设备
CN113628097A (zh) 图像特效配置方法、图像识别方法、装置及电子设备
CN114495081A (zh) 文本识别的方法、装置、可读介质和电子设备
CN115115836A (zh) 图像识别方法、装置、存储介质以及电子设备
CN111353536B (zh) 图像的标注方法、装置、可读介质和电子设备
CN114445813A (zh) 一种字符识别方法、装置、设备及介质
CN114511744A (zh) 图像分类方法、装置、可读介质和电子设备
CN114445812A (zh) 一种字符识别方法、装置、设备及介质
CN114495112A (zh) 图像中文本的处理方法、装置、可读介质和电子设备
CN111340813A (zh) 图像实例分割方法、装置、电子设备及存储介质
CN112306976A (zh) 信息处理方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant