CN109918513B - 图像处理方法、装置、服务器及存储介质 - Google Patents

图像处理方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN109918513B
CN109918513B CN201910184113.4A CN201910184113A CN109918513B CN 109918513 B CN109918513 B CN 109918513B CN 201910184113 A CN201910184113 A CN 201910184113A CN 109918513 B CN109918513 B CN 109918513B
Authority
CN
China
Prior art keywords
image
processed
entity
determining
entity associated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910184113.4A
Other languages
English (en)
Other versions
CN109918513A (zh
Inventor
张晓寒
徐也
任可欣
冯知凡
张扬
朱勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910184113.4A priority Critical patent/CN109918513B/zh
Publication of CN109918513A publication Critical patent/CN109918513A/zh
Priority to KR1020200002708A priority patent/KR102459123B1/ko
Priority to EP20150891.8A priority patent/EP3709212A1/en
Priority to US16/751,011 priority patent/US11475588B2/en
Priority to JP2020042089A priority patent/JP7132962B2/ja
Application granted granted Critical
Publication of CN109918513B publication Critical patent/CN109918513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、服务器及存储介质。该方法包括：根据待处理图像中包括的物体类型，确定待处理图像中的物体特征表示；根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体。通过根据物体特征表示和知识图谱中实体的特征表示，进一步确定待处理图像中物体所关联的实体，从而能够对图像进行深层的图像理解，便于对图像关联的实体进行扩展和校验，实现了结构化语义标签的确定。

Description

图像处理方法、装置、服务器及存储介质
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种图像处理方法、装置、服务器及存储介质。
背景技术
随着互联网上图像、视频类数据的激增，图像处理技术的需求也日益增加，利用图像处理技术对图片或视频的内容进行快速理解，以对图片或视频制定对应标签，并推荐给用户。
目前基于图像处理技术获取图像标签结果的技术主要为设置物体标签以及对相关动作进行分析，但是该方法只能分析表面层面的内容，无法进行深层分析得到深层次的结果，标签结果没有语义化，导致分析结果不精确。另外，利用外部知识图谱数据进行标签结果获取的方法，虽然提高了标签的识别效果，但是标签没有实现语义化，无法深层理解图片内容。
发明内容
本发明实施例提供一种图像处理方法、装置、服务器及存储介质，以利用知识图谱进行深层的图像理解，从而得到图像的结构化的语义标签。
第一方面，本发明实施例提供了一种图像处理方法，该方法包括：
根据待处理图像中包括的物体类型，确定待处理图像中的物体特征表示；
根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体。
第二方面，本发明实施例还提供了一种图像处理装置，该装置包括：
特征表示确定模块，用于根据待处理图像中包括的物体类型，确定待处理图像中的物体特征表示；
关联实体确定模块，用于根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体。
第三方面，本发明实施例还提供了一种服务器，该服务器包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例中的任一种图像处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例中的任一种图像处理方法。
本发明实施例通过根据待处理图像中包括的物体类型，确定待处理图像中的物体特征表示；根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体。通过根据物体特征表示和知识图谱中实体的特征表示，进一步确定待处理图像中物体所关联的实体，从而能够对图像进行深层的图像理解，便于对图像关联的实体进行扩展和校验，实现了结构化语义标签的确定。
附图说明
图1是本发明实施例一中的一种图像处理方法的流程图；
图2是本发明实施例二中的一种图像处理方法的流程图；
图3是本发明实施例二中的图像关联实体确定示意图；
图4是本发明实施例三中的一种图像处理装置的结构示意图；
图5是本发明实施例四中的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中的一种图像处理方法的流程图。本实施例提供的图像处理方法可适用于对图像进行深度理解进而确定图像标签的情况，该方法可以由图像处理装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在服务器中。参见图1，本实施的方法具体包括如下：
S110、根据待处理图像中包括的物体类型，确定待处理图像中的物体特征表示。
具体的，待处理图像可以为图片或视频中的单帧图像，物体特征包括待处理图像中的各实体。可选的，根据待处理图像中包括的物体类型，确定待处理图像中的物体特征表示包括：根据待处理图像中包括的物体类型和物体图像区域，确定待处理图像中的物体特征表示。示例性的，对待处理图像进行目标识别，识别出待处理图像中出现的多个物体，对多个物体进行分类和圈定，从而得到各物体的物体类型和物体图像区域。将待处理图像的像素数据输入至分类模型，得到各物体的类别，进一步将像素数据输入至类别对应的深度学习模型，对待处理图像进行特征提取，并得到特征表示结果，可选的，将像素数据输入至CNN(Convolutional Neural Networks，卷积神经网络)模型中进行特征提取，得到各物体对应的特征表示。另一可选的，将各类别的物体输入至与类别对应的深度学习模型，提取特征数据，进而得到该物体的特征表示，例如，将类别为人脸的图像输入至DeepID、DeepFace或FaceNet人脸识别模型中，对人脸进行特征提取，得到人脸的特征表示。
S120、根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体。
具体的，物体特征表示可以为待处理图像中展示的物体特征，例如物体的形状、颜色、纹理等特征。对待处理图像中物体的特征表示与知识图谱中的特征表示进行匹配计算，将与待处理图像中物体的特征表示相匹配的知识图谱中的实体，作为待处理图像中物体所关联的实体。可选的，根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体，包括：根据待处理图像的物体特征表示、待处理图像的特征表示和待处理图像所关联的文本特征表示，以及知识图谱中实体的特征表示和实体属性信息，确定待处理图像中物体所关联的实体。示例性的，在实际应用中，互联网上的图像通常会有与图像相关联的文本，例如图像中的台词、图像来源标题、图像所对应的文章标题等文本信息，与待处理图像相关联，获取文本的特征表示，通过结合文本的特征表示进一步确定关联的实体。其中，知识图谱中实体的实体属性信息包括物体本质性的属性，例如待处理图像中一个人的年龄、性别、职业等属性信息。将待处理图像的物体特征表示、待处理图像和待处理图像所关联的文本特征表示，与知识图谱中实体的特征表示和实体属性信息进行匹配计算，比较其特征关系，从而确定待处理图像的物体所关联的实体。
可选的，根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体之后，还包括：根据待处理图像所属文章中包括的实体，确定文章特征表示；根据所述文章特征表示和待处理图像中物体所关联的实体，确定图文相关度。具体的，待处理图像所属的文章不一定与待处理图像存在高度相关性，很可能是由于对图像或文章的识别误差导致图像与文章组合，因此，可以通过相关度确定验证待处理图像与文章是否相关。示例性的，确定待处理图像中文章的特征表示，进一步根据文章的特征表示以及上述确定的到处理图像中物体所关联的实体，确定文章与待处理图像的相关度。
本发明实施例提供的技术方案，根据待处理图像中包括的物体类型，确定待处理图像中的物体特征表示；根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体。通过根据物体特征表示和知识图谱中实体的特征表示，进一步确定待处理图像中物体所关联的实体，从而能够对图像进行深层的图像理解，便于对图像关联的实体进行扩展和校验，实现了结构化语义标签的确定。
实施例二
图2是本发明实施例二中的一种图像处理方法的流程图。本实施例在上述实施例的基础上进行了优化，未在本实施例中详细描述的内容详见上述实施例。参见图2，本实施例提供的图像处理方法包括：
S210、根据待处理图像中包括的物体类型，确定待处理图像中的物体特征表示。
S220、根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体。
S230、将第一召回方式作为确定的实体的召回方式。
具体的，第一召回方式可以为S220中确定的实体召回方式，即根据待处理图像中的物体特征表示和知识图谱中实体的特征表示，确定待处理图像中物体所关联的实体。
S240、通过至少一种辅助召回方式，确定待处理图像中的物体所关联的实体。
具体的，所述辅助召回方式，即通过除S220中召回方式以外的其他召回方式。示例性的，互联网上的图像通常会有与图像相关联的文本，例如图像中的台词、图像来源标题或图像所对应的文章标题等文本信息，可以通过文本的特征表示获取文本实体，但是，文本与图像之间的相关性可能较低，因此将通过文本信息确定图像关联结果的方法作为辅助方法，通过与待处理图像相关联的文本信息对关联实体进行召回，作为辅助召回方式。
可选的，通过至少一种辅助召回方式，确定待处理图像中的物体所关联的实体，包括：将待处理图像与候选实体的图像进行匹配，确定待处理图像关联的实体；和/或，将待处理图像所属的文本与知识图谱进行匹配，确定待处理图像关联的实体。示例性的，将待处理图像和候选实体的图像进行计算匹配，若匹配结果满足条件，则确定该候选实体与待处理图像相关联。和/或，将待处理图像所属的文章文本与知识图谱进行匹配计算，若匹配结果满足条件，则确定相匹配的实体为待处理图像关联的实体。
示例性的，将待处理图像与候选实体的图像进行匹配，能够确定待处理图像中的演员实体，和/或，将图像所属的文章文本与知识图谱进行匹配，能够得到与文章中的文本实体相关联的演员实体。
S250、根据各实体的召回方式和召回频次，重新确定待处理图像中物体所关联的实体。
示例性的，将召回方式以及召回方式下的召回频次特征添加到实体特征表示中，确定待处理图像中物体所关联的实体，从而重新确定待处理图像中物体所关联的实体。示例性的，根据重新确定的演员实体，根据知识图谱确定角色实体，将角色实体补充至待处理图像中物体关联实体的结果中。
S260、从知识图谱中拉取，与物体所关联的实体具有边关系的新实体。
具体的，根据知识图谱中存在的与物体所关联的实体具有边关系的实体，对物体所关联的实体进行校验。例如，知识图谱中的实体：影视剧三生三世十里桃花，与其具有变关系的实体为：角色白浅，即角色白浅与影视剧三生三世十里桃花具有边关系。通过拉取与物体所关联的实体具有边关系的新实体，能够更深层次得理解实体的属性。
S270、根据拉取的新实体之间的相互关系，从新实体中选择图像所关联的新实体。
具体的，获取拉取的新实体之间的关系，例如取新实体之间的交集，将交集作为图像关联的新实体，例如一张图关联有3个实体，分别从知识图谱中拉取3个实体有边关系的新实体集；再将3个实体的新实体集的交集，作为图像关联的新实体。示例性的，获取图像中每个演员实体曾经出演过的影视剧，去影视剧的交集，将交集部分作为图像关联的新实体。
可选的，图3是本发明实施例二中的图像关联实体确定示意图，如图3所示，确定待处理图像中物体所关联的实体，通过图像识别分类和特征提取得到图像中物体对应的实体，例如识别出图像中的实体为演员，分别为角色刘备、关羽和张飞，再根据知识图谱中与刘备、关羽和张飞具有边关系的实体，即确定各角色所对应的影视剧为《三国演义》，进一步根据影视剧以及三个角色，确定图片的情节为桃园三结义。另一可选的，通过图像识别分类和特征提取得到图像中物体对应的实体，例如识别出图像中的实体为演员，分别为角色刘备、关羽和张飞，再通过识别待处理图像中的动作，为拜礼动作，从而确定待处理图像中的情节为桃园三结义。需要说明的是，图3中为了区分展示物体与背景图像，物体图像区域部分使用了白色选框，并不作具体限定。
本发明实施例，将第一召回方式作为确定的实体的召回方式；通过至少一种辅助召回方式，确定待处理图像中的物体所关联的实体；根据各实体的召回方式和召回频次，重新确定待处理图像中物体所关联的实体。从知识图谱中拉取，与物体所关联的实体具有边关系的新实体；根据拉取的新实体之间的相互关系，从新实体中选择图像所关联的新实体。通过辅助召回方式，从而对图像进行深度理解，对图像关联的实体进行扩展，并通过实体的变关系确定图像所关联的新实体，实现深层推理和校验，从而准确得到图像的语义化标签。
实施例三
图4为本发明实施例三中的一种图像处理装置的结构示意图。该装置适用于对图像进行深度理解进而确定图像标签的情况，该装置可以由软件和/或硬件实现，并具体可集成在服务器中。参见图4，该装置具体包括：
特征表示确定模块310，用于根据待处理图像中包括的物体类型，确定待处理图像中的物体特征表示；
关联实体确定模块320，用于根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体。
可选的，所述特征表示确定模块310，具体用于根据待处理图像中包括的物体类型和物体图像区域，确定待处理图像中的物体特征表示。
可选的，所述关联实体确定模块320，具体用于根据待处理图像的物体特征表示、待处理图像的特征表示和待处理图像所关联的文本特征表示，以及知识图谱中实体的特征表示和实体属性信息，确定待处理图像中物体所关联的实体。
可选的，还包括：
文章特征表示确定模块，用于根据待处理图像所属文章中包括的实体，确定文章特征表示；
相关度确定模块，用于根据所述文章特征表示和待处理图像中物体所关联的实体，确定图文相关度。
可选的，还包括：
召回方式确定模块，用于将第一召回方式作为确定的实体的召回方式；
辅助召回模块，用于通过至少一种辅助召回方式，确定待处理图像中的物体所关联的实体；
关联实体重新确定模块，用于根据各实体的召回方式和召回频次，重新确定待处理图像中物体所关联的实体。
可选的，所述辅助召回模块，具体用于：
将待处理图像与候选实体的图像进行匹配，确定待处理图像关联的实体；和/或，
将待处理图像所属的文本与知识图谱进行匹配，确定待处理图像关联的实体。
可选的，还包括：
拉取模块，用于从知识图谱中拉取，与物体所关联的实体具有边关系的新实体；
新实体选择模块，用于根据拉取的新实体之间的相互关系，从新实体中选择图像所关联的新实体。
上述实施例所述图像处理装置用于执行上述实施例所述任一的图像处理方法，其技术原理和产生的技术效果类似，这里不再赘述。
实施例四
图5是本发明实施例四中的一种服务器的结构示意图。图5示出了适于用来实现本发明实施方式的示例性服务器412的框图。图5显示的服务器412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，服务器412以通用计算设备的形式表现。服务器412的组件可以包括但不限于：一个或者多个处理器或者处理器416，系统存储器428，连接不同系统组件(包括系统存储器428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
服务器412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)430和/或高速缓存存储器432。服务器412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
服务器412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等)通信，还可与一个或者多个使得用户能与该服务器412交互的设备通信，和/或与使得该服务器412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，服务器412还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与服务器412的其它模块通信。应当明白，尽管图中未示出，可以结合服务器412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在系统存储器428中的多个程序中其他程序的至少一个，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种图像处理方法。
实施例五
本发明实施例五提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像处理方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法包括：
根据待处理图像中包括的物体类型，将待处理图像的像素数据输入至物体类型对应的深度学习模型，对待处理图像进行特征提取，以确定待处理图像中的物体特征表示；其中，物体类型是对待处理图像中的物体、基于分类模型进行分类得到的；所述待处理图像中包含至少两个物体，对所述各物体进行分类和圈定，得到各物体的物体类型；所述物体特征包括所述待处理图像中的各物体；
根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体；
从知识图谱中拉取，与物体所关联的实体具有边关系的新实体，对所述物体所关联的实体进行校验；
根据拉取的新实体之间的相互关系，从新实体中选择图像所关联的新实体；
其中，根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体，包括：
将知识图谱中，与待处理图像中的物体特征表示相匹配的特征表示所对应的实体，作为待处理图像中物体所关联的实体。
2.根据权利要求1所述的方法，其特征在于，根据待处理图像中包括的物体类型，确定待处理图像中的物体特征表示包括：
根据待处理图像中包括的物体类型和物体图像区域，确定待处理图像中的物体特征表示。
3.根据权利要求1所述的方法，其特征在于，根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体，包括：
根据待处理图像的物体特征表示、待处理图像的特征表示和待处理图像所关联的文本特征表示，以及知识图谱中实体的特征表示和实体属性信息，确定待处理图像中物体所关联的实体。
4.根据权利要求1所述的方法，其特征在于，根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体之后，还包括：
根据待处理图像所属文章中包括的实体，确定文章特征表示；
根据所述文章特征表示和待处理图像中物体所关联的实体，确定图文相关度。
5.根据权利要求1-4任一所述的方法，其特征在于，确定待处理图像中物体所关联的实体之后，所述方法还包括：
将第一召回方式作为确定的实体的召回方式；
通过至少一种辅助召回方式，确定待处理图像中的物体所关联的实体；
根据各实体的召回方式和召回频次，重新确定待处理图像中物体所关联的实体。
6.根据权利要求5所述的方法，其特征在于，通过至少一种辅助召回方式，确定待处理图像中的物体所关联的实体，包括：
将待处理图像与候选实体的图像进行匹配，确定待处理图像关联的实体；和/或，
将待处理图像所属的文本与知识图谱进行匹配，确定待处理图像关联的实体。
7.一种图像处理装置，其特征在于，所述装置包括：
特征表示确定模块，用于根据待处理图像中包括的物体类型，将待处理图像的像素数据输入至物体类型对应的深度学习模型，对待处理图像进行特征提取，以确定待处理图像中的物体特征表示；其中，物体类型是对待处理图像中的物体、基于分类模型进行分类得到的；所述待处理图像中包含至少两个物体，对所述各物体进行分类和圈定，得到各物体的物体类型；所述物体特征包括所述待处理图像中的各物体；
关联实体确定模块，用于根据待处理图像中的物体特征表示和知识图谱中实体的特征表示进行处理，确定待处理图像中物体所关联的实体；
拉取模块，用于从知识图谱中拉取，与物体所关联的实体具有边关系的新实体，对所述物体所关联的实体进行校验；
新实体选择模块，用于根据拉取的新实体之间的相互关系，从新实体中选择图像所关联的新实体；
其中，所述关联实体确定模块，具体用于：
将知识图谱中，与待处理图像中的物体特征表示相匹配的特征表示所对应的实体，作为待处理图像中物体所关联的实体。
8.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的一种图像处理方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的一种图像处理方法。
CN201910184113.4A 2019-03-12 2019-03-12 图像处理方法、装置、服务器及存储介质 Active CN109918513B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910184113.4A CN109918513B (zh) 2019-03-12 2019-03-12 图像处理方法、装置、服务器及存储介质
KR1020200002708A KR102459123B1 (ko) 2019-03-12 2020-01-08 이미지를 처리하는 방법, 장치, 서버 및 저장 매체
EP20150891.8A EP3709212A1 (en) 2019-03-12 2020-01-09 Image processing method and device for processing image, server and storage medium
US16/751,011 US11475588B2 (en) 2019-03-12 2020-01-23 Image processing method and device for processing image, server and storage medium
JP2020042089A JP7132962B2 (ja) 2019-03-12 2020-03-11 画像処理方法、装置、サーバ及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910184113.4A CN109918513B (zh) 2019-03-12 2019-03-12 图像处理方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN109918513A CN109918513A (zh) 2019-06-21
CN109918513B true CN109918513B (zh) 2023-04-28

Family

ID=66964354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910184113.4A Active CN109918513B (zh) 2019-03-12 2019-03-12 图像处理方法、装置、服务器及存储介质

Country Status (5)

Country Link
US (1) US11475588B2 (zh)
EP (1) EP3709212A1 (zh)
JP (1) JP7132962B2 (zh)
KR (1) KR102459123B1 (zh)
CN (1) CN109918513B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704650B (zh) * 2019-09-29 2023-04-25 携程计算机技术（上海）有限公司 Ota图片标签的识别方法、电子设备和介质
US11127135B1 (en) * 2020-03-23 2021-09-21 Caterpillar Paving Products Inc. System and method for correcting paving mat defects
WO2021237731A1 (zh) * 2020-05-29 2021-12-02 西门子股份公司 一种目标检测方法、装置和计算机可读介质
CN111949814A (zh) * 2020-06-24 2020-11-17 百度在线网络技术（北京）有限公司 搜索方法、装置、电子设备和存储介质
CN111930964B (zh) * 2020-09-17 2021-02-12 腾讯科技（深圳）有限公司 内容处理方法、装置、设备及存储介质
US20220147843A1 (en) * 2020-11-12 2022-05-12 Samsung Electronics Co., Ltd. On-device knowledge extraction from visually rich documents
CN112883735B (zh) * 2021-02-10 2024-01-12 卡奥斯数字科技(上海)有限公司 一种表单图像的结构化处理方法、装置、设备及存储介质
CN113486195A (zh) * 2021-08-17 2021-10-08 深圳华声医疗技术股份有限公司 超声图像处理方法、装置、超声设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169535A (zh) * 2017-07-06 2017-09-15 谈宜勇 生物多光谱图像的深度学习分类方法及装置
CN108256307A (zh) * 2018-01-12 2018-07-06 重庆邮电大学 一种智能商务旅居房车的混合增强智能认知方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331466B (zh) 2015-06-30 2019-06-07 芋头科技（杭州）有限公司 一种通过语音指令快速定位拍照的方法及拍照系统
US20170076222A1 (en) * 2015-09-14 2017-03-16 International Business Machines Corporation System and method to cognitively process and answer questions regarding content in images
US20170185670A1 (en) * 2015-12-28 2017-06-29 Google Inc. Generating labels for images associated with a user
CN107833082B (zh) * 2017-09-15 2022-04-12 唯品会(海南)电子商务有限公司 一种商品图片的推荐方法和装置
US10157226B1 (en) * 2018-01-16 2018-12-18 Accenture Global Solutions Limited Predicting links in knowledge graphs using ontological knowledge
CN108171213A (zh) * 2018-01-22 2018-06-15 北京邮电大学 一种适用图文知识图谱的关系抽取方法
CN109271542A (zh) * 2018-09-28 2019-01-25 百度在线网络技术（北京）有限公司 封面确定方法、装置、设备及可读存储介质
US10949718B2 (en) * 2019-05-08 2021-03-16 Accenture Global Solutions Limited Multi-modal visual question answering system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169535A (zh) * 2017-07-06 2017-09-15 谈宜勇 生物多光谱图像的深度学习分类方法及装置
CN108256307A (zh) * 2018-01-12 2018-07-06 重庆邮电大学 一种智能商务旅居房车的混合增强智能认知方法

Also Published As

Publication number Publication date
JP2020149686A (ja) 2020-09-17
JP7132962B2 (ja) 2022-09-07
CN109918513A (zh) 2019-06-21
KR20200109239A (ko) 2020-09-22
US20200294267A1 (en) 2020-09-17
EP3709212A1 (en) 2020-09-16
US11475588B2 (en) 2022-10-18
KR102459123B1 (ko) 2022-10-26

Similar Documents

Publication Publication Date Title
CN109918513B (zh) 图像处理方法、装置、服务器及存储介质
US9619735B1 (en) Pure convolutional neural network localization
CN109117777B (zh) 生成信息的方法和装置
CN108052577B (zh) 一种通用文本内容挖掘方法、装置、服务器及存储介质
CN112559800B (zh) 用于处理视频的方法、装置、电子设备、介质和产品
CN108460098B (zh) 信息推荐方法、装置和计算机设备
US9830316B2 (en) Content availability for natural language processing tasks
CN111931859B (zh) 一种多标签图像识别方法和装置
CN111950279B (zh) 实体关系的处理方法、装置、设备及计算机可读存储介质
CN107861948B (zh) 一种标签提取方法、装置、设备和介质
CN114429566A (zh) 一种图像语义理解方法、装置、设备及存储介质
CN113158656A (zh) 讽刺内容识别方法、装置、电子设备以及存储介质
CN112766284A (zh) 图像识别方法和装置、存储介质和电子设备
CN111125550B (zh) 兴趣点分类方法、装置、设备及存储介质
CN113762303B (zh) 图像分类方法、装置、电子设备及存储介质
CN111738791B (zh) 一种文本处理方法、装置、设备和存储介质
WO2023124793A1 (zh) 图像推送方法和装置
US20170228438A1 (en) Custom Taxonomy
CN113033682B (zh) 视频分类方法、装置、可读介质、电子设备
US20210342642A1 (en) Machine learning training dataset optimization
CN116030375A (zh) 视频特征提取、模型训练方法、装置、设备及存储介质
CN115017385A (zh) 一种物品搜索方法、装置、设备和存储介质
CN111552780B (zh) 医用场景的搜索处理方法、装置、存储介质及电子设备
CN109460511B (zh) 一种获取用户画像的方法、装置、电子设备及存储介质
CN113570205A (zh) 基于单分类的api风险设备识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant