CN110580482B - 图像分类模型训练、图像分类、个性化推荐方法及装置 - Google Patents

图像分类模型训练、图像分类、个性化推荐方法及装置 Download PDF

Info

Publication number
CN110580482B
CN110580482B CN201910848294.6A CN201910848294A CN110580482B CN 110580482 B CN110580482 B CN 110580482B CN 201910848294 A CN201910848294 A CN 201910848294A CN 110580482 B CN110580482 B CN 110580482B
Authority
CN
China
Prior art keywords
image
features
classified
sample
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910848294.6A
Other languages
English (en)
Other versions
CN110580482A (zh
Inventor
顾佳伟
马林
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910848294.6A priority Critical patent/CN110580482B/zh
Publication of CN110580482A publication Critical patent/CN110580482A/zh
Application granted granted Critical
Publication of CN110580482B publication Critical patent/CN110580482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种图像分类模型训练及装置、图像分类方法及装置、个性化推荐方法及装置、计算机存储介质及设备，一个实施例的方法包括：提取各样本图像的全局图像特征；根据各样本图像及各样本图像的全局图像特征，确定各样本图像的局部关键区域；提取各样本图像的局部关键区域的图像特征；根据各样本图像的全局图像特征及各样本图像的局部关键区域的图像特征，获取各样本图像分别对应的关联特征；初始化分类模型获得初始分类模型；根据各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征及各样本图像的关联特征，对初始分类模型进行训练，获得训练后的图像分类模型。依据本实施例获得的图像分类模型进行图像分类时，能够提高图像分类准确性。

Description

图像分类模型训练、图像分类、个性化推荐方法及装置
本申请是于2017年11月30日提交中国专利局，申请号为201711244572.4，发明名称为“图像分类方法及装置、个性化推荐方法及装置”的分案申请，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像分类模型训练方法、图像分类模型训练装置、图像分类方法、图像分类方法装置、个性化推荐方法、个性化推荐装置、计算机存储介质及计算机设备。
背景技术
目前，各种系统、软件和网站中可提供多种多样的图像以供用户选择，为便于用户对图像的查找，提供有图像分类的功能。
在现有图像分类方法中，通过对图像进行分析，获得图像特征，根据图像特征以及分类算法对图像进行分类。然而，现有图像分类方法中采用的图像特征比较单一，据此进行分类时，导致分类准确性不足。
发明内容
基于此，有必要针对图像分类准确性不足的问题，提出一种图像分类模型训练方法、图像分类模型训练装置、图像分类方法、图像分类方法装置、个性化推荐方法、个性化推荐装置、计算机存储介质及计算机设备。
一种图像分类模型训练方法，包括以下步骤：
提取各样本图像的全局图像特征；
根据各所述样本图像以及各所述样本图像的全局图像特征，确定各所述样本图像的局部关键区域；
提取各所述样本图像的局部关键区域的图像特征；
根据各所述样本图像的全局图像特征以及各所述样本图像的局部关键区域的图像特征，获取各所述样本图像分别对应的关联特征；
初始化分类模型，获得初始分类模型；
根据各所述样本图像的全局图像特征、各所述样本图像的局部关键区域的图像特征以及各所述样本图像的关联特征，对所述初始分类模型进行训练，获得训练后的图像分类模型。
一种图像分类方法，包括以下步骤：
提取待分类图像的全局图像特征；
根据所述待分类图像以及所述待分类图像的全局图像特征，确定所述待分类图像的局部关键区域；
提取所述待分类图像的局部关键区域的图像特征；
根据所述待分类图像的全局图像特征以及所述待分类图像的局部关键区域的图像特征，获取所述待分类图像的关联特征；
采用训练后的图像分类模型，对所述待分类图像的全局图像特征、所述待分类图像的局部关键区域的图像特征以及所述待分类图像的关联特征进行分类处理，获得所述待分类图像的分类结果，所述训练后的图像分类模型，为采用如上所述的图像分类模型训练方法获得的图像分类模型。
一种个性化推荐方法，包括：
获取通过上述图像分类方法对待分类图像进行分类确定的分类结果；
查找与所述分类结果对应的待推荐对象信息；
推送所述待推荐对象信息。
一种训练图像分类模型的装置，包括：
全局特征提取模块，用于提取各样本图像的全局图像特征；
确定模块，用于根据各所述样本图像以及各所述样本图像的全局图像特征，确定各所述样本图像的局部关键区域；
局部特征提取模块，用于提取各所述样本图像的局部关键区域的图像特征；
关联特征获取模块，用于根据各所述样本图像的全局图像特征以及各所述样本图像的局部关键区域的图像特征，获取各所述样本图像分别对应的关联特征；
初始化模块，用于初始化分类模型，获得初始分类模型；
训练模块，用于根据各所述样本图像的全局图像特征、各所述样本图像的局部关键区域的图像特征以及各所述样本图像的关联特征，对所述初始分类模型进行训练，获得训练后的图像分类模型。
一个实施例中，所述初始分类模型包括第一初始分类模型以及第二初始分类模型；训练模块包括：第一训练模块、第二训练模块、模型合并模块以及第三训练模块；
第一训练模块，用于根据各所述样本图像的全局图像特征对所述第一初始分类模型进行训练获得第一目标分类模型；
第二训练模块，用于根据各所述样本图像的局部关键区域的图像特征对所述第二初始分类模型进行训练获得第二目标分类模型；
模型合并模块，用于合并所述第一目标分类模型与所述第二目标分类模型，获得初始合并分类模型；
第三训练模块，用于根据各所述样本图像的关联特征对所述初始合并分类模型进行训练，获得所述已训练分类模型。
一个实施例中，训练模块分别对各所述样本图像的全局图像特征、局部关键区域的图像特征以及关联特征进行合并，分别获得各所述样本图像的样本合并特征；根据各所述样本图像的所述样本合并特征，对所述初始合并分类模型进行训练，获得训练后的图像分类模型。
一种图像分类装置，包括分类模块以及如上所述的训练图像分类模型的装置；
所述全局特征提取模块，还用于提取待分类图像的全局图像特征；
所述确定模块，还用于根据所述待分类图像以及所述待分类图像的全局图像特征，确定所述待分类图像的局部关键区域；
所述局部特征提取模块，还用于提取所述待分类图像的局部关键区域的图像特征；
所述关联特征获取模块，还用于根据所述待分类图像的全局图像特征以及所述待分类图像的局部关键区域的图像特征，获取待分类图像的关联特征；
所述分类模块，用于采用所述训练后的图像分类模型，对所述待分类图像的全局图像特征、所述待分类图像的局部关键区域的图像特征以及所述待分类图像的关联特征进行分类处理，获得所述待分类图像的分类结果。
一种个性化推荐装置，包括：
分类结果获取模块，用于获取通过上述图像分类装置对所述待分类图像进行分类确定的分类结果；
查找模块，用于查找与所述分类结果对应的待推荐对象信息；
推送模块，用于推送所述待推荐对象信息。
本申请还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
上述图像分类模型训练及装置、图像分类方法及装置、个性化推荐方法及装置、计算机存储介质及设备，根据样本图像的全局图像特征、局部关键区域的图像特征以及关联特征，对初始分类模型进行训练，获得训练后的图像分类模型，即在训练获得图像分类模型的过程中，不但考虑了全局图像特征，还考虑了局部关键区域的图像特征以及全局图像与局部关键区域的关联特征，丰富了训练时所依据的图像特征信息，使得在依据训练获得的图像分类模型进行图像分类时，能够准确分类，提高图像分类的准确性。
附图说明
图1为一个实施例中图像分类方法的应用环境示意图；
图2为一个实施例的图像分类方法的流程示意图；
图3为另一个实施例的图像分类方法中步骤S220的子流程示意图；
图4为另一个实施例的图像分类方法中步骤S322的子流程示意图；
图5为另一个实施例的图像分类方法中步骤S240的子流程示意图；
图6为另一个实施例的图像分类方法中步骤S250的子流程示意图；
图7为另一个实施例的图像分类方法中步骤S653之前的子流程示意图；
图8为另一个实施例的图像分类方法中步骤S760的子流程示意图；
图9为一具体实施例的图像分类方法的原理图；
图10为一个实施例的个性化推荐方法的流程图；
图11为一个实施例的图像分类装置的模块示意图；
图12为另一个实施例的图像分类装置中确定模块120的子模块示意图；
图13为另一个实施例的图像分类装置中区域权重获取模块222的子模块示意图；
图14为另一个实施例的图像分类装置中关联特征获取模块140的子模块示意图；
图15为另一个实施例的图像分类装置中分类模块150的子模块示意图；
图16为一个实施例的个性化推荐装置的模块示意图；
图17为一个实施例中计算机设备的结构框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中，计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉、机器学习等技术，具体在如下的实施例中进行举例说明。
图1为一个实施例中图像分类方法的应用环境示意图。参照图1，该图像分类方法应用于图像分类系统。该图像分类系统包括终端110和服务器120。终端 110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器120 可以用独立的服务器或者是多个服务器组成的服务器集群来实现。图像分类方法应用于服务器120中时，终端110可通过网络访问对应的服务器120，以请求相应的分类结果，服务器120可将该分类结果推送至终端110，终端110的用户可以根据该分类结果进行图像查找、下载等等。
如图2所示，在一个实施例中，提供了一种图像分类方法。本实施例主要以该方法应用于上述图1中的服务器120(或终端110)来举例说明。参照图2，该图像分类方法具体包括如下步骤：
S210：提取待分类图像的全局图像特征。
图像特征为表征图像特点的信息，包括全局图像特征和局部图像特征，全局图像特征指能表示整幅图像上的特征，用于描述图像的整体特征。局部图像特征是相对全局图像特征而言的，指图像特征的局部表达，反映图像上具有的局部特殊性。在本实施例中，通过提取待分类图像的全局图像特征，作为后续分类时所依据的特征之一。在本实施例中，全局图像特征可以为特征矩阵。在一些实施例中，可以通过利用人工智能中的计算机视觉技术，对待分类图像进行处理和图像识别，获得待分类图像的全局图像特征。
S220：根据待分类图像以及待分类图像的全局图像特征，确定待分类图像的局部关键区域。
局部关键区域为待分类图像中的部分区域，全局图像特征中包括了各子区域的图像特征，通过全局图像特征可从待分类图像中确定局部关键区域。不同种类的图像之间可能存在相同的整体特征，仅仅通过全局图像特征来进行分类容易导致分类错误，为得到准确的分类，关键点是寻找一些存在细微差别的局部区域。在本实施例中，在获得全局图像特征的基础上，确定待分类图像的局部关键区域，即从图像中提取对应的局部关键区域。在一些实施例中，可以通过利用人工智能中的计算机视觉技术，对待分类图像进行处理和图像识别，以确定待分类图像的局部关键区域。
S230：提取待分类图像的局部关键区域的图像特征。
局部关键区域确定后，则需要对其进行图像特征提取，获得局部关键区域的图像特征，即为表征待分类图像中部分区域的图像特征。在一些实施例中，可以通过利用人工智能中的计算机视觉技术，对待分类图像的局部关键区域进行处理和图像识别，获得待分类图像的局部关键区域的图像特征。
S240：根据待分类图像的全局图像特征以及待分类图像的局部关键区域的图像特征，获取待分类图像的关联特征。
上述全局图像特征和局部关键区域的图像特征是对同一待分类图像进行处理得到的特征，其中必然存在关联，因此，在本实施例中，还需要获取全局图像特征以及局部关键区域的图像特征之间的关联特征，关联特征指特征之间存在的某种关联性的特征，能进一步表征待分类图像的特征，将其作为后续分类依据的特征之一，考虑了全局图像特征和局部关键区域的图像特征的关联性，可提高图像分类的准确性。在一些实施例中，可以通过利用人工智能中的机器学习技术，通过对图像的全局图像特征以及图像的局部关键区域的图像特征之间的关联特征进行学习，并基于学习获得的模型对待分类图像的全局图像特征以及待分类图像的局部关键区域的图像特征进行分析，获得待分类图像的关联特征。
S250：根据待分类图像的全局图像特征、待分类图像的局部关键区域的图像特征以及待分类图像的关联特征，对待分类图像进行分类确定分类结果。在一些实施例中，可以通过利用人工智能中的机器学习技术对待分类图像进行分类，例如通过训练获得图像分类模型，并通过训练获得的图像分类模型，对待分类图像的全局图像特征、待分类图像的局部关键区域的图像特征以及待分类图像的关联特征进行分类处理，获得所述待分类图像的分类结果。
即将待分类图像的全局图像特征、局部关键区域的图像特征以及关联特征组合作为分类时所依据的特征，这些特征组合后能更加全面地表征图像，不但考虑了全局，而且考虑了局部以及全局和局部之间的关联性，据此进行分类时，能够获得准确的分类结果。
上述图像分类方法，根据待分类图像的全局图像特征、局部关键区域的图像特征以及关联特征，对待分类图像进行分类。即在进行图像分类的过程中，不但考虑了全局图像特征，还考虑了局部关键区域的图像特征，丰富了图像分类所依据的图像特征信息，依据上述丰富的特征信息进行图像分类时，能够准确分类，提高图像分类准确性。
在一个示例中，上述图像分类方法可以为细粒度图像分类方法，可用于对细粒度图像的分类。
如图3所示，其中一个实施例中，上述根据待分类图像以及待分类图像的全局图像特征，确定待分类图像的局部关键区域的步骤S220包括：
S321：根据待分类图像的全局图像特征，获取待分类图像的各子区域分别对应的子图像特征。
各子区域可一起构成整个待分类图像，全局图像特征中包括各子区域的子图像特征，在获得待分类图像的全局图像特征之后，根据全局图像特征，可获取待分类图像中各子区域分别对应的子图像特征。可以理解，待分类图像对应的任意一个子图像特征对应一个子区域。例如，待分类图像Ig对应的全局图像特征为28×28个512维度的向量，可以理解为512张大小28×28为的特征图，有 28×28个特征向量，每个特征向量中有512个特征元素，28×28个特征向量组成了待分类图像Ig的全局图像特征，其中，每个特征向量对应一个子区域的子图像特征，从而，可根据待分类图像Ig的全局图像特征获得各子区域分别对应的子图像特征。
S322：获取各子区域的子图像特征分别对应的权重。
子区域的子图像特征是对待分类图像的子区域的特征表征，为衡量各子区域的重要程度，在本实施例中，需要给各子区域的子图像特征分别赋予权重，权重越大，表示该子区域越重要。
S323：根据各子区域的子图像特征、各子区域的子图像特征的权重以及待分类图像，确定待分类图像的局部关键区域。
各子区域的子图像特征分别对应的权重获取后，可获知各子区域的重要程度，即可从待分类图像中提取对应的局部关键区域。如此，确定局部关键区域的过程中，考虑了各子区域的子图像特征的权重，可确保局部关键区域的准确性，进而可提高后续分类准确性。在一个示例中，可选取各子区域中权重最大的子区域作为局部关键区域，也可以从各子区域中选取权重大于预设值的子区域，根据权重大于预设值的子区域，确定局部关键区域。由于权重大于预设值的子区域可能存在重合，从而，可将权重大于预设值的各子区域求并集，得到局部关键区域。
可以理解，上述获取各子区域的子图像特征分别对应的权重以及根据各子区域的子图像特征、各子区域的子图像特征的权重以及待分类图像，确定待分类图像的局部关键区域的过程，是根据attention机制(注意力机制)确定局部关键区域的过程。
如图4所示，其中一个实施例中，上述获取各子区域的子图像特征分别对应的权重的步骤S322包括：
S421：获取预设高维特征向量。
在一个示例中，可以通过利用人工智能中的机器学习技术获得预设高维特征向量，例如预设高维特征可以是预先根据卷积神经网络对样本图像进行处理得到卷积特征，然后根据卷积特征获取的样本图像在预设局部关键区域对应的子图像特征，其维度与待分类图像的子区域的子图像特征的维度是相同的。
S422：将各子区域的子图像特征分别与预设高维特征向量进行合并，获得各子区域的组合特征。
可以理解为将各子区域的子图像特征分别与预设高维特征向量进行拼接，组合特征中的元素数量为子区域的子图像特征的元素数量与预设高维特征向量中元素数量的和。
S423：将各子区域的组合特征分别作为多层感知器的输入，根据多层感知器分别进行预测，获得各子区域的子图像特征分别对应的权重。
多层感知器(MLP，Multilayer Perceptron)是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。在本实施例中，多层感知器的输入层的节点数量与组合特征中元素数量相同，将子区域的组合特征作为多层感知器的输入，根据多层感知器将输入的组合特征映射到单一的输出数据上，得到一个子区域的子图像特征的权重，分别对各子区域的组合特征重复上述映射过程，得到各子区域的子图像特征分别对应的权重。
在一个示例中，获得各子区域的子图像特征分别对应的权重的公式如下：
Figure BDA0002196033220000101
其中，
Figure BDA0002196033220000102
为待分类图像的第i个子区域的子图像特征的权重，hi为待分类图像的第i个子区域的组合特征，hi为待分类图像的第i个子区域的子图像特征zi与预设高维特征向量γ合并而成，MLP为多层感知器，表示以hi作为多层感知器的输入，多层感知器根据输入进行预测得到输出结果，该输出结果即为
Figure BDA0002196033220000103
待分类图像对应的全局图像特征为L×M×M维度的特征，其中，L和M分别为大于或等于1的正整数，可以理解为M×M个L维度的向量，每个子区域对应一个子图像特征，则
Figure BDA0002196033220000104
也可以理解为全局图像特征中第i个子图像特征，且子图像特征中的元素数量为L。在一个示例中，L可以为512，M可以为28。
在其中一个实施例中，基于人工智能中的机器学习技术，在通过多层感知器进行预测得到权重之前，需要进行训练获得多层感知器，即上述步骤S423之前，需要预先获得多层感知器。从而，在将各子区域的组合特征分别作为多层感知器的输入之前，还包括以下步骤：提取各样本图像的全局图像特征；根据各样本图像的全局图像特征，获取各所述样本图像的各子区域分别对应的子图像特征；对各样本图像的各子区域的子图像特征分别进行权重初始化，获得各子区域的子图像特征分别对应的初始权重；根据各样本图像的各子区域的子图像特征以及各子区域的子图像特征的初始权重，获得各样本图像的图像上下文向量；分别对各所述图像上下文向量进行加权处理，获得各加权图像上下文向量；将各所述加权图像上下文向量分别与预设高维特征向量合并，获得各训练输入特征；获取初始多层感知器；根据各样本图像对应的各训练输入特征，对初始多层感知器进行训练，获得多层感知器。
样本图像可以理解为用于训练的图像，是已知分类的图像。本实施例中上述步骤为进行多层感知器训练的过程，获取样本图像的全局图像特征的过程与上述获取待分类图像的全局图像特征的过程类似，另外，获取样本图像的各子区域分别对应的子图像特征的获取过程与上述获取待分类图像的各子区域分别对应的子图像特征的过程类似，区别点仅在于图像不同，前者是样本图像，后者是待分类图像。
图像上下文向量为待分类图像的显著区域的特征表达，可以理解为局部关键区域的特征表达。在得到样本图像的各子区域的子图像特征的初始权重后，即可根据样本图像的各子区域的子图像特征的初始权重对样本图像的各子区域的子图像特征进行处理，获得图像上下文向量。
在一个示例中，获得图像上下文向量S的公式为：
Figure BDA0002196033220000111
qi为样本图像的第i个子区域的子图像特征，ai为样本图像的第i个子区域的子图像特征的初始权重。
获得加权图像上下文向量R的公式为：
R＝β·S。
β为图像上下文向量的权重，根据对各所述图像上下文向量进行加权处理即可获得加权图像上下文向量R。
再根据加权图像上下文向量R与预设高维特征向量γ合并得到训练输入特征，由于样本图像的数量有多个，从而，可获得各训练输入特征，根据各训练输入特征对初始多层感知器进行训练，得到上述多层感知器。具体地，在训练过程中，采用softmax回归函数σs进行训练，训练结果标签label1通过以下公式表示:
label1＝Arg max(σs(R,W1,b1))。
其中，W1为权值矩阵，b1为偏置向量，Arg max(f(e))是使得f(e)取得最大值时所对应的变量e的值。
如图5所示，其中一个实施例中，上述根据待分类图像的全局图像特征以及待分类图像的局部关键区域的图像特征，获取待分类图像的关联特征的步骤 S240包括：
S541：对待分类图像的全局图像特征进行转置处理，获得转置特征。
对于一个矩阵，把它的第一行变成第一列，第二行变成第二列，......，最末一行变为最末一列，从而得到一个新的矩阵，这一过程称为矩阵的转置。由于图像的不同特征维度之间存在着有价值的联系，为了挖掘全局图像特征与局部关键区域的图像特征之间存在的有效关联信息，需要根据全局图像特征与局部关键区域的图像特征之间的不同特征维度(例如，行与列分别代表不同特征维度)之间的点乘来获取两者之间的关联，从而，首先，将全局图像特征进行转置处理，获得转置特征。
S542：将转置特征与待分类图像的局部关键区域的图像特征相乘，获得乘积特征。
对于矩阵a和b，矩阵a的大小为m行n列，矩阵b的大小为n行m列，矩阵a与矩阵b相乘后的矩阵结果的大小为m行m列，矩阵结果中第i行第j 列位置点上的值为矩阵a第i行上n个数与第二个矩阵b第j列上的n个数对应相乘后所得的n个乘积之和。
将转置特征与局部关键区域的图像特征相乘即是将转置矩阵的一行的元素分别与局部关键区域的图像特征的各列的元素对应相乘求和，得到乘积特征的一行，直到转置矩阵的各行执行完上述相乘求和，得到乘积特征，从而实现全局图像特征与局部关键区域的图像特征之间不同特征维度之间的乘积，获得存在关联的特征即乘积特征。
具体地，获得乘积特征X的公式如下：
X＝ATB。
其中，A为待分类图像的全局图像特征，B为待分类图像的局部关键区域的图像特征，AT为转置特征。AiBj∈RM×M，Ai为待分类图像的全局图像特征A中第 i个特征向量，Bj为待分类图像的局部关键区域的图像特征B中第j个特征向量。
S543：平均池化乘积特征，获得待分类图像的关联特征。
池化可以理解为压缩，是对不同位置的特征进行聚合统计，例如，计算图像一个区域上的某个特定特征的平均值作为该区域的一个值，如此，可降低维度，同时改善结果，不容易过拟合，这种聚合的操作称为池化。池化包括平均池化和最大池化，上述将区域上的某个特定特征的平均值，作为该区域的一个值，称为平均池化，将区域上的某个特定特征的最大值作为该区域的一个值，称为最大池化。
在得到具有关联特性的乘积特征之后，为避免维度太多以及数据量大影响分类效率，对乘积特征进行池化处理，以降低乘积特征的维度。在本实施例中，对乘积特征进行平均池化处理，得到关联特征，以确保关联特征的精确度。平均池化后，得到的待分类图像的关联特征为L×L形式的特征。
如上所述，其中一个实施例中，可以通过利用人工智能中的计算机视觉技术，对待分类图像进行处理和图像识别，获得待分类图像的全局图像特征，此时，提取待分类图像的全局图像特征的步骤S210包括：根据第一卷积神经网络对待分类图像进行特征提取，获得待分类图像的全局图像特征。
类似地，如上所述，可以通过利用人工智能中的计算机视觉技术，对待分类图像的局部关键区域进行处理和图像识别，获得待分类图像的局部关键区域的图像特征，此时，上述提取局部关键区域的图像特征的步骤S230包括：根据第二卷积神经网络对待分类图像的局部关键区域进行特征提取，获得待分类图像的局部关键区域的图像特征。
卷积神经网络是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理，卷积神经网络包括卷积层和池化层。通过卷积神经网络进行特征提取时得到的特征结果为三个空间维度的特征，可以理解为得到多个特征图，比如，通过卷积图像网络对图像A进行处理，得到的全局图像及特征为 512×28×28形式的特征，可以理解为是512张大小为28×28的特征图，也可以理解为28×28个512维的单个向量，即单个向量中有512个元素。在本实施例中，可分别采用对应的卷积神经网络进行特征提取，通过第一卷积神经网络与第二卷积神经网络分别进行特征提取时，满足得到的全局图像特征和局部关键区域的图像特征的维度是相同。
如图6所示，其中一个实施例中，上述根据待分类图像的全局图像特征、待分类图像的局部关键区域的图像特征以及待分类图像的关联特征，对待分类图像进行分类确定分类结果的步骤S250包括：
S651：将待分类图像的全局图像特征转化为一维全局图像特征向量，将待分类图像的局部关键区域的图像特征转化为一维局部图像特征向量，将待分类图像的关联特征转化为一维关联特征向量。
S652：合并一维全局图像特征向量、一维局部图像特征向量以及一维关联特征向量，获得待分类图像对应的一维图像合并特征向量。
其中，一维图像合并特征向量中的元素数量为一维全局图像特征向量中的元素数量、一维局部图像特征向量的元素数量和一维关联特征向量的元素数量之和。
S653：将一维图像合并特征向量作为已训练分类模型的输入，根据已训练分类模型对待分类图像进行分类确定分类结果。
一维向量可以理解为一行向量(其中可以有多列，即一个行向量中可以有多个元素)或一列向量(其中可以有多行)。由于在提取特征过程中获得的全局图像特征和局部关键区域的图像特征可能是多维的矩阵形式，然而，在利用分类模型进行分类时，分类模型的输入应当为一维的向量形式，一维的向量中各元素分别作为分类输入层的节点的输入，从而，在进行图像分类时，需要将获得的全局图像特征转化为一维全局图像特征向量，将局部关键区域的图像特征转化为一维局部图像特征向量，将关联特征转化为一维关联特征向量，然后为了提高分类准确性，将上述的一维的特征向量合并成一维图像合并特征向量，将其作为已训练分类模型的输入，利用已训练分类模型进行图像分类，获得初始分类结果。具体地，分类类别有多种，初始分类结果可以为待分类图像分别属于各分类类别的概率，根据待分类图像分别属于各分类类别的概率，确定最终分类结果即上述对待分类图像进行分类确定的分类结果，可以是将初始分类结果中最大概率对应的分类类别作为最终分类结果。在一个示例中，已训练分类模型可以为已训练softmax线性回归模型。
在一个示例中，在将上述图像特征转化为一维的特征向量的过程中，可以通过将图像特征的每维中的元素合并成一维。例如，对一个大小为10×10矩阵形式的特征，将其转换为一维的向量后，该一维的向量可以是单行向量，其中，包括100个元素，可以理解为1行100列的一维向量。
在一个示例中，为避免一维关联特征向量中元素数量较多导致维度过高的问题，还可对一维关联特征向量进行降维，以更新一维关联特征向量。
如上所述，可以通过利用人工智能中的机器学习技术对待分类图像进行分类，如通过训练获得的图像分类模型，对待分类图像的全局图像特征、待分类图像的局部关键区域的图像特征以及待分类图像的关联特征进行分类处理，获得分类结果，因此，本申请实施例还提供训练获得图像分类模型的方法。
如图7所示，在其中一个实施例中，将一维图像合并特征向量作为已训练分类模型的输入，根据已训练分类模型(即训练后的图像分类模型)对待分类图像进行分类的步骤S653之前，还包括步骤：
S710：提取各样本图像的全局图像特征。
S720：根据各样本图像以及各样本图像的全局图像特征，确定各样本图像的局部关键区域。
S730：提取各样本图像的局部关键区域的图像特征。
S740：根据各样本图像的全局图像特征以及各样本图像的局部关键区域的图像特征，获取各样本图像分别对应的关联特征。
可以理解，在将一维图像合并特征向量作为已训练分类模型的输入进行分类之前，需要得到已训练分类模型，上述过程即为得到已训练分类模型的过程。由于在预测(即对待分类图像分类)过程中，采用根据待分类图像的全局图像特征、局部关键区域的图像特征和待分类图像的关联特征，从而，训练和预测时需要对应，以此保证根据训练后的分类模型进行分类时的准确性。
即首先对各样本图像分别进行特征提取，获得各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征以及各样本图像的关联特征，上述对样本图像的特征提取过程与对待分类图像的特征提取过程是类似的，不同之处仅在于待提取特征的图像，在本实施例中，待提取特征的图像是各样本图像，而进行预测时，待提取特征的图像是待分类图像。
S750：初始化分类模型，获得初始分类模型。
分类模型对应有模型参数，则在进行训练之前，需要对分类模型进行初始化，即初始化分类模型的结构以及模型参数，得到初始模型参数，训练过程即是对初始分类模型中的初始模型参数不断修正的过程，直到训练结果满足要求，得到最优模型参数，该最优模型参数对应的分类模型即为训练后的模型。在一个示例中，初始分类模型可以为初始softmax线性回归模型。
S760：根据各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征以及各样本图像的关联特征，对初始分类模型进行训练，获得已训练分类模型(即训练后的图像分类模型)。
在本实施例中，是通过各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征以及各样本图像的关联特征，对初始分类模型中的初始模型参数进行不断修正，实现对初始分类模型进的训练，得到已训练分类模型，后续即可利用该已训练分类模型对待分类图像进行分类。
在一个示例中，其在根据softmax线性回归模型进行分类时，采用的梯度下降公式为：
Figure BDA0002196033220000161
以及
Figure BDA0002196033220000162
其中，l为softmax线性回归模型中的代价函数，用来衡量训练样本对线性模式的拟合程度。
如图8所示，在其中一个实施例中，初始分类模型包括第一初始分类模型以及第二初始分类模型。
在本实施例中，上述根据各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征以及各样本图像的关联特征，对初始分类模型进行训练，获得已训练分类模型的步骤S760包括：
S861：根据各样本图像的全局图像特征对第一初始分类模型进行训练获得第一目标分类模型；
S862：根据各样本图像的局部关键区域的图像特征对第二初始分类模型进行训练获得第二目标分类模型；
即针对不同的特征，初始化对应的初始分类模型，再根据不同特征分别对不同的初始分类模型进行分开训练，即第一初始分类模型是根据样本图像的全局图像特征初始化得到，可以理解，第一初始分类模型的输入层的节点数量是根据样本图像的全局图像特征中元素数量决定，第二初始分类模型是根据样本图像的局部关键区域的图像特征初始化得到，可以理解，第二初始分类模型的输入层的节点数量是根据样本图像的局部关键区域的图像特征中元素数量决定，如此，可得到两个独立的目标分类模型。
S863：合并第一目标分类模型与第二目标分类模型，获得初始合并分类模型；
S864：根据各样本图像的关联特征对初始合并分类模型进行训练，获得已训练分类模型。
考虑到不同特征之间的关联性，还需要根据各样本图像的关联特征进行分类模型训练，然而，之前独立的两个目标分类模型虽不能满足根据关联特征的训练要求，但其分别根据得到关联特征所依据的各样本图像的全局图像特征和各样本图像的局部关键区域的图像特征进行训练，存在一定的关联性，从而，将第一目标分类模型与第二目标分类模型合并，获得初始合并分类模型，再根据各样本图像的关联特征对初始合并分类模型进行训练，获得已训练分类模型。如此，既考虑了特征的独立性，又考虑了特征的关联性，提高已训练分类模型的准确性，进而提高分类准确性。在一个示例中，第一初始分类模型和第二初始分类模型可以分别为初始softmax线性回归模型。
在一个示例中，第一目标分类模型对应有模型结构和已训练完成后的模型参数，第二目标分类模型对应有模型结构和已训练完成后的模型参数，合并两种分类模型得到的初始合并分类模型可以理解为对应的结构为两种分类模型中各层节点的对应叠加，对应的模型参数是两种分类模型的模型参数的叠加。例如，第一目标分类模型和第二目标分类模型分别为三层结构，第一目标分类模型的第一层有512个输入节点，第二层有500个节点，第三层有5个节点(可以理解为输出层)，第二目标分类模型的第一层有512个输入节点，第二层有500 个节点，第三层有5个节点，合并时，两个分类模型的第一层的输入节点叠加为1024个输入节点，两个分类模型的第二层的节点叠加为1000个节点，两个分类模型的第三层的节点叠加为10个节点，两个分类模型已训练后的模型参数保留，再对其他缺少的模型参数(两层中来自不同分类模型的节点之间的模型参数在合并初期是缺失的)进行初始化，得到初始合并分类模型。
在另一个实施例中，初始分类模型可以是根据样本图像的全局图像特征、样本图像的局部关键区域的图像特征以及样本图像的关联特征初始化得到的，可以理解，初始分类模型的输入层的节点数量是样本图像的全局图像特征中元素数量、样本图像的局部关键区域的图像特征中元素数量和样本图像的关联特征中元素数量的和决定，则可根据各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征以及各样本图像的关联特征进行合并，获得样本合并特征，根据样本合并特征对初始分类模型进行训练，获得已训练分类模型。
在本实施例中，根据已训练分类模型对待分类图像进行分类得到分类标签的公式为：
label2＝Arg max(σs(c,W2,b2))。
其中，W2为权值矩阵，b2为偏置向量，c为一维图像合并特征向量。
下面以一具体实施例对上述图像分类方法加以具体说明。
如图9所示，为通过本具体实施例的图像分类方法进行分类的原理图，首先，根据卷积神经网络对待分类图像Ig进行特征提取，获得全局图像特征A。
然后，根据待分类图像Ig、待分类图像Ig的全局图像特征A以及attention 机制获取待分类图像Ig对应的局部关键区域Ia；
其次，根据卷积神经网络对局部关键区域Ia进行特征提取，获得局部关键区域Ia的图像特征B。
再次，待分类图像Ig的全局图像特征A和局部关键区域Ia的图像特征B 分别有对应单独的softmax线性回归模型的分类通道，即可根据待分类图像Ig 的全局图像特征A对应的一维全局图像特征以及对应的softmax线性回归模型进行图像分类，也可根据局部关键区域Ia的图像特征B对应的一维局部图像特征向量以及对应的softmax线性回归模型进行图像分类。
为了丰富特征类型，通过丰富的特征信息进行分类，提高准确性，根据待分类图像Ig的全局图像特征A和局部关键区域Ia的图像特征B确定关联特征，可将待分类图像Ig的全局图像特征A对应的一维全局图像特征向量、局部关键区域Ia的图像特征B对应的一维局部图像特征向量以及关联特征对应的一维关联特征向量合并，获得待分类图像对应的一维图像合并特征向量，将一维图像合并特征向量作为已训练分类模型的输入，根据已训练分类模型对待分类图像进行分类，能够提高分类准确性。
综上，本具体实施例的图像分类方法可提高分类能力，确保分类的准确性，为后续用户查找提供便利，且对图像进行个性化推荐提供良好的基础。
上述图像分类方法可应用于个性化推荐、机器人视觉识别以及自动驾驶物体识别等领域，以应用于个性化推荐为例，如图10所示，本申请还提供一种实施例的个性化推荐方法，本实施例主要以该方法应用于上述图1中的服务器120 来举例说明，包括以下步骤：
S110：获取通过上述图像分类方法对待分类图像进行分类确定的分类结果。
通过上述图像分类方法对待分类图像进行分类时，可获得准确的分类结果。
S120：查找与分类结果对应的待推荐对象信息。
S130：推送待推荐对象信息。
对象可理解为目标事务，可在预设推荐信息数据库中存储各对象的信息，其中，对象可包括商品、图像、物品以及人物等，不同用户在终端使用的图像各异，可利用这些图像为用户提供个性化推荐，首先对这些图像进行分类，获得准确的分类结果，并查找与分类结果对应的待推荐对象信息，以提高待推荐对象信息的准确性，然后推送待推荐对象信息，实现个性化推荐，以便用户查看。
具体地，上述个性化推荐方法可应用于服务器或终端，在应用于服务器时，上述推送所述待推荐对象信息的步骤S130具体可以为向终端发送待推荐对象信息，用户可查看终端上接收的待推荐对象信息。另外，上述个性化推荐方法在应用于终端时，通过终端自身进行待推荐对象信息的查找，即在终端上得到待推荐对象信息，用户可通过查看终端即可获知待推荐对象信息。
上述个性化推荐方法，可获取通过上述图像分类方法确定的分类结果，提高分类结果的准确性，然后根据分类结果查找对应的待推荐对象信息时，可准确获取待推荐对象信息并推送，实现待推荐对象信息的推荐，提高推准确性。
如图11所示，提供一种实施例的图像分类装置，包括：
全局特征提取模块110，用于提取待分类图像的全局图像特征。
确定模块120，用于根据所述待分类图像以及所述待分类图像的全局图像特征，确定所述待分类图像的局部关键区域。
局部特征提取模块130，用于提取所述待分类图像的局部关键区域的图像特征。
关联特征获取模块140，用于根据所述待分类图像的全局图像特征以及所述待分类图像的局部关键区域的图像特征，获取待分类图像的关联特征。
分类模块150，用于根据所述待分类图像的全局图像特征、所述待分类图像的局部关键区域的图像特征以及所述待分类图像的关联特征，对所述待分类图像进行分类确定分类结果。
上述图像分类装置，根据全局图像特征、局部关键区域的图像特征以及关联特征，对待分类图像进行分类。即在进行图像分类的过程中，不但考虑了全局图像特征，还考虑了局部关键区域的图像特征，丰富了图像分类所依据的图像特征信息，依据上述丰富的特征信息进行图像分类时，能够准确分类，提高图像分类准确性。
如图12所示，在其中一个实施例中，上述确定模块120包括：
区域特征获取模块221，用于根据所述待分类图像的全局图像特征，获取所述待分类图像的各子区域分别对应的子图像特征。
区域权重获取模块222，用于获取各所述子区域的子图像特征分别对应的权重。
局部区域确定模块223，用于根据各所述子区域的子图像特征、各所述子区域的子图像特征的权重以及所述待分类图像，确定所述待分类图像的局部关键区域。
如图13所示，在其中一个实施例中，上述区域权重获取模块222包括：
预设向量获取模块321，用于获取预设高维特征向量。
向量合并模块322，用于将各所述子区域的子图像特征分别与所述预设高维特征向量进行合并，获得各所述子区域的组合特征；
预测模块323，用于将各所述子区域的组合特征分别作为多层感知器的输入，根据所述多层感知器分别进行预测，获得各所述子区域的子图像特征分别对应的权重。
如图14所示，在其中一个实施例中，上述关联特征获取模块140包括：
转置模块441，用于对所述待分类图像的全局图像特征进行转置处理，获得转置特征。
乘积模块442，用于将所述转置特征与所述待分类图像的局部关键区域的图像特征相乘，获得乘积特征。
池化模块443，用于平均池化所述乘积特征，获得所述关联特征。
在其中一个实施例中，上述全局特征提取模块110，具体用于根据第一卷积神经网络对所述待分类图像进行特征提取，获得所述待分类图像的全局图像特征。
上述局部特征提取模块130，具体用于根据第二卷积神经网络对所述待分类图像的局部关键区域进行特征提取，获得所述待分类图像的局部关键区域的图像特征。
如图15所示，在其中一个实施例中，上述分类模块150包括：
转换模块551，用于将所述待分类图像的全局图像特征转化为一维全局图像特征向量，将所述待分类图像的局部关键区域的图像特征转化为一维局部图像特征向量，将所述待分类图像的关联特征转化为一维关联特征向量。
特征合并模块552，用于合并所述一维全局图像特征向量、所述一维局部图像特征向量以及所述一维关联特征向量，获得所述待分类图像对应的一维图像合并特征向量。
其中，一维图像合并特征向量中的元素数量为一维全局图像特征向量中的元素数量、一维局部图像特征向量的元素数量和一维关联特征向量的元素数量之和。
图像分类模块553，用于将所述一维图像合并特征向量作为已训练分类模型的输入，根据所述已训练分类模型对所述待分类图像进行分类。
在其中一个实施例中，上述图像分类装置还包括初始化模块和训练模块。
所述全局特征提取模块110，还用于提取各样本图像的全局图像特征；
所述确定模块120，还用于根据各所述样本图像以及各所述样本图像的全局图像特征，确定各所述样本图像的局部关键区域；
所述局部特征提取模块130，还用于提取各所述样本图像的局部关键区域的图像特征；
所述关联特征获取模块140，还用于根据各所述样本图像的全局图像特征以及各所述样本图像的局部关键区域的图像特征，获取各所述样本图像各所述样本图像的关联特征；
上述初始化模块，用于初始化分类模型，获得初始分类模型；
上述训练模块，用于根据各所述样本图像的全局图像特征、各所述样本图像的局部关键区域的图像特征以及各所述样本图像的关联特征，对所述初始分类模型进行训练，获得所述已训练分类模型。
在其中一个实施例中，所述初始分类模型包括第一初始分类模型以及第二初始分类模型。
在本实施例中，上述训练模块包括：第一训练模块、第二训练模块、模型合并模块以及第三训练模块。
第一训练模块，用于根据各所述样本图像的全局图像特征对所述第一初始分类模型进行训练获得第一目标分类模型；
第二训练模块，用于根据各所述样本图像的局部关键区域的图像特征对所述第二初始分类模型进行训练获得第二目标分类模型；
模型合并模块，用于合并所述第一目标分类模型与所述第二目标分类模型，获得初始合并分类模型；
第三训练模块，用于根据各所述样本图像的关联特征对所述初始合并分类模型进行训练，获得所述已训练分类模型。
在另一个实施例中，初始分类模型可以是根据样本图像的全局图像特征、样本图像的局部关键区域的图像特征以及样本图像的关联特征初始化得到的，可以理解，初始分类模型的输入层的节点数量是样本图像的全局图像特征中元素数量、样本图像的局部关键区域的图像特征中元素数量和样本图像的关联特征中元素数量的和决定，则可根据各样本图像的全局图像特征、各样本图像的局部关键区域的图像特征以及各样本图像的关联特征进行合并，获得样本合并特征，根据样本合并特征对初始分类模型进行训练，获得已训练分类模型。
上述图像分类装置中的技术特征分别与上述数据处理方法中的技术特征是对应的，在此不再赘述。
如图16所示，本申请还提供一种实施例的个性化推荐装置，包括：
分类结果获取模块610，用于获取通过上述图像分类装置对所述待分类图像进行分类确定的分类结果。
查找模块620，用于查找与所述分类结果对应的待推荐对象信息。
推送模块630，用于推送所述待推荐对象信息。
上述个性化推荐装置，可获取通过上述图像分类方法确定的分类结果，提高分类结果的准确性，然后根据分类结果查找对应的待推荐对象信息时，可准确获取待推荐对象信息并推送，实现待推荐对象信息的推荐，提高推准确性。
图17示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图17所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述图像分类方法和个性化推荐方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像分类方法和个性化推荐方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像分类装置可以实现为一种计算机程序的形式，计算机程序可在如图17所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像分类装置的各个程序模块，比如，图11所示的全局特征提取模块110、确定模块120、局部特征提取模块130、关联特征获取模块140 和分类模块150。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
例如，图17所示的计算机设备可以通过如图11所示的图像处理装置中的全局特征提取模块110执行步骤S210。计算机设备可通过确定模块120执行步骤S220。计算机设备可通过局部特征提取模块130执行步骤S230。计算机设备可通过关联特征获取模块140执行步骤S240。计算机设备可通过分类模块150 执行步骤S240。
在一个实施例中，本申请提供的个性化推荐装置可以实现为一种计算机程序的形式，计算机程序可在如图17所示的计算机设备上运行。计算机设备的存储器中可存储组成该个性化推荐装置的各个程序模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的个性化推荐方法中的步骤。
本申请提供了一种实施例的计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。其中，方法包括图像分类方法和个性化推荐方法。
本申请提供一种实施例的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM (EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM 以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM (SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM (RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态 RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (23)

1.一种图像分类模型训练方法，其特征在于，包括以下步骤：
提取各样本图像的全局图像特征；
根据各所述样本图像以及各所述样本图像的全局图像特征，确定各所述样本图像的局部关键区域；
提取各所述样本图像的局部关键区域的图像特征；
根据各所述样本图像的全局图像特征以及各所述样本图像的局部关键区域的图像特征，获取各所述样本图像分别对应的关联特征；
初始化分类模型，获得初始分类模型；
根据各所述样本图像的全局图像特征、各所述样本图像的局部关键区域的图像特征以及各所述样本图像的关联特征，对所述初始分类模型进行训练，获得训练后的图像分类模型；
根据各所述样本图像的全局图像特征以及各所述样本图像的局部关键区域的图像特征，获取各所述样本图像分别对应的关联特征，包括：
对各所述样本图像的全局图像特征进行转置处理，获得各所述样本图像的转置特征；
将各所述样本图像的所述转置特征，分别与各所述样本图像对应的局部关键区域的子图像特征相乘，获得乘积特征；
平均池化所述乘积特征，获得各所述样本图像的关联特征。
2.根据权利要求1所述的方法，其特征在于，根据各所述样本图像以及各所述样本图像的全局图像特征，确定各所述样本图像的局部关键区域，包括：
根据各所述样本图像的全局图像特征，获取各所述样本图像的各子区域分别对应的子图像特征；
获取各所述样本图像的子图像特征分别对应的权重；
根据各所述子区域的子图像特征、各所述子区域的子图像特征对应的权重以及各所述样本图像，确定各所述样本图像的局部关键区域。
3.根据权利要求2所述的方法，其特征在于，获取各所述样本图像的子图像特征分别对应的权重，包括：
获取预设高维特征向量；
分别将各所述样本图像的各所述子区域的子图像特征分别与所述预设高维特征向量进行合并，获得分别各所述样本图像的各所述子区域的组合特征；
将各所述样本图像的各所述子区域的组合特征分别作为多层感知器的输入，根据所述多层感知器分别进行预测，获得各所述样本图像的各所述子区域的子图像特征分别对应的权重。
4.根据权利要求1所述的方法，其特征在于，
提取各样本图像的全局图像特征，包括：根据第一卷积神经网络对各所述样本图像进行特征提取，获得各所述样本图像的全局图像特征；
提取各所述样本图像的局部关键区域的图像特征，包括：根据第二卷积神经网络对各所述样本图像的局部关键区域进行特征提取，获得各所述样本图像的局部关键区域的图像特征。
5.根据权利要求1所述的方法，其特征在于，所述初始分类模型包括第一初始分类模型以及第二初始分类模型；
根据各所述样本图像的全局图像特征、各所述样本图像的局部关键区域的图像特征以及各所述样本图像的关联特征，对所述初始分类模型进行训练，包括：
根据各所述样本图像的全局图像特征，对所述第一初始分类模型进行训练，获得第一目标分类模型；
根据各所述样本图像的局部关键区域的图像特征，对所述第二初始分类模型进行训练，获得第二目标分类模型；
合并所述第一目标分类模型与所述第二目标分类模型，获得初始合并分类模型；
根据各所述样本图像的关联特征对所述初始合并分类模型进行训练，获得训练后的图像分类模型。
6.根据权利要求1所述的方法，其特征在于，根据各所述样本图像的全局图像特征、各所述样本图像的局部关键区域的图像特征以及各所述样本图像的关联特征，对所述初始分类模型进行训练，包括：
分别对各所述样本图像的全局图像特征、局部关键区域的图像特征以及关联特征进行合并，分别获得各所述样本图像的样本合并特征；
根据各所述样本图像的所述样本合并特征，对所述初始分类模型进行训练，获得训练后的图像分类模型。
7.根据权利要求6所述的方法，其特征在于，分别对各所述样本图像的全局图像特征、局部关键区域的图像特征以及关联特征进行合并，分别获得各所述样本图像的样本合并特征，包括：
将各所述样本图像的全局图像特征转化为一维全局图像特征向量，将各所述样本图像的局部关键区域的图像特征转化为一维局部图像特征向量，将各所述样本图像的关联特征转化为一维关联特征向量；
分别合并各所述样本图像的所述一维全局图像特征向量、所述一维局部图像特征向量以及所述一维关联特征向量，并将获得的各所述样本图像对应的一维图像合并特征向量，作为各所述样本图像的样本合并特征；其中，所述一维图像合并特征向量中的元素数量为所述一维全局图像特征向量中的元素数量、所述一维局部图像特征向量的元素数量和所述一维关联特征向量的元素数量之和。
8.一种图像分类方法，其特征在于，包括以下步骤：
提取待分类图像的全局图像特征；
根据所述待分类图像以及所述待分类图像的全局图像特征，确定所述待分类图像的局部关键区域；
提取所述待分类图像的局部关键区域的图像特征；
根据所述待分类图像的全局图像特征以及所述待分类图像的局部关键区域的图像特征，获取所述待分类图像的关联特征；所述关联特征为所述全局图像特征以及所述局部关键区域的图像特征之间存在的关联性的特征；
采用训练后的图像分类模型，对所述待分类图像的全局图像特征、所述待分类图像的局部关键区域的图像特征以及所述待分类图像的关联特征进行分类处理，获得所述待分类图像的分类结果，所述训练后的图像分类模型，为采用如权利要求1-7任意一项所述的图像分类模型训练方法获得的图像分类模型；
根据所述待分类图像的全局图像特征以及所述待分类图像的局部关键区域的图像特征，获取所述待分类图像的关联特征，包括：
对所述待分类图像的所述全局图像特征进行转置处理，获得转置特征；
将所述转置特征与所述待分类图像的所述局部关键区域的图像特征相乘，获得乘积特征；
平均池化所述乘积特征，获得所述待分类图像的关联特征。
9.根据权利要求8所述的方法，其特征在于，采用训练后的图像分类模型，对所述待分类图像的全局图像特征、所述待分类图像的局部关键区域的图像特征以及所述待分类图像的关联特征进行分类处理，获得所述待分类图像的分类结果，包括：
将所述待分类图像的全局图像特征转化为一维全局图像特征向量，将所述待分类图像的局部关键区域的图像特征转化为一维局部图像特征向量，将所述待分类图像的关联特征转化为一维关联特征向量；
合并所述待分类图像对应的一维全局图像特征向量、一维局部图像特征向量以及一维关联特征向量，获得所述待分类图像对应的一维图像合并特征向量；其中，所述待分类图像对应的一维图像合并特征向量中的元素数量，为所述待分类图像对应的一维全局图像特征向量中的元素数量、一维局部图像特征向量的元素数量和一维关联特征向量的元素数量之和；
将所述待分类图像对应的一维图像合并特征向量作为所述训练后的图像分类模型的输入，根据所述训练后的图像分类模型对所述待分类图像进行分类，获得所述待分类图像的分类结果。
10.一种个性化推荐方法，其特征在于，包括：
获取通过上述权利要求8或9所述的图像分类方法对待分类图像进行分类确定的分类结果；
查找与所述分类结果对应的待推荐对象信息；
推送所述待推荐对象信息。
11.一种训练图像分类模型的装置，其特征在于，包括：
全局特征提取模块，用于提取各样本图像的全局图像特征；
确定模块，用于根据各所述样本图像以及各所述样本图像的全局图像特征，确定各所述样本图像的局部关键区域；
局部特征提取模块，用于提取各所述样本图像的局部关键区域的图像特征；
关联特征获取模块，用于根据各所述样本图像的全局图像特征以及各所述样本图像的局部关键区域的图像特征，获取各所述样本图像分别对应的关联特征；所述关联特征为所述全局图像特征以及所述局部关键区域的图像特征之间存在的关联性的特征；所述关联特征获取模块，对各所述样本图像的全局图像特征进行转置处理，获得各所述样本图像的转置特征；将各所述样本图像的所述转置特征，分别与各所述样本图像对应的局部关键区域的子图像特征相乘，获得乘积特征；平均池化所述乘积特征，获得各所述样本图像的关联特征；
初始化模块，用于初始化分类模型，获得初始分类模型；
训练模块，用于根据各所述样本图像的全局图像特征、各所述样本图像的局部关键区域的图像特征以及各所述样本图像的关联特征，对所述初始分类模型进行训练，获得训练后的图像分类模型。
12.根据权利要求11所述的装置，其特征在于，所述初始分类模型包括第一初始分类模型以及第二初始分类模型；训练模块包括：第一训练模块、第二训练模块、模型合并模块以及第三训练模块；
所述第一训练模块，用于根据各所述样本图像的全局图像特征对所述第一初始分类模型进行训练获得第一目标分类模型；
所述第二训练模块，用于根据各所述样本图像的局部关键区域的图像特征对所述第二初始分类模型进行训练获得第二目标分类模型；
所述模型合并模块，用于合并所述第一目标分类模型与所述第二目标分类模型，获得初始合并分类模型；
所述第三训练模块，用于根据各所述样本图像的关联特征对所述初始合并分类模型进行训练，获得所述已训练分类模型。
13.根据权利要求12所述的装置，其特征在于，所述训练模块分别对各所述样本图像的全局图像特征、局部关键区域的图像特征以及关联特征进行合并，分别获得各所述样本图像的样本合并特征；根据各所述样本图像的所述样本合并特征，对所述初始合并分类模型进行训练，获得训练后的图像分类模型。
14.根据权利要求11所述的装置，其特征在于，所述初始化模块根据样本图像的全局图像特征、样本图像的局部关键区域的图像特征以及样本图像的关联特征初始化得到所述初始分类模型。
15.一种图像分类装置，其特征在于，包括分类模块以及如权利要求11所述的训练图像分类模型的装置；
所述全局特征提取模块，还用于提取待分类图像的全局图像特征；
所述确定模块，还用于根据所述待分类图像以及所述待分类图像的全局图像特征，确定所述待分类图像的局部关键区域；
所述局部特征提取模块，还用于提取所述待分类图像的局部关键区域的图像特征；
所述关联特征获取模块，还用于根据所述待分类图像的全局图像特征以及所述待分类图像的局部关键区域的图像特征，获取待分类图像的关联特征；所述关联特征为所述全局图像特征以及所述局部关键区域的图像特征之间存在的关联性的特征；
所述分类模块，用于采用所述训练后的图像分类模型，对所述待分类图像的全局图像特征、所述待分类图像的局部关键区域的图像特征以及所述待分类图像的关联特征进行分类处理，获得所述待分类图像的分类结果。
16.根据权利要求15所述的装置，其特征在于，所述确定模块包括：
区域特征获取模块，用于根据所述待分类图像的全局图像特征，获取所述待分类图像的各子区域分别对应的子图像特征；
区域权重获取模块，用于获取各所述子区域的子图像特征分别对应的权重；
局部区域确定模块，用于根据各所述子区域的子图像特征、各所述子区域的子图像特征的权重以及所述待分类图像，确定所述待分类图像的局部关键区域。
17.根据权利要求16所述的装置，其特征在于，所述区域权重获取模块包括：
预设向量获取模块，用于获取预设高维特征向量；
向量合并模块，用于将各所述子区域的子图像特征分别与所述预设高维特征向量进行合并，获得各所述子区域的组合特征；
预测模块，用于将各所述子区域的组合特征分别作为多层感知器的输入，根据所述多层感知器分别进行预测，获得各所述子区域的子图像特征分别对应的权重。
18.根据权利要求15所述的装置，其特征在于，所述关联特征获取模块包括：
转置模块，用于对所述待分类图像的全局图像特征进行转置处理，获得转置特征；
乘积模块，用于将所述转置特征与所述待分类图像的局部关键区域的图像特征相乘，获得乘积特征；
池化模块，用于平均池化所述乘积特征，获得所述关联特征。
19.根据权利要求15所述的装置，其特征在于，
所述全局特征提取模块，用于根据第一卷积神经网络对所述待分类图像进行特征提取，获得所述待分类图像的全局图像特征。
20.根据权利要求15所述的装置，其特征在于，
所述局部特征提取模块，用于根据第二卷积神经网络对所述待分类图像的局部关键区域进行特征提取，获得所述待分类图像的局部关键区域的图像特征。
21.根据权利要求15所述的装置，其特征在于，所述分类模块包括：
转换模块，用于将所述待分类图像的全局图像特征转化为一维全局图像特征向量，将所述待分类图像的局部关键区域的图像特征转化为一维局部图像特征向量，将所述待分类图像的关联特征转化为一维关联特征向量；
特征合并模块，用于合并所述一维全局图像特征向量、所述一维局部图像特征向量以及所述一维关联特征向量，获得所述待分类图像对应的一维图像合并特征向量，所述一维图像合并特征向量中的元素数量为一维全局图像特征向量中的元素数量、一维局部图像特征向量的元素数量和一维关联特征向量的元素数量之和；
图像分类模块，用于将所述一维图像合并特征向量作为已训练分类模型的输入，根据所述已训练分类模型对所述待分类图像进行分类。
22.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述权利要求1-10中任意一项所述方法的步骤。
23.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-10中任意一项所述的方法的步骤。
CN201910848294.6A 2017-11-30 2017-11-30 图像分类模型训练、图像分类、个性化推荐方法及装置 Active CN110580482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910848294.6A CN110580482B (zh) 2017-11-30 2017-11-30 图像分类模型训练、图像分类、个性化推荐方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910848294.6A CN110580482B (zh) 2017-11-30 2017-11-30 图像分类模型训练、图像分类、个性化推荐方法及装置
CN201711244572.4A CN108304847B (zh) 2017-11-30 2017-11-30 图像分类方法及装置、个性化推荐方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201711244572.4A Division CN108304847B (zh) 2017-11-30 2017-11-30 图像分类方法及装置、个性化推荐方法及装置

Publications (2)

Publication Number Publication Date
CN110580482A CN110580482A (zh) 2019-12-17
CN110580482B true CN110580482B (zh) 2022-04-08

Family

ID=62870206

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910848294.6A Active CN110580482B (zh) 2017-11-30 2017-11-30 图像分类模型训练、图像分类、个性化推荐方法及装置
CN201711244572.4A Active CN108304847B (zh) 2017-11-30 2017-11-30 图像分类方法及装置、个性化推荐方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201711244572.4A Active CN108304847B (zh) 2017-11-30 2017-11-30 图像分类方法及装置、个性化推荐方法及装置

Country Status (3)

Country Link
US (1) US11238315B2 (zh)
CN (2) CN110580482B (zh)
WO (1) WO2019105106A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580482B (zh) * 2017-11-30 2022-04-08 腾讯科技（深圳）有限公司 图像分类模型训练、图像分类、个性化推荐方法及装置
US11003892B2 (en) * 2018-11-09 2021-05-11 Sap Se Landmark-free face attribute prediction
CN111191665A (zh) * 2018-11-14 2020-05-22 北京奇虎科技有限公司 图像分类方法、装置及电子设备
CN111310518B (zh) * 2018-12-11 2023-12-08 北京嘀嘀无限科技发展有限公司 图片特征提取方法、目标重识别方法、装置及电子设备
US10963757B2 (en) * 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
CN109740646B (zh) * 2018-12-19 2021-01-05 创新奇智(北京)科技有限公司 一种图像差异比对方法及其系统、电子装置
US10769784B2 (en) * 2018-12-21 2020-09-08 Metal Industries Research & Development Centre Image analyzing method and electrical device
JP7261022B2 (ja) * 2019-01-30 2023-04-19 キヤノン株式会社 情報処理システム、端末装置及びその制御方法、プログラム、記憶媒体
CN111582008B (zh) * 2019-02-19 2023-09-08 富士通株式会社 训练分类模型的装置和方法及利用分类模型分类的装置
CN109886223B (zh) * 2019-02-26 2022-05-17 北京旷视科技有限公司 人脸识别方法、底库录入方法、装置及电子设备
CN109961041B (zh) * 2019-03-21 2021-03-23 腾讯科技（深圳）有限公司 一种视频识别方法、装置及存储介质
CN110222598B (zh) * 2019-05-21 2022-09-27 平安科技（深圳）有限公司 一种视频行为识别方法、装置、存储介质和服务器
CN110263280B (zh) * 2019-06-11 2021-03-23 浙江工业大学 一种基于多视图的动态链路预测深度模型及应用
CN110390056B (zh) * 2019-06-18 2022-07-15 平安科技（深圳）有限公司 大数据处理方法、装置、设备及可读存储介质
CN110298405A (zh) * 2019-07-03 2019-10-01 北京字节跳动网络技术有限公司 类别识别方法及装置、存储介质与终端
CN110598717B (zh) * 2019-09-12 2022-06-21 北京迈格威科技有限公司 图像特征的提取方法、装置及电子设备
CN110751218B (zh) * 2019-10-22 2023-01-06 Oppo广东移动通信有限公司 图像分类方法、图像分类装置及终端设备
CN111144244B (zh) * 2019-12-13 2023-07-11 唐美(北京)文化科技发展有限公司 家具木材类别识别方法及装置
CN111179031B (zh) * 2019-12-23 2023-09-26 第四范式（北京）技术有限公司 一种商品推荐模型的训练方法、装置及系统
CN111091160B (zh) * 2019-12-27 2024-05-03 北京蜜莱坞网络科技有限公司 一种图像分类方法
CN111177449B (zh) * 2019-12-30 2021-11-05 深圳市商汤科技有限公司 基于图片的多维信息整合方法及相关设备
CN111160286B (zh) * 2019-12-31 2023-02-28 中国电子科技集团公司信息科学研究院 一种视频真伪鉴别方法
CN111222557A (zh) * 2019-12-31 2020-06-02 Oppo广东移动通信有限公司 图像分类方法、装置、存储介质及电子设备
CN114830186A (zh) * 2020-01-10 2022-07-29 深圳市欢太科技有限公司 图像分类方法、装置、存储介质及电子设备
CN111325271B (zh) * 2020-02-18 2023-09-12 Oppo广东移动通信有限公司 图像分类方法及装置
CN111291825B (zh) * 2020-02-25 2024-05-07 平安科技（深圳）有限公司 病灶分类模型训练方法、装置、计算机设备和存储介质
CN111461228B (zh) * 2020-04-01 2024-03-15 腾讯科技（深圳）有限公司 图像推荐方法和装置及存储介质
CN111598131B (zh) * 2020-04-17 2023-08-25 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111694954B (zh) * 2020-04-28 2023-12-08 北京旷视科技有限公司 图像分类方法、装置和电子设备
CN111950544A (zh) * 2020-06-30 2020-11-17 杭州依图医疗技术有限公司 一种确定病理图像中感兴趣区域的方法及装置
JP7481956B2 (ja) * 2020-08-26 2024-05-13 株式会社東芝 推論装置、方法、プログラムおよび学習装置
WO2022041222A1 (en) * 2020-08-31 2022-03-03 Top Team Technology Development Limited Process and system for image classification
CN112101438B (zh) * 2020-09-08 2024-04-16 南方科技大学 一种左右眼分类方法、装置、服务器和存储介质
CN112085035A (zh) * 2020-09-14 2020-12-15 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN112257758A (zh) * 2020-09-27 2021-01-22 浙江大华技术股份有限公司 细粒度图像识别方法、卷积神经网络及其训练方法
CN112364933A (zh) * 2020-11-23 2021-02-12 北京达佳互联信息技术有限公司 图像分类方法、装置、电子设备和存储介质
US20220176998A1 (en) * 2020-12-08 2022-06-09 Guangzhou Automobile Group Co., Ltd. Method and Device for Loss Evaluation to Automated Driving
CN112580352B (zh) * 2021-03-01 2021-06-04 腾讯科技（深圳）有限公司 关键词提取方法、装置和设备及计算机存储介质
CN113033557A (zh) * 2021-04-16 2021-06-25 北京百度网讯科技有限公司 用于训练图像处理模型和检测图像的方法、装置
CN113191436A (zh) * 2021-05-07 2021-07-30 广州博士信息技术研究院有限公司 一种人才图像标签识别方法、系统及云平台
CN113392766A (zh) * 2021-06-16 2021-09-14 哈尔滨理工大学 一种基于注意力机制的人脸表情识别方法
CN113657523A (zh) * 2021-08-23 2021-11-16 科大讯飞股份有限公司 一种图像目标分类方法、装置、设备及存储介质
CN114140637B (zh) * 2021-10-21 2023-09-12 阿里巴巴达摩院(杭州)科技有限公司 图像分类方法、存储介质和电子设备
CN114418030B (zh) * 2022-01-27 2024-04-23 腾讯科技（深圳）有限公司 图像分类方法、图像分类模型的训练方法及装置
CN114565774B (zh) * 2022-02-21 2024-04-05 辽宁师范大学 基于局部几何与全局结构联合学习的3d图卷积分类方法
CN114743247A (zh) * 2022-04-26 2022-07-12 支付宝(杭州)信息技术有限公司 一种面部识别模型的训练方法、装置以及设备
CN115409855B (zh) * 2022-09-20 2023-07-07 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN116503933B (zh) * 2023-05-24 2023-12-12 北京万里红科技有限公司 一种眼周特征提取方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216889A (zh) * 2008-01-14 2008-07-09 浙江大学 一种融合全局特征与局部细节信息的人脸图像超分辨率方法
CN102521601A (zh) * 2011-11-17 2012-06-27 西安电子科技大学 基于半监督条件随机场的超光谱图像分类方法
CN103886329A (zh) * 2014-03-21 2014-06-25 西安电子科技大学 基于张量分解降维的极化图像分类方法
CN105117478A (zh) * 2015-09-09 2015-12-02 北京建筑大学 Pda应用程序辅助拍摄设备影像自动分类入库方法
CN105184298A (zh) * 2015-08-27 2015-12-23 重庆大学 一种快速局部约束低秩编码的图像分类方法
US20170018075A1 (en) * 2015-07-13 2017-01-19 Delineo Diagnostics, Inc Method and apparatus for adaptive Computer-Aided Diagnosis
US20170294040A1 (en) * 2015-03-05 2017-10-12 Nant Holdings Ip, Llc Global signatures for large-scale image recognition

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542067A (zh) * 2012-01-06 2012-07-04 上海交通大学 基于尺度学习和关联标号传播的自动图像语义标注方法
EP2704052A1 (en) * 2012-08-28 2014-03-05 Solink Corporation Transaction verification system
WO2014068567A1 (en) * 2012-11-02 2014-05-08 Itzhak Wilf Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
CN103281477B (zh) * 2013-05-17 2016-05-11 天津大学 基于多级别特征数据关联的多目标视觉跟踪方法
US9400925B2 (en) * 2013-11-15 2016-07-26 Facebook, Inc. Pose-aligned networks for deep attribute modeling
CN106408037B (zh) * 2015-07-30 2020-02-18 阿里巴巴集团控股有限公司 图像识别方法及装置
CN105608230B (zh) * 2016-02-03 2019-05-31 南京云创大数据科技股份有限公司 一种基于图像检索的商家信息推荐系统及方法
CN107203775B (zh) * 2016-03-18 2021-07-27 斑马智行网络(香港)有限公司 一种图像分类的方法、装置和设备
CN105956631A (zh) * 2016-05-19 2016-09-21 南京大学 一种面向电子图库的在线渐进式图像分类方法
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
CN106803090A (zh) * 2016-12-05 2017-06-06 中国银联股份有限公司 一种图像识别方法和装置
CN107066520B (zh) * 2017-02-14 2021-05-18 苏州飞搜科技有限公司 一种基于多个语义层次的图片检索方法及系统
CN110580482B (zh) * 2017-11-30 2022-04-08 腾讯科技（深圳）有限公司 图像分类模型训练、图像分类、个性化推荐方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216889A (zh) * 2008-01-14 2008-07-09 浙江大学 一种融合全局特征与局部细节信息的人脸图像超分辨率方法
CN102521601A (zh) * 2011-11-17 2012-06-27 西安电子科技大学 基于半监督条件随机场的超光谱图像分类方法
CN103886329A (zh) * 2014-03-21 2014-06-25 西安电子科技大学 基于张量分解降维的极化图像分类方法
US20170294040A1 (en) * 2015-03-05 2017-10-12 Nant Holdings Ip, Llc Global signatures for large-scale image recognition
US20170018075A1 (en) * 2015-07-13 2017-01-19 Delineo Diagnostics, Inc Method and apparatus for adaptive Computer-Aided Diagnosis
CN105184298A (zh) * 2015-08-27 2015-12-23 重庆大学 一种快速局部约束低秩编码的图像分类方法
CN105117478A (zh) * 2015-09-09 2015-12-02 北京建筑大学 Pda应用程序辅助拍摄设备影像自动分类入库方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于多特征组合的图像纹理分类";黄荣娟 等;《计算机应用与软件》;20110831;第28卷(第8期);第12-16、46页 *

Also Published As

Publication number Publication date
WO2019105106A1 (zh) 2019-06-06
US11238315B2 (en) 2022-02-01
CN108304847B (zh) 2021-09-28
CN110580482A (zh) 2019-12-17
CN108304847A (zh) 2018-07-20
US20200074243A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
CN110580482B (zh) 图像分类模型训练、图像分类、个性化推荐方法及装置
Sun et al. Representative task self-selection for flexible clustered lifelong learning
CN110866140A (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
JP2017062781A (ja) 深層ｃｎｎプーリング層を特徴として用いる、類似度に基づく重要な対象の検知
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111191092A (zh) 画像数据处理方法和画像模型训练方法
CN113807399B (zh) 一种神经网络训练方法、检测方法以及装置
CN111898703B (zh) 多标签视频分类方法、模型训练方法、装置及介质
US11966829B2 (en) Convolutional artificial neural network based recognition system in which registration, search, and reproduction of image and video are divided between and performed by mobile device and server
CN111582044A (zh) 基于卷积神经网络和注意力模型的人脸识别方法
CN114332680A (zh) 图像处理、视频搜索方法、装置、计算机设备和存储介质
Bai et al. Coordinate CNNs and LSTMs to categorize scene images with multi-views and multi-levels of abstraction
CN113240120A (zh) 基于温习机制的知识蒸馏方法、装置、计算机设备和介质
CN113722474A (zh) 文本分类方法、装置、设备及存储介质
Xiong et al. Person re-identification with multiple similarity probabilities using deep metric learning for efficient smart security applications
Wang et al. Glocal energy-based learning for few-shot open-set recognition
CN113762331A (zh) 关系型自蒸馏方法、装置和系统及存储介质
CN111444957B (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN114329004A (zh) 数字指纹生成、数据推送方法、装置和存储介质
Srinivasa Rao et al. Fault signal recognition in power distribution system using deep belief network
CN115909336A (zh) 文本识别方法、装置、计算机设备和计算机可读存储介质
Shu et al. RES-CapsNet: an improved capsule network for micro-expression recognition
CN111309923A (zh) 对象向量确定、模型训练方法、装置、设备和存储介质
Danelakis et al. A robust spatio-temporal scheme for dynamic 3D facial expression retrieval
Si et al. Robust deep multi-view subspace clustering networks with a correntropy-induced metric

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant