CN109711228B - 一种实现图像识别的图像处理方法及装置、电子设备 - Google Patents
一种实现图像识别的图像处理方法及装置、电子设备 Download PDFInfo
- Publication number
- CN109711228B CN109711228B CN201711008168.7A CN201711008168A CN109711228B CN 109711228 B CN109711228 B CN 109711228B CN 201711008168 A CN201711008168 A CN 201711008168A CN 109711228 B CN109711228 B CN 109711228B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- computing node
- training
- image sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种实现图像识别的图像处理方法及装置、电子设备和计算机可读存储介质,该方案采用分布式计算框架进行图像处理,包括:获取图像样本数据集;根据图像样本数据集中的样本数量以及分布式计算框架的计算节点数量,切分图像样本数据集,切分为一组的图像样本形成图像样本子块;分发图像样本子块至计算节点;由各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练,在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果。该方法通过将训练任务均衡负载至各个计算节点,由各个计算节点并行实现样本训练,从而大大提高了训练效率,减少了样本训练消耗的时间,适用于目前大数据背景下图像识别过程中的样本训练。
Description
技术领域
本公开涉及大数据处理技术领域,特别涉及一种实现图像识别的图像处理方法及装置、电子设备和计算机可读存储介质。
背景技术
图像识别是计算机视觉和模式识别的一种重要应用,其在安全系统和人机交互等方面有着巨大的应用前景。
目前流行的图像识别方案中,主要关注的技术要点是提升识别率和识别效率。其中,基于特征点的图像识别算法如PCA(Principal Component Analysis,主成分分析),LDA(Linear Discriminant Analysis,线性鉴别分析),LBP(Local Binary Pattern,局部纹理特征分析)等特征识别算法,以及基于神经网络进行识别的算法都对图像识别率做了一定的提升。而为了提高图像识别效率,多数是在图像识别架构上的改进,其中包括基于云计算框架的图像识别方案、基于并行框架的图像识别方案以及基于移动云框架的图像识别方案。
基于特征或者基于神经网络的算法,在样本足够的前提下识别率往往可以达到99%以上,但是如果没有基于大量的样本数据或者样本支持量不够大,将无法达到准确的识别率。很显然,上述技术方案都是对图像识别的准确度和响应时间进行的改进,而图像识别的基本步骤中提升图像样本的训练效率往往被忽视。特别是目前大数据背景下,由于需要依次对每个图像样本进行训练,训练效率低下,海量数据的训练需要花费较多的时间。
发明内容
为了解决相关技术中存在的在图像识别的基本步骤中图像样本的训练效率不高的问题,本公开提供了一种实现图像识别的图像处理方法,用以提高图像样本的训练效率。
一方面,本公开提供了一种实现图像识别的图像处理方法,所述方法采用分布式计算框架进行图像处理,所述方法包括:
获取图像样本数据集;
根据所述图像样本数据集中的样本数量以及所述分布式计算框架的计算节点数量,切分所述图像样本数据集,切分为一组的图像样本形成图像样本子块;
分发所述图像样本子块至所述计算节点;
由各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练,在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果。
另一方面,本公开还提供了一种实现图像识别的图像处理装置,所述装置采用分布式计算框架进行图像处理,所述装置包括:
数据获取模块,用于获取图像样本数据集;
数据划分模块,用于根据所述图像样本数据集中的样本数量以及所述分布式计算框架的计算节点数量,切分所述图像样本数据集,切分为一组的图像样本形成图像样本子块;
字块分发模块,用于分发所述图像样本子块至所述计算节点;
样本训练模块,用于通过各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练,在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果。
再一方面,本公开还提供了一种电子设备,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述实现图像识别的图像处理方法。
此外,本公开还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序可由处理器执行完成上述实现图像识别的图像处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开示例性实施例,基于分布式计算框架,由分布式计算框架的各个计算节点并行对所有图像样本实现分块化训练,通过将训练任务均衡负载至各个计算节点,由各个计算节点并行实现样本训练,从而大大提高了训练效率,减少了样本训练消耗的时间,适用于目前大数据背景下图像识别过程中的样本训练。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据本公开所涉及的实施环境的示意图;
图2是根据一示例性实施例示出的一种服务器的框图;
图3是根据一示例性实施例示出的一种实现图像识别的图像处理方法的流程图;
图4是在图3对应实施例的基础上示出的一种实现图像识别的图像处理方法的流程图;
图5是在图3对应实施例的基础上示出的另一种实现图像识别的图像处理方法的流程图;
图6是根据一示例性实施例示出的结合2DPCA和LDA算法进行图像处理原理示意图;
图7是图5对应实施例中步骤550的细节流程图;
图8是根据一示例性实施例示出的对待测图像进行图像识别的原理示意图;
图9是根据一示例性实施例示出的一种实现图像识别的图像处理装置的框图;
图10是在图9对应实施例的基础上示出的另一种实现图像识别的图像处理装置的框图;
图11是在图9对应实施例的基础上示出的又一种实现图像识别的图像处理装置的框图;
图12是图11对应实施例中的待测识别模块的细节框图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据本公开所涉及的实施环境的示意图。该实施环境包括:服务器110和智能设备120。智能设备120可以是具有图像采集功能的移动终端(如智能手机)或智能家电(如智能摄像头)
服务器110和智能设备120之间的关联方式,包括硬件的网络关联方式和/或协议,以及二者之间往来的数据关联方式。智能设备120具有图像采集功能,服务器110接收智能设备120采集的图像样本。服务器110可以是基于linux系统,通过Hadoop(是一个能够对大量数据进行分布式处理的软件框架)存放智能设备120采集的原始图像样本数据集,并通过运行程序实现对图像样本数据集的分布式训练和待测图像的检索识别。
参见图2,图2是本发明实施例提供的一种服务器结构示意图。该服务器200可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessing units,CPU)222(例如,一个或一个以上处理器)和存储器232,一个或一个以上存储应用程序242或数据244的存储介质230(例如一个或一个以上海量存储设备)。其中,存储器232和存储介质230可以是短暂存储或持久存储。存储在存储介质230的程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对服务器200中的一系列指令操作。更进一步地,中央处理器222可以设置为与存储介质230通信,在服务器200上执行存储介质530中的一系列指令操作。服务器200还可以包括一个或一个以上电源226,一个或一个以上有线或无线网络接口250,一个或一个以上输入输出接口258,和/或,一个或一个以上操作系统241,例如WindowsMac/> 等等。下述图3-图5、图7所示实施例中所述的由服务器所执行的步骤可以基于该图2所示的服务器结构。
本领域普通技术人员可以理解实现下述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
图3是根据一示例性实施例示出的一种实现图像识别的图像处理方法的流程图。该实现图像识别的图像处理方法的适用范围和执行主体,例如,该方法用于图1所示实施环境的服务器110。服务器110采用Map Reduce分布式计算框架实现图像识别的图像处理方法。如图3所示,该方法可以由服务器110执行,可以包括以下步骤。
在步骤310中,获取图像样本数据集。
需要说明的是,人脸识别是图像识别的一种主要应用,因此本公开示例性实施例以人脸识别为例进行说明。其他种类图像的识别,参照人脸图像识别进行。
具体的,获取的图像样本可以是人脸图像样本。例如,可以获取20个人的人脸图像样本,每个人可以有100张图像,从而图像样本数据集可以包括20×100张图像样本。图像样本数据集可以由智能设备120提前采集,并存在在服务器110的存储介质230中。其中,服务器110可以先对智能设备120采集的图像样本进行灰度化,也就是图像样本数据集中的每张图像样本可以是灰度图像。
在步骤330中,根据所述图像样本数据集中的样本数量以及所述分布式计算框架的计算节点数量,切分所述图像样本数据集,切分为一组的图像样本形成图像样本子块。
假设,分布式计算框架的计算节点数量有5个,图像样本数据集中的图像样本数量为20×100个,由此,可以将2000张图像样本划分为5个子块,每个子块包括400张图像样本,各个子块之间相互独立。换句话说,将所有的图像样本分成了若干个样本集合,每个样本集合包括多张图像样本,每个样本集合中图像样本的个数大致相同。
在步骤350中,分发所述图像样本子块至所述计算节点。
举例来说,将包括2000张图像样本的图像样本数据集划分成5个图像样本子块后,可以将5个图像样本子块一一分发到5个计算节点。也就是说,每个计算节点可以分发到一个图像样本子块。
在步骤370中,由各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练,在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果。
举例来说,当存在2000张图像样本时,现有技术由一个计算节点对2000张图像样本进行训练,训练效率较低,本公开示例性实施例利用分布式计算框架,假设存在5个计算节点,每个计算节点分发到的图样样本子块包括400张图像样本,并由5个计算节点并行对自身分发到的图像样本子块进行训练,由此每个计算节点只需对400张图像样本进行训练,从而提高了训练效率。各个计算节点独立对自身分发的图像样本子块进行训练,得到自身图像样本子块中每个图像样本的训练结果。也就是说,每个计算节点可以得到400张图像样本的训练结果。
需要说明的是,传统图像识别过程中图像样本的训练是一个计算节点对全部图像样本进行全量训练,在数据量较大时,训练效率不高,耗时较长。本公开示例性实施例,在各个计算节点分发到各自的图像样本子块后,各个计算节点并行对自身分发到的图像样本子块进行训练,通过将训练任务均衡负载至各个计算节点,由各个计算节点并行实现样本训练,从而大大提高了训练效率。
在现在海量数据的背景下,常规的利用LBP(Local Binary Pattern,局部纹理特征分析),PCA(Principal Component Analysis,主成分分析),LDA(Linear DiscriminantAnalysis,线性鉴别分析)等算法时间开销很大,无法满足庞大的用户需求。当图片质量越来越高的时候,尽管识别准确率很高,但是由于图片复杂度高,并且系统的识别率与样本数据库数据量多少呈正相关,这样会导致在大量的样本之中进行识别的时候,系统的吞吐率异常的低下,直接进行数据样本的集中化训练会消耗更多的时间空间开销。本公开上述示例性实施例,基于分布式计算框架,由分布式计算框架的各个计算节点并行对所有图像样本实现分块化训练,从而可以减少训练消耗的时间,适用于目前大数据背景下图像识别过程中的样本训练。
可选的,如图4所示,在上述步骤370之后,本公开示例性实施例提供的方法还可以包括以下步骤:
在步骤410中,获取新增图像样本。
需要说明的是,新增图像样本也就是存在新加入的需要进行训练的图像样本。新增图像样本可以是灰度图像。
在步骤430中,进行所述新增图像样本向计算节点的分发。
假设原有图像样本数量为N个,计算节点数量为5个,新增图像样本是第N+1个输入样本。可以通过求解N+1对5取模,即(N+1)%5,可以将新增图像样本输入到第(N+1)%5个计算节点。
如果新增图像样本数量是2个,也就是存在第N+1和第N+2个图像样本,则可以将第N+1个新增图像样本输入第(N+1)%5个计算节点,将N+2个新增图像样本输入第(N+2)%5个计算节点。以此类推。
在步骤450中,分发到所述新增图像样本的计算节点重新对自身负载的图像样本进行图像识别的样本训练,获得自身负载的每个图像样本的新训练结果。
具体的,存在新增图像样本的计算节点才重新对自身负载的图像样本进行训练,而其他不存在新增图像样本的计算节点则无需进行训练,从而以局部的重新训练达到增量训练的目的。当存在第N+1个图像样本时,仅需对第(N+1)%5个计算节点进行局部的重新训练,而其他4个计算节点上的样本无需进行重复训练。第(N+1)%5个计算节点上负载的图像样本经过重新训练,得到每个图像样本新的训练结果。
需要说明的是,现有技术图像样本的训练需要每一次进行全量的数据训练,如果有新的样本加入,则需要对所有的样本数据进行全量训练。由于需要大量样本数据的支持,才能保证图识别像的准确率,所以每次训练的时间开销非常大。现行图像识别方法通过一次训练永久使用来规避时间开销大的缺点,但是随着大数据来临,数据的变化会非常大,如果每一次都重新训练所有的图像样本,那么可想而知,海量数据的重新训练会成为整个系统的瓶颈。
而本公开上述示例性实施例,采用分布式计算框架,各个计算节点的训练过程相互独立,仅让新增图像样本的计算节点重新进行训练,而其他节点无需重新进行训练,以局部的重新训练达到增量训练的目的,减少了样本训练的时间开销。
可选的,如图5所示,在上述步骤370之后,本公开示例性实施例提供的方法还可以包括以下步骤:
在步骤510中,获取待测图像;
传统的图像识别方式,通过将待测图像与全部图像样本一一进行比较,搜索出最相似的图像样本作为待测图像的识别结果。本公开示例性实施例与传统的图像检索识别方式不同,本公开示例性基于分布式计算框架,由各个计算节点并行对待测图像进行识别,从各个计算节点的识别结果中选择一个最优结果,即从局部最优实现全局最优。
在步骤530中,将所述待测图像输入至所述分布式计算框架的各个计算节点;
在步骤550中,由各个计算节点根据自身所负载图像样本的训练结果,对所述待测图像进行识别,得到所述待测图像在各个计算节点的识别结果;
具体的,将待测图像分别输入至分布式计算框架的每个计算节点。各个计算节点并行将自身负载的图像样本子块中每个图像样本的训练结果与待测图像进行比较,各个计算节点都输出各自的识别结果。举例来说,假设有5个计算节点,每个计算节点的图像样本子块包括400个图像样本,则每个计算节点根据400个图像样本的训练结果对待测图像进行识别,得到一个识别结果,从而可以得到5个计算节点输出的5个识别结果。
在步骤570中,对所述待测图像在各个计算节点的识别结果进行筛选获得图像识别结果。
具体的,通过对5个计算节点输出的5个识别结果进行比较,从5个识别结果中筛选出一个最优的识别结果。例如,从5个识别结果中选择与待测图像相似度最高的图像样本作为待测图像的最优的识别结果。
其中,步骤370具体包括以下步骤:
在步骤371中,每个计算节点利用二维主成分分析算法对自身负载的图像样本进行训练,得到所述计算节点的一级特征空间和所述计算节点中每个图像样本在所述一级特征空间对应的一级特征向量;
需要解释的是,2DPCA(Principal Component Analysis,二维主成分分析)是一种常用的数据分析方法。2DPCA通过计算协方差矩阵求得样本方差最大的投影方式,也就是得到了相应的投影空间,完成了对原始数据的线性变化,在研究中用于提取数据的主要成分,常用于数据降维。LDA(线性鉴别分析)是传统模式识别中常用的线性鉴别分析方法,主要的功能是首先构造两个矩阵分别代表类间距离和类内距离,通过求偏导数为极值的点,使得样本投影之后同一类的特征靠近,不同类的特征相隔较远。
需要说明的是,各个计算节点是利用2DPCA算法和LDA算法相结合的方式实现图像样本训练的。2DPCA算法用于主特征成分提取,提取出来的特征向量作为LDA算法的输入数据,进行类间散列矩阵的特征提取和映射。通过结合2DPCA和LDA算法,在进行图像样本训练时,使同一类图像的特征集中,而且数据量体积小,不同类图像的特征区分度大,从而使图像识别的准确性更高,极少出现模糊的识别结果。
2DPCA利用二维矩阵来表示图像,2DPCA的目标就是寻找一个最优投影空间,也就是一级特征空间(2DPCA特征空间)。如图6所示,每个计算节点利用Open CV(开放源代码计算机视觉类库)的矩阵运算功能,将自身负载的图像样本子块中的每个图像样本(二维矩阵形式)作为2DPCA算法的输入,计算得到2DPCA特征空间(用U表示),参见过程601。之后将自身负载的每个图像样本(用Xi表示)向2DPCA特征空间投影,计算得到每个图像样本对应的一级特征向量(用Yi表示,Yi=Xi×U),参见过程602。
在步骤372中,将所述一级特征向量作为线性鉴别分析算法的样本输入,训练得到所述计算节点的二级特征空间和所述计算节点中每个图像样本在所述二级特征空间对应的二级特征向量。
具体的,每个计算节点将自身负载的每个图像样本对应的一级特征向量作为LDA算法的输入,计算得到二级特征空间(LDA特征空间,用W表示)参见过程603。并将该一级特征向量(用Yi表示)向LDA特征空间投影,计算得到每个图像样本对应的二级特征向量(用Ti表示,Ti=Yi×W),参见过程604。
从而,每个计算节点都有一个2DPCA特征空间和一个LDA特征空间,假设有5个计算节点,就存在5个特征空间对(2DPCA特征空间,LDA特征空间)。每个计算节点中的每个图像样本都有对应的二级特征向量。
进一步的,如图7所示,步骤550具体包括以下步骤:
在步骤551中,每个计算节点将所述待测图像投影到自身的一级特征空间,得到所述待测图像对应的一级测试特征向量;
具体的,对于某一计算节点而言,该计算节点自身的一级特征空间是通过上述步骤371,将自身负载的图像样本作为输入,通过2DPCA算法训练得到的。各个计算节点并行将待测图像(用A表示)投影到自身的一级特征空间(用U表示),计算得到一级测试特征向量(用B表示,B=A×U),参见过程605。
在步骤552中,将所述一级测试特征向量投影到自身的二级特征空间,得到所述待测图像对应的二级测试特征向量;
具体的,对于某一计算节点而言,该计算节点自身的二级特征空间是通过上述步骤372,将自身负载每个图像样本对应的一级特征向量作为输入,通过LDA算法训练得到的。各个计算节点并行将各自获得的待测图像的一级测试特征向量向自身的二级特征空间投影,计算得到待测图像对应的二级测试特征向量,参见过程606。
如图8所示,假设存在5个计算节点,每个计算节点都有自身的特征空间(Space),一共有5个特征空间,每个特征空间是由2DPCA特征空间和LDA特征空间组合起来的数据对。在每个计算节点内执行步骤551和步骤552,在每个计算节点内计算得到待测图像的二级测试特征向量(也就是TestVector1,TestVector2…TestVector5)。
在步骤553中,将所述二级测试特征向量与自身所负载每个图像样本的二级特征向量进行相似度计算,搜索出相似度最高的图像样本。
其中,各个计算节点并行,每个计算节点通过最近邻分类器对待测图像进行分类识别,参见过程607。具体的,每个计算节点将自身获得的待测图像的二级测试特征向量(TestVectorN)与自身负载的每个图像样本的二级特征向量(Ti)进行相似度计算,搜索出相似度最高的图像样本,也就是局部最优解。
相似度计算可以依据距离定义公式,计算两个向量(二级测试特征向量与二级特征向量)之间的差异值,通常是以绝对距离作为衡量,本公开示例性实施例可以采用欧式距离计算公式和余弦距离计算公式。
如图8所示,1_Result1、1_Result2、1_Result3……代表第一个计算节点根据自身的每个图像样本与待测图像的相似度由高到低,对自身的所有图像样本进行排序,r_Result1、r_Result2、r_Result3……代表第r个计算节点将自身的图像样本按照相似度进行排序,从而可以得到r个计算节点输出的r个相似度最高的图像样本。假设存在5个计算节点,则可以得到5个与待测图像相似度最高的图像样本。
其中,步骤570具体包括:根据各个计算节点搜索出的相似度最高的图像样本,从中筛选出出现频率最大的图像样本作为所述待测图像的识别结果。
也就是说,在r个计算节点计算完毕得到r个局部最优解后,在Map reduce框架的reduce阶段比较这r个局部最优解(result1,result2,result3,..,result n,…,resultr),一共即可得到r个结果数据对。其中,每个结果数据对为(result n,频次),频次代表r个局部最优解中,result n出现的次数。具体的,可以选择频次最大的result X作为待测图像的识别结果,也就是全局最优解。
假设存在5个计算节点,则一共存在5个局部最优解。通过比较每个局部最优解出现的次数,可以选择出现次数最多的那个局部最优解作为全局最优解,得到的全局最优解就是待测图像的最终识别结果。通过从各个节点中分别检索出最接近的图像样本,再从各个节点的检索结果中再次检索出最接近的图像样本,这种二次检索的识别方式,充分发挥了分布式计算框架的效能,提高了识别效率。现有技术即使采用分布式计算框架,也是利用分布式计算框架进行全局检索,在海量样本数据下,相比本公开从局部最优到全局最优的二次检索方式,现有的图像识别方式耗时更长,图像识别效率更低。
下述为本公开装置实施例,可以用于执行本公开上述服务器110执行的实现图像识别的图像处理方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开实现图像识别的图像处理方法实施例。
图9是根据一示例性实施例示出的一种实现图像识别的图像处理装置的框图,所述装置采用分布式计算框架进行图像处理,该实现图像识别的图像处理装置可以用于图1所示实施环境的服务器110中,执行图3-图5、图7任一所示的实现图像识别的图像处理方法的全部或者部分步骤。如图9所示,该装置包括但不限于:数据获取模块910、数据划分模块930、字块分发模块950以及样本训练模块970。
数据获取模块910,用于获取图像样本数据集;
数据划分模块930,用于根据所述图像样本数据集中的样本数量以及所述分布式计算框架的计算节点数量,切分所述图像样本数据集,切分为一组的图像样本形成图像样本子块;
字块分发模块950,用于分发所述图像样本子块至所述计算节点;
样本训练模块970,用于通过各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练,在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果。
上述装置中各个模块的功能和作用的实现过程具体详见上述实现图像识别的图像处理方法中对应步骤的实现过程,在此不再赘述。
数据获取模块910比如可以是图2中的某一个物理结构输入输出接口258。
数据划分模块930、字块分发模块950以及样本训练模块970也可以是功能模块,用于执行上述实现图像识别的图像处理方法中的对应步骤。可以理解,这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时,这些模块可以实施为一个或多个硬件模块,例如一个或多个专用集成电路。当以软件方式实现时,这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序,例如图2的中央处理器222所执行的存储在存储器232中的程序。
在上述装置实施例的基础上,如图10所示,该装置还可以包括但不限于:
样本新增模块1010,用于获取新增图像样本;
样本分发模块1030,用于进行所述新增图像样本向计算节点的分发;
局部训练模块1050,用于由新增图像样本的计算节点重新对自身负载的图像样本进行图像识别的样本训练,获得自身负载的每个图像样本的新训练结果。
在上述装置实施例的基础上,如图11所示,所述装置还可以包括但不限于:
待测获取模块1110,用于获取待测图像;
待测输入模块1130,用于将所述待测图像输入至所述分布式计算框架的各个计算节点;
待测识别模块1150,用于通过各个计算节点根据自身所负载图像样本的训练结果,对所述待测图像进行识别,得到所述待测图像在各个计算节点的识别结果;
结果筛选模块1170,用于对所述待测图像在各个计算节点的识别结果进行筛选获得图像识别结果。
在上述装置实施例的基础上,所述样本训练模块970可以包括但不限于:
一级训练单元,用于通过每个计算节点利用二维主成分分析算法对自身负载的图像样本进行训练,得到所述计算节点的一级特征空间和所述计算节点中每个图像样本在所述一级特征空间对应的一级特征向量;
二级训练单元,用于将所述一级特征向量作为线性鉴别分析算法的样本输入,训练得到所述计算节点的二级特征空间和所述计算节点中每个图像样本在所述二级特征空间对应的二级特征向量。
在上述装置实施例的基础上,如图12所示,所述待测识别模块1150可以包括但不限于:
一级投影单元1151,用于通过每个计算节点将所述待测图像投影到自身的一级特征空间,得到所述待测图像对应的一级测试特征向量;
二级投影单元1152,用于将所述一级测试特征向量投影到自身的二级特征空间,得到所述待测图像对应的二级测试特征向量
相似计算单元1153,用于将所述二级测试特征向量与自身所负载每个图像样本的二级特征向量进行相似度计算,搜索出相似度最高的图像样本。
可选的,所述结果筛选模块可以包括但不限于:
相似筛选单元,用于根据各个计算节点搜索出的相似度最高的图像样本,从中筛选出出现频率最大的图像样本作为所述待测图像的识别结果。
可选的,本公开还提供一种电子设备,该电子设备可以用于图1所示实施环境的服务器110中,执行图3-图5、图7任一所示的实现图像识别的图像处理方法的全部或者部分步骤。所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述实施例所述的实现图像识别的图像处理方法。
该实施例中的电子设备的处理器执行操作的具体方式已经在有关该实现图像识别的图像处理方法的实施例中执行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,还提供了一种存储介质,该存储介质为计算机可读存储介质,例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质存储有计算机程序,所述计算机程序可由处理器执行以完成上述实现图像识别的图像处理方法。
Claims (12)
1.一种实现图像识别的图像处理方法,其特征在于,所述方法采用分布式计算框架进行图像处理,所述方法包括:
获取图像样本数据集;
根据所述图像样本数据集中的样本数量以及所述分布式计算框架的计算节点数量,切分所述图像样本数据集,切分为一组的图像样本形成图像样本子块;
分发所述图像样本子块至所述计算节点;
由各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练,在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果;
其中,所述由各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练,在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果,包括:
每个计算节点利用二维主成分分析算法对自身负载的图像样本进行训练,得到所述计算节点的一级特征空间和所述计算节点中每个图像样本在所述一级特征空间对应的一级特征向量;
将所述一级特征向量作为线性鉴别分析算法的样本输入,训练得到所述计算节点的二级特征空间和所述计算节点中每个图像样本在所述二级特征空间对应的二级特征向量。
2.根据权利要求1所述的方法,其特征在于,所述由各个计算节点并行对自身负载的图像样本子块进行图像识别的样本训练,在各个计算节点上获得图像样本子块中每个图像样本对应的训练结果之后,所述方法还包括:
获取新增图像样本;
进行所述新增图像样本向计算节点的分发;
分发到所述新增图像样本的计算节点重新对自身负载的图像样本进行图像识别的样本训练,获得自身负载图像样本的新训练结果。
3.根据权利要求1所述的方法,其特征在于,所述由各个计算节点并行对自身负载的图像样本进行训练,得到与每个图像样本对应的训练结果之后,所述方法还包括:
获取待测图像;
将所述待测图像输入至所述分布式计算框架的各个计算节点;
由各个计算节点根据自身所负载图像样本的训练结果,对所述待测图像进行识别,得到所述待测图像在各个计算节点的识别结果;
对所述待测图像在各个计算节点的识别结果进行筛选获得图像识别结果。
4.根据权利要求3所述的方法,其特征在于,所述由各个计算节点根据自身所负载图像样本的训练结果,对所述待测图像进行识别,得到所述待测图像在各个计算节点的识别结果,包括:
每个计算节点将所述待测图像投影到自身的一级特征空间,得到所述待测图像对应的一级测试特征向量;
将所述一级测试特征向量投影到自身的二级特征空间,得到所述待测图像对应的二级测试特征向量;
将所述二级测试特征向量与自身所负载每个图像样本的二级特征向量进行相似度计算,搜索出相似度最高的图像样本。
5.根据权利要求4所述的方法,其特征在于,对 所述待测图像在各个计算节点的识别结果进行筛选获得图像识别结果,包括:
根据各个计算节点搜索出的相似度最高的图像样本,从中筛选出出现频率最大的图像样本作为所述待测图像的识别结果。
6.一种实现图像识别的图像处理装置,其特征在于,所述装置采用分布式计算框架进行图像处理,所述装置包括:
数据获取模块,用于获取图像样本数据集;
数据划分模块,用于根据所述图像样本数据集中的样本数量以及所述分布式计算框架的计算节点数量,切分所述图像样本数据集,切分为一组的图像样本形成图像样本子块;
字块分发模块,用于分发所述图像样本子块至所述计算节点;
样本训练模块,用于通过每个计算节点利用二维主成分分析算法对自身负载的图像样本进行训练,得到所述计算节点的一级特征空间和所述计算节点中每个图像样本在所述一级特征空间对应的一级特征向量;将所述一级特征向量作为线性鉴别分析算法的样本输入,训练得到所述计算节点的二级特征空间和所述计算节点中每个图像样本在所述二级特征空间对应的二级特征向量。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
样本新增模块,用于获取新增图像样本;
样本分发模块,用于进行所述新增图像样本向计算节点的分发;
局部训练模块,用于由分发到所述新增图像样本的计算节点重新对自身负载的图像样本进行图像识别的样本训练,获得自身负载的每个图像样本的新训练结果。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
待测获取模块,用于获取待测图像;
待测输入模块,用于将所述待测图像输入至所述分布式计算框架的各个计算节点;
待测识别模块,用于通过各个计算节点根据自身所负载图像样本的训练结果,对所述待测图像进行识别,得到所述待测图像在各个计算节点的识别结果;
结果筛选模块,用于对所述待测图像在各个计算节点的识别结果进行筛选获得图像识别结果。
9.根据权利要求8所述的装置,其特征在于,所述待测识别模块包括:
一级投影单元,用于通过每个计算节点将所述待测图像投影到自身的一级特征空间,得到所述待测图像对应的一级测试特征向量;
二级投影单元,用于将所述一级测试特征向量投影到自身的二级特征空间,得到所述待测图像对应的二级测试特征向量;
相似计算单元,用于将所述二级测试特征向量与自身所负载每个图像样本的二级特征向量进行相似度计算,搜索出相似度最高的图像样本。
10.根据权利要求9所述的装置,其特征在于,所述结果筛选模块包括:
相似筛选单元,用于根据各个计算节点搜索出的相似度最高的图像样本,从中筛选出出现频率最大的图像样本作为所述待测图像的识别结果。
11.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-5任意一项所述的实现图像识别的图像处理方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序可由处理器执行完成权利要求1-5任意一项所述的实现图像识别的图像处理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711008168.7A CN109711228B (zh) | 2017-10-25 | 2017-10-25 | 一种实现图像识别的图像处理方法及装置、电子设备 |
PCT/CN2018/111957 WO2019080908A1 (zh) | 2017-10-25 | 2018-10-25 | 实现图像识别的图像处理方法及装置、电子设备 |
US16/594,330 US11055570B2 (en) | 2017-10-25 | 2019-10-07 | Image processing method and apparatus for implementing image recognition, and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711008168.7A CN109711228B (zh) | 2017-10-25 | 2017-10-25 | 一种实现图像识别的图像处理方法及装置、电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109711228A CN109711228A (zh) | 2019-05-03 |
CN109711228B true CN109711228B (zh) | 2023-03-24 |
Family
ID=66246222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711008168.7A Active CN109711228B (zh) | 2017-10-25 | 2017-10-25 | 一种实现图像识别的图像处理方法及装置、电子设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11055570B2 (zh) |
CN (1) | CN109711228B (zh) |
WO (1) | WO2019080908A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242230A (zh) * | 2020-01-17 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 基于人工智能的图像处理方法及图像分类模型训练方法 |
CN111339363B (zh) * | 2020-02-28 | 2020-12-15 | 厦门铨通网络科技有限公司 | 图像识别方法、装置及服务器 |
CN111782592B (zh) * | 2020-06-30 | 2024-06-07 | 北京百度网讯科技有限公司 | 用于划分数据的方法、装置和系统 |
CN112036502B (zh) * | 2020-09-07 | 2023-08-08 | 杭州海康威视数字技术股份有限公司 | 图像数据比对方法、装置及系统 |
CN113191461B (zh) * | 2021-06-29 | 2021-09-17 | 苏州浪潮智能科技有限公司 | 一种图片识别方法、装置、设备及可读存储介质 |
CN113706842B (zh) * | 2021-07-20 | 2023-11-03 | 东风柳州汽车有限公司 | 车内物品防遗留提醒方法、设备、存储介质及装置 |
CN113537410B (zh) * | 2021-09-14 | 2021-12-07 | 征图新视(江苏)科技股份有限公司 | 一种通用的深度学习正样本自动均衡方法 |
CN114742691B (zh) * | 2022-05-19 | 2023-08-18 | 支付宝(杭州)信息技术有限公司 | 一种图数据采样方法和系统 |
CN115131296B (zh) * | 2022-06-08 | 2024-02-27 | 广州东朝智能科技有限公司 | 一种用于图像识别的分布式计算方法及系统 |
CN115795314B (zh) * | 2023-02-07 | 2023-05-12 | 山东海量信息技术研究院 | 一种关键样本采样方法、系统、电子设备及存储介质 |
CN116912535B (zh) * | 2023-09-08 | 2023-11-28 | 中国海洋大学 | 一种基于相似筛选的无监督目标重识别方法、装置及介质 |
CN118230083B (zh) * | 2024-05-24 | 2024-07-23 | 南京信息工程大学 | 一种基于连续双向2dpca的小样本图像识别方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020640A (zh) * | 2012-11-28 | 2013-04-03 | 金陵科技学院 | 基于二维主成分分析法的人脸图像降维分类方法 |
US9430697B1 (en) * | 2015-07-03 | 2016-08-30 | TCL Research America Inc. | Method and system for face recognition using deep collaborative representation-based classification |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1200387C (zh) * | 2003-04-11 | 2005-05-04 | 清华大学 | 基于单个字符的统计笔迹鉴别和验证方法 |
WO2015034759A1 (en) * | 2013-09-04 | 2015-03-12 | Neural Id Llc | Pattern recognition system |
CN104298975B (zh) * | 2014-10-13 | 2018-02-27 | 江苏大学 | 一种分布式图像识别方法 |
WO2017182225A1 (en) * | 2016-04-21 | 2017-10-26 | Osram Gmbh | Training method and detection method for object recognition |
CN106408012A (zh) * | 2016-09-09 | 2017-02-15 | 江苏大学 | 一种模糊鉴别聚类的茶叶红外光谱分类方法 |
CN106208012B (zh) | 2016-09-27 | 2018-11-27 | 上海北堃电力科技有限公司 | 一种电容器保护设备及串联补偿装置 |
CN106599798A (zh) * | 2016-11-25 | 2017-04-26 | 南京蓝泰交通设施有限责任公司 | 一种面向大数据处理的人脸识别训练方法脸识别方法 |
CN106874941A (zh) * | 2017-01-19 | 2017-06-20 | 四川大学 | 一种分布式数据识别方法及系统 |
CN106874971A (zh) | 2017-01-20 | 2017-06-20 | 兰州大学 | 一种基于rfid的奶牛信息识别管理系统及其方法 |
-
2017
- 2017-10-25 CN CN201711008168.7A patent/CN109711228B/zh active Active
-
2018
- 2018-10-25 WO PCT/CN2018/111957 patent/WO2019080908A1/zh active Application Filing
-
2019
- 2019-10-07 US US16/594,330 patent/US11055570B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020640A (zh) * | 2012-11-28 | 2013-04-03 | 金陵科技学院 | 基于二维主成分分析法的人脸图像降维分类方法 |
US9430697B1 (en) * | 2015-07-03 | 2016-08-30 | TCL Research America Inc. | Method and system for face recognition using deep collaborative representation-based classification |
Non-Patent Citations (1)
Title |
---|
分布式深度学习(I):分布式训练神经网络模型的概述;csdn_csdn__AI;《CSDN》;20161008;第1-10页 * |
Also Published As
Publication number | Publication date |
---|---|
US11055570B2 (en) | 2021-07-06 |
US20200034662A1 (en) | 2020-01-30 |
WO2019080908A1 (zh) | 2019-05-02 |
CN109711228A (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109711228B (zh) | 一种实现图像识别的图像处理方法及装置、电子设备 | |
US10891465B2 (en) | Methods and apparatuses for searching for target person, devices, and media | |
Kumar et al. | Gender classification using machine learning with multi-feature method | |
Xia et al. | Loop closure detection for visual SLAM using PCANet features | |
CN106228121B (zh) | 手势特征识别方法和装置 | |
CN109376787B (zh) | 流形学习网络及基于其的计算机视觉图像集分类方法 | |
CN113128478B (zh) | 模型训练方法、行人分析方法、装置、设备及存储介质 | |
CN110751027B (zh) | 一种基于深度多示例学习的行人重识别方法 | |
CN114821237A (zh) | 一种基于多级对比学习的无监督船舶再识别方法及系统 | |
WO2022134576A1 (zh) | 红外视频时序行为定位方法、装置、设备及存储介质 | |
CN107315984B (zh) | 一种行人检索的方法及装置 | |
Feng et al. | A novel saliency detection method for wild animal monitoring images with WMSN | |
EP4285281A1 (en) | Annotation-efficient image anomaly detection | |
Otta et al. | User identification with face recognition: A systematic analysis | |
Xia et al. | Face clustering in photo album | |
CN117216309A (zh) | 模型训练方法、图像检索方法、装置、设备和介质 | |
Gao et al. | Data-driven lightweight interest point selection for large-scale visual search | |
Cheng et al. | Sparse representations based distributed attribute learning for person re-identification | |
CN113139540B (zh) | 背板检测方法及设备 | |
Mózsi et al. | A Session-based Approach to Autonomous Database Tuning | |
Wang et al. | Joint Face Detection and Initialization for Face Alignment | |
Duan et al. | Faster real-time face alignment method on CPU | |
CN112784674B (zh) | 一种基于类中心自适应的重点人员搜索系统跨域识别方法 | |
CN113269176B (zh) | 图像处理模型训练、图像处理方法、装置和计算机设备 | |
Li et al. | Image categorization based on visual saliency and Bag-of-Words model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |