CN109598277A - 阶层式图像识别方法及系统 - Google Patents

阶层式图像识别方法及系统 Download PDF

Info

Publication number
CN109598277A
CN109598277A CN201711018849.1A CN201711018849A CN109598277A CN 109598277 A CN109598277 A CN 109598277A CN 201711018849 A CN201711018849 A CN 201711018849A CN 109598277 A CN109598277 A CN 109598277A
Authority
CN
China
Prior art keywords
classification
model
class
preliminary
subdivision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711018849.1A
Other languages
English (en)
Inventor
王圣渊
刘文山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN109598277A publication Critical patent/CN109598277A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system

Abstract

一种阶层式图像识别方法及系统。阶层式图像识别方法根据一初步分类模型分析一图像以获得一初步分类结果，根据该初步分类结果查询一分类关联表以得到至少一细分类模型，根据该至少一细分类模型查询一层关联表以得到至少一阶层信息，撷取该初步分类模型中该至少一阶层信息所分别相应的至少一初步特征描述，再根据该至少一细分类模型及该至少一初步特征描述决定至少一细分类结果。阶层式图像识别方法可再次查询该分类关联表及该层关联表以不断进行细分类，最后输出该初步分类结果及该至少一细分类结果。

Description

阶层式图像识别方法及系统
技术领域
本发明是关于一种图像识别方法及系统；更具体而言，是关于一种阶层式图像识别方法及系统。
背景技术
近年来，和其他机器学习方法一样，人工神经网络(artificial neural network；ANN)(又被称之为类神经网络)已经被用于解决各种各样的问题，例如：机器视觉和语音识别。这些人工神经网络是经由深度学习(deep learning)或电脑学习等技术加以训练。在图像识别领域，可采用训练后的人工神经网络来为图像做特征分类，并识别出正确的图像信息。
图1A所示是已知技术所采用的基于深度卷积神经网络(Deep ConvolutionalNeural Network；DCNN)的图像识别架构，其使用一个初步分类模型(Coarseclassification model)与多个细分类模型(Fine classification model)以分别对图像做初步与细部的分类。前述每个分类模型(包含初步分类模型及细部分类模型)为一深度卷积神经网络。依据已知技术所采用的图像识别架构，初步分类模型与其对应的下一层的细分类模型的数目与种类在初始设计阶段时即已确定。因此，若细分类模型的数目与种类不够精确而需要更新与调整时，就必须重新训练初步分类模型及所有细分类模型，亦即需重新训练所有的深度卷积神经网络，相当耗时。此外，已知技术无法对细分类模型做适应性的调整来提高图像识别的正确率，无法对图像提供更细节的信息。
为了解决前述问题，本领域极需一种能有效率地调整或更新图像分类模型的机制，需要一种不需重新训练所有深度卷积神经网络的技术，借此减少因重新训练所有模型所耗费的时间，进而提高图像识别的正确率。
发明内容
为达成上述目标，本发明的一第一态样为一种阶层式图像识别方法，其是适用于至少一电子计算装置。该阶层式图像识别方法包括下列步骤：(a)根据一初步分类模型分析一图像以获得一初步分类结果；(b)根据该初步分类结果查询一分类关联表以确认与该初步分类结果相关联的至少一细分类模型；(c)根据该至少一细分类模型查询一层关联表以确认该至少一细分类模型分别相关联的该初步分类模型的至少一阶层信息；(d)撷取该初步分类模型中该至少一阶层信息所分别相应的至少一初步特征描述；以及(e)根据该至少一细分类模型及该至少一初步特征描述决定至少一细分类结果。
于本发明的某些态样中，该阶层式图像识别方法还可包含下列步骤：(f)根据该至少一细分类结果查询该分类关联表以确认与各该至少一细分类结果相关联的至少一细分类模型；以及(g)重复步骤(c)至步骤(f)，直到所确认的该至少一细分类模型的数目不再改变时，输出该初步分类结果及该至少一细分类结果。
本发明的一第二态样为一种阶层式图像识别系统，其是包括一接收接口及至少一处理器。该至少一处理器电性连接至该接收接口，且执行一初步分类模块、一分类管理模块及一细分类模块。该接收接口接收一图像。该初步分类模块根据一初步分类模型分析该图像以获得一初步分类结果。该分类管理模块根据该初步分类结果查询一分类关联表以确认与该初步分类结果相关联的至少一细分类模型。该分类管理模块根据该至少一细分类模型查询一层关联表以确认该至少一细分类模型分别相关联的该初步分类模型的至少一阶层信息。该初步分类模块撷取该初步模型中该至少一阶层信息所分别相应的至少一初步特征描述。该细分类模块根据该至少一细分类模型及该至少一初步特征描述决定至少一细分类结果。
于本发明的某些态样中，该阶层式图像识别系统还会由该分类管理模块根据该至少一细分类结果查询该分类关联表以确认与各该至少一细分类结果相关联的至少一细分类模型。若所确认的该至少一细分类模型的一数目改变，该阶层式图像识别系统会以新确认的该至少一细分类模型进行前述运作以进行更精细的分类。若所确认的该至少一细分类模型的数目不再改变时，该分类管理模块输出该初步分类结果及该至少一细分类结果。
依据下文的详细说明，本发明所属技术领域中普通技术人员应能轻易思及本发明的其他适用范围。然而，应理解，下文的详细说明及特定实例仅为例示而已，此乃因依据此详细说明，本发明所属技术领域中普通技术人员将明了在本发明精神及范围内的各种改变及润饰。
附图说明
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：
图1A为已知技术所采用的基于深度卷积神经网络的图像识别架构的示意图；
图1B为本发明的阶层式图像识别技术的架构示意图；
图2为本发明第一实施例的阶层式图像识别方法的流程图；
图3A为根据本发明第二实施例的一种基于卷积神经网络的阶层式图像识别系统方块图；以及
图3B-3C为根据本发明第二实施例的建立与更新分类关联表及层关联表的示意图。
图中元件标号说明如下：
201～207 步骤
3 阶层式图像识别系统
30 接收接口
31 初步分类模块
32 分类管理模块
33 细分类模块
34 训练模块
具体实施方式
在以下说明中，将参照本发明的实例性实施例来解释本发明，然而，此等实例性实施例并非用于将本发明限于此等实施例中所述的任何特定实例、实施例、环境、应用或特定实施方案。因此，对此等实例性实施例的说明仅为例示而非限制本发明，且本申请案的范围应由权利要求书决定。
应了解，在以下实施例及附图中，与本发明无关的元件已被省略而不予以绘示；且附图中个别元件间的尺寸关系仅是为便于理解起见而例示，而非用于限制实际比例。
图1B所示是本发明提出的阶层式图像识别技术的架构示意图。概要而言，本发明提出的图像识别技术先使用初步分类模型对图像做初步分类，依据初步分类结果查询(例如：可实作一分类管理模块，并由该分类管理模块查询)下一层有哪些相关联的细分类模型可使用，再进一步地以查询到的细分类模型来对图像做细部分类。本发明可不断地找出下一层的细分类模型以进行更细的分类，直到无下一层细分类模型可用为止。借由在不同阶层的分类模型间建立对应关系，本发明可随时更新任一细分类模型(即新增、删除、调整细分类模型)，而不需重新训练所有的分类模型，故可以有效率地提高图像识别的正确率。
本发明的第一实施例为一阶层式图像识别方法，其流程图描绘于图2。该阶层式图像识别方法可由至少一电子计算装置(例如：电脑、服务器或其他具有类似电子计算能力的装置)执行。该阶层式图像识别方法包含如下步骤201至步骤205，各步骤的细节详述于下。
步骤201：根据一初步分类模型分析一图像以获得一初步分类结果。
步骤202：根据步骤201所获得的该初步分类结果查询一分类关联表以确认与该初步分类结果相关联的至少一细分类模型。
前述该至少一电子计算装置包含了该初步分类模型及多个预设细分类模型，其中这些预设细分类模型包含前述步骤202所查询到的该至少一细分类模型。于某些实施态样中，该初步分类模型及这些预设细分类模型是个别地以一深度学习方法训练而成。举例而言，该初步分类模型及这些预设细分类模型中的每一个可为一深度卷积神经网络。
于某些实施态样中，阶层式图像识别方法可利用下列步骤(a)(未绘示)或步骤(b)(未绘示)来训练出前述各该预设细分类模型。
步骤(a)：以一微调(Fine-tune)法或一迁移学习(Transfer learning)法训练该初步分类模型而获得一预设细分类模型。
步骤(b)：以该初步分类模型的一低阶层信息所对应的一初步特征描述训练该初步分类模型而获得一预设细分类模型。该低阶层信息是指该初步分类模型的第1至3层，而低阶层信息所对应的初步特征描述则包含一些简单的图像特征信息，例如：边缘、棱角、曲线、光点等特征。相较于低阶层信息，高阶层信息(亦即，非第1至3层)所对应的初步特征描述则是包含较复杂的图像特征，例如：形状、图案等特征。
前述该分类关联表是记录该初步分类模型与这些预设细分类模型间的关联性，以及这些预设细分类模型间的关联性。举例而言，阶层式图像识别方法可根据该初步分类模型的信息(例如：模型名称、模型中的成员等相关信息)、这些预设细分类模型的信息(例如：模型名称、模型中的成员等相关信息)与这些预设细分类模型的用途(例如：用来穿的服饰、用来驾驶的车等等)间的关联性来建立分类关联表。
于某些实施态样中，前述该分类关联表可如表一所示，然表一所示的具体范例并非用以限制本发明的范围。
表一
表一的标签栏位中的文字(亦即，车、衣服、裤子、花、玫瑰花等等)代表初步分类结果或细分类结果。于表一所示的具体范例，若初步分类结果为车，则与车相关的细分类模型包含车型及车的厂牌。若细分类结果为玫瑰花，则与玫瑰花相关的细分类模型为玫瑰花品种。
步骤203：根据步骤202所查询到的该至少一细分类模型查询一层关联表以确认该至少一细分类模型分别相关联的该初步分类模型的至少一阶层信息。
需说明者，该初步模型包含多个层，前述各该预设细分类模型对应至这些层其中之一。于某些实施态样中，该层关联表是记录各该预设细分类模型及相对应的层的编号。步骤203所查询到的各该至少一阶层信息即为某一层的编号。
于某些实施态样中，前述该层关联表可如表二所示，然表二所示的具体范例并非用以限制本发明的范围。
表二
现以表二为例说明阶层式图像识别方法可如何决定各预设细分类模型所对应的阶层信息(亦即，初步分类模型的层的编号)。在训练某一预设细分类模型时，阶层式图像识别方法会提取该初步分类模型的不同层的初步特征描述来训练(例如：使用该初步分类模型的高阶层信息所对应的初步特征描述来做微调或迁移学习，或使用该初步分类模型的低阶层信息所对应的初步特征描述来训练)，且会将获得最高准确率时所使用的阶层信息(亦即，那一层的编号)记录于层关联表。于表二所示的具体范例中，细分类模型“车型”对应至初步分类模型的第12层，代表阶层式图像识别方法先前以初步分类模型的第12层的初步特征描述来训练细分类模型“车型”时，得到最高的准确率。再举例而言，细分类模型“布料材质”对应至初步分类模型的第L层，代表阶层式图像识别方法先前以初步分类模型的第L层的初步特征描述来训练细分类模型“布料材质”时，得到最高的准确率，其中第L层(即低阶层(low level))为第1至3层其中之一。
步骤204：根据步骤203所确认的该至少一阶层信息，撷取该初步分类模型中该至少一阶层信息所分别相应的至少一初步特征描述。
步骤205：根据该至少一细分类模型及该至少一初步特征描述决定至少一细分类结果。
透过前述步骤201至步骤205，第一实施例的阶层式图像识别方法即可识别出该图像的初步分类结果(亦即，属于哪一初步分类)及细部分类结果(亦即，属于哪一或哪些细部分类)。
于某些实施态样中，阶层式图像识别方法可再由该至少一电子计算装置执行步骤206及步骤207以便得到更为精细的细分类结果，各步骤的细节详述于下。
步骤206：根据各该至少一细分类结果查询该分类关联表，借此确认与各该至少一细分类结果相关联的至少一细分类模型。
步骤207：判断所确认的该至少一细分类模型的一数目(所有曾经确认过的细分类模型的数目)是否改变。若判断的结果为是，则以新确认出来的各细分类模型重复步骤203至207。若判断的结果为否(亦即，所确认的该至少一细分类模型的数目不再改变)，则结束图像识别流程，并输出该初步分类结果及所有的细分类结果。
在重复步骤203至207时，阶层式图像识别方法是不断地根据输入的该至少一细分类结果查询该分类关联表是否有相关联的至少一细分类模型，不断地往下一层进行细分类，直到无法再细分类为止。当步骤206无法再找到相关联的至少一细分类模型时，表示从以前到现在所查询到的相关联的细分类模型的总数目已不再增加。当此情形发生时，代表该次细部分类的结果已够精细而无法再细分类了，此时即可输出初分类结果及所有的细分类结果了。
需说明者，于某些实施态样中，阶层式图像识别方法还可执行一步骤以储存步骤204所撷取出的该至少一初步特征描述。于这些实施态样中，前述重复步骤203至207时，若步骤203查询该层关联表后得到与先前相同的该阶层信息时，则省略步骤204，直接执行步骤205以根据该次所使用的细分类模型及前述已储存的初步特征描述决定至少一细分类结果，且再执行步骤206及步骤207。
为便于理解，兹以一具体范例详述前述步骤。假设步骤201根据初步分类模型分析一图像所获得的初步分类结果为“花”。步骤202根据初步分类结果“花”来查询表一的分类关联表，并因此确认与该初步分类结果“花”相关联的一细分类模型为“花种类”。步骤203根据细分类模型“花种类”查询表二的层关联表，并因此确认与该细分类模型“花种类”相关联的初步分类模型的一阶层信息为“10”，即代表初步分类模型的第“10”层。接下来，步骤204撷取初步分类模型中相应于该阶层信息“10”的一初步特征描述(一般特征描述呈现的数据类型可为浮点数类型、字元类型等等)，且此初步特征描述会被储存下来。步骤205根据该细分类模型“花种类”及该至少一初步特征描述所决定的细分类结果为“玫瑰花”。
之后，步骤206根据该细分类结果“玫瑰花”再次查询表一的分类关联表，并因此确认与该细分类结果“玫瑰花”相关联的一细分类模型为“玫瑰花品种”。步骤207判断所有曾经确认过的细分类模型的数目已经改变，故重复前述步骤203至207。
具体来说，于步骤203，根据细分类模型“玫瑰花品种”查询表二的层关联表，以得到与该细分类模型“玫瑰花品种”相关联的初步分类模型的一阶层信息为“L”，即代表初步分类模块中初步分类模型的第1至3层的低阶层的其中某一层。步骤204撷取初步分类模型中相应于该阶层信息“L”的至少一初步特征描述(如前所述，一般特征描述呈现的数据类型可为浮点数类型、字元类型等等)。
步骤205根据该细分类模型“玫瑰花品种”及该初步特征描述所决定的细分类结果为“大马士革玫瑰花”。步骤206根据细分类结果“大马士革玫瑰花”再次查询表一的分类关联表，以确认与该细分类结果“大马士革玫瑰花”相关联的细分类模型。步骤207再次判断所有曾经确认过的细分类模型的数目是否改变。若步骤207的判断结果为是，则以新确认出来的各细分类模型重复前述步骤203至207(亦即，继续进行下一阶段更细部的分类)，如此类推，一直不断循环至无法再细分类为止。反之，若步骤207的判断结果为否(亦即，从以前到现在所查询到相关联的细分类模型“花种类”、“玫瑰花品种”的总数目为2，且已不再改变或增加了)，代表该次细部分类的结果“大马士革玫瑰花”已够精细而无法再细分类了，此时将输出初步分类结果“花”及细分类结果“玫瑰花”及“大马士革玫瑰花”。
此外，在前述具体范例中，若于查询表一的分类关联表后得到多个相关联的细分类模型，则后续步骤203至206需针对每一个细分类模型执行。因此，将可能出现多个细分类结果并各自不断的再进行细分类，其方法与前述内容类似，不再赘言。
于某些实施态样中，阶层式图像识别方法可由该至少一电子计算装置执行下列步骤(c)及步骤(d)以新增其他预设新分类模型，各步骤的细节详述于下。
步骤(c)：于该分类关联表记录该初步分类模型与一新增细分类模型的关联性而更新该分类关联表，其中该新增细分类模型对应至该初步模型的这些层其中之一。
步骤(d)：借由于该层关联表记录该新增细分类及相对应的该层的一编号而更新该层关联表。
由前述说明可知，本发明所提供的阶层式图像识别方法先使用初步分类模型对图像做初步分类，依据初步分类结果查询下一层有哪些相关联的细分类模型可使用，再进一步地以查询到的细分类模型来对图像做细部分类。阶层式图像识别方法可借由重复前述流程不断进行细分类，直到无法再细分类为止，故可提供精确的图像识别率。此外，借由在不同阶层的分类模型间建立对应关系，阶层式图像识别方法可随时新增其他的预设细分类模型，而不需重新训练所有的分类模型，故可以有效率地提高图像识别的正确率。
本发明的第二实施例为一阶层式图像识别系统3，其方块图是描绘于图3A。本发明的阶层式图像识别系统3包括一接收接口30、一初步分类模块31、一分类管理模块32、一细分类模块33及一训练模块34，其中接收接口30电性连接至初步分类模块31，且初步分类模块31、分类管理模块32、细分类模块33及训练模块34彼此电性连接。于本实施例中，初步分类模块31、分类管理模块32、细分类模块33及训练模块34个别地为一处理器。
各该处理器可为中央处理单元(Central Processing Unit；CPU)、图形处理单元(Graphics Processing Unit；GPU)、微处理器、控制元件、其他可执行指令的硬件元件或本发明所属技术领域中普通技术人员所知的其他计算装置中的任一者。初步分类模块31、分类管理模块32、细分类模块33及训练模块34可各自包括一数据库以储存初分类模型、细分类模型及其相关信息、初步特征描述等等，数据库可为一存储器、一通用串行总线(Universal Serial Bus；USB)盘、一硬盘、一光盘(Compact Disk；CD)、一随身盘或本发明所属技术领域中普通技术人员所知且具有相同功能的任何其他储存媒体或电路。
需说明者，于某些实施态样中，初步分类模块31、分类管理模块32、细分类模块33及训练模块34则可在同一实体机器(例如：同一处理器)上运行。此外，于某些实施态样中，初步分类模块31、分类管理模块32、细分类模块33及训练模块34可以任意的方式组合而执行于不同的处理器，并透过网络传输来交换数据。
于本实施例中，接收接口30接收一图像(例如，从一图像撷取装置接收)，并将该图像输入至初步分类模块31。初步分类模块31接收该图像，根据一初步分类模型分析该图像以获得一初步分类结果，且将该初步分类结果输入分类管理模块32。
分类管理模块32接收该初步分类结果，根据该初步分类结果查询一分类关联表，借此确认与该初步分类结果相关联的至少一细分类模型。此外，分类管理模块32查询一层关联表，借此确认该至少一细分类模型分别相关联的该初步分类模型的至少一阶层信息。
分类管理模块32更通知细分类模块33欲使用该至少一细分类模型做细分类，且通知初步分类模块31需撷取该初步分类模型中相应于该至少一阶层信息的至少一初步特征描述。初步分类模块31撷取该初步分类模型中该至少一阶层信息所分别相应的至少一初步特征描述，且将该至少一初步特征描述提供至细分类模块33。
细分类模块33根据该至少一细分类模型及接收的该至少一初步特征描述决定至少一细分类结果，且将该至少一细分类结果输入分类管理模块32。需说明者，于某些实施态样中，细分类模块33会储存该至少一初步特征描述。于这些实施态样中，之后若分类管理模块32查询该层关联表后得到与先前相同的该阶层信息，表示需使用的初步特征描述与之前相同，因此，分类管理模块32可省略前述通知初步分类模块撷取初步特征描述的动作。
透过前述运作，第二实施例的阶层式图像识别系统3即可识别出该图像的初步分类结果(亦即，属于哪一初步分类)及细部分类结果(亦即，属于哪一或哪些细部分类)。
于某些实施态样中，分类管理模块32会根据细分类模块33所输入的该至少一细分类结果再次查询该分类关联表，借此确认与各该至少一细分类结果相关联的至少一细分类模型。与前述第一实施例类似，分类管理模块32、初步分类模块31及细分类模块33会重复前述运作，不断地进行细分类。当所有曾确认过的细分类模型的数目不再改变时，分类管理模块32将该初步分类结果及该至少一细分类结果输出。
需说明者，若分类管理模块32再次查询该层关联表后得到与先前相同的该阶层信息时，与前述第一实施例类似，分类管理模块32不需为了相同的该初步特征描述而通知该初步分类模块，分类管理模块32仅需通知细分类模块33欲使用该至少一细分类模型做细分类。细分类模块33根据该至少一细分类模型及已储存的该至少一初步特征描述以决定至少一细分类结果，并将该至少一细分类结果输入分类管理模块32。分类管理模块32根据输入的该至少一细分类结果查询该分类关联表，借此确认与该至少一细分类结果相关联的至少一细分类模型，并继续进行下一阶段更细部的分类。
本发明的第二实施例的建立与更新分类关联表及层关联表的示意图是描绘于图3B-3C。训练模块34以一深度学习方法训练出初步分类模型及多个预设细分类模型，将训练好的该初步分类模型及所有预设细分类模型分别输入初步分类模块31及细分类模块33，且将该初步分类模型的信息及所有细分类模型的信息输入分类管理模块32。因此，初步分类模块31包含了该初步分类模型，细分类模块33包含了这些预设细分类模型，而前述该至少一细分类模型则包含于这些预设细分类模型中。于某些实施态样中，该初步分类模型及这些预设细分类模型中的每一个为一深度卷积神经网络。
前述细分类模块33所包含的任一细分类模型是用以下其中一种方式训练而成：
方式(a)：训练模块34以一微调法或一迁移学习法训练该初步分类模型而成；或者
方式(b)：训练模块34以该初步分类模型的一低阶层信息的一初步特征描述(即所谓的低阶特征描述)训练该初步分类模型而成。
另外，分类管理模块32根据初步分类模块31的该初步分类模型的信息、细分类模块33的所有预设细分类模型的信息与该所有预设细分类模型的用途间的关联性以建立该分类关联表。换言之，该分类关联表是记录该初步分类模型与这些预设细分类模型间的关联性，以及这些预设细分类模型间的关联性。
分类管理模块32还会根据细分类模块33所包含的所有预设细分类模型与相关联的该初步分类模型的阶层信息建立该层关联表。举例而言，若该初步分类模型包含多个层，则各该预设细分类模型对应至这些层其中之一，而该层关联表是记录各该预设细分类模型及相对应的该层的一编号。
于某些实施态样中，初步分类模块31的该初步分类模型、细分类模块33的所有预设细分类模型、该分类关联表及该层关联表的内容可随时更新。举例来说(请同时参阅图1B及图3C)，假设欲新增一新细分类模型，训练模块34先训练该新细分类模型，将训练好的该新细分类模型输入细分类模块33，且将该新细分类模型的信息输入分类管理模块32。分类管理模块32则会根据训练模块34所输入的信息更新该分类关联表及该层关联表。举例而言，分类管理模块32可借由于该分类关联表记录该初步分类模型与一新增细分类模型的关联性而更新该分类关联表。此外，该新增细分类模型对应至初步分类模型所包含的这些层其中之一，分类管理模块32便可借由于该层关联表记录该新增细分类及相对应的该层的一编号而更新该层关联表。透过前述运作，即新增完该新细分类模型。此外，训练模块34亦可调整、重新训练或删除既有的细分类模型，并将相关信息输入分类管理模块32以更新该分类关联表及该层关联表。
由上述内容可知，本发明在更新细分类模型时，只需单独训练欲新增的新细分类模型，训练完成后更新该分类关联表及该层关联表，即可将新细分类模型加入。本发明不需重新训练初步分类模型及所有细分类模型。
需说明者，由于本实施例的初步分类模块31、分类管理模块32、细分类模块33及训练模块34是个别地为一处理器，故这些模块之间会有信号及数据的传递。然而，若其他实施例将初步分类模块31、分类管理模块32、细分类模块33及训练模块34的某些或全部整合于同一处理器中，则前述的某些或全部信号及数据的传递则可省略。
除了上述内容，第二实施例亦能执行第一实施例所描述的所有运作及步骤，具有同样的功能，且达到同样的技术效果。本发明所属技术领域中普通技术人员可直接了解第二实施例如何基于上述第一实施例以执行此等运作及步骤，具有同样的功能，并达到同样的技术效果，故不赘述。
由前述实施例可知，本发明的阶层式图像识别方法及系统先使用初步分类模型对图像做初步分类，依据初步分类结果查询下一层有哪些相关联的细分类模型可使用，再进一步地以查询到的细分类模型来对图像做细部分类。本发明的阶层式图像识别方法及系统可借由重复前述流程不断地进行细分类，直到无法再细分类为止，故可提供精确的图像识别率。此外，本发明的阶层式图像识别方法及系统可随时更新细分类模型的相关信息(即新增、删除、调整细分类模型)而不需重新训练所有分类模型(亦即，初步分类模型及所有的预设细分类模型)，故可节省训练的时间，可适应性的调整或更新细分类模型，有效率地提高图像识别的正确率。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (20)

1.一种阶层式图像识别方法，适用于至少一电子计算装置，其特征在于，该阶层式图像识别方法包括下列步骤：
(a)根据一初步分类模型分析一图像以获得一初步分类结果；
(b)根据该初步分类结果查询一分类关联表以确认与该初步分类结果相关联的至少一细分类模型；
(c)根据该至少一细分类模型查询一层关联表以确认该至少一细分类模型分别相关联的该初步分类模型的至少一阶层信息；
(d)撷取该初步分类模型中该至少一阶层信息所分别相应的至少一初步特征描述；以及
(e)根据该至少一细分类模型及该至少一初步特征描述决定至少一细分类结果。
2.如权利要求1所述的阶层式图像识别方法，更包括下列步骤：
(f)根据各该至少一细分类结果查询该分类关联表以确认与各该至少一细分类结果相关联的至少一细分类模型；以及
(g)重复步骤(c)至步骤(f)，直到所确认的该至少一细分类模型的一数目不再改变时，输出该初步分类结果及该至少一细分类结果。
3.如权利要求2所述的阶层式图像识别方法，更包含一储存该至少一初步特征描述的步骤。
4.如权利要求3所述的阶层式图像识别方法，其中，在重复步骤(c)至步骤(f)时，若所确认的该至少一阶层信息与先前相同，则省略该步骤(d)。
5.如权利要求1所述的阶层式图像识别方法，其特征在于，该至少一电子计算装置包含该初步分类模型及多个预设细分类模型，该多个预设细分类模型包含该至少一细分类模型，该初步分类模型及该多个预设细分类模型是个别地以一深度学习方法训练而成。
6.如权利要求5所述的阶层式图像识别方法，其中，该初步分类模型及该多个预设细分类模型中的每一个为一深度卷积神经网络(Deep Convolutional Neural Network；DCNN)。
7.如权利要求5所述的阶层式图像识别方法，其中，该分类关联表是记录该初步分类模型与该多个预设细分类模型间的关联性，该初步分类模型包含多个层，各该预设细分类模型对应至该多个层其中之一，该层关联表是记录各该预设细分类模型及相对应的该层的一编号。
8.如权利要求7所述的阶层式图像识别方法，更包含下列步骤：
借由于该分类关联表记录该初步分类模型与一新增细分类模型的关联性而更新该分类关联表，其中该新增细分类模型对应至该多个层其中之一；以及
借由于该层关联表记录该新增细分类及相对应的该层的一编号而更新该层关联表。
9.如权利要求5所述的阶层式图像识别方法，更包含下列步骤：
以一微调(Fine-tune)法及一迁移学习(Transfer learning)法其中之一或其组合训练该初步分类模型而获得该多个预设细分类模型。
10.如权利要求5所述的阶层式图像识别方法，更包含下列步骤：
以该初步分类模型的一低阶层信息的一初步特征描述训练该初步分类模型而获得该多个预设细分类模型。
11.一种阶层式图像识别系统，其特征在于，包括：
一接收接口，用以接收一图像；以及
至少一处理器，电性连接至该接收接口，且执行一初步分类模块、一分类管理模块及一细分类模块；
其中，(a)该初步分类模块根据一初步分类模型分析该图像以获得一初步分类结果，(b)该分类管理模块根据该初步分类结果查询一分类关联表以确认与该初步分类结果相关联的至少一细分类模型，(c)该分类管理模块根据该至少一细分类模型查询一层关联表以确认该至少一细分类模型分别相关联的该初步分类模型的至少一阶层信息，(d)该初步分类模块撷取该初步模型中该至少一阶层信息所分别相应的至少一初步特征描述，(e)该细分类模块根据该至少一细分类模型及该至少一初步特征描述决定至少一细分类结果。
12.如权利要求11所述的阶层式图像识别系统，其中，(f)该分类管理模块更根据各该至少一细分类结果查询该分类关联表以确认与各该至少一细分类结果相关联的至少一细分类模型，该至少一处理器重复前述运作(c)至运作(f)，直到所确认的该至少一细分类模型的一数目不再改变时，该分类管理模块输出该初步分类结果及该至少一细分类结果。
13.如权利要求11所述的阶层式图像识别系统，其中，该细分类模块更储存该至少一初步特征描述。
14.如权利要求13所述的阶层式图像识别系统，其中，当该至少一处理器重复前述运作(c)至运作(f)时，若所确认的该至少一阶层信息与先前相同，则省略运作(d)。
15.如权利要求11所述的阶层式图像识别系统，其中，该至少一处理器更执行一训练模块，该初步分类模块包含该初步分类模型，该细分类模块包含多个预设细分类模型，该训练模块个别地以一深度学习方法训练出该初步分类模型及该多个预设细分类模型。
16.如权利要求15所述的阶层式图像识别系统，其中，该初步分类模型及该多个预设细分类模型中的每一个为一深度卷积神经网络(Deep Convolutional Neural Network；DCNN)。
17.如权利要求15所述的阶层式图像识别系统，其中，该分类关联表记录该初步分类模型与该多个预设细分类模型间的关联性，该初步分类模型包含多个层，各该预设细分类模型对应至该多个层其中之一，该层关联表是记录各该预设细分类模型及相对应的该层的一编号。
18.如权利要求17所述的阶层式图像识别系统，其中，该分类管理模块借由于该分类关联表记录该初步分类模型与一新增细分类模型的关联性而更新该分类关联表，其中该新增细分类模型对应至该多个层其中之一，且借由于该层关联表记录该新增细分类及相对应的该层的一编号而更新该层关联表。
19.如权利要求15所述的阶层式图像识别系统，其特征在于，该训练模块更以一微调(Fine-tune)法及一迁移学习(Transfer learning)法其中之一或其组合训练该初步分类模型以获得该多个预设细分类模型。
20.如权利要求15所述的阶层式图像识别系统，其中，该训练模块更以该初步分类模型的一低阶层信息的一初步特征描述训练该初步分类模型以获得该多个预设细分类模型。
CN201711018849.1A 2017-10-03 2017-10-25 阶层式图像识别方法及系统 Pending CN109598277A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106134210A TWI662511B (zh) 2017-10-03 2017-10-03 階層式影像辨識方法及系統
TW106134210 2017-10-03

Publications (1)

Publication Number Publication Date
CN109598277A true CN109598277A (zh) 2019-04-09

Family

ID=65896696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711018849.1A Pending CN109598277A (zh) 2017-10-03 2017-10-25 阶层式图像识别方法及系统

Country Status (3)

Country Link
US (1) US20190102658A1 (zh)
CN (1) CN109598277A (zh)
TW (1) TWI662511B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022184058A1 (zh) * 2021-03-04 2022-09-09 深圳市道通科技股份有限公司 一种确定工件表面磨损的方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460235B1 (en) 2018-07-06 2019-10-29 Capital One Services, Llc Data model generation using generative adversarial networks
CN110532445A (zh) 2019-04-26 2019-12-03 长佳智能股份有限公司 提供类神经网络训练模型的云端交易系统及其方法
TWI750572B (zh) 2020-01-30 2021-12-21 虹光精密工業股份有限公司 運用機器學習進行文件分類的文件處理系統及方法
US11087883B1 (en) * 2020-04-02 2021-08-10 Blue Eye Soft, Inc. Systems and methods for transfer-to-transfer learning-based training of a machine learning model for detecting medical conditions
US11868443B1 (en) * 2021-05-12 2024-01-09 Amazon Technologies, Inc. System for training neural network using ordered classes
CN115652003B (zh) * 2022-09-06 2024-01-09 中南大学 一种基于两阶段分类的高炉堵铁口时间在线监测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100098339A1 (en) * 2008-10-16 2010-04-22 Keyence Corporation Contour-Information Extracting Method by Use of Image Processing, Pattern Model Creating Method in Image Processing, Pattern Model Positioning Method in Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium
CN107194371A (zh) * 2017-06-14 2017-09-22 易视腾科技股份有限公司 基于层次化卷积神经网络的用户专注度识别方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200539046A (en) * 2004-02-02 2005-12-01 Koninkl Philips Electronics Nv Continuous face recognition with online learning
DE102005046747B3 (de) * 2005-09-29 2007-03-01 Siemens Ag Verfahren zum rechnergestützten Lernen eines neuronalen Netzes und neuronales Netz
US20070244844A1 (en) * 2006-03-23 2007-10-18 Intelliscience Corporation Methods and systems for data analysis and feature recognition
TWI655587B (zh) * 2015-01-22 2019-04-01 美商前進公司 神經網路及神經網路訓練的方法
TWI737659B (zh) * 2015-12-22 2021-09-01 以色列商應用材料以色列公司 半導體試樣的基於深度學習之檢查的方法及其系統

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100098339A1 (en) * 2008-10-16 2010-04-22 Keyence Corporation Contour-Information Extracting Method by Use of Image Processing, Pattern Model Creating Method in Image Processing, Pattern Model Positioning Method in Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium
CN107194371A (zh) * 2017-06-14 2017-09-22 易视腾科技股份有限公司 基于层次化卷积神经网络的用户专注度识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022184058A1 (zh) * 2021-03-04 2022-09-09 深圳市道通科技股份有限公司 一种确定工件表面磨损的方法及系统

Also Published As

Publication number Publication date
TW201915942A (zh) 2019-04-16
TWI662511B (zh) 2019-06-11
US20190102658A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
CN109598277A (zh) 阶层式图像识别方法及系统
CN107977633B (zh) 人脸图像的年龄识别方法、装置及存储介质
CN106767812B (zh) 一种基于语义信息提取的室内语义地图更新方法与系统
US7873208B2 (en) Image matching system using three-dimensional object model, image matching method, and image matching program
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN108986801A (zh) 一种人机交互方法、装置及人机交互终端
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
Zeng et al. Design of intelligent classroom attendance system based on face recognition
CN103208008A (zh) 基于机器视觉的交通视频监控目标检测快速适应方法
CN107808129A (zh) 一种基于单个卷积神经网络的面部多特征点定位方法
CN101308571A (zh) 一种利用主动网格与人脸识别结合生成新人脸的方法
CN105426882B (zh) 一种人脸图像中快速定位人眼的方法
CN104252628A (zh) 人脸图像标注方法和系统
CN113298189B (zh) 一种基于无监督域自适应的跨域图像分类方法
CN104966052A (zh) 基于属性特征表示的群体行为识别方法
EP4209959A1 (en) Target identification method and apparatus, and electronic device
CN109583375A (zh) 一种多特征融合的人脸图像光照识别方法及系统
CN110414376A (zh) 更新人脸识别模型的方法、人脸识别相机及服务器
CN104050460B (zh) 多特征融合的行人检测方法
CN109710788A (zh) 图像样本标注和管理方法及设备
CN107577994A (zh) 一种基于深度学习的行人、车辆附属品识别及检索方法
Lynen et al. Trajectory-based place-recognition for efficient large scale localization
Fan Research and realization of video target detection system based on deep learning
CN107358189A (zh) 一种基于多视目标提取的室内环境下物体检测方法
CN109872406A (zh) 一种渐进式的判断更新方法、装置和人脸打卡系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190409

WD01 Invention patent application deemed withdrawn after publication