CN111914984A - 用于辨识装置的人工神经网络正规化系统 - Google Patents

用于辨识装置的人工神经网络正规化系统 Download PDF

Info

Publication number
CN111914984A
CN111914984A CN201910376478.7A CN201910376478A CN111914984A CN 111914984 A CN111914984 A CN 111914984A CN 201910376478 A CN201910376478 A CN 201910376478A CN 111914984 A CN111914984 A CN 111914984A
Authority
CN
China
Prior art keywords
inference block
inference
neural network
block
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910376478.7A
Other languages
English (en)
Other versions
CN111914984B (zh
Inventor
刘子瑄
谢明得
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Technologies Ltd
NCKU Research and Development Foundation
Original Assignee
Himax Technologies Ltd
NCKU Research and Development Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Technologies Ltd, NCKU Research and Development Foundation filed Critical Himax Technologies Ltd
Priority to CN201910376478.7A priority Critical patent/CN111914984B/zh
Publication of CN111914984A publication Critical patent/CN111914984A/zh
Application granted granted Critical
Publication of CN111914984B publication Critical patent/CN111914984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于辨识装置的人工神经网络正规化系统，包含输入层，产生影像的初始特征图；多个隐藏层，对初始特征图进行卷积以产生对象特征图；匹配单元，其接收对象特征图且执行匹配，以输出辨识结果。第一推论区块与第二推论区块，设于人工神经网络的至少一个隐藏层中。在第一模式，开启第一推论区块且关闭第二推论区块，其中第一推论区块仅接收前一层的第一推论区块的输出。在第二模式，开启第一推论区块与第二推论区块，其中第二推论区块接收前一层的第二推论区块的输出与前一层的第一推论区块的输出。

Description

用于辨识装置的人工神经网络正规化系统
技术领域
本发明涉及一种人工神经网络正规化系统，特别是涉及一种用于辨识装置的人工神经网络正规化系统或对象辨识架构。
背景技术
卷积神经网络(convolutional neural network,CNN)是深层(deep)神经网络的一种，其使用卷积层以过滤输入，以得到有用信息。卷积层的滤波器可根据所学习参数进行修改，以萃取得到特定工作的最有用信息。卷积神经网络普遍用于分类(classification)、侦测及辨识(recognition)，例如影像分类、医学影像分析及影像/视讯辨识。然而，卷积神经网络的推论(inference)需要大量的内存及运算。一般来说，卷积神经网络的模型准确度越高，则架构越复杂(即，更多内存与运算)且功耗越大。
当低功率终端(end)装置(例如全时传感器(always-on-sensor,AOS))越发展，则低复杂度的卷积神经网络的需求越大。然而，低复杂度的卷积神经网络由于受到功率的限制，无法达到高复杂度的卷积神经网络的高效能。受控于高效能的协处理器的全时传感器，配合低复杂度的卷积神经网络，可持续侦测简单对象，直到主处理器配合高复杂度的卷积神经网络被启动为止。因此，系统需要储存两个卷积神经网络模型(即，低复杂度模型与高复杂度模型)，因而需要更多高成本的静态随机存取内存(SRAM)装置。
发明内容
鉴于上述，本发明实施例的目的之一在于提出一种人工神经网络正规化系统，可支持多个模式以降低功耗。
本发明实施例提出一种用于辨识装置的人工神经网络正规化系统，包含输入层、多个隐藏层及匹配单元。输入层产生影像的初始特征图。隐藏层对初始特征图进行卷积以产生对象特征图。匹配单元接收对象特征图且执行匹配，以输出辨识结果。第一推论区块与第二推论区块，设于人工神经网络的至少一个隐藏层中。在第一模式，开启第一推论区块且关闭第二推论区块，其中第一推论区块仅接收前一层的第一推论区块的输出。在第二模式，开启第一推论区块与第二推论区块，其中第二推论区块接收前一层的第二推论区块的输出与前一层的第一推论区块的输出。
进一步地，在该第二模式，其中该第一推论区块仅接收前一层的第一推论区块的输出。
进一步地，在该第二模式，其中该第一推论区块接收前一层的第一推论区块的输出与前一层的第二推论区块的输出。
进一步地，用于辨识装置的人工神经网络正规化系统，还包含第三推论区块，设于该至少一个隐藏层中，该第三推论区块包含多个第三滤波器。
进一步地，该第三推论区块在该第一模式与该第二模式时为关闭，且于第三模式时为开启。
进一步地，该匹配单元包含脸部匹配单元，用以决定是否辨识出特定脸部。
本发明实施例的用于追踪装置的人工神经网络正规化系统，能够根据实际需求可操作于高精确模式或低功率模式，得以大量减少实施人工神经网络所需的静态随机存取内存(SRAM)装置，并且当人工神经网络正规化系统在操作于低功率模式时，能够有效地降低消耗。
附图说明
图1示出了本发明实施例的用于辨识装置的卷积神经网络(CNN)正规化系统的示意图；
图2示出了本发明一实施例的多阶段训练方法的流程图，可使用于图1所示的卷积神经网络正规化系统；
图3示出了本发明另一实施例的用于辨识装置的卷积神经网络正规化系统的示意图；
图4示出了本发明又一实施例的用于辨识装置的卷积神经网络正规化系统的示意图。
【符号说明】
100 卷积神经网络正规化系统
400 卷积神经网络正规化系统
11 输入层
12 隐藏层
13 输出层
14 匹配单元
101 第一推论区块
102 第二推论区块
103 第三推论区块
200 多阶段训练方法
21 (第一阶段)广泛地训练整个系统
22 (第二阶段)微调第一推论区块以产生低功率模型
23 (第三阶段)微调第二推论区块以产生高精确模型
具体实施方式
以下将详述本案的各实施例，并配合图式作为例示。除了这些详细描述之外，本发明还可以广泛地实行在其他的实施例中，任何所述实施例的轻易替代、修改、等效变化都包含在本案的范围内，并以权利要求为准。在说明书的描述中，为了使读者对本发明有较完整的了解，提供了许多特定细节；然而，本发明可能在省略部分或全部这些特定细节的前提下，仍可实施。此外，众所周知的程序步骤或组件并未描述于细节中，以避免造成本发明不必要的限制。
图1示出了本发明实施例用于辨识装置的卷积神经网络(convolutional neuralnetwork,CNN)正规化(regularization)系统100的示意图。卷积神经网络正规化系统100可使用数字图像处理器与内存装置(例如静态随机存取内存(SRAM)装置)来实施。卷积神经网络正规化系统100可适用于脸部辨识。
虽然本实施例以卷积神经网络作为例示，然而本实施例可概括至人工神经网络(artificial neural network)，其包含多个互相连结的节点(node)，类似于人脑的神经网络。根据本实施例的特征之一，卷积神经网络正规化系统100可支持多个(操作)模式，可选择操作于其中之一的模式。本实施例的卷积神经网络正规化系统100可操作于高精确(high-precision)模式或低功率模式。相较于高精确模式，操作于低功率模式的卷积神经网络正规化系统100消耗较少功率，但得到较小精确度。
在本实施例中，如图1所示，卷积神经网络正规化系统100可包含输入层11及多个隐藏(hidden)层12，其包含输出层13以输出对象特征图(或对象特征或对象向量)。其中，输入层11可产生影像的初始特征图(initial feature map)。隐藏层12可对初始特征图进行卷积运算，以产生对象特征图。在至少一个隐藏层中，本实施例的卷积神经网络正规化系统100可包含第一推论(inference)区块(或群)101(如所示实线区块)，其包含多个第一节点或滤波器(filter)。在至少一个隐藏层中，本实施例的卷积神经网络正规化系统100可包含第二推论区块(或群)102(如所示虚线区块)，其包含多个第二节点或滤波器。如图1所示，至少一个第一推论区块101与至少一个第二推论区块102位于同一隐藏层12。
本实施例的卷积神经网络正规化系统100可包含匹配(matching)单元14(例如脸部匹配单元)，其接收输出层13的对象特征图(例如脸部特征图、脸部特征或脸部向量)，并配合数据库以执行(对象)匹配，用以决定是否辨识出特定对象(例如脸部)。匹配单元14可使用传统脸部匹配技术，其细节因此省略。
图2示出了本发明实施例的多阶段训练方法200的流程图，可使用于图1所示的卷积神经网络正规化系统100。在本实施例中，多阶段训练方法200提供三阶段训练。根据本实施例的另一特征，多阶段训练方法200可得到(训练)模型，其具有多个操作模式(例如高精确模式与低功率模式)。
在第一阶段(步骤21)，如一般的训练流程，训练整个卷积神经网络正规化系统100，因而产生训练前(pre-trained)模型。即，在第一阶段，第一推论区块101与第二推论区块102的节点(或滤波器)是广泛地训练。
在第二阶段(步骤22)，微调(fine-tune)训练前模型的第一推论区块101的第一节点的权重(weight)，且将第二推论区块102的第二节点的权重设为零(或关闭)，因而产生低功率(或第一)模型。如图1所示，沿着推论路径(如所示实线)，微调第一推论区块101的第一节点的权重，且将第二推论区块102的第二节点的权重设为零。在本实施例中，每一个第一推论区块101仅接收前一层的第一推论区块101的输出，并关闭每一个第二推论区块102。
在第三阶段(步骤23)，微调第二推论区块102的第二节点的权重，且固定低功率模型的第一推论区块101的第一节点的权重(使其维持于步骤22结束时的值)，因而产生高精确(或第二)模型。如图1所示，沿着推论路径(如所示虚线)，微调训练前模型的第二推论区块102的第二节点的权重，且固定低功率模型的第一推论区块101的第一节点的权重。在一实施例中，欧几里得长度(Euclidean length)(即，L2长度(norm))可予以删除，以确保第三阶段所训练的模型可以收敛(converge)，使得执行得以正常。
在本实施例中，每一个第二推论区块102接收前一层第二推论区块102的输出及前一层第一推论区块101的输出，然而每一个第一推论区块101仅接收前一层第一推论区块101的输出。在另一实施例中，如图3所示，每一个第一推论区块101更接收前一层第二推论区块102的输出。
根据前述多阶段训练方法200所训练的卷积神经网络正规化系统100可用以执行脸部辨识。经训练的卷积神经网络正规化系统100可操作于低功率模式，其中第二推论区块102可关闭以降低功耗。经训练的卷积神经网络正规化系统100可操作于高精确模式，其操作整个卷积神经网络正规化系统100以得到高精确度。
根据前述实施例，由于仅需使用单一系统或模型，而非如传统使用二个系统或模型，因而得以大量减少实施卷积神经网络所需的静态随机存取内存(SRAM)装置。因此，受控于协处理器(co-processor)的全时传感器(always-on-sensor,AOS)可在低功率模式持续侦测简单对象，直到主处理器在高精确度模式被启动为止。
图1或3所示所例示的卷积神经网络正规化系统100可概括至支持二个以上模式的卷积神经网络正规化系统。图4示出了本发明又一实施例的用于辨识装置的卷积神经网络正规化系统400的示意图。在本实施例中，在至少一个隐藏层12中，卷积神经网络正规化系统400还包含第三推论区块103。
在训练卷积神经网络正规化系统400的第一阶段，如一般的训练流程，训练整个卷积神经网络正规化系统400，因而产生训练前(pre-trained)模型。在第二阶段，微调训练前模型的第一推论区块101的第一节点的权重，且将第二推论区块102的第二节点及第三推论区块103的第三节点的权重设为零(或关闭)，因而产生第一低功率模型。在第三阶段，微调第二推论区块102的第二节点的权重，将第三推论区块103的第三节点的权重设为零，且固定第一低功率模型的第一推论区块101的第一节点的权重，因而产生第二低功率模型。在第四(最终)阶段，微调第三推论区块103的第三节点的权重，且固定第二低功率模型的第一推论区块101的第一节点及第二推论区块102的第二节点的权重，因而产生高精确(或第三)模型。
经训练的卷积神经网络正规化系统400可操作于第一低功率模式，其中第二推论区块102及第三推论区块103可关闭以降低功耗。经训练的卷积神经网络正规化系统400可操作于第二低功率模式，其中第三推论区块103可关闭以降低功耗。经训练的卷积神经网络正规化系统400可操作于高精确模式，其操作整个卷积神经网络正规化系统400以得到高精确度。
以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的保护范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在本发明权利要求所限定的范围内。

Claims (6)

1.一种用于辨识装置的人工神经网络正规化系统，其特征在于，包含：
输入层，产生影像的初始特征图；
多个隐藏层，对该初始特征图进行卷积以产生对象特征图；及
匹配单元，其接收该对象特征图且执行匹配，以输出辨识结果；
第一推论区块与第二推论区块，设于人工神经网络的至少一个隐藏层中，该第一推论区块包含多个第一滤波器且该第二推论区块包含多个第二滤波器；
在第一模式，开启该第一推论区块且关闭该第二推论区块，其中该第一推论区块仅接收前一层的第一推论区块的输出；在第二模式，开启该第一推论区块与该第二推论区块，其中该第二推论区块接收前一层的第二推论区块的输出与前一层的第一推论区块的输出。
2.根据权利要求1所述的用于辨识装置的人工神经网络正规化系统，其特征在于，在该第二模式，其中该第一推论区块仅接收前一层的第一推论区块的输出。
3.根据权利要求1所述的用于辨识装置的人工神经网络正规化系统，其特征在于，在该第二模式，其中该第一推论区块接收前一层的第一推论区块的输出与前一层的第二推论区块的输出。
4.根据权利要求1所述的用于辨识装置的人工神经网络正规化系统，其特征在于，还包含第三推论区块，设于该至少一个隐藏层中，该第三推论区块包含多个第三滤波器。
5.根据权利要求4所述的用于辨识装置的人工神经网络正规化系统，其特征在于，该第三推论区块在该第一模式与该第二模式时为关闭，且于第三模式时为开启。
6.根据权利要求1所述的用于辨识装置的人工神经网络正规化系统，其特征在于，该匹配单元包含脸部匹配单元，用以决定是否辨识出特定脸部。
CN201910376478.7A 2019-05-07 2019-05-07 用于辨识装置的人工神经网络正规化系统 Active CN111914984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910376478.7A CN111914984B (zh) 2019-05-07 2019-05-07 用于辨识装置的人工神经网络正规化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910376478.7A CN111914984B (zh) 2019-05-07 2019-05-07 用于辨识装置的人工神经网络正规化系统

Publications (2)

Publication Number Publication Date
CN111914984A true CN111914984A (zh) 2020-11-10
CN111914984B CN111914984B (zh) 2023-10-27

Family

ID=73241932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910376478.7A Active CN111914984B (zh) 2019-05-07 2019-05-07 用于辨识装置的人工神经网络正规化系统

Country Status (1)

Country Link
CN (1) CN111914984B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997027525A2 (en) * 1996-01-26 1997-07-31 Thaler Stephen L Non-algorithmically implemented artificial neural networks and components thereof
CN104268521A (zh) * 2014-09-23 2015-01-07 朱毅 一种基于非限定类别的卷积神经网络的图像识别方法
KR101568590B1 (ko) * 2014-06-27 2015-11-11 인천대학교 산학협력단 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법
EP3026600A2 (en) * 2014-11-27 2016-06-01 Samsung Electronics Co., Ltd Method and apparatus for extending neural network
JP2016103262A (ja) * 2014-11-27 2016-06-02 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ニューラルネットワーク構造拡張方法、次元縮小方法、及びその方法を用いた装置
CN106845529A (zh) * 2016-12-30 2017-06-13 北京柏惠维康科技有限公司 基于多视野卷积神经网络的影像特征识别方法
US20170351948A1 (en) * 2016-06-01 2017-12-07 Seoul National University R&Db Foundation Apparatus and method for generating prediction model based on artificial neural network
CN109409431A (zh) * 2018-10-29 2019-03-01 吉林大学 基于神经网络的多传感器姿态数据融合方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997027525A2 (en) * 1996-01-26 1997-07-31 Thaler Stephen L Non-algorithmically implemented artificial neural networks and components thereof
KR101568590B1 (ko) * 2014-06-27 2015-11-11 인천대학교 산학협력단 영역 기반의 역전달 인공 신경망을 이용한 영상 디인터레이싱 시스템 및 그 방법
CN104268521A (zh) * 2014-09-23 2015-01-07 朱毅 一种基于非限定类别的卷积神经网络的图像识别方法
EP3026600A2 (en) * 2014-11-27 2016-06-01 Samsung Electronics Co., Ltd Method and apparatus for extending neural network
JP2016103262A (ja) * 2014-11-27 2016-06-02 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ニューラルネットワーク構造拡張方法、次元縮小方法、及びその方法を用いた装置
US20170351948A1 (en) * 2016-06-01 2017-12-07 Seoul National University R&Db Foundation Apparatus and method for generating prediction model based on artificial neural network
CN106845529A (zh) * 2016-12-30 2017-06-13 北京柏惠维康科技有限公司 基于多视野卷积神经网络的影像特征识别方法
CN109409431A (zh) * 2018-10-29 2019-03-01 吉林大学 基于神经网络的多传感器姿态数据融合方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
RAVIKANT G. BIRADAR 等: "FPGA Implementation of a Multilayer Artificial Neural Network using System-on-Chip Design Methodology", 《 2015 INTERNATIONAL CONFERENCE ON COGNITIVE COMPUTING AND INFORMATION PROCESSING(CCIP)》, pages 1 - 6 *
SAI WU 等: "Personal Recommendation Using Deep Recurrent Neural Networks in NetEase", 《 2016 IEEE 32ND INTERNATIONAL CONFERENCE ON DATA ENGINEERING (ICDE)》, pages 1 - 12 *
李敬花 等: "基于人工神经网络的复杂海工装备项目工作结构分解", vol. 23, no. 7, pages 1511 - 1519 *
杨睿 等: "面向智能交互的视觉问答研究综述", 《电子测量与仪器学报》, vol. 33, no. 2, pages 117 - 124 *

Also Published As

Publication number Publication date
CN111914984B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
He et al. Filter pruning via geometric median for deep convolutional neural networks acceleration
He et al. Asymptotic soft filter pruning for deep convolutional neural networks
US11853875B2 (en) Neural network apparatus and method
Huang et al. Sndcnn: Self-normalizing deep cnns with scaled exponential linear units for speech recognition
Gope et al. Ternary hybrid neural-tree networks for highly constrained iot applications
CN113673346A (zh) 一种基于多尺度SE-Resnet的电机振动数据处理与状态识别方法
Enderich et al. Holistic filter pruning for efficient deep neural networks
CN115688040A (zh) 一种机械设备故障诊断方法、装置、设备及可读存储介质
Du et al. Bytecover2: Towards dimensionality reduction of latent embedding for efficient cover song identification
CN116797895A (zh) 面向司法场景的多模态融合身份鉴别方法、介质及设备
Zhu et al. Progressive kernel pruning based on the information mapping sparse index for CNN compression
CN113343801B (zh) 基于轻量化卷积神经网络的无线信号自动调制识别方法
CN111914984A (zh) 用于辨识装置的人工神经网络正规化系统
Enderich et al. Learning multimodal fixed-point weights using gradient descent
Rong et al. Soft Taylor pruning for accelerating deep convolutional neural networks
US20200334555A1 (en) Artificial neural network regularization system for a recognition device and a multi-stage training method adaptable thereto
Jensen et al. Nodedrop: A method for finding sufficient network architecture size
Kim et al. Mask-soft filter pruning for lightweight CNN inference
Sharifi et al. Prunedcaps: A case for primary capsules discrimination
Zhao et al. Fuzzy pruning for compression of convolutional neural networks
TW202042119A (zh) 用於辨識裝置的人工神經網路正規化系統
Shankarampeta et al. Few-Shot Class Incremental Learning with Generative Feature Replay.
Wang et al. A Novel Approach to Structured Pruning of Neural Network for Designing Compact Audio-Visual Wake Word Spotting System
CN112036446A (zh) 目标识别特征融合的方法、系统、介质及装置
CN114282585A (zh) 基于天文光谱数据的离群天体分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant