CN111476082B - 在线批次归一化、在线学习及持续学习的方法和装置 - Google Patents

在线批次归一化、在线学习及持续学习的方法和装置 Download PDF

Info

Publication number
CN111476082B
CN111476082B CN202010063590.8A CN202010063590A CN111476082B CN 111476082 B CN111476082 B CN 111476082B CN 202010063590 A CN202010063590 A CN 202010063590A CN 111476082 B CN111476082 B CN 111476082B
Authority
CN
China
Prior art keywords
feature map
kth
learning
lot
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010063590.8A
Other languages
English (en)
Other versions
CN111476082A (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111476082A publication Critical patent/CN111476082A/zh
Application granted granted Critical
Publication of CN111476082B publication Critical patent/CN111476082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种在线批次归一化、在线学习及持续学习的方法和装置。所述方法包括以下步骤：(a)计算装置指示卷积层获取第k批次，并对包含在所述第k批次中的所述输入图像分别进行卷积运算，生成用于第k批次的特征图；(b)计算装置指示批次归一化层，在k为1的情况下，参照所述用于第k批次的特征图，当k为2到m的整数的情况下，参照先前生成的先前特征图及所述用于第k批次的特征图，生成所述用于第k批次的特征图的一个以上的调整均值以及一个以上的调整方差，其中，所述先前特征图及所述用于第k批次的特征图是从所述第1至第(k‑1)批次中选择的，且至少被包含于一部分先前批次中。

Description

在线批次归一化、在线学习及持续学习的方法和装置
技术领域
本发明涉及一种用于军事目的、无人机或机器人的通过额外参照一个以上的先前批次(Batch)，进而适用于移动装置或物联网(IOT)装置的在线批次归一化(Normalization)、在线学习(On-device)及持续学习(continual learning)的方法和装置，更具体地，涉及一种使用包含各输入图像的各批次的特征值进行批次归一化的方法及计算装置，以及利用该方法及装置的测试方法、测试装置，其中，所述批次包括第1至第m批次，所述批次归一化的方法包括如下步骤：(a)指示CNN的卷积层进行以下步骤：(i)获取第k批次，其中k是从1到m的整数，(ii)对包含在所述第k批次中的所述输入图像分别进行卷积运算，生成用于第k批次的特征图；以及(b)所述计算装置指示所述CNN的批次归一化层进行以下步骤：(I)(i)当k为1的情况下，参照所述用于第k批次的特征图，(ii)当k为2到m的整数的情况下，参照先前生成的先前特征图及所述用于第k批次的特征图，生成所述用于第k批次的特征图的一个以上的调整均值以及一个以上的调整方差，其中，所述先前特征图及所述用于第k批次的特征图是从所述第1至第(k-1)批次中选择的，且被包含在先前批次中的至少一部分当中，(II)参照所述调整均值及所述调整方差，对所述用于第k批次的特征图进行卷积运算后，生成调整特征图。
背景技术
深度卷积神经网络(Deep Convolutional Neural Network；Deep CNN)是深度学习领域显著发展的核心。尽管CNN在90年代被用来解决字符识别问题，但直到最近，CNN才在机器学习中得到广泛应用。在2012年，CNN在一年一度的软件竞赛ImageNet大规模视觉识别挑战赛中战胜了其他竞争对手，并获得了冠军。之后，CNN便成为了机器学习(MachineLearning)领域中非常有用的工具。
一方面，批次归一化是一种使用包括训练图像的每个小型批次的每个通道的每个平均值和方差来归一化特征图的方法。批次归一化用于防止内部协变量移位(InternalCovariate Shift)这种不希望出现的现象，即，输入分布在神经网络中逐层更改。批次归一化的优点包括(i)加快学习速度，(ii)在神经网络中均匀学习整个权重，以及(iii)增强功能。
参照图4说明传统的批次归一化。
参照图4，可以看出，如果有包含输入图像的m个批次，则通过(i)指示每个卷积块的卷积层，对第k批次中的输入图像进行卷积运算，生成用于第k批次的特征图，其中，k是从1到m的整数，(ii)指示每个卷积块的批次归一化层，生成第k批次特征图的至少一个均值和至少一个方差，(iii)指示每个卷积块的批次归一化层对用于第k批次的特征图进行归一化，以使均值和方差分别变为特定的第一值和特定的第二值。即，仅通过使用用于特定批次的特征图的均值和方差来执行特定批次的批次归一化。
如果每个批次的大小设置的太小，则不能假定每个批次的特征图的值都遵循正态分布。因此，传统的批次归一化的性能不高，这是传统的批次归一化的关键缺陷。
发明内容
本发明以解决上述技术问题为目的。
本发明的另一目的为，提供一种即使第k批次的大小很小，也可以通过参照至少包含在第1批次至第(k-1)批次中一部分批次的先前特征图，更有效地形成第k批次的批次归一化的方法。本发明还有一个目的为，提供一种通过参照各批次的信息，在先前批次中选择特定先前批次的方法，以利用于批次归一化。
为了达到上述目的，实现本发明的下述效果，本发明的具体特征如下。
在本发明一实施例中，提供一种使用包含各输入图像的各批次的特征值进行批次归一化的学习方法，所述批次包括第1至第m批次，包括以下步骤：(a)计算装置指示CNN的卷积层进行以下操作：(i)获取第k批次，其中k是从1到m的整数，(ii)对包含在所述第k批次中的所述输入图像分别进行卷积运算，生成用于第k批次的特征图；以及(b)所述计算装置指示所述CNN的批次归一化层进行以下操作：(I)(i)当k为1的情况下，参照所述用于第k批次的特征图，(ii)当k为2到m的整数的情况下，参照先前生成的先前特征图及所述用于第k批次的特征图，生成所述用于第k批次的特征图的一个以上的调整均值以及一个以上的调整方差，其中，所述先前特征图及所述用于第k批次的特征图是从所述第1至第(k-1)批次中选择的，且至少被包含于一部分先前批次中，(II)参照所述调整均值及所述调整方差，对所述用于第k批次的特征图进行卷积运算后生成调整特征图。
在一实施例中，还包括以下步骤：(c)所述计算装置指示所述CNN的激活层(Activation Layer)通过在所述调整特征图上进行非线性运算来生成再调整特征图。
在一实施例中，所述CNN包括第1至第n卷积块，每个所述卷积块均包括所述卷积层、所述批次归一化层和所述激活层；若获取到所述第k批次，则通过所述第1至所述第n卷积块，对所述第k批次中包含的所述输入图像进行运算，生成所述再调整特征图；当x是2至n的整数时，则将从第(x-1)个卷积块输出的第(x-1)个再调整特征图输入至第x卷积块，使所述第x卷积块生成第x再调整特征图，从而生成所述再调整特征图。
在一实施例中，还包括以下步骤：(d)所述计算装置指示所述CNN的输出层，对从所述第n个卷积块输出的第n个再调整特征图进行输出运算来生成CNN输出值；以及(e)所述计算装置指示损耗层，通过参照所述CNN输出值及其对应的GT生成损耗，并通过反向传播所述损耗来学习所述CNN的参数。
在一实施例中，所述批次归一化运算是对所述用于第k个批次的特征图中包含的值进行归一化的运算，以使得所述调整均值和所述调整方差分别为第一值和第二值。
在一实施例中，在所述步骤(b)中，所述批次归一化层通过参照所述用于第k批次的特征图的方差，在所述第1批次至所述第(k-1)批次中，确定被选择的所述先前批次的数量，用以生成所述调整均值及所述调整方差。
在一实施例中，如果所述用于第k批次的特征图的方差小于特定阈值，则所述批次归一化层进行以下操作：(i)仅参照所述用于第k批次的特征图，或(ii)参照所述用于第k个批次的特征图和一个以上用于特定先前批次的特定先前特征图来生成所述调整均值以及所述调整方差，其中，所述特定先前批次是在第1至(k-1)个中选择的批次，使得特定的先前批次的数量与(k-1)的比率小于特定的阈值比率。
在一实施例中，在所述步骤(b)中，所述批次归一化层通过参照包含在所述第k批次中的所述输入图像的数量，来确定特定先前批次数量与(k-1)的比率，其中，用于生成所述调整均值和所述调整方差的所述特定的先前批次是从所述第1至所述第(k-1)批次中选择的。
在一实施例中，在所述步骤(b)中，所述批次归一化层进行以下操作：(i)参照分配了第一权重的所述用于第k批次的特征图以及(ii)参照所述先前特征图，生成所述调整均值及所述调整方差，其中，所述先前特征图被分配了一个以上的第二权重，并被包含在所述第1至所述第(k-1)先前批次中的至少一部分批次当中。
在一实施例中，在所述步骤(b)中，所述批次归一化层在生成所述第2批次至所述第(k-1)批次各自的调整均值及调整方差的期间，参照与各所述第1批次至所述第(k-1)批次相对应的各所述先前特征图被使用的次数，在所述第1批次至所述第(k-1)批次中，选择用于生成所述用于第k批次的特征图的所述调整均值及所述调整方差的特定先前批次。
在一实施例中，在所述步骤(b)中，所述批次归一化层进行以下操作：(i)参照与各所述第1批次至第(k-1)批次相应对的各所述先前特征图的各均值是否在以第一值为参照而决定的第一特定范围内或(ii)参照与各所述第1批次至第(k-1)批次相应对的各所述先前特征图的各均值是否在以第二值为参照而决定的第二特定范围内，在所述第1批次至所述第(k-1)批次中，选择用于生成所述用于第k批次的特征图的所述调整均值及所述调整方差的特定先前批次。
在一实施例中，在所述步骤(b)中，所述批次归一化层通过将所述批次归一化运算应用于所述用于第k批次的特征图后，在其上附加线性运算，生成所述用于第k批次的调整特征图，所述线性运算的数学式为：
调整特征图＝γ*AF+β
其中，γ是缩放参数，β是偏差参数，AF是已进行批次归一化运算的所述用于第k批次的特征图。
在本发明另一实施例中，还提供一种使用包含各测试图像的各批次的特征值进行批次归一化的测试方法，所述批次包括第1至第m批次，包括以下步骤：(a)(1)学习装置指示CNN的卷积层进行以下操作：(i)获取第k学习用批次，其中k是从1到m'的整数，(ii)对包含在所述第k学习用批次中的训练图像分别进行卷积运算，生成用于第k学习用批次的特征图；(2)所述学习装置指示所述CNN的批次归一化层进行以下操作：(I)(i)当k为1的情况下，参照所述用于第k学习用批次的特征图，(ii)当k为2到m'的整数的情况下，参照先前生成的先前学习用特征图及所述用于第k学习用批次的特征图，生成所述用于第k学习用批次的特征图的一个以上的学习用调整均值以及一个以上的学习用调整方差，其中，所述先前学习用特征图及所述用于第k学习用批次的特征图是从所述第1至第(k-1)学习用批次中选择的，并被包含在所述先前学习用批次中的至少一部分当中，(II)参照所述学习用调整均值及所述学习用调整方差，对所述用于第k学习用批次的特征图进行卷积运算后生成学习用调整特征图；(3)所述学习装置指示所述CNN的激活层通过在所述学习用调整特征图上进行非线性运算来生成学习用再调整特征图，所述CNN包括第1至第n个卷积块，每个卷积块均包括所述卷积层、所述批次归一化层和所述激活层，若获取到所述第k学习用批次，则通过所述第1至所述第n卷积块，对所述第k学习用批次中包含的所述训练图像进行运算，生成所述学习用再调整特征图，当x是2至n的整数时，则将从第(x-1)个卷积块输出的第(x-1)学习用再调整特征图输入至第x卷积块，使所述第x卷积块生成第x学习用再调整特征图，从而生成所述学习用再调整特征图；(4)所述学习装置指示所述CNN的输出层，对从所述第n个卷积块输出的第n学习用再调整特征图进行输出运算来生成所述学习用CNN输出值；(5)所述学习装置指示所述CNN的损耗层，通过参照所述学习用CNN输出值及其对应的GT生成损耗，在通过反向传播所述损耗来学习所述CNN的参数的状态下，测试装置指示所述CNN的卷积层进行以下操作：(i)获取第k测试用批次，其中k是从1到m的整数，(ii)对包含在所述第k测试用批次中的测试图像分别进行卷积运算，生成用于第k测试用批次的特征图；(b)所述测试装置指示所述CNN的所述批次归一化层进行以下操作：(I)(i)当k为1的情况下，参照所述第k测试用批次的特征图，(ii)当k为2到m的整数的情况下，参照先前生成的先前测试用特征图及所述用于第k测试用批次的特征图，生成所述用于第k测试用批次的特征图的一个以上的测试用调整均值以及一个以上的测试用调整方差，其中，所述先前测试用特征图及所述用于第k测试用批次的特征图是从所述第1至第(k-1)批次中选择的，并被包含在所述先前测试用批次中的至少一部分当中，(II)参照所述测试用调整均值及所述测试用调整方差，对所述用于第k测试用批次的特征图进行卷积运算后生成测试用调整特征图；(c)所述测试装置指示所述CNN的所述激活层通过在所述测试用调整特征图上进行非线性运算来生成测试用再调整特征图，所述CNN包括第1至第n个卷积块，每个卷积块均包括所述卷积层、所述批次归一化层和所述激活层，若获取到所述第k测试用批次，则通过所述第1至第n卷积块，对所述第k测试用批次中包含的所述测试图像进行运算，生成所述测试用再调整特征图，当x是2至n的整数时，则将从第(x-1)个卷积块输出的第(x-1)测试用再调整特征图输入至第x卷积块，使所述第x卷积块生成第x测试用再调整特征图，从而生成所述测试用再调整特征图；以及(d)所述测试装置指示所述CNN的所述输出层，对从所述第n个卷积块输出的用于测试的第n测试用再调整特征图进行输出运算来生成测试用CNN输出值。
在本发明另一实施例中，还提供一种使用包含各输入图像的各批次的特征值进行批次归一化的计算装置，所述批次包括第1至第m批次，其中，包括：至少一个存储器，用于存储指令；以及至少一个处理器，被配置为执行以下指令：(1)指示CNN的卷积层对包含在第k批次中的所述输入图像分别进行卷积运算，生成用于第k批次的特征图，其中k是从1到m的整数，以及(2)指示所述CNN的批次归一化层执行以下指令：(I)(i)当k为1的情况下，参照所述用于第k批次的特征图，(ii)当k为2到m的整数的情况下，参照先前生成的先前特征图及所述用于第k批次的特征图，生成所述用于第k批次的特征图的一个以上的调整均值以及一个以上的调整方差，其中，所述先前特征图及所述用于第k批次的特征图是从所述第1至第(k-1)批次中选择的，并被包含在先前批次的至少一部分当中，(II)参照所述调整均值及所述调整方差，对所述用于第k批次的特征图进行卷积运算后生成调整特征图。
在一实施例中，所述处理器还执行以下指令：(3)指示所述CNN的激活层通过在所述调整特征图上进行非线性运算来生成再调整特征图。
在一实施例中，所述CNN包括第1至第n卷积块，每个卷积块均包括所述卷积层、所述批次归一化层和所述激活层；若获取到所述第k批次，则通过所述第1至第n卷积块，对所述第k批次中包含的所述输入图像进行运算，生成所述再调整特征图；当x是2至n的整数时，则将从第(x-1)卷积块输出的第(x-1)再调整特征图输入至第x卷积块，使所述第x卷积块生成第x再调整特征图，从而生成所述再调整特征图。
在一实施例中，所述处理器还执行以下指令：(4)指示所述CNN的输出层，对从所述第n卷积块输出的第n再调整特征图进行输出运算来生成CNN输出值；以及(5)指示损耗层，通过参照所述CNN输出值及其对应的GT生成损耗，并通过反向传播所述损耗来学习所述CNN的参数。
在一实施例中，所述批次归一化运算是对所述用于第k批次的特征图中包含的值进行归一化的运算，以使得所述调整均值和所述调整方差分别为第一值和第二值。
在一实施例中，在所述指令(2)中，所述批次归一化层通过参照所述用于第k批次的特征图的方差，在所述第1批次至所述第(k-1)批次中，确定被选择的所述先前批次的数量，用以生成所述调整均值及所述调整方差。
在一实施例中，如果所述用于第k批次的特征图的方差小于特定阈值，则所述批次归一化层执行以下指令：(i)仅参照所述用于第k批次的特征图，或(ii)参照所述用于第k批次的特征图和一个以上用于特定先前批次的特定先前特征图来生成所述调整均值以及所述调整方差，其中，所述特定先前批次是在所述第1至(k-1)批次中选择的，以使所述特定先前批次的数量与(k-1)的比率小于特定阈值比率。
在一实施例中，在指令(2)中，所述批次归一化层通过参照包含在所述第k批次中的所述输入图像的数量，来确定特定先前批次数量与(k-1)的比率，其中，用于生成所述调整均值和所述调整方差的所述特定先前批次是从所述第1至第(k-1)批次中选择的。
在一实施例中，在所述指令(2)中，所述批次归一化层执行以下指令：(i)参照分配了第一权重的所述用于第k批次的特征图，以及(ii)参照所述先前特征图，生成所述调整均值及所述调整方差，其中，所述先前特征图被分配了一个以上的第二权重，并被包含在所述第1批次至所述第(k-1)先前批次中的至少一部分批次当中。
在一实施例中，在所述指令(2)中，所述批次归一化层在生成所述第2批次至所述第(k-1)批次各自的调整均值及调整方差的期间，参照与所述第1批次至所述第(k-1)批次相对应的各所述先前特征图被使用的次数，在所述第1批次至所述第(k-1)批次中，选择特定先前批次，以生成所述用于第k批次的特征图的所述调整均值及所述调整方差。
在一实施例中，在所述指令(2)中，所述批次归一化层执行以下指令：(i)参照各所述第1批次至所述第(k-1)批次相应对的所述先前特征图的各均值是否在第一特定范围内存在，其中，所述第一特定范围是参考第一值来决定的，或(ii)参照所述第1批次至所述第(k-1)批次相应对的所述先前特征图的各均值是否在第二特定范围内存在，其中，所述第二特定范围是参考第二值来决定的并通过(i)或(ii)的信息，在所述第1批次至所述第(k-1)批次中，选择特定先前批次，以生成所述用于第k批次的特征图的所述调整均值及所述调整方差。
在一实施例中，在所述指令(2)中，所述批次归一化层通过将所述批次归一化运算应用于所述用于第k批次的特征图后，在其上附加线性运算，生成所述用于第k批次的调整特征图，所述线性运算的数学式为：
调整特征图＝γ*AF+β
其中，γ是缩放参数，β是偏差参数，AF是已进行批次归一化运算的所述用于第k批次的特征图。
在本发明另一实施例中，还提供一种使用包含各测试图像的各批次的特征值进行批次归一化的测试装置，所述批次包括第1至第m批次，其中，包括：至少一个存储器，用于存储指令；以及至少一个处理器，被配置为执行以下指令：(1)学习装置指示CNN的卷积层进行以下操作：(i)获取第k学习用批次，其中k是从1到m'的整数，(ii)对包含在所述第k学习用批次中的训练图像分别进行卷积运算，生成用于第k学习用批次的特征图；(2)所述学习装置指示所述CNN的批次归一化层进行以下操作：(I)(i)当k为1的情况下，参照所述用于第k学习用批次的特征图，(ii)当k为2到m'的整数的情况下，参照先前生成的先前学习用特征图及所述用于第k学习用批次的特征图，生成所述用于第k学习用批次的特征图的学习用调整均值以及学习用调整方差，其中，所述先前学习用特征图及所述用于第k学习用批次的特征图是从所述第1至所述第(k-1)学习用批次中选择的，并被包含在先前学习用批次中的至少一部分当中，(II)参照所述学习用调整均值及所述学习用调整方差，对所述用于第k学习用批次的特征图进行卷积运算后生成学习用调整特征图；(3)所述学习装置指示所述CNN的激活层通过在所述学习用调整特征图上进行非线性运算来生成学习用再调整特征图，所述CNN包括第1至第n卷积块，每个卷积块均包括所述卷积层、所述批次归一化层和所述激活层，若获取到所述第k学习用批次，则通过所述第1至所述第n卷积块，对所述第k学习用批次中包含的所述训练图像进行运算，生成所述学习用再调整特征图，当x是2至n的整数时，则将从第(x-1)卷积块输出的第(x-1)学习用再调整特征图输入至第x卷积块，使所述第x卷积块生成第x学习用再调整特征图，从而生成所述学习用再调整特征图；(4)所述学习装置指示所述CNN的输出层，对从所述第n卷积块输出的第n学习用再调整特征图进行输出运算来生成学习用的CNN输出值；(5)所述学习装置指示所述CNN的损耗层，通过参照所述学习用的CNN输出值及其对应的GT，生成损耗，在通过反向传播所述损耗来学习所述CNN的参数的状态下，执行以下指令：(A)指示所述CNN的所述卷积层对包含在所述第k测试用批次中的测试图像分别进行卷积运算，生成用于第k测试用批次的特征图；(B)指示所述CNN的所述批次归一化层执行以下指令：(I)(i)当k为1的情况下，参照所述用于第k测试用批次的特征图，(ii)当k为2到m的整数的情况下，参照先前生成的先前测试用特征图及所述用于第k测试用批次的特征图，生成所述用于第k测试用批次的特征图的测试用调整均值以及测试用调整方差，其中，所述先前测试用特征图及所述用于第k测试用批次的特征图是从所述第1至所述第(k-1)测试用批次中选择的，并被包含在先前测试用批次中的至少一部分当中，(II)参照所述测试用调整均值及所述测试用调整方差，对所述第k测试用批次的特征图进行卷积运算后生成测试用调整特征图；(C)指示所述CNN的所述激活层通过在所述测试用调整特征图上进行非线性运算来生成测试用再调整特征图，所述CNN包括第1至第n卷积块，每个卷积块均包括所述卷积层、所述批次归一化层和所述激活层，若获取到所述第k测试用批次，则通过所述第1至第n卷积块，对所述第k测试用批次中包含的所述测试图像进行所述运算，生成所述测试用再调整特征图，当x是2至n的整数时，则将从第(x-1)卷积块输出的第(x-1)测试用再调整特征图输入至第x卷积块，使所述第x卷积块生成第x测试用再调整特征图，从而生成所述测试用再调整特征图；以及(D)指示所述CNN的所述输出层，对从所述第n卷积块输出的第n测试用再调整特征图进行输出运算来生成测试用的CNN输出值。
根据本发明，将用于学习的输入图像分为多个批次进行学习时，即使各批次的大小很小，也能获得最优化的批次归一化结果。
另外，根据本发明，通过参照各批次的信息，再决定是否参照各批次对应的特征图，来获得最优化的批次归一化结果。
附图说明
下面所附的用于解释本发明实施例的附图仅是本发明的实施例的一部分，本领域内具备一般常识的技术人员(以下称之为一般技术人员)无需进行其他创造性劳动即可基于本发明的附图获得其他附图。
图1为根据本发明的额外参照先前批次来执行批次归一化的计算装置的结构图；
图2为根据本发明发明的CNN的结构图；
图3为根据本发明发明的批次归一化流程的示图；
图4为传统的批次归一化流程的示图。
具体实施方式
下述对本发明进行的详细说明将参照对特定实施例进行图示的附图进行说明。这些实施例将进行充分的说明，以使本领域内技术人员能够实施本发明。可以理解，本发明的多个实施例虽然不同，但不互斥。例如，在不背离本发明的精神和范围的情况下，可以在其他实施例内实现本文结合一个实施例描述的特定特征、结构或特性。另外，应当理解，在不脱离本发明的精神和范围的情况下，可以修改每个实施例内的各个元件的位置或布置。因此，以下详细描述不应被理解为限制性的，并且本发明的范围仅由所附权利要求以及权利要求所赋予的等同物的全部范围来限定。在附图中，贯穿几个附图，相似的数字表示相同或相似的功能。
此外，在本发明的详细描述和权利要求中，术语“包括”及其变化形式并不旨在排除其他技术特征、添加物、组件或步骤。本发明的其他目的、益处和特征将部分地从说明书和部分地从本发明的实施方式向本领域技术人员揭示。以下示例和附图将作为示例提供，但是它们并不限制本发明。
本发明内容中提及的任何图像都可以包括与任何已铺设或未铺设的道路有关的图像，在这种情况下，道路上或道路附近的物体，可能包括车辆、人员、动物、植物、建筑物、飞行物体(例如飞机或无人机)、或可能出现在与道路有关的场景中的任何其他障碍物，但是本发明的范围不限于此。作为另一示例，本发明中提及的所述任何图像可以包括与任何道路都不相关的图像，诸如与巷道、土地、海洋、湖泊、河流、山脉、森林、沙漠、天空或任何室内空间有关的图像。在这种情况下，上述任何图像中的物体可能包括车辆、人员、动物、植物、建筑物、飞行物体(如飞机或无人驾驶飞机)、轮船、两栖飞机或轮船、或可能出现在与小巷有关的场景中的任何其他障碍物、土地、海洋、湖泊、河流、山脉、森林、沙漠、天空或任何室内空间，但是本发明的范围不限于此。
为了使本发明所在的技术领域内具备一般常识的技术人员能够容易地实施本发明，将参照附图来详细说明本发明的实施例。
图1为本发明的计算装置的结构图。
参照图1，计算装置100可以包括CNN200。CNN200的各种数据的输入和输出功能以及CNN200的各种运算功能可以分别由通信部110和处理器120执行。但在图1中，省略了关于所述通信部110以及所述处理器120的具体连接关系。另外，所述学习装置还可包括能够存储用于执行上述指令的计算机可读的存储器115。作为一个示例，处理器，存储器，介质(medium)等可以集成为一个处理器。
图2为根据本发明的所述CNN200的结构图。
参照图2，所述CNN200可以包括(i)210-1至210-N的N个卷积块，每个卷积块包括卷积层211，批次归一化层(batch normalization)212和激活(activation)层213，(ii)输出层220以及(iii)损耗层230。
因此，如果通过通信部110获取输入图像，则所述输入图像可以通过所述第一至所述第N个卷积块进行运算并生成再调整特征图，所述生成的再调整特征图将传递给所述输出层220。
更具体地，以第一卷积块210-1为例进行说明，包含在所述第一卷积块210-1中的所述卷积层211可以通过对所述输入图像进行卷积运算来生成特征图。并且，所述批次归一化层212可以通过对从所述卷积层211输出的所述特征图进行批次归一化运算来生成调整特征图。之后，所述激活层213可以通过对所述再调整特征图进行非线性运算来生成再调整特征图。与所述批次归一化运算相关的部分稍后将参照图3来进行详细说明。通过所述激活层213进行的所述非线性运算可以是ReLU运算，但不限于此。同时，所述激活层213可以不是必要存在的。
通过所述第一卷积块210-1生成第一再调整特征图后，所述第一再调整特征图将传递到第二卷积块210-2，并以与所述第一卷积块210-1相同的方式对所述被传递的第一再调整特征图进行所述卷积运算、所述批次归一化运算以及所述非线性运算。重复这些运算，通过第N卷积块210-N最终生成第n再调整特征图。
之后，所述输出层220可以对所述第n再调整特征图进行输出运算来生成CNN输出值。所述输出运算可以是用于分割、聚类(Clustering)或对象检测的运算，但不限于此。在通过所述输出层220生成所述CNN输出值后，所述损耗层230可以通过参照所述CNN输出值及其对应的GT来生成损耗。所述损耗可以用于通过反向传播损耗来学习输出层220、批次归一化层212以及卷积层211的至少一部分的参数。
上面已经了解了CNN200的结构，以下将对如何执行批次归一化运算进行说明。
图3为根据本发明的批次归一化运算的示图。
参照图3，根据本发明的所述批次归一化运算是(i)在各卷积块的所述卷积层211中，对包含在第k批次中的所述输入图像进行所述卷积运算来生成用于第k批次的特征图，(ii)(1)通过参照所述用于第k批次的特征图以及(2)额外参照第1至第(k-1)批次，即用于先前批次的先前特征图来生成用于第k批次的特征图的一个以上的调整均值及一个以上的调整方差，(iii)为了使所述调整均值及所述调整方差分别成为第一值及第二值，对所述第一批次特征图进行归一化。当然，在k为1的情况下，为了对所述用于第1批次的特征图进行归一化，可以只使用所述用于第1批次的特征图。此外，所述调整均值及所述调整方差可以在包含在所述特征图中的每个通道中分别生成。
通常地，如果每个批次的大小太小，则不能假定每个批次的特征图的值都遵循正态分布。但如本发明的图3所示，由于样本量的变大，通过额外参照先前的批次以进行批次归一化运算，可以假定特征图遵循正态分布或与正态分布等效的分布，因此可以生成优化的批次归一化结果。
上面已经说明了与传统批次归一化相比的本发明的特征，以下将具体说明如何参照先前批次的先前特征图。
通常地，可以通过均等地参照所述先前批次和所述第k批次来生成所述调整均值及所述调整方差。例如，如果对所述用于第8批次的特征图进行所述批次归一化运算的方法是参照第1批次至第7批次的所有先前特征图以及用于第8批次的特征图，与此同时，分别包含在所述第1批次至第8批中的所述输入图像中的每个特定像素相对应的特征值为{1、4、5、6、3、5、7、8}(此示例为了方便起见，假定一个批次只存在一个特征值，但实际上每个批次可能有多个特征值)时，则因为所有所述先前批次和当前批次(即第8批次)都分配有相同的权重，因此所述调整均值为4.875。
举个其他情况的例子，所述调整均值及所述调整方差可以参照分别配有不同权重的所述用于先前批次的特征图以及所述用于第k批次的特征图来生成。作为示例，假设参照所述用于第1批次至所述第7批次的先前特征图和所述用于第8批次的特征图，则所述用于第8批次的特征图被确定为最重要，所述批次归一化层212将2作为第一权重分配给所述用于第8批次的特征图，而所述用于第1批次的特征图被确定为不重要，所述批次归一化层212将0.5作为第二权重分配给所述用于第1批次的特征图。在分配了权重之后，所述批次归一化层212将分配了权重的特征值相加并且将总和除以8.5(考虑到权重，以6+0.5+2来计算)，在这种情况下，所述调整均值为5.47。这意味着所述第8批次相对应的特征值反映得较高，而所述第1批次相对应的特征值反映得较少。
在上面的示例中，仅显示了调整均值的示例，但是不言而喻，可以像上面的示例一样使用权重来生成调整方差。
图3所示虽描述为需要参照所有先前批次，但不限于此。因此，将说明在先前批次中，如何选择特定的先前批次，以用于生成所述用于第k批次的特征图的调整均值及调整方差。
首先，参照所述用于第k批次的特征图的方差，所述批次归一化层212可以确定从所述第1批次到所述第k-1批中选择的用于生成所述用于第k批次的特征图的所述调整均值及所述调整方差的批次的数量。即，由于所述批次归一化是为了防止每个层的输入的不平衡分布，因此如果所述用于第k批次的特征图的方差大于第一特定阈值，为了减少所述第k批次的不平衡，所述批次归一化层212可以在所述第1批次至所述第(k-1)批次中，选择更大的数量的用于生成所述用于第k批次的特征图的所述调整均值及所述调整方差的特定先前批次数量。相反，如果所述方差小于第一特定阈值，则由于所述第k批次的不平衡较小，因此所述批次归一化层212可以选择较少数量的特定先前批次。
此外，如果所述第k批次的大小大于第二特定阈值，则可以预测将产生良好的结果而无需进一步参照所述先前的批次。即，如果在所述第k批次中有足够的输入图像，大于第二特定阈值，则由于样本量大，可以假定每个批次的特征图遵循正态分布，因此，所述批次归一化层212可以允许引用较少数量的所述先前批次或仅引用所述第k批次。相反，如果在所述第k批次中的输入图像很少，小于所述第二特定阈值，则样本大小很小，以至于需要更多批次才能使所述用于第k批次的特征图跟随正态分布。因此，在这种情况下，所述批次归一化层212可以参照更具体的特定先前批次。
而且，所述批次归一化层212可以在生成所述第2批次至所述第(k-1)批次的各所述调整均值及所述调整方差的过程中，参照与所述第1批次至所述第(k-1)批次分别对应的所述先前特征图被使用的次数，在所述第1批次至所述第(k-1)批次中选择特定的先前批次，以用于生成所述用于第k批次的特征图的所述调整均值及调整方差。例如，所述批次归一化层212可以不选择频繁使用的批次或选择较少使用的批次。通过这种方式，用于批次归一化运算的所选批次可以是多种多样的。
与之不同地，所述批次归一化层212可以根据(i)参照与所述第1批次至所述第(k-1)批次相应对的各所述先前特征图的各均值是否在以第一值为参照而决定的第一特定范围内或(ii)参照与所述第1批次至第(k-1)批次相应对的各所述先前特征图的各均值是否在以第二值为参照而决定的第二特定范围内的信息，在所述第1批次至所述第(k-1)批次中，选择用于生成所述第k批次特征图的所述调整均值及所述调整方差的特定先前批次。
即，由于与所述输入图像相对应的特征图较少失衡，所述批次归一化为了生成所述调整均值及所述调整分差，选择特定先前批次特定先前特征图，但会选择(i)平均值在第一特定范围内的特定先前批次的特定先前特征图，或(ii)其方差在第二特定范围内的特定先前批次的特定先前特征图。通过这种方式，可以减少所述输入图像的不平衡。
同时，如果仅通过上述批次归一化运算来生成所述调整特征图，则由于输入至所述输出层220的所述调整特征图的线性特性，从所述输出层输出的所述CNN输出值可能受到限制。即，所述调整特征图的值接近所述第一值，使得所述CNN输出值可以收敛到接近第一范围的特定范围。所述调整特征图是通过进一步应用线性运算生成的，因此可以优化所述CNN输出值。
所述线性运算可以遵循以下公式：
调整特征图＝γ*AF+β
其中，γ是缩放参数，β是偏差参数，AF是已进行批次归一化运算的所述用于第k批次的特征图。
以下将对本发明的测试装置的结构进行说明。
使用包含各输入图像的各批次的特征值进行批次归一化的测试装置，所述批次包括第1至第m批次，所述测试装置包括以下组件。
作为参考，在以下描述中，为与学习过程有关的术语添加了短语“学习用”，为与测试过程有关的术语添加了短语“测试用”，以避免可能的混淆。
所述测试装置包括通信部110及处理器120。(1)学习装置指示所述CNN200的卷积层211执行以下指令：(i)获取第k学习用批次，其中k是从1到m'的整数，(ii)对包含在所述第k学习用批次中的训练图像分别进行卷积运算，生成用于第k学习用批次的特征图；(2)所述学习装置指示所述CNN200的批次归一化层212进行以下操作：(I)(i)当k为1的情况下，参照所述用于第k学习用批次的特征图，(ii)当k为2到m'的整数的情况下，参照先前生成的先前学习用特征图及所述用于第k学习用批次的特征图，生成所述用于第k学习用批次的特征图的学习用调整均值以及学习用调整方差，其中，所述先前学习用特征图及所述用于第k学习用批次的特征图是从所述第1至第(k-1)学习用批次中选择的，并被包含在先前学习用批次中的至少一部分当中，(II)参照所述学习用调整均值及所述学习用调整方差，对所述用于第k学习用批次的特征图进行卷积运算后生成学习用调整特征图；(3)所述学习装置指示所述CNN200的激活层213通过在所述学习用调整特征图上进行非线性运算来生成学习用再调整特征图，所述CNN200包括第1至第n卷积块，每个卷积块均包括所述卷积层、所述批次归一化层和所述激活层，若获取到所述第k学习用批次，则通过所述第1至所述第n卷积块，对所述第k学习用批次中包含的所述训练图像进行运算，生成所述学习用再调整特征图，当x是2至n的整数时，则将从第(x-1)卷积块输出的第(x-1)学习用再调整特征图输入至第x卷积块，使所述第x卷积块生成第x学习用再调整特征图，从而生成所述学习用再调整特征图；(4)所述学习装置指示所述CNN200的输出层220，对从所述第n卷积块输出的第n学习用再调整特征图进行输出运算来生成学习用CNN输出值；(5)所述学习装置指示所述CNN200的损耗层230，通过参照所述学习用的CNN输出值及其对应的GT，生成损耗，在通过反向传播所述损耗来学习所述CNN200的参数的状态下，所述通信部110获取所述第k测试用批次，其中k是1至m的整数。
之后，所述测试装置中包含的所述处理器120执行以下指令。
首先，所述处理器120指示所述CNN200的所述卷积层211对包含在所述第k测试用批次中的测试图像分别进行卷积运算，生成用于第k测试用批次的特征图。
其次，所述处理器120指示所述CNN200的批次归一化层212执行以下指令：(I)(i)当k为1的情况下，参照所述用于第k测试用批次的特征图，(ii)当k为2到m的整数的情况下，参照先前生成的先前测试用特征图及所述用于第k测试用批次的特征图，生成所述用于第k测试用批次的特征图的测试用调整均值以及测试用调整方差，其中，所述先前测试用特征图及所述用于第k测试用批次的特征图是从所述第1至所述第(k-1)测试用批次中选择的，并被包含在先前测试用批次中的至少一部分当中，(II)参照所述测试用调整均值及所述测试用调整方差，对所述用于第k测试用批次的特征图进行卷积运算后生成测试用调整特征图。
之后，所述处理器120指示所述CNN200的激活层213在所述测试用调整特征图上进行非线性运算来生成测试用再调整特征图，所述CNN包括第1至第n卷积块，每个卷积块均包括所述卷积层、所述批次归一化层和所述激活层，若获取到所述第k测试用批次，则通过所述第1至第n卷积块，对所述第k测试用批次中包含的所述测试图像进行所述运算，生成所述测试用再调整特征图，当x是2至n的整数时，则将从第(x-1)卷积块输出的第(x-1)测试用再调整特征图输入至第x卷积块，使所述第x卷积块生成第x测试用再调整特征图，从而生成所述测试用再调整特征图。
最后，所述处理器120指示所述CNN200的输出层220，对从所述第n卷积块输出的用于测试的第n测试用再调整特征图进行输出运算来生成测试用的CNN输出值。
在上述测试过程中，所述卷积层211将所述卷积运算应用于所述输入图像、所述批归次一化层212将批次归一化运算应用于所述特征图，所述激活层213将非线性运算应用于所述特征图的部分与学习阶段相似，因此省略其详细说明。
由于上面说明了所述测试装置的结构，因此将再次参照图2来说明所述计算装置和所述测试装置之间的关系。
当所述计算装置用作所述测试装置时，由于所述学习过程已结束，因此可以省略用于产生损耗和反向传播损耗的部件。因此，除了所述损耗产生部分，即，除了所述损耗层230之外，本发明用作测试装置的结构与计算装置的结构相同，因此，从所述N卷积块到所述输出层220的结构部分即为本发明所述测试装置的所述结构。
通过上述方法的在线批次归一化、在线学习及持续学习可以适用于移动装置，IoT装置等。此外，也可以出于军事目的或诸如无人机、机器人之类的其他装置而执行上述方法。
本发明技术方案的目的或对现有技术做出贡献的部分可以通过各种计算机手段以可执行程序命令的形式来实现，并且可以被记录到计算机可读记录介质中。计算机可读介质可以单独或组合的形式去包含程序命令、数据文件和数据结构。记录到介质的程序命令可以是为本发明内容专门设计的组件，或者可以是计算机软件领域的技术人员可以使用的。计算机可读记录介质包括磁性介质(例如硬盘，软盘和磁带)、光学介质(例如CD-ROM和DVD)、磁光介质(例如软盘)和硬件装置(例如ROM、RAM和闪存)设计用于存储和执行程序。程序命令不仅包括由编译器进行的机器语言代码，而且包括可由计算机执行的解释器等可以使用的高级代码。前述硬件装置可以起软件模块的作用，以执行本发明的动作，并且它们可以在相反的情况下进行相同的操作。硬件装置可以与诸如ROM和RAM之类的存储器组合以存储程序命令，并且可以包括诸如CPU或GPU之类的处理器，以执行存储在存储器中的命令，并且还包括用于与外部装置发送和接收信号的通信部分。
如上所述，已经通过诸如详细的部件、受限的实施例和附图的特定事项对本发明进行了说明。但，应当理解的是，本领域内技术人员可以在不脱离本发明的精神和范围的情况下进行各种改变和修改。
因此，本发明的思想一定不限于上述的实施例，并且权利要求书以及包括与权利要求书等同或等同的变型在内的所有内容都属于本发明的保护范围内。

Claims (24)

1.一种使用包含各输入图像的各批次的特征值进行批次归一化的方法，所述批次包括第1至第m批次，其中，包括以下步骤：
(a)计算装置指示卷积神经网络(CNN)的卷积层进行以下操作：(i)获取第k批次，其中k是从1到m的整数，(ii)对包含在所述第k批次中的所述输入图像分别进行卷积运算，生成用于第k批次的特征图；以及
(b)所述计算装置指示所述CNN的批次归一化层进行以下操作：(I)(i)当k为1的情况下，参照所述用于第k批次的特征图，(ii)当k为2到m的整数的情况下，参照先前生成的先前特征图及所述用于第k批次的特征图，生成所述用于第k批次的特征图的一个以上的调整均值以及一个以上的调整方差，其中，所述先前特征图及所述用于第k批次的特征图是从所述第1至第(k-1)批次中选择的，且至少被包含于一部分先前批次中，(II)参照所述调整均值及所述调整方差，对所述用于第k批次的特征图进行卷积运算后生成调整特征图；
其中在所述步骤(b)中，所述批次归一化层通过参照所述用于第k批次的特征图的方差，在所述第1批次至所述第(k-1)批次中，确定被选择的所述先前批次的数量，以生成所述调整均值及所述调整方差；以及
其中，如果所述用于第k批次的特征图的方差小于特定阈值，则所述批次归一化层进行以下操作：(i)仅参照所述用于第k批次的特征图，或(ii)参照所述用于第k批次的特征图和一个以上用于特定先前批次的特定先前特征图来生成所述调整均值以及所述调整方差，其中，所述特定先前批次是在第1至(k-1)个中选择的批次，使得特定的先前批次的数量与(k-1)的比率小于特定的阈值比率。
2.根据权利要求1所述的方法，其中，还包括以下步骤：
(c)所述计算装置指示所述CNN的激活层通过在所述调整特征图上进行非线性运算来生成再调整特征图。
3.根据权利要求2所述的方法，其中，所述CNN包括第1至第n卷积块，所述第1至第n卷积块中的每一个均包括所述卷积层、所述批次归一化层和所述激活层；
若获取到所述第k批次，则通过所述第1至所述第n卷积块，对所述第k批次中包含的所述输入图像进行运算，生成所述再调整特征图；
当x是2至n的整数时，则将从第(x-1)个卷积块输出的第(x-1)个再调整特征图输入至第x卷积块，使所述第x卷积块生成第x再调整特征图，从而生成所述再调整特征图。
4.根据权利要求3所述的方法，其中，还包括以下步骤：
(d)所述计算装置指示所述CNN的输出层，对从所述第n个卷积块输出的第n个再调整特征图进行输出运算来生成CNN输出值；以及
(e)所述计算装置指示损耗层，通过参照所述CNN输出值及其对应的GT生成损耗，并通过反向传播所述损耗来学习所述CNN的参数。
5.根据权利要求1所述的方法，其中，所述批次归一化运算是对所述用于第k个批次的特征图中包含的值进行归一化的运算，以使得所述调整均值和所述调整方差分别为第一值和第二值。
6.根据权利要求1所述的方法，其中，在所述步骤(b)中，所述批次归一化层通过参照包含在所述第k批次中的所述输入图像的数量，来确定特定先前批次数量与(k-1)的比率，其中，用于生成所述调整均值和所述调整方差的所述特定的先前批次是从所述第1至所述第(k-1)批次中选择的。
7.根据权利要求1所述的方法，其中，在所述步骤(b)中，所述批次归一化层进行以下操作：(i)参照分配了第一权重的所述用于第k批次的特征图以及(ii)参照所述先前特征图，生成所述调整均值及所述调整方差，其中，所述先前特征图被分配了一个以上的第二权重，并被包含在所述第1批次至所述第(k-1)批次中的至少一部分批次当中。
8.根据权利要求1所述的方法，其中，在所述步骤(b)中，所述批次归一化层在生成所述第2批次至所述第(k-1)批次各自的调整均值及调整方差的期间，参照与各所述第1批次至所述第(k-1)批次相对应的各所述先前特征图被使用的次数，在所述第1批次至所述第(k-1)批次中，选择用于生成所述用于第k批次的特征图的所述调整均值及所述调整方差的特定先前批次。
9.根据权利要求1所述的方法，其中，在所述步骤(b)中，所述批次归一化层进行以下操作：(i)参照与各所述第1批次至第(k-1)批次相应对的各所述先前特征图的各均值是否在以第一值为参照而决定的第一特定范围内或(ii)参照与各所述第1批次至第(k-1)批次相应对的各所述先前特征图的各均值是否在以第二值为参照而决定的第二特定范围内，在所述第1批次至所述第(k-1)批次中，选择用于生成所述用于第k批次的特征图的所述调整均值及所述调整方差的特定先前批次。
10.根据权利要求1所述的方法，其中，在所述步骤(b)中，所述批次归一化层通过将所述批次归一化运算应用于所述用于第k批次的特征图后，在其上附加线性运算，生成所述用于第k批次的调整特征图，所述线性运算的数学式为：
调整特征图＝*AF+
其中，是缩放参数，是偏差参数，AF是已进行批次归一化运算的所述用于第k批次的特征图。
11.一种使用包含各测试图像的各批次的特征值进行批次归一化的测试方法，所述批次包括第1至第m批次，其中，包括以下步骤：
(a)(1)学习装置指示卷积神经网络(CNN)的卷积层进行以下操作：(i)获取第k学习用批次，其中k是从1到m'的整数，(ii)对包含在所述第k学习用批次中的训练图像分别进行卷积运算，生成用于第k学习用批次的特征图；(2)所述学习装置指示所述CNN的批次归一化层进行以下操作：(I)(i)当k为1的情况下，参照所述用于第k学习用批次的特征图，(ii)当k为2到m'的整数的情况下，参照先前生成的先前学习用特征图及所述用于第k学习用批次的特征图，生成所述用于第k学习用批次的特征图的一个以上的学习用调整均值以及一个以上的学习用调整方差，其中，所述先前学习用特征图及所述用于第k学习用批次的特征图是从所述第1至第(k-1)学习用批次中选择的，并被包含在先前学习用批次中的至少一部分当中，(II)参照所述学习用调整均值及所述学习用调整方差，对所述用于第k学习用批次的特征图进行卷积运算后生成学习用调整特征图，其中，所述批次归一化层通过参照所述用于第k学习用批次的特征图的方差，在所述第1学习用批次至所述第(k-1)学习用批次中，确定被选择的所述先前学习用批次的数量，以生成所述学习用调整均值及所述学习用调整方差；以及其中，如果所述用于第k学习用批次的特征图的方差小于特定阈值，则所述批次归一化层进行以下操作：(i)仅参照所述用于第k学习用批次的特征图，或(ii)参照所述用于第k学习用批次的特征图和一个以上用于特定先前学习用批次的特定先前特征图来生成所述学习用调整均值以及所述学习用调整方差，其中，所述特定先前学习用批次是在第1至(k-1)个中选择的学习用批次，使得特定的先前学习用批次的数量与(k-1)的比率小于特定的阈值比率；(3)所述学习装置指示所述CNN的激活层通过在所述学习用调整特征图上进行非线性运算来生成学习用再调整特征图，所述CNN包括第1至第n个卷积块，每个卷积块均包括所述卷积层、所述批次归一化层和所述激活层，若获取到所述第k学习用批次，则通过所述第1至所述第n卷积块，对所述第k学习用批次中包含的所述训练图像进行运算，生成所述学习用再调整特征图，当x是2至n的整数时，则将从第(x-1)个卷积块输出的第(x-1)学习用再调整特征图输入至第x卷积块，使所述第x卷积块生成第x学习用再调整特征图，从而生成所述学习用再调整特征图；(4)所述学习装置指示所述CNN的输出层，对从所述第n个卷积块输出的第n学习用再调整特征图进行输出运算来生成所述学习用CNN输出值；(5)所述学习装置指示所述CNN的损耗层，通过参照所述学习用CNN输出值及其对应的GT生成损耗，在通过反向传播所述损耗来学习所述CNN的参数的状态下，测试装置指示所述CNN的卷积层进行以下操作：(i)获取第k测试用批次，其中k是从1到m的整数，(ii)对包含在所述第k测试用批次中的测试图像分别进行卷积运算，生成用于第k测试用批次的特征图；
(b)所述测试装置指示所述CNN的所述批次归一化层进行以下操作：(I)(i)当k为1的情况下，参照所述用于第k测试用批次的特征图，(ii)当k为2到m的整数的情况下，参照先前生成的先前测试用特征图及所述用于第k测试用批次的特征图，生成所述用于第k测试用批次的特征图的一个以上的测试用调整均值以及一个以上的测试用调整方差，其中，所述先前测试用特征图及所述用于第k测试用批次的特征图是从所述第1至第(k-1)测试用批次中选择的，并被包含在先前测试用批次中的至少一部分当中，(II)参照所述测试用调整均值及所述测试用调整方差，对所述用于第k测试用批次的特征图进行卷积运算后生成测试用调整特征图，其中，所述批次归一化层通过参照所述用于第k测试用批次的特征图的方差，在所述第1测试用批次至所述第(k-1)测试用批次中，确定被选择的所述先前测试用批次的数量，以生成所述测试用调整均值及所述测试用调整方差；以及其中，如果所述用于第k测试用批次的特征图的方差小于特定阈值，则所述批次归一化层进行以下操作：(i)仅参照所述用于第k测试用批次的特征图，或(ii)参照所述用于第k测试用批次的特征图和一个以上用于特定先前测试用批次的特定先前特征图来生成所述测试用调整均值以及所述测试用调整方差，其中，所述特定先前测试用批次是在第1至(k-1)个中选择的测试用批次，使得特定的先前测试用批次的数量与(k-1)的比率小于特定的阈值比率；
(c)所述测试装置指示所述CNN的所述激活层通过在所述测试用调整特征图上进行非线性运算来生成测试用再调整特征图，所述CNN包括第1至第n个卷积块，每个卷积块均包括所述卷积层、所述批次归一化层和所述激活层，若获取到所述第k测试用批次，则通过所述第1至第n卷积块，对所述第k测试用批次中包含的所述测试图像进行运算，生成所述测试用再调整特征图，当x是2至n的整数时，则将从第(x-1)个卷积块输出的第(x-1)测试用再调整特征图输入至第x卷积块，使所述第x卷积块生成第x测试用再调整特征图，从而生成所述测试用再调整特征图；以及
(d)所述测试装置指示所述CNN的所述输出层，对从所述第n个卷积块输出的用于测试的第n测试用再调整特征图进行输出运算来生成测试用CNN输出值。
12.一种使用包含各输入图像的各批次的特征值进行批次归一化的计算装置，所述批次包括第1至第m批次，其中，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，被配置为执行以下指令：(1)指示卷积神经网络(CNN)的卷积层对包含在第k批次中的所述输入图像分别进行卷积运算，生成用于第k批次的特征图，其中k是从1到m的整数，以及(2)指示所述CNN的批次归一化层执行以下指令：(I)(i)当k为1的情况下，参照所述用于第k批次的特征图，(ii)当k为2到m的整数的情况下，参照先前生成的先前特征图及所述用于第k批次的特征图，生成所述用于第k批次的特征图的一个以上的调整均值以及一个以上的调整方差，其中，所述先前特征图及所述用于第k批次的特征图是从所述第1至第(k-1)批次中选择的，并被包含在先前批次的至少一部分当中，(II)参照所述调整均值及所述调整方差，对所述用于第k批次的特征图进行卷积运算后生成调整特征图，
其中，所述批次归一化层通过参照所述用于第k批次的特征图的方差，在所述第1批次至所述第(k-1)批次中，确定被选择的所述先前批次的数量，以生成所述调整均值及所述调整方差；以及
其中，如果所述用于第k批次的特征图的方差小于特定阈值，则所述批次归一化层进行以下操作：(i)仅参照所述用于第k批次的特征图，或(ii)参照所述用于第k批次的特征图和一个以上用于特定先前批次的特定先前特征图来生成所述调整均值以及所述调整方差，其中，所述特定先前批次是在第1至(k-1)个中选择的批次，使得特定的先前批次的数量与(k-1)的比率小于特定的阈值比率。
13.根据权利要求12所述的计算装置，其中，所述处理器还执行以下指令：
(3)指示所述CNN的激活层通过在所述调整特征图上进行非线性运算来生成再调整特征图。
14.根据权利要求13所述的计算装置，其中，所述CNN包括第1至第n卷积块，每个卷积块均包括所述卷积层、所述批次归一化层和所述激活层；
若获取到所述第k批次，则通过所述第1至第n卷积块，对所述第k批次中包含的所述输入图像进行运算，生成所述再调整特征图；
当x是2至n的整数时，则将从第(x-1)卷积块输出的第(x-1)再调整特征图输入至第x卷积块，使所述第x卷积块生成第x再调整特征图，从而生成所述再调整特征图。
15.根据权利要求14所述的计算装置，其中，所述处理器还执行以下指令：
(4)指示所述CNN的输出层，对从所述第n卷积块输出的第n再调整特征图进行输出运算来生成CNN输出值；以及
(5)指示损耗层，通过参照所述CNN输出值及其对应的GT生成损耗，并通过反向传播所述损耗来学习所述CNN的参数。
16.根据权利要求12所述的计算装置，其中，所述批次归一化运算是对所述用于第k批次的特征图中包含的值进行归一化的运算，以使得所述调整均值和所述调整方差分别为第一值和第二值。
17.根据权利要求12所述的计算装置，其中，在所述指令(2)中，所述批次归一化层通过参照所述用于第k批次的特征图的方差，在所述第1批次至所述第(k-1)批次中，确定被选择的所述先前批次的数量，用以生成所述调整均值及所述调整方差。
18.根据权利要求12所述的计算装置，其中，如果所述用于第k批次的特征图的方差小于特定阈值，则所述批次归一化层执行以下指令：(i)仅参照所述用于第k批次的特征图，或(ii)参照所述用于第k批次的特征图和一个以上用于特定先前批次的特定先前特征图来生成所述调整均值以及所述调整方差，其中，所述特定先前批次是在所述第1至(k-1)批次中选择的，以使所述特定先前批次的数量与(k-1)的比率小于特定阈值比率。
19.根据权利要求12所述的计算装置，其中，在指令(2)中，所述批次归一化层通过参照包含在所述第k批次中的所述输入图像的数量，来确定特定先前批次数量与(k-1)的比率，其中，用于生成所述调整均值和所述调整方差的所述特定先前批次是从所述第1至第(k-1)批次中选择的。
20.根据权利要求12所述的计算装置，其中，在所述指令(2)中，所述批次归一化层执行以下指令：(i)参照分配了第一权重的所述用于第k批次的特征图，以及(ii)参照所述先前特征图，生成所述调整均值及所述调整方差，其中，所述先前特征图被分配了一个以上的第二权重，并被包含在所述第1批次至所述第(k-1)先前批次的至少一部分批次当中。
21.根据权利要求12所述的计算装置，其中，在所述指令(2)中，所述批次归一化层在生成所述第2批次至所述第(k-1)批次各自的调整均值及调整方差的期间，参照与所述第1批次至所述第(k-1)批次相对应的各所述先前特征图被使用的次数，在所述第1批次至所述第(k-1)批次中，选择特定先前批次，以生成所述用于第k批次的特征图的所述调整均值及所述调整方差。
22.根据权利要求12所述的计算装置，其中，在所述指令(2)中，所述批次归一化层执行以下指令：(i)参照各所述第1批次至所述第(k-1)批次相应对的所述先前特征图的各均值是否在第一特定范围内存在，其中，所述第一特定范围是参考第一值来决定的，或(ii)参照各所述第1批次至所述第(k-1)批次相应对的所述先前特征图的各均值是否在第二特定范围内存在，其中，所述第二特定范围是参考第二值来决定的，并通过(i)或(ii)的信息，在所述第1批次至所述第(k-1)批次中，选择特定先前批次，以生成所述用于第k批次的特征图的所述调整均值及所述调整方差。
23.根据权利要求12所述的计算装置，其中，在所述指令(2)中，所述批次归一化层通过将所述批次归一化运算应用于所述用于第k批次的特征图后，在其上附加线性运算，生成所述用于第k批次的调整特征图，所述线性运算的数学式为：
调整特征图＝*AF+
其中，是缩放参数，是偏差参数，AF是已进行批次归一化运算的所述用于第k批次的特征图。
24.一种使用包含各测试图像的各批次的特征值进行批次归一化的测试装置，所述批次包括第1至第m批次，其中，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，被配置为执行以下指令：(1)学习装置指示卷积神经网络(CNN)的卷积层执行以下指令：(i)获取第k学习用批次，其中k是从1到m'的整数，(ii)对包含在所述第k学习用批次中的训练图像分别进行卷积运算，生成用于第k学习用批次的特征图；(2)所述学习装置指示所述CNN的批次归一化层进行以下操作：(I)(i)当k为1的情况下，参照所述用于第k学习用批次的特征图，(ii)当k为2到m'的整数的情况下，参照先前生成的先前学习用特征图及所述用于第k学习用批次的特征图，生成所述用于第k学习用批次的特征图的学习用调整均值以及学习用调整方差，其中，所述先前学习用特征图及所述用于第k学习用批次的特征图是从所述第1至第(k-1)学习用批次中选择的，并被包含在先前学习用批次中的至少一部分当中，(II)参照所述学习用调整均值及所述学习用调整方差，对所述用于第k学习用批次的特征图进行卷积运算后生成学习用调整特征图，其中，所述批次归一化层通过参照所述用于第k学习用批次的特征图的方差，在所述第1学习用批次至所述第(k-1)学习用批次中，确定被选择的所述先前学习用批次的数量，以生成所述学习用调整均值及所述学习用调整方差；以及其中，如果所述用于第k学习用批次的特征图的方差小于特定阈值，则所述批次归一化层进行以下操作：(i)仅参照所述用于第k学习用批次的特征图，或(ii)参照所述用于第k学习用批次的特征图和一个以上用于特定先前学习用批次的特定先前特征图来生成所述学习用调整均值以及所述学习用调整方差，其中，所述特定先前学习用批次是在第1至(k-1)个中选择的学习用批次，使得特定的先前学习用批次的数量与(k-1)的比率小于特定的阈值比率；(3)所述学习装置指示所述CNN的激活层通过在所述学习用调整特征图上进行非线性运算来生成学习用再调整特征图，所述CNN包括第1至第n卷积块，每个卷积块均包括所述卷积层、所述批次归一化层和所述激活层，若获取到所述第k学习用批次，则通过所述第1至所述第n卷积块，对所述第k学习用批次中包含的所述训练图像进行运算，生成所述学习用再调整特征图，当x是2至n的整数时，则将从第(x-1)卷积块输出的第(x-1)学习用再调整特征图输入至第x卷积块，使所述第x卷积块生成第x学习用再调整特征图，从而生成所述学习用再调整特征图；(4)所述学习装置指示所述CNN的输出层，对从所述第n卷积块输出的第n学习用再调整特征图进行输出运算来生成学习用的CNN输出值；(5)所述学习装置指示所述CNN的损耗层，通过参照所述学习用的CNN输出值及其对应的GT，生成损耗，在通过反向传播所述损耗来学习所述CNN的参数的状态下，执行以下指令：(A)指示所述CNN的所述卷积层对包含在所述第k测试用批次中的测试图像分别进行卷积运算，生成用于第k测试用批次的特征图；(B)指示所述CNN的所述批次归一化层执行以下指令：(I)(i)当k为1的情况下，参照所述用于第k测试用批次的特征图，(ii)当k为2到m的整数的情况下，参照先前生成的先前测试用特征图及所述用于第k测试用批次的特征图，生成所述用于第k测试用批次的特征图的测试用调整均值以及测试用调整方差，其中，所述先前测试用特征图及所述用于第k测试用批次的特征图是从所述第1至所述第(k-1)测试用批次中选择的，并被包含在先前测试用批次中的至少一部分当中，(II)参照所述测试用调整均值及所述测试用调整方差，对所述用于第k测试用批次的特征图进行卷积运算后生成测试用调整特征图，其中，所述批次归一化层通过参照所述用于第k测试用批次的特征图的方差，在所述第1测试用批次至所述第(k-1)测试用批次中，确定被选择的所述先前测试用批次的数量，以生成所述测试用调整均值及所述测试用调整方差；以及其中，如果所述用于第k测试用批次的特征图的方差小于特定阈值，则所述批次归一化层进行以下操作：(i)仅参照所述用于第k测试用批次的特征图，或(ii)参照所述用于第k测试用批次的特征图和一个以上用于特定先前测试用批次的特定先前特征图来生成所述测试用调整均值以及所述测试用调整方差，其中，所述特定先前测试用批次是在第1至(k-1)个中选择的测试用批次，使得特定的先前测试用批次的数量与(k-1)的比率小于特定的阈值比率；(C)指示所述CNN的所述激活层通过在所述测试用调整特征图上进行非线性运算来生成测试用再调整特征图，所述CNN包括第1至第n卷积块，每个卷积块均包括所述卷积层、所述批次归一化层和所述激活层，若获取到所述第k测试用批次，则通过所述第1至第n卷积块，对所述第k测试用批次中包含的所述测试图像进行所述运算，生成所述测试用再调整特征图，当x是2至n的整数时，则将从第(x-1)卷积块输出的第(x-1)测试用再调整特征图输入至第x卷积块，使所述第x卷积块生成第x测试用再调整特征图，从而生成所述测试用再调整特征图；以及(D)指示所述CNN的所述输出层，对从所述第n卷积块输出的第n测试用再调整特征图进行输出运算来生成测试用的CNN输出值。
CN202010063590.8A 2019-01-23 2020-01-20 在线批次归一化、在线学习及持续学习的方法和装置 Active CN111476082B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/255,446 2019-01-23
US16/255,446 US10325185B1 (en) 2019-01-23 2019-01-23 Method and device for online batch normalization, on-device learning, and continual learning applicable to mobile devices or IOT devices additionally referring to one or more previous batches to be used for military purpose, drone or robot, and testing method and testing device using the same

Publications (2)

Publication Number Publication Date
CN111476082A CN111476082A (zh) 2020-07-31
CN111476082B true CN111476082B (zh) 2023-07-04

Family

ID=66826023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010063590.8A Active CN111476082B (zh) 2019-01-23 2020-01-20 在线批次归一化、在线学习及持续学习的方法和装置

Country Status (5)

Country Link
US (1) US10325185B1 (zh)
EP (1) EP3686810A1 (zh)
JP (1) JP6916549B2 (zh)
KR (1) KR102316593B1 (zh)
CN (1) CN111476082B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387740B2 (en) * 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
US11631163B2 (en) * 2020-02-11 2023-04-18 Samsung Electronics Co., Ltd. Mobile data augmentation engine for personalized on-device deep learning system
KR102209121B1 (ko) * 2020-08-24 2021-01-28 클라우드브릭주식회사 딥러닝 머신의 신뢰도 판단 방법
CN117377984A (zh) * 2021-09-01 2024-01-09 英特尔公司 用于视频理解应用中的深度学习的动态时间归一化

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107278310A (zh) * 2015-01-28 2017-10-20 谷歌公司 批次归一化层
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN108140141A (zh) * 2015-08-15 2018-06-08 易享信息技术有限公司 采用3d批归一化的三维(3d)卷积
WO2018148526A1 (en) * 2017-02-10 2018-08-16 Google Llc Batch renormalization layers

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05346915A (ja) * 1992-01-30 1993-12-27 Ricoh Co Ltd 学習機械並びにニューラルネットワークおよびデータ分析装置並びにデータ分析方法
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
US10970617B2 (en) * 2015-08-21 2021-04-06 Institute Of Automation Chinese Academy Of Sciences Deep convolutional neural network acceleration and compression method based on parameter quantification
US11074492B2 (en) * 2015-10-07 2021-07-27 Altera Corporation Method and apparatus for performing different types of convolution operations with the same processing elements
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US9904874B2 (en) * 2015-11-05 2018-02-27 Microsoft Technology Licensing, Llc Hardware-efficient deep convolutional neural networks
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
CN108475331B (zh) * 2016-02-17 2022-04-05 英特尔公司 用于对象检测的方法、装置、系统和计算机可读介质
KR101899101B1 (ko) * 2016-06-01 2018-09-14 서울대학교 산학협력단 인공 신경망 기반 예측 모델 생성 장치 및 방법
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
US10387740B2 (en) * 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
US20180107926A1 (en) * 2016-10-19 2018-04-19 Samsung Electronics Co., Ltd. Method and apparatus for neural network quantization
US11321609B2 (en) * 2016-10-19 2022-05-03 Samsung Electronics Co., Ltd Method and apparatus for neural network quantization
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
US11392825B2 (en) * 2017-01-09 2022-07-19 Samsung Electronics Co., Ltd. Method and algorithm of recursive deep learning quantization for weight bit reduction
US20180211403A1 (en) * 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
US10127495B1 (en) * 2017-04-14 2018-11-13 Rohan Bopardikar Reducing the size of a neural network through reduction of the weight matrices
CN110612537A (zh) * 2017-05-02 2019-12-24 柯达阿拉里斯股份有限公司 用于批归一化的循环高速路网络的系统和方法
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
US10728553B2 (en) * 2017-07-11 2020-07-28 Sony Corporation Visual quality preserving quantization parameter prediction with deep neural network
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
KR20190034985A (ko) * 2017-09-25 2019-04-03 삼성전자주식회사 인공 신경망의 양자화 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107278310A (zh) * 2015-01-28 2017-10-20 谷歌公司 批次归一化层
CN108140141A (zh) * 2015-08-15 2018-06-08 易享信息技术有限公司 采用3d批归一化的三维(3d)卷积
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
WO2018148526A1 (en) * 2017-02-10 2018-08-16 Google Llc Batch renormalization layers

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift;SERGEY IOFFE et al.;《Computer Science》;20150302 *

Also Published As

Publication number Publication date
US10325185B1 (en) 2019-06-18
KR102316593B1 (ko) 2021-10-25
JP2020119532A (ja) 2020-08-06
EP3686810A1 (en) 2020-07-29
JP6916549B2 (ja) 2021-08-11
KR20200091782A (ko) 2020-07-31
CN111476082A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN111476082B (zh) 在线批次归一化、在线学习及持续学习的方法和装置
CN111507501B (zh) 通过强化学习来执行个性化路径规划的方法及装置
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
CN111507150B (zh) 利用基于深度神经网络的多重图像块组合识别人脸的方法
KR102337358B1 (ko) 모바일 장치 또는 소형 네트워크에 적용 가능한 하드웨어를 최적화하는데 사용될 수 있는 roi를 풀링하기 위하여, 마스킹 파라미터를 이용하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
EP3686849A1 (en) Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle gan capable of being applied to domain adaptation
KR102337367B1 (ko) 원거리 검출 또는 군사 목적을 위해, 이미지 컨캐터네이션을 이용한, cnn 기반의 하드웨어 최적화가 가능한 객체 검출기를 학습하는 방법 및 학습 장치, 이를 이용한 테스팅 방법 및 테스팅 장치
CN111462131A (zh) 一种注意力驱动图像分割的方法和设备
CN111488978B (zh) 为了元学习用于调整残差网络的方法及装置
US11113574B1 (en) Methods for performing self-supervised learning of deep-learning based detection network by using deep Q-network and devices using the same
KR102320995B1 (ko) 객체의 스케일에 따라 모드 전환이 가능한 cnn 기반의 감시용 객체 검출기의 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
JP6998067B2 (ja) 適応的学習率でニューラルネットワークを学習する方法及び装置、これを利用したテスト方法及び装置
CN111488979B (zh) 设备上持续学习用于分析输入数据的神经网络的方法及装置
KR20200091323A (ko) 핵심성과지표와 같은 사용자 요구 사항에 적합한 타겟 객체 예측 네트워크를 이용한, cnn 기반의 변동에 강인한 객체 검출기를 학습하는 방법 및 학습 장치, 및 이를 이용한 테스팅 방법 및 테스팅 장치
KR102252155B1 (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 hd 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
EP3686809A1 (en) Method and device for transforming cnn layers to optimize cnn parameter quantization to be used for mobile devices or compact networks with high precision via hardware optimization
EP3913530B1 (en) Learning method and learning device for updating object detector, based on deep learning, of autonomous vehicle to adapt the object detector to driving circumstance, and updating method and updating device using the same
KR102375278B1 (ko) 사진 스타일 변환을 사용하여 런타임 입력 변환에 의해 실제 세계에서 사용되는 가상 세계에서 학습된 cnn을 허용하기 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102286761B1 (ko) 컨벌루션 연산의 무결성을 검증하기 위하여 테스트 패턴을 생성하고, 상기 테스트 패턴 중에서 최적화 테스트 패턴을 선택하여, 극도의 상황에서 결함 허용 능력 및 흔들림에 강인한 성질을 향상시키는 방법 및 장치
KR102349969B1 (ko) 스마트폰, 드론, 선박 혹은 군사적 목적을 위한, 트레이닝 이미지의 최적화 샘플링에 의해 입력 데이터를 분석하는 뉴럴 네트워크의 온디바이스 연속 학습 방법 및 장치, 그리고, 이를 이용한 테스트 방법 및 장치
CN115298671A (zh) 一种使用子内核搜索模块优化设备上神经网络模型的方法和装置
EP3686783A1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US20220207401A1 (en) Optimization device, optimization method, and program
KR102313605B1 (ko) 자율주행 차량 레벨4를 충족하기 위해 영역의 클래스에 따라 모드를 전환하기 위하여 그리드 생성기를 이용하는 뉴럴 네트워크 연산 방법 및 이를 이용한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant