CN111476341A - 转换cnn的卷积层的方法及装置 - Google Patents

转换cnn的卷积层的方法及装置 Download PDF

Info

Publication number
CN111476341A
CN111476341A CN201911294584.7A CN201911294584A CN111476341A CN 111476341 A CN111476341 A CN 111476341A CN 201911294584 A CN201911294584 A CN 201911294584A CN 111476341 A CN111476341 A CN 111476341A
Authority
CN
China
Prior art keywords
kth
scaling
value
layer
convolutional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911294584.7A
Other languages
English (en)
Other versions
CN111476341B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
呂东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111476341A publication Critical patent/CN111476341A/zh
Application granted granted Critical
Publication of CN111476341B publication Critical patent/CN111476341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30025—Format conversion instructions, e.g. Floating-Point to Integer, decimal conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

本发明涉及转换CNN的卷积层的方法及装置，该CNN包括m个卷积块，该方法的特征在于，包括如下步骤：步骤a，计算装置若获取到用于确定缩放参数的输入图像，则参照(i)一个以上第k初始权重，(ii)(ii‑1)在k为1的情况下，上述输入图像，(ii‑2)在k为2至m的情况下，第k‑1特征图，及(iii)各个第k缩放参数，来生成一个以上第k量化损失值，k为1到m的整数；步骤b，上述计算装置参照上述第k量化损失值，在上述第k缩放参数中确定各个第k优化缩放参数；步骤c，上述计算装置参照上述第k优化缩放参数，生成第k缩放层及第k反缩放层；以及步骤d，上述计算装置将上述第k初始卷积层转换为第k集成卷积层。

Description

转换CNN的卷积层的方法及装置
技术领域
本发明涉及转换CNN(Convolutional Neural Network；卷积神经网络)的卷积层的方法及装置。
背景技术
深度CNN(Deep Convolutional Neural Network or Deep CNN)是深度学习领域中所取得的耀眼发展成果的核心。为了解决文字识别问题，尽管90年代开始已经在使用CNN，但近年开始才广泛应用于机器学习(Machine Learning)领域。例如，2012年，CNN在图像识别比赛(ImageNet Large Scale Visual Recognition Challenge)中击败了其他竞争对手夺得了冠军。之后，CNN在机器学习领域中成为了非常有用的工具。
但是，由于存在深度学习算法需要32位浮点运算这种偏见，因此被看作是移动设备无法执行包括深度学习算法的程序。
但是，经实验已证明，所需的计算性能小于32位浮点运算的10位定点运算已足以满足深度学习算法。因此，已经进行了许多尝试去提供一种在资源受限的装置即移动设备中对于深度学习算法使用10位定点运算的方法。
尽管已经公开了将以32位浮点表示的数量化为10位定点的各种成功的方法，但有个重要的问题。在多个通道所包含的值变化的情况下，有可能忽视通道中包含小的值的一个以上特定通道的值。这在图5中可以看出。
图5为示出值较多的其他多个通道的值的例示图。
参照图5，可知第1卷积块210-1输出的第1特征图的第1通道所包含的值为(0.64，0.65，0.63)，第2通道所包含的值为(0.002，0.001，0.0019)。根据现有技术，在量化第1通道的值及第2通道的值的情况下，用于量化的单位值根据第1通道或第2通道来确定。
在单位值根据第1通道来确定的情况下，单位值为了表示第1通道所包含的值而变大。而由于单位值比第2通道所包含的值大很多，因此第2通道所包含的值被量化为0。相反，在单位值根据第2通道来确定的情况下，单位值为了表示第2通道所包含的值而变小。那么由于单位值过小而无法正常量化第1通道所包含的值。
若忽略特定通道的值或没有如上那样适当地量化特定通道的值，则CNN的输出可能会失真。
发明内容
本发明的目的在于，解决如上所述的问题。
本发明的目的在于，提供一种为了适当的反映输出值中的包含小值的特定通道的值，以平坦化至少一个特征图所包含的值的方式转换CNN层的方法。
解决问题的方法
用于实现上述本发明的目的并用于实现后述的本发明特征性效果的本发明的特征性构成如下。
根据本发明的一实施方式，提供一种转换CNN的卷积层的方法，该CNN包括m个卷积块，该方法的特征在于，包括如下步骤：步骤a，计算装置若获取到用于确定缩放参数的输入图像，则参照(i)第k卷积块所包含的第k初始卷积层的一个以上第k初始权重，(ii)(ii-1)在k为1的情况下，上述输入图像，(ii-2)在k为2至m的情况下，由第k-1卷积块输出的与上述输入图像相对应的第k-1特征图，及(iii)(iii-1)在k为1的情况下，与上述输入图像所包含的各个通道相对应的各个第k缩放参数，及(iii-2)在k为2至m的情况下，与上述第k-1特征图所包含的各个通道相对应的各个第k缩放参数，来生成一个以上第k量化损失值，k为1到m的整数；步骤b，上述计算装置参照上述第k量化损失值，在上述第k缩放参数中确定与上述第k-1特征图所包含的上述各个通道相对应的各个第k优化缩放参数；步骤c，上述计算装置参照上述第k优化缩放参数，生成第k缩放层及第k反缩放层；以及步骤d，上述计算装置(i)在k为1的情况下，使用上述第k缩放层，将上述第k初始卷积层转换为第k集成卷积层，(ii)在k为2至m的整数的情况下，使用上述第k缩放层及上述第k-1反缩放层，将上述第k初始卷积层转换为上述第k集成卷积层。
在一实施例中，提供一种如下方法，其特征在于，上述步骤a包括：上述计算装置还参照(iv)BW值及(v)第k个FL值，生成上述第k量化损失值，上述BW值为为了以二进制数表示上述CNN所包含的权重及特征图所包含的值而使用的位的数量，上述第k个FL值为(i)上述第k初始卷积层的上述第k初始权重、(ii)k为2至m的情况下，上述第k-1特征图所包含的值、及在k为1的情况下，上述输入图像所包含的值的LSB所表示的数的指数的绝对值。
在一实施例中，提供一种如下方法，其特征在于，在上述步骤a中，
Figure BDA0002320153100000031
根据上述数学式生成上述第k量化损失值，在上述数学式中θp包括(i)在k为2至m的情况下，上述第k-1特征图及上述第k初始卷积特征图的上述第k初始权重的值，(ii)在k为1的情况下，包含上述输入图像及上述第k初始卷积特征图的上述第k初始权重的值，
Figure BDA0002320153100000032
为上述第k缩放参数中的特定第k缩放参数，FL及BW分别为上述FL值及上述BW值，Q运算为生成
Figure BDA0002320153100000033
的量化值与
Figure BDA0002320153100000034
之间的差异的运算，上述
Figure BDA0002320153100000035
的量化值是通过参照上述FL值及上述BW值来生成的；在上述步骤b中，上述计算装置选择使上述ΔLk最小的上述
Figure BDA0002320153100000036
由此确定各个上述第k优化缩放参数。
在一实施例中，提供一种如下方法，其特征在于，上述计算装置利用内斯特罗夫加速梯度(Nesterov Accelerated Gradient)方法选择上述
Figure BDA0002320153100000037
并确定上述第k优化缩放参数。
在一实施例中，提供一种如下方法，其特征在于，在上述步骤c中，上述计算装置生成各个上述第k优化缩放参数被确定为其构成要素的上述第k缩放层，并生成各个上述第k优化缩放参数的倒数被确定为其构成要素的上述第k反缩放层。
在一实施例中，提供一种如下方法，其特征在于，在上述步骤d中，上述计算装置(1)在k为1的情况下，将上述第k初始卷积层转换为上述第k集成卷积层，以使(i)在输入值适用上述第k初始卷积层及上述第k缩放层的运算而生成的结果与(ii)在上述输入值适用上述第k集成卷积层的运算而生成的结果之间的差异比阈值小，(2)在k为2以上m以下的整数的情况下，将上述第k初始卷积层转换为上述第k集成卷积层，以使(i)在输入值适用第k-1反缩放层、上述第k初始卷积层及上述第k缩放层的运算而生成的结果与(ii)在上述输入值适用上述第k集成卷积层的运算而生成的结果之间的差异比上述阈值小。
在一实施例中，提供一种如下方法，其特征在于，还包括步骤e，上述计算装置通过对上述第k卷积块所包含的上述第k集成卷积层的权重进行量化，来生成作为由上述第k卷积块执行的CNN运算的优化权重的第k量化权重。
根据本发明另一实施方式，提供一种转换CNN的卷积层的计算装置，该CNN包括m个卷积块，该装置的特征在于，包括：至少一个存储器，其用于存储指令；以及至少一个处理器，其构成为能够实施上述指令，该指令用于执行如下处理：处理I，参照(I)(i)第k卷积块所包含的第k初始卷积层的一个以上第k初始权重、(ii)(ii-1)在k为1的情况下，用于确定缩放参数的输入图像、(ii-2)在k为2至m的情况下，由第k-1卷积块输出的与上述输入图像相对应的第k-1特征图、及(iii)(iii-1)在k为1的情况下，与上述输入图像所包含的各个通道相对应的各个第k缩放参数、及(iii-2)在k为2至m的情况下，与上述第k-1特征图所包含的各个通道相对应的各个第k缩放参数，来生成一个以上第k量化损失值，k为1到m的整数；处理II，参照上述第k量化损失值，在上述第k缩放参数中确定与上述第k-1特征图所包含的上述各个通道相对应的各个第k优化缩放参数；处理III，参照上述第k优化缩放参数，生成第k缩放层及第k反缩放层；以及处理IV，(i)在k为1的情况下，使用上述第k缩放层，将上述第k初始卷积层转换为第k集成卷积层，(ii)在k为2至m的整数的情况下，使用上述第k缩放层及上述第k-1反缩放层，将上述第k初始卷积层转换为上述第k集成卷积层。
在一实施例中，提供一种如下计算装置，其特征在于，上述处理I包括：上述处理器还参照(iv)BW值(v)及第k个FL值，生成上述第k量化损失值，上述BW值为为了以二进制数表示上述CNN所包含的权重及特征图所包含的值而使用的位的数量，上述第k个FL值为(i)上述第k初始卷积层的上述第k初始权重、及(ii)在k为2至m的情况下，上述第k-1特征图所包含的值、及在k为1的情况下，上述输入图像所包含的值的LSB所表示的数的指数的绝对值。
在一实施例中，提供一种如下计算装置，其特征在于，在上述处理I中，
Figure BDA0002320153100000051
上述处理器根据上述数学式生成上述第k量化损失值，在上述数学式中θp包括(i)在k为2至m的情况下，上述第k-1特征图及上述第k初始卷积特征图的上述第k初始权重的值，(ii)在k为1的情况下，包含上述输入图像及上述第k初始卷积特征图的上述第k初始权重的值，
Figure BDA0002320153100000052
为上述第k缩放参数中的特定第k缩放参数，FL及BW分别为上述FL值及上述BW值，Q运算为生成
Figure BDA0002320153100000053
的量化值与
Figure BDA0002320153100000057
之间的差异的运算，上述
Figure BDA0002320153100000054
的量化值是通过参照上述FL值及上述BW值来生成的；在上述处理II中，上述处理器选择使上述ΔLk最小的上述
Figure BDA0002320153100000056
由此确定各个上述第k优化缩放参数。
在一实施例中，提供一种如下计算装置，其特征在于，上述处理器利用内斯特罗夫加速梯度方法选择上述
Figure BDA0002320153100000055
并确定上述第k优化缩放参数。
在一实施例中，提供一种如下计算装置，其特征在于，在上述处理III中，上述处理器生成各个上述第k优化缩放参数被确定为其构成要素的上述第k缩放层，并生成各个上述第k优化缩放参数的倒数被确定为其构成要素的上述第k反缩放层。
在一实施例中，提供一种如下计算装置，其特征在于，在上述处理IV中，上述处理器(1)在k为1的情况下，将上述第k初始卷积层转换为上述第k集成卷积层，以使(i)在输入值适用上述第k初始卷积层及上述第k缩放层的运算而生成的结果与(ii)在上述输入值适用上述第k集成卷积层的运算而生成的结果之间的差异比阈值小，(2)在k为2以上m以下的整数的情况下，上述处理器将上述第k初始卷积层转换为上述第k集成卷积层，以使(i)在输入值适用第k-1反缩放层、上述第k初始卷积层及上述第k缩放层的运算而生成的结果与(ii)在上述输入值适用上述第k集成卷积层的运算而生成的结果之间的差异比上述阈值小。
在一实施例中，提供一种如下计算装置，其特征在于，还执行处理V，上述处理器通过对上述第k卷积块所包含的上述第k集成卷积层的权重进行量化，来生成作为由上述第k卷积块执行的CNN运算的优化权重的第k量化权重。。
发明的效果
本发明为了适当地反映输出值中的包含小值的特定通道的值，能够提供一种以平坦化至少一个特征图所包含的值的方式转换CNN层的方法，上述方法可通过优化适用于移动设备或高精度小型网络的硬件来使用。
附图说明
用于本发明实施例的说明中的以下附图是，仅仅是本发明实施例中的一部分，对于本领域技术人员而言，在不需要付出创造性劳动的情况下，能够基于以下附图获得其他附图。
图1为示出根据本发明一实施例的用于执行为优化CNN参数量化而转换CNN层的方法的计算装置的构成的图。
图2为示出根据本发明一实施例的包含缩放层(scaling layer)及反缩放层的CNN构成的图。
图3a及图3b为示出根据本发明一实施例的通过转换缩放层及反缩放层的位置来生成集成卷积层(integrated convolutional layers)的过程的图。
图4为示出根据本发明一实施例的因缩放方法而使值不产生大变化的其他多个通道的值的例示图。
图5为示出根据现有技术值变化多的其他多个通道的值的例示图。
具体实施方式
后述的对本发明的详细说明为能够实施本发明的特定实施例的示例，可参照图示的附图。对这些实施例的详细说明足以使本领域技术人员能够实施本发明。应理解为，尽管本发明的各种实施例相互不同，但是没有相互排斥的必要。例如，在此记载的特定形状、结构及特征，与一实施例相关，在不脱离本发明的精神及范围的情况下，能够以另一实施例实现。并且，应理解为，各个揭示的实施例中的个别结构要素的位置或配置在不脱离本发明思想及范围的情况下能够进行变更。因此，后述的详细说明并不具有限定的含义，关于本发明的保护范围，更确切地说，应当仅由所附的权利要求及与其主张的范围均等的所有范围来限定。在附图中类似的附图标记，表示在各方面相同或类似的功能。
并且，在本发明的详细说明及权利要求中出现的用语“包括”及其变形并不意味着有意排除其他技术特征、附加物、结构要素或步骤等。关于本发明的其它目的、优点及特征，一部分通过说明书而一部分通过实施本发明的过程中呈现给本领域技术人员。以下的示例及附图以实例提供，并不是用于限定本发明。
本发明中所提及的各种图像可以包括铺装或未铺装道路有关的图像，在此情况下，可以设想出现在道路环境中的物体(例如、汽车、行人、动物、植物、物件、建筑物、如飞机或无人机等飞行体，其他障碍物)，但并不一定限定于此，本发明中所提及的各种图像也可以是与道路无关的图像(例如、未铺装道路、小胡同、空地、海洋、湖水、江河、山林、草丛、沙漠、天空、与室内有关的图像)，在此情况下，可以设想出现在未铺装道路、空地、海洋、湖水、江河、山林、草丛、沙漠、天空、室内环境下可出现的物体(例如、汽车、人物、动物、植物、物件、建筑物、如飞机或无人机等飞行体，其他障碍物)，但并不一定限定于此。
以下，为了使本领域技术人员容易实施本发明，参照附图详细地说明本发明的优选实施例。
图1为示出根据本发明一实施例的用于执行为优化CNN参数量化而转换CNN层的方法的计算装置100的构成的图。并且，图2为示出根据本发明一实施例的包含缩放层及反缩放层的CNN构成的图。
参照图1，计算装置100包括CNN200。由上述CNN进行的各种数据的输入和输出以及各种数据的运算过程是通过各个通信部110及处理器120来实现的。但是，图1中，省略对于通信部110和处理器120如何连接的详细说明。并且，计算装置还可以包括能够存储用于执行后续程序的计算机可读取的指令的存储器115。作为一例，处理器、存储器、介质等可以与集成处理器合并。
CNN200可以包括至少一个卷积块。以下，为了便于说明，CNN200包括m个卷积块，k为用于表示1至m的整数的变数。其中，如图2所示，第k卷积块包括第k初始卷积层211_k、第k激活层212_k及第k池化层213_k。
以上了解了本发明的计算装置100及其所包含的CNN200的构成，下面概括地说明根据本发明一实施例的第k初始卷积层211_k的转换方法。
首先，通过通信部110获取用于确定缩放参数的输入图像。之后，计算装置100参照(i)第k卷积块210_k所包含的第k初始卷积层211_k的至少一个第k初始权重、(ii)由第k卷积块210_k进行处理的第k-1特征图及(iii)与第k-1特征图所包含的各个通道相对应的第k缩放层214_k的各个第k缩放参数，来生成至少一个第k量化损失值。其中，在k为1的情况下，第k-1特征图表示输入图像，以下相同。
并且，计算装置100还参照(iv)BW(Bit Width；位宽)值及(v)第k FL(FractionalLength；小数部分长度)值，来生成上述第k量化损失值，上述BW值为为了以二进制数表示上述CNN所包含的权重及特征图所包含的值而使用的位的数量，上述第k个FL值为上述第k初始卷积层的上述第k初始权重及第k-1特征图所包含的值的LSB(Least Significant Bit；最低有效位)所表示的数的指数的绝对值。
并且，计算装置100按照以下数学式来生成第k量化损失值。
Figure BDA0002320153100000081
其中，上述数学式表示通过微分量化损失来生成第k量化损失值的过程。在上述数学式中，θp可包含上述第k-1特征图及上述第k初始卷积层的上述第k初始权重。
Figure BDA0002320153100000082
可以是与上述第k缩放参数中的上述第k-1特征图所包含的第i通道相对应的特定第k缩放参数。FL及BW分别为上述FL值及上述BW值，Q运算是生成
Figure BDA0002320153100000083
的量化值及
Figure BDA0002320153100000084
之间的差异的运算，上述
Figure BDA0002320153100000085
的量化值通过参照上述FL值及上述BW值来生成。
如上所述，在生成第k量化损失值之后，计算装置100确定在上述第k缩放参数中与上述第(k-1)特征图所包含的各个上述通道相对应的各个第k优化缩放参数。具体地说，上述计算装置100选择使上述ΔLk最小的上述
Figure BDA0002320153100000086
由此确定各个上述第k优化缩放参数。为了选择上述
Figure BDA0002320153100000087
使用加速优化算法(Nesterov optimization algorithm)，但并不限定于此。
为了适用加速优化算法，需要确定第k缩放参数之间的制约条件(constraint)。因此，计算装置100对CNN200所包含的层进行拓扑排序(topologically sort)。之后，确定与各个层的类型相对应的对第k缩放参数的制约条件。但是，在制约条件中存在不必要的条件，比如可能存在重复条件。因此，可以删除一部分制约条件。其中，在删除制约条件的过程中，可以参照层之间的连接状态信息。
之后，计算装置100通过在CNN200中重复多次前推(Forward passing)及反推(backward passing)，获取与各个层所包含的各个权重相对应的二维直方图(histogram)，由此生成第k量化损失值的图标。并且，计算装置100通过改变各个第k缩放参数即
Figure BDA0002320153100000091
来确定与第k量化损失值相对应的最小的第k优化缩放参数。改变上述参数的过程可以遵循加速优化算法中所提出的向量移动技术。
通过如上所述的方式，当第k优化缩放参数已确定时，计算装置100生成与上述第k-1特征图所包含的各个通道相对应的各个上述第k优化缩放参数被确定为其构成要素的上述第k缩放层214_k，并生成与上述第(k-1)特征图所包含的各个通道相对应的上述第k优化缩放参数的倒数被确定为其构成要素的上述第k反缩放层215_k。
以下参照图2，说明如何在第k卷积块210_k插入第k缩放层214_k及第k反缩放层215_k。
参照图2，在激活层212_k的前段及后段分别插入第k缩放层214_k及第k反缩放层215_k。这是因为由第k激活层212_k、第k缩放层214_k及第k反缩放层215_k执行的操作中交换法则成立。其中，第k激活层212_k执行的运算可以是ReLU运算，但不限定于此。
从数学角度整理的话，
Conv*Act*Pool＝Conv*Act*Sc*I.Sc*Pool＝Conv*Sc*Act*I.Sc*Pool，
参照上述数学式时，在原数学式中可以追加Sc*I.Sc。因为，Sc即缩放层和I.Sc即反缩放层互为反函数关系。并且，上述Sc项目和I.Sc项目与激活层之间交换法则成立，因此可以将上述Sc项目和上述I.Sc项目移动到激活层的两侧。
另一方面，若在CNN200追加第k缩放层214_k及第k反缩放层215_k，则需要更多的计算资源，所以没有效率。因此，本发明提出一种合并缩放层、初始卷积层及反缩放层的方法，参照图3a及图3b进行详细说明。
图3a及图3b为示出根据本发明一实施例的通过转换缩放层及反缩放层的位置来生成集成卷积层的过程的图。
参照图3a及图3b，第k-1卷积块210_k-1所包含的第k-1反缩放层215_k-1移动到第k卷积块210_k。这是因为第k-1池化层213_k-1自身与值的变化无关。
参照图3b，为了生成第k集成卷积层216_k，合并第k-1反缩放层215_k-1、第k初始卷积层211_k及第k缩放层214_k。计算装置100确定上述第k集成卷积层216_k的参数，以使(i)在输入值适用第k-1反缩放层、上述第k初始卷积层及上述第k缩放层的运算而生成的结果与(ii)在输入值适用上述第k集成卷积层的运算而生成的结果之间的差异比阈值小。其中，到目前为止说明的合并处理可以包含与第k-1反缩放层215_k-1、第k初始卷积层211_k及第k缩放层214_k相对应的构成要素相乘的处理，但并不限定于此。
在图3b没有示出k为1的情况，但由于没有从之前的块移动的反缩放层，所以只有第1初始卷积层211_1和第1缩放层214_1用于生成集成卷积层216_1。
以上说明的处理是为了生成量化的优化第k集成卷积层216_k的参数。其中，与生成第k集成卷积层216_k的参数的处理分开来说明量化程序。因此，计算装置100通过对上述第k卷积块210_k所包含的权重进行量化来生成由上述第k卷积块210_k执行的对CNN运算的优化权重即第k量化权重。该处理与生成上述第k集成卷积层216_k的处理之前、处理期间、处理之后无关地被执行。
参照图4说明上述优化的量化CNN权重的优点。
图4为示出根据本发明一实施例的通过转换方法使值不发生大变化的其他多个通道的值的例示图。
参照在前面说明现有技术时参照的图5，能够确认在不适用由本发明提供的方法时，第1特征图所包含的第2通道的值比第1特征图所包含的第1通道的值小很多。与此相反，参照图4可知，第1通道的值与第2通道的值近似。这归因于第1缩放参数，上述第1缩放参数反映于第1集成卷积层216_1的权重。由于第1值与第2值之间的差异不大，使得在由第1卷积块210_2执行运算之后，能够适当地量化第1值及第2值。
本领域技术人员应当理解的是，通过学习装置及测试装置的通信部能够实现以上说明的图像，例如原图像、原标签及添加标签等图像数据的收发，并且通过学习装置及测试装置的处理器(及/或存储器)能够具有/维持用于与特征图进行运算的数据，卷积运算、反卷积运算、损失值运算过程主要通过学习装置及测试装置的处理器执行，但本发明并不限定于此。
以上说明的本发明实施例能够以可通过各种计算机组成要素执行的程序指令的形态体现，并记录于计算机可读取的存储介质。上述计算机可读取的存储介质能够单独或组合包含程序指令、数据文件、数据结构等。上述计算机可读取的存储介质中所记录的程序指令可以是为本发明而特别设计的，或者是公知于计算机软件领域的技术人员而能够使用的。计算机可读取的存储介质包括如硬盘、软盘及磁带的磁体媒介；如CD-ROM、DVD的光刻录媒介；如光磁软盘(floptical disk)的磁光介质(magneto-optical media)；以及ROM、RAM、快闪存储器等的用于存储并执行程序指令而特别构成的硬件装置。程序指令的例子不仅包括编译而成的机器语言代码，还包括利用解释器的计算机可执行的高级语言代码。上述硬件装置为了执行根据本发明的处理，以一个以上的软件模块运行的方式构成，其相反的处理也相同。
以上，通过具体结构要素等特定事项和限定的实施例及附图说明了本发明，但这仅仅是为了有助于全面地理解本发明而提供的，本发明并不限定于上述实施例，只要是本领域技术人员均能够基于上述记载进行各种修正及变形。
因此，本发明的思想并不限定于如上所述的实施例，后述的权利要求书及与该权利要求书均等或等同的变形的所有形态均应包括在本发明的思想范围内。

Claims (14)

1.一种转换CNN的卷积层的方法，所述CNN包括m个卷积块，其特征在于，所述方法包括以下步骤：
步骤a，计算装置若获取到用于确定缩放参数的输入图像，则参照：(i)第k卷积块所包含的第k初始卷积层的一个以上的第k初始权重；(ii)(ii-1)在k为1的情况下的所述输入图像，(ii-2)在k为2至m的情况下，由第k-1卷积块输出的与所述输入图像相对应的第k-1特征图；及(iii)(iii-1)在k为1的情况下，与所述输入图像所包含的各个通道相对应的各个第k缩放参数，(iii-2)在k为2至m的情况下，与所述第k-1特征图所包含的各个通道相对应的各个第k缩放参数，来生成一个以上的第k量化损失值，k为1到m的整数；
步骤b，所述计算装置参照所述第k量化损失值，在所述第k缩放参数中确定与所述第k-1特征图所包含的所述各个通道相对应的各个第k优化缩放参数；
步骤c，所述计算装置参照所述第k优化缩放参数，生成第k缩放层及第k反缩放层；以及
步骤d，所述计算装置(i)在k为1的情况下，使用所述第k缩放层，将所述第k初始卷积层转换为第k集成卷积层，(ii)在k为2至m的整数的情况下，使用所述第k缩放层及所述第k-1反缩放层，将所述第k初始卷积层转换为所述第k集成卷积层。
2.根据权利要求1所述的方法，其特征在于，所述步骤a包括：所述计算装置还参照(iv)BW值及(v)第k个FL值，生成所述第k量化损失值，所述BW值为为了以二进制数表示所述CNN所包含的权重及特征图所包含的值而使用的位的数量，所述第k个FL值为(i)所述第k初始卷积层的所述第k初始权重、(ii)k为2至m的情况下的所述第k-1特征图所包含的值及在k为1的情况下的所述输入图像所包含的值的LSB所表示的数的指数的绝对值。
3.根据权利要求2所述的方法，其特征在于，
在所述步骤a中，
Figure FDA0002320153090000011
根据上述数学式生成所述第k量化损失值，在上述数学式中，θp包括：(i)在k为2至m的情况下，所述第k-1特征图及所述第k初始卷积特征图的所述第k初始权重的值；(ii)在k为1的情况下，所述输入图像及所述第k初始卷积特征图的所述第k初始权重的值，
Figure FDA0002320153090000021
为所述第k缩放参数中的特定第k缩放参数，FL及BW分别为所述FL值及所述BW值，Q运算为生成
Figure FDA0002320153090000022
的量化值与
Figure FDA0002320153090000023
之间的差异的运算，所述
Figure FDA0002320153090000024
的量化值是通过参照所述FL值及所述BW值来生成的，
在所述步骤b中，所述计算装置选择使上述ΔLk最小的所述
Figure FDA0002320153090000025
由此确定各个所述第k优化缩放参数。
4.根据权利要求3所述的方法，其特征在于，所述计算装置利用内斯特罗夫加速梯度方法选择所述
Figure FDA0002320153090000026
并确定所述第k优化缩放参数。
5.根据权利要求1所述的方法，其特征在于，在所述步骤c中，所述计算装置生成各个所述第k优化缩放参数被确定为其构成要素的所述第k缩放层，并生成各个所述第k优化缩放参数的倒数被确定为其构成要素的所述第k反缩放层。
6.根据权利要求1所述的方法，其特征在于，在所述步骤d中，
所述计算装置：(1)在k为1的情况下，将所述第k初始卷积层转换为所述第k集成卷积层，以使(i)在输入值适用所述第k初始卷积层及所述第k缩放层的运算而生成的结果与(ii)在所述输入值适用所述第k集成卷积层的运算而生成的结果之间的差异比阈值小；(2)在k为2以上且m以下的整数的情况下，将所述第k初始卷积层转换为所述第k集成卷积层，以使(i)在输入值适用第k-1反缩放层、所述第k初始卷积层及所述第k缩放层的运算而生成的结果与(ii)在所述输入值适用所述第k集成卷积层的运算而生成的结果之间的差异比所述阈值小。
7.根据权利要求1所述的方法，其特征在于，还包括步骤e，所述计算装置通过对所述第k卷积块所包含的所述第k集成卷积层的权重进行量化，来生成作为由所述第k卷积块执行的CNN运算的优化权重的第k量化权重。
8.一种转换CNN的卷积层的计算装置，所述CNN包括m个卷积块，其特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，构成为能够实施所述指令，该指令用于执行以下处理：
处理I，参照：(I)(i)第k卷积块所包含的第k初始卷积层的一个以上的第k初始权重；(ii)(ii-1)在k为1的情况下，用于确定缩放参数的输入图像，(ii-2)在k为2至m的情况下，由第k-1卷积块输出的与所述输入图像相对应的第k-1特征图；及(iii)(iii-1)在k为1的情况下，与所述输入图像所包含的各个通道相对应的各个第k缩放参数，(iii-2)在k为2至m的情况下，与所述第k-1特征图所包含的各个通道相对应的各个第k缩放参数，来生成一个以上的第k量化损失值，k为1到m的整数；
处理II，参照所述第k量化损失值，在所述第k缩放参数中确定与所述第k-1特征图所包含的所述各个通道相对应的各个第k优化缩放参数；
处理III，参照所述第k优化缩放参数，生成第k缩放层及第k反缩放层；以及
处理IV，(i)在k为1的情况下，使用所述第k缩放层，将所述第k初始卷积层转换为第k集成卷积层，(ii)在k为2至m的整数的情况下，使用所述第k缩放层及所述第k-1反缩放层，将所述第k初始卷积层转换为所述第k集成卷积层。
9.根据权利要求8所述的计算装置，其特征在于，所述处理I包括：所述处理器还参照(iv)BW值(v)及第k个FL值，生成所述第k量化损失值，所述BW值为为了以二进制数表示所述CNN所包含的权重及特征图所包含的值而使用的位的数量，所述第k个FL值为(i)所述第k初始卷积层的所述第k初始权重、及(ii)在k为2至m的情况下的所述第k-1特征图所包含的值、及在k为1的情况下的所述输入图像所包含的值的LSB所表示的数的指数的绝对值。
10.根据权利要求9所述的计算装置，其特征在于，
在所述处理I中，
Figure FDA0002320153090000041
所述处理器根据上述数学式生成所述第k量化损失值，在上述数学式中，θp包括：(i)在k为2至m的情况下，所述第k-1特征图及所述第k初始卷积特征图的所述第k初始权重的值，(ii)在k为1的情况下，包含所述输入图像及所述第k初始卷积特征图的所述第k初始权重的值，
Figure FDA0002320153090000042
为所述第k缩放参数中的特定第k缩放参数，FL及BW分别为所述FL值及所述BW值，Q运算为生成
Figure FDA0002320153090000043
的量化值与
Figure FDA0002320153090000044
之间的差异的运算，所述
Figure FDA0002320153090000045
的量化值是通过参照所述FL值及所述BW值来生成的，
在所述处理II中，所述处理器选择使上述ΔLk最小的所述
Figure FDA0002320153090000046
由此确定各个所述第k优化缩放参数。
11.根据权利要求10所述的计算装置，其特征在于，所述处理器利用内斯特罗夫加速梯度方法选择所述
Figure FDA0002320153090000047
并确定所述第k优化缩放参数。
12.根据权利要求8所述的计算装置，其特征在于，在所述处理III中，所述处理器生成各个所述第k优化缩放参数被确定为其构成要素的所述第k缩放层，并生成各个所述第k优化缩放参数的倒数被确定为其构成要素的所述第k反缩放层。
13.根据权利要求8所述的计算装置，其特征在于，在所述处理IV中，所述处理器：(1)在k为1的情况下，将所述第k初始卷积层转换为所述第k集成卷积层，以使(i)在输入值适用所述第k初始卷积层及所述第k缩放层的运算而生成的结果与(ii)在所述输入值适用所述第k集成卷积层的运算而生成的结果之间的差异比阈值小，(2)在k为2以上m以下的整数的情况下，所述处理器将所述第k初始卷积层转换为所述第k集成卷积层，以使(i)在输入值适用第k-1反缩放层、所述第k初始卷积层及所述第k缩放层的运算而生成的结果与(ii)在所述输入值适用所述第k集成卷积层的运算而生成的结果之间的差异比所述阈值小。
14.根据权利要求8所述的计算装置，其特征在于，还执行处理V，所述处理器通过对所述第k卷积块所包含的所述第k集成卷积层的权重进行量化，来生成作为由所述第k卷积块执行的CNN运算的优化权重的第k量化权重。
CN201911294584.7A 2019-01-23 2019-12-16 转换cnn的卷积层的方法及装置 Active CN111476341B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/255,197 US10325352B1 (en) 2019-01-23 2019-01-23 Method and device for transforming CNN layers to optimize CNN parameter quantization to be used for mobile devices or compact networks with high precision via hardware optimization
US16/255,197 2019-01-23

Publications (2)

Publication Number Publication Date
CN111476341A true CN111476341A (zh) 2020-07-31
CN111476341B CN111476341B (zh) 2024-04-12

Family

ID=66826142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911294584.7A Active CN111476341B (zh) 2019-01-23 2019-12-16 转换cnn的卷积层的方法及装置

Country Status (5)

Country Link
US (1) US10325352B1 (zh)
EP (1) EP3686808B1 (zh)
JP (1) JP6872264B2 (zh)
KR (1) KR102349916B1 (zh)
CN (1) CN111476341B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560696B2 (en) * 2018-06-25 2020-02-11 Tfi Digital Media Limited Method for initial quantization parameter optimization in video coding
US11551054B2 (en) * 2019-08-27 2023-01-10 International Business Machines Corporation System-aware selective quantization for performance optimized distributed deep learning
JP7357225B2 (ja) * 2020-03-27 2023-10-06 パナソニックＩｐマネジメント株式会社 推論実行方法
KR102368590B1 (ko) * 2020-05-19 2022-03-02 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2021251614A1 (en) 2020-06-12 2021-12-16 Samsung Electronics Co., Ltd. Image processing apparatus and method of operating the same
KR20220045357A (ko) * 2020-10-05 2022-04-12 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102539876B1 (ko) * 2020-11-30 2023-06-02 경희대학교 산학협력단 인공지능 기술을 이용한 적층형 저항 변화 메모리 소자의 계층 최적화 시스템 및 그 방법
WO2023008678A1 (ko) * 2021-07-30 2023-02-02 삼성전자 주식회사 영상 처리 장치 및 그 동작 방법
GB2622875A (en) * 2022-09-30 2024-04-03 Imagination Tech Ltd Methods and systems for performing channel equalisation on a convolution layer in a neural network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504190A (zh) * 2016-12-29 2017-03-15 浙江工商大学 一种基于3d卷积神经网络的立体视频生成方法
CN107330852A (zh) * 2017-07-03 2017-11-07 深圳市唯特视科技有限公司 一种基于实时零点图像操作网络的图像处理方法
WO2018229490A1 (en) * 2017-06-16 2018-12-20 Ucl Business Plc A system and computer-implemented method for segmenting an image

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10604332B2 (en) * 2013-10-23 2020-03-31 The Procter & Gamble Company Aerosol container having valve cup with integral bag
KR20160083127A (ko) * 2013-11-30 2016-07-11 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 얼굴 이미지 인식 방법 및 시스템
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
US10970617B2 (en) * 2015-08-21 2021-04-06 Institute Of Automation Chinese Academy Of Sciences Deep convolutional neural network acceleration and compression method based on parameter quantification
US11074492B2 (en) * 2015-10-07 2021-07-27 Altera Corporation Method and apparatus for performing different types of convolution operations with the same processing elements
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
US9904874B2 (en) * 2015-11-05 2018-02-27 Microsoft Technology Licensing, Llc Hardware-efficient deep convolutional neural networks
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
WO2017139927A1 (en) * 2016-02-17 2017-08-24 Intel Corporation Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model
US10460747B2 (en) * 2016-05-10 2019-10-29 Google Llc Frequency based audio analysis using neural networks
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
US10387740B2 (en) * 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
US11321609B2 (en) * 2016-10-19 2022-05-03 Samsung Electronics Co., Ltd Method and apparatus for neural network quantization
US20180107926A1 (en) * 2016-10-19 2018-04-19 Samsung Electronics Co., Ltd. Method and apparatus for neural network quantization
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
US11392825B2 (en) * 2017-01-09 2022-07-19 Samsung Electronics Co., Ltd. Method and algorithm of recursive deep learning quantization for weight bit reduction
US20180211403A1 (en) * 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
CN108345939B (zh) * 2017-01-25 2022-05-24 微软技术许可有限责任公司 基于定点运算的神经网络
US10127495B1 (en) * 2017-04-14 2018-11-13 Rohan Bopardikar Reducing the size of a neural network through reduction of the weight matrices
JP6744838B2 (ja) * 2017-04-18 2020-08-19 Kddi株式会社 エンコーダデコーダ畳み込みニューラルネットワークにおける解像感を改善するプログラム
CN115688877A (zh) * 2017-06-06 2023-02-03 格兰菲智能科技有限公司 一种用于对待量化数据进行定点化处理的方法及计算装置
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
US10878273B2 (en) * 2017-07-06 2020-12-29 Texas Instruments Incorporated Dynamic quantization for deep neural network inference system and method
US10728553B2 (en) * 2017-07-11 2020-07-28 Sony Corporation Visual quality preserving quantization parameter prediction with deep neural network
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
KR20190034985A (ko) * 2017-09-25 2019-04-03 삼성전자주식회사 인공 신경망의 양자화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504190A (zh) * 2016-12-29 2017-03-15 浙江工商大学 一种基于3d卷积神经网络的立体视频生成方法
WO2018229490A1 (en) * 2017-06-16 2018-12-20 Ucl Business Plc A system and computer-implemented method for segmenting an image
CN107330852A (zh) * 2017-07-03 2017-11-07 深圳市唯特视科技有限公司 一种基于实时零点图像操作网络的图像处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ASWIN RAGHAVAN 等: "《BitNet： Bit-Regularized Deep Neural Networks》" *

Also Published As

Publication number Publication date
EP3686808C0 (en) 2024-01-24
US10325352B1 (en) 2019-06-18
JP2020119518A (ja) 2020-08-06
KR102349916B1 (ko) 2022-01-12
EP3686808A1 (en) 2020-07-29
EP3686808B1 (en) 2024-01-24
JP6872264B2 (ja) 2021-05-19
KR20200091785A (ko) 2020-07-31
CN111476341B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN111476341A (zh) 转换cnn的卷积层的方法及装置
CN109658417B (zh) 改进图像分割学习方法和装置及使用其的测试方法和装置
JP6856851B2 (ja) イメージエンコーディングのための方法及び装置そしてこれを利用したテスト方法及びテスト装置
KR102313133B1 (ko) 컨벌루션 뉴럴 네트워크로부터 복수의 출력들의 앙상블을 이용하여 통합된 특징 맵을 제공하기 위한 방법 및 장치
JP6924517B2 (ja) ディープニューラルネットワーク基盤の多重パッチ組み合わせを利用して顔を認識し、極度の状況でフォールトトレランス及びフラクチュエーションロバスト性を向上させる方法
KR20190039383A (ko) 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
JP6957050B2 (ja) モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なｒｏｉをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｏｏｌｉｎｇ ｒｏｉ ｂｙ ｕｓｉｎｇ ｍａｓｋｉｎｇ ｐａｒａｍｅｔｅｒｓ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ ｏｒ ｃｏｍｐａｃｔ ｎｅｔｗｏｒｋｓ ｖｉａ ｈａｒｄｗａｒｅ ｏｐｔｉｍｉｚａｔｉｏｎ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP7252120B2 (ja) 核心性能指数を満たすことができるハードウェア最適化が行われるように、ｃｎｎで複数のブロック内の入力イメージから特徴を抽出する学習方法及び学習装置、それを利用したテスト方法及びテスト装置
CN111476247B (zh) 利用了1xK或Kx1卷积运算的CNN方法及装置
JP6793411B2 (ja) 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置
CN111476262B (zh) 利用1xH卷积的基于CNN的对象检测方法及装置
JP6970460B2 (ja) モバイルデバイスまたは高精度の小型ネットワークに適用可能なハードウェアを最適化するために利用されるＣＮＮパラメータ及び特徴値を量子化するために、重み量子化ロス値を利用してＦＬ（Ｆｒａｃｔｉｏｎａｌ Ｌｅｎｇｔｈ）値を決定する方法及び装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ ＦＬ ＶＡＬＵＥ ＢＹ ＵＳＩＮＧ ＷＥＩＧＨＴＥＤ ＱＵＡＮＴＩＺＡＴＩＯＮ ＬＯＳＳ ＶＡＬＵＥＳ ＴＯ ＴＨＥＲＥＢＹ ＱＵＡＮＴＩＺＥ ＣＮＮ ＰＡＲＡＭＥＴＥＲＳ ＡＮＤ ＦＥＡＴＵＲＥ ＶＡＬＵＥＳ ＴＯ ＢＥ ＵＳＥＤ ＦＯＲ ＯＰＴＩＭＩＺＩＮＧ ＨＡＲＤＷＡＲＥ ＡＰＰＬＩＣＡＢＬＥ ＴＯ ＭＯＢＩＬＥ ＤＥＶＩＣＥＳ ＯＲ ＣＯＭＰＡＣＴ ＮＥＴＷＯＲＫＳ ＷＩＴＨ ＨＩＧＨ ＰＲＥＣＩＳＩＯＮ｝
EP3686810B1 (en) Method and device for online batch normalization, on-device learning, and continual learning applicable to mobile devices or iot devices additionally referring to one or more previous batches to be used for military purpose, drone or robot, and testing method and testing device using the same
KR20220045424A (ko) 인공 신경망을 압축하는 방법 및 장치
CN115937594A (zh) 基于局部与全局特征融合的遥感图像分类方法和装置
CN109670598A (zh) 一种基于深度学习的数据处理方法
CN118196425A (zh) 一种基于大模型的毁伤评估方法
CN111223120A (zh) 一种点云语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant