CN109670575B - 用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置 - Google Patents

用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置 Download PDF

Info

Publication number
CN109670575B
CN109670575B CN201811197180.1A CN201811197180A CN109670575B CN 109670575 B CN109670575 B CN 109670575B CN 201811197180 A CN201811197180 A CN 201811197180A CN 109670575 B CN109670575 B CN 109670575B
Authority
CN
China
Prior art keywords
layer
value
activation
output
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811197180.1A
Other languages
English (en)
Other versions
CN109670575A (zh
Inventor
金镕重
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN109670575A publication Critical patent/CN109670575A/zh
Application granted granted Critical
Publication of CN109670575B publication Critical patent/CN109670575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提供一种CNN的参数学习的方法。该方法包括以下步骤：(a)允许输入值发送到单独的多个要素偏差层；(b)允许与特定要素偏差层连接的比例层将预定比例值乘以特定要素偏差层的输出值；(c)(i)允许与比例层连接的特定要素激活层应用激活函数，以及(ii)允许其他单个要素激活层对单独的要素偏差层的输出值应用激活函数；(d)允许级联层将特定要素激活层的输出值和其他要素激活层的输出值级联；(e)允许卷积层将卷积运算应用到级联输出；(f)在反向传播过程中允许损失层获取损失。

Description

用于同时执行激活和卷积运算的方法和装置及其学习方法和 学习装置
技术领域
本发明涉及一种用于学习装置中的CNN(Convolution Neural Networks，卷积神经网络)的参数学习的学习方法和使用该学习方法的学习装置，所述学习方法中执行激活运算和卷积运算，更具体地，本发明涉及一种学习装置中的CNN的参数学习的学习方法，所述学习装置执行(i)包括多个要素偏差层、比例层以及多个要素激活层的激活模块的激活运算；(ii)卷积层的卷积运算，所述方法包括以下步骤：(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi；(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的比例层将预定比例值乘以所述特定要素偏差层的输出值；(c)所述学习装置执行以下处理：(i)允许与所述比例层连接的特定要素激活层对所述比例层的输出值应用非线性激活函数，以及(ii)允许与单独的要素偏差层连接的其它单独的要素激活层对单独的要素偏差层的输出值应用单独的非线性函数；(d)所述学习装置执行以下处理：允许级联层将所述特定要素激活层的输出值和其他要素激活层的输出值级联，由此获取级联输出；(e)所述学习装置执行以下处理：允许所述卷积层通过使用所述卷积层的每个要素权重参数pi及其每个要素偏差参数d，对所述级联输出应用卷积运算；以及(f)如果(e)步骤的输出被输入应用块中并且之后后取得从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分。
背景技术
深度卷积神经网络或深度CNN，是深度学习领域显著发展的核心。尽管CNN已被用于解决20世纪90年代的字符识别问题，但直到最近CNN才在机器学习中得到广泛应用。由于最近的研究，CNN已经成为机器学习领域非常有用和强大的工具。例如，在2012年，CNN在年度软件竞赛ImageNet大规模视觉识别挑战赛中的表现明显优于其竞争对手，并赢得了比赛。之后，CNN已经成为机器学习领域中非常有用的工具。
图1示出了具有能够执行CReLU运算和卷积运算的CNN的以往学习装置的结构。
通过参考图1，以往的学习装置具有交替布置的许多卷积层(例如卷积层110和130)以及许多级联修正线性单元(CReLU,Concatenated Rectified Linear Units)(例如CReLU 120和其它CReLU(未示出))。
这里，CReLU 120可以包括两个修正线性单元(ReLU)122，并且ReLU122的运算通过以下公式来执行：
[公式1]
ReLU(x)＝max(0，x)
CReLU是一种激活机制，其按照下面的公式另外进行ReLU的负激活以及正激活。
[公式2]
CReLU(x)＝(ReLU(x)，ReLU(-x))＝(max(0，x)，max(0，-x))
与ReLU相比，CReLU可以使结果值的数量加倍，而不会增加卷积层的计算负载。因此，CReLU可以在保持检测速度的同时提高检测精度。
在图1中，CReLU 120包括一个比例层121、两个ReLU层122和级联层123。
详细地，比例层121将从先前卷积层110输出的值乘以比例值-1，得到缩放后的值。
此外，ReLU层122中的一个接收从先前卷积层110输出的值，然后将ReLU运算应用到接收到的值，并且ReLU层122中的另一个从比例层121接收缩放后的值，然后将ReLU运算应用到缩放后的值。
通过参考图1，如果(即如下的特征映射：其在x＝0，y＝0，并且信道ch＝0处的像素值为1；在x＝1，y＝0，并且ch＝1处的像素值为2；x＝0，y＝1，并且ch＝1处像素值为3；x＝1，y＝1，并且ch＝0处像素值为4；除了上述4个像素之外其它像素值为0)作为从先前卷积层110输出的值被输入到CReLU 120，则第一ReLU层接收/>而第二ReLU层接收/>然后第一ReLU层和第二ReLU层的每一个执行正激活运算，以便由此生成和/> 随后发送到级联层123。然后，级联层123将/>和/>级联并因此生成/>然后将/>发送到卷积层130。卷积层130对执行卷积运算。
如图1所示，如果分别执行CReLU层的运算和卷积层的运算，则执行每个独立运算，因此，计算负载变得太大。
因此，本发明的发明人提供了一种新方法，用于减少使用CReLU的CNN的计算负载。
发明内容
本发明的一个目的是解决上述所有问题。
本发明的一个目的是提供一种通过在不增加CNN的计算负载的情况下提高CNN的配置的复杂度来提高检测精度的方法。
根据本发明的一个方面，提供一种学习装置中的CNN的参数学习的学习方法，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层以及多个要素激活层；(ii)卷积层的卷积运算，所述方法包括以下步骤：(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi；(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的比例层将预定比例值乘以所述特定要素偏差层的输出值；(c)所述学习装置执行以下处理：(i)允许与所述比例层连接的特定要素激活层对所述比例层的输出值应用非线性激活函数，以及(ii)允许与单独的要素偏差层连接的其它单独的要素激活层对单独的要素偏差层的输出值应用单独的非线性函数；(d)所述学习装置执行以下处理：允许级联层将所述特定要素激活层的输出值和其他要素激活层的输出值级联，由此获取级联输出；(e)所述学习装置执行以下处理：允许所述卷积层通过使用所述卷积层的每个要素权重参数pi及其每个要素偏差参数d，对所述级联输出应用所述卷积运算；以及(f)如果(e)步骤的输出被输入应用块中并且之后取得从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分。
根据本发明的另一方面，提供一种学习装置中的CNN的参数的学习方法，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，所述方法包括以下步骤：(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi；(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；(c)所述学习装置执行以下处理：允许与所述比例层和单独的要素偏差层连接的级联层将所述比例层的输出值与单独的要素偏差层的输出值级联，由此获取级联输出；(d)所述学习装置执行以下处理：允许与所述级联层连接的激活层对所述级联输出应用非线性激活函数；(e)所述学习装置执行以下处理：允许所述卷积层通过使用所述卷积层的每个要素权重参数pi及其每个要素偏差参数d，对所述激活层的输出值应用所述卷积运算；以及(f)如果步骤(e)的输出被输入到应用块中并且之后获取从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分。
根据本发明的又一方面，提供一种用于CNN的参数学习的学习装置，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，所述学习装置包括：通信部，用于接收输入图像；以及处理器，用于执行以下处理：(i)允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi；(ii)允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；(iii)(iii-1)允许与所述比例层连接的特定要素激活层对所述比例层的输出值应用非线性激活函数，以及(iii-2)允许与单独的要素偏差层连接的其它单独的要素激活层对单独的要素偏差层的输出值应用单独的非线性函数；(iv)允许级联层将所述特定要素激活层的输出值和其他要素激活层的输出值级联，由此获取级联输出；(v)允许所述卷积层通过使用所述卷积层的每个要素权重参数pi及其每个要素偏差参数d，对所述级联输出应用所述卷积运算；以及(vi)如果处理(v)的输出被输入到应用块中并且之后获取从所述应用块输出的结果值，则允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分。
根据本发明的又一个方面，提供一种用于CNN的参数学习的学习装置，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，所述学习装置包括：通信部，用于接收输入图像；以及处理器，用于执行以下处理：(i)允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi；(ii)允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；(iii)允许与所述比例层和单独的要素偏差层连接的级联层将所述比例层的输出值与单独的要素偏差层的输出值级联，由此获取级联输出；(iv)允许与所述级联层连接的激活层对所述级联输出应用非线性激活函数；(v)允许所述卷积层通过使用所述卷积层的每个要素权重参数pi及其每个要素偏差参数d，对所述激活层的输出值应用所述卷积运算；以及(vi)如果处理(v)的输出被输入到应用块中并且之后获取从所述应用块输出的结果值，则允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分。
附图说明
以下用来解释本发明的示例实施例的附图仅是本发明的示例实施例的一部分，并且可以基于附图获得其它附图而无需本领域技术人员的创造性劳动：
图1表示能够执行CReLU运算和卷积运算的具有CNN的以往的学习装置的结构。
图2表示根据本发明的一个示例实施例的将CReLU运算与卷积运算相结合的CNN的结构。
图3A和图3B表示图2的示例。
图4A和图4B表示CReLU_Conv运算的示例，图4C表示NCReLU_Conv运算的示例，其中N为3。
图5表示根据本发明另一示例实施例的使用CNN的NCReLU_Conv的CNN的结构。
图6A和图6B表示图5的示例。
图7表示根据本发明又一示例实施例的用于实施图6的NCReLU_Conv运算的学习装置。
图8表示图7的示例。
具体实施方式
参考图示以本发明能够实施的特定实施例的附图，对后述的本发明进行详细说明。对这些实施例进行足够详细的描述，使得本领域技术人员能够实施本发明。应该理解，虽然本发明的多种实施例彼此不同，但不必相互排斥。例如，在不脱离本发明的精神和范围的情况下，可以在其它实施例中实现本文结合一个实施例描述的特定特征、结构或特性。另外，应该理解，在不脱离本发明的精神和范围的情况下，可以修改每个公开的实施例中的单个要素的位置或布置。因此，以下详细描述不应被视为具有限制的含义，并且本发明的范围仅由所附权利要求连同权利要求所赋予的等同物的全部范围限定，并适当地解释。在附图中，在几个视图中类似的附图标记表示相同或相似的功能。
为了使本领域技术人员容易地实现本发明，将通过参考附图更具体地解释本发明的期望示例实施例。
图2表示根据本发明的一个示例实施例的用于将CReLU运算与卷积运算相结合的CNN的结构。
参照图2，CNN的运算单元200包括比较器201、选择器202和乘法器203。根据本发明，CNN的运算单元200可以由具有通信部(未示出)和处理器(未示出)的计算装置(未示出)来操作。
如果从先前卷积层(未示出)接收到特征映射，则处理器可以允许比较器201、选择器202和乘法器203中的至少一者执行它们的功能。
再次参照图1，图1中的CReLU 120的运算通过使用一个输入产生两个输出，并且其可以由如下所示的公式3表示。
[公式3]
如上面的公式3所示，CReLU根据输入值的范围而具有非零的第一输出或非零的第二输出。
如果卷积层130具有作为其要素参数值，则可以通过如下所示的公式4简要地表达对CReLU 120的运算结果应用的卷积层130的运算。
[公式4]
如果如公式4所示考虑CReLU运算和卷积运算的结合，则可以根据CReLU的输入值的范围来确定卷积层的参数值，CReLU的输入值由如下的公式5示出：
[公式5]
其中,w1＝-b并且w2＝a
其中，CReLU_Conv是指对CReLU的输出应用卷积层的运算结果；x是输入；w1和w2是卷积层的参数；a和b是用于取得w1和w2的卷积层的要素参数。
图2表示CNN的运算单元200以实现公式5。
如果根据现有技术应用CReLU运算然后应用卷积运算，则存在许多不必要的运算，例如，将CReLU的输出乘以0的运算。然而，根据本发明的新方法将CReLU运算和卷积运算结合，由此，根据CReLU的输入值x的范围，选择卷积层的参数w1和w2中的一个。
更具体地，通过参考图2，如果根据本发明的CNN的运算单元200接收输入图像，例如测试图像，则运算单元200允许其中的比较器201将与输入图像的像素值中的每一个相对应的输入值x与预定参考值进行比较，然后输出比较结果。输入图像是如下的概念：不仅包括输入到CNN的图像本身，而且包括从先前卷积层接收的特征映射中的至少一个。预定参考值可以是0，但不限于此。
另外，选择器202通过参考比较结果，输出在参数w1和w2中选择的特定参数，然后将它发送到乘法器203。
乘法器203将输入值x乘以特定参数，从而取得乘积值，然后输出该乘积值。
例如，如公式5所示，如果输入值x小于0，则运算单元200可以将输入值乘以第一参数w1，第一参数w1是卷积层的第二要素参数b的负值；如果输入值x大于或等于0，则运算单元200可以将输入值乘以第二参数w2，该第二参数w2是卷积层的第一要素参数a。
图3A和图3B表示图2的示例。
通过参考图3A，如果输入值x是3，则比较器201输出2作为比较结果，其表示输入值大于预定参考值0，并且选择器202在参数w1(等于0.2)和w2(等于0.8)中选择与比较结果(等于2)对应的w2(等于0.8)，然后将其输出到乘法器203。然后，乘法器203输出通过将输入值x乘以w2(等于0.8)而获得的0.24作为乘法结果。
参照图3B，如果输入值x是-1，则比较器201输出1作为比较结果，其表示输入值小于预定参考值0，并且选择器202在参数w1(等于0.2)和w2(等于0.8)中选择与比较结果(等于1)对应的w1(等于0.2)，然后将其输出到乘法器203。然后，乘法器203输出通过将输入值x乘以w1(等于0.2)获得的0.2作为乘法结果。
图4A和图4B表示CReLU_Conv运算的示例，图4C表示NCReLU_Conv运算的示例，其中N为3。
图4A和图4B示出了表示输入x和输出y之间的关系，即y＝CReLU_Conv(x)的图，其中CReLU_Conv表示如通过图2、图3A和3B所说明的将CReLU运算和卷积运算结合的综合运算。图4A和图4B的图的形状根据w1和w2的值的符号而不同。
另一方面，图4C是通过将线性段的数量增加到3并且去除图必须穿过(0,0)的条件而得到的图。
如图4C所示，线性段的数量可以从2增加到n，并且还可以增加用于划分区段的参考值。这里，各区段包括关于要与输入值进行比较的各范围的信息。运算单元中的比较器可以输出通过参考关于输入值落入的区段的信息而确定的比较结果。
如图4C所示，线性段的数量可以从如4A和4B所示的2增加到n(大于等于3)，例如3，并且如图4C所示，参考值的数量可以从图4A和4B所示的1增加到n-1，例如2。这允许NCReLU_Conv运算可以以分段线性连续函数的形式实施。
这样的NCReLU_Conv可以定义如下：
[公式6]
其中,v1＜…vn-1并且bi+1＝(wi-wi+1)vi+bi,i＞1
其中，NCReLU_Conv表示通过对N路CReLU(或NCReLU)、即包括N个ReLU的CReLU的输出应用卷积层的运算而获得的结果；x是输入值；wi是卷积层的综合权重参数；bi是卷积层的调整偏差参数中的每一个；vi是参考值中的每一个。
另一方面，需要公式6中的bi+1的条件使NCReLU_Conv成为连续函数，并且除了b1之外的偏差参数由给定值b1、wi和vi确定。
图5表示根据本发明另一示例实施例的使用NCReLU_Conv的CNN的结构。
根据本发明另一示例实施例的执行NCReLU_Conv运算的图5的运算单元500是图2的运算单元200的增强版本。运算单元200使用两个区段，而运算单元500使用n段区段来应用分段线性连续函数。
通过参考图5，能够同时执行NCReLU运算和卷积运算的运算单元500可以包括比较器501、第一选择器502、第二选择器503、乘法器504以及加法器505。
根据本发明，CNN中的运算单元500可以由具有通信部(未示出)和处理器(未示出)的计算装置(未示出)来操作。
如果从先前卷积层(未示出)接收到特征映射，则处理器可以允许比较器501、第一选择器502、第二选择器503以及乘法器504和加法器505中的至少一者执行它们的功能。
更具体地，通过参考图5，如果运算单元500接收输入图像，例如测试图像，则运算单元500允许其中的比较器501将与输入图像的像素值中的每一个对应的输入值x与预定参考值进行比较，然后输出比较结果。也就是说，通过参考关于输入值落入的区段的信息确定比较结果。
例如，在图4C所示的例子中，如果x小于v1，则比较结果输出为1，如果x在v1和v2之间，则比较结果输出为2，并且x大于v2，则比较结果输出为3。这里，输入图像是如下的概念：不仅包括输入到CNN的图像本身，而且包括从先前卷积层接收的特征映射中的至少一个。
第一选择器502通过参考比较结果输出在卷积层的多个综合权重参数w1，...，wn中选择的特定综合权重参数，并且第二选择器503通过参考比较结果输出在卷积层的多个调整偏差参数b1，...，bn中选择的特定调整偏差参数。另一方面，处理器可以还同时执行第一选择器502和第二选择器503的处理。
乘法器504将输入值x乘以特定的综合权重参数，由此取得乘积值，然后输出该乘积值，然后加法器505将由第二选择器503选择的特定调整偏差参数与乘积值相加，由此输出合计值。也就是说，合计值可以被视为通过对NCReLU的输出应用卷积层的运算而获得的结果值。
另一方面，在如下所示的公式7中计算公式6的综合权重参数wi中的每一个、调整偏差参数bi中的每一个和参考值vi。
[公式7]
b1＝d-p1q1
bi+1＝(wi-wi+1)vi+bi,i＞1
其中qi(q1至qn-1)是各偏差层的要素偏差参数中的每一个；pi(p1至pn)是卷积层的要素权重参数中的每一个；d是卷积层的要素偏差参数；秩(qi)表示qi在{q1，.....qn-1}中的大小的信息；并且秩-1(i)表示{q1，...qn-1}中的第i个最大数的索引。
图5中所示的N路CReLU_Conv(或NCReLU_Conv)运算单元可以表示由所有的n个可用段组成的分段线性连续函数。此外，所有足够的软函数都可以近似于分段线性连续函数，因而N路CReLU_Conv运算单元可以用于学习这样的软函数。
相反，如图1所示没有偏差的CReLU仅由两个段组成，并且仅表示满足条件“当x＝0时，f(x)＝0”的分段线性连续函数。因此，CReLU_Conv运算单元也只由两个段组成，如图2所示。
如果NCReLU_Conv的n是2，则图5中的NCReLU_Conv运算单元500的运算可以表示如下，其变得与图2中的CReLU_Conv运算单元的运算相同：
[公式8]
CReLU_Conv(x,-b,a＝NCReLU_Conv(x,-b,0,0,a,0
图6A和图6B示出了图5的示例。
通过参考图6A，如果输入值x是-1.5，则比较器501输出1作为比较结果，这表示输入值小于-1的第一参考值v1，由此将比较结果发送到第一选择器502和第二选择器503。
第一选择器502在三个综合权重参数w1、w2和w3中选择-1作为与比较结果对应的特定综合参数w1，并将特定综合参数发送到乘法器504，第二选择器503在三个调整偏差参数b1、b2和b3中选择-1作为与比较结果对应的特定调整偏差参数b1，并将该特定调整偏差参数发送到加法器505。然后，乘法器504输出1.5作为通过将输入值x乘以所选择的特定综合参数w1而获得的乘积值，然后将乘积值发送到加法器505，加法器505输出0.5作为通过将特定调整偏差参数b1与乘积值相加得到的合计值。
通过参考图6B，如果输入值x是0.5，则比较器501输出2作为与比较结果，这表示输入值在-1的第一参考值v1和1的第二参考值v2之间，由此将比较结果发送到第一选择器502和第二选择器503。
第一选择器502在三个综合权重参数w1、w2和w3中选择0.5作为与比较结果对应的特定综合参数w2，并将特定综合参数发送到乘法器504，第二选择器503在三个调整偏差参数b1、b2和b3中选择0.5作为与比较结果对应的特定调整偏差参数b2，并将该特定调整偏差参数发送到加法器505。然后，乘法器504输出0.25作为通过将输入值x乘以所选择的特定综合参数w2获得的乘积值，然后将该乘积值发送到加法器505，加法器505输出0.75作为通过将特定调整偏差参数b2与乘积值相加获得的合计值。
另一方面，为了获得综合权重参数wi中的每一个、调整偏差参数bi中的每一个以及参考值vi中的每一个，必须使用公式7。此外，为了使用公式7，作为各偏差层的每个要素偏差参数的qi(q1至qn-1)、作为卷积层的每个要素权重参数的pi(p1至pn)、以及作为卷积层的要素偏差参数的d必须通过学习装置获得。
图7表示根据本发明的又一示例实施例的用于实施图6的NCReLU_Conv运算的学习装置。
与如图1所示的每个激活模块使用一个CReLU的学习装置100不同，根据本发明的学习装置700在一个激活模块中使用NCReLU。
NCReLU具有n-1个偏差层，当n增加时，偏差层和要素激活层即ReLU层的对的数量增加。稍后将对其进行说明，但是，如果要素激活层和级联层的顺序变化，则仅偏差层的数量增加，并且仅需要一个要素激活层。
通过参考图7，学习装置700具有交替设置的多个卷积层(例如，卷积层710和730)、以及多个NCReLU(例如，NCReLU 720和其它NCReLU(未示出))。
激活模块720包括n-1个偏差层721，偏差层中的每一个具有要素偏差参数q1至qn-1中的每一个。更理想地，除了第一偏差层的要素偏差参数q1之外，第二至第(n-1)偏差层的要素偏差参数q2，...，qn-1的顺序可以设定为q2>...>qn-1。
此外，激活模块720包括一个比例层722和n个要素激活层723，例如ReLU层。n-1个偏差层721中的连接到特定偏差层、即第一偏差层的比例层722执行将特定偏差层的输出值乘以预定比例值的处理，然后执行将其传输到特定要素激活层、即特定ReLU层的处理。
然后，学习装置执行以下处理：(i)允许连接到比例层722的特定要素激活层对比例层722的输出值应用非线性激活函数；以及(ii)允许连接到单个要素偏差层721的其它单个要素激活层应用单个非线性函数以输出单个要素偏差层721的值。非线性激活函数是ReLU运算，并且比例层的比例值可以是-1，但是不限于此。
然后，学习装置执行允许级联层724将特定要素激活层的输出值和其它要素激活层的输出值级联的处理，由此取得级联输出。
作为另一示例，要素激活层723和级联层724的顺序可以改变。如果要素激活层723设置在级联层724之后，则要素激活层723的数量可以是一个。
再参考图7，如果激活模块720的输出、即级联层724的输出被发送到下一个卷积层730，则学习装置执行允许下一个卷积层730通过使用每个要素权重参数pi和下一个卷积层730的每个要素偏差参数d对级联后的输出应用卷积运算的处理。
在经过交替设置的所述多个卷积层、例如卷积层710和730、以及所述多个NCReLU、例如NCReLU 720和其它NCReLU(未示出)之后，取得的输出输入可以被输入到应用块740，然后，取得从应用块输出的结果值，例如标注图像。
然后，学习装置允许损失层750取得通过将从应用块输出的结果值和与其对应的GT的值进行比较计算出的损失，由此在反向传播处理中调整单个要素偏差层的每个要素偏差参数qi、要素权重参数pi和要素偏差参数d中的至少一部分。
如果如图7所示学习通过具有NCReLU的学习装置700完成，则取得(i)n-1个偏差层的要素偏差参数q1，...，qn-1、(ii)卷积层730的卷积层的要素权重参数p1，...，pn以及(iii)要素偏差参数d的各自的最佳值。另外，如上所述，通过公式6和7在NCReLU_Conv运算单元中使用最优值。
如果学习每个参数的处理通过图7的学习装置已经完成，则移除损失层750，然后通过测试装置(未示出)执行测试而无需损失层705。换句话说，在使测试图像经过交替设置的所述多个卷积层、例如卷积层710和730和所述多个NCReLU、例如NCReLU 720和其它NCReLU(未示出))之后，测试装置可以允许(通过经过所述多个卷积层和所述多个NCReLU取得)输出被输入到应用块740，然后可以取得从应用块704输出的结果值。例如，应用块740可以是对象检测块或语义分割块，但是不限于此。
图8表示图7的示例。
图8示出了取代公式6，通过与图7中的学习装置700相同的CNN模型，使用卷积层的要素权重参数p1，...，pn、其要素偏差参数d以及偏差层的要素偏差参数q1，...，qn-1来计算输入值的示例。
如图6B所示，如果通过先前卷积层710将0.5的输入值x发送到激活模块720，则激活模块720的第一偏差层将应用值为-1的第一偏差参数q1取得的-0.5发送到激活模块720的比例层722和第二偏差层，并且将通过应用值为1的第二偏差参数q2取得的1.5发送到第三ReLU层。
另一方面，学习装置允许比例层722从第一偏差层接收值-0.5，然后将-0.5乘以-1，由此取得乘积值0.5，然后乘积值0.5被发送到第一ReLU层。其结果，第一至第三ReLU层分别接收0.5、-0.5和1.5，然后通过应用ReLU运算分别输出0.5、0和1.5。级联层724将第一至第三ReLU层的输出级联，并将级联值发送到下一卷积层730。
通过对第一至第三ReLU层的输出应用要素权重参数1、-0.5和1.5以及要素偏差参数-2，卷积层输出0.75作为输出y，y是0.5*1+0*(-0.5)+1.5*1.5+(-2)。这样，可以通过图7中的学习装置或类似于学习装置的形式的CNN模型发现，作为来自卷积层730的输出值的0.75等于通过图6B中的运算单元输出的值。
本发明的技术领域的技术人员可以理解的是，可以通过以下学习装置的通信部和测试装置进行上述图像、例如输入图像、训练图像和测试图像等的图像数据的发送和接收，并且可以通过学习装置的处理器(或存储器)和测试装置保持和维护用于执行各种运算的特征映射和各种数据。
根据本发明，可以通过需要较少运算量的新运算单元同时执行CReLU运算和卷积运算。
另外，本发明具有实施N路CReLU运算并减少卷积运算量的效果，从而提高了检测精度而不会大幅增加运算量。
本发明的技术方案的目标或有助于现有技术的部件可以通过各种计算机装置以可执行程序命令的形式实现，并且可以记录到计算机可读记录介质中。计算机可读介质可以单独地或组合地包括程序命令、数据文件和数据结构。记录到所述介质的程序命令可以是为本发明专门设计的组件，或者可以用于计算机软件领域的技术人员。计算机可读记录介质包括诸如硬盘、软盘和磁带之类的磁介质，诸如CD-ROM(只读光盘)和DVD(高密度数字视频光盘)之类的光学介质，诸如光磁盘之类的磁光介质以及诸如ROM、RAM和闪存之类的专门设计用来存储和执行程序的硬件设备。程序命令不仅包括由编译器产生的机器语言代码，还包括可通过使用解释器等来由计算机执行的高级代码。上述硬件设备可以不仅用作执行本发明的动作的软件模块，并且在相反的情况下它们可以做同样的事情。硬件设备可以与诸如ROM和RAM的存储器结合以存储程序命令，并且包括诸如CPU或GPU的处理器，构造为执行存储在存储器中的命令，并且还包括用于与外部设备发送和接收信号的通信部。
如上所述，已经通过诸如详细部件、有限的实施例和附图的特定事项解释了本发明。虽然已经参考优选实施例示出和描述了本发明，但是本领域技术人员应理解，在不脱离如以下权利要求所限定的本发明的精神和范围的情况下，可以进行各种改变和修改。
因此，本发明的思想不应局限于所解释的实施例，并且以下专利权利要求以及包括与专利权利要求相同或等同变型的所有内容都属于本发明的思想范畴。

Claims (16)

1.一种学习装置中的CNN的参数学习的学习方法，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，
所述方法包括以下步骤：
(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi，其中，所述输入值与所述输入图像的像素值中的每一个相对应，并且所述输入图像是如下的概念：不仅包括输入到所述CNN的图像本身，而且包括从先前卷积层接收的特征映射中的至少一个；
(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；
(c)所述学习装置执行以下处理：(i)允许与所述比例层连接的特定要素激活层对所述比例层的输出值应用非线性激活函数，以及(ii)允许与单独的要素偏差层连接的其它单独的要素激活层对单独的要素偏差层的输出值应用单独的非线性函数，其中，所述要素激活层与n个线性段相对应，该n个线性段将被用于向所述比例层的输出值或所述单独的要素偏差层的输出值应用n个非线性激活函数，并且其中，参考值被用于划分与所述n个线性段相对应的区段，并且所述区段包括关于要与所述输入值比较的各个范围的信息；
(d)所述学习装置执行以下处理：允许级联层将所述特定要素激活层的输出值和其他要素激活层的输出值级联，由此获取级联输出；
(e)所述学习装置执行以下处理：允许所述卷积层通过以下操作对所述级联输出应用所述卷积运算：(i)将所述卷积层的每个要素权重参数pi与所述级联输出中所包括的相应的要素激活层的每个输出值相乘，从而获得每个相乘得到的结果，和(ii)将所述每个相乘得到的结果和要素偏差参数d相加求和；以及
(f)如果(e)步骤的输出被输入应用块中并且之后获取从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分，其中所述(e)步骤的输出是所述激活模块的激活运算和所述卷积层的卷积运算的综合结果。
2.根据权利要求1所述的学习方法，其中，所述比例值是负值。
3.根据权利要求1所述的学习方法，其中，所述激活模块包括N路CReLUs，并且所述要素激活层是修正线性单元层、即ReLU层。
4.根据权利要求1所述的学习方法，其中，如果在步骤(c)中使用n个要素激活层，则在步骤(a)中使用n-1个要素偏差层。
5.一种学习装置中的CNN的参数学习的学习方法，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，
所述方法包括以下步骤：
(a)所述学习装置执行以下处理：允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi，其中，所述输入值与所述输入图像的像素值中的每一个相对应，并且所述输入图像是如下的概念：不仅包括输入到所述CNN的图像本身，而且包括从先前卷积层接收的特征映射中的至少一个；
(b)所述学习装置执行以下处理：允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；
(c)所述学习装置执行以下处理：允许与所述比例层和单独的要素偏差层连接的级联层将所述比例层的输出值与单独的要素偏差层的输出值级联，由此获取级联输出；
(d)所述学习装置执行以下处理：允许与所述级联层连接的激活层对所述级联输出应用非线性激活函数，其中，所述激活层与n个线性段相对应，该n个线性段将被用于向所述级联输出中所包括的所述比例层的输出值或所述单独的要素偏差层的输出值应用所述非线性激活函数，并且其中，参考值被用于划分与所述n个线性段相对应的区段，并且所述区段包括关于要与所述输入值比较的各个范围的信息；
(e)所述学习装置执行以下处理：允许所述卷积层通过以下操作对所述激活层的输出值应用所述卷积运算：(i)将所述卷积层的每个要素权重参数pi与所述激活层的输出值相乘，从而获得每个相乘得到的结果，和(ii)将所述每个相乘得到的结果和要素偏差参数d相加求和；以及
(f)如果步骤(e)的输出被输入到应用块中并且之后获取从所述应用块输出的结果值，则所述学习装置允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分，其中所述(e)步骤的输出是所述激活模块的激活运算和所述卷积层的卷积运算的综合结果。
6.根据权利要求5所述的学习方法，其中，所述比例值是负值。
7.根据权利要求5所述的学习方法，其中，所述激活模块包括N路CReLUs，并且所述激活层是修正线性单元层、即ReLU层。
8.根据权利要求5所述的学习方法，其中，在步骤(a)中使用n-1个要素偏差层。
9.一种用于CNN的参数学习的学习装置，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，
所述学习装置包括：
通信部，用于接收输入图像；以及
处理器，用于执行以下处理：(i)允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi，其中，所述输入值与所述输入图像的像素值中的每一个相对应，并且所述输入图像是如下的概念：不仅包括输入到所述CNN的图像本身，而且包括从先前卷积层接收的特征映射中的至少一个；(ii)允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；(iii)(iii-1)允许与所述比例层连接的特定要素激活层对所述比例层的输出值应用非线性激活函数，以及(iii-2)允许与单独的要素偏差层连接的其它单独的要素激活层对单独的要素偏差层的输出值应用单独的非线性函数，其中，所述要素激活层与n个线性段相对应，该n个线性段将被用于向所述比例层的输出值或所述单独的要素偏差层的输出值应用n个非线性激活函数，并且其中，参考值被用于划分与所述n个线性段相对应的区段，并且所述区段包括关于要与所述输入值比较的各个范围的信息；(iv)允许级联层将所述特定要素激活层的输出值和其他要素激活层的输出值级联，由此获取级联输出；(v)允许所述卷积层通过以下操作对所述级联输出应用所述卷积运算：(v-1)将所述卷积层的每个要素权重参数pi与所述级联输出中所包括的相应的要素激活层的每个输出值相乘，从而获得每个相乘得到的结果，和(v-2)将所述每个相乘得到的结果和要素偏差参数d相加求和；以及(vi)如果处理(v)的输出被输入到应用块中并且之后获取从所述应用块输出的结果值，则允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分，其中所述处理(v)的输出是所述激活模块的激活运算和所述卷积层的卷积运算的综合结果。
10.根据权利要求9所述的学习装置，其中，所述比例值是负值。
11.根据权利要求9所述的学习装置，其中，所述激活模块包括N路CReLUs，并且所述要素激活层是修正线性单元层、即ReLU层。
12.根据权利要求9所述的学习装置，其中，如果在处理(iii)中使用n个要素激活层，则在处理(i)中使用n-1个要素偏差层。
13.一种用于CNN的参数学习的学习装置，在所述学习装置中执行(i)激活模块的激活运算，所述激活模块包括多个要素偏差层、比例层和多个要素激活层，以及(ii)卷积层的卷积运算，
所述学习装置包括：
通信部，用于接收输入图像；以及
处理器，用于执行以下处理：(i)允许与输入图像相对应的输入值发送到单独的多个要素偏差层，然后允许单独的多个要素偏差层中的每一个对所述输入值应用其对应的每个要素偏差参数qi，其中，所述输入值与所述输入图像的像素值中的每一个相对应，并且所述输入图像是如下的概念：不仅包括输入到所述CNN的图像本身，而且包括从先前卷积层接收的特征映射中的至少一个；(ii)允许与所述多个要素偏差层中的特定要素偏差层连接的所述比例层将预定比例值乘以所述特定要素偏差层的输出值；(iii)允许与所述比例层和单独的要素偏差层连接的级联层将所述比例层的输出值与单独的要素偏差层的输出值级联，由此获取级联输出；(iv)允许与所述级联层连接的激活层对所述级联输出应用非线性激活函数，其中，所述激活层与n个线性段相对应，该n个线性段将被用于向所述级联输出中所包括的所述比例层的输出值或所述单独的要素偏差层的输出值应用所述非线性激活函数，并且其中，参考值被用于划分与所述n个线性段相对应的区段，并且所述区段包括关于要与所述输入值比较的各个范围的信息；(v)允许所述卷积层通过以下操作对所述激活层的输出值应用所述卷积运算：(v-1)将所述卷积层的每个要素权重参数pi与所述激活层的输出值相乘，从而获得每个相乘得到的结果，和(v-2)将所述每个相乘得到的结果和要素偏差参数d相加求和；以及(vi)如果处理(v)的输出被输入到应用块中并且之后获取从所述应用块输出的结果值，则允许损失层获取通过将从所述应用块输出的所述结果值和与其对应的GT的值进行比较而计算出的损失，由此在反向传播处理的过程中调整单独的要素偏差层的每个要素偏差参数qi、所述要素权重参数pi和所述要素偏差参数d中的至少一部分，其中所述处理(v)的输出是所述激活模块的激活运算和所述卷积层的卷积运算的综合结果。
14.根据权利要求13所述的学习装置，其中，所述比例值是负值。
15.根据权利要求13所述的学习装置，其中，所述激活模块包括N路CReLUs，并且所述激活层是修正线性单元层、即ReLU层。
16.根据权利要求13所述的学习装置，其中，在处理(i)中使用n-1个要素偏差层。
CN201811197180.1A 2017-10-13 2018-10-15 用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置 Active CN109670575B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/783,367 US10049323B1 (en) 2017-10-13 2017-10-13 Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
US15/783,367 2017-10-13

Publications (2)

Publication Number Publication Date
CN109670575A CN109670575A (zh) 2019-04-23
CN109670575B true CN109670575B (zh) 2023-07-21

Family

ID=63078872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811197180.1A Active CN109670575B (zh) 2017-10-13 2018-10-15 用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置

Country Status (5)

Country Link
US (1) US10049323B1 (zh)
EP (1) EP3471025A1 (zh)
JP (1) JP6676722B2 (zh)
KR (1) KR102112997B1 (zh)
CN (1) CN109670575B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093654A1 (en) * 2018-11-06 2020-05-14 Genesys Logic, Inc. Multichip system and data processing method adapted to the same for implementing neural network application
US10803594B2 (en) 2018-12-31 2020-10-13 Beijing Didi Infinity Technology And Development Co., Ltd. Method and system of annotation densification for semantic segmentation
US10467500B1 (en) 2018-12-31 2019-11-05 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
US11461653B2 (en) * 2019-01-23 2022-10-04 StradVision, Inc. Learning method and learning device for CNN using 1xK or Kx1 convolution to be used for hardware optimization, and testing method and testing device using the same
US10410120B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
US10890916B2 (en) * 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
US11615303B2 (en) * 2019-02-25 2023-03-28 Samsung Electronics Co., Ltd. Electronic device for classifying classes, electronic device for providing classification model for classifying classes, and method for operating the same
KR20210017185A (ko) 2019-08-07 2021-02-17 한국전자통신연구원 심층 신경망을 기반으로 영상의 압축 포아송 잡음을 제거하는 방법 및 장치
CN110689081B (zh) * 2019-09-30 2020-08-21 中国科学院大学 一种基于分歧学习的弱监督目标分类和定位方法
US20210150306A1 (en) * 2019-11-14 2021-05-20 Qualcomm Incorporated Phase selective convolution with dynamic weight selection
US11449758B2 (en) 2020-03-11 2022-09-20 Qualcomm Incorproated Quantization and inferencing for low-bitwidth neural networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992167A (zh) * 2015-07-28 2015-10-21 中国科学院自动化研究所 一种基于卷积神经网络的人脸检测方法及装置
CN106204468A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于ReLU卷积神经网络的图像去噪方法
CN107229942A (zh) * 2017-04-16 2017-10-03 北京工业大学 一种基于多个分类器的卷积神经网络快速分类方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836839B2 (en) 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
CN108140141B (zh) 2015-08-15 2019-09-06 易享信息技术有限公司 在深度神经网络中对表征输入放射体的三维3d数据进行分类的计算机实现的方法及系统
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
JP6658033B2 (ja) 2016-02-05 2020-03-04 富士通株式会社 演算処理回路、および情報処理装置
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
IL281321B (en) 2016-10-04 2022-07-01 Magic Leap Inc Efficient data layouts for convolutional neural networks
KR102631381B1 (ko) 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
KR20180073118A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992167A (zh) * 2015-07-28 2015-10-21 中国科学院自动化研究所 一种基于卷积神经网络的人脸检测方法及装置
CN106204468A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于ReLU卷积神经网络的图像去噪方法
CN107229942A (zh) * 2017-04-16 2017-10-03 北京工业大学 一种基于多个分类器的卷积神经网络快速分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bailey Kong.Energy-Based Spherical Sparse Coding.《https://arxiv.org/abs/1710.01820》.2017, *
Energy-Based Spherical Sparse Coding;Bailey Kong;《https://arxiv.org/abs/1710.01820》;20171030;第1-12页 *
HoloNet: towards robust emotion recognition in the wild;Anbang Yao;《ICMI "16: Proceedings of the 18th ACM International Conference on Multimodal Interaction》;20161030;第473-478页 *

Also Published As

Publication number Publication date
JP6676722B2 (ja) 2020-04-08
KR102112997B1 (ko) 2020-06-02
US10049323B1 (en) 2018-08-14
EP3471025A1 (en) 2019-04-17
CN109670575A (zh) 2019-04-23
JP2019075115A (ja) 2019-05-16
KR20190041922A (ko) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109670575B (zh) 用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置
CN109670574B (zh) 用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置
Choukroun et al. Low-bit quantization of neural networks for efficient inference
EP3467721B1 (en) Method and device for generating feature maps by using feature upsampling networks
KR102379700B1 (ko) 신경망 프로세서의 벡터 컴퓨테이션 유닛
CN106991646B (zh) 一种基于密集连接网络的图像超分辨率方法
JP6540725B2 (ja) 演算処理装置、方法、およびプログラム
CN108604369B (zh) 一种去除图像噪声的方法、装置、设备及卷积神经网络
JP6977864B2 (ja) 推論装置、畳み込み演算実行方法及びプログラム
TW201918939A (zh) 用於學習低精度神經網路的方法及裝置
KR102458243B1 (ko) 얼굴 영상 분석 방법 및 장치
CN107526709A (zh) 使用低精度格式的张量处理
US10311337B1 (en) Method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network
CN112508125A (zh) 一种图像检测模型的高效全整数量化方法
CN111105375B (zh) 图像生成方法及其模型训练方法、装置及电子设备
WO2020118608A1 (zh) 一种反卷积神经网络的硬件加速方法、装置和电子设备
CN116363261A (zh) 图像编辑模型的训练方法、图像编辑方法和装置
US11900577B2 (en) Processing apparatus for performing processing using a convolutional neural network
EP3686809A1 (en) Method and device for transforming cnn layers to optimize cnn parameter quantization to be used for mobile devices or compact networks with high precision via hardware optimization
CN111951171A (zh) Hdr图像生成方法、装置、可读存储介质及终端设备
CN113965313A (zh) 基于同态加密的模型训练方法、装置、设备以及存储介质
CN116206621B (zh) 口型驱动模型训练方法、装置、电子设备和存储介质
CN112446461A (zh) 一种神经网络模型训练方法及装置
CN110852348A (zh) 特征图处理方法、图像处理方法及装置
CN114663774B (zh) 一种轻量级的显著性物体检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant