CN111476247B - 利用了1xK或Kx1卷积运算的CNN方法及装置 - Google Patents

利用了1xK或Kx1卷积运算的CNN方法及装置 Download PDF

Info

Publication number
CN111476247B
CN111476247B CN201911314750.5A CN201911314750A CN111476247B CN 111476247 B CN111476247 B CN 111476247B CN 201911314750 A CN201911314750 A CN 201911314750A CN 111476247 B CN111476247 B CN 111476247B
Authority
CN
China
Prior art keywords
layer
test
channel
feature map
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911314750.5A
Other languages
English (en)
Other versions
CN111476247A (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111476247A publication Critical patent/CN111476247A/zh
Application granted granted Critical
Publication of CN111476247B publication Critical patent/CN111476247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/36—Handling requests for interconnection or transfer for access to common bus or bus system
    • G06F13/368—Handling requests for interconnection or transfer for access to common bus or bus system with decentralised access control
    • G06F13/378—Handling requests for interconnection or transfer for access to common bus or bus system with decentralised access control using a parallel poll method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding

Abstract

本发明涉及利用了1xK或Kx1卷积运算的CNN方法及装置，其利用为使用于满足KPI的硬件优化而提供的1xK卷积运算或Kx1卷积运算来学习CNN的参数，其特征在于，包括如下步骤：学习装置(a)使重塑层将由训练图像或对此进行加工的特征图的K个通道构成的各个组内的特征2维地级联来生成重塑特征图，使后续卷积层对重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整特征图；及(b)使输出层参照调整特征图或对此进行加工的特征图上的特征，使损失层参照来自输出层的输出和与此对应的至少一个GT来算出损失。

Description

利用了1xK或Kx1卷积运算的CNN方法及装置
技术领域
本发明涉及使用于硬件优化的利用1xK或Kx1卷积运算学习CNN的参数的方法，更具体地，涉及如下的学习方法及学习装置、利用其的测试方法及测试装置：一种利用上述1xK卷积运算或上述Kx1卷积运算来学习上述CNN的上述参数的学习方法，其特征在于，其包括如下步骤：(a)当获得至少一个训练图像时，学习装置使重塑层(Reshaping Layer)将由上述训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的各个特征2维地级联(Concatenating)来生成重塑特征图(Reshaped Feature Map)，使后续(Subsequent)卷积层对上述重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷(Volume)的调整特征图(Adjusted Feature Map)；及(b)上述学习装置使输出层参照上述调整特征图或对此进行加工的特征图上的特征来生成至少一个输出，使损失层参照上述输出和与此对应的至少一个GT(Ground Truth：真值)来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数。
背景技术
深度卷积神经网络(Deep Convolutional Neural Network；Deep CNN)是在深度学习领域中发生的惊人的发展核心。CNN虽然在90年代已被用来解决文字识别问题，但它之所以能够像现在这样被广泛使用，还要归功于近年来的研究结果。这样的深度CNN在2012年的ImageNet图像分类比赛中击败其他竞争者而获得冠军。之后，卷积神经网络在机械学习(Machine Learning)领域中成为非常有用的工具。
CNN包括在图像中提取特征的特征提取器(Feature Extractor)及检测图像内的对象或参照由特征提取器提取的特征而识别图像的特征分类器(Feature Classifier)。
并且，CNN的特征提取器包括卷积层，特征分类器包括能够对特征提取器所提取的特征适用FC运算(Fully Connected Operation)的至少一个FC层。
卷积层在CNN所进行的几乎大部分的运算中占据最重要的部分。
卷积层还利用关于附近像素的信息来从局部感受野(Local Receptive Field)提取特征。但是，卷积层的过滤器的特性(Characteristic)为线性的，因此过滤器无法良好地提取非线性的特征。为了解决这样的问题，需要增加特征图的数量，而在这样的情况下，存在运算量增加的问题。
因此，为了将运算量最小化而使用能够减少特征图的次元的1x1卷积层。
1x1卷积层可从各种特征图将具备类似的性质的特征图区分开，其结果可减少特征图的数字，减少运算量。
另外，当运算量减少时，会出现神经网络更深的余地。
另外，1x1卷积层可使用于图像分割或代替FC层而使用于特征提取器等。
此时，本发明人要提出比1x1卷积层的卷积运算能够更加有效地减少卷积运算量的CNN。
发明内容
发明要解决的课题
本发明的目的在于解决上述全部问题。
本发明的另一目的在于提供一种能够有效地减少卷积运算量的CNN。
本发明的又一目的在于提供一种通过卷积运算而能够更有效地提取图像上的特征的CNN。
用于解决课题的手段
用于达到如上述的本发明的目的并实现后述的本发明的特征效果的本发明的特征性结构如下。
根据本发明的一个方式，提供一种利用1xK卷积运算或Kx1卷积运算来学习CNN的参数的学习方法，其特征在于，其包括如下步骤：(a)当获得至少一个训练图像时，学习装置使重塑层(Reshaping Layer)将由上述训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的各个特征2维地级联(Concatenating)来生成重塑特征图(Reshaped Feature Map)，使后续(Subsequent)卷积层对上述重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷(Volume)的调整特征图(Adjusted Feature Map)；及(b)上述学习装置使输出层参照上述调整特征图或对此进行加工的特征图上的特征来生成至少一个输出，使损失层参照上述输出和与此对应的至少一个GT(Ground Truth：真值)来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数。
在一个实施例中，在上述(a)步骤中，在上述训练图像或对此进行加工的特征图的通道数量并非K的倍数的情况下，上述学习装置使上述重塑层对上述训练图像或对此进行加工的特征图的通道追加至少一个虚拟通道(Dummy Channel)来使包括至少一个上述虚拟通道的上述通道的数量成为K的倍数，然后将由包括上述训练图像或对此进行加工的特征图的至少一个上述虚拟通道的上述所有通道中的各自对应的K个上述通道构成的各个上述组内的上述各个特征级联。
在一个实施例中，在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道数量设为L的情况下，在上述(a)步骤中，上述学习装置使上述重塑层生成宽度为W，高度为HxK，通道为CEIL的上述重塑特征图。
在一个实施例中，在将上述后续卷积层的卷积核(Kernel)数量设为M的情况下，在上述(a)步骤中，上述学习装置使上述后续卷积层对上述重塑特征图适用1xK卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述调整特征图。
在一个实施例中，在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道数量设为L的情况下，在上述(a)步骤中，上述学习装置使上述重塑层生成宽度为WxK，高度为H，通道为CEIL的上述重塑特征图。
在一个实施例中，在将上述后续卷积层的卷积核数量设为M的情况下，在上述(a)步骤中，上述学习装置使上述后续卷积层对上述重塑特征图适用Kx1卷积运算来生成具备宽度为W，高度为H，通道为M的具备WxHxM的卷的上述调整特征图。
在一个实施例中，在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道数量设为L的情况下，在上述(a)步骤中，上述学习装置使上述重塑层(i)生成宽度为W，高度为HxK，通道为CEIL的上述重塑特征图，或者(ii)生成宽度为WxK，高度为H，通道为CEIL/>的上述重塑特征图，在上述第CEIL/>个通道上的上述重塑特征图的最终部分(Final Part)的尺寸并非宽度为W，高度为HxK的尺寸的情况下，使上述重塑层追加至少一个零填充(Zero Padding)来使上述第CEIL/>个通道上的上述重塑特征图的上述最终部分的尺寸为宽度为W，高度为HxK的尺寸，或者使上述第CEIL/>个通道上的上述重塑特征图的上述最终部分的尺寸并非宽度为WxK，高度为H的尺寸的情况下，使上述重塑层追加至少一个零填充来使上述第CEIL/>个通道上的上述重塑特征图的上述最终部分的尺寸成为宽度为WxK，高度为H的尺寸。
根据本发明的另一个方式，提供一种利用1xK卷积运算或Kx1卷积运算来测试CNN的测试方法，其特征在于，其包括如下步骤：(a)学习装置(i)使重塑层(Reshaping Layer)将由至少一个训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的学习用各个特征2维地级联(Concatenating)来生成学习用重塑特征图(Reshaped Feature Map)，使后续(Subsequent)卷积层对上述学习用重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷(Volume)的学习用调整特征图(AdjustedFeature Map)，(ii)使输出层参照上述学习用调整特征图或对此进行加工的特征图上的特征来生成至少一个学习用输出，使损失层参照上述学习用输出和与此对应的至少一个GT(Ground Truth：真值)来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数的状态下，当获得至少一个测试图像时，测试装置使上述重塑层(Reshaping Layer)将由上述测试图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的测试用各个特征2维地级联(Concatenating)来生成测试用重塑特征图(Reshaped Feature Map)，使上述后续(Subsequent)卷积层对上述测试用重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷(Volume)的测试用调整特征图(Adjusted Feature Map)；及(b)上述测试装置使上述输出层参照上述测试用调整特征图或对此进行加工的特征图上的特征来生成至少一个测试用输出。
在一个实施例中，在上述(a)步骤中，在上述测试图像或对此进行加工的特征图的通道数量并非K的倍数的情况下，上述测试装置使上述重塑层对上述测试图像或对此进行加工的特征图的通道追加至少一个虚拟通道(Dummy Channel)来使包括至少一个上述虚拟通道的上述通道的数量成为K的倍数，然后将由包括上述测试图像或对此进行加工的特征图的至少一个上述虚拟通道的上述所有通道中的各自对应的K个上述通道构成的各个上述组内的上述各个特征级联。
在一个实施例中，在将上述测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，在上述(a)步骤中，上述测试装置使上述重塑层生成宽度为W，高度为HxK，通道为CEIL的上述测试用重塑特征图。
在一个实施例中，在将上述后续卷积层的卷积核(Kernel)数量设为M的情况下，在上述(a)步骤中，上述测试装置使上述后续卷积层对上述测试用重塑特征图适用1xK卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述测试用调整特征图。
在一个实施例中，在将上述测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，在上述(a)步骤中，上述测试装置使上述重塑层生成宽度为WxK，高度为H，通道为CEIL的上述测试用重塑特征图。
在一个实施例中，在将上述后续卷积层的卷积核数量设为M的情况下，在上述(a)步骤中，上述测试装置使上述后续卷积层对上述测试用重塑特征图适用Kx1卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述测试用调整特征图。
在一个实施例中，在将上述测试图像或上述对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，在上述(a)步骤中，上述测试装置使上述重塑层(i)生成宽度为W，高度为HxK，通道为CEIL的上述测试用重塑特征图，或者(ii)生成宽度为WxK，高度为H，通道为CEIL/>的上述测试用重塑特征图，在上述第CEIL/>个通道上的上述测试用重塑特征图的最终部分(Final Part)的尺寸并非宽度为W，高度为HxK的尺寸的情况下，使上述重塑层追加至少一个零填充(Zero Padding)来使上述第CEIL/>个通道上的上述测试用重塑特征图的上述最终部分的尺寸成为宽度为W，高度为HxK的尺寸，或者在上述第CEIL/>个通道上的上述测试用重塑特征图的上述最终部分的尺寸并非宽度为WxK，高度为H的尺寸的情况下，使上述重塑层追加至少一个零填充来使上述第CEIL/>个通道上的上述测试用重塑特征图的上述最终部分的尺寸为宽度为WxK，高度为H的尺寸。
根据本发明的又一个方式，提供一种利用1xK卷积运算或Kx1卷积运算来学习CNN的参数的学习装置，其特征在于，其包括：至少一个存储器，它们存储指令；及至少一个处理器，它们用于执行上述指令，上述指令用于执行如下处理：(I)使重塑层(Reshaping Layer)将由至少一个训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的各个特征2维地级联(Concatenating)来生成重塑特征图(Reshaped FeatureMap)，使后续(Subsequent)卷积层对上述重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷(Volume)的调整特征图(Adjusted Feature Map)，及(II)使输出层参照上述调整特征图或对此进行加工的特征图上的特征来生成至少一个输出，使损失层参照上述输出和与此对应的至少一个GT(Ground Truth：真值)来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数。
在一个实施例中，在上述(I)处理中，在上述训练图像或对此进行加工的特征图的通道数量并非K的倍数的情况下，上述处理器使上述重塑层对上述训练图像或对此进行加工的特征图的通道追加至少一个虚拟通道(Dummy Channel)来使包括至少一个上述虚拟通道的上述通道的数量成为K的倍数，然后将由包括上述训练图像或对此进行加工的特征图的至少一个上述虚拟通道的上述所有通道中的各自对应的K个上述通道构成的各个上述组内的上述各个特征级联。
在一个实施例中，在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，在上述(I)处理中，上述处理器使上述重塑层生成宽度为W，高度为HxK，通道为CEIL的上述重塑特征图。
在一个实施例中，在将上述后续卷积层的卷积核(Kernel)数量设为M的情况下，在上述(I)处理中，上述处理器使上述后续卷积层对上述重塑特征图适用1xK卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述调整特征图。
在一个实施例中，在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，在上述(I)处理中，上述处理器使上述重塑层生成宽度为WxK，高度为H，通道为CEIL的上述重塑特征图。
在一个实施例中，在将上述后续卷积层的卷积核数量设为M的情况下，在上述(I)处理中，上述处理器使上述后续卷积层对上述重塑特征图适用Kx1卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述调整特征图。
在一个实施例中，在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，在上述(I)处理中，上述处理器使上述重塑层(i)生成宽度为W，高度为HxK，通道为CEIL的上述重塑特征图，或者(ii)生成宽度为WxK，高度为H，通道为CEIL/>的上述重塑特征图，在上述第CEIL/>个通道上的上述重塑特征图的最终部分(Final Part)的尺寸并非为宽度为W，高度为HxK的尺寸的情况下，使上述重塑层追加至少一个零填充(Zero Padding)来使上述第CEIL/>个通道上的上述重塑特征图的上述最终部分的尺寸成为宽度为W，高度为HxK的尺寸，或者上述第CEIL/>个通道上的上述重塑特征图的最终部分的尺寸并非为宽度为WxK，高度为H的尺寸的情况下，使上述重塑层追加至少一个零填充来使上述第CEIL/>个通道上的上述重塑特征图的上述最终部分的尺寸为宽度为WxK，高度为H的尺寸。
根据本发明的又一个方式，提供一种利用1xK卷积运算或Kx1卷积运算而测试CNN的测试装置，其特征在于，其包括：至少一个存储器，它们存储指令；及至少一个处理器，它们执行使学习装置执行如下处理的上述指令：(i)使重塑层(Reshaping Layer)将由至少一个训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的学习用各个特征2维地级联(Concatenating)来生成学习用重塑特征图(ReshapedFeature Map)，使后续(Subsequent)卷积层对上述学习用重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷(Volume)的学习用调整特征图(Adjusted Feature Map)，(ii)使输出层参照上述学习用调整特征图或对此进行加工的特征图上的特征来生成至少一个学习用输出，使损失层参照上述学习用输出和与此对应的至少一个GT(Ground Truth：真值)来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数的状态下，(I)使上述重塑层(Reshaping Layer)将由至少一个测试图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的测试用各个特征2维地级联(Concatenating)来生成重塑特征图(Reshaped Feature Map)，使上述后续(Subsequent)卷积层对上述重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷(Volume)的测试用调整特征图(Adjusted Feature Map)，及(II)使上述输出层参照上述测试用调整特征图或对此进行加工的特征图上的特征来生成至少一个测试用输出。
在一个实施例中，在上述(I)处理中，在上述测试图像或对此进行加工的特征图的通道数量并非K的倍数的情况下，上述处理器使上述重塑层对上述测试图像或对此进行加工的特征图的通道追加至少一个虚拟通道(Dummy Channel)来使包括至少一个上述虚拟通道的上述通道的数量成为K的倍数，然后将由包括上述测试图像或对此进行加工的特征图的至少一个上述虚拟通道的上述所有通道中的各自对应的K个上述通道构成的各个上述组内的上述各个特征级联。
在一个实施例中，在将上述测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，在上述(I)处理中，上述处理器使上述重塑层生成宽度为W，高度为HxK，通道为CEIL的上述测试用重塑特征图。
在一个实施例中，在上述后续卷积层的卷积核(Kernel)数量设为M的情况下，在上述(I)处理中，上述处理器使上述后续卷积层对上述测试用重塑特征图适用1xK卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述测试用调整特征图。
在一个实施例中，在将上述测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，在上述(I)处理中，上述处理器使上述重塑层生成宽度为WxK，高度为H，通道为CEIL的上述测试用重塑特征图。
在一个实施例中，在将上述后续卷积层的卷积核数量设为M的情况下，在上述(I)处理中，上述处理器使上述后续卷积层对上述测试用重塑特征图适用Kx1卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述测试用调整特征图。
在一个实施例中，在将上述测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，在上述(I)处理中，上述处理器使上述重塑层(i)生成宽度为W，高度为HxK，通道为CEIL的上述测试用重塑特征图，或者(ii)生成宽度为WxK，高度为H，通道为CEIL/>的上述测试用重塑特征图，在上述第CEIL/>个通道上的上述测试用重塑特征图的最终部分(Final Part)的尺寸并非为宽度为W，高度为HxK的尺寸的情况下，使上述重塑层追加至少一个零填充(Zero Padding)来使上述第CEIL/>个通道上的上述测试用重塑特征图的上述最终部分的尺寸为宽度为W，高度为HxK的尺寸，或者上述第CEIL/>个通道上的上述测试用重塑特征图的最终部分的尺寸并非为宽度为WxK，高度为H的尺寸的情况下，使上述重塑层追加至少一个零填充来使上述第CEIL/>个通道上的上述测试用重塑特征图的上述最终部分的尺寸成为宽度为WxK，高度为H的尺寸。
此外，还提供用于记录用于执行本发明的方法的计算机程序的计算机可读取的记录介质。
发明效果
本发明能够利用1xK或Kx1卷积运算而有效减少CNN的卷积运算量。
另外，本发明能够增加输入了利用1xK或Kx1卷积运算的程度的特征图或图像的通道数量，因此能够通过卷积运算来有效地提取图像上的特征。
附图说明
为了对本发明的实施例进行说明而所附的下面的附图仅为本发明的实施例中的一部分，本领域技术人员(以下，称为“一般的技术人员”)在无需创作性劳动的情况下，可基于该附图而获得其他的图。
图1是概略性地示出本发明的一个实施例的利用1xK或Kx1卷积运算而学习CNN的学习装置的图。
图2是概略性地示出本发明的一个实施例的利用1xK或Kx1卷积运算而学习CNN的方法的图。
图3是概略性地示出本发明的一个实施例的利用1xK或Kx1卷积运算来学习CNN的训练图像或对此进行加工的特征图的图。
图4a和图4b是分别概略性地示出本发明的一个实施例的(i)训练图像或重塑对此进行加工的特征图而生成的重塑特征图和(ii)对重塑特征图适用1xK卷积运算来生成的调整特征图的图。
图5a和图5b是分别概略性地示出本发明的一个实施例的(i)将训练图像或对此进行加工的特征图重塑而生成的重塑特征图和(ii)对重塑特征图适用Kx1卷积运算而生成的调整特征图的图。
图6是概略性地示出本发明的一个实施例的利用1xK或Kx1卷积运算来测试CNN的测试装置的图。
图7是概略性地示出本发明的一个实施例的利用1xK或Kx1卷积运算而测试CNN的方法的图。
符号的说明
100：学习装置，
200：测试装置，
110，210：通信部，
120，220：处理器，
130：数据库
具体实施方式
在后述的对本发明的详细的说明中，为了清楚地说明本发明的目的、技术方法及优点，将参照例示本发明的特定实施例的附图。这些实施例对本发明进行详细说明，以供本领域技术人员足以实施本发明。
另外，在本发明的详细的说明及权利要求中，“包括”这一用语及它们的变形并非表示排除其他技术特征、附加物、构成要件或步骤。对于一般的技术人员来讲，关于本发明的另一目的、优点及特性，可根据本说明书来理解其一部分，并通过实施本发明来理解另一部分。下面的例示及附图仅为实例，并非对本发明进行限定。
进而，本发明包括在本说明书中所示的实施例的所有可能的组合。虽然本发明的各种实施例彼此不同，但并非是排他性的。例如，在此记载的特定形状、结构及特性在一个实施例中在未脱离本发明的精神及范围的情况下可体现为另一个实施例。另外，关于各个公开的实施例内的个别构成要件的位置或配置，在不脱离本发明的精神及范围的情况下可进行变更。因此，后述的详细的说明并非具备限定性的意思，关于本发明的范围，确切地来讲应根据与其权利要求所主张的内容均等的所有范围及所附权利要求来限定。附图中的类似的符号在各个侧面上指相同或类似的功能。
本发明中提及的各种图像包括柏油路或非柏油路相关图像，在该情况下，可假设在道路环境中会出现的物体(如汽车、人、动物、植物、物体、建筑、飞机或无人机这样的飞行体、其他障碍物)，但并非仅限于此，在本发明中提及的各种图像也可以是与道路无关的图像(如关于非柏油路、小胡同、空地、大海、湖、江、山、树丛、沙漠、天空、室内的图像)，在该情况下，可假设在非柏油路、小胡同、空地、大海、湖、江、山、树丛、沙漠、天空、室内环境中出现的物体(如汽车、人、动物、植物、物体、建筑、飞机或无人机这样的飞行体、其他障碍物)，但不仅限于此。
下面，参照附图，对本发明的优选的实施例进行详细说明，以供本领域技术人员能够容易地实施本发明。
图1是概略性地示出本发明的一个实施例的利用1xK或Kx1卷积运算而学习CNN的学习装置的图，参照图1，学习装置100包括通信部110和处理器120。
首先，通信部110接收至少一个训练图像。
此时，训练图像存储到数据库130，在数据库130存储有与训练图像对应的关于至少一个对象的类信息的至少一个GT(Ground Truth：真值)及关于各个对象的位置信息的至少一个GT。
另外，学习装置还包括能够存储用于执行以下处理的计算机可读取的指令(Instruction)的存储器115。根据一个实施例，可将处理器、存储器、介质等综合为综合处理器(Integrated Processor)。
接着，处理器120可执行如下处理：使重塑层(Reshaping Layer)将由训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的各个特征2维地级联(Concatenating)来生成重塑特征图(Reshaped Feature Map)，使后续(Subsequent)卷积层对重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷(Volume)的调整特征图(Adjusted Feature Map)。在此，上述加工的特征图是通过如下方法中的至少一个方法而生成的如下的特征图：(i)对训练图像适用至少一次卷积运算的方法；(ii)对上述(i)的方法的结果适用后续运算(例如，配置归一化运算、激活运算、池化运算等)的方法及(iii)对上述(i i)的方法的结果追加适用卷积运算。并且，处理器120可执行如下处理：使输出层参照调整特征图或对此进行加工的特征图上的特征来生成至少一个输出，使损失层参照输出和与此对应的至少一个GT(Ground Truth：真值)来算出至少一个损失，从而将损失反向传播来学习后续卷积层的至少一部分参数。
此时，本发明的一个实施例的学习装置100作为计算机运算装置，只要是搭载有处理器而具备运算能力的装置，则足以用作本发明的学习装置100。另外，图1中仅图示了一个学习装置100，但不限于此，学习装置可分成多个而发挥作用。
下面，参照图2，对这样构成的本发明的一个实施例的利用学习装置100并利用1xK或Kx1卷积运算来学习CNN的方法进行说明。
首先，当输入到训练图像时，学习装置100使前处理(Pre-Processing)层121对训练图像进行前处理来生成加工的特征图。
此时，前处理层121包括卷积层、配置归一化层、激活层、池化层中的至少一个，可生成加工的特征图。在此，上述加工的特征图是通过以下方法中的至少一个方法而生成的特征图：(i)对训练图像适用卷积运算的方法；(ii)对上述(i)的方法的结果适用后续运算(例如，配置归一化运算、激活运算、池化运算等)的方法；及(iii)对上述(ii)的方法的结果追加适用卷积运算的方法。但是，前处理层121不限于此，前处理层121包括构成用于进行图像处理的CNN的各个层。
接着，学习装置100使重塑层将由训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的各个特征2维地级联来生成重塑特征图。此时，学习装置100使前处理层121对训练图像进行前处理，将训练图像直接地输入到重塑层122。
此时，训练图像或对此进行加工的特征图的通道数量并非K的倍数的情况下，学习装置100使重塑层122对与各个像素对应的通道追加至少一个虚拟通道(Dummy Channel)来使包括至少一个虚拟通道的通道的数量成为K的倍数之后，将由包括训练图像或对此进行加工的特征图的至少一个虚拟通道的所有通道中的各自对应的K个通道构成的各个组内的各个特征级联。
即，在将训练图像或训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，学习装置100使重塑层122(i)生成宽度为W，高度为HxK，通道为CEIL的重塑特征图，或者(ii)宽度为WxK，高度为H，通道为CEIL/>的重塑特征图。第CEIL/>个通道上的重塑特征图的最终部分(Final Part)的尺寸并非为宽度为W，高度为HxK的尺寸的情况下，学习装置100使重塑层122追加至少一个零填充(Zero Padding)来使第CEIL/>个通道上的重塑特征图的最终部分的尺寸为宽度为W，高度为HxK的尺寸，或者第CEIL/>个通道上的重塑特征图的最终部分的尺寸并非为宽度为WxK，高度为H的尺寸的情况下，使重塑层122追加至少一个零填充来使第CEIL/>个通道上的重塑特征图的上述最终部分的尺寸成为宽度为WxK，高度为H的尺寸。
作为一例，参照图3，在将训练图像或对此进行加工的特征图300的宽度设为W，将高度设为H，将通道的数量设为L的情况下，将与训练图像或对此进行加工的特征图300的第一个通道(C1)上的各个像素对应的各个特征分别如C1F11、…、C1F22、…、C1FWH所示。并且，将与训练图像或对此进行加工的特征图300的其他通道(C2，C3，…，CL)上的各个像素对应的各个特征也可通过相同的方法来表示。
并且，参照图3和图4a，将与图3的训练图像或对此进行加工的特征图300上的像素即C1F11对应的K个通道的特征即C1F11、C2F11、…、CKF11级联，将与训练图像或对此进行加工的特征图300上的像素C1F21对应的K个通道的特征即C1F21、C2F21、…、CKF21级联，将与训练图像或对此进行加工的特征图300上的像素C1FWH对应的K个通道的特征即C1FWH、C2FWH、…、CKFWH级联。即，与训练图像或对此进行加工的特征图300上的所有像素对应地将各个K个通道的特征级联来生成重塑特征图400A。
此时，重塑特征图400A具备宽度W、高度HxK、通道CEIL并且，重塑特征图400A的各个通道对应由训练图像或对此进行加工的特征图300的K个通道构成的各个组。即，重塑特征图400A的第一个通道对应训练图像或对此进行加工的特征图300的第一个至K个通道，重塑特征图400A的第二个通道对应训练图像或对此进行加工的特征图300的第K+1个通道至第2xK个通道。并且，重塑特征图400A的第CEIL/>个通道对应训练图像或对此进行加工的特征图300的第(CEIL/>-1)xK+1个通道至第L个通道。
接着，学习装置100使后续卷积层123对重塑特征图400A适用1xK卷积运算来生成调整了卷的调整特征图400B。
作为一例，参照图4a和图4b，对与图4a的重塑特征图400A上的1xK尺寸对应的C1F11、C2F11、…、CKF11适用1xK卷积运算来生成C1F11’像素的特征，对C1F22、C2F22、…、CKF22适用1xK卷积运算来生成C1F22’像素的特征，对C1FWH、C2FWH、…、CKFWH适用1xK卷积运算来生成C1FWH’像素的特征。此时，1xK尺寸为卷积层的卷积核尺寸。其结果，对图4a的重塑特征图400A适用1xK卷积运算来如图4b所示地生成宽度为W，高度为H的调整特征图400B。因此，与对图3的训练图像或对此进行加工的特征图300适用1x1卷积运算的情况相比，生成重塑特征图400A来执行1xK卷积运算而将运算量减少到1/K，由此能够将卷积运算速度增加到K倍。此时，调整特征图400B的通道的数量与执行1xK卷积运算的后续卷积层123的卷积核数量即过滤器的数量对应。作为一例，在将后续卷积层123的卷积核数量设为M的情况下，调整特征图400B的通道为M个。
另一方面，在上述中对使用1xK卷积运算的方法进行了说明，但将训练图像或对此进行加工的特征图300的K个通道的特征在宽度方向上级联之后执行Kx1卷积运算。
并且，参照图3和图5a，将与图3的训练图像或对此进行加工的特征图300上的像素即C1F11对应的K个通道的特征即C1F11、C2F11、…、CKF11在宽度方向上级联，将与训练图像或对此进行加工的特征图300上的像素C1F12对应的K个通道的特征即C1F12、C2F12、…、CKF12在宽度方向上级联，将与训练图像或对此进行加工的特征图300上的像素C1FWH对应的K个通道的特征即C1FWH、C2FWH、…、CKFWH在宽度方向上级联。即，将与训练图像或对此进行加工的特征图300上的所有像素对应地将各个K个通道的特征在宽度方向上级联来生成重塑特征图500A。
此时，重塑特征图500A的宽度为WxK，高度为H，通道为CEIL并且，重塑特征图500A的各个通道与由训练图像或对此进行加工的特征图300的K个通道构成的各个组对应。即，重塑特征图500A的第一个通道与训练图像或对此进行加工的特征图300的第一个通道至第K个通道对应，重塑特征图500A的第二个通道与训练图像或对此进行加工的特征图300的第K+1个通道至第2xK个通道对应。并且，重塑特征图500A的第CEIL/>个通道与训练图像或对此进行加工的特征图300的第(CEIL/>-1)xK+1个通道至第L个通道对应。/>
接着，学习装置100使后续卷积层123对重塑特征图500A适用Kx1卷积运算来生成调整了卷的调整特征图500B。
作为一例，参照图5a和图5b，对与图5a的重塑特征图的Kx1尺寸对应的C1F11、C2F11、…、CKF11适用Kx1卷积运算来生成C1F11”像素的特征，对C1F12、C2F12、…、CKF12适用Kx1卷积运算来生成C1F12”像素的特征，对C1FWH、C2FWH、…、CKFWH适用Kx1卷积运算来生成C1FWH”像素的特征。此时，Kx1尺寸是卷积层的卷积核尺寸。其结果，对图5a的重塑特征图500A适用Kx1卷积运算来如图5b所示这样生成宽度为W，高度为H的调整特征图500B。
接着，学习装置100使后处理(Post-Processing)层124对从后续卷积层123输出的调整特征图500B进行后处理。此时，后处理层124包括卷积层、配置归一化层、激活层、池化层、FC层中的至少一个，可生成表示从后续卷积层123输出的调整特征图500B或对此进行加工的特征图的分类的特征的概率信息。但是，后处理层124不限于此，后处理层124包括构成用于进行图像处理的CNN的各个层。
接着，学习装置100使输出层125参照调整特征图500B或对此进行加工的特征图上的特征来生成至少一个输出，使损失层126参照上述输出和与此对应的GT来算出至少一个损失，从而将损失反向传播来学习至少一部分后续卷积层的参数。此时，学习装置100使后处理层124对调整特征图500B不进行后处理，将调整特征图500B直接地输入到输出层122。
图6概略性地示出利用本发明的一个实施例的1xK或Kx1卷积运算来测试CNN的测试装置，参照图6，测试装置200包括通信部210和处理器220。
另外，测试装置还包括可存储用于执行以下处理的计算机可读取的指令(Instruction)的存储器215。根据一个实施例，可将处理器、存储器、介质等综合为综合处理器(Integrated Processor)。
首先，通信部210获得至少一个测试图像或协助其他装置获得至少一个测试图像。
此时，本发明的一个实施例的利用1xK或Kx1卷积运算的CNN为通过参照图2至图5b来进行说明的学习方法来学习的状态。
作为参考，在以下的说明中为了避免混淆，对之前说明的关于学习处理的用语追加“学习用”这一用语，对关于测试处理的用语追加“测试用”这一用语。
即，当获得至少一个训练图像时，学习装置为执行了如下处理的状态：(a)使重塑层(Reshaping Layer)将由训练图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的学习用各个特征2维地级联(Concatenating)来生成学习用重塑特征图(Reshaped Feature Map)，使后续(Subsequent)卷积层对学习用重塑特征图适用1xK卷积运算或Kx1卷积运算来输出调整了卷(Volume)的学习用调整特征图(AdjustedFeature Map)。在此，上述学习用加工的特征图为通过以下方法中的至少一个方法而生成的特征图：(i)对训练图像适用至少一次卷积运算的方法；(ii)对上述(i)的方法的结果适用后续运算(例如，配置归一化运算、激活运算、池化运算等)的方法及(ii i)对上述(ii)的方法的结果追加适用卷积运算的方法。学习装置为执行了如下处理的状态：(b)使输出层参照学习用调整特征图或对此进行加工的特征图上的特征来生成至少一个学习用输出，使损失层参照学习用输出和与此对应的至少一个GT来算出至少一个损失，从而将损失反向传播来学习后续卷积层的至少一部分参数。
接着，处理器220使重塑层将由测试图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的测试用各个特征2维地级联来生成测试用重塑特征图，使后续卷积层对测试用重塑特征图适用1xK卷积运算或Kx1卷积运算来生成调整了卷的测试用调整特征图。在此，上述测试用加工的特征图为通过上述方法中的至少一个方法而生成的特征图：(i)对测试图像至少适用积运算的方法；(i i)对上述(i)的方法的结果适用后续运算(例如，配置归一化运算、激活运算、池化运算等)的方法及(iii)对上述(ii)的方法的结果追加适用卷积运算的方法。并且，处理器220使输出层参照测试用调整特征图或对此进行加工的特征图上的特征来生成至少一个测试用输出。
此时，本发明的一个实施例的测试装置200作为计算机运算装置，只要是搭载有处理器而具备运算能力的装置，则足以用作本发明的测试装置200。另外，图6中仅图示了一个测试装置200，但不限于此，测试装置可分成多个而发挥作用。
参照图7，对利用这样构成的本发明的一个实施例的测试装置200来测试利用1xK或Kx1卷积运算的CNN的方法进行说明。在下面的说明中，对于通过参照图1至图5b而所说明的学习方法可容易理解的部分，省略详细的说明。
首先，在通过参照图1至图7而说明的学习方法学习了后续卷积层223的状态下，当输入到测试图像时，测试装置200使前处理层221对测试图像进行前处理来生成测试用加工的特征图。
此时，前处理层221包括卷积层、配置归一化层、激活层、池化层中的至少一个，对测试图像适用卷积运算来生成测试用加工的特征图。在此，上述测试用加工的特征图是通过下述方法中的至少一个方法而生成的特征图：(i)对测试图像至少适用一次卷积运算的方法；(ii)对上述(i)的方法的结果适用后续运算(例如，配置归一化运算、激活运算、池化运算等)方法；及(iii)对上述(ii)的方法的结果追加适用卷积运算的方法。但是，前处理层221不限于此，前处理层221包括构成用于进行图像处理的CNN的各个层。
接着，测试装置200使重塑层222将由测试图像或对此进行加工的特征图的所有通道中的各自对应的K个通道构成的各个组内的测试用各个特征2维地级联来生成测试用重塑特征图。在此，上述测试用加工的特征图是通过以下的至少一个方法而生成的特征图：(i)对测试图像适用至少一次卷积运算的方法；(ii)对上述(i)的方法的结果适用后续运算(例如，配置归一化运算、激活运算、池化运算等)的方法及(iii)对上述(ii)的方法的结果追加适用卷积运算的方法。此时，测试装置200使前处理层221对测试图像不进行前处理，将测试图像直接地输入到重塑层222。
此时，在测试图像或对此进行加工的特征图的通道的数量并非K的倍数的情况下，测试装置200使重塑层222对与各个像素对应的通道追加至少一个虚拟通道(DummyChannel)来使包括至少一个虚拟通道的通道的数量成为K的倍数，然后将由包括测试图像或对此进行加工的特征图的至少一个虚拟通道的所有通道中的各自对应的K个通道构成的各个组内的各个特征级联。
即，在将测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，测试装置200使重塑层222(i)生成宽度为W，高度为HxK，通道为CEIL的测试用重塑特征图，或者(ii)生成宽度为WxK，高度为H，通道为CEIL/>的测试用重塑特征图。并且，在第CEIL/>个通道上的测试用重塑特征图的最终部分的尺寸并非为宽度为W，高度为HxK的尺寸的情况下，测试装置200使重塑层追加至少一个零填充来使第CEIL个通道上的测试用重塑特征图的最终部分的尺寸为宽度为W，高度为HxK的尺寸，或者第CEIL/>个通道上的测试用重塑特征图的最终部分的尺寸并非宽度为WxK，高度为H的尺寸的情况下，测试装置200使重塑层追加至少一个零填充来使第CEIL/>个通道上的重塑特征图的最终部分的尺寸成为宽度为WxK，高度为H的尺寸。
此时，测试用重塑特征图的宽度为W，高度为HxK，通道为CEIL并且，测试用重塑特征图的各个通道与由测试图像或对此进行加工的特征图的K个通道构成的各个组对应。即，测试用重塑特征图的第一个通道与测试图像或对此进行加工的特征图的第一个通道至第K个通道对应，测试用重塑特征图的第二个通道与测试图像或对此进行加工的特征图的第K+1个通道至第2xK个通道对应。并且，测试用重塑特征图的第CEIL/>个通道与测试图像或对此进行加工的特征图的第(CEIL/>-1)xK+1个通道至第L通道对应。
之后，测试装置200使后续卷积层223对测试用重塑特征图适用1xK卷积运算来生成调整了卷的测试用调整特征图。此时，测试用调整特征图的通道的数量与执行1xK卷积运算的后续卷积层223的卷积核数量即过滤器的数量对应。作为一例，在将后续卷积层223的卷积核数量设为M的情况下，测试用调整特征图的通道可以为M个。
另一方面，在上述中对用于进行1xK卷积运算的方法进行了说明，但在将测试图像或对此进行加工的特征图的K个通道的特征在宽度方向上级联之后执行Kx1卷积运算。
即，如参照图5a所说明，测试用重塑特征图的宽度为WxK，高度为H，通道为CEIL此时，测试用重塑特征图的各个通道与由测试图像或对此进行加工的特征图的K个通道构成的各个组对应。
并且，测试装置200使后续卷积层223对测试用重塑特征图适用Kx1卷积运算来生成调整了卷的测试用调整特征图。
接着，测试装置100使后处理层224对从后续卷积层223输出的测试用调整特征图进行后处理。此时，后处理层224包括卷积层、配置归一化层、激活层、池化层、FC层中的至少一个，生成表示从后续卷积层223输出的测试用调整特征图或对此进行加工的特征图的分类的特征的概率信息。但是，后处理层224不限于此，可包括构成用于进行图像处理的CNN的各个层。
接着，测试装置200使输出层225参照测试用调整特征图或对此进行加工的特征图上的特征来生成至少一个测试用输出。
本发明的方法是为了使用于满足KPI(Key Performance Index，核心成果指标)的硬件优化而提供的。
另外，以上说明的本发明的实施例可体现为通过各种计算机构成要件来实现的程序命令的形态来记录到计算机可读取的记录介质。上述计算机可读取的记录介质可单独或以组合的方式包括程序命令、数据文件、数据结构等。记录到上述计算机可读取的记录介质的程序命令可以是为本发明特别设计并构成的命令或计算机软件领域的技术人员公知而使用的命令。作为计算机可读取的记录介质的例子，包括硬盘、软盘及磁带这样的磁性介质、CD-ROM、DVD这样的光记录介质、光碟(floptical disk)这样的磁光介质(magneto-optical edia)及ROM、RAM、闪存等这样的以存储程序命令且执行的方式特别构成的硬件装置。作为程序命令的例子，不仅包括由文件管理员制作的机器码，而且还包括使用解释程序等而通过计算机来执行的高级语言代码。上述硬件装置既可构成为一个以上的软件模块，以执行本发明的处理，也可以与其相反的方式构成。
以上，通过具体的构成要件等这样的特定事项和限定的实施例及附图而对本发明进行了说明，但这是为了整体地理解本发明而提供的，本发明不限于这样的上述实施例，本领域技术人员可从这样的记载进行各种修改及变形。
因此，本发明的思想不限于上述说明的实施例，不仅是后述的权利要求书，与该权利要求书均等或等价地变形的所有内容均包括在本发明的思想的范围中。

Claims (28)

1.一种学习方法，利用1xK卷积运算或Kx1卷积运算来学习CNN的参数，该CNN是Convolutional Neural Network即卷积神经网络，该CNN包括重塑层、后续卷积层和输出层，其特征在于，包括如下步骤：
(a)当获得至少一个训练图像时，学习上述CNN的参数的学习装置使上述重塑层将由上述训练图像或对此进行加工的特征图的所有通道按每组K个通道进行分组，并且将各个组内的K个通道中的按各个像素的特征级联到各自的一个通道来生成重塑特征图，使上述后续卷积层对上述重塑特征图适用上述1xK卷积运算或上述Kx1卷积运算来生成调整了卷的调整特征图；及
(b)上述学习装置使上述输出层参照上述调整特征图或对此进行加工的特征图上的特征来生成至少一个输出，使损失层参照上述输出和与此对应的至少一个GT来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数，其中，上述GT是Ground Truth即真值。
2.根据权利要求1所述的学习方法，其特征在于，
在上述(a)步骤中，
在上述训练图像或对此进行加工的特征图的通道数量并非K的倍数的情况下，上述学习装置使上述重塑层对上述训练图像或对此进行加工的特征图的通道追加至少一个虚拟通道来使包括至少一个上述虚拟通道的上述通道的数量成为K的倍数，然后将由包括上述训练图像或对此进行加工的特征图的至少一个上述虚拟通道的上述所有通道中的各自对应的K个上述通道构成的各个上述组内的各个上述特征级联。
3.根据权利要求1所述的学习方法，其特征在于，
在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道数量设为L的情况下，
在上述(a)步骤中，
上述学习装置使上述重塑层生成宽度为W，高度为HxK，通道为的上述重塑特征图。
4.根据权利要求3所述的学习方法，其特征在于，
在将上述后续卷积层的卷积核数量设为M的情况下，
在上述(a)步骤中，
上述学习装置使上述后续卷积层对上述重塑特征图适用1xK卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述调整特征图。
5.根据权利要求1所述的学习方法，其特征在于，
在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道数量设为L的情况下，
在上述(a)步骤中，
上述学习装置使上述重塑层生成宽度为WxK，高度为H，通道为的上述重塑特征图。
6.根据权利要求5所述的学习方法，其特征在于，
在将上述后续卷积层的卷积核数量设为M的情况下，
在上述(a)步骤中，
上述学习装置使上述后续卷积层对上述重塑特征图适用Kx1卷积运算来生成具备宽度为W，高度为H，通道为M的具备WxHxM的卷的上述调整特征图。
7.根据权利要求1所述的学习方法，其特征在于，
在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道数量设为L的情况下，
在上述(a)步骤中，
上述学习装置使上述重塑层(i)生成宽度为W，高度为HxK，通道为的上述重塑特征图，或者(ii)生成宽度为WxK，高度为H，通道为/>的上述重塑特征图，
在第上述个通道上的上述重塑特征图的最终部分的尺寸并非宽度为W，高度为HxK的尺寸的情况下，使上述重塑层追加至少一个零填充来使第上述/>个通道上的上述重塑特征图的上述最终部分的尺寸为宽度为W，高度为HxK的尺寸，或者使第上述个通道上的上述重塑特征图的上述最终部分的尺寸并非宽度为WxK，高度为H的尺寸的情况下，使上述重塑层追加至少一个零填充来使第上述/> 个通道上的上述重塑特征图的上述最终部分的尺寸成为宽度为WxK，高度为H的尺寸。
8.一种测试方法，利用1xK卷积运算或Kx1卷积运算来测试CNN，该CNN是ConvolutionalNeural Network即卷积神经网络，该CNN包括重塑层、后续卷积层和输出层，其特征在于，包括如下步骤：
(a)学习上述CNN的参数的学习装置(i)使上述重塑层将由至少一个训练图像或对此进行加工的特征图的所有通道按每组K个通道进行分组，并且将各个组内的K个通道中的按各个像素的特征级联到各自的一个通道来生成学习用重塑特征图，使上述后续卷积层对上述学习用重塑特征图适用上述1xK卷积运算或上述Kx1卷积运算来生成调整了卷的学习用调整特征图，(ii)使上述输出层参照上述学习用调整特征图或对此进行加工的特征图上的特征来生成至少一个学习用输出，使损失层参照上述学习用输出和与此对应的至少一个GT来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数的状态下，当获得至少一个测试图像时，测试上述CNN的测试装置使上述重塑层将由上述测试图像或对此进行加工的特征图的所有通道中按每组K个通道进行分组，并且将各个组内的K个通道中的按各个像素的特征级联到各自的一个通道来生成测试用重塑特征图，使上述后续卷积层对上述测试用重塑特征图适用上述1xK卷积运算或上述Kx1卷积运算来生成调整了卷的测试用调整特征图，其中，上述GT是Ground Truth即真值；及
(b)上述测试装置使上述输出层参照上述测试用调整特征图或对此进行加工的特征图上的特征来生成至少一个测试用输出。
9.根据权利要求8所述的测试方法，其特征在于，
在上述(a)步骤中，
在上述测试图像或对此进行加工的特征图的通道数量并非K的倍数的情况下，上述测试装置使上述重塑层对上述测试图像或对此进行加工的特征图的通道追加至少一个虚拟通道来使包括至少一个上述虚拟通道的上述通道的数量成为K的倍数，然后将由包括上述测试图像或对此进行加工的特征图的至少一个上述虚拟通道的上述所有通道中的各自对应的K个上述通道构成的各个上述组内的各个上述特征级联。
10.根据权利要求8所述的测试方法，其特征在于，
在将上述测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，
在上述(a)步骤中，
上述测试装置使上述重塑层生成宽度为W，高度为HxK，通道为的上述测试用重塑特征图。
11.根据权利要求10所述的测试方法，其特征在于，
在将上述后续卷积层的卷积核数量设为M的情况下，
在上述(a)步骤中，
上述测试装置使上述后续卷积层对上述测试用重塑特征图适用1xK卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述测试用调整特征图。
12.根据权利要求10所述的测试方法，其特征在于，
在将上述测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，
在上述(a)步骤中，
上述测试装置使上述重塑层生成宽度为WxK，高度为H，通道为的上述测试用重塑特征图。
13.根据权利要求12所述的测试方法，其特征在于，
在将上述后续卷积层的卷积核数量设为M的情况下，
在上述(a)步骤中，
上述测试装置使上述后续卷积层对上述测试用重塑特征图适用Kx1卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述测试用调整特征图。
14.根据权利要求8所述的测试方法，其特征在于，
在将上述测试图像或上述对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，
在上述(a)步骤中，
上述测试装置使上述重塑层(i)生成宽度为W，高度为HxK，通道为的上述测试用重塑特征图，或者(ii)生成宽度为WxK，高度为H，通道为/>的上述测试用重塑特征图，
在第上述个通道上的上述测试用重塑特征图的最终部分的尺寸并非宽度为W，高度为HxK的尺寸的情况下，使上述重塑层追加至少一个零填充来使第上述/>个通道上的上述测试用重塑特征图的上述最终部分的尺寸成为宽度为W，高度为HxK的尺寸，或者在第上述/>个通道上的上述测试用重塑特征图的上述最终部分的尺寸并非宽度为WxK，高度为H的尺寸的情况下，使上述重塑层追加至少一个零填充来使第上述/>个通道上的上述测试用重塑特征图的上述最终部分的尺寸为宽度为WxK，高度为H的尺寸。
15.一种学习装置，其利用1xK卷积运算或Kx1卷积运算来学习CNN的参数，该CNN是Convolutional Neural Network即卷积神经网络，该CNN包括重塑层、后续卷积层和输出层，其特征在于，其包括：
至少一个存储器，它们存储指令；及
至少一个处理器，它们用于执行上述指令，上述指令用于执行如下处理：(I)使上述重塑层将由至少一个训练图像或对此进行加工的特征图的所有通道按每组K个通道进行分组，并且将各个组内的K个通道中的按各个像素的特征级联到各自的一个通道来生成重塑特征图，使上述后续卷积层对上述重塑特征图适用上述1xK卷积运算或上述Kx1卷积运算来生成调整了卷的调整特征图，及(II)使上述输出层参照上述调整特征图或对此进行加工的特征图上的特征来生成至少一个输出，使损失层参照上述输出和与此对应的至少一个GT来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数，其中，上述GT是Ground Truth即真值。
16.根据权利要求15所述的学习装置，其特征在于，
在上述(I)处理中，
在上述训练图像或对此进行加工的特征图的通道数量并非K的倍数的情况下，上述处理器使上述重塑层对上述训练图像或对此进行加工的特征图的通道追加至少一个虚拟通道来使包括至少一个上述虚拟通道的上述通道的数量成为K的倍数，然后将由包括上述训练图像或对此进行加工的特征图的至少一个上述虚拟通道的上述所有通道中的各自对应的K个上述通道构成的各个上述组内的各个上述特征级联。
17.根据权利要求15所述的学习装置，其特征在于，
在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，
在上述(I)处理中，
上述处理器使上述重塑层生成宽度为W，高度为HxK，通道为的上述重塑特征图。
18.根据权利要求17所述的学习装置，其特征在于，
在将上述后续卷积层的卷积核数量设为M的情况下，
在上述(I)处理中，
上述处理器使上述后续卷积层对上述重塑特征图适用1xK卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述调整特征图。
19.根据权利要求15所述的学习装置，其特征在于，
在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，
在上述(I)处理中，
上述处理器使上述重塑层生成宽度为WxK，高度为H，通道为的上述重塑特征图。
20.根据权利要求19所述的学习装置，其特征在于，
在将上述后续卷积层的卷积核数量设为M的情况下，
在上述(I)处理中，
上述处理器使上述后续卷积层对上述重塑特征图适用Kx1卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述调整特征图。
21.根据权利要求15所述的学习装置，其特征在于，
在将上述训练图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，
在上述(I)处理中，
上述处理器使上述重塑层(i)生成宽度为W，高度为HxK，通道为的上述重塑特征图，或者(ii)生成宽度为WxK，高度为H，通道为/>的上述重塑特征图，
在第上述个通道上的上述重塑特征图的最终部分的尺寸并非为宽度为W，高度为HxK的尺寸的情况下，使上述重塑层追加至少一个零填充来使第上述/> 个通道上的上述重塑特征图的上述最终部分的尺寸成为宽度为W，高度为HxK的尺寸，或者第上述个通道上的上述重塑特征图的最终部分的尺寸并非为宽度为WxK，高度为H的尺寸的情况下，使上述重塑层追加至少一个零填充来使第上述/>个通道上的上述重塑特征图的上述最终部分的尺寸为宽度为WxK，高度为H的尺寸。
22.一种测试装置，其利用1xK卷积运算或Kx1卷积运算而测试CNN，该CNN是Convolutional Neural Network即卷积神经网络，该CNN包括重塑层、后续卷积层和输出层，其特征在于，其包括：
至少一个存储器，它们存储指令；及
至少一个处理器，它们执行使学习上述CNN的参数的学习装置执行如下处理的上述指令：(i)使上述重塑层将由至少一个训练图像或对此进行加工的特征图的所有通道按每组K个通道进行分组，并且将构成的各个组内的K个通道中的按各个像素的特征级联到各自的一个通道来生成学习用重塑特征图，使上述后续卷积层对上述学习用重塑特征图适用上述1xK卷积运算或上述Kx1卷积运算来生成调整了卷的学习用调整特征图，(ii)使上述输出层参照上述学习用调整特征图或对此进行加工的特征图上的特征来生成至少一个学习用输出，使损失层参照上述学习用输出和与此对应的至少一个GT来算出至少一个损失，从而将上述损失反向传播来学习上述后续卷积层的至少一部分参数的状态下，(I)使上述重塑层将由至少一个测试图像或对此进行加工的特征图的所有通道按每组K个通道进行分组，并且将各个组内的K个通道中的按各个像素的特征级联到各自的一个通道来生成测试用重塑特征图，使上述后续卷积层对上述测试用重塑特征图适用上述1xK卷积运算或上述Kx1卷积运算来生成调整了卷的测试用调整特征图，及(II)使上述输出层参照上述测试用调整特征图或对此进行加工的特征图上的特征来生成至少一个测试用输出，其中，上述GT是GroundTruth即真值。
23.根据权利要求22所述的测试装置，其特征在于，
在上述(I)处理中，
在上述测试图像或对此进行加工的特征图的通道数量并非K的倍数的情况下，
上述处理器使上述重塑层对上述测试图像或对此进行加工的特征图的通道追加至少一个虚拟通道来使包括至少一个上述虚拟通道的上述通道的数量成为K的倍数，然后将由包括上述测试图像或对此进行加工的特征图的至少一个上述虚拟通道的上述所有通道中的各自对应的K个上述通道构成的各个上述组内的各个上述特征级联。
24.根据权利要求22所述的测试装置，其特征在于，
在将上述测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，
在上述(I)处理中，
上述处理器使上述重塑层生成宽度为W，高度为HxK，通道为的上述测试用重塑特征图。
25.根据权利要求24所述的测试装置，其特征在于，
在上述后续卷积层的卷积核数量设为M的情况下，
在上述(I)处理中，
上述处理器使上述后续卷积层对上述测试用重塑特征图适用1xK卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述测试用调整特征图。
26.根据权利要求24所述的测试装置，其特征在于，
在将上述测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，
在上述(I)处理中，
上述处理器使上述重塑层生成宽度为WxK，高度为H，通道为的上述测试用重塑特征图。
27.根据权利要求26所述的测试装置，其特征在于，
在将上述后续卷积层的卷积核数量设为M的情况下，
在上述(I)处理中，
上述处理器使上述后续卷积层对上述测试用重塑特征图适用Kx1卷积运算来生成宽度为W，高度为H，通道为M的具备WxHxM的卷的上述测试用调整特征图。
28.根据权利要求22所述的测试装置，其特征在于，
在将上述测试图像或对此进行加工的特征图的宽度设为W，将高度设为H，将通道的数量设为L的情况下，
在上述(I)处理中，
上述处理器使上述重塑层(i)生成宽度为W，高度为HxK，通道为的上述测试用重塑特征图，或者(ii)生成宽度为WxK，高度为H，通道为/>的上述测试用重塑特征图，
在第上述个通道上的上述测试用重塑特征图的最终部分的尺寸并非为宽度为W，高度为HxK的尺寸的情况下，使上述重塑层追加至少一个零填充来使第上述/>个通道上的上述测试用重塑特征图的上述最终部分的尺寸为宽度为W，高度为HxK的尺寸，或者第上述/>个通道上的上述测试用重塑特征图的最终部分的尺寸并非为宽度为WxK，高度为H的尺寸的情况下，使上述重塑层追加至少一个零填充来使第上述/>个通道上的上述测试用重塑特征图的上述最终部分的尺寸成为宽度为WxK，高度为H的尺寸。
CN201911314750.5A 2019-01-23 2019-12-19 利用了1xK或Kx1卷积运算的CNN方法及装置 Active CN111476247B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/255,109 2019-01-23
US16/255,109 US11461653B2 (en) 2019-01-23 2019-01-23 Learning method and learning device for CNN using 1xK or Kx1 convolution to be used for hardware optimization, and testing method and testing device using the same

Publications (2)

Publication Number Publication Date
CN111476247A CN111476247A (zh) 2020-07-31
CN111476247B true CN111476247B (zh) 2023-09-26

Family

ID=69159558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911314750.5A Active CN111476247B (zh) 2019-01-23 2019-12-19 利用了1xK或Kx1卷积运算的CNN方法及装置

Country Status (5)

Country Link
US (1) US11461653B2 (zh)
EP (1) EP3686794A1 (zh)
JP (1) JP6857369B2 (zh)
KR (1) KR102337383B1 (zh)
CN (1) CN111476247B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303980B1 (en) * 2018-09-05 2019-05-28 StradVision, Inc. Learning method, learning device for detecting obstacles and testing method, testing device using the same
CN111988609A (zh) * 2019-05-22 2020-11-24 富士通株式会社 图像编码装置、概率模型生成装置和图像解码装置
US10943353B1 (en) 2019-09-11 2021-03-09 International Business Machines Corporation Handling untrainable conditions in a network architecture search
US11023783B2 (en) * 2019-09-11 2021-06-01 International Business Machines Corporation Network architecture search with global optimization
KR20230137594A (ko) 2022-03-22 2023-10-05 동원산업 주식회사 인공 신경망을 이용한 어류 등급 판정 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018084982A (ja) * 2016-11-24 2018-05-31 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US10049323B1 (en) * 2017-10-13 2018-08-14 StradVision, Inc. Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
CN108475331A (zh) * 2016-02-17 2018-08-31 英特尔公司 使用来自卷积神经网络模型的多个层的特征图谱的针对包括感兴趣的对象的图像区域的候选区域
JP2018181124A (ja) * 2017-04-18 2018-11-15 Kddi株式会社 エンコーダデコーダ畳み込みニューラルネットワークにおける解像感を改善するプログラム
WO2018228375A1 (zh) * 2017-06-16 2018-12-20 杭州海康威视数字技术股份有限公司 一种对形变图像的目标识别方法及装置
CN109086886A (zh) * 2018-08-02 2018-12-25 工极（北京）智能科技有限公司 一种基于极限学习机的卷积神经网络学习算法
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10083395B2 (en) * 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
CN106558025B (zh) * 2015-09-29 2021-02-09 腾讯科技（深圳）有限公司 一种图片的处理方法和装置
JP6869676B2 (ja) * 2016-09-27 2021-05-12 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10067509B1 (en) * 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
KR102474168B1 (ko) * 2017-03-17 2022-12-06 포틀랜드 스테이트 유니버시티 적응형 컨볼루션 및 적응형 분리형 컨볼루션을 통한 프레임 인터폴레이션
EP3607493A4 (en) * 2017-04-07 2020-12-02 INTEL Corporation PROCEDURES AND SYSTEMS FOR BUDGETED AND SIMPLIFIED TRAINING OF DEEP NEURAL NETWORKS
US10474988B2 (en) * 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
NZ759818A (en) 2017-10-16 2022-04-29 Illumina Inc Semi-supervised learning for training an ensemble of deep convolutional neural networks
JP2020525887A (ja) 2017-10-16 2020-08-27 イルミナ インコーポレイテッド ディープラーニングベースのスプライス部位分類

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475331A (zh) * 2016-02-17 2018-08-31 英特尔公司 使用来自卷积神经网络模型的多个层的特征图谱的针对包括感兴趣的对象的图像区域的候选区域
JP2018084982A (ja) * 2016-11-24 2018-05-31 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP2018181124A (ja) * 2017-04-18 2018-11-15 Kddi株式会社 エンコーダデコーダ畳み込みニューラルネットワークにおける解像感を改善するプログラム
WO2018228375A1 (zh) * 2017-06-16 2018-12-20 杭州海康威视数字技术股份有限公司 一种对形变图像的目标识别方法及装置
US10049323B1 (en) * 2017-10-13 2018-08-14 StradVision, Inc. Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN109086886A (zh) * 2018-08-02 2018-12-25 工极（北京）智能科技有限公司 一种基于极限学习机的卷积神经网络学习算法

Also Published As

Publication number Publication date
KR20200091795A (ko) 2020-07-31
CN111476247A (zh) 2020-07-31
EP3686794A1 (en) 2020-07-29
US11461653B2 (en) 2022-10-04
US20200234135A1 (en) 2020-07-23
JP2020119535A (ja) 2020-08-06
JP6857369B2 (ja) 2021-04-14
KR102337383B1 (ko) 2021-12-10

Similar Documents

Publication Publication Date Title
CN111476247B (zh) 利用了1xK或Kx1卷积运算的CNN方法及装置
JP6853560B2 (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置｛ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｆｏｒ ｕｓｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ ｔｏ ａｎａｌｙｚｅ ｉｍａｇｅｓ ｗｉｔｈ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN110874563B (zh) 通过cnn的多个图像输出的提供集成的特征图的方法及装置
CN111476342B (zh) 利用了1xH卷积的CNN方法及装置
CN111476262B (zh) 利用1xH卷积的基于CNN的对象检测方法及装置
US10387753B1 (en) Learning method and learning device for convolutional neural network using 1×1 convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same
CN110910395A (zh) 图像编码方法和装置、利用它们的测试方法和测试装置
JP6957050B2 (ja) モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なｒｏｉをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｏｏｌｉｎｇ ｒｏｉ ｂｙ ｕｓｉｎｇ ｍａｓｋｉｎｇ ｐａｒａｍｅｔｅｒｓ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ ｏｒ ｃｏｍｐａｃｔ ｎｅｔｗｏｒｋｓ ｖｉａ ｈａｒｄｗａｒｅ ｏｐｔｉｍｉｚａｔｉｏｎ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102326238B1 (ko) 핵심 성능 지수를 만족시킬 수 있는 하드웨어 최적화가 이루어지도록, cnn에서 복수의 블록 내의 입력 이미지로부터 특징을 추출하는 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
CN107944483B (zh) 基于双通道dcgan和特征融合的多光谱图像分类方法
CN112101364B (zh) 基于参数重要性增量学习的语义分割方法
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN111476310B (zh) 一种图像分类方法、装置及设备
JP2020038666A (ja) 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN113392728B (zh) 一种基于ssa锐化注意机制的目标检测方法
CN111476075A (zh) 利用1x1卷积的基于CNN的客体检测方法及装置
CN112287989B (zh) 一种基于自注意力机制的航空影像地物分类方法
CN114998363A (zh) 一种高分辨率遥感影像渐进式分割方法
CN115063587A (zh) 一种图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant