CN110088773A - 具有可分离卷积层的图像处理神经网络 - Google Patents

具有可分离卷积层的图像处理神经网络 Download PDF

Info

Publication number
CN110088773A
CN110088773A CN201780061438.2A CN201780061438A CN110088773A CN 110088773 A CN110088773 A CN 110088773A CN 201780061438 A CN201780061438 A CN 201780061438A CN 110088773 A CN110088773 A CN 110088773A
Authority
CN
China
Prior art keywords
output
layer
separable
network system
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780061438.2A
Other languages
English (en)
Other versions
CN110088773B (zh
Inventor
F.乔列特
A.G.霍华德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110088773A publication Critical patent/CN110088773A/zh
Application granted granted Critical
Publication of CN110088773B publication Critical patent/CN110088773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

神经网络系统被配置为接收输入图像以及生成输入图像的分类输出。该神经网络系统包括：可分离卷积子网络，其包括一个接一个地以堆叠排列的多个可分离卷积神经网络层，其中每个可分离卷积神经网络层被配置为：在处理可分离卷积神经网络层的输入期间分别应用深度卷积和点卷积以生成层输出。

Description

具有可分离卷积层的图像处理神经网络
相关申请的交叉引用
本申请要求2016年10月6日提交的美国临时申请序列号62/405,181的优先权。在先申请的公开内容被认为是本申请公开内容的一部分，并通过引用结合于此。
背景技术
本说明书涉及使用深度神经网络(例如，卷积神经网络)处理图像。
神经网络是机器学习模型，其采用一层或多层非线性单元来预测对于接收到的输入的输出。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中另一层(例如，下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集的当前值从接收到的输入生成输出。
卷积神经网络通常包括卷积神经网络层，并且在某些情况下，包括完全连接的神经网络层和其他种类的神经网络层。卷积神经网络层具有稀疏连接性，其中卷积层中的每个节点仅从下一个最低神经网络层中的节点子集接收输入。一些卷积神经网络层具有与该层中的其他节点共享权重的节点。然而，完全连接层中的节点从下一个最低神经网络层中的每个节点接收输入。
发明内容
本说明书描述了在一个或多个位置中的一个或多个计算机上被实施为计算机程序的神经网络系统。
通常，一个创新方面可以体现在由一个或多个计算机实施的神经网络系统中。该神经网络系统被配置为接收输入图像以及生成输入图像的分类输出。该神经网络系统包括：可分离卷积子网络，其包括一个接一个地以堆叠排列的多个可分离卷积神经网络层，其中每个可分离卷积神经网络层被配置为在处理可分离卷积神经网络层的输入期间分别应用深度卷积(depthwise convolution)和点卷积(pointwise convolution)两者以生成层输出。神经网络系统还可以包括输出子网络，该输出子网络被配置为接收由可分离卷积子网络生成的可分离卷积输出，以及处理该可分离卷积输出以生成输入图像的分类输出。该神经网络系统还可以包括输入子网络，该输入子网络被配置为接收输入图像以及处理该输入图像以生成初始输出。输入子网络可以包括一个或多个卷积神经网络层。
可分离卷积子网络可以包括一个或多个入口模块，其中入口模块被配置为接收初始输出，以及共同处理初始输出以生成入口输出。每个入口模块可以包括：相应的第一直通卷积层，被配置为处理入口模块的模块输入以生成第一直通输出；可分离卷积神经网络层的相应的第一堆叠，其中第一堆叠中的层被配置为共同处理模块输入以生成第一堆叠输出；相应的最大池化层，被配置为对第一堆叠输出执行最大池化以生成最大池化输出；以及相应的第一拼接(concatenation)层，被配置为拼接第一直通输出和最大池化输出以生成入口模块的入口模块输出。可分离卷积子网络可以包括三个入口模块。第一直通卷积层可以是1×1卷积层。第一堆叠中的可分离卷积神经网络层可以被修正线性单元激活层分离。第一堆叠中的一个或多个可分离卷积神经网络层之后可以是批量归一化层。
可分离卷积子网络可以包括一个或多个中间模块，其中中间模块被配置为接收入口输出，以及共同处理入口输出以生成中间输出。每个中间模块可以包括：相应的第二直通卷积层，被配置为处理中间模块的模块输入以生成第二直通输出；可分离卷积神经网络层的相应的第二堆叠，其中第二堆叠中的层被配置为共同处理模块输入以生成第二堆叠输出；以及相应的第二拼接层，被配置为拼接第二直通输出和第二堆叠输出以生成中间模块的中间模块输出。可分离卷积子网络可以包括八个中间模块。第二直通卷积层可以是1×1卷积层。第二堆叠中的每个可分离卷积神经网络层之前可以是修正线性单元激活层。第二堆叠中的一个或多个可分离卷积神经网络层之后可以是批量归一化层。
可分离卷积子网络可以包括出口模块，其中出口模块被配置为接收中间输出以及处理中间输出以生成可分离卷积子网络的可分离卷积输出。出口模块可以包括：第三直通卷积层，被配置为处理中间输出以生成第三直通输出；可分离卷积神经网络层的第三堆叠，其中第三堆叠中的层被配置为共同处理中间输出以生成第三堆叠输出；第三最大池化层，被配置为对第三堆叠输出执行最大池化以生成第三最大池化输出；以及第三拼接层，被配置为拼接第三直通输出和第三池化输出以生成拼接输出。第三直通卷积层可以是1×1卷积层。第三堆叠中的每个可分离卷积神经网络层之前可以是修正线性单元激活层。第三堆叠中的一个或多个可分离卷积神经网络层之后可以是批量归一化层。出口模块还可以包括可分离卷积神经网络层的第四堆叠，其中第三堆叠中的层被配置为共同处理拼接输出以生成第四堆叠输出；以及平均池化层，被配置为对第四堆叠输出执行平均池化以生成可分离卷积输出。第四堆叠中的每个可分离卷积神经网络层之后可以是修正线性单元激活层。第四堆叠中的一个或多个可分离卷积神经网络层之后可以是批量归一化层。
另一创新方面可以体现在用指令编码的一个或多个存储介质中，当该指令被一个或多个计算机实施时，使得一个或多个计算机实施如上所述的神经网络系统。
另一创新方面可以体现在一种方法中，该方法包括：接收输入图像；以及使用上述神经网络系统处理该输入图像以生成输入图像的分类输出。该方法还可以包括提供分类输出或从分类输出导出的输出以用于呈现给用户。
可以实施本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。如本说明书中描述的图像处理神经网络系统可以在执行各种图像处理任务(例如，图像分类或对象识别)时实现与现有技术匹配或优于现有技术的结果。另外，如本说明书中描述的图像处理神经网络系统可以实现与传统神经网络相当的或比之更好的结果，传统神经与本发明中描述的图像处理神经网络系统相比具有更多的参数，因此需要更多的计算资源(即存储器和处理时间)用于存储参数值和处理输入图像。也就是说，图像处理神经网络系统可以实现这些结果，同时具有比传统神经网络更小的计算足迹，即使用更少的存储器和需要更少的处理时间。通常，这些优点是由于在图像处理神经网络中一个接一个堆叠的多个可分离卷积层而实现的，即与堆叠传统卷积层或仅具有单个可分离卷积层作为神经网络的输入层(其后面是堆叠的传统卷积层)的情况相反。
本说明书主题的一个或多个实施例的细节在以下附图和描述中阐述。从说明书、附图和权利要求书，主题的其他特征、方面和优点将变得显而易见。
附图说明
图1是神经网络系统的示例的框图。
图2是入口模块的示例架构的框图。
图3是中间模块的示例架构的框图。
图4是出口模块的示例架构的框图。
图5是用于生成输入图像的分类输出的示例过程的流程图。
不同附图中相同的参考标号和名称表示相同的元件。
具体实施方式
图1示出了神经网络系统100的示例。神经网络系统100是被实施为在一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，其中可以实施下面描述的系统、组件和技术。
神经网络系统100接收输入图像102。然后，神经网络系统100使用可分离卷积子网络150处理输入图像102以生成输入图像的输出。
神经网络系统100可以被配置为基于输入图像102生成任何种类的分数、回归或分类输出，也就是说，神经网络系统100可以被配置为执行任何种类的图像处理任务。系统100生成的分数或分类输出取决于神经网络系统100已经被配置为确认的任务。系统100可以被配置为在子网络150的输出层或子网络150的一个或多个隐藏层的任何适当的隐藏层处生成一个或多个分数或分类输出。例如，对于图像分类或识别任务，神经网络系统100为给定图像生成的输出可以是对于对象类别集中的每一个对象类别的分数，其中每个分数表示图像包含属于该类别的对象的图像的可能性。作为另一示例，对于对象检测任务，神经网络系统100生成的输出可以识别输入图像中感兴趣对象的位置、大小或这两者。作为又一示例，神经网络系统100生成的输出可以是网络的隐藏层之一的输出，并且可以被提供用作输入图像的数字表示，即数字嵌入。
通常，可分离卷积子网络150包括一个接一个地以堆叠排列的多个可分离卷积神经网络层。
可分离卷积神经网络层包括深度卷积，即在输入的每个通道上独立执行的空间卷积，接着执行点卷积，即具有1×1窗口的规则卷积，将由深度卷积计算的通道投影到新的通道空间。每个可分离卷积神经网络层被配置为在处理可分离卷积神经网络层的输入期间分别应用深度卷积和点卷积两者。例如，可分离卷积层可以首先对接收到的输入执行通道方向(channel-wise)的空间卷积(即深度卷积)，以生成中间输出，然后对中间输出执行1×1卷积(即点卷积)，以生成层输出。作为另一示例，可分离卷积层可以首先对接收到的输入执行1×1卷积以生成中间输出，然后对中间输出执行通道方向的空间卷积以生成层输出。
具体地，可分离卷积子网络150包括一系列模块，其中这一系列模块包括一个或多个入口模块106，随后是一个或多个中间模块108，随后是出口模块110。在一些实施方式中，可分离卷积子网络150包括三个入口模块。在一些实施方式中，子网络150可以包括八个中间模块。每个模块包括一个接一个地以堆叠排列的多个可分离卷积神经网络层。每个模块被配置为处理模块输入以生成模块输入的模块输出。然后，每个模块提供模块输出作为下一模块的输入，或者，如果当前模块之后没有模块，即如果该模块是系列中的最后一个模块，则提供模块输出作为可分离卷积子网络150的可分离卷积输出，例如，可分离卷积输出122。下面参考图2-图4详细提供入口模块、中间模块和出口模块的示例架构。
在各种实施方式中，神经网络系统100包括输入子网络，例如，输入子网络104，其被配置为接收输入图像102以及处理输入图像102以生成初始输出116。输入子网络104包括一个或多个卷积神经网络层。
一个或多个入口模块110被配置为接收初始输出116，以及共同处理初始输出116以生成入口输出118。
一个或多个中间模块108被配置为接收入口输出118，以及共同处理入口输出118以生成中间输出120。
出口模块110被配置为接收中间输出120以及共同处理中间输出120以生成可分离卷积子网络150的可分离卷积输出122。
在各种实施方式中，神经网络系统100包括输出子网络，例如，输出子网络112，其被配置为接收可分离卷积输出122作为输入。输出子网络112被配置为处理可分离卷积输出122以生成输入图像102的分类输出114。
输出子网络112的架构特定于神经网络系统100被配置为执行的任务。例如，当系统100正在执行图像分类任务时，输出子网络112包括softmax层，以及可选地，softmax层之前的一个或多个完全连接层，共同处理可分离卷积输出122以生成输入图像102的分类输出114。
图2示出了入口模块200的示例架构。
入口模块200被配置为接收入口输入202。在一些情况下，入口输入202是输入图像。在一些其他情况下，入口输入202是由输入子网络根据输入图像而生成的初始输出(例如，图1的初始输出116)。在一些其他情况下，入口输入202是由先前入口模块生成的模块输出。
入口模块200包括第一直通卷积层216，其被配置为处理入口输入202以生成第一直通输出218。第一直通卷积层216是1×1卷积层。
入口模块200还包括可分离卷积神经网络层(例如，可分离卷积层204和可分离卷积层208)的第一堆叠220。第一堆叠220中的可分离卷积神经网络层被配置为共同处理入口输入202以生成第一堆叠输出222。具体地，第一堆叠220中的每个可分离卷积神经网络层被配置为在处理可分离卷积神经网络层的输入期间分别应用深度卷积和点卷积两者以生成层输出。然后，每个可分离卷积层提供层输出作为下一个可分离卷积层的输入，或者如果当前层之后没有层，则提供层输出作为第一堆叠输出222。
在一些实施方式中，第一堆叠220中的一个或多个可分离卷积神经网络层之前是修正线性单元(rectified linear unit，ReLU)激活层。例如，可分离卷积层208之前是ReLU激活层206。ReLU激活层被配置为将ReLU激活函数应用于前一个可分离卷积层的输出以生成ReLU输出，该ReLU输出被提供作为ReLu激活层之后的下一个可分离卷积层的输入。
在一些实施方式中，第一堆叠220中的一个或多个可分离卷积神经网络层之后是执行批量归一化的批量归一化层。批量归一化层通过将归一化作为模型架构的一部分并对每个训练的小批量训练数据执行归一化，来使能更高的学习率和稳健的初始化。批量归一化在S.Ioffe和C.Szegedy在2015年的第32届机器学习国际会议论文集(Proceedings ofThe 32nd International Conference on Machine Learning)的第448-456页中的“Batchnormalization:Accelerating deep network training by reducing internalcovariate shift”中有详细描述。
入口模块200包括最大池化层210，其被配置为对第一堆叠输出222执行最大池化以生成最大池化输出224。
入口模块200还包括拼接层212，其被配置为拼接第一直通输出218和最大池化输出224以生成入口模块200的入口输出214。例如，拼接层212被配置为沿着深度维度拼接由第一直通卷积层216和最大池化层210生成的张量(tensor)以生成单个张量，即入口模块200的入口输出214。
然后，入口模块输出214被提供作为下一模块的输入，下一模块可以是另一个入口模块或中间模块。
图3示出中间模块(例如，中间模块300)的示例架构。通常，中间模块比入口模块具有更多的可分离卷积神经网络层，并且不包括如入口模块所包括的最大池化层。
中间模块300被配置为接收中间输入302。在一些情况下，中间输入302是由一个或多个先前的入口模块生成的入口输出，例如，由图1的入口模块106生成的入口输出118。在一些其他情况下，中间输入302是由前一个的中间模块生成的模块输出。
中间模块300包括第二直通卷积层322，其被配置为处理中间输入302以生成第二直通输出324。第二直通卷积层322是1×1卷积层。
中间模块300还包括可分离卷积神经网络层(例如，可分离卷积层306、310和314)的第二堆叠320。第二堆叠320中的可分离卷积神经网络层被配置为共同处理中间输入302以生成第二堆叠输出326。具体地，第二堆叠320中的每个可分离卷积神经网络层被配置为在处理可分离卷积神经网络层的输入期间分别应用深度卷积和点卷积两者以生成层输出。然后，每个可分离卷积层提供层输出作为下一个可分离卷积层的输入，或者如果当前层之后没有层，则提供层输出作为第二堆叠输出326。
在一些实施方式中，第二堆叠320中的每个可分离卷积神经网络层之前是ReLU激活层。例如，可分离卷积层306之前是ReLU激活层304，可分离卷积层310之前是ReLU激活层308，以及可分离卷积层314之前是ReLU激活层312。
第一ReLU激活层(例如，层304)被配置为将ReLU激活函数应用于中间输入302以生成中间输出，该中间输出被提供作为后一个可分离卷积层(例如，可分离卷积层306)的输入。后续的ReLU激活层(例如，ReLU激活层308和312)中的每一个被配置为将ReLU激活函数应用于前一个可分离卷积层的输出以生成中间输出，该中间输出被提供作为下一个可分离卷积层的输入。
在一些实施方式中，第二堆叠320中的一个或多个可分离卷积神经网络层之后是批量归一化层。
中间模块300还包括拼接层316，该拼接层316被配置为将第二直通输出324和堆叠输出326拼接以生成中间模块300的中间模块输出318。
中间输出318被提供作为下一个模块的输入，下一个模块可以是另一中间模块或出口模块。
图4是出口模块400的示例的框图。
出口模块400被配置为接收出口输入402。出口输入402是由一个或多个先前的中间模块生成的模块输出，例如，由图1的中间模块108生成的中间输出120。
出口模块400包括第三直通卷积层432，其被配置为处理出口输入402以生成第三直通输出434。第三直通卷积层432是1×1卷积层。
出口模块400还包括可分离卷积神经网络层(例如，可分离卷积层406和410)的第三堆叠420。第三堆叠420中的可分离卷积神经网络层被配置为共同处理出口输入402以生成第三堆叠输出436。具体地，第三堆叠420中的每个可分离卷积神经网络层被配置为在处理可分离卷积神经网络层的输入期间，分别应用深度卷积和点卷积两者以生成层输出。然后，每个可分离卷积层提供层输出作为下一个可分离卷积层的输入，或者如果当前层之后没有层，则提供层输出作为第三堆叠输出436。
在一些实施方式中，第三堆叠420中的每个可分离卷积神经网络层之前是ReLU激活层。例如，可分离卷积层406之前是ReLU激活层404，可分离卷积层410之前是ReLU激活层408。
第一ReLU激活层(例如，层404)被配置为将ReLU激活函数应用于出口输入402以生成中间输出，该中间输出被提供作为后一个可分离卷积层(例如，可分离卷积层406)的输入。后续的ReLU激活层(例如，ReLU激活层408)中的每一个被配置为将ReLU激活函数应用于前一个可分离卷积层的输出以生成中间输出，该中间输出被提供作为下一个可分离卷积层的输入。
在一些实施方式中，第三堆叠420中的一个或多个可分离卷积神经网络层之后是批量归一化层。
出口模块400包括最大池化层412，其被配置为对第三堆叠输出436执行最大池化以生成最大池化输出438。
出口模块400还包括拼接层414，其被配置为拼接第三直通输出434和最大池化输出438以生成拼接输出440。例如，拼接层414被配置为沿着深度维度拼接由第一直通卷积层432和最大池化层412生成的张量以生成单个张量，即拼接输出440。
出口模块400还包括可分离卷积神经网络层(例如，可分离卷积神经网络层416和422)的第四堆叠430。第四堆叠中的层被配置为共同处理拼接输出440以生成第四堆叠输出442。具体地，第四堆叠420中的每个可分离卷积神经网络层被配置为在处理可分离卷积神经网络层的输入期间，分别应用深度卷积和点卷积两者以生成层输出。然后，每个可分离卷积层提供层输出作为下一层的输入。
在一些实施方式中，第四堆叠430中的每个可分离卷积神经网络层之后是ReLU激活层。例如，可分离卷积层416之后是ReLU激活层418，并且可分离卷积层422之后是ReLU激活层424。每个ReLU激活层被配置为将ReLU激活函数应用于之前的可分离卷积层的输出以生成中间输出，该中间输出被提供作为下一个可分离卷积层的输入，或者如果在当前ReLU激活层之后没有可分离卷积层，则中间输出被提供作为第四堆叠输出442。
出口模块400还包括平均池化层426，其被配置为对第四堆叠输出442执行平均池化以生成出口输出428。出口输出428是可分离卷积子网络的可分离卷积输出，例如，图1的可分离卷积子网络150的可分离卷积输出122。
图5是用于生成输入图像的分类输出的示例过程500的流程图。为了方便，过程500将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，根据本说明书适当地编程的神经网络系统(例如，图1的神经网络系统100)可以执行过程500。
系统接收输入图像(步骤502)。
该系统使用包括可分离卷积子网络(例如，图1的可分离卷积子网络150)的神经网络系统处理输入图像以生成输入图像的网络输出(步骤504)。在一些实施方式中，系统首先使用输入子网络处理输入图像以生成初始输出，该初始输出被馈送到可分离卷积子网络作为输入。
可分离卷积子网络包括一系列模块，这一系列模块包括一个或多个入口模块，随后是一个或多个中间模块，随后是出口模块。系列中的每个模块包括一个接一个地以堆叠排列的多个可分离卷积神经网络层。系统通过系列中的每个模块处理输入图像或从输入图像导出的数据(例如，由输入子网络生成的初始输出)，以生成可分离卷积子网络的可分离卷积输出。
在一些实施方式中，系统使用输出子网络处理可分离卷积输出以生成输入图像的网络输出。在一些实施方式中，输出子网络包括softmax层，以及可选地，softmax层之前的一个或多个完全连接层，共同处理可分离卷积输出以生成输入图像的网络输出。在一些其他实施方式中，输出子网络包括逻辑回归层，以及可选地，逻辑回归层之前的一个或多个完全连接神经网络层，共同处理可分离卷积输出以生成输入图像的网络输出。
通常，由系统生成的网络输出可以是基于系统被配置为执行的图像处理任务的任何种类的分数、回归或分类输出。例如，如果系统被配置为执行图像分类或识别任务，则输出层生成的网络输出可以包括对于预定对象类别集中的每一个对象类别的相应分数，其中给定对象类别的分数表示输入图像包含属于该对象类别的对象的图像的可能性。作为另一示例，对于对象检测任务，系统生成的输出可以识别输入图像中感兴趣的对象的位置、大小或这两者。作为又一示例，由系统生成的输出可以是网络的隐藏层之一的输出，并且可以被提供用作输入图像的数字表示，即数字嵌入。
然后，系统提供网络输出或从网络输出导出的数据以呈现给用户(步骤506)。在一些实施方式中，从网络输出导出的输出可以是例如识别一个或多个得分最高的对象类别的数据。该系统可以提供网络输出或导出的输出以显示在用户的用户设备的用户界面上。在一些实施方式中，代替或除了提供网络输出或从网络输出导出的数据以呈现给用户之外，系统将网络输出或从网络输出导出的数据与输入图像相关联地存储。
系统可以使用传统的监督学习技术(例如，具有反向传播的随机梯度下降)，在标记的训练数据上训练可分离卷积子网络，以及输入和输出子网络(如果被包括的话)。也就是说，系统可以使用监督学习技术在标记的训练数据上训练可分离卷积子网络以及输入和输出子网络(如果被包括的话)，以根据子网络的初始值确定子网络参数的训练值。
本说明书结合系统和计算机程序组件使用术语“配置”。对于要被配置为执行特定操作或动作的一个或多个计算机的系统，意味着系统已经在其上安装了软件、固件、硬件、或它们的组合，这些软件、固件、硬件、或它们的组合在运行时使得系统执行操作或动作。对于被配置为执行特定操作或动作的一个或多个计算机程序，意味着该一个或多个程序包括指令，当数据处理装置执行该指令时，使得该装置执行操作或动作。
本说明书中描述的主题和功能操作的实施例可以在数字电子电路、有形体现的计算机软件或固件、计算机硬件(包括本说明书中公开的结构及其结构等同物)中实施，或者在它们中的一个或多个的组合中实施。本说明书中描述的主题的实施例可以被实施为一个或多个计算机程序，即编码在有形的非暂时性存储介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机存储介质可以是机器可读存储设备、机器可读存储基底、随机或串行访问存储器设备，或者它们中的一个或多个的组合。可替换地或附加地，程序指令可以被编码在人工生成的传播信号上，例如，机器生成的电、光或电磁信号，该信号被生成以编码信息，用于传输到合适的接收器装置用以被数据处理装置执行。
术语“数据处理装置”指的是数据处理硬件，并且涵盖用于处理数据的所有种类的装置、设备和机器，例如，包括可编程处理器、计算机或多个处理器或计算机。该装置还可以是或进一步包括专用逻辑电路，例如，FPGA(field programmable gate array，现场可编程门阵列)或ASIC(application-specific integrated circuit，专用集成电路)。除了硬件之外，该装置可以可选地包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
计算机程序(也可以被称为或被描述为程序、软件、软件应用、应用程序(application，app)、模块、软件模块、脚本或代码)可以用任何形式的编程语言编写，包括编译或解析语言，或者声明性或程序性语言；并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。程序可以但不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中，例如，存储在标记语言文档中的一个或多个脚本，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件中，例如，存储一个或多个模块、子程序或部分代码的文件中。计算机程序可以被部署为在位于一个站点或分布在多个站点并通过数据通信网络互连的一个或多个计算机上执行。
本说明书中描述的过程和逻辑流可以由一个或多个可编程计算机执行，该可编程计算机运行一个或多个计算机程序，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流也可以由专用逻辑电路，例如，FPGA或ASIC，或者由专用逻辑电路和一个或多个编程计算机的组合来执行。
适于执行计算机程序的计算机可以是基于通用或专用微处理器或这两者，或者任何其他种类的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于执行或运行指令的中央处理单元和用于存储指令和数据的一个或多个存储设备。中央处理单元和存储器可以被补充或结合到专用逻辑电路中。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或者被可操作地耦合以从一个或多个大容量存储设备接收数据或将数据传送到其，或既从其接收数据又将数据传送到其。然而，计算机不需要这种设备。此外，计算机可以被嵌入到另一设备中，例如，移动电话、个人数字助理(personal digital assistant，PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(Global Positioning System，GPS)接收器或便携式存储设备，例如，通用串行总线(universal serial bus，USB)闪存驱动器，仅举几例。
适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如，包括半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM光盘。
为了提供与用户的交互，本说明书中描述的主题的实施例可以在计算机上实施，该计算机具有用于向用户显示信息的显示设备，例如，CRT(cathode ray tube，阴极射线管)或LCD(liquid crystal display，液晶显示器)监视器，以及键盘和定点设备，例如，鼠标或轨迹球，用户可以通过该定点设备向计算机提供输入。也可以使用其他种类的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式从用户接收输入，包括声音、语音或触觉输入。另外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如，通过响应于从网络浏览器接收到的请求而向用户设备上的网络浏览器发送网页。并且，计算机可以通过向个人设备(例如，运行消息发送应用的智能电话)发送文本消息或其他形式的消息，并且作为回应从用户接收响应消息来与用户交互。
用于实施机器学习模型的数据处理装置还可以包括例如专用硬件加速器单元，其用于处理机器学习训练或生产的公共和计算密集型部分，即推理、工作负载。
机器学习模型可以使用机器学习框架来实施和部署，例如，TensorFlow框架、Microsoft Cognitive Toolkit框架、Apache Singa框架或Apache MXNet框架。
本说明书中描述的主题的实施例可以在计算系统中实施，该计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面的客户端计算机、网络浏览器或应用，用户可以通过其与本说明书中描述的主题的实施方式交互)，或者一个或多个这种后端、中间件或前端组件的任意组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)相互连接。通信网络的示例包括局域网(local area network，LAN)和广域网(wide area network，WAN)，例如，因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系是通过在相应的计算机上运行并且彼此之间具有客户端-服务器的关系的计算机程序产生的。在一些实施例中，服务器将数据(例如，HTML页面)传输到用户设备，例如，以用于向与充当客户端的设备进行交互的用户显示数据和从该用户接收用户输入。在用户设备处生成的数据(例如，用户交互的结果)可以在服务器处从设备接收。
虽然本说明书包含许多具体的实施细节，但这些不应被解释为对任何发明的范围或所要求保护的范围的限制，而是对特定于特定发明的特定实施例的特征的描述。本说明书中在各个实施例的上下文中描述的某些特征也可以在单个实施例中组合地实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实施。而且，尽管上述特征可以被描述为以某些组合起作用，并且甚至最初被要求保护，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中描绘了操作，并且在权利要求中以特定顺序叙述了操作，但这不应该被理解为需要以所示的特定顺序或先后顺序来执行这种操作或者需要执行所有示出的操作来取得期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。而且，上述实施例中各种系统模块和组件的分离不应该被理解为在所有实施例中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以集成在单个软件产品中或者打包到多个软件产品中。
已经描述了主题的特定实施例。其他实施例在以下权利要求的范围内。例如，权利要求中叙述的动作可以以不同顺序来执行，并且仍然取得期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定顺序或先后顺序来取得期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。

Claims (27)

1.一种由一个或多个计算机实施的神经网络系统，其中，所述神经网络系统被配置为接收输入图像以及生成所述输入图像的网络输出，并且其中所述神经网络系统包括：
可分离卷积子网络，其包括一个接一个地以堆叠排列的多个可分离卷积神经网络层，其中每个可分离卷积神经网络层被配置为：
在处理所述可分离卷积神经网络层的输入期间分别应用深度卷积和点卷积两者以生成层输出。
2.根据权利要求1所述的神经网络系统，还包括：
输出子网络，其被配置为接收由所述可分离卷积子网络生成的可分离卷积输出，以及处理所述可分离卷积输出以生成所述输入图像的网络输出。
3.根据权利要求1或2中任一项所述的神经网络系统，还包括：
输入子网络，其被配置为接收所述输入图像以及处理所述输入图像以生成初始输出。
4.根据权利要求3所述的神经网络系统，其中，所述输入子网络包括一个或多个卷积神经网络层。
5.根据权利要求3或4中任一项所述的神经网络系统，其中，所述可分离卷积子网络包括一个或多个入口模块，并且其中所述入口模块被配置为接收所述初始输出，以及共同处理所述初始输出以生成入口输出。
6.根据权利要求5所述的神经网络系统，其中，每个入口模块包括：
相应的第一直通卷积层，被配置为处理所述入口模块的模块输入以生成第一直通输出；
相应的可分离卷积神经网络层的第一堆叠，其中，所述第一堆叠中的层被配置为共同处理所述模块输入以生成第一堆叠输出；
相应的最大池化层，被配置为对第一堆叠输出执行最大池化以生成最大池化输出；和
相应的第一拼接层，被配置为拼接第一直通输出和最大池化输出以生成所述入口模块的入口模块输出。
7.根据权利要求5或6中任一项所述的神经网络系统，其中，所述可分离卷积子网络包括三个入口模块。
8.根据权利要求6或7中任一项所述的神经网络系统，其中，所述第一直通卷积层是1×1卷积层。
9.根据权利要求6-8中任一项所述的神经网络系统，其中，所述第一堆叠中的可分离卷积神经网络层由修正线性单元激活层分离。
10.根据权利要求6-9中任一项所述的神经网络系统，其中，所述第一堆叠中的一个或多个可分离卷积神经网络层之后是批量归一化层。
11.根据权利要求5-10中任一项所述的神经网络系统，其中，所述可分离卷积子网络包括一个或多个中间模块，并且其中所述中间模块被配置为接收所述入口输出以及共同处理所述入口输出以生成中间输出。
12.根据权利要求11所述的神经网络系统，其中，每个中间模块包括：
相应的第二直通卷积层，被配置为处理所述中间模块的模块输入以生成第二直通输出；
相应的可分离卷积神经网络层的第二堆叠，其中，所述第二堆叠中的层被配置为共同处理所述模块输入以生成第二堆叠输出；和
相应的第二拼接层，被配置为拼接第二直通输出和第二堆叠输出以生成所述中间模块的中间模块输出。
13.根据权利要求11或12中任一项所述的神经网络系统，其中，所述可分离卷积子网络包括八个中间模块。
14.根据权利要求12或13中任一项所述的神经网络系统，其中，所述第二直通卷积层是1×1卷积层。
15.根据权利要求12-14中任一项所述的神经网络系统，其中，所述第二堆叠中的每个可分离卷积神经网络层之前是修正线性单元激活层。
16.根据权利要求12-15中任一项所述的神经网络系统，其中，所述第二堆叠中的一个或多个可分离卷积神经网络层之后是批量归一化层。
17.根据权利要求11-16中任一项所述的神经网络系统，其中，所述可分离卷积子网络包括出口模块，并且其中所述出口模块被配置为接收所述中间输出以及处理所述中间输出以生成所述可分离卷积子网络的可分离卷积输出。
18.根据权利要求17所述的神经网络系统，其中，所述出口模块包括：
第三直通卷积层，被配置为处理所述中间输出以生成第三直通输出；
可分离卷积神经网络层的第三堆叠，其中，所述第三堆叠中的层被配置为共同处理所述中间输出以生成第三堆叠输出；
第三最大池化层，被配置为对所述第三堆叠输出执行最大池化以生成第三最大池化输出；和
第三拼接层，被配置为拼接第三直通输出和第三池化输出以生成拼接输出。
19.根据权利要求18所述的神经网络系统，其中，所述第三直通卷积层是1×1卷积层。
20.根据权利要求18或19中任一项所述的神经网络系统，其中，所述第三堆叠中的每个可分离卷积神经网络层之前是修正线性单元激活层。
21.根据权利要求18-20中任一项所述的神经网络系统，其中，所述第三堆叠中的一个或多个可分离卷积神经网络层之后是批量归一化层。
22.根据权利要求18所述的神经网络系统，其中，所述出口模块还包括：
可分离卷积神经网络层的第四堆叠，其中，所述第四堆叠中的层被配置为共同处理所述拼接输出以生成第四堆叠输出；和
平均池化层，被配置为对第四堆叠输出执行平均池化以生成可分离卷积输出。
23.根据权利要求18-20中任一项所述的神经网络系统，其中，所述第四堆叠中的每个可分离卷积神经网络层之后是修正线性单元激活层。
24.根据权利要求22或23中任一项所述的神经网络系统，其中，所述第四堆叠中的一个或多个可分离卷积神经网络层之后是批量归一化层。
25.一个或多个用指令编码的存储介质，当由一个或多个计算机实施所述指令时，使得所述一个或多个计算机实施权利要求1-24中任一项的相应的神经网络系统。
26.一种方法，包括：
接收输入图像；和
使用权利要求1-24中任一项的相应的神经网络系统处理所述输入图像以生成所述输入图像的网络输出。
27.根据权利要求26所述的方法，还包括：
提供所述网络输出或从所述网络输出导出的输出以呈现给用户。
CN201780061438.2A 2016-10-06 2017-10-06 具有可分离卷积层的图像处理神经网络 Active CN110088773B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662405181P 2016-10-06 2016-10-06
US62/405,181 2016-10-06
PCT/US2017/055581 WO2018067962A1 (en) 2016-10-06 2017-10-06 Image processing neural networks with separable convolutional layers

Publications (2)

Publication Number Publication Date
CN110088773A true CN110088773A (zh) 2019-08-02
CN110088773B CN110088773B (zh) 2023-07-11

Family

ID=60183121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780061438.2A Active CN110088773B (zh) 2016-10-06 2017-10-06 具有可分离卷积层的图像处理神经网络

Country Status (7)

Country Link
US (2) US11593614B2 (zh)
EP (1) EP3523759B1 (zh)
JP (1) JP6910431B2 (zh)
KR (1) KR102373904B1 (zh)
CN (1) CN110088773B (zh)
IE (1) IE87469B1 (zh)
WO (1) WO2018067962A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427920A (zh) * 2018-02-26 2018-08-21 杭州电子科技大学 一种基于深度学习的边海防目标检测方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360470B2 (en) * 2016-10-10 2019-07-23 Gyrfalcon Technology Inc. Implementation of MobileNet in a CNN based digital integrated circuit
WO2020000382A1 (en) * 2018-06-29 2020-01-02 Hangzhou Eyecloud Technologies Co., Ltd. Motion-based object detection method, object detection apparatus and electronic device
US11816564B1 (en) * 2018-05-21 2023-11-14 Pattern Computer, Inc. Deep neural networks with interpretability
JP7391883B2 (ja) * 2018-09-13 2023-12-05 インテル コーポレイション 顔認識のための圧縮－拡張深さ方向畳み込みニューラルネットワーク
CN111144560B (zh) * 2018-11-05 2024-02-02 杭州海康威视数字技术股份有限公司 一种深度神经网络运算方法及装置
CN109472315B (zh) * 2018-11-15 2021-09-24 江苏木盟智能科技有限公司 一种基于深度可分离卷积的目标检测方法和系统
CN109543595B (zh) * 2018-11-19 2021-09-07 上海交通大学 基于深度可分离卷积神经网络的电线的训练方法和检测方法
CN110009015A (zh) * 2019-03-25 2019-07-12 西北工业大学 基于轻量化网络和半监督聚类的高光谱小样本分类方法
CN110020639B (zh) * 2019-04-18 2021-07-23 北京奇艺世纪科技有限公司 视频特征提取方法及相关设备
US20200387776A1 (en) * 2019-06-04 2020-12-10 XNOR.ai, Inc. Butterfly transform layer
US11816870B2 (en) * 2019-08-01 2023-11-14 Boe Technology Group Co., Ltd. Image processing method and device, neural network and training method thereof, storage medium
DE102019130930A1 (de) * 2019-11-15 2021-05-20 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren mit Ausführen eines faltenden neuronalen Netzes
CN113837374A (zh) 2020-06-23 2021-12-24 中兴通讯股份有限公司 神经网络的生成方法、设备及计算机可读存储介质
CN111947599B (zh) * 2020-07-24 2022-03-22 南京理工大学 基于学习的条纹相位恢复和散斑相关的三维测量方法
CN112801266B (zh) * 2020-12-24 2023-10-31 武汉旷视金智科技有限公司 神经网络构建方法、装置、设备及介质
US11544213B2 (en) 2021-03-04 2023-01-03 Samsung Electronics Co., Ltd. Neural processor
KR102561205B1 (ko) * 2021-04-16 2023-07-28 포항공과대학교 산학협력단 분산 sram 아키텍쳐를 가지는 모바일넷 하드웨어 가속기 및 상기 가속기의 채널 정상 데이터 플로우 설계 방법
CN113358993B (zh) * 2021-05-13 2022-10-04 武汉大学 一种多电平变换器igbt的在线故障诊断方法及系统
CN113344200B (zh) * 2021-06-17 2024-05-28 阿波罗智联(北京)科技有限公司 用于训练可分离卷积网络的方法、路侧设备及云控平台

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303689A (zh) * 2008-05-15 2008-11-12 北京理工大学 一种基于多抽样的分数阶傅立叶变换实现方法
CN102054269A (zh) * 2009-10-27 2011-05-11 华为技术有限公司 图像特征点检测方法及装置
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN105243398A (zh) * 2015-09-08 2016-01-13 西安交通大学 基于线性判别分析准则的改进卷积神经网络性能的方法
CN105354572A (zh) * 2015-12-10 2016-02-24 苏州大学 一种基于简化卷积神经网络的车牌自动识别系统
WO2016033506A1 (en) * 2014-08-29 2016-03-03 Google Inc. Processing images using deep neural networks
CN105574827A (zh) * 2015-12-17 2016-05-11 中国科学院深圳先进技术研究院 一种图像去雾的方法、装置
CN105681628A (zh) * 2016-01-05 2016-06-15 西安交通大学 一种卷积网络运算单元及可重构卷积神经网络处理器和实现图像去噪处理的方法
CN105678232A (zh) * 2015-12-30 2016-06-15 中通服公众信息产业股份有限公司 一种基于深度学习的人脸图片特征提取与对比方法
CN105938560A (zh) * 2016-03-23 2016-09-14 吉林大学 一种基于卷积神经网络的车型精细分类系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3399684B2 (ja) 1995-03-06 2003-04-21 富士写真フイルム株式会社 画像処理方法および装置
US6125105A (en) * 1997-06-05 2000-09-26 Nortel Networks Corporation Method and apparatus for forecasting future values of a time series
US10346726B2 (en) 2014-12-15 2019-07-09 Samsung Electronics Co., Ltd. Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
US9418458B2 (en) * 2015-01-05 2016-08-16 Superfish Ltd. Graph image representation from convolutional neural networks
US9633282B2 (en) * 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
US20170270406A1 (en) * 2016-03-18 2017-09-21 Qualcomm Incorporated Cloud-based processing using local device provided sensor data and labels
US10872699B2 (en) * 2016-03-25 2020-12-22 Siemens Healthcare Gmbh Case-based reasoning in the cloud using deep learning
US10043254B2 (en) * 2016-04-14 2018-08-07 Microsoft Technology Licensing, Llc Optimal image transformation based on professionalism score of subject
US9904871B2 (en) * 2016-04-14 2018-02-27 Microsoft Technologies Licensing, LLC Deep convolutional neural network prediction of image professionalism
US10891541B2 (en) * 2016-05-16 2021-01-12 Canon Kabushiki Kaisha Devices, systems, and methods for feature encoding
US10832136B2 (en) * 2016-05-18 2020-11-10 Nec Corporation Passive pruning of filters in a convolutional neural network
CA3038967A1 (en) * 2016-10-04 2018-04-12 Magic Leap, Inc. Efficient data layouts for convolutional neural networks

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303689A (zh) * 2008-05-15 2008-11-12 北京理工大学 一种基于多抽样的分数阶傅立叶变换实现方法
CN102054269A (zh) * 2009-10-27 2011-05-11 华为技术有限公司 图像特征点检测方法及装置
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
WO2016033506A1 (en) * 2014-08-29 2016-03-03 Google Inc. Processing images using deep neural networks
CN105243398A (zh) * 2015-09-08 2016-01-13 西安交通大学 基于线性判别分析准则的改进卷积神经网络性能的方法
CN105354572A (zh) * 2015-12-10 2016-02-24 苏州大学 一种基于简化卷积神经网络的车牌自动识别系统
CN105574827A (zh) * 2015-12-17 2016-05-11 中国科学院深圳先进技术研究院 一种图像去雾的方法、装置
CN105678232A (zh) * 2015-12-30 2016-06-15 中通服公众信息产业股份有限公司 一种基于深度学习的人脸图片特征提取与对比方法
CN105681628A (zh) * 2016-01-05 2016-06-15 西安交通大学 一种卷积网络运算单元及可重构卷积神经网络处理器和实现图像去噪处理的方法
CN105938560A (zh) * 2016-03-23 2016-09-14 吉林大学 一种基于卷积神经网络的车型精细分类系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
苏楠;吴冰;徐伟;苏光大;: "人脸识别综合技术的发展", 信息安全研究, no. 01 *
许子立;姚剑敏;郭太良;: "基于递进卷积神经网络的台标识别及其并行化", 电视技术, no. 05 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427920A (zh) * 2018-02-26 2018-08-21 杭州电子科技大学 一种基于深度学习的边海防目标检测方法

Also Published As

Publication number Publication date
KR102373904B1 (ko) 2022-03-15
US11593614B2 (en) 2023-02-28
US20210027140A1 (en) 2021-01-28
EP3523759A1 (en) 2019-08-14
WO2018067962A1 (en) 2018-04-12
IE87469B1 (en) 2024-01-03
KR20190055248A (ko) 2019-05-22
IE20170211A1 (en) 2018-04-18
JP2019535084A (ja) 2019-12-05
CN110088773B (zh) 2023-07-11
JP6910431B2 (ja) 2021-07-28
US11922288B2 (en) 2024-03-05
EP3523759B1 (en) 2021-05-26
US20230237314A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
CN110088773A (zh) 具有可分离卷积层的图像处理神经网络
JP6854921B2 (ja) タスク固有のポリシーおよび共有ポリシーをもつマルチタスクニューラルネットワークシステム
EP3526770B1 (en) Stylizing input images
CN106471526B (zh) 用于处理图像的方法和系统
EP3711000B1 (en) Regularized neural network architecture search
US20230196058A1 (en) Unsupervised detection of intermediate reinforcement learning goals
JP7316453B2 (ja) オブジェクト推薦方法及び装置、コンピュータ機器並びに媒体
CN110476173B (zh) 利用强化学习的分层设备放置
CN115485690A (zh) 用于处置聊天机器人的不平衡训练数据的分批技术
CN109923558A (zh) 混合专家神经网络
WO2019083553A1 (en) NEURONAL NETWORKS IN CAPSULE
WO2020160252A1 (en) Task-aware neural network architecture search
US20200090006A1 (en) Imagination-based agent neural networks
CN108780444A (zh) 可扩展设备和依赖于域的自然语言理解
US10748041B1 (en) Image processing with recurrent attention
EP3803580B1 (en) Efficient incident management in large scale computer systems
US10909422B1 (en) Customer service learning machine
US10482373B1 (en) Grid long short-term memory neural networks
JP2024021697A (ja) ニューラルネットワークシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant