CN110880034A - 使用卷积神经网络的计算装置及其操作方法 - Google Patents

使用卷积神经网络的计算装置及其操作方法 Download PDF

Info

Publication number
CN110880034A
CN110880034A CN201910788304.1A CN201910788304A CN110880034A CN 110880034 A CN110880034 A CN 110880034A CN 201910788304 A CN201910788304 A CN 201910788304A CN 110880034 A CN110880034 A CN 110880034A
Authority
CN
China
Prior art keywords
data
filter
sub
filters
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910788304.1A
Other languages
English (en)
Other versions
CN110880034B (zh
Inventor
赵仁相
李元宰
黄赞荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110880034A publication Critical patent/CN110880034A/zh
Application granted granted Critical
Publication of CN110880034B publication Critical patent/CN110880034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2133—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on naturality criteria, e.g. with non-negative factorisation or negative correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了在人工智能(AI)系统及其应用的领域中的使用包括多个卷积层在内的卷积神经网络(CNN)的装置及方法。一种使用包括多个卷积层在内的CNN的计算装置包括：存储了一个或多个指令的存储器；以及一个或多个处理器，被配置为执行所述存储器中存储的所述一个或多个指令以获取输入数据；识别用于在所述多个卷积层之一上针对所述输入数据执行卷积运算的滤波器；识别所述滤波器中的与不同滤波区域相对应的多个子滤波器；基于所述多个子滤波器来计算多个特征图；以及基于所述多个特征图来获取输出数据。

Description

使用卷积神经网络的计算装置及其操作方法
相关申请的相交引用
本申请基于并要求2018年9月6日向韩国知识产权局提交的编号10-2018-0106507的韩国专利申请在35U.S.C.§119下的优先权，该申请的公开通过引用整体并入本文中。
技术领域
本公开涉及使用卷积网络的装置及其操作方法，并且更具体地涉及使用神经网络来提高人工智能(AI)系统的操作效率的装置及其操作方法。
背景技术
人工智能(AI)系统是被配置为实现人类水平的智能并训练自身且自发做出决定以相比于现有的基于规则的智能系统变得更聪明的计算机系统。因为AI系统的识别率提高且AI系统被使用的越多它们就越准确地理解用户的偏好，所以现有的基于规则的智能系统逐渐地被深度学习AI系统替代。
AI技术包括机器学习(深度学习)和运用了机器学习的要素技术。机器学习是自分类/学习输入数据的特征的算法技术，并且这些要素技术中的每一个要素技术都是模仿人脑功能的技术，例如，通过使用机器学习算法(例如，深度学习)的感知和确定，而且包括诸如语言理解、视觉理解、演绎/预测、知识表达、以及操作控制之类的技术领域。
发明内容
提供了通过高效地选择在卷积神经网络(CNN)中的卷积运算中使用的滤波器来更快速地获取输出数据的方式。
提供了通过使用在CNN中的卷积运算中使用的滤波器的部分区域去执行运算来导出与修剪(pruning)效果相对应的效果的方式。
其它方面将在以下描述中部分地阐述，且部分地将通过以下描述而变得清楚，或者可以通过对本公开的当前实施例的实践来获知。
根据本公开的实施例，提供了使用包括多个卷积层在内的卷积神经网络(CNN)的计算装置，所述计算装置包括：存储一个或多个指令的存储器；以及一个或多个处理器，被配置为执行所述存储器中存储的所述一个或多个指令以：获取输入数据；识别用于在所述多个卷积层之一上执行针对所述输入数据的卷积运算的滤波器；识别所述滤波器中的多个子滤波器，所述多个子滤波器与多个滤波区域相关联，其中，所述多个滤波区域中的每一个滤波区域与所述多个子滤波器中的至少一个子滤波器相关联；基于所述多个子滤波器来提供多个特征图；以及基于所述多个特征图来获取输出数据。
在一些实施例中，所述一个或多个处理器还被配置为执行所述一个或多个指令以通过以下方式来识别所述多个子滤波器：识别第一滤波区域和第二滤波区域，所述第二滤波区域不同于所述第一滤波区域；以及识别与所述第一滤波区域相关联且与所述第二滤波区域相关联的选定滤波器，作为所述多个子滤波器之一。
在一些实施例中，所述一个或多个处理器还被配置为执行所述一个或多个指令以通过以下方式来提供多个特征图：通过使用与所述第一滤波区域相关联的第一滤波器针对所述输入数据执行第一卷积运算来提供第一特征图；通过使用与所述第二滤波区域相关联的第二滤波器针对所述输入数据执行第二卷积运算来提供第二特征图；以及通过针对所述第一特征图和所述第二特征图执行求和来提供所述多个特征图中的第三特征图。
在一些实施例中，所述一个或多个处理器还被配置为执行所述一个或多个指令以通过以下方式来识别所述多个子滤波器：识别与所述滤波器相关联的预定尺寸的第一滤波区域；以及通过针对所述滤波器在第一方向和第二方向中的每个方向上移动所述第一滤波区域的关联(association)来识别多个滤波区域。
在一些实施例中，所述一个或多个处理器还被配置为执行所述一个或多个指令以通过以下方式来提供多个特征图：将通过使用与所述第一滤波区域相关联的第一滤波器针对所述输入数据执行卷积运算所提供的第一特征图识别为所述多个特征图之一；通过在第一方向上移动所述第一特征图来提供第二特征图；以及通过在第二方向上移动所述第一特征图来提供第三特征图。
在一些实施例中，所述输入数据包括具有尺寸a×b×n的三维(3D)矩阵数据，其中，a、b和n是自然数。
在一些实施例中，所述输入数据对应于具有多条二维(2D)矩阵数据的组，并且所述多个子滤波器被应用于所述多条2D矩阵数据，并且所述多个子滤波器与不同的2D滤波区域相关联。
在一些实施例中，所述一个或多个处理器还被配置为执行所述一个或多个指令以使用预定输入数据和预定输出数据来训练所述多个子滤波器。
在一些实施例中，所述一个或多个处理器还被配置为执行所述一个或多个指令以通过识别所述多个子滤波器中的第一子滤波器的权重并识别与所述第一子滤波器相关联的滤波区域来训练所述第一子滤波器。
在一些实施例中，所述输出数据包括与所述输入数据相对应的图像数据。
本公开还提供了操作包括多个卷积层在内的CNN的方法，所述方法包括：获取输入数据；识别用于在所述多个卷积层之一上执行针对所述输入数据的卷积运算的滤波器；识别所述滤波器中的多个子滤波器，所述多个子滤波器与多个滤波区域相关联，其中，所述多个滤波区域中的每一个滤波区域与所述多个子滤波器中的至少一个子滤波器相关联；基于所述多个子滤波器来提供多个特征图；以及基于所述多个特征图来获取输出数据。
在本公开的一些实施例中，提供了包括其上存储有程序的一个或多个计算机可读存储介质在内的计算机程序产品，当程序由计算机执行时，执行包括以下各项在内的操作：获取输入数据；识别用于在多个卷积层之一上执行针对所述输入数据的卷积运算的滤波器；识别所述滤波器中的多个子滤波器，所述多个子滤波器与多个滤波区域相关联，其中，所述多个滤波区域中的每一个滤波区域与所述多个子滤波器中的至少一个子滤波器相关联；基于所述多个子滤波器来提供多个特征图；以及基于所述多个特征图来获取输出数据。
附图说明
根据结合附图的以下描述，本公开的特定实施例的上述和其它方面、特征以及优点将更清楚，在附图中：
图1是用于说明根据本公开的实施例的卷积神经网络(CNN)的框图；
图2是用于说明在根据本公开的实施例的CNN的卷积层中执行的计算的示意图；
图3是用于说明根据本公开的实施例的在CNN的卷积层中执行的计算的示意图；
图4是根据本公开的实施例的操作CNN的方法的流程图；
图5示出了根据本公开的实施例的通过使用作为滤波器的一部分区域的滤波区域来执行操作的示例；
图6A示出了确定具有不同滤波区域的多个子滤波器的示例；
图6B示出了确定具有不同滤波区域的多个子滤波器的示例；
图7A示出了确定具有不同滤波区域的多个子滤波器的示例；
图7B示出了确定具有不同滤波区域的多个子滤波器的示例；
图8A示出了确定具有不同滤波区域的多个子滤波器的示例；
图8B示出了确定具有不同滤波区域的多个子滤波器的示例；
图9A示出了确定具有不同滤波区域的多个子滤波器的示例；
图9B示出了确定具有不同滤波区域的多个子滤波器的示例；
图10是根据本公开的实施例的电子设备的结构的框图；
图11是根据本公开的实施例的处理器的框图；
图12是根据本公开的实施例的数据训练器的框图；
图13是根据本公开的实施例的数据识别器的框图；
图14是示出了根据本公开的实施例的电子设备与服务器交互操作以训练和识别数据的示例的框图；以及
图15是根据本公开的另一个实施例的电子设备的结构的框图。
具体实施方式
在整个公开中，表述“a、b或c中的至少一项”表示仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、a、b和c的全部、或者它们的变化。
在本文中参考附图详细描述了本公开的实施例，使得本公开能够由本公开相关领域的技术人员容易地执行。然而，本公开可以以许多不同形式来体现，且不应被解释为受限于本文所阐述的实施例。在附图中，省略了与描述无关的部分以简化说明，并且相似的附图标记在全文中表示相似的元素。
虽然当前选择广泛使用的通用术语以在考虑到本公开的功能的情况下对本公开进行描述，但是这些通用术语可以根据本领域普通技术人员的意图、先例、新技术的出现等变化。因此，这些术语必须基于其含义以及整个说明书的内容来定义，而不是通过简单说明该术语被定义。
本公开中使用的术语仅用于描述本公开的特定实施例，但并非旨在限制本公开的范围。以单数形式使用的表述涵盖复数表述，除非在上下文中具有明确不同的含义。在整个说明书中，当提及元素被“连接”或“耦接”至另一个元素时，它可以直接连接或耦接至另一个元素，或者可以电连接或耦接至另一元素且在它们之间插有中间元素。另外，当在本公开中使用术语“包括”和/或“包含”或“具有”和/或“含有”时，其指明所声明的元素的存在性，但不排除存在或添加一个或多个其他元素。
在描述本公开的上下文中(尤其是在随附的权利要求的上下文中)对术语“一”和“一个”和“该”及类似指示物的使用应被解释为涵盖单数和复数两者。此外，可以按照任何适当顺序执行本文中描述的所有方法的步骤，除非本文中另外指出或者上下文另外明确地相反指示。本公开的实施例不限于所描述的操作顺序。
因此，在整个公开中使用的表述“根据实施例”不需要表示本公开的相同实施例。
可以以功能块组件和各种处理步骤为单位来描述本公开的前述实施例。这些功能块中的一部分或全部功能块可以由被配置为执行指定功能的任何数目的硬件和/或软件组件来实现。例如，根据本公开的功能块可以由一个或多个微处理器或由用于预定功能的电路组件来实现。此外，例如，可以使用任意编程或脚本语言来实现根据本公开的功能块。功能块可以被实现为在一个或多个处理器上执行的算法。此外，本文描述的公开内容可以采用用于电子配置、信号处理和/或控制、数据处理等的任何数目的技术。词语“机制”、“元件”、“装置”和“配置”被广义地使用且不限于本公开的机械或物理实施例。
此外，所呈现的各个附图中示出的组件之间的连接线或连接器意在表示组件之间的示例性功能关系和/或物理或逻辑耦接。在实际设备中组件之间的连接可被表现为许多备选的或者附加的功能关系、物理连接或逻辑连接。
现在将参照附图更完全地对本公开进行描述，在附图中示出了本公开的示例性实施例。
图1是用于说明根据本公开的实施例的卷积神经网络(CNN)的框图。
在各个领域中使用基于神经网络的深度学习。作为深度神经网络技术的CNN 110已经作为最新的技术被活跃地用于图像处理。CNN 110包括多个卷积层110-1、110-2和110-3。每个卷积层接收M个输入特征图并生成N个输出特征图(其中，M和N是自然数)。
CNN 110中包括的卷积层通过使用具有预定尺寸的滤波器来执行卷积运算。与全连接方法相比，CNN 110中使用的卷积运算可以减小复杂度和不必要的连接。
在驱动CNN 110时占据了最大计算量的运算是卷积。对乘法和累加进行重复的卷积运算比其他运算消耗了较大的功率。因此，需要能够减少卷积运算所需要的计算量的技术，以构造用于驱动CNN 110的硬件。
图2是用于说明根据本公开的实施例的在CNN的卷积层中执行的计算的示意图。
卷积层中的输入数据10可以是具有特定尺寸的二维(2D)或三维(3D)数据。输入数据10的尺寸可以通过宽度、高度和深度来确定。例如，输入数据10可以包括具有尺寸a×b×n的3D矩阵数据(其中，a、b和n是自然数)。输入数据10可以对应于特征图。当输入数据是特征图时，输入数据的深度可以对应于特征图的数量。
特征图可以通过使用具有尺寸3×3×N的滤波器11针对输入数据10执行卷积运算来获取，其中，N是自然数且可以对应于输入数据10的深度值。
在滤波器11在输入数据10中沿宽度方向和高度方向被移动的同时，针对输入数据10执行卷积运算。滤波器11中的包括以下权重值在内的区域被称为滤波区域，该权重值是在与输入数据10一起进行的卷积运算中使用的权重值。参考图2，因为具有尺寸3×3×N的滤波器11的整个区域是包括在与输入数据10的卷积运算中使用的权重值在内的区域，所以滤波区域是3×3×N。当通过使用具有尺寸3×3×N的滤波器11的3×3×N尺寸的滤波区域针对输入数据10执行卷积运算时，需要3×3×N次乘法以计算特征图中的一个值。
可以通过使用多个滤波器(即，第一、第二、第三和第四滤波器11-1、11-2、11-3和11-4)中的每一个针对输入数据10执行卷积运算来获取多个特征图(即，第一、第二、第三和第四特征图13-1、13-2、13-3和13-4)。第一、第二、第三和第四滤波器11-1、11-2、11-3和11-4可以是包括不同权重值在内的滤波器。
参考图2，可以通过使用具有尺寸3×3×N的第一滤波器11-1针对输入数据10执行卷积运算来获取第一特征图13-1。可以通过使用具有尺寸3×3×N的第二滤波器11-2针对输入数据10执行卷积运算来获取第二特征图13-2。可以通过使用具有尺寸3×3×N的第三滤波器11-3针对输入数据10执行卷积运算来获取第三特征图13-3。可以通过使用具有尺寸3×3×N的第四滤波器11-4针对输入数据10执行卷积运算来获取第四特征图13-4。
当通过使用M个滤波器针对输入数据10执行卷积运算时，可以获取M个特征图。
图3是用于说明根据本公开的实施例的在CNN的卷积层中执行的计算的示意图。
参考图3，类似于参考图2在上文给出的描述，可以针对输入数据10通过使用具有尺寸3×3×N的滤波器11来获取特征图，其中，N是自然数且可以对应于输入数据10的深度值。
参考图3，作为滤波器11中包括的在卷积运算中与输入数据10一起使用的权重值在内的区域的滤波区域可以具有尺寸2×2×N。为了便于说明，滤波区域被示出为仅表示了高度和宽度的2D图。滤波器11中除了滤波区域之外的其余区域中包括的权重值不在卷积运算中使用。
当通过使用尺寸3×3×N的滤波器针对输入数据10中的2×2×N尺寸的滤波区域执行卷积运算时，需要2×2×N次乘法以计算特征图中的一个值。当使用作为滤波器11的部分区域的滤波区域来执行运算时，与在具有与滤波器11的尺寸相同尺寸的滤波区域上执行卷积运算时相比，可以减小计算量。
根据本公开的实施例，可以借助于使用多个子滤波器(即，第一、第二、第三和第四子滤波器22-1、22-2、22-3和22-4)通过针对输入数据10执行卷积运算来获取多个特征图(即，第一、第二、第三和第四特征图23-1、23-2、23-3和23-4)。第一、第二、第三和第四子滤波器22-1、22-2、22-3和22-4可以是与滤波器11中的不同滤波区域21-1、21-2、21-3和21-4相对应的多个滤波器。通常，子滤波器22-1与图3的滤波区域21-1相关联。类似地，子滤波器22-2与滤波区域21-2相关联，子滤波器22-3与滤波区域21-3相关联，且子滤波器22-4与滤波区域21-4相关联。
参考图3，可以通过针对输入数据10使用具有尺寸3×3×N的第一子滤波器22-1执行卷积运算来获取第一特征图23-1。可以通过针对输入数据10使用具有尺寸3×3×N的第二子滤波器22-2执行卷积运算来获取第二特征图23-2。可以通过针对输入数据10使用具有尺寸3×3×N的第三子滤波器22-3执行卷积运算来获取第三特征图23-3。可以通过针对输入数据10使用具有尺寸3×3×N的第四子滤波器22-4执行卷积运算来获取第四特征图23-4。
当通过使用具有尺寸3×3×N的滤波器中的2×2×N尺寸的滤波区域执行运算时，与完全使用在尺寸3×3×N的滤波器中的3×3×N尺寸的滤波区域时相比，可以减小计算量大约55％，并且因此可以更快速地获取输出数据。
代替通过使用第一、第二、第三和第四子滤波器22-1、22-2、22-3和22-4中的每一个子滤波器针对输入数据10执行四个卷积运算，通过在输入数据10中使用2×2×N尺寸的滤波器执行卷积运算所获取的特征图可以在与滤波器11中的不同滤波区域21-1、21-2、21-3和21-4相对应的方向上可以移动。在一些实施例中，子滤波器22-1于是可以与图3的不同的滤波区域21-1、21-2、21-3和21-4相关联。
在通过使用CNN来获取输出数据或学习数据时，与使用单一滤波区域时相比，使用滤波器11中的不同滤波区域21-1、21-2、21-3和21-4时就可以获取具有改善质量的结果数据。通过针对输入数据10使用滤波器11的一些滤波区域来获取数据，可以减小计算量，而且获取的结果数据可以具有改善的质量。参考图3描述的卷积运算方法可以被应用于图像处理领域，图像处理领域是需要大量计算以从输入数据10获取输出数据或学习数据的领域。
根据本公开的实施例，通过使用一些滤波区域执行卷积运算的CNN适用于将图像风格改变为电影风格的处理(例如，风格转换)。
在图3中示出的不同的滤波区域21-1、21-2、21-3和21-4是示例，并且根据本公开的实施例，可以使用各种类型的滤波区域。
图4是根据本公开的实施例的操作CNN的方法的流程图。
操作CNN的方法可以由将在之后参考图10来描述的电子设备1000执行。
在操作S410中，根据本公开的实施例的电子设备可以获取输入数据。
在操作S420中，根据本公开的实施例的电子设备可以从多个卷积层中确定用于针对输入数据来执行卷积运算的滤波器。在一些实施例中，输入数据指代多个卷积层之一。
在操作S430中，根据本公开的实施例的电子设备可以确定与滤波器中的不同滤波区域相对应的多个子滤波器。
在操作S440中，根据本公开的实施例的电子设备可以基于多个子滤波器来生成多个特征图。
在操作S450中，根据本公开的实施例的电子设备可以基于多个特征图来获取输出数据。在一些实施例中，输出数据是通过对来自两个不同的特征图的元素求和来获取的。
现在将详细描述确定与滤波器中的不同滤波区域相对应的多个子滤波器且基于该多个子滤波器来生成多个特征图的实施例。
图5示出了根据本公开的实施例的通过使用作为滤波器的一部分区域的滤波区域来执行运算的示例。
根据本公开的实施例，可以在预定滤波器中确定包括第一滤波区域501和不同于第一滤波区域501的第二滤波区域503在内的滤波区域511。
根据本公开的实施例，可以将包括作为滤波区域511的第一滤波区域501和第二滤波区域503在内的滤波器确定为对输入数据应用的多个子滤波器之一。
参考图5，可以通过对输入数据应用包括第一滤波区域501在内的第一滤波器521来生成第一特征图531，且可以通过对输入数据应用包括第二滤波区域503在内的第二滤波器523来生成第二特征图533。可以通过针对第一特征图531和第二特征图533执行求和来生成单个特征图541。
图6A示出了确定具有不同滤波区域的多个子滤波器的示例。
参考图6A，具有3×3×N尺寸的滤波器中的滤波区域的尺寸可以是1×1×N。根据本公开的实施例，可以确定具有尺寸1×1×N的第一滤波区域611-1。可以通过在滤波器中的第一方向601和第二方向603上移动第一滤波区域611-1来确定多个滤波区域，即，第一至第九滤波区域611-1、611-2、611-3、611-4、611-5、611-6、611-7、611-8和611-9。因此，在该实施例中，多个滤波区域具有与第一滤波区域611-1相同的尺寸。第一方向601和第二方向603可以分别对应于输入数据的宽度方向和高度方向。
参考图6A，具有尺寸3×3×N的滤波器中的第一至第九这九个滤波区域611-1、611-2、611-3、611-4、611-5、611-6、611-7、611-8和611-9可具有1×1×N尺寸。
图6B也示出了确定具有不同滤波区域的多个子滤波器的示例。
参考图6B，可以确定与图6A的第一至第九滤波区域611-1、611-2、611-3、611-4、611-5、611-6、611-7、611-8和611-9相对应的多个子滤波器622-1、622-2、622-3、622-4、622-5、622-6、622-7、622-8和622-9。
分别使用多个子滤波器622-1、622-2、622-3、622-4、622-5、622-6、622-7、622-8和622-9可以获取输入数据的多个特征图(未示出)。
根据本公开的实施例，当滤波器中的第一至第九滤波区域611-1、611-2、611-3、611-4、611-5、611-6、611-7、611-8和611-9具有相同的权重时，可以使用仅包括第一滤波区域611-1在内的具有1×1×N尺寸的滤波器来生成特征图，并且可以通过在第一和第二方向601和603的每一个方向上移动所生成的特征图来获取针对多个子滤波器622-1、622-2、622-3、622-4、622-5、622-6、622-7、622-8和622-9的多个特征图。
根据本公开的实施例，单个卷积层中包括的多个子滤波器的滤波区域可以具有不同的尺寸。滤波区域或滤波区域的尺寸中的至少一项可以通过神经网络中的学习来确定。
图7A示出了确定具有不同滤波区域的多个子滤波器的示例。图7B也示出了确定具有不同滤波区域的多个子滤波器的示例。
参考图7A和图7B，根据本公开的实施例，滤波器711的尺寸可以是3×3×N，且滤波器711的滤波区域的尺寸可以是2×2×N。图7A和图7B示出了滤波器711中的用于表示被应用了滤波器711的滤波区域的具有2×2×1尺寸的卷积核701。
参考图7A和图7B，示出了滤波器711中针对每个通道被应用滤波器711的滤波区域。具有尺寸3×3×N的滤波器711可以包括用于不同通道的不同滤波区域。通道可以对应于输入数据的深度。
根据本公开的图7A的实施例，可以通过针对每个通道在具有尺寸3×3×N的滤波器711内移动卷积核701的位置来确定滤波区域。
根据本公开的图7B的实施例，可以通过针对每个通道在具有尺寸3×3×N的滤波器711内移动卷积核701的位置来确定滤波区域。滤波区域可以被确定为针对每个通道来移动的卷积核701中的部分区域。例如，参考图7B，卷积核701中与被表示为0的区域相对应的区域可以被确定为滤波区域。
虽然通道0、1、2和3在图7A和图7B中被示出，但是通道的数量不限于此。
图8A示出了确定具有不同滤波区域的多个子滤波器的示例。图8B也示出了确定具有不同滤波区域的多个子滤波器的示例。参考图8A和图8B，根据本公开的实施例，滤波器811的尺寸可以是5×5×N，且滤波器811的滤波区域的尺寸可以是3×3×N。图8A和图8B示出了用于表示滤波器811中的被应用了滤波器811的滤波区域的具有尺寸3×3×1的卷积核801。
参考图8A和图8B，示出了滤波器811中的针对每个通道来应用滤波器811的滤波区域。具有尺寸5×5×N的滤波器811可以包括用于不同通道的不同滤波区域。通道可以对应于输入数据的深度。
根据本公开的图8A的实施例，可以通过针对每个通道在具有尺寸5×5×N的滤波器811内移动卷积核801的位置来确定滤波区域。
根据本公开的图8B的实施例，可以通过在具有5×5×N尺寸的滤波器811内针对固定的卷积核801中的每个通道移动卷积核801的位置来确定滤波区域。滤波区域可以被确定为针对每个通道来移动的卷积核801中的部分区域。例如，参考图8B，卷积核801中与被表示为4的区域相对应的区域可以被确定为滤波区域。
虽然通道0至8在图8A和图8B中被示出，但是通道的数量不限于此。
图9A示出了确定具有不同滤波区域的多个子滤波器的示例。图9B也示出了确定具有不同滤波区域的多个子滤波器的示例。
参考图9A和图9B，根据本公开的实施例，滤波器911的尺寸可以是3×3×N，且滤波器911的滤波区域的尺寸可以是3×3×N+1×3×N。图9A和图9B示出了用于表示滤波器911中的被应用了滤波器911的滤波区域的具有尺寸3×1×1的卷积核901和具有尺寸1×3×1的卷积核903。
参考图9A和图9B，示出了针对滤波器911中的每个通道应用被应用了滤波器911的滤波区域。具有尺寸3×3×N的滤波器911可以包括用于不同通道的不同滤波区域。通道可以对应于输入数据的深度。
根据本公开的图9A的实施例，可以通过针对每个通道在具有尺寸3×3×N的滤波器911内移动卷积核901和卷积核903的位置来确定滤波区域。
根据本公开的图9B的实施例，可以通过针对每个通道在具有尺寸3×3×N的滤波器911内移动卷积核901的位置来确定滤波区域。可以将滤波区域确定为针对每个通道所移动的卷积核901和卷积核903中的部分区域。例如，参考图9B，可以将与卷积核901中被表示为1的区域相对应的区域和与卷积核903中被表示为1的区域相对应的区域确定为滤波区域。
虽然在图9A和图9B中示出了通道0至通道8，但是通道的数量不限于此。
图10是根据本公开的实施例的电子设备1000的结构的框图。
电子设备1000可以是包括CNN在内的任意设备，该CNN包括多个卷积层。
电子设备1000可以以各种类型来实现。电子设备1000的示例可以包括(但不限于)：移动电话、智能电话、个人计算机(PC)、平板PC、个人数字助理(PDA)、膝上型计算机、媒体播放器、MP3播放器、便携式多媒体播放器(PMP)、数码相机、导航设备、全球定位系统(GPS)设备、电子书终端、数字广播终端、微服务器、以及其它移动或非移动计算设备。电子设备1000还可以是各自具有通信功能和数据处理功能的手表、眼镜、发带或戒指。
参考图10，电子设备1000可以包括存储器210、处理器220和显示器230。然而，可以通过比图10中所示的组件更多或更少的组件来实现电子设备1000。
存储器210可以存储由处理器220执行的至少一个指令。例如，存储器130可以存储用于在处理器120的控制下驱动电子设备1000和用于控制电子设备1000的各种数据块，并且也可以存储向电子设备1000输入的数据或从电子设备1000输出的数据。存储器210可以包括模块，该模块包括一个或多个指令。
处理器220可以执行存储器210中存储的一个或多个指令。处理器220可以包括处理器，该处理器包括单核、双核、三核、四核或多核。处理器220可以包括多个处理器。
处理器220可以获取输入数据。输入数据可以包括各种类型的数据，例如，文本、语音和图像(即，静态图像、运动图像或截屏)。
处理器220可以从多个卷积层之一中确定用于针对输入数据来执行卷积运算的滤波器。
处理器220可以确定滤波器中与不同滤波区域相对应的多个子滤波器且可以基于该多个子滤波器来生成多个特征图。
处理器220可以基于多个特征图来获取输出数据。输出数据可以包括各种类型的数据，例如，文本、语音和图像(即，静态图像、运动图像或截屏)。
根据本公开的实施例，当输入数据是由相机捕捉的图像时，输出数据可以是图像被转换成的具有特定类型的绘画。
当处理器220确定了多个子滤波器时，处理器220可以确定滤波器中的第一滤波区域和第二滤波区域，第二滤波区域不同于第一滤波区域，并且将包括作为滤波区域的第一滤波区域和第二滤波区域在内的滤波器确定为多个子滤波器之一。
处理器220可以通过使用由第一滤波区域确定的第一滤波器针对输入数据执行卷积运算来生成第一特征图。
处理器220可以通过使用由第二滤波区域确定的第二滤波器针对输入数据执行卷积运算来生成第二特征图。
处理器220可以通过针对第一和第二特征图执行求和来生成多个特征图之一。
当处理器220确定了多个子滤波器时，处理器220可以确定滤波器中具有预定尺寸的第一滤波区域，可以确定通过在滤波器中的第一方向和第二方向的每一个方向上移动第一滤波区域所获取的多个滤波区域，以及可以确定与多个滤波区域相对应的多个子滤波器。
处理器220可以将通过使用包括第一滤波区域在内的第一滤波器针对输入数据执行卷积运算所生成的第一特征图确定为多个特征图之一。处理器220可以通过在第一方向和第二方向的每个方向上移动第一特征图来生成特征图。
输入数据可以包括具有尺寸a×b×n的3D矩阵数据(其中，a、b和n是自然数)。
输入数据可以对应于具有多条二维2D矩阵数据的组，以及对多条2D矩阵数据应用的多个滤波器可以是包括不同滤波区域在内的滤波器。多条2D矩阵数据可以对应于特征图。
处理器220可以通过使用预定输入数据和预定输出数据来训练多个子滤波器。处理器220可以确定滤波器的权重并且可以确定滤波器中的滤波区域。
输出数据可以包括与输入数据相对应的图像数据。
由处理器220执行的一些功能可以由外部服务器来执行。根据本公开的实施例，处理器220可以向显示器230输出经由外部服务器接收的输入数据或经由外部服务器获取的输出数据。处理器220可以向外部服务器发送所生成的输出数据。
显示器230还可以显示在处理器220的控制下输入的内容(例如，运动图像或静态图像)。在处理器220的控制下，显示器230可以输出存储器210中存储的图像。
图11是根据本公开的实施例的处理器1300的框图。
参考图11，处理器1300可以包括数据训练器1310和数据识别器1320。
数据训练器1310可以训练用于获取识别结果的准则。数据训练器1310可以训练与什么数据被用于确定特定情况和如何通过使用数据来获取识别结果有关的准则。数据训练器1310可以获取将在训练中使用的数据，并且可以对将在稍后描述的数据识别模型应用所获取的数据，由此训练用于获取识别结果的准则。
数据识别器1320可基于数据来输出识别结果。数据识别器1320可以通过使用经训练的数据识别模型根据特定数据来输出识别结果。数据识别器1320可以根据之前由训练设置的准则来获取特定数据，并且通过使用所获取的数据作为输入值来使用数据识别模型，由此基于该特定数据来输出特定识别结果。通过使用所获取的数据作为输入值由数据识别模型输出的结果值可被用于对数据识别模型进行求精。
数据训练器1310或数据识别器1320中的至少一个可以被制造为至少一个硬件芯片的形式并且可以被安装在电子设备上。例如，数据训练器1310或数据识别器1320中的至少一个可以被制造为用于人工智能(AI)的专用硬件芯片的形式，或者可以被制造为已有的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))或专用于图形的处理器(例如，图形处理单元(GPU))的一部分，并且可以被安装在上述各种电子设备中的任一个电子设备上。
在这种情况下，数据训练器1310和数据识别器1320可以都被安装在单一电子设备上，或者可以被分别安装在独立的电子设备上。例如，数据训练器1310和数据识别器1320之一可以被包括在电子设备中，而另一个可以被包括在服务器中。数据训练器1310和数据识别器1320可以彼此有线或无线连接，并且因此可以向数据识别器1320提供由数据训练器1310建立的模型信息，并且可以提供向数据识别器1320输入的数据作为针对数据训练器1310的附加训练数据。
数据训练器1310或数据识别器1320中的至少一个可以被实现为软件模块。当使用软件模块(或包括指令在内的程序模块)来实现数据训练器1310或数据识别器1320中的至少一个时，该软件模块可以被存储在非暂时性的计算机可读介质中。在这种情况下，至少一个软件模块可以由操作系统(OS)或由特定的应用来提供。备选地，至少一个软件模块中的一些软件模块可以由OS来提供且其它软件模块可以由特定的应用来提供。
图12是根据本公开的实施例的数据训练器1310的框图。
参考图12，数据训练器1310可以包括数据获取器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4、以及模型评估器1310-5。
数据获取器1310-1可以获取用于获取识别结果所需要的数据。数据获取器1310-1可以获取用于为了获取识别结果而训练所需要的数据。
例如，对输入图像和根据输入图像所确定的输出图像进行训练的数据训练器1310中包括的数据获取器1310-1可以接收图像或运动图像。例如，数据获取器1310-1可以通过包括数据训练器1310在内的电子设备的相机或通过能够与包括数据训练器1310在内的电子设备通信的外部装置来接收图像或运动图像。相机可包括至少一个图像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(ISP)或者闪光灯(例如，发光二极管(LED)或氙灯)。
预处理器1310-2可以对所获取的数据进行预处理，使得所获取的数据可以被在用于情况确定的训练中。预处理器1310-2能够以预设格式来处理所获取的数据，使得将在下文中描述的模型训练器1310-4可以将所获取的数据用于训练以生成文本注释。
训练数据选择器1310-3可以从各条经预处理的数据中选择用于训练所需要的数据。可以向模型训练器1310-4提供所选择的数据。训练数据选择器1310-3可以根据用于情况确定的预设准则从经预处理的数据中选择用于训练所需要的数据。训练数据选择器1310-3可以根据之前通过模型训练器1310-4的训练设置的准则来选择数据，将在下文对其进行描述。
模型训练器1310-4可以基于训练数据来训练与如何确定情况有关的准则。模型训练器1310-4可以训练与要将哪些训练数据用于情况确定有关的准则。
模型训练器1310-4可以通过使用训练数据来训练在情况确定中使用的数据识别模型。在这种情况下，数据识别模型可以是之前建立的模型。例如，数据识别模型可以是通过接收基本训练数据(例如，样本图像)在之前建立的模型。
例如，可以在考虑到识别模型的应用领域、训练目的或设备的计算机性能的情况下建立数据识别模型。数据识别模型可以是例如基于神经网络的模型。例如，诸如深度神经网络(DNN)、循环神经网络(RNN)、双向循环神经网络DNN(BRDNN)或CNN之类的模型可被用作数据识别模型，但是本公开不限于此。
根据本公开的各个实施例，当存在被预先建立的多个数据识别模型时，模型训练器1310-4可以将在输入训练数据与基本训练数据之间具有高度相关的数据识别模型确定为将被训练的数据识别模型。在这种情况下，可以针对每种类型的数据对基本训练数据进行预先分类，并且可以针对每种类型的数据预先建立数据识别模型。例如，可以根据各种标准对基本学习数据进行预先分类，各种标准是例如：生成学习数据的区域、生成学习数据的时间、学习数据的尺寸、学习数据的种类、学习数据的生成器和学习数据中的对象的类型。
模型训练器1310-4可以通过使用例如误差反向传播或梯度下降在内的训练算法来训练数据识别模型。
模型训练器1310-4可以通过有监督学习(例如，通过使用训练数据作为输入值)来训练数据识别模型。模型训练器1310-4可以通过无监督学习发现用于情况确定的准则(例如，通过对用于情况确定所需要的数据类型进行自训练而无需监督)来训练数据识别模型。模型训练器1310-4可以通过使用与根据训练的情况确定的结果是否正确有关的反馈的加强式学习来训练数据识别模型。
当数据识别模型被训练完，模型训练器1310-4可以存储经训练的数据识别模型。在这种情况下，模型训练器1310-4可以在包括数据识别器1320在内的电子设备的存储器中存储经训练的数据识别模型。备选地，模型训练器1310-4可以在经由有线或无线网络与电子设备连接的服务器的存储器中存储经训练的数据识别模型。
在这种情况下，例如，存储了经训练的数据识别模型的存储器也可以存储与电子设备1000的至少一个其他组件相关的命令或数据。存储器也可以存储软件和/或程序。程序可以包括例如内核、中间件、应用编程接口(API)和/或应用程序(或“应用”)。
当模型评估器1310-5向数据识别模型输入评估数据且根据评估数据所输出的识别结果不满足预定准则时，模型评估器1310-5可以使模型训练器1310-4能够再次训练。在这种情况下，评估数据可以是用于评估数据识别模型的预设数据。
例如，当来自经训练的数据识别模型的针对评估数据的识别结果中的提供了不准确的识别结果的各条评估数据的数量或百分比超过预设阈值时，模型评估器1310-5可以评估不满足预定准则。例如，当预定准则被定义为2％且经训练的数据识别模型针对总共1000条评估数据中的多于20条评估数据输出了错误识别结果时，模型评估器1310-5可以评估经训练的数据识别模型不正确。
当存在多个经训练的数据识别模型时，模型评估器1310-5可以评估多个经训练的数据识别模型中的每一个数据识别模型是否满足预定准则，并且可以将满足预定准则的数据识别模型确定为最终的数据识别模型。在这种情况下，当多个模型满足预定准则时，模型评估器1310-5可以将以评估分数的降序来预设的模型中的一个或预定数量的模型确定为最终的数据识别模型。
数据训练器1310中的数据获取器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4或模型评估器1310-5中的至少一个可以被制造为至少一个硬件芯片的形式并且可以被安装在电子设备上。例如，数据获取器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4或模型评估器1310-5中的至少一个可以被制造为用于AI的专用硬件芯片的形式，或者可以被制造为已有的通用处理器(例如，CPU或AP)或专用于图形的处理器(例如，GPU)的一部分，并且可以被安装在上述各种电子设备中的任一个电子设备上。
数据获取器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4或模型评估器1310-5可以都被安装在单一电子设备上，或者可以被分别安装在独立的电子设备上。例如，数据获取器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4和模型评估器1310-5中的一些可以被包括在电子设备中，而另一些可以被包括在服务器中。
例如，数据获取器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4或模型评估器1310-5中的至少一个可以被实现为软件模块。当数据获取器1310-1、预处理器1310-2、训练数据选择器1310-3、模型训练器1310-4或模型评估器1310-5中的至少一个被实现为软件模块(或包括指令在内的程序模块)时，该软件模块可以被存储在非暂时性的计算机可读记录介质中。在这种情况下，该至少一个软件模块可以由OS或由特定的应用来提供。备选地，至少一个软件模块中的一些软件模块可以由OS来提供且其它软件模块可以由特定的应用来提供。
图13是根据本公开的实施例的数据识别器1320的框图。
参考图13，数据识别器1320可以包括数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型求精器1320-5。
数据获取器1320-1可以获取用于情况确定所需要的数据，而预处理器1320-2可以对所获取的数据进行预处理，使得所获取的数据可被用于情况确定。预处理器1320-2能够以预设格式来处理所获取的数据，使得将在下文中描述的识别结果提供器1320-4可以将所获取的数据用于情况确定。
数据获取器1320-1可以向识别结果提供器1320-4提供所获取的输入数据。
识别数据选择器1320-3可以从经预处理的数据中选择用于情况确定所需的数据。可以向识别结果提供器1320-4提供所选择的数据。识别数据选择器1320-3可以根据用于情况确定的预设准则来选择经预处理的数据中的一些或全部。识别数据选择器1320-3可以根据之前通过模型训练器1310-4的训练所设置的准则来选择数据，将在下文对其进行描述。
识别结果提供器1320-4可以通过对数据识别模型应用所选择的数据来确定情况。识别结果提供器1320-4可以提供与数据识别目的一致的识别结果。识别结果提供器1320-4可以通过使用由识别数据选择器1320-3所选择的数据作为输入值，对数据识别模型应用所选择的数据。识别结果可以由数据识别模型来确定。
识别结果提供器1320-4可以包括数据识别模型，该数据识别模型包括神经网络。识别结果提供器1320-4可以包括数据识别模型，该数据识别模型包括多个卷积层和神经网络。
通过使用数据识别模型，识别结果提供器1320-4可以提供输入图像的识别结果，作为输出图像。
基于由识别结果提供器1320-4提供的识别结果的评估，模型求精器1320-5可以使数据识别模型能够被求精。例如，通过向模型训练器1310-4提供由识别结果提供器1320-4提供的识别结果，模型求精器1320-5可以使模型训练器1310-4能够对数据识别模型进行求精。
数据识别器1320中的数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4或模型求精器1320-5中的至少一个可以被制造为至少一个硬件芯片的形式并且可以被安装在电子设备上。例如，数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4或模型求精器1320-5中的至少一个可以被制造为用于AI的专用硬件芯片的形式，或者可以被制造为已有的通用处理器(例如，CPU或AP)或专用于图形的处理器(例如，GPU)的一部分，并且可以被安装在上述各种电子设备中的任一个电子设备上。
数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型求精器1320-5可以都被安装在单一电子设备上，或者可以被分别安装在独立的电子设备上。例如，数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型求精器1320-5中的一些可以被包括在电子设备中，而另一些可以被包括在服务器中。
数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4或模型求精器1320-5中的至少一个可以被实现为软件模块。当数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4或模型求精器1320-5中的至少一个被实现为软件模块(或包括指令在内的程序模块)时，该软件模块可以被存储在非暂时性的计算机可读记录介质中。在这种情况下，该至少一个软件模块可以由OS或由特定的应用来提供。备选地，至少一个软件模块中的一些软件模块可以由OS来提供且其它软件模块可以由特定的应用来提供。
图14是示出了根据本公开的实施例的电子设备1000与服务器2000交互操作以训练和识别数据的示例的框图。
参考图14，服务器2000可以训练用于获取输出数据的算法，而电子设备1000可以基于由服务器2000执行的训练的结果来获取输出数据。
在这种情况下，服务器2000的模型训练器2340可以执行图12的数据训练器1310的功能。服务器2000的模型训练器2340可以训练与什么数据被用于确定特定情况有关的准则和如何通过使用数据来获取输出数据有关的准则。模型训练器2340可以获取将在训练中使用的数据，并且可以对将在稍后描述的数据识别模型应用所获取的数据，由此训练用于情况确定的准则和用于获取输出数据的准则。
电子设备1000的识别结果提供器1320-4可以对由服务器2000所生成的数据识别模型应用由识别数据选择器1320-3所选择的数据，由此获取输出数据。例如，识别结果提供器1320-4可以向服务器2000发送由识别数据选择器1320-3所选择的数据，而服务器2000通过对数据识别模型应用由识别数据选择器1320-3所选择的数据来请求获取输出数据。识别结果提供器1320-4可以从服务器2000接收与由服务器2000获取的输出数据有关的信息。
备选地，电子设备1000的识别结果提供器1320-4可以从服务器2000接收由服务器2000生成的数据识别模型，并且可以通过使用所接收的数据识别模型来确定情况。在这种情况下，电子设备1000的识别结果提供器1320-4可以通过对从服务器2000接收的数据识别模型应用由识别数据选择器1320-3选择的数据来获取输出数据。
图15是根据本公开的另一个实施例的电子设备1000的结构的框图。
例如，参考图15，电子设备1000可以包括用户输入接口1100、输出接口1200、处理器1300、感测单元1400、通信接口1500、音频/视频(A/V)输入接口1600和存储器1700。
存储器1700、处理器1300和显示器1210可以对应于图10的存储器210、处理器220和显示器230，且因此本文中将省略对其的冗余描述。
用户输入接口1100表示用户经由其输入用于控制电子设备1000的数据的单元。例如，用户输入接口1100可以是(但不限于)：键区、圆顶开关(dome switch)、触摸板(例如，电容覆盖型、电阻覆盖型、红外光束型、积分式应变仪型、表面声波型、压电型等)、触动轮或触动开关。
输出接口1200可以输出音频信号、视频信号或振动信号，并且可以包括显示器1210、音频输出接口1220和振动电机1230。
显示器1210显示由电子设备1000处理的信息。例如，显示器1210可以输出经由相机1610接收的预览图像。
音频输出接口1220输出从通信接口1500接收的或存储器1700中存储的音频数据。音频输出接口1220还输出与电子设备1000的功能有关的音频信号(例如，呼叫信号接收声音、消息接收声音或通知声音)。音频输出接口1220可以包括例如扬声器和蜂鸣器。
振动电机1230可以输出振动信号。例如，振动电机1230可以输出与音频数据或视频数据(例如，呼叫信号接收声音或消息接收声音)的输出相对应的振动信号。振动电机1230也可以在触摸屏被触摸时输出振动信号。
处理器1300通常控制电子设备1000的所有操作。例如，处理器1300可以通过执行存储器1700中存储的程序来控制用户输入接口1100、输出接口1200、感测单元1400、通信接口1500、A/V输入接口1600等。通过控制用户输入接口1100、输出接口1200、感测单元1400、通信接口1500和A/V输入接口1600，处理器1300可以使电子设备1000能够生成输出数据。
感测单元1400可以感测电子设备1000的状态或电子设备1000的周围的状态并且可以向处理器1300发送与所感测到的状态相对应的信息。
感测单元1400可以包括(但不限于)以下至少一项：磁传感器1410、加速度传感器1420、温度/湿度传感器1430、红外传感器1440、陀螺仪传感器1450、位置传感器(例如，全球定位系统(GPS))1460、气压传感器1470、接近传感器1480或超声传感器1490。大多数传感器的功能将会由本领域技术人员结合它们的名称被直观地理解，且因此在本文中将省略对其的详细描述。
通信接口1500可以包括实现了电子设备1000与另一设备之间或电子设备1000与服务器2000之间的通信的一个或多个组件。例如，通信接口1500可以包括短距离无线通信接口1510、移动通信接口1520和广播接收器1530。
短距离无线通信接口1510的示例可以包括(但不限于)蓝牙通信接口、蓝牙低功耗(BLE)通信接口、近场通信(NFC)接口、无线局域网(WLAN)(例如，Wi-Fi)通信接口、ZigBee通信接口、红外数据协会(IrDA)通信接口、Wi-Fi直连(WFD)通信接口、超宽带(UWB)通信接口、以及Ant+通信接口。
移动通信模块1520可以与从基站、外部终端和移动通信网络上的服务器中选择的至少一个交换无线信号。此处，无线信号的示例可以包括语音呼叫信号、视频呼叫信号以及根据文本/多媒体消息传输的各种类型的数据。
广播接收器1530经由广播信道从外部源接收广播信号和/或广播相关的信息。广播信道可以是卫星信道、地面波信道等。根据本公开的实施例，电子设备1000可以不包括广播接收器1530。
A/V输入接口1600输入音频信号或视频信号，并且可以包括相机1610和麦克风1620。相机1610可以经由图像传感器在视频呼叫模式或拍摄模式下获取图像帧，例如静态图像或运动图像。经由图像感测器所捕捉的图像可以由处理器1300或单独的图像处理器(未示出)来处理。
由相机1610获取的图像帧可以被存储在存储器1700中或者可以经由通信接口1500向外部发送。根据终端的结构的实施例，可以包括至少两个相机1610。
麦克风1620接收外部音频信号并将外部音频信号转换为电音频数据。例如，麦克风1620可以从外部设备或用户接收音频信号。麦克风1620可以接收用户的语音输入。麦克风1620可以使用各种噪声去除算法来去除在接收外部音频信号时生成的噪声。
存储器1700可以包括从以下各项中选择的至少一种类型的存储介质：闪存型、硬盘型、多媒体卡微型、卡类型存储器(例如，安全数字(SD)或极限数字(XD)存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁存储器、磁盘和光盘。电子设备1000可以操作执行存储器1700的存储功能的互联网上的网络存储器或云服务器。
存储器1700中存储的程序可以根据其功能被分类为多个模块(例如，用户接口(UI)模块1710、触摸屏模块1720和通知模块1730)。
UI模块1710可以提供专门用于每个应用并与电子设备1000交互操作的UI、图形用户接口(GUI)等。触摸屏模块1720可以检测用户在触摸屏上的触摸手势，并向处理器1300发送与触摸手势有关的信息。根据本公开的实施例的触摸屏模块1720可以识别和分析触摸代码。可以由包括控制器在内的单独硬件来配置触摸屏模块1720。
通知模块1730可以生成用于通知在电子设备1000中已经生成了事件的信号。在电子设备1000中生成的事件的示例可以包括：呼叫信号接收、消息接收、按键信号输入、调度通知等。通知模块1730可以经由显示器1210来输出具有视频信号形式的通知信号，可以经由音频输出接口1220来输出具有音频信号形式的通知信号，或者可以经由振动电机1230来输出具有振动信号形式的通知信号。
根据本公开的实施例的控制方法可以被体现为可由各种计算机装置执行的程序命令，并且可被记录在计算机可读记录介质上。计算机可读记录介质可以单独地或组合地包括程序命令、数据文件、数据结构等。要在计算机可读记录介质上记录的程序命令可以被特别设计和配置用于本公开的实施例，或者可以是计算机软件领域的普通技术人员所熟知并且可以使用的。计算机可读记录介质的示例包括诸如硬盘、软盘或磁带之类的磁介质、诸如高密度盘只读存储器(CD-ROM)或数字多功能盘(DVD)之类的光学介质、诸如光磁软盘之类的磁光介质、以及诸如ROM、随机存取存储器(RAM)或闪存之类的被专门配置为存储和执行程序命令的硬件设备。程序命令的示例是可以由计算机通过使用解释器等来执行的高级语言代码以及由编译器产生的机器语言代码。
在一些实施例中，本文描述的本公开的任一功能可以通过包括指令在内的程序来实现。程序可以被存储在诸如存储器210之类的存储器中。可以从存储器读取指令且该指令可由诸如处理器220之类的一个或多个处理器来执行。
尽管参考本公开的实施例来具体示出并描述本公开和优点，但是本领域技术人员将理解：可以在其中做出形式和细节上的各种修改，而不脱离由所附权利要求所限定的本公开的精神和范围。本公开的实施例和附图应该被视为仅是描述性的而不是用于限制的目的。在该范围内的所有差异都将被视为被包括在本公开中。

Claims (15)

1.一种使用包括多个卷积层在内的卷积神经网络CNN的计算装置，所述计算装置包括：
存储一个或多个指令的存储器；以及
一个或多个处理器，被配置为执行所述存储器中存储的所述一个或多个指令以：
获取输入数据；
识别用于在所述多个卷积层之一上执行针对所述输入数据的卷积运算的滤波器；
识别所述滤波器中的多个子滤波器，所述多个子滤波器与多个滤波区域相关联，其中，所述多个滤波区域中的每一个滤波区域与所述多个子滤波器中的至少一个子滤波器相关联；
基于所述多个子滤波器来提供多个特征图；以及
基于所述多个特征图来获取输出数据。
2.根据权利要求1所述的计算装置，其中，所述一个或多个处理器还被配置为执行所述一个或多个指令以通过以下操作来识别所述多个子滤波器：
识别第一滤波区域和第二滤波区域，所述第二滤波区域不同于所述第一滤波区域；以及
识别与所述第一滤波区域相关联且与所述第二滤波区域相关联的选定滤波器，作为所述多个子滤波器之一。
3.根据权利要求2所述的计算装置，其中，所述一个或多个处理器还被配置为执行所述一个或多个指令以通过以下操作来提供所述多个特征图：
通过使用与所述第一滤波区域相关联的第一滤波器针对所述输入数据执行第一卷积运算来提供第一特征图；
通过使用与所述第二滤波区域相关联的第二滤波器针对所述输入数据执行第二卷积运算来提供第二特征图；以及
通过针对所述第一特征图和所述第二特征图执行求和来提供所述多个特征图的第三特征图。
4.根据权利要求1所述的计算装置，其中，所述一个或多个处理器还被配置为执行所述一个或多个指令以通过以下操作来识别所述多个子滤波器：
识别与所述滤波器相关联的具有预定尺寸的第一滤波区域；以及
通过针对所述滤波器在第一方向和第二方向中的每个方向上移动所述第一滤波区域的关联来识别多个滤波区域。
5.根据权利要求2所述的计算装置，其中，所述一个或多个处理器还被配置为执行所述一个或多个指令以通过以下操作来提供所述多个特征图：
将通过使用与所述第一滤波区域相关联的第一滤波器针对所述输入数据执行卷积运算所提供的第一特征图识别为所述多个特征图之一；
通过在第一方向上移动所述第一特征图来提供第二特征图；以及
通过在第二方向上移动所述第一特征图来提供第三特征图。
6.根据权利要求1所述的计算装置，其中，所述输入数据包括具有尺寸a×b×n的三维3D矩阵数据，其中，a、b和n是自然数。
7.根据权利要求1所述的计算装置，其中，
所述输入数据对应于具有多条二维2D矩阵数据的组，以及
对所述多条2D矩阵数据应用所述多个子滤波器，并且所述多个子滤波器与不同的2D滤波区域相关联。
8.根据权利要求1所述的计算装置，其中，所述一个或多个处理器还被配置为执行所述一个或多个指令以：使用预定输入数据和预定输出数据来训练所述多个子滤波器。
9.根据权利要求8所述的计算装置，其中，所述一个或多个处理器还被配置为执行所述一个或多个指令以：通过识别所述多个子滤波器中的第一子滤波器的权重并识别与所述第一子滤波器相关联的滤波区域来训练所述第一子滤波器。
10.根据权利要求1所述的计算装置，其中，所述输出数据包括与所述输入数据相对应的图像数据。
11.一种操作包括多个卷积层在内的卷积神经网络CNN的方法，所述方法包括：
获取输入数据；
识别用于在所述多个卷积层之一上执行针对所述输入数据的卷积运算的滤波器；
识别所述滤波器中的多个子滤波器，所述多个子滤波器与多个滤波区域相关联，其中，所述多个滤波区域中的每一个滤波区域与所述多个子滤波器中的至少一个子滤波器相关联；
基于所述多个子滤波器来提供多个特征图；以及
基于所述多个特征图来获取输出数据。
12.根据权利要求11所述的方法，其中，识别所述多个子滤波器包括：
识别第一滤波区域和第二滤波区域，所述第二滤波区域不同于所述第一滤波区域；以及
识别与所述第一滤波区域相关联且与所述第二滤波区域相关联的选定滤波器，作为所述多个子滤波器之一。
13.根据权利要求12所述的方法，其中，提供所述多个特征图还包括：
通过使用与所述第一滤波区域相关联的第一滤波器针对所述输入数据执行第一卷积运算来提供第一特征图；
通过使用与所述第二滤波区域相关联的第二滤波器针对所述输入数据执行第二卷积运算来提供第二特征图；以及
通过针对所述第一特征图和所述第二特征图执行求和来提供所述多个特征图的第三特征图。
14.根据权利要求11所述的方法，其中，识别所述多个子滤波器包括：
识别与所述滤波器相关联的具有预定尺寸的第一滤波区域；以及
通过针对所述滤波器在第一方向和第二方向中的每个方向上移动所述第一滤波区域的关联来识别多个滤波区域。
15.根据权利要求14所述的方法，其中，提供所述多个特征图还包括：
将通过使用与所述第一滤波区域相关联的第一滤波器针对所述输入数据执行卷积运算所提供的第一特征图识别为所述多个特征图之一；
通过在第一方向上移动所述第一特征图来提供第二特征图；以及
通过在第二方向上移动所述第一特征图来提供第三特征图。
CN201910788304.1A 2018-09-06 2019-08-23 使用卷积神经网络的计算装置及其操作方法 Active CN110880034B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180106507A KR20200028168A (ko) 2018-09-06 2018-09-06 컨볼루셔널 뉴럴 네트워크를 이용하는 컴퓨팅 장치 및 그 동작 방법
KR10-2018-0106507 2018-09-06

Publications (2)

Publication Number Publication Date
CN110880034A true CN110880034A (zh) 2020-03-13
CN110880034B CN110880034B (zh) 2024-06-18

Family

ID=69719935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910788304.1A Active CN110880034B (zh) 2018-09-06 2019-08-23 使用卷积神经网络的计算装置及其操作方法

Country Status (5)

Country Link
US (1) US11580354B2 (zh)
EP (1) EP3803713A4 (zh)
KR (1) KR20200028168A (zh)
CN (1) CN110880034B (zh)
WO (1) WO2020050478A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7402623B2 (ja) * 2019-06-17 2023-12-21 キヤノン株式会社 フィルタ処理装置及びその制御方法
US11410282B2 (en) * 2020-03-31 2022-08-09 Arm Limited Neural processing filter
US11113601B1 (en) * 2020-06-30 2021-09-07 Moffett Technologies Co., Limited Method and system for balanced-weight sparse convolution processing
US11972348B2 (en) 2020-10-30 2024-04-30 Apple Inc. Texture unit circuit in neural network processor
KR102480235B1 (ko) * 2020-11-16 2022-12-22 엔에이치엔클라우드 주식회사 딥러닝 기반 광학문자인식 장치 및 그 시스템
WO2022139879A1 (en) * 2020-12-24 2022-06-30 Intel Corporation Methods, systems, articles of manufacture and apparatus to optimize resources in edge networks
KR102562344B1 (ko) * 2020-12-30 2023-08-01 주식회사 쿠오핀 네트워크 프로세서와 컨볼루션 처리기를 갖는 디바이스용 신경망 처리기
KR102311033B1 (ko) * 2021-06-04 2021-10-08 주식회사 성심소프트 딥러닝 기반의 이미지 특징 추출 장치

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160148078A1 (en) * 2014-11-20 2016-05-26 Adobe Systems Incorporated Convolutional Neural Network Using a Binarized Convolution Layer
CN105938557A (zh) * 2015-03-06 2016-09-14 松下知识产权经营株式会社 图像识别方法、图像识别装置
CN106682736A (zh) * 2017-01-18 2017-05-17 北京小米移动软件有限公司 图像识别方法及装置
CN106682569A (zh) * 2016-09-28 2017-05-17 天津工业大学 一种基于卷积神经网络的快速交通标识牌识别方法
CN107169998A (zh) * 2017-06-09 2017-09-15 西南交通大学 一种基于肝脏超声造影图像的实时跟踪及定量分析方法
CN107403221A (zh) * 2016-05-03 2017-11-28 想象技术有限公司 卷积神经网络的硬件实现
DE102017117381A1 (de) * 2016-08-11 2018-02-15 Nvidia Corporation Beschleuniger für dünnbesetzte faltende neuronale Netze
US20180121795A1 (en) * 2016-10-28 2018-05-03 Canon Kabushiki Kaisha Data processing apparatus, method for controlling the same, and storage medium storing program
EP3319015A1 (en) * 2016-11-07 2018-05-09 Samsung Electronics Co., Ltd. Convolutional neural network processing method and apparatus
CN108021869A (zh) * 2017-11-15 2018-05-11 华侨大学 一种结合高斯核函数的卷积神经网络跟踪方法
CN108108812A (zh) * 2017-12-20 2018-06-01 南京大学 用于卷积神经网络的高效可配置卷积计算加速器
CN108197602A (zh) * 2018-01-30 2018-06-22 厦门美图之家科技有限公司 一种卷积神经网络生成方法及表情识别方法
CN108463848A (zh) * 2016-03-23 2018-08-28 谷歌有限责任公司 用于多声道语音识别的自适应音频增强

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346622A (zh) * 2013-07-31 2015-02-11 富士通株式会社 卷积神经网络分类器及其分类方法和训练方法
US9418458B2 (en) * 2015-01-05 2016-08-16 Superfish Ltd. Graph image representation from convolutional neural networks
US10614354B2 (en) * 2015-10-07 2020-04-07 Altera Corporation Method and apparatus for implementing layers on a convolutional neural network accelerator
GB2549554A (en) * 2016-04-21 2017-10-25 Ramot At Tel-Aviv Univ Ltd Method and system for detecting an object in an image
JP6833873B2 (ja) 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
WO2017214970A1 (en) * 2016-06-17 2017-12-21 Nokia Technologies Oy Building convolutional neural network
US11157814B2 (en) 2016-11-15 2021-10-26 Google Llc Efficient convolutional neural networks and techniques to reduce associated computational costs
US10402688B2 (en) 2016-12-07 2019-09-03 Kla-Tencor Corporation Data augmentation for convolutional neural network-based defect inspection
KR20180073118A (ko) 2016-12-22 2018-07-02 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US10643306B2 (en) * 2017-10-11 2020-05-05 Qualcomm Incoporated Image signal processor for processing images
US10678508B2 (en) * 2018-03-23 2020-06-09 Amazon Technologies, Inc. Accelerated quantized multiply-and-add operations

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160148078A1 (en) * 2014-11-20 2016-05-26 Adobe Systems Incorporated Convolutional Neural Network Using a Binarized Convolution Layer
CN105938557A (zh) * 2015-03-06 2016-09-14 松下知识产权经营株式会社 图像识别方法、图像识别装置
CN108463848A (zh) * 2016-03-23 2018-08-28 谷歌有限责任公司 用于多声道语音识别的自适应音频增强
CN107403221A (zh) * 2016-05-03 2017-11-28 想象技术有限公司 卷积神经网络的硬件实现
DE102017117381A1 (de) * 2016-08-11 2018-02-15 Nvidia Corporation Beschleuniger für dünnbesetzte faltende neuronale Netze
CN106682569A (zh) * 2016-09-28 2017-05-17 天津工业大学 一种基于卷积神经网络的快速交通标识牌识别方法
US20180121795A1 (en) * 2016-10-28 2018-05-03 Canon Kabushiki Kaisha Data processing apparatus, method for controlling the same, and storage medium storing program
EP3319015A1 (en) * 2016-11-07 2018-05-09 Samsung Electronics Co., Ltd. Convolutional neural network processing method and apparatus
KR20180050928A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
CN108073981A (zh) * 2016-11-07 2018-05-25 三星电子株式会社 处理卷积神经网络的方法和设备
CN106682736A (zh) * 2017-01-18 2017-05-17 北京小米移动软件有限公司 图像识别方法及装置
CN107169998A (zh) * 2017-06-09 2017-09-15 西南交通大学 一种基于肝脏超声造影图像的实时跟踪及定量分析方法
CN108021869A (zh) * 2017-11-15 2018-05-11 华侨大学 一种结合高斯核函数的卷积神经网络跟踪方法
CN108108812A (zh) * 2017-12-20 2018-06-01 南京大学 用于卷积神经网络的高效可配置卷积计算加速器
CN108197602A (zh) * 2018-01-30 2018-06-22 厦门美图之家科技有限公司 一种卷积神经网络生成方法及表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI DU等: ""A Reconfigurable Streaming Deep Convolutional Neural Network Accelerator for Internet of Things"", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS I: REGULAR PAPERS ( VOLUME: 65, ISSUE: 1, JANUARY 2018)》, vol. 65, no. 1, pages 198 *

Also Published As

Publication number Publication date
CN110880034B (zh) 2024-06-18
KR20200028168A (ko) 2020-03-16
EP3803713A4 (en) 2021-08-11
US20200082244A1 (en) 2020-03-12
EP3803713A1 (en) 2021-04-14
US11580354B2 (en) 2023-02-14
WO2020050478A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
CN110880034B (zh) 使用卷积神经网络的计算装置及其操作方法
CN111340766B (zh) 目标对象的检测方法、装置、设备和存储介质
EP3531370B1 (en) Method for correcting image by device and device therefor
KR101870067B1 (ko) 로봇 디바이스 동작의 가상 표현을 디스플레이하는 증강 현실을 위한 방법 및 시스템
US11277702B2 (en) Method and apparatus for sound object following
EP3614343B1 (en) Method and device for providing image
KR20210057611A (ko) 이미지 데이터에 포함된 객체를 인식하는 인공 지능 장치 및 그 방법
KR20190016367A (ko) 객체를 인식하는 방법 및 장치
KR20190078543A (ko) 이미지 획득 장치 및 그의 제어 방법
KR102420567B1 (ko) 음성 인식 장치 및 방법
KR20180055708A (ko) 이미지를 처리하는 전자 장치 및 방법
KR20210070634A (ko) 인공 지능 장치 및 그의 동작 방법
KR102360181B1 (ko) 차량의 동작을 제어하는 전자 장치 및 방법
KR20210057598A (ko) 알림을 제공하는 인공 지능 장치 및 그 방법
US20210055113A1 (en) Electronic apparatus and method for implementing simultaneous localization and mapping (slam)
KR20200128486A (ko) 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
CN111796979A (zh) 数据采集策略的确定方法、装置、存储介质及电子设备
CN116324808A (zh) 人工智能模型分布式处理系统及其操作方法
EP3529776B1 (en) Method, device, and system for processing multimedia signal
US11797824B2 (en) Electronic apparatus and method for controlling thereof
CN112527104A (zh) 确定参数确定方法、装置、设备及存储介质
US20210155262A1 (en) Electronic apparatus and operation method thereof
EP4206977A1 (en) Electronic device and control method of electronic device
KR102259429B1 (ko) 로봇의 배치 구역을 결정하는 인공 지능 서버 및 그 방법
KR20210059457A (ko) 이동 단말기

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant