CN113361703A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN113361703A
CN113361703A CN202010151570.6A CN202010151570A CN113361703A CN 113361703 A CN113361703 A CN 113361703A CN 202010151570 A CN202010151570 A CN 202010151570A CN 113361703 A CN113361703 A CN 113361703A
Authority
CN
China
Prior art keywords
layer
data
fusion
data processing
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010151570.6A
Other languages
English (en)
Other versions
CN113361703B (zh
Inventor
屠震元
叶挺群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010151570.6A priority Critical patent/CN113361703B/zh
Publication of CN113361703A publication Critical patent/CN113361703A/zh
Application granted granted Critical
Publication of CN113361703B publication Critical patent/CN113361703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种数据处理方法、装置及电子设备，应用于包括融合层的深度学习网络，每一融合层分别与深度学习框架中的卷积层一一对应，每一卷积层对应的融合层为：通过预设参数融合方式和预设规则融合方式、将待融合层融合至该卷积层得到的网络层；方法包括：每一融合层获得与该融合层连接的上一融合层对待处理数据进行数据处理的结果和待处理数据；根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和待处理数据进行数据处理。采用本申请实施例提供的方案处理数据，可以减少数据处理过程中对内存或显存的访问次数，提高数据处理的速度和效率。

Description

一种数据处理方法及装置
技术领域
本申请涉及计算机技术领域，特别是涉及一种数据处理方法及装置。
背景技术
随着计算机技术的发展，深度学习网络被越来越广泛地用来进行处理数据。基于卷积神经网络框架(Convolutional Architecture for Fast Feature Embedding，简称Caffe)的深度学习网络是常用的一种深度学习网络。Caffe包括卷积层和非卷积层，Eltwise层为Caffe的一个非卷积层，其功能是对各卷积(Convolutional，简称Conv)层的运算结果进行求和、点积、取最大值等处理。
应用基于Caffe的深度学习网络进行数据处理时，各Conv层对待处理数据分别进行卷积计算，Eltwise层获得各卷积层计算得到的卷积计算结果，并按照Eltwise层对应的数据处理规则对各卷积计算结果进行数据处理。
然而，上述数据处理过程中，各Conv层在计算出各卷积计算结果后，需要将各卷积计算结果分别存入内存或显存，Eltwise层需要从内存或显存中读取各卷积计算结果，并在对各卷积计算结果进行数据处理后将处理结果存入内存或显存。可见，上述数据处理过程需要频繁地对内存或显存进行访问，使得数据处理速度较慢、效率低。
发明内容
本申请实施例的目的在于提供一种数据处理方法及装置，以减少数据处理过程中对内存或显存的访问次数，提高数据处理的速度和效率。具体技术方案如下：
第一方面，本申请实施例提供了一种数据处理方法，应用于深度学习网络，所述深度学习网络包括融合层，每一融合层分别与深度学习框架中的卷积层一一对应，每一卷积层对应的融合层为：通过预设参数融合方式和预设规则融合方式、将待融合层融合至该卷积层得到的网络层，所述预设参数融合方式包括：基于卷积层对应的待融合参数修正卷积层的参数得到融合层的参数，所述预设规则融合方式包括：基于卷积层对应的待融合规则修正卷积层对应的数据处理规则得到融合层对应的数据处理规则，所述待融合层包括：所述深度学习框架中用于对各卷积层的卷积运算结果进行运算的非卷积层；所述方法包括：
每一融合层获得与该融合层连接的上一融合层对待处理数据进行数据处理的结果和所述待处理数据；
根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理。
可选的，所述深度学习框架为卷积神经网络框架Caffe；所述待融合层为Eltwise层。
可选的，基于卷积层对应的待融合规则修正卷积层对应的数据处理规则，得到的融合层对应的数据处理规则为：满足以下表达式的规则：
Y＝alpha2*conv(x)+alpha1*z+bias
其中，Y表示融合层对所述待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对所述待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示所述待处理数据，alpha1表示所述z的缩放系数，bias表示融合层的偏置值。
可选的，在所述根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理之前，所述方法还包括：
将所述待处理数据的数据类型转换为预设数据类型，其中，所述预设数据类型的数据的比特位长度小于所述深度学习框架所支持的数据类型的数据的比特位长度；
相应的，所述根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理，包括：
根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和转换数据类型后的所述待处理数据进行数据处理；
在所述根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理后，所述方法还包括：
将所述融合层对所述待处理数据的处理结果的数据类型转换为所述预设数据类型。
可选的，所述预设参数融合方式包括：基于卷积层对应的待融合参数和所述深度学习框架中的激活层修正卷积层的参数得到融合层的参数；所述预设规则融合方式包括：基于卷积层对应的待融合规则和所述激活层修正卷积层对应的数据处理规则得到融合层对应的数据处理规则。
可选的，基于卷积层对应的待融合规则和所述激活层修正卷积层对应的数据处理规则，得到的融合层对应的数据处理规则为：满足以下表达式的规则：
Y＝act(alpha2*conv(x)+alpha1*z+bias)
其中，Y表示融合层对所述待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对所述待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示所述待处理数据，alpha1表示所述z的缩放系数，bias表示融合层的偏置值，act()表示激活层的数据处理函数。
可选的，所述待处理数据为待识别图像；
所述每一融合层获得与该融合层连接的上一融合层对待处理数据进行数据处理的结果和所述待处理数据，包括：
每一融合层获得与该融合层连接的上一融合层对待识别图像进行目标识别后的第一识别结果和所述待识别图像；
所述根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理，包括：
根据融合层的参数和融合层对应的数据处理规则，基于所述第一识别结果对所述待识别图像进行目标识别，得到对所述待识别图像进行目标识别的第二识别结果。
可选的，所述对所述待识别图像进行目标识别，包括：
识别所述待识别图像中的以下至少一项目标：行人、人脸、机动车、非机动车、条形码、二维码。
可选的，所述待处理数据为待识别音频；
所述每一融合层获得与该融合层连接的上一融合层对待处理数据进行数据处理的结果和所述待处理数据，包括：
每一融合层获得与该融合层连接的上一融合层对待识别音频进行字符识别后的第三识别结果和所述待识别音频；
所述根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理，包括：
根据融合层的参数和融合层对应的数据处理规则，基于所述第三识别结果对所述待识别音频进行字符识别，得到对所述待识别音频进行字符识别的第四识别结果。
第二方面，本申请实施例还提供了一种数据处理装置，应用于深度学习网络，所述深度学习网络包括融合层，每一融合层分别与深度学习框架中的卷积层一一对应，每一卷积层对应的融合层为：通过参数融合方式和预设规则融合方式、将待融合层融合至该卷积层得到的网络层，所述预设参数融合方式包括：基于卷积层对应的待融合参数修正卷积层的参数得到融合层的参数，所述预设规则融合方式包括：基于卷积层对应的待融合规则修正卷积层对应的数据处理规则得到融合层对应的数据处理规则，所述待融合层包括：所述深度学习框架中用于对各卷积层的卷积运算结果进行运算的非卷积层；所述装置包括：
数据获取单元，用于使每一融合层获得与该融合层连接的上一融合层对待处理数据进行数据处理的结果和所述待处理数据；
数据处理单元，用于根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理。
可选的，所述深度学习框架为卷积神经网络框架Caffe；所述待融合层为Eltwise层。
可选的，基于卷积层对应的待融合规则修正卷积层对应的数据处理规则，得到的融合层对应的数据处理规则为：满足以下表达式的规则：
Y＝alpha2*conv(x)+alpha1*z+bias
其中，Y表示融合层对所述待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对所述待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示所述待处理数据，alpha1表示所述z的缩放系数，bias表示融合层的偏置值。
可选的，所述装置还包括：
第一数据转换单元，用于将所述待处理数据的数据类型转换为预设数据类型，其中，所述预设数据类型的数据的比特位长度小于所述深度学习框架所支持的数据类型的数据的比特位长度；
相应的，所述数据处理单元，具体用于：
根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和转换数据类型后的所述待处理数据进行数据处理；
所装置还包括：
第二数据转换单元，用于将所述融合层对所述待处理数据的处理结果的数据类型转换为所述预设数据类型。
可选的，所述预设参数融合方式包括：基于卷积层对应的待融合参数和所述深度学习框架中的激活层修正卷积层的参数得到融合层的参数；所述预设规则融合方式包括：基于卷积层对应的待融合规则和所述激活层修正卷积层对应的数据处理规则得到融合层对应的数据处理规则。
可选的，基于卷积层对应的待融合规则和所述激活层修正卷积层对应的数据处理规则，得到的融合层对应的数据处理规则为：满足以下表达式的规则：
Y＝act(alpha2*conv(x)+alpha1*z+bias)
其中，Y表示融合层对所述待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对所述待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示所述待处理数据，alpha1表示所述z的缩放系数，bias表示融合层的偏置值，act()表示激活层的数据处理函数。
可选的，所述待处理数据为待识别图像；
所述数据获取单元，具体用于：使每一融合层获得与该融合层连接的上一融合层对待识别图像进行目标识别后的第一识别结果和所述待识别图像；
所述数据处理单元，具体用于：根据融合层的参数和融合层对应的数据处理规则，基于所述第一识别结果对所述待识别图像进行目标识别，得到对所述待识别图像进行目标识别的第二识别结果。
可选的，所述数据处理单元，具体用于：
识别所述待识别图像中的以下至少一项目标：行人、人脸、机动车、非机动车、条形码、二维码。
可选的，所述待处理数据为待识别音频；
所述数据获取单元，具体用于：使每一融合层获得与该融合层连接的上一融合层对待识别音频进行字符识别后的第三识别结果和所述待识别音频；
所述数据处理单元，具体用于：根据融合层的参数和融合层对应的数据处理规则，基于所述第三识别结果对所述待识别音频进行字符识别，得到对所述待识别音频进行字符识别的第四识别结果。
应用本申请实施例提供的技术方案处理数据时，每一融合层根据融合层的参数和融合层对应的数据处理规则，对与该融合层连接的上一融合层对待处理数据进行数据处理的结果和待处理数据进行数据处理。每一融合层分别与深度学习框架中的卷积层一一对应，每一卷积层对应的融合层为：通过预设参数融合方式和预设规则融合方式、将待融合层融合至该卷积层得到的网络层，预设参数融合方式包括：基于卷积层对应的待融合参数修正卷积层的参数得到融合层的参数，预设规则融合方式包括：基于卷积层对应的待融合规则修正卷积层对应的数据处理规则得到融合层对应的数据处理规则，待融合层为：深度学习框架中用于对各卷积层的卷积运算结果进行运算的非卷积层。
可见，本申请实施例提供的方案将待融合层融入进了卷积层，得到了融合层，通过融合层即可完成对数据的处理。由于深度学习网络的各个层之间在进行数据交互时均需要借助内存或显存，也就是均需要对内存或显存进行访问，本申请实施例提供的方案中将待融合层融入卷积层后，减少了深度学习网络的层数，也就减少了层与层之间数据交互的次数，这样，在处理数据的过程中，可以减少因层与层之间的数据交互所造成的对内存或显存的访问次数，提高了数据处理的速度和效率。
例如，对于卷积层的数量为2的深度学习网络，使用现有的方案进行数据处理过程中，两个卷积层分别从内存或显存获取待处理数据并得出两个卷积计算结果后，需要分别将两个卷积计算结果存入内存或显存，待融合层再从内存或显存中读取这两个卷积计算结果，计算完成后将计算结果存入内存或显存，需要对内存或显存访问6次；而使用本申请实施例提供的方案进行数据处理过程中，第一个融合层从内存或显存获取待处理数据并得出处理结果后，存入内存或显存，第二个融合层从内存或显存获取第一个融合层的处理结果，处理完成后将处理结果存入内存或显存，需要对内存或显存访问4次；可见使用本申请实施例提供的方案可以减少在数据处理过程中对内存或显存的访问次数。
另外，使用现有的方案时，待融合层需要从内存或显存中获取两个卷积计算结果，使用本申请实施例提供的方案，第二个融合层只需要从内存或显存中获取一个处理结果，可见，使用本申请实施例提供的方案，还可以减少从内存或显存中所读取的数据的数量，进一步提高了数据处理的速度和效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的深度学习网络的一种结构示意图；
图2为现有的深度学习网络与本申请实施例提供的深度学习网络的一种结构对比示意图；
图3为现有的深度学习网络与本申请实施例提供的深度学习网络的另一种结构对比示意图；
图4为本申请实施例提供的数据处理方法的一种流程示意图；
图5为本申请实施例提供的数据处理方法的第二种流程示意图；
图6为本申请实施例提供的数据处理方法的第三种流程示意图；
图7为本申请实施例提供的数据处理方法的第四种流程示意图；
图8为本申请实施例提供的数据处理装置的一种结构示意图；
图9为本申请实施例提供的数据处理装置的另一种结构示意图；
图10为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了减少数据处理过程中对内存或显存的访问次数，提高数据处理的速度和效率，本申请实施例提供了一种数据处理方法及装置。
需要说明的是，本申请实施例所提供的数据处理方法可以应用于通信、人工智能、目标识别、互联网等各个行业。
本申请的一个实施例中，提供了一种数据处理方法，该方法可以应用于深度学习网络，该深度学习网络包括融合层，每一融合层分别与深度学习框架中的卷积层一一对应，每一卷积层对应的融合层为：通过预参数融合方式和预设规则融合方式、将待融合层融合至该卷积层得到的网络层，预设参数融合方式包括：基于卷积层对应的待融合参数修正卷积层的参数得到融合层的参数，预设规则融合方式包括：基于卷积层对应的待融合规则修正卷积层对应的数据处理规则得到融合层对应的数据处理规则，待融合层为：深度学习框架中用于对各卷积层的卷积运算结果进行运算的非卷积层。
上述一种数据处理方法，可以是目标识别方法和/或目标分类方法等等，例如，人脸识别、人体识别、车辆识别、字符识别、音频识别、动作识别等等，静态目标分类、动态目标分类、音频分类、视频分类、图片分类等等。
本申请实施例提供的数据处理方法包括以下步骤：
每一融合层获得与该融合层连接的上一融合层对待处理数据进行数据处理的结果和上述待处理数据；
根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和上述待处理数据进行数据处理。
本实施例提供的方案中将待融合层融入进了卷积层，得到了融合层，通过融合层即可完成对数据的处理。由于深度学习网络的各个层之间在进行数据交互时均需要借助内存或显存，也就是均需要对内存或显存进行访问，本发明实施例将待融合层融入卷积层后，减少了深度学习网络的层数，也就减少了层与层之间数据交互的次数，这样，在处理数据的过程中，可以减少因层与层之间的数据交互所造成的对内存或显存的访问次数，提高了数据处理的速度和效率。
例如，对于卷积层的数量为2的深度学习网络，使用现有的方案进行数据处理过程中，两个卷积层分别从内存或显存获取待处理数据并得出两个卷积计算结果后，需要分别将两个卷积计算结果存入内存或显存，待融合层再从内存或显存中读取这两个卷积计算结果，计算完成后将计算结果存入内存或显存，需要对内存或显存访问6次；而使用本实施例提供的方案进行数据处理过程中，第一个融合层从内存或显存获取待处理数据并得出处理结果后，存入内存或显存，第二个融合层从内存或显存获取第一个融合层的处理结果，处理完成后将处理结果存入内存或显存，需要对内存或显存访问4次；可见使用本申请实施例可以减少在数据处理过程中对内存或显存的访问次数。另外，使用现有的方案时，待融合层需要从内存或显存中获取两个卷积计算结果，使用本实施例提供的方案，第二个融合层只需要从内存或显存中获取一个处理结果，可见，使用本实施例提供的方案，还可以减少从内存或显存中所读取的数据的数量，进一步提高了数据处理的速度和效率。
下面将结合具体实施例对本申请实施例提供的技术方案进行介绍。
本申请实施例提供的数据处理方法应用于深度学习网络，由于该深度学习网络是基于深度学习框架进行改进后得到的学习网络，因此，首先对本申请实施例中的深度学习网络进行介绍。
如图1所示，本申请实施例中的深度学习网络包括融合层，每一融合层分别深度学习框架中的卷积层一一对应，该深度学习框架为深度学习网络所基于的学习框架。
每一卷积层对应的融合层为：通过预设参数融合方式和预设规则融合方式、将待融合层融合至该卷积层得到的网络层。
上述预设参数融合方式包括：基于卷积层对应的待融合参数修正卷积层的参数得到融合层的参数；上述预设规则融合方式包括：基于卷积层对应的待融合规则修正卷积层对应的数据处理规则得到融合层对应的数据处理规则。
上述待融合层为：深度学习框架中用于对各卷积层的卷积运算结果进行运算的非卷积层。
每一卷积层对应的待融合参数为：待融合层的参数中与该卷积层相关的参数。每一卷积层对应的待融合规则为：待融合层对应的数据处理规则中与该卷积层相关的规则。
具体的，上述深度学习网络中包括的各个融合层可以如图1所示依次连接。也就是，各个融合层依次连接。
图2中左边的图为现有的基于深度学习框架的深度学习网络的结构示意图，右边的图为本申请实施例中改进后的深度学习网络的结构示意图。如图2所示，现有的深度学习网络在处理数据时，数据需经各个卷积层处理后，再经待融合层处理，然后才可以得出处理结果；而本申请实施例中深度学习网络的融合层由于融合了待融合层和卷积层，使用本申请实施例中的深度学习网络，数据经各融合层处理后即可得到处理结果。
也就是说，图2中右侧图中的各个融合层分别为：其所对应的卷积层和待融合层融合的结果。
上述上述深度学习框架可以是计算网络工具包(Computational NetworkToolkit，简称CNTK)、PyTorch、TensorFlow、Caffe中的任一种，也可以是其他包含卷积层的深度学习框架。
上述待融合层可以为：深度学习框架中用于对各卷积层的卷积运算结果进行求和、求积、求最大值、求最小值等运算的非卷积层，也可以是对各卷积层的卷积运算结果进行其他运算的非卷积层。
在一个具体实施例中，上述深度学习框架可以为Caffe，相应的，上述待融合层可以为Caffe中的Eltwise层。
其中，Eltwise层是Caffe提供的按元素操作层，Eltwise层包括按元素乘积、按元素求和与取元素最大值三种操作。由于Caffe可以通过GPU来实现高速运算，使得Caffe更适用于对语音、图片、视频等多媒体数据进行处理，在本实施方式中，当待处理数据为音视频、图片等多媒体数据时，使用Caffe可以使数据处理速度更快。
上述待融合层的参数中与该卷积层相关的参数，也就是待融合层进行数据处理时所使用的参数中与该卷积层相关的参数。上述待融合层对应的数据处理规则中与该卷积层相关的规则，也就是待融合层进行数据处理时所使用的规则中与该卷积层相关的参数。
例如，假设，卷积层1的卷积计算结果为z、卷积层2的卷积计算结果为q、卷积层3的卷积计算结果为p，卷积层4的卷积计算结果为r。待融合层的运算结果表示为Y。
当待融合层的操作为对z、q进行求和操作时，即待融合层的操作为：Y＝z+q时，待融合层的参数中与卷积层1相关的参数为1，待融合层的规则中无与卷积层1相关的规则，与卷积层2相关的参数为1，与卷积层2相关的规则为z+q。
当待融合层的操作为：Y＝(z+q-p)×r时，待融合层的参数中与卷积层1相关的参数为1，无与卷积层1相关的规则，与卷积层2相关的参数为1，与卷积层2相关的规则为z+q，与卷积层3相关的参数为-1，与卷积层3相关的规则为z+q-p，与卷积层4相关的参数为1，与卷积层4相关的规则为(z+q-p)×r。
在本申请实施例中，深度学习框架的各个卷积层之间具有连接关系，与各卷积层所对应的各个融合层之间的连接关系与各个卷积层之间的连接关系相同。例如，卷积层1与卷积层2连接，卷积层2与卷积层3连接，那么，融合层1与融合层2连接，融合层2与融合层3连接，融合层2的上一融合层为融合层1，融合层3的上一融合层为融合层2。
在本申请的一个实施例中，待融合层的数据处理规则可以为对卷积层的卷积计算结果和与该卷积层连接的上一个卷积层的卷积计算结果求和，其中，卷积层的数据处理规则为：满足以下表达式的规则：
q＝beta2*conv2(x)+bias2 (1)
式(1)中，beta2表示卷积层的卷积计算缩放系数、conv2(x)表示卷积层的卷积计算公式、bias2表示卷积层的偏置值。
基于卷积层的数据处理规则为满足表达式(1)的规则、待融合层的数据处理规则为对卷积层的卷积计算结果和与该卷积层连接的上一个卷积层的卷积计算结果求和这种情况，在一种具体实施方式中，基于卷积层对应的待融合规则修正卷积层对应的数据处理规则得到的融合层对应的数据处理规则为：满足以下表达式的规则：
Y＝alpha2*conv(x)+alpha1*z+bias (2)
上式(2)中，Y表示融合层对待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示待处理数据，alpha1表示上述z的缩放系数，bias表示融合层的偏置值。
当与融合层连接的上一融合层在处理数据时未将卷积计算结果与卷积计算缩放系数相乘时，上述alpha1的值为上一融合层的卷积计算缩放系数的值，当与融合层连接的上一融合层在处理数据时已将卷积计算结果与卷积计算缩放系数相乘时，上述alpha1的值为1。
在本申请的一个实施例中，待融合层的数据处理规则也可以为对卷积层的卷积计算结果和与该卷积层连接的上一个卷积层的卷积计算结果求积，这样，卷积层的数据处理规则也可以为满足表达式(1)的规则。
基于卷积层的数据处理规则为满足表达式(1)的规则、待融合层的数据处理规则为对卷积层的卷积计算结果和与该卷积层连接的上一个卷积层的卷积计算结果求积这种情况，在另一种具体实施方式中，基于卷积层对应的待融合规则修正卷积层对应的数据处理规则得到的融合层对应的数据处理规则可以为：满足以下表达式的规则：
Y＝[alpha2*conv(x)+bias]*alpha1*z (3)
上式(3)中，Y表示融合层对待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示待处理数据，alpha1表示所述z的缩放系数，bias表示融合层的偏置值。
基于卷积层的数据处理规则为满足表达式(1)的规则、待融合层的数据处理规则为对卷积层的卷积计算结果和与该卷积层连接的上一个卷积层的卷积计算结果求点积这种情况，在其他具体实施方式中，基于卷积层对应的待融合规则修正卷积层对应的数据处理规则得到的融合层对应的数据处理规则也可以为：满足以下表达式的规则：
Y＝[alpha2*conv(x)+bias]·(alpha1*z) (4)
上式(4)中，Y表示融合层对待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示待处理数据，alpha1表示所述z的缩放系数，bias表示融合层的偏置值。
当与融合层连接的上一融合层在处理数据时未将卷积计算结果与卷积计算缩放系数相乘时，上述alpha1的值为上一融合层的卷积计算缩放系数的值，当与融合层连接的上一融合层在处理数据时已将卷积计算结果与卷积计算缩放系数相乘时，上述alpha1的值为1。
具体的，待融合层的数据处理规则和参数、卷积层的数据处理规则和参数不同，融合层的数据处理规则也不同。本申请实施例不限定融合层的数据处理规则以及融合层对应的数据处理规则所满足的表达式。
在一种实施方式中，上述深度学习框架中还可以包括激活层，上述激活层为与上述待融合层连接的、位于上述待融合层的下一个层的非卷积层，这种情况下，上述预设参数融合方式可以包括：基于卷积层对应的待融合参数和深度学习框架中的激活层修正卷积层的参数得到融合层的参数，上述预设规则融合方式包括：基于卷积层对应的待融合规则和所述激活层修正卷积层对应的数据处理规则得到融合层对应的数据处理规则。
上述激活层例如可以是ReLu层，也可以是其他激活层。
本实施方式中，由于预设参数融合方式和预设规则融合方式为基于激活层的融合方式，可以将激活层融入卷积层，这样，可以减少激活层在进行数据处理时对内存或显存的访问，进一步提高了数据处理速度和效率。
当深度学习网络中包含激活层时，图3中左边的图为现有的基于深度学习框架的深度学习网络的结构示意图，右边的图为本申请实施例中改进后的深度学习网络的结构示意图。如图3所示，现有的深度学习网络在处理数据时，数据需经各个卷积层处理后，再经待融合层处理，再经激活层处理，然后才可以得出处理结果；而本申请实施例中深度学习网络的融合层由于融合了待融合层、卷积层和激活层，使用本申请实施例中的深度学习网络，数据经各融合层处理后即可得到处理结果。
在其他实施方式中，上述预设参数融合方式和预设规则融合方式也可以为基于其他非卷积层的融合方式。
在一种实施方式中，当参数融合方式包括：基于卷积层对应的待融合参数和深度学习框架中的激活层修正卷积层的参数得到融合层的参数，预设规则融合方式包括：基于卷积层对应的待融合规则和激活层修正卷积层对应的数据处理规则得到融合层对应的数据处理规则时，基于卷积层对应的待融合规则和激活层修正卷积层对应的数据处理规则，得到的融合层对应的数据处理规则可以为：满足以下表达式的规则：
Y＝act(alpha2*conv(x)+alpha1*z+bias) (4)
上式(4)中，Y表示融合层对待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示待处理数据，alpha1表示上述z的缩放系数，bias表示融合层的偏置值，act()表示激活层的数据处理函数。
下面对申请实施例提供的数据处理方法进行介绍。
如图4所示，本申请实施例提供的数据处理方法包括以下步骤S410～S420。
S410：每一融合层获得与该融合层连接的上一融合层对待处理数据进行数据处理的结果和上述待处理数据。
S420：根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和上述待处理数据进行数据处理。
上述步骤S420，可以按以下步骤实现：将所获得的结果和上述待处理数据作为融合层的输入，用融合层的参数和数据处理规则对所输入的数据进行处理。
应用本实施例提供的方进行数据处理时，将待融合层融入进了卷积层，得到了融合层，通过融合层即可完成对数据的处理。由于深度学习网络的各个层之间在进行数据交互时均需要借助内存或显存，也就是均需要对内存或显存进行访问，本发明实施例将待融合层融入卷积层后，减少了深度学习网络的层数，也就减少了层与层之间数据交互的次数，这样，在处理数据的过程中，可以减少因层与层之间的数据交互所造成的对内存或显存的访问次数，提高了数据处理的速度和效率。
例如，对于卷积层的数量为2的深度学习网络，如表1所示，使用现有的方案进行数据处理过程中，需要对内存或显存访问6次，而使用本申请实施例提供的方案进行数据处理过程中，需要对内存或显存访问4次，可见使用本申请实施例提供的方案可以减少在数据处理过程中对内存或显存的访问次数。
表1
Figure BDA0002402625530000151
另外，使用现有的方法时，待融合层需要从内存或显存中获取两个卷积计算结果，使用本申请实施例提供的方案，第二个融合层只需要从内存或显存中获取一个处理结果，可见，使用本申请实施例提供的方案，还可以减少从内存或显存中所读取的数据的数量，进一步提高了数据处理的速度和效率。
在一种实施方式中，如图5所示，在步骤S420之前，上述方法还可以包括以下步骤S430：
S430：将待处理数据的数据类型转换为预设数据类型。
其中，预设数据类型的数据的比特位长度小于深度学习框架所支持的数据类型的数据的比特位长度。
相应的，步骤S420可以按以下步骤S421实现：
S421：根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和转换数据类型后的待处理数据进行数据处理；
在步骤S420之后，上述方法还可以包括以下步骤S440：
S440：将融合层对待处理数据的处理结果的数据类型转换为上述预设数据类型。
例如，当深度学习框架所支持的数据类型为float类型时，float类型的数据的比特位长度为32，那么，预设数据类型可以为half类型，也可以为int8类型，其中，half类型的数据的比特位长度为16，int8类型的数据的比特位长度为8。由于int8类型的比特位长度更短，这种类型的数据所占的内存或显存更小，因此，在本申请实施例中，预设数据类型可以为int8类型。
在本申请实施例中，当将待处理数据的数据类型转换为预设数据类型后，上述式(1)中的beta2以及式(2)、式(3)和式(4)中的alpha2为将待处理数据的数据类型转换为预设数据类型的转换系数。其中，该转换系数是在训练预设数据类型的量化模型的过程中得到的系数，例如，待处理数据的数据类型float类型，预设数据类型为int8类型，那么转换系数为：在训练int8量化模型的过程中得到的、用于做int8和float内部数据计算的系数。
本实施方式中，将待处理数据的数据类型转换为预设数据类型后，由于预设数据类型的比特位长度小于深度学习框架所支持的数据类型的数据的比特位长度，这样，将待处理数据转换后，待处理数据所占的内存或显存更小，在处理数据的过程中，可以降低计算耗时，并降低对显存性能的要求。
在一个具体实施例中，当融合层对应的数据处理规则为满足式(2)或式(3)的规则时，如图6所示，深度学习网络处理数据的过程可以为：待处理数据转换为int8类型的数据后，卷积层的过滤器也转换为int8类型的数据，将转换后的待处理数据x和转换后的过滤器w输入卷积层进行运算后得到int32类型的数据，将得到的int32类型的数据转换为float类型的数据，获取到参数alpha1、bias以及z后，进行融合层的非卷积运算，将运算得到的float类型的数据在(-128.0,127.0)范围内进行数据截取，得到并输出int8类型的数据。图6中，卷积层的运算包括矩阵相乘与相加(Integer Multiply Add)的运算以及将数据的数据类型转换为int32(Accumulate To int32)的运算。
在一个具体实施例中，当融合层对应的数据处理规则为满足式(4)的规则时，如图7所示，深度学习网络处理数据的过程与图6的相似，不同之处在于图7中融合层的非卷积运算包含激活activation层的运算。
在一个具体实施方式中，上述待处理数据可以为待识别图像；
相应的，步骤S410，可以按以下步骤实现：
每一融合层获得与该融合层连接的上一融合层对待识别图像进行目标识别后的第一识别结果和待识别图像；
步骤S420，可以按以下步骤实现：
根据融合层的参数和融合层对应的数据处理规则，基于第一识别结果对所待识别图像进行目标识别，得到对待识别图像进行目标识别的第二识别结果。
上述对待识别图像进行目标识别，可以包括：识别待识别图像中的以下至少一项目标：行人、人脸、机动车、非机动车、条形码、二维码。
例如，深度学习网络包括两个融合层，若第一个融合层识别出了待识别图像中的行人，对于第二个融合层，所获取的第一识别结果为对待识别图像中行人的识别结果，第二个融合层可以基于对待识别图像中行人的识别结果进行图像识别，识别出待识别图像中的行人和机动车，对待识别图像中行人和非机动车的识别结果即为第二识别结果。
通过上述具体实施例，可以减少图像识别过程中对内存或显存的访问次数。
在另一个具体实施例中，待处理数据也可以为待识别音频；
相应的，步骤S410，可以按以下步骤实现：
每一融合层获得与该融合层连接的上一融合层对待识别音频进行字符识别后的第三识别结果和待识别音频；
步骤S420，可以按以下步骤实现：
根据融合层的参数和融合层对应的数据处理规则，基于第三识别结果对待识别音频进行字符识别，得到对待识别音频进行字符识别的第四识别结果。
例如，深度学习网络包括两个融合层，若第一个融合层识别出了待识别音频中的中文字符，对于第二个融合层，所获取的第三识别结果为第一个融合层对待识别音频中中文字符的识别结果，第二个融合层可以基于对待识别音频中中文字符的识别结果进行音频识别，识别出待识别音频中的中文字符和英文字符，对待识别音频中中文字符和英文字符的识别结果即为第四识别结果。
在其他具体实施例中，待处理数据也可以为待分类文本、待分类邮件、待评级用户等待处理数据。
本申请实施例还提供了一种数据处理装置，应用于深度学习网络，所述深度学习网络包括融合层，每一融合层分别与深度学习框架中的卷积层一一对应，每一卷积层对应的融合层为：通过参数融合方式和预设规则融合方式、将待融合层融合至该卷积层得到的网络层，所述预设参数融合方式包括：基于卷积层对应的待融合参数修正卷积层的参数得到融合层的参数，所述预设规则融合方式包括：基于卷积层对应的待融合规则修正卷积层对应的数据处理规则得到融合层对应的数据处理规则，所述待融合层包括：所述深度学习框架中用于对各卷积层的卷积运算结果进行运算的非卷积层，如图8所示，所述装置包括：
数据获取单元810，用于使每一融合层获得与该融合层连接的上一融合层对待处理数据进行数据处理的结果和所述待处理数据；
数据处理单元820，用于根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理。
本申请实施例提供的数据处理装置将待融合层融入进了卷积层，得到了融合层，通过融合层即可完成对数据的处理，由于深度学习网络的各个层之间在进行数据交互时均需要借助内存或显存，也就是均需要对内存或显存进行访问，本发明实施例将待融合层融入卷积层后，减少了深度学习网络的层数，也就减少了层与层之间数据交互的次数，这样，在处理数据的过程中，可以减少因层与层之间的数据交互所造成的对内存或显存的访问次数，提高了数据处理的速度和效率另外，使用现有的方案时，待融合层需要从内存或显存中获取两个卷积计算结果，使用本申请实施例提供的方案，第二个融合层只需要从内存或显存中获取一个处理结果，可见，使用本申请实施例提供的方案，还可以减少从内存或显存中所读取的数据的数量，进一步提高了数据处理的速度和效率。
在一种实施方式中，所述深度学习框架可以为卷积神经网络框架Caffe；所述待融合层可以为Eltwise层。
在一种实施方式中，基于卷积层对应的待融合规则修正卷积层对应的数据处理规则得到的融合层对应的数据处理规则为：满足以下表达式的规则：
Y＝alpha2*conv(x)+alpha1*z+bias
其中，Y表示融合层对所述待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对所述待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示所述待处理数据，alpha1表示所述z的缩放系数，bias表示融合层的偏置值。
在一种实施方式中，如图9所示，所述装置还可以包括：
第一数据转换单元830，用于将所述待处理数据的数据类型转换为预设数据类型，其中，所述预设数据类型的数据的比特位长度小于所述深度学习框架所支持的数据类型的数据的比特位长度；
相应的，所述数据处理单元820，具体用于：
根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和转换数据类型后的所述待处理数据进行数据处理；
所装置还可以包括：
第二数据转换单元840，用于将所述融合层对所述待处理数据的处理结果的数据类型转换为所述预设数据类型。
本实施方式中，将待处理数据的数据类型转换为预设数据类型后，由于预设数据类型的比特位长度小于深度学习框架所支持的数据类型的数据的比特位长度，这样，将待处理数据转换后，待处理数据所占的内存或显存更小，在处理数据的过程中，可以降低计算耗时，并降低对显存性能的要求。
在一种实施方式中，所述预设参数融合方式包括：基于卷积层对应的待融合参数和所述深度学习框架中的激活层修正卷积层的参数得到融合层的参数；所述预设规则融合方式包括：基于卷积层对应的待融合规则和所述激活层修正卷积层对应的数据处理规则得到融合层对应的数据处理规则。
在一种实施方式中，基于卷积层对应的待融合规则和所述激活层修正卷积层对应的数据处理规则得到的融合层对应的数据处理规则为：满足以下表达式的规则：
Y＝act(alpha2*conv(x)+alpha1*z+bias)
其中，Y表示融合层对所述待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对所述待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示所述待处理数据，alpha1表示所述z的缩放系数，bias表示融合层的偏置值，act()表示激活层的数据处理函数。
本申请实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001、通信接口1002、存储器1003通过通信总线1004完成相互间的通信，
存储器1003，用于存放计算机程序；
处理器1001，用于执行存储器1003上所存放的程序时，实现上述任一项的数据处理方法。
上述电子设备中提到的通信总线可以是总线和接口标准(Peripheral ComponentInterconnect Express，PCIE)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述一种数据处理装置，可以用于目标识别和/或目标分类等等，例如，人脸识别、人体识别、车辆识别、字符识别、音频识别、动作识别等等，静态目标分类、动态目标分类、音频分类、视频分类、图片分类等等。
本申请实施例提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项的离子束刻蚀的刻蚀速率控制方法。
本申请实施例提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项的数据处理方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一项的数据处理方法。
对于装置/电子设备/存储介质/程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (18)

1.一种数据处理方法，其特征在于，应用于深度学习网络，所述深度学习网络包括融合层，每一融合层分别与深度学习框架中的卷积层一一对应，每一卷积层对应的融合层为：通过预设参数融合方式和预设规则融合方式、将待融合层融合至该卷积层得到的网络层，所述预设参数融合方式包括：基于卷积层对应的待融合参数修正卷积层的参数得到融合层的参数，所述预设规则融合方式包括：基于卷积层对应的待融合规则修正卷积层对应的数据处理规则得到融合层对应的数据处理规则，所述待融合层包括：所述深度学习框架中用于对各卷积层的卷积运算结果进行运算的非卷积层；所述方法包括：
每一融合层获得与该融合层连接的上一融合层对待处理数据进行数据处理的结果和所述待处理数据；
根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理。
2.根据权利要求1所述的方法，其特征在于，
所述深度学习框架为卷积神经网络框架Caffe；
所述待融合层为Eltwise层。
3.根据权利要求1或2所述的方法，其特征在于，基于卷积层对应的待融合规则修正卷积层对应的数据处理规则，得到的融合层对应的数据处理规则为：满足以下表达式的规则：
Y＝alpha2*conv(x)+alpha1*z+bias
其中，Y表示融合层对所述待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对所述待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示所述待处理数据，alpha1表示所述z的缩放系数，bias表示融合层的偏置值。
4.根据权利要求1或2所述的方法，其特征在于，在所述根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理之前，所述方法还包括：
将所述待处理数据的数据类型转换为预设数据类型，其中，所述预设数据类型的数据的比特位长度小于所述深度学习框架所支持的数据类型的数据的比特位长度；
相应的，所述根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理，包括：
根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和转换数据类型后的所述待处理数据进行数据处理；
在所述根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理后，所述方法还包括：
将所述融合层对所述待处理数据的处理结果的数据类型转换为所述预设数据类型。
5.根据权利要求1或2所述的方法，其特征在于，
所述预设参数融合方式包括：基于卷积层对应的待融合参数和所述深度学习框架中的激活层修正卷积层的参数得到融合层的参数；所述预设规则融合方式包括：基于卷积层对应的待融合规则和所述激活层修正卷积层对应的数据处理规则得到融合层对应的数据处理规则。
6.根据权利要求5所述的方法，其特征在于，基于卷积层对应的待融合规则和所述激活层修正卷积层对应的数据处理规则，得到的融合层对应的数据处理规则为：满足以下表达式的规则：
Y＝act(alpha2*conv(x)+alpha1*z+bias)
其中，Y表示融合层对所述待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对所述待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示所述待处理数据，alpha1表示所述z的缩放系数，bias表示融合层的偏置值，act()表示激活层的数据处理函数。
7.根据权利要求1或2所述的方法，其特征在于，所述待处理数据为待识别图像；
所述每一融合层获得与该融合层连接的上一融合层对待处理数据进行数据处理的结果和所述待处理数据，包括：
每一融合层获得与该融合层连接的上一融合层对待识别图像进行目标识别后的第一识别结果和所述待识别图像；
所述根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理，包括：
根据融合层的参数和融合层对应的数据处理规则，基于所述第一识别结果对所述待识别图像进行目标识别，得到对所述待识别图像进行目标识别的第二识别结果。
8.根据权利要求7所述的方法，其特征在于，所述对所述待识别图像进行目标识别，包括：
识别所述待识别图像中的以下至少一项目标：行人、人脸、机动车、非机动车、条形码、二维码。
9.根据权利要求1或2所述的方法，其特征在于，所述待处理数据为待识别音频；
所述每一融合层获得与该融合层连接的上一融合层对待处理数据进行数据处理的结果和所述待处理数据，包括：
每一融合层获得与该融合层连接的上一融合层对待识别音频进行字符识别后的第三识别结果和所述待识别音频；
所述根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理，包括：
根据融合层的参数和融合层对应的数据处理规则，基于所述第三识别结果对所述待识别音频进行字符识别，得到对所述待识别音频进行字符识别的第四识别结果。
10.一种数据处理装置，其特征在于，应用于深度学习网络，所述深度学习网络包括融合层，每一融合层分别与深度学习框架中的卷积层一一对应，每一卷积层对应的融合层为：通过参数融合方式和预设规则融合方式、将待融合层融合至该卷积层得到的网络层，所述预设参数融合方式包括：基于卷积层对应的待融合参数修正卷积层的参数得到融合层的参数，所述预设规则融合方式包括：基于卷积层对应的待融合规则修正卷积层对应的数据处理规则得到融合层对应的数据处理规则，所述待融合层包括：所述深度学习框架中用于对各卷积层的卷积运算结果进行运算的非卷积层；所述装置包括：
数据获取单元，用于使每一融合层获得与该融合层连接的上一融合层对待处理数据进行数据处理的结果和所述待处理数据；
数据处理单元，用于根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和所述待处理数据进行数据处理。
11.根据权利要求10所述的装置，其特征在于，
所述深度学习框架为卷积神经网络框架Caffe；
所述待融合层为Eltwise层。
12.根据权利要求10或11所述的装置，其特征在于，基于卷积层对应的待融合规则修正卷积层对应的数据处理规则，得到的融合层对应的数据处理规则为：满足以下表达式的规则：
Y＝alpha2*conv(x)+alpha1*z+bias
其中，Y表示融合层对所述待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对所述待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示所述待处理数据，alpha1表示所述z的缩放系数，bias表示融合层的偏置值。
13.根据权利要求10或11所述的装置，其特征在于，所述装置还包括：
第一数据转换单元，用于将所述待处理数据的数据类型转换为预设数据类型，其中，所述预设数据类型的数据的比特位长度小于所述深度学习框架所支持的数据类型的数据的比特位长度；
相应的，所述数据处理单元，具体用于：
根据融合层的参数和融合层对应的数据处理规则，对所获得的结果和转换数据类型后的所述待处理数据进行数据处理；
所装置还包括：
第二数据转换单元，用于将所述融合层对所述待处理数据的处理结果的数据类型转换为所述预设数据类型。
14.根据权利要求10或11所述的装置，其特征在于，所述预设参数融合方式包括：基于卷积层对应的待融合参数和所述深度学习框架中的激活层修正卷积层的参数得到融合层的参数；所述预设规则融合方式包括：基于卷积层对应的待融合规则和所述激活层修正卷积层对应的数据处理规则得到融合层对应的数据处理规则。
15.根据权利要求14所述的装置，其特征在于，基于卷积层对应的待融合规则和所述激活层修正卷积层对应的数据处理规则，得到的融合层对应的数据处理规则为：满足以下表达式的规则：
Y＝act(alpha2*conv(x)+alpha1*z+bias)
其中，Y表示融合层对所述待处理数据进行数据处理的结果，z表示与融合层连接的上一融合层对所述待处理数据进行数据处理的结果，alpha2表示卷积层的卷积计算缩放系数，conv()表示卷积层的卷积计算公式，x表示所述待处理数据，alpha1表示所述z的缩放系数，bias表示融合层的偏置值，act()表示激活层的数据处理函数。
16.根据权利要求10或11所述的装置，其特征在于，所述待处理数据为待识别图像；
所述数据获取单元，具体用于：使每一融合层获得与该融合层连接的上一融合层对待识别图像进行目标识别后的第一识别结果和所述待识别图像；
所述数据处理单元，具体用于：根据融合层的参数和融合层对应的数据处理规则，基于所述第一识别结果对所述待识别图像进行目标识别，得到对所述待识别图像进行目标识别的第二识别结果。
17.根据权利要求16所述的装置，其特征在于，所述数据处理单元，具体用于：
识别所述待识别图像中的以下至少一项目标：行人、人脸、机动车、非机动车、条形码、二维码。
18.根据权利要求10或11所述的装置，其特征在于，所述待处理数据为待识别音频；
所述数据获取单元，具体用于：使每一融合层获得与该融合层连接的上一融合层对待识别音频进行字符识别后的第三识别结果和所述待识别音频；
所述数据处理单元，具体用于：根据融合层的参数和融合层对应的数据处理规则，基于所述第三识别结果对所述待识别音频进行字符识别，得到对所述待识别音频进行字符识别的第四识别结果。
CN202010151570.6A 2020-03-06 2020-03-06 一种数据处理方法及装置 Active CN113361703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010151570.6A CN113361703B (zh) 2020-03-06 2020-03-06 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010151570.6A CN113361703B (zh) 2020-03-06 2020-03-06 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN113361703A true CN113361703A (zh) 2021-09-07
CN113361703B CN113361703B (zh) 2023-09-05

Family

ID=77524040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010151570.6A Active CN113361703B (zh) 2020-03-06 2020-03-06 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN113361703B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495903A (zh) * 2021-12-21 2022-05-13 北京达佳互联信息技术有限公司 一种语言类别识别方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101471952A (zh) * 2007-12-28 2009-07-01 中国科学院软件研究所 一种无线传感器网络层级结构数据融合方法
CN109034384A (zh) * 2017-06-12 2018-12-18 浙江宇视科技有限公司 一种数据处理方法和装置
CN109740539A (zh) * 2019-01-04 2019-05-10 上海理工大学 基于超限学习机和融合卷积网络的3d物体识别方法
CN109754011A (zh) * 2018-12-29 2019-05-14 北京中科寒武纪科技有限公司 基于Caffe的数据处理方法、装置和相关产品
CN109784481A (zh) * 2017-11-13 2019-05-21 杭州海康威视数字技术股份有限公司 一种基于神经网络的调整方法、装置及设备
CN110059733A (zh) * 2019-04-01 2019-07-26 苏州科达科技股份有限公司 卷积神经网络的优化及快速目标检测方法、装置
US20190377930A1 (en) * 2018-06-11 2019-12-12 Zkteco Usa, Llc Method and System for Face Recognition Via Deep Learning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101471952A (zh) * 2007-12-28 2009-07-01 中国科学院软件研究所 一种无线传感器网络层级结构数据融合方法
CN109034384A (zh) * 2017-06-12 2018-12-18 浙江宇视科技有限公司 一种数据处理方法和装置
CN109784481A (zh) * 2017-11-13 2019-05-21 杭州海康威视数字技术股份有限公司 一种基于神经网络的调整方法、装置及设备
US20190377930A1 (en) * 2018-06-11 2019-12-12 Zkteco Usa, Llc Method and System for Face Recognition Via Deep Learning
CN109754011A (zh) * 2018-12-29 2019-05-14 北京中科寒武纪科技有限公司 基于Caffe的数据处理方法、装置和相关产品
CN109740539A (zh) * 2019-01-04 2019-05-10 上海理工大学 基于超限学习机和融合卷积网络的3d物体识别方法
CN110059733A (zh) * 2019-04-01 2019-07-26 苏州科达科技股份有限公司 卷积神经网络的优化及快速目标检测方法、装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WANZENG KONG,ET AL.: "YOLOv3-DPFIN:A Dual-Path Feature Fusion Neural Network for Robust Real-Time Sonar Target Detection", 《IEEE SENSORS JOURNAL》 *
王吉军;郝子宇;李宏亮;: "卷积神经网络训练访存优化", 西安电子科技大学学报 *
马永军;薛永浩;刘洋;李亚军;: "一种基于深度学习模型的数据融合处理算法", 天津科技大学学报 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495903A (zh) * 2021-12-21 2022-05-13 北京达佳互联信息技术有限公司 一种语言类别识别方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113361703B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN112200132B (zh) 一种基于隐私保护的数据处理方法、装置及设备
CN109816659B (zh) 图像分割方法、装置及系统
CN110020427B (zh) 策略确定方法和装置
CN115409855B (zh) 图像处理方法、装置、电子设备和存储介质
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN115209031A (zh) 视频防抖处理方法、装置、电子设备和存储介质
CN111145202B (zh) 模型生成方法、图像处理方法、装置、设备及存储介质
CN115294328A (zh) 目标检测框的生成方法、装置、存储介质和电子设备
CN115169342A (zh) 文本相似度计算方法、装置、电子设备及存储介质
CN113361703B (zh) 一种数据处理方法及装置
CN111966473B (zh) 一种线性回归任务的运行方法及装置、电子设备
CN117851613A (zh) 预训练语言模型的编辑方法及装置
CN111639652B (zh) 一种图像处理方法、装置及计算机存储介质
CN110992387B (zh) 一种图像处理方法、装置及电子设备和存储介质
CN117541496A (zh) 基于fpga的红外图像nlmeans降噪简化方法、系统、介质及设备
CN111866609B (zh) 用于生成视频的方法和装置
CN113591936B (zh) 一种车辆姿态估计方法、终端设备及存储介质
CN116341630A (zh) 神经网络处理
CN110443746B (zh) 基于生成对抗网络的图片处理方法、装置及电子设备
CN115209030A (zh) 视频防抖处理方法、装置、电子设备和存储介质
CN111639654A (zh) 一种图像处理方法、装置及计算机存储介质
CN110738276A (zh) 图像素材生成方法和装置及电子设备、计算机可读存储介质
CN112102193B (zh) 图像增强网络的训练方法、图像处理方法及相关设备
CN116168442B (zh) 样本图像生成方法、模型的训练方法、目标检测方法
CN114330512B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant