CN110766131A - 数据处理装置、方法和电子设备 - Google Patents
数据处理装置、方法和电子设备 Download PDFInfo
- Publication number
- CN110766131A CN110766131A CN201910398488.0A CN201910398488A CN110766131A CN 110766131 A CN110766131 A CN 110766131A CN 201910398488 A CN201910398488 A CN 201910398488A CN 110766131 A CN110766131 A CN 110766131A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- learning model
- compression
- initial deep
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Telephone Function (AREA)
Abstract
本申请实施例提供了一种数据处理装置、方法和电子设备，其中，该方法包括：为当前初始深度学习模型生成当前次压缩的压缩因子，利用压缩因子对当前初始深度学习模型进行压缩处理；将当前次压缩后的初始深度学习模型作为当前初始深度学习模型，执行为当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型；基于最终压缩后的初始深度学习模型和历史驾驶数据，生成用于识别驾驶状态的深度学习模型，将用于识别驾驶状态的深度学习模型应用于移动终端。本申请实施例在提高了深度学习模型的压缩效率的同时，实现将压缩后的深度学习模型应用于移动终端。
Description
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种数据处理装置、方法和电子设备。
背景技术
随着深度学习技术的发展，深度学习模型在计算机视觉、自然语言处理、数据挖掘、语音智能识别等一系列领域得到了广泛的应用，但是，在各个领域应用过程中，上述深度学习模型主要应用于处理能力比较强大的服务器端。
由于服务器资源数量有限，处理负担较重，加上不同用户的差异化需求，将深度学习模型应用于各个移动终端的需求变得很迫切。但是，深度学习模型中包括大量的网络层、每一网络层包含大量的模型参数及对应的权重，因此，深度学习模型的网络权重文件的尺寸比较大，导致深度学习模型在运算单元、存储、带宽和能耗有限的移动终端上的运行非常困难。
发明内容
有鉴于此，本申请实施例的目的在于提供一种数据处理装置、方法和电子设备，通过对大型的深度学习模型进行压缩处理，在提高了对大型深度学习模型进行压缩时的压缩效率的同时，实现将压缩后的深度学习模型应用于移动终端。
第一方面，本申请实施例提供了一种数据处理装置，该装置包括：
获取模块，用于获取当前初始深度学习模型，将所述当前初始深度学习模型传输给压缩处理模块；
压缩处理模块，用于根据所述获取模块获取的所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理；
循环处理模块，用于将所述压缩处理模块当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型，返回执行根据所述获取模块获取的所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型；
生成模块，用于根据历史驾驶数据和所述循环处理模块得到的所述最终压缩后的初始深度学习模型，生成用于识别驾驶状态的深度学习模型；
发送模块，用于将所述生成模块生成的用于识别驾驶状态的深度学习模型发送给所述目标移动终端进行运行，以进行驾驶状态识别。
可选地，所述压缩处理模块具体用于根据以下步骤为所述当前初始深度学习模型生成当前次压缩的压缩因子：
根据所述当前初始深度学习模型的模型参数数目，为所述当前初始深度学习模型生成扰动因子；
确定所述当前初始深度学习模型的压缩顺序对应的基准压缩因子；
利用所述扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到当前次压缩的压缩因子。
可选地，所述循环处理模块在将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型时，具体用于：
基于所述历史驾驶数据和所述当前次压缩后的初始深度学习模型，确定所述当前次压缩后的初始深度学习模型的模型精度；
基于所述模型精度、当前次压缩后的当前初始深度学习模型的压缩率和应用计算量，确定所述当前次压缩后的初始深度学习模型的压缩精度；
若所述压缩精度属于设定的正常精度范围，则将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型。
可选地，所述循环处理模块还用于：
若所述压缩精度低于设定的正常精度范围，则返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤。
可选地，所述压缩处理模块具体用于根据以下步骤生成所述压缩因子：
针对所述当前初始深度学习模型中的每一模型层，根据该模型层的模型参数数目，为该模型层生成扰动因子，利用该模型层对应的扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到该模型层在当前次压缩的压缩因子。
可选地，所述压缩处理模块具体用于：
将所述模型层对应的扰动因子与所述当前初始深度学习模型对应的基准压缩因子的加权值作为该模型层在当前次压缩的压缩因子。
可选地，所述压缩处理模块具体用于根据以下步骤利用所述压缩因子对所述当前初始深度学习模型进行压缩处理：
针对所述当前初始深度学习模型的每一模型层，利用该模型层对应的压缩因子对该模型层包含的模型参数进行去冗余处理。
可选地，所述生成模块具体用于根据以下步骤生成所述深度学习模型：
根据所述历史驾驶数据，生成样本训练集，所述样本训练集中包括用户端的驾驶行为特征信息和对应的真实驾驶状态信息；
将所述最终压缩后的初始深度学习模型作为进行训练的基础模型，将所述驾驶行为特征信息作为模型输入特征，将所述真实驾驶状态信息作为模型输出特征，训练得到用于识别驾驶状态的深度学习模型。
第二方面，本申请实施例提供了一种数据处理转置，该装置包括：
获取模块，用于获取当前初始深度学习模型，将所述当前初始深度学习模型传输给压缩处理模块；
压缩处理模块，用于根据所述获取模块获取的所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理；
循环处理模块，用于将所述压缩处理模块当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型。
第三方面，本申请实施例提供了一种数据处理方法，该方法包括：
获取当前初始深度学习模型；
根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理；
将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型；
根据历史驾驶数据和所述最终压缩后的初始深度学习模型，生成用于识别驾驶状态的深度学习模型；
将用于识别驾驶状态的深度学习模型发送给所述目标移动终端进行运行，以进行驾驶状态识别。
第四方面，本申请实施例提供了一种数据处理方法，该方法包括：
获取当前初始深度学习模型；
根据当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理；
将当前次压缩后的深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型。
第五方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如上所述的数据处理方法的步骤。
第六方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如上所述的数据处理方法的步骤。
本申请实施例提供的数据处理装置、方法和电子设备，获取初始深度学习模型后，通过对初始深度学习模型进行多次压缩，每次压缩时，根据当前初始深度学习模型的模型结构，为当前初始深度学习模型生成当前次压缩的压缩因子，并利用压缩因子对当前初始深度学习模型进行压缩处理，使得最终压缩后的初始深度学习模型满足在目标移动终端运行的条件，这样，自动对深度学习模型进行压缩，提高了对深度学习模型进行压缩时的压缩效率，并根据历史驾驶数据对最终压缩后的初始深度学习模型进行训练，得到能够识别驾驶状态的深度学习模型，将能够识别驾驶状态的深度学习模型应用于目标移动终端，通过目标移动终端实现对用户的驾驶状态的识别，不仅可以减少不良驾驶状态给用户带来的安全隐患，还可以减少驾驶状态识别对服务器的依赖，扩展了深度学习模型的运行场景。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种数据处理方法的第一种流程示意图；
图2示出了本申请实施例所提供的一种数据处理方法的第二种流程示意图；
图3示出了本申请实施例所提供的一种数据处理方法的第三种流程示意图；
图4示出了本申请实施例所提供的一种数据处理方法的第四种流程示意图；
图5示出了本申请实施例所提供的一种数据处理方法的第五种流程示意图；
图6示出了本申请实施例所提供的一种数据处理装置的第一种结构示意图；
图7示出了本申请实施例所提供的一种数据处理装置的第二种结构示意图；
图8示出了本申请实施例所提供的一种电子设备的结构示意图；
图9示出了本申请实施例所提供的另一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“出行场景”，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕对出行场景进行描述，但是应该理解，这仅是一个示例性实施例。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本申请实施例可以但不限服务于出行服务平台，该出行服务平台用于根据接收的用户端的出行服务请求为用户提供相应的服务。出行服务平台可以包括多个打车系统，如包括出租车打车系统、快车打车系统、专车打车系统、顺风车打车系统等。
本申请实施例的数据处理方法可以应用于出行场景的服务器，也可以应用于其它任意具有处理功能的计算设备。在一些实施例中，上述服务器或计算设备可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。
为了将深度学习模型应用于各个移动终端，可以通过人工方式对庞大的深度学习模型进行压缩处理，而通过人工方式对模型进行压缩导致模型的压缩效率比较低，成本较高，压缩后的深度学习模型的精度也得不到保障。
除了通过人工方式对深度学习模型进行压缩，还可以通过模型剪枝对深度学习中的冗余模型参数进行处理，例如，利用权重链接或者滤波器进行模型剪枝，但是，在模型剪枝过程中一般是人工设计超参数压缩深度学习模型，在一定程度上可以减少深度学习模型中的冗余参数，由于深度学习网络中的网络层之间并不是孤立的，因此，基于规则的剪枝策略并不是最优的，且人力成本较高，压缩效率比较低。
为了便于描述，本文通过对初始深度学习模型进行压缩，生成针对出行邻域且能够在目标移动终端运行、对驾驶状态进行识别的深度学习模型，在提高对深度学习模型压缩效率的同时，实现了在移动终端运动深度模型的目的。基于此目的，本申请在获取初始深度学习模型后，通过对初始深度学习模型进行多次压缩，每次压缩时，根据当前初始深度学习模型的模型结构，为当前初始深度学习模型生成当前次压缩的压缩因子，并利用压缩因子对当前初始深度学习模型进行压缩处理，使得最终压缩后的初始深度学习模型满足在目标移动终端运行的条件，这样，提高了深度模型的压缩效率，降低了压缩成本，并针对出行领域的历史驾驶数据对最终压缩后的初始深度学习模型进行训练，得到能够识别驾驶状态的深度学习模型，将能够识别驾驶状态的深度学习模型应用于目标移动终端，实现对用户的驾驶状态的识别，不仅可以减少不良驾驶状态给用户带来的安全隐患，还可以减少驾驶状态识别对服务器的依赖，扩展了深度学习模型的运行场景。本申请实施例将基于该思想进行详细描述。
针对上述情况，本申请实施例提供了一种数据处理方法，如图1所示，该方法包括以下步骤：
S101，获取当前初始深度学习模型。
这里，初始深度学习模型可以是但不限于卷积神经网络模型、长短期记忆网络模型、循环神经网络模型等，本申请对此不予限制；在对初始深度学习模型进行压缩时，若直接将初始深度学习模型压缩到能够满足目标移动终端的运行条件，压缩后的深度学习模型的精度比较差，因此，需要对初始深度学习模型进行多次压缩，初始深度学习模型的压缩次数可以是根据使得最终压缩后的深度学习模型能够在目标移动终端运行的条件确定的，最终压缩后的深度学习模型能够在目标移动终端运行的条件可以是模型尺寸小于设定模型尺寸阈值，模型尺寸可以为深度学习模型的模型参数文件，而当前初始深度学习模型为对模型压缩前的初始深度学习模型。
S102，根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理。
这里，模型结构可以是但不限于模型层类型、模型层数、模型参数数目等，其中，模型层类型可以为卷积层、全连接层等，不同的模型层包含有不同的模型参数，不同模型层包含模型参数的数目不同；压缩因子可以是压缩比例，即，需要减少的模型参数的比例，对初始深度学习模型进行压缩可以通过去除初始深度学习模型中的冗余模型参数实现，如，压缩因子为10％，则需要将模型参数去除10％。
在执行步骤S102时，参考图2，根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，具体包括以下步骤：
S201，根据所述当前初始深度学习模型的模型参数数目，为所述当前初始深度学习模型生成扰动因子。
这里，当前初始深度学习模型的模型参数数目为该模型压缩前的模型参数数目；扰动因子表征模型压缩前的模型参数数目对压缩因子的影响程度，模型参数数目一般跟扰动因子成正比，模型参数数目越大，扰动因子越大，那么，基于扰动因子生成的压缩因子也越大。
由于初始深度学习模型中包括不同的模型层，因此，在根据所述当前初始深度学习模型的模型参数数目，为所述当前初始深度学习模型生成扰动因子时，可以通过以下步骤实现：
针对所述当前初始深度学习模型中的每一模型层，根据该模型层的模型参数数目，为该模型层生成扰动因子。
由于初始深度学习模型中包括不同的模型层，不同的模型层包括不同数目的模型参数，因此，根据压缩前每一个模型层的模型参数数目，为该模型层生成扰动因子，该扰动因子可以是随机生成的，但是，随机生成的扰动因子与该模型层的模型参数数目成正比，且不同模型层对应的扰动因子不同，可以根据具体情况确定。
例如，初始深度学习模型包括3个模型层，3个模型层分别为A、B、C，模型层A包括100个参数，模型层B包括200个参数，模型层C包括300个参数，针对模型层A生成的扰动因子为0.01，针对模型层B生成的扰动因子为0.02，针对模型层C生成的扰动因子为0.03。
S202，确定所述当前初始深度学习模型的压缩顺序对应的基准压缩因子。
本申请需要多次对初始深度学习模型进行压缩，为了使得最终压缩后的初始深度学习模型的模型尺寸小于设定的模型尺寸阈值，因此，为每一压缩顺序设置一个对应的基准压缩因子，不同压缩顺序对应不同的基准压缩因子，基准压缩因子一般是按照压缩顺序逐渐增大，压缩顺序越大，基准压缩因子越大，最大的基准压缩因子可以确定最终压缩后的初始深度学习模型的尺寸的大小，相同压缩顺序、不同次压缩时，初始深度学习模型中不同模型层对应的基准压缩因子相同，即，当前次压缩对应的压缩顺序所对应的基准压缩因子，如，初始深度学习模型的大小为100兆，压缩顺序包括3个，压缩顺序为1，基准压缩因子为0.1(该次压缩中的每一模型层的基准压缩因子为0.1)，压缩顺序为2，基准压缩因子为0.2(该次压缩中的每一模型层的基准压缩因子为0.2)，压缩顺序为3，基准压缩因子为0.3(该次压缩中的每一模型层的基准压缩因子为0.3)，最终压缩后的初始深度学习模型的大小为70兆。
S203，利用所述扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到当前次压缩的压缩因子。
初始深度学习模型中不同的模型层对应不同扰动因子，因此，利用所述扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到当前次压缩的压缩因子，包括：
针对所述当前初始深度学习模型中的每一模型层，利用该模型层对应的扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到该模型层在当前次压缩的压缩因子。
具体地，将所述模型层对应的扰动因子与所述当前初始深度学习模型对应的基准压缩因子的加权值作为该模型层在当前次压缩的压缩因子。
在具体实施过程中，不同模型层对应不同的扰动因子，需要针对每一个模型层的基准校准因子进行校准，即，针对当前初始深度学习模型中的每一模型层，计算该模型层对应的扰动因子与当前初始深度学习模型对应的基准校准因子的加权值，将该加权值作为该模型层在当前次压缩的压缩因子。
例如，延续步骤S201中的示例，初始深度学习模型包括3个模型层，3个模型层分别为A、B、C，当前初始深度学习模型对应的基准压缩因子为0.2，针对模型层A的扰动因子为0.01，针对模型层B的扰动因子为0.02，针对模型层C的扰动因子为0.03，基准压缩因子的权重和扰动因子的权重均可以为1，模型层A在当前次压缩的压缩因子为0.21，模型层B在当前次压缩的压缩因子为0.22，模型层C在当前次压缩的压缩因子为0.23。
在确定当前初始深度学习模型中每一个模型层在当前次压缩的压缩参数后，利用所述压缩因子对所述当前初始深度学习模型进行压缩处理，包括以下步骤：
针对所述当前初始深度学习模型的每一模型层，利用该模型层对应的压缩因子对该模型层包含的模型参数进行去冗余处理。
在具体实施过程中，在对当前初始深度学习模型进行压缩时，针对当前初始深度学习模型中的每一个模型层，按照模型层对应的压缩因子对该模型层包含的模型参数进行去除处理，即，从该模型层去除的模型参数数目占该模型层包含的模型参数的总数目的比例与该模型层的压缩因子相同。
例如，延续上一个示例，模型层A包含权重参数100个，模型层A在当前次压缩的压缩因子为0.21，则需要从模型层A中去除0.21*100＝21个模型参数，其它模型层在当前次压缩中的压缩处理方式与模型层A相似，不再赘述。
S103，将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型。
在执行步骤S103中将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型时，参考图3，包括以下步骤：
S301，基于所述历史驾驶数据和所述当前次压缩后的初始深度学习模型，确定所述当前次压缩后的初始深度学习模型的模型精度。
这里，模型精度表征当前次压缩后的初始深度学习模型在应用场景中进行应用时的精度，模型精度越高表征当前次压缩后的初始深度学习模型输出的结果的准确度越高，即，当前次压缩时去除的模型参数对模型精度的影响程度越低；历史驾驶数据包括用户端的驾驶行为特征信息和对应的真实驾驶状态信息，其中，用户端可以是但不限于服务提供方(即司机)、私家车的司机等，驾驶行为特征信息包括用户端对应的用户的面部表情、头部动作、手部动作等，真实驾驶状态信息包括正常驾驶状态、疲劳驾驶状态、分心驾驶状态等。
在具体实施过程中，在得到当前次压缩后的初始深度学习模型后，将历史驾驶数据中的驾驶行为特征信息输入到当前次压缩后的初始深度学习模型中，得到该模型输出的驾驶状态结果，计算该模型输出的驾驶状态结果和真实驾驶状态信息之间的距离，将该距离作为当前次压缩后的初始深度学习模型的模型精度，距离越小，模型精度越高。
S302，基于所述模型精度、当前次压缩后的当前初始深度学习模型的压缩率和应用计算量，确定所述当前次压缩后的初始深度学习模型的压缩精度。
这里，当前次压缩后的当前初始深度学习模型的压缩率为当前次压缩后的当前初始深度学习模型的模型参数数目与当前次压缩前的当前初始深度学习模型的模型参数数目的比值；应用计算量表征压缩后的当前初始深度学习模型的运算速度，初始深度学习模型的不同模型层对应的应用计算量不同，当前次压缩后的当前初始深度学习模型的应用计算量为当前初始深度学习模型在当前次压缩后各模型层的应用计算量的和值，以模型层为卷积层为例对应用计算量进行说明，卷积层大小为h×w×c×n，其中，c为卷积层的输入通道数目，n为卷积层的输出通道数目，h为卷积层卷积核的高，w为卷积层卷积核的宽，卷积层输出的特征图为H×W(其中，H为特征图的高，W为特征图的宽)，应用计算量q＝H×W×n×(h×w×c+1)；压缩精度综合考虑了模型精度、压缩率、和应用计算量，压缩精度越高表征当前次压缩后的当前初始深度学习模型的压缩效果更好，即，压缩后的初始深度学习模型的精度与未压缩的初始深度学习模型的精度相比，精度之间差距的并不大，但是按照当前压缩顺序对应的基准压缩因子实现对模型的压缩。
在具体实施过程中，在得到当前次压缩后的当前初始深度学习模型的模型压缩精度后，计算当前次压缩后的当前初始深度学习模型的模型精度、压缩率、应用计算量的加权值，将该加权值作为当前次压缩后的初始深度学习模型的压缩精度。其中，在计算压缩精度时，模型精度、压缩率、应用计算量的权重可以相同(如均为1)，也可以根据模型精度、压缩率、应用计算量的重要度确定各自对应的权重，可以根据实际情况确定。例如，在需要保证模型精度时，可以仅将模型精度作为压缩精度，在考虑模型运行速度时，可以将模型精度和应用计算量作为压缩精度。
S303，若所述压缩精度属于设定的正常精度范围，则将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型。
这里，正常精度范围一般是预先设置的，由于在模型压缩过程中，同一压缩顺序对应的压缩因子之间的差并不大，同一压缩顺序、不同次压缩后的模型的压缩率和应用计算量的变化均不大，因此，正常精度范围可以基于模型精度确定，在保证压缩后模型精度不降低的前提下设置正常精度范围，在具体应用中，可以根据实际情况确定。
S304，若所述压缩精度低于设定的正常精度范围，则返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤。
在具体实施过程中，在当前次压缩后的当前初始深度学校模型的压缩精度属于正常精度范围后，说明当前次压缩得到的初始深度学习模型在模型精度不降低的前提下压缩效果比较好，可以将当前次压缩后的初始深度学习模型作为当前次压缩对应的深度学习模型，按照下一个压缩顺序对当前次压缩后的初始深度学习模型进行压缩，直到按照所有的压缩顺序对模型进行压缩，得到最终压缩后的初始深度学习模型。
在当前次压缩后的当前初始深度学习模型的压缩精度地域正常精度范围后，说明当前次压缩得到的初始深度学习模型模型精度降低了，需要重新为当前次压缩前的当前初始深度学习模型生成压缩因子，重新压缩模型，也就是，执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到当前次压缩后的当前初始深度学习模型的压缩精度属于正常精度范围，对当前初始深度学习模型进行压缩时，同一压缩顺序下不同次压缩生成的扰动因子不同，进而导致不同次压缩确定的压缩因子不同，使用不同压缩因子压缩后得到的初始深度学习模型的压缩精度不同，直到确定的压缩因子对模型压缩后得到的压缩精度属于正常精度范围，则确定落入正常精度范围的压缩精度对应压缩因子为最优压缩因子，这样，在保证模型精度不降低的前提下，按照设定压缩比例对模型进行压缩，提高了对模型的压缩效率。
针对出行场景，本申请提供一个示例，参考图4，该方法包括以下步骤：
S401，获取当前初始深度学习模型。
S402，根据当前初始深度学习模型的模型结构，为当前初始深度学习模型生成当前次压缩的压缩因子。
S403，利用压缩因子对当前初始深度学习模型进行压缩处理。
S404，基于历史驾驶数据和当前次压缩后的初始深度学习模型，确定当前次压缩后的初始深度学习模型的模型精度。
S405，基于模型精度、当前次压缩后的当前初始深度学习模型的压缩率和应用计算量，确定当前次压缩后的初始深度学习模型的压缩精度。
S406，判断压缩精度是否小于设定的正常精度范围，若所述压缩精度属于设定的正常精度范围，则执行步骤S407，若压缩精度低于设定的正常精度范围，则返回执行S402。
S407，将当前次压缩后的初始深度学习模型作为当前初始深度学习模型。
S408，判断当前初始深度学习模型是否满足在目标移动终端运行的条件，若当前初始深度学习模型满足在目标移动终端运行的条件，则结束，若当前初始深度学习模型不满足在目标移动终端运行的条件，则返回执行步骤S402。
通过步骤S401-S408执行过程的内容可参考图1-图3中提供的数据处理方法。
例如，压缩顺序为3，在获取初始深度学习模型后，第一次对初始深度学习模型进行压缩前，根据初始深度学习模型的模型参数数目，生成当前次压缩的扰动因子，计算该扰动因子和压缩顺序1对应的基准压缩因子的和值，将该和值作为当前次压缩的压缩因子，利用该压缩因子对初始深度学习模型进行压缩，基于历史驾驶数据和第一次压缩后的初始深度学习模型，确定第一次压缩后的初始深度学习模型的模型精度，基于模型精度、第一次压缩后的当前初始深度学习模型的压缩率和应用计算量，确定第一次压缩后的初始深度学习模型的压缩精度，当压缩精度不属于正常精度范围时，此时，重复执行根据初始深度学习模型的模型参数数目，生成当前次压缩的扰动因子的步骤(不同次执行该步骤生成的扰动因子不同)，直到压缩经书属于正常精度范围，进行后续压缩步骤；当压缩精度属于正常精度范围时，则进行按照压缩顺序2进行下一次压缩，按照压缩顺序2进行下一次压缩的过程与第一次压缩的过程相似，此处不再进行赘述。
S104，根据历史驾驶数据和所述最终压缩后的初始深度学习模型，生成用于识别驾驶状态的深度学习模型。
这里，历史驾驶数据包括驾驶过程中的手臂动作、眼神动作、面部表情等，驾驶状态包括正常驾驶状态、疲劳驾驶状态、分心驾驶状态等。
在执行步骤S104，根据历史驾驶数据和所述最终压缩后的初始深度学习模型，生成用于识别驾驶状态的深度学习模型，包括：
根据所述历史驾驶数据，生成样本训练集，所述样本训练集中包括用户端的驾驶行为特征信息和对应的真实驾驶状态信息；
将所述最终压缩后的初始深度学习模型作为进行训练的基础模型，将所述驾驶行为特征信息作为模型输入特征，将所述真实驾驶状态信息作为模型输出特征，训练得到用于识别驾驶状态的深度学习模型。
在具体实施过程中，在对最终压缩后的初始深度学习模型进行训练时，将驾驶行为特征信息作为模型输入特征，将真实驾驶状态信息作为模型输出特征，训练得到能够用于识别驾驶状态的深度学习模型。
S105，将用于识别驾驶状态的深度学习模型发送给所述目标移动终端进行运行，以进行驾驶状态识别。
这里，目标移动终端可以是但不限于车载终端、手机、平板、计算机设备等，本申请对此不予限制。
在具体实施过程中，将用于识别驾驶状态的深度学习模型发送给目标移动终端，以在目标移动终端中运行能够收到的模型，使得目标移动终端应用在出行场景时，能够实时识别车辆驾驶人员的驾驶状态，并基于驾驶状态对车辆中的乘坐人员进行提醒，减少由于疲劳驾驶、分心驾驶带来的安全隐患。
参照图5所示，为本申请实施例提供的另一种数据处理方法的示意图，该方法包括以下步骤：
S501，获取当前初始深度学习模型。
S502，根据当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理。
S503，将当前次压缩后的深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型。
通过执行步骤S501-S503得到最终压缩后的初始深度学习模型，除了应用于出行场景进行驾驶状态识别外，还可以应用于人脸识别场景(如，考场、校园、门禁等)、危险性检测场景(如出行场景中服务请求方的安全性检测)、医学病理检测等，可根据实际情况确定，扩展了深度学习模型的运行场景。
如图6所示，本申请实施例提供了一种数据处理装置，该装置包括：
获取模块601，用于获取当前初始深度学习模型，将所述当前初始深度学习模型传输给压缩处理模块602；
压缩处理模块602，用于根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理；
循环处理模块603，用于将所述压缩处理模块602当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型；
生成模块604，用于根据历史驾驶数据和所述循环处理模块603得到的所述最终压缩后的初始深度学习模型，生成用于识别驾驶状态的深度学习模型；
发送模块605，用于将所述生成模块604生成的用于识别驾驶状态的深度学习模型发送给所述目标移动终端进行运行，以进行驾驶状态识别。
可选地，所述压缩处理模块602具体用于根据以下步骤为所述当前初始深度学习模型生成当前次压缩的压缩因子：
根据所述当前初始深度学习模型的模型参数数目，为所述当前初始深度学习模型生成扰动因子；
确定所述当前初始深度学习模型的压缩顺序对应的基准压缩因子；
利用所述扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到当前次压缩的压缩因子。
可选地，所述循环处理模块603在将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型时，具体用于：
基于所述历史驾驶数据和所述当前次压缩后的初始深度学习模型，确定所述当前次压缩后的初始深度学习模型的模型精度；
基于所述模型精度、当前次压缩后的当前初始深度学习模型的压缩率和应用计算量，确定所述当前次压缩后的初始深度学习模型的压缩精度；
若所述压缩精度属于设定的正常精度范围，则将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型。
可选地，所述循环处理模块603还用于：
若所述压缩精度低于设定的正常精度范围，则返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤。
可选地，所述压缩处理模块602具体用于根据以下步骤生成所述压缩因子：
针对所述当前初始深度学习模型中的每一模型层，根据该模型层的模型参数数目，为该模型层生成扰动因子，利用该模型层对应的扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到该模型层在当前次压缩的压缩因子。
可选地，所述压缩处理模块602具体用于：
将所述模型层对应的扰动因子与所述当前初始深度学习模型对应的基准压缩因子的加权值作为该模型层在当前次压缩的压缩因子。
可选地，所述压缩处理模块602具体用于根据以下步骤利用所述压缩因子对所述当前初始深度学习模型进行压缩处理：
针对所述当前初始深度学习模型的每一模型层，利用该模型层对应的压缩因子对该模型层包含的模型参数进行去冗余处理。
可选地，所述生成模块604具体用于根据以下步骤生成所述深度学习模型：
根据所述历史驾驶数据，生成样本训练集，所述样本训练集中包括用户端的驾驶行为特征信息和对应的真实驾驶状态信息；
将所述最终压缩后的初始深度学习模型作为进行训练的基础模型，将所述驾驶行为特征信息作为模型输入特征，将所述真实驾驶状态信息作为模型输出特征，训练得到用于识别驾驶状态的深度学习模型。
如图7所示，本申请实施例提供了另一种数据处理装置，该装置包括：
获取模块701，用于获取当前初始深度学习模型，将所述当前初始深度学习模型传输给压缩处理模块702；
压缩处理模块702，用于根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理；
循环处理模块703，用于将所述压缩处理模块702当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型。
关于装置中的处理流程、以及交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本申请实施例还提供了一种计算机设备80，如图8所示，为本申请实施例提供的计算机设备80结构示意图，包括：处理器81、存储器82、和总线83。所述存储器82存储有所述处理器81可执行的机器可读指令(比如，图6中的装置中获取模块601、压缩处理模块602、循环处理模块603、生成模块604、发送模块605对应的执行指令等)，当计算机设备80运行时，所述处理器81与所述存储器82之间通过总线83通信，所述机器可读指令被所述处理器81执行时执行如下处理：
获取当前初始深度学习模型；
根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理；
将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型；
根据历史驾驶数据和所述最终压缩后的初始深度学习模型，生成用于识别驾驶状态的深度学习模型；
将用于识别驾驶状态的深度学习模型发送给所述目标移动终端进行运行，以进行驾驶状态识别。
一种可能的实施方式中，处理器81执行的指令中，所述根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，包括：
根据所述当前初始深度学习模型的模型参数数目，为所述当前初始深度学习模型生成扰动因子；
确定所述当前初始深度学习模型的压缩顺序对应的基准压缩因子；
利用所述扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到当前次压缩的压缩因子。
一种可能的实施方式中，处理器81执行的指令中，所述将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型，包括：
基于所述历史驾驶数据和所述当前次压缩后的初始深度学习模型，确定所述当前次压缩后的初始深度学习模型的模型精度；
基于所述模型精度、当前次压缩后的当前初始深度学习模型的压缩率和应用计算量，确定所述当前次压缩后的初始深度学习模型的压缩精度；
若所述压缩精度属于设定的正常精度范围，则将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型。
一种可能的实施方式中，处理器81执行的指令中，还包括：
若所述压缩精度低于设定的正常精度范围，则返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤。
一种可能的实施方式中，处理器81执行的指令中，所述根据所述当前初始深度学习模型的模型参数数目，为所述当前初始深度学习模型生成扰动因子，包括：
针对所述当前初始深度学习模型中的每一模型层，根据该模型层的模型参数数目，为该模型层生成扰动因子；
所述利用所述扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到当前次压缩的压缩因子，包括：
针对所述当前初始深度学习模型中的每一模型层，利用该模型层对应的扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到该模型层在当前次压缩的压缩因子。
一种可能的实施方式中，处理器81执行的指令中，所述利用该模型层对应的扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到该模型层在当前次压缩的压缩因子，包括：
将所述模型层对应的扰动因子与所述当前初始深度学习模型对应的基准压缩因子的加权值作为该模型层在当前次压缩的压缩因子。
一种可能的实施方式中，处理器81执行的指令中，所述利用所述压缩因子对所述当前初始深度学习模型进行压缩处理，包括：
针对所述当前初始深度学习模型的每一模型层，利用该模型层对应的压缩因子对该模型层包含的模型参数进行去冗余处理。
一种可能的实施方式中，处理器81执行的指令中，所述根据历史驾驶数据和所述最终压缩后的初始深度学习模型，生成用于识别驾驶状态的深度学习模型，包括：
根据所述历史驾驶数据，生成样本训练集，所述样本训练集中包括用户端的驾驶行为特征信息和对应的真实驾驶状态信息；
将所述最终压缩后的初始深度学习模型作为进行训练的基础模型，将所述驾驶行为特征信息作为模型输入特征，将所述真实驾驶状态信息作为模型输出特征，训练得到用于识别驾驶状态的深度学习模型。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述数据处理方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述数据处理方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述数据处理方法，从而解决现有技术中对大型深度学习模型的压缩效率低导致深度学习模型无法在移动终端运行的问题，本申请获取初始深度学习模型后，通过对初始深度学习模型进行多次压缩，每次压缩时，根据当前初始深度学习模型的模型结构，为当前初始深度学习模型生成当前次压缩的压缩因子，并利用压缩因子对当前初始深度学习模型进行压缩处理，使得最终压缩后的初始深度学习模型满足在目标移动终端运行的条件，这样，自动对深度学习模型进行压缩，提高了对深度学习模型进行压缩时的压缩效率，并根据历史驾驶数据对最终压缩后的初始深度学习模型进行训练，得到能够识别驾驶状态的深度学习模型，将能够识别驾驶状态的深度学习模型应用于目标移动终端，通过目标移动终端实现对用户的驾驶状态的识别，不仅可以减少不良驾驶状态给用户带来的安全隐患，还可以减少驾驶状态识别对服务器的依赖，扩展了深度学习模型的运行场景。
本申请实施例还提供了一种计算机设备90，如图9所示，为本申请实施例提供的计算机设备90结构示意图，包括：处理器91、存储器92、和总线93。所述存储器92存储有所述处理器91可执行的机器可读指令(比如，图7中的装置中获取模块701、压缩处理模块702、循环处理模块703对应的执行指令等)，当计算机设备90运行时，所述处理器91与所述存储器92之间通过总线93通信，所述机器可读指令被所述处理器91执行时执行如下处理：
获取当前初始深度学习模型；
根据当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理；
将当前次压缩后的深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述数据处理方法，从而解决现有技术中对大型深度学习模型压缩效率低的问题，本申请获取初始深度学习模型后，通过对初始深度学习模型进行多次压缩，每次压缩时，根据当前初始深度学习模型的模型结构，为当前初始深度学习模型生成当前次压缩的压缩因子，并利用压缩因子对当前初始深度学习模型进行压缩处理，使得最终压缩后的初始深度学习模型满足在目标移动终端运行的条件，这样，自动对深度学习模型进行压缩，提高了对深度学习模型进行压缩时的压缩效率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (13)
1.一种数据处理装置，其特征在于，该装置包括：
获取模块，用于获取当前初始深度学习模型，将所述当前初始深度学习模型传输给压缩处理模块；
压缩处理模块，用于根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理；
循环处理模块，用于将所述压缩处理模块当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型；
生成模块，用于根据历史驾驶数据和所述循环处理模块得到的所述最终压缩后的初始深度学习模型，生成用于识别驾驶状态的深度学习模型；
发送模块，用于将所述生成模块生成的用于识别驾驶状态的深度学习模型发送给所述目标移动终端进行运行，以进行驾驶状态识别。
2.如权利要求1所述的数据处理装置，其特征在于，所述压缩处理模块具体用于根据以下步骤为所述当前初始深度学习模型生成当前次压缩的压缩因子：
根据所述当前初始深度学习模型的模型参数数目，为所述当前初始深度学习模型生成扰动因子；
确定所述当前初始深度学习模型的压缩顺序对应的基准压缩因子；
利用所述扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到当前次压缩的压缩因子。
3.如权利要求1所述的数据处理装置，其特征在于，所述循环处理模块在将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型时，具体用于：
基于所述历史驾驶数据和所述当前次压缩后的初始深度学习模型，确定所述当前次压缩后的初始深度学习模型的模型精度；
基于所述模型精度、当前次压缩后的当前初始深度学习模型的压缩率和应用计算量，确定所述当前次压缩后的初始深度学习模型的压缩精度；
若所述压缩精度属于设定的正常精度范围，则将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型。
4.如权利要求3所述的数据处理装置，其特征在于，所述循环处理模块还用于：
若所述压缩精度低于设定的正常精度范围，则返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤。
5.如权利要求2所述的数据处理装置，其特征在于，所述压缩处理模块具体用于根据以下步骤生成所述压缩因子：
针对所述当前初始深度学习模型中的每一模型层，根据该模型层的模型参数数目，为该模型层生成扰动因子，利用该模型层对应的扰动因子对所述当前初始深度学习模型对应的基准压缩因子进行校准，得到该模型层在当前次压缩的压缩因子。
6.如权利要求5所述的数据处理装置，其特征在于，所述压缩处理模块具体用于：
将所述模型层对应的扰动因子与所述当前初始深度学习模型对应的基准压缩因子的加权值作为该模型层在当前次压缩的压缩因子。
7.如权利要求5所述的数据处理装置，其特征在于，所述压缩处理模块具体用于根据以下步骤利用所述压缩因子对所述当前初始深度学习模型进行压缩处理：
针对所述当前初始深度学习模型的每一模型层，利用该模型层对应的压缩因子对该模型层包含的模型参数进行去冗余处理。
8.如权利要求1所述的数据处理装置，其特征在于，所述生成模块具体用于根据以下步骤生成所述深度学习模型：
根据所述历史驾驶数据，生成样本训练集，所述样本训练集中包括用户端的驾驶行为特征信息和对应的真实驾驶状态信息；
将所述最终压缩后的初始深度学习模型作为进行训练的基础模型，将所述驾驶行为特征信息作为模型输入特征，将所述真实驾驶状态信息作为模型输出特征，训练得到用于识别驾驶状态的深度学习模型。
9.一种数据处理转置，其特征在于，该装置包括：
获取模块，用于获取当前初始深度学习模型，将所述当前初始深度学习模型传输给压缩处理模块；
压缩处理模块，用于根据所述获取模块获取的所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理；
循环处理模块，用于将所述压缩处理模块当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型。
10.一种数据处理方法，其特征在于，该方法包括：
获取当前初始深度学习模型；
根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理；
将当前次压缩后的初始深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型；
根据历史驾驶数据和所述最终压缩后的初始深度学习模型，生成用于识别驾驶状态的深度学习模型；
将用于识别驾驶状态的深度学习模型发送给所述目标移动终端进行运行，以进行驾驶状态识别。
11.一种数据处理方法，其特征在于，该方法包括：
获取当前初始深度学习模型；
根据当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子，并利用所述压缩因子对所述当前初始深度学习模型进行压缩处理；
将当前次压缩后的深度学习模型作为所述当前初始深度学习模型，返回执行根据所述当前初始深度学习模型的模型结构，为所述当前初始深度学习模型生成当前次压缩的压缩因子的步骤，直到压缩后的初始深度学习模型满足在目标移动终端运行的条件，得到最终压缩后的初始深度学习模型。
12.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求10所述的数据处理方法的步骤。
13.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求11所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910398488.0A CN110766131A (zh) | 2019-05-14 | 2019-05-14 | 数据处理装置、方法和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910398488.0A CN110766131A (zh) | 2019-05-14 | 2019-05-14 | 数据处理装置、方法和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110766131A true CN110766131A (zh) | 2020-02-07 |
Family
ID=69328759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910398488.0A Pending CN110766131A (zh) | 2019-05-14 | 2019-05-14 | 数据处理装置、方法和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110766131A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112061136A (zh) * | 2020-08-26 | 2020-12-11 | 西北工业大学 | 基于长短期记忆网络的司机驾驶行为自动化分析方法 |
| CN112418393A (zh) * | 2020-10-23 | 2021-02-26 | 联想(北京)有限公司 | 一种模型裁剪方法及设备 |
| CN113673694A (zh) * | 2021-05-26 | 2021-11-19 | 阿里巴巴新加坡控股有限公司 | 数据处理方法及装置、电子设备和计算机可读存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229646A (zh) * | 2017-08-08 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络模型压缩方法、装置、存储介质和电子设备 |
| CN108243216A (zh) * | 2016-12-26 | 2018-07-03 | 华为技术有限公司 | 数据处理的方法、端侧设备、云侧设备与端云协同系统 |
| KR20180083030A (ko) * | 2017-01-11 | 2018-07-20 | 한국전자통신연구원 | 이진 파라미터를 갖는 컨볼루션 신경망 시스템 및 그것의 동작 방법 |
| CN108734268A (zh) * | 2017-04-21 | 2018-11-02 | 展讯通信（上海）有限公司 | 深度神经网络模型的压缩方法及装置、终端、存储介质 |
| CN108764034A (zh) * | 2018-04-18 | 2018-11-06 | 浙江零跑科技有限公司 | 一种基于驾驶室近红外相机的分神驾驶行为预警方法 |
| WO2018234789A1 (en) * | 2017-06-21 | 2018-12-27 | Arm Ltd | SYSTEMS AND DEVICE FOR COMPRESSING NEURAL NETWORK PARAMETERS |
| US20190044535A1 (en) * | 2018-09-28 | 2019-02-07 | Intel Corporation | Systems and methods for compressing parameters of learned parameter systems |
| CN109523017A (zh) * | 2018-11-27 | 2019-03-26 | 广州市百果园信息技术有限公司 | 深度神经网络的压缩方法、装置、设备及存储介质 |
| CN109657780A (zh) * | 2018-06-15 | 2019-04-19 | 清华大学 | 一种基于剪枝顺序主动学习的模型压缩方法 |
| CN109664891A (zh) * | 2018-12-27 | 2019-04-23 | 北京七鑫易维信息技术有限公司 | 辅助驾驶方法、装置、设备及存储介质 |
| CN109685205A (zh) * | 2018-12-26 | 2019-04-26 | 上海大学 | 一种基于稀疏矩阵的深度网络模型加速方法 |
| US20190138888A1 (en) * | 2017-11-03 | 2019-05-09 | International Business Machines Corporation | Weighted cascading convolutional neural networks |
-
2019
- 2019-05-14 CN CN201910398488.0A patent/CN110766131A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108243216A (zh) * | 2016-12-26 | 2018-07-03 | 华为技术有限公司 | 数据处理的方法、端侧设备、云侧设备与端云协同系统 |
| KR20180083030A (ko) * | 2017-01-11 | 2018-07-20 | 한국전자통신연구원 | 이진 파라미터를 갖는 컨볼루션 신경망 시스템 및 그것의 동작 방법 |
| CN108734268A (zh) * | 2017-04-21 | 2018-11-02 | 展讯通信（上海）有限公司 | 深度神经网络模型的压缩方法及装置、终端、存储介质 |
| WO2018234789A1 (en) * | 2017-06-21 | 2018-12-27 | Arm Ltd | SYSTEMS AND DEVICE FOR COMPRESSING NEURAL NETWORK PARAMETERS |
| CN108229646A (zh) * | 2017-08-08 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络模型压缩方法、装置、存储介质和电子设备 |
| US20190138888A1 (en) * | 2017-11-03 | 2019-05-09 | International Business Machines Corporation | Weighted cascading convolutional neural networks |
| CN108764034A (zh) * | 2018-04-18 | 2018-11-06 | 浙江零跑科技有限公司 | 一种基于驾驶室近红外相机的分神驾驶行为预警方法 |
| CN109657780A (zh) * | 2018-06-15 | 2019-04-19 | 清华大学 | 一种基于剪枝顺序主动学习的模型压缩方法 |
| US20190044535A1 (en) * | 2018-09-28 | 2019-02-07 | Intel Corporation | Systems and methods for compressing parameters of learned parameter systems |
| CN109523017A (zh) * | 2018-11-27 | 2019-03-26 | 广州市百果园信息技术有限公司 | 深度神经网络的压缩方法、装置、设备及存储介质 |
| CN109685205A (zh) * | 2018-12-26 | 2019-04-26 | 上海大学 | 一种基于稀疏矩阵的深度网络模型加速方法 |
| CN109664891A (zh) * | 2018-12-27 | 2019-04-23 | 北京七鑫易维信息技术有限公司 | 辅助驾驶方法、装置、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112061136A (zh) * | 2020-08-26 | 2020-12-11 | 西北工业大学 | 基于长短期记忆网络的司机驾驶行为自动化分析方法 |
| CN112418393A (zh) * | 2020-10-23 | 2021-02-26 | 联想(北京)有限公司 | 一种模型裁剪方法及设备 |
| CN113673694A (zh) * | 2021-05-26 | 2021-11-19 | 阿里巴巴新加坡控股有限公司 | 数据处理方法及装置、电子设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113657465A (zh) | 预训练模型的生成方法、装置、电子设备和存储介质 | |
| CN110766131A (zh) | 数据处理装置、方法和电子设备 | |
| CN111488985A (zh) | 深度神经网络模型压缩训练方法、装置、设备、介质 | |
| CN113642431A (zh) | 目标检测模型的训练方法及装置、电子设备和存储介质 | |
| CN114494815B (zh) | 神经网络训练方法、目标检测方法、装置、设备和介质 | |
| CN109600336A (zh) | 存储设备、验证码应用方法和装置 | |
| CN111259737B (zh) | 车辆方向盘故障的预测方法、装置、电子设备及存储介质 | |
| CN107832794A (zh) | 一种卷积神经网络生成方法、车系识别方法及计算设备 | |
| CN114120253A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN110719567A (zh) | 一种基站部署方式的确定方法及装置 | |
| EP4123595A2 (en) | Method and apparatus of rectifying text image, training method and apparatus, electronic device, and medium | |
| CN107798024A (zh) | 一种出行目的地推荐处理方法及装置 | |
| CN113269280B (zh) | 文本检测方法、装置、电子设备及计算机可读存储介质 | |
| CN113591580B (zh) | 图像标注方法、装置、电子设备和存储介质 | |
| CN113920313A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112997192A (zh) | 一种手势识别方法、装置、终端设备及可读存储介质 | |
| CN112183303A (zh) | 变电设备图像分类方法、装置、计算机设备和介质 | |
| CN110398957A (zh) | 自动驾驶行为预测方法、装置、计算机设备及存储介质 | |
| CN106373121A (zh) | 模糊图像识别方法和装置 | |
| CN112580787B (zh) | 神经网络加速器的数据处理方法、装置、设备及存储介质 | |
| CN114267021A (zh) | 对象识别方法和装置、存储介质及电子设备 | |
| CN110766435B (zh) | 向量训练方法、装置、电子设备以及计算机可读存储介质 | |
| CN113052301B (zh) | 神经网络生成方法、装置、电子设备及存储介质 | |
| CN115049895B (zh) | 一种图像属性识别方法、属性识别模型训练方法及装置 | |
| CN113642627B (zh) | 一种基于深度学习的图像与决策多源异类信息融合识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200207 |