CN109656529A - 一种针对客户端深度学习的在线定制化方法及系统 - Google Patents

Abstract

本发明提供一种针对客户端深度学习的在线定制化方法及系统，包括服务器、至少一个客户端，所述方法包括：所述服务器利用公共数据集对预设机器学习模型进行训练，获得公共模型；所述客户端从所述服务器获取所述公共模型；所述客户端获取用户个性化数据；所述客户端利用所述用户个性化数据对所述公共模型进行训练，得到定制化模型。本发明采用服务器端‑客户端协同训练的方式，在计算资源较强的服务器端先利用大量的公共数据集进行预训练，将模型的参数调整到合适的位置；然后将模型下发到各个移动设备，利用本地产生的数据进行定制化训练。在客户端进行预测和定制化训练的过程中，无需上传训练数据，从而保证了隐私信息不会被泄露。

Description

一种针对客户端深度学习的在线定制化方法及系统

技术领域

本发明涉及软件技术领域，特别涉及一种针对客户端深度学习的在线定制化方法及系统。

背景技术

深度学习(Deep Learning)是一种机器学习算法，同时也是人工智能领域的一个重要分支。从快速发展到实际应用，短短几年时间里，深度学习颠覆了语音识别、图像分类、文本理解等众多领域的算法设计思路，渐渐形成了一种从训练数据出发，经过一个端到端(end-to-end)的模型，然后直接输出得到最终结果的一种新模式。

在移动平台上，深度学习技术也获得了广泛的应用。例如，在智能眼镜中依靠深度学习进行高准确率的人脸识别；在智能手机中通过深度学习进行精确的文本翻译等。现有的应用方案，通常是在云端服务器训练一个通用的模型，将模型嵌入到应用或者在应用首次打开时通过网络下载到本地，然后利用这个通用模型展开预测任务。这种做法的好处是将计算量最大的训练过程放在云端，在本地只需进行计算需求较小的预测，从而保证了延迟和能耗在计算资源受限的移动设备上可以满足。然而，在许多场景下，需要对模型根据用户使用行为的不同进行定制。例如在输入法的输入词预测中，普遍采用了LSTM深度学习模型，但不同用户的输入习惯可能有较大的区别，表现在同样的前缀输入条件下，可能有完全不同的下一个词的输入概率分布，为此，需要对不同用户进行模型的定制(personalization)。然而，在云端进行模型定制有以下几个限制。

云端的模型定制需要用户上传所有的个人数据，用以定制化训练。这些上传的个人数据可能包含了大量的隐私信息，例如前述的例子中需要上传个人输入文字数据，其中可能包含了银行卡密码，个人身份信息等。上传此类数据将不可避免地导致安全隐患。

云端的模型定制对服务器端的负载很大。虽然现有的服务器在深度学习模型的训练中表现良好(例如GPU服务器)，但面临大量用户模型的定制时，如百万级用户应用，其训练量的符合可能需要上千块GPU数十天的训练，以及超过1000TB的存储空间。

为了让模型的定制化效果对用户有实时的响应，云端定制策略需要将用户的数据实时上传用以模型训练，并将模型下发到本地。深度学习模型的体积通常较大，从而占据大量的网络带宽。

发明内容

基于此，一方面，本发明提供了一种针对客户端深度学习的在线定制化方法，所述方法包括：

所述服务器利用公共数据集对预设机器学习模型进行训练，获得公共模型；

所述客户端从所述服务器获取所述公共模型；

所述客户端获取用户个性化数据；

所述客户端利用所述用户个性化数据对所述公共模型进行训练，得到定制化模型。

可选的，所述服务器利用公共数据集对预设机器学习模型进行训练，获得公共模型包括：

所述服务器获取公共数据集；

所述服务器对公共数据集进行预处理；

所述服务器利用所述公共数据集对预设机器学习模型进行训练，获得公共模型。

可选的，所述客户端获取用户个性化数据包括：

客户端通过用户的输入获取用户的个人数据；

所述用户的个性化数据包括用户的个人数据；

所述用户的个人数据包括用户的输入，以及针对所述输入，公共模型给出的预测输出。可选的，所述客户端利用所述用户个性化数据对所述公共模型进行训练，获取定制化模型包括：

当用户的个性化数据达到预先设定的数量时，利用所述用户的个性化数据构建训练集；

对训练集进行预处理；

利用预处理后的训练集对所述公共模型进行训练，得到定制化模型。

可选的，利用预处理后训练集对所述公共模型进行训练，得到定制化模型包括：

利用所述预处理后的训练集和预设的观测输出训练所述公共模型，调整所述公共模型的参数，得到定制化模型。

另一方面，本发明还提供了一种针对客户端深度学习的在线定制化系统，包括服务器、至少一个客户端，所述系统包括：

公共模型训练模块，用于在服务器中，利用公共数据集对预设机器学习模型进行训练，获得公共模型；

获取公共模型模块，用于利用客户端从所述服务器获取所述公共模型；

个性化数据获取模块，用于利用所述客户端获取用户个性化数据；

定制化模型获取模块，用于在客户端中，利用所述用户个性化数据对所述公共模型进行训练，得到定制化模型。

可选的，所述公共模型训练模块包括：

公共数据集获取子模块，利用服务器获取公共数据集；

第一预处理子模块，利用所述服务器对公共数据集进行预处理；

公共模型获得子模块，用于在所述服务器中，利用所述预处理后的公共数据集对预设机器学习模型进行训练，获得公共模型。

可选的，所述个性化数据获取模块包括：

个性化数据获取子模块：用于通过用户的输入获取用户的个人数据；

所述用户的个性化数据包括用户的个人数据；

所述用户的个人数据包括用户的输入，以及针对所述输入，公共模型给出的预测输出。可选的，所述定制化模型获取模块包括：

训练集构建子模块，用于当用户的个性化数据达到预先设定的数量时，利用所述用户的个性化数据构建训练集；

对训练集进行预处理；

第二预处理子模块，用于对训练集进行预处理；

定制化模型获取子模块，用于利用预处理后的训练集对所述公共模型进行训练，得到定制化模型。

可选的，所述定制化模型获取子模块包括：

定制化模型获取单元，用于利用所述预处理后的训练集和预设的观测输出训练所述公共模型，调整所述公共模型的参数，得到定制化模型。

本发明具有以下有益效果：

本发明采用服务器端-客户端协同训练的方式，在计算资源较强的服务器端先利用大量的公共数据集进行预训练，将模型的参数调整到合适的位置；然后将模型下发到各个移动设备，利用本地产生的数据进行定制化训练。在客户端进行预测和定制化训练的过程中，无需上传训练数据，从而保证了隐私信息不会被泄露。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一的一种针对客户端深度学习的在线定制化方法的步骤流程图；

图2是本发明实施例二的一种针对客户端深度学习的在线定制化方法的步骤流程图；

图3是本发明实施例二示例的客户端在线学习中的使用预测结果复用技术的示意图；

图4是本发明实施例三一种针对客户端深度学习的在线定制化方法的示意图；

图5是本发明实施例四的一种针对客户端深度学习的在线定制化系统的结构框图；

图6是本发明实施例四的一种针对客户端深度学习的在线定制化系统的具体结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

【方法实施例一】

参照图1，示出了本发明实施例中的一种针对客户端深度学习的在线定制化方法的步骤流程图，所述方法包括服务器和至少一个终端，具体步骤包括：

步骤101、利用公共数据集对预设机器学习模型进行训练，获得公共模型。

在本发明实施例中，服务器端负责预训练获得一个参数被正确初始化公共模型。首先，需要人为选择一个在语义上与用户使用产生数据较为贴近的公共数据集。公共数据集的获取可以通过直接下载或者网络爬虫形式获取。例如：通过直接下载获取用于图像分类的ImageNet数据集；利用网络爬虫获取Twitter网站上的语料数据。获取的公共数据需要进行完整的清洗、预处理流程，让公共数据的格式与用户真实产生的数据格式一致。其中需要注意的是，让公共数据尽量保证“普适性”，从而训练得到的公共模型对不同种类的用户都是“公平的”。例如，在输入法应用的输入词预测功能中，公共模型的预训练数据集应考虑不同地区/地域的用户，并保证这些用户数据的量是成比例的。原因是对于不同地域的用户而言，其表现出的输入行为可能有较大差异。例如：同样是英语输入，美国的用户和英国的用户在输入行为上可能差异性很大。因此在公共数据集的获取过程中，需要尽量保证收集到的公共数据集对这些地域是公平对待的。

在本发明实施例中，由于本发明的在线定制化方法中不仅需要利用公共模型对用户的输入进行预测，得到预测结果，还需要利用用户的输入和预测结果对公共模型进行训练，因此预设机器学习模型不仅需要支持前向的推断运算，还需要支持后向的梯度下降运算。TensorFlow框架实现了预设机器学习模型操作的前向和后向算法，所以本发明在预设机器学习模型中使用了TensorFlow框架作为支撑。

步骤102、从所述服务器获取所述公共模型。

在本发明实施例中，将在服务器预训练得到的公共模型下发到所有用户的客户端上，并更新部署，公共模型的更新可以是长期不更新，也可以是定期更新，更新的频率由客户端的开发者决定，当开发者研制出更可靠的公共模型时，或者更新了公共模型所使用的公共数据集后重新训练获得公共模型，即可考虑将用新的公共模型替代旧的公共模型。例如，在输入法应用场景下，公共模型需要定时更新，原因是用户使用语言的习惯会随着时间的改变，其中最明显的便是新型网络语言的涌现，导致LSTM模型使用的词表需要不停地更新。

步骤103、获取用户个性化数据。

在本发明实施例中，所述用户的个人数据包括用户的输入，以及针对所述输入，公共模型给出的预测输出。。

在本发明实施例中，例如，在输入词预测中，个性化数据包括用户的输入文本以及针对用户的输入文本，输入词预测公共模型进行的预测；例如，在人脸识别中，个性化数据包括用户的人脸照片以及针对该人脸照片，人脸识别公共模型进行的识别结果。

步骤104、利用所述用户个性化数据对所述公共模型进行训练，得到定制化模型。

在本发明实施例中，利用所述用户个性化数据对所述公共模型进行训练的过程可以分为两步，第一步：将用户的输入提供给公共模型，获得公共模型的预测输出，将公共模型的预测输出进行缓存。第二步，利用用户的输入和预设的观测输出对公共模型进行个性化训练，并且在所述个性化训练之后，利用所述预测输出和预设的观测输出计算所述公共模型的损失函数，并基于所述损失函数更新公共模型的参数至合理的位置。所述预设的观测输出为公共模型针对用户的输入应该获得的正确的输出。具体的，当利用所述预测输出和预设的观测输出计算的损失函数值小于或等于预设的数值时，所述公共模型训练完成，得到定制化模型。在上述过程中，第一步为利用公共模型进行预测的过程，第二步为利用用户的个性化数据对公共模型进行训练的过程。参考图3，上述过程中利用了预测结果复用技术，所述预测结果复用技术具体为：在公共模型预测之后，将预测结果进行缓存，待到训练时将用户的输入、缓存的预测结果，及预设的观测输出一同提供给公共模型，进行公共模型的个性化训练和损失函数的计算，从而节省了前向计算的过程，有效地减少了响应延迟和能耗。

本发明实施例采用服务器端-客户端协同训练的方式，在计算资源较强的服务器端先利用大量的公共数据集对预设机器模型进行预训练，将预设机器模型的参数调整到合适的位置，得到公共模型；然后将公共模型下发到各个移动设备，利用用户的个性化数据进行定制化训练。在客户端利用公共进行预测和对公共模型进行定制化训练的过程中，无需上传个人数据，从而保证了隐私信息不会被泄露。

【方法实施例二】

参照图2，示出了本发明实施例中的一种针对客户端深度学习的在线定制化方法的步骤流程图，所述方法包括服务器和至少一个终端，具体步骤包括：

步骤201、服务器获取公共数据集，对公共数据集进行预处理，利用所述公共数据集对预设机器学习模型进行训练，获得公共模型。

在本发明实施例中，所述公共数据集的选取和预处理需要尽量地保持与原预测任务的语义一致。例如：在输入法应用中的输入词预测功能中，公共数据集可以通过网络爬虫获取，如Twitter语料和BBC News的语料，但这两者训练得到的模型有较大的差别：显然，前者更加贴近用户日常的输入习惯，事实上，许多用户本身就使用输入法在Twitter中输入文字，即Twitter语料数据与用户的真实输入语料数据有一定的重合。本发明利用Twitter训练得到的模型比利用BBC News训练得到的公共模型在用户输入数据集上有更好的预测表现。类似地，在人脸识别的例子中，可以选取有标注的公开人脸数据集进行云端预训练，如CASIA-WebFace和VGGFace2；文本翻译的例子中，同样可以选取公开的数据集或者通过已有的在线翻译服务构造专门的数据集。

在本发明实施例中，公共数据集预处理包括数据清洗、数据集成、数据变换、数据规约等标准步骤。其中需要特别注意的是，服务器端和客户端的数据处理需要遵循同样的流程，以保证处理之后数据的语义和分布具有一致性。

步骤202、所述客户端从所述服务器获取所述公共模型。

在本发明实施例中，将在服务器预训练得到的公共模型下发到所有用户的客户端上，并更新部署，公共模型的更新可以是一劳永逸的，也可以定期更新，更新的频率由应用的开发者决定：当开发者研制出更可靠的公共模型结构时，或者更新了公共模型所使用的公共数据集后重新训练获得模型，即可考虑将用新的公共模型替代旧的公共模型。例如，在输入法应用场景下，公共模型需要定时更新，原因是用户使用语言的习惯会随着时间的改变，其中最明显的便是新型网络语言的涌现，导致LSTM模型使用的词表需要不停地更新。

步骤203、所述客户端通过用户的输入获取用户的个人数据，所述用户的个性化数据包括用户的个人数据。

在本发明实施例中，所述用户的个人数据包括用户的输入，以及针对所述输入，公共模型给出的预测输出。

在本发明实施例中，例如，在输入词预测中，个性化数据包括用户的输入文本以及针对用户的输入文本，输入词预测公共模型进行的预测；例如，在人脸识别中，个性化数据包括用户的人脸照片以及针对该人脸照片，人脸识别公共模型进行的识别结果。例如，在文本翻译中，个性化数据是翻译前后的文本内容。

步骤204、当用户的个性化数据达到预先设定的数量时，利用所述用户的个性化数据构建训练集，对训练集进行预处理，利用预处理后的训练集和预设的观测输出训练所述公共模型，调整所述公共模型的参数，得到定制模型。

在本发明实施例中，所述用户的个人数据包括用户的输入，以及针对所述输入，公共模型的预测输出。当在公共模型进行用户输入后，公共模型会对所述用户输入进行预测，获得预测输出，获得用户的预测输出之后，利用所述用户输入和预测输出构建训练集。例如，在输入法应用中的输入词任务场景中，当用户输入一个英文单词/中文文字到公共模型，公共模型会给出一个预测输出，所述预测输出可能是接下来用户想要输出的英文单词/中文文字，从而利用所述用户输入的英文单词/中文文字和预测输出英文单词/中文文字构建训练集。

在本发明实施例中，在客户端应用所述公共模型进行推断预测的过程中，还会对所述公共模型进行在线学习。具体地，当用户的个性化数据量达到预先设定数量时，将所述用户个性化数据作为训练集。利用所述训练集和预设的观测输出对公共模型进行个性化训练，更为具体的，利用用户的输入和预设的观测输出对公共模型进行个性化训练，并且在所述个性化训练之后，利用所述预测输出和预设的观测输出计算所述公共模型的损失函数，并基于所述损失函数更新公共模型的参数至合理的位置，得到定制化模型。所述预设的观测输出为公共模型针对用户的输入应该获得的正确的输出。当利用所述预测输出和预设的观测输出计算的损失函数值小于或等于预设的数值时，所述公共模型训练完成，得到定制化模型。

在本发明实施例中，利用所述用户个性化数据对所述公共模型进行训练的过程可以分为两步，第一步：将输入提供给公共模型，获得预测输出，第二步：通过预测输出和预设的观测输出计算损失函数，并基于损失函数调整公共模型的参数至更加合理的位置，得到定制化模型。

在本发明实施例中，参照图3，利用预测结果复用技术进行公共模型的预测及训练，所述预测结果复用技术具体为：在公共模型预测之后，将预测结果进行缓存，待到训练时将用户的输入、缓存的预测结果、及预设的观测输出一同提供给公共模型，进行公共模型的个性化训练和损失函数的计算，从而节省了前向计算的过程，有效地减少了响应延迟和能耗。

在本发明实施例中，对训练集进行预处理包括数据清洗、数据集成、数据变换、数据规约等标准步骤。所述数据清洗包括检查数据一致性，处理无效值和缺失值。所述一致性检查是根据每个变量的合理取值范围和相互关系，检查数据是否合乎要求，发现超出正常范围、逻辑上不合理或者相互矛盾的数据。所述无效值和缺失值的处理包括由于调查、编码和录入误差，数据中可能存在一些无效值和缺失值，需要给予适当的处理。常用的处理方法有：估算，整例删除，变量删除和成对删除。所述数据集成是将若干个分散的数据源中的数据，逻辑地或物理地集成到一个统一的数据集合中。所述数据变换是指将数据从一种表示形式变为另一种表现形式的过程。所述数据归约是指在尽可能保持数据原貌的前提下，最大限度地精简数据量；例如：样本规约是从数据集中选出一个有代表性的样本的子集。子集大小的确定要考虑计算成本、存储要求、估计量的精度以及其它一些与算法和数据特性有关的因素。

本发明实施例采用服务器端-客户端协同训练的方式，在计算资源较强的服务器端先利用大量的公共数据集进行预训练，将模型的参数调整到合适的位置；然后将模型下发到各个移动设备，利用本地产生的数据进行定制化训练。在客户端进行预测和定制化训练的过程中，无需上传训练数据，从而保证了隐私信息不会被泄露。

【方法实施例三】

参考图4，本发明公开了一种针对客户端深度学习的在线定制化方法，所述方法包括服务器和多个客户端，具体包括：

在本发明实施例中，在服务器端，利用公共数据集对预设机器模型进行预训练，得到一个参数被正确初始化后的公共模型，将所述公共模型下发到不同的客户端，在不同的客户端上，利用不同的个性化数据和预设的观测输出对公共模型进行公共模型预测公共模型的个性化训练，调整所述公共模型的参数，获得定制化模型。

本发明实施例采用服务器端-客户端协同训练的方式，在计算资源较强的服务器端先利用大量的公共数据集进行预训练，将模型的参数调整到合适的位置；然后将模型下发到各个移动设备，利用本地产生的数据进行定制化训练。在客户端进行预测和定制化训练的过程中，无需上传训练数据，从而保证了隐私信息不会被泄露。

【系统实施例四】

参照图5，示出了本发明实施例中一种针对客户端深度学习的在线定制化系统300的结构框图。包括：

公共模型训练模块310，用于在服务器中，利用公共数据集对预设机器学习模型进行训练，获得公共模型；

获取公共模型模块320，用于利用客户端从所述服务器获取所述公共模型；

个性化数据获取模块330，用于利用所述客户端获取用户个性化数据；

定制化模型获取模块340，用于在客户端中，利用所述用户个性化数据对所述公共模型进行训练，得到定制化模型。

参照图6，在图5的基础上，所述公共模型训练模型310包括：

公共数据集获取子模块3101，利用服务器获取公共数据集；

第一预处理子模块3102，利用所述服务器对公共数据集进行预处理；

公共模型获得子模块3103，用于在所述服务器中，利用所述预处理后的公共数据集对预设机器学习模型进行训练，获得公共模型。

所述个性化数据获取模块330包括：

个性化数据获取子模块，用于通过用户的输入获取用户的个人数据；

所述用户的个性化数据包括用户的个人数据；

所述用户的个人数据包括用户的输入，以及针对所述输入，公共模型给出的预测输出。

参照图6，在图5的基础上，所述定制化模型获取模块340包括：

训练集构建子模块3401，用于当用户的个性化数据达到预先设定的数量时，利用所述用户的个性化数据构建训练集；

第二预处理子模块3402，用于对训练集进行预处理；

定制化模型获取子模块3403，用于利用预处理后的训练集对所述公共模型进行训练，得到定制化模型。

所述定制化模型获取子模块3403包括：

定制化模型获取单元，用于利用所述预处理后的训练集和预设的观测输出训练所述公共模型，调整所述公共模型的参数，得到定制化模型。

本发明采实施例用服务器端-客户端协同训练的方式，在计算资源较强的服务器端先利用大量的公共数据集进行预训练，将模型的参数调整到合适的位置；然后将模型下发到各个移动设备，利用本地产生的数据进行定制化训练。在客户端进行预测和定制化训练的过程中，无需上传训练数据，从而保证了隐私信息不会被泄露。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种针对客户端深度学习的在线定制化方法，其特征在于，包括服务器、至少一个客户端，所述方法包括：

所述服务器利用公共数据集对预设机器学习模型进行训练，获得公共模型；

所述客户端从所述服务器获取所述公共模型；

所述客户端获取用户个性化数据；

所述客户端利用所述用户个性化数据对所述公共模型进行训练，得到定制化模型。

2.根据权利要求1所述的方法，其特征在于：所述服务器利用公共数据集对预设机器学习模型进行训练，获得公共模型包括：

所述服务器获取公共数据集；

所述服务器对公共数据集进行预处理；

所述服务器利用所述公共数据集对预设机器学习模型进行训练，获得公共模型。

3.根据权利要求1所述的方法，其特征在于，所述客户端获取用户个性化数据包括：

客户端通过用户的输入获取用户的个人数据；

所述用户的个性化数据包括用户的个人数据；

所述用户的个人数据包括用户的输入，以及针对所述输入，公共模型给出的预测输出。

4.根据权利要求3所述的方法，其特征在于：所述客户端利用所述用户个性化数据对所述公共模型进行训练，获取定制化模型包括：

当用户的个性化数据达到预先设定的数量时，利用所述用户的个性化数据构建训练集；

对训练集进行预处理；

利用预处理后的训练集对所述公共模型进行训练，得到定制化模型。

5.根据权利要求4所述的方法，其特征在于，利用预处理后训练集对所述公共模型进行训练，得到定制化模型包括：

利用所述预处理后的训练集和预设的观测输出训练所述公共模型，调整所述公共模型的参数，得到定制化模型。

6.一种针对客户端深度学习的在线定制化系统，其特征在于，包括服务器、至少一个客户端；

所述服务器包括公共模型训练模块；

所述客户端包括：获取公共模型模块、个性化数据获取模块和定制化模型获取模块；

公共模型训练模块，用于在服务器中，利用公共数据集对预设机器学习模型进行训练，获得公共模型；

获取公共模型模块，用于利用客户端从所述服务器获取所述公共模型；

个性化数据获取模块，用于利用所述客户端获取用户个性化数据；

定制化模型获取模块，用于在客户端中，利用所述用户个性化数据对所述公共模型进行训练，得到定制化模型。

7.根据权利要求6所述的系统，其特征在于，所述公共模型训练模块包括：

公共数据集获取子模块，利用服务器获取公共数据集；

第一预处理子模块，利用所述服务器对公共数据集进行预处理；

公共模型获得子模块，用于在所述服务器中，利用所述预处理后的公共数据集对预设机器学习模型进行训练，获得公共模型。

8.根据权利要求6所述的系统，其特征在于，个性化数据获取模块包括：

个性化数据获取子模块：用于通过用户的输入获取用户的个人数据；

所述用户的个性化数据包括用户的个人数据；

所述用户的个人数据包括用户的输入，以及针对所述输入，公共模型给出的预测输出。

9.根据权利要求8所述的系统，其特征在于，所述定制化模型获取模块包括：

训练集构建子模块，用于当用户的个性化数据达到预先设定的数量时，利用所述用户的个性化数据构建训练集；

第二预处理子模块，用于对训练集进行预处理；

定制化模型获取子模块，用于利用预处理后的训练集对所述公共模型进行训练，得到定制化模型。

10.根据权利要求9所述的系统，其特征在于，所述定制化模型获取子模块包括：

定制化模型获取单元，用于利用所述预处理后的训练集和预设的观测输出训练所述公共模型，调整所述公共模型的参数，得到定制化模型。