CN110378508A - 一种基于大数据的智能预测方法 - Google Patents

Abstract

本发明公开了一种基于大数据的智能预测方法，包括下述步骤：步骤一，数据清洗；对原始数据进行预处理；步骤二，特征工程；对清洗过的数据进行分析并找出重要特征，构造与其相关的统计特征；步骤三，模型构建；使用分类精度较高的XGboost、LightGBM和catboost模型对房租进行预测；步骤四，模型融合；根据模型预测结果的得分，给与其不同的权重，加权组成最终模型，提高模型泛化能力；步骤五，智能预测；利用所得模型来实现房租的准确预测；本发明利用房产市场、租赁市场、市场需求以及房屋配置等数据，运用机器学习、人工智能等模型算法，结合模型的创新能力，做出合理的房租预测，以应对市场变化对运营商和房产机构带来的影响。

Description

一种基于大数据的智能预测方法

技术领域

本发明涉及大数据及机器学习技术领域，具体涉及一种基于大数据的智能预测方法。

背景技术

近几年，国内住房租赁市场进入全新的发展阶段，长期公寓市场作为租赁市场的重要部分，越来越受到广泛的关注。但同时中国长期公寓市场也面临着企业市场进入、业务(门店)扩张、资本市场博弈、企业重组并购等多重挑战，其中，如何准确的预测租金便成为该行业发展进程中的一大难题；房屋租金的确定，需要结合房产市场、租赁市场、市场需求、位置地段以及房屋配置等多方面因素来确定，而现有技术中并没有公开相关房屋租金的预测手段，租借方无法有效预测市场的变化，从而做出合理的决策。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于大数据的智能预测方法，该方法能够利用房产市场、租赁市场、市场需求以及房屋配置等数据，运用机器学习、人工智能等模型算法，结合模型的创新能力，做出合理的房租预测，以应对市场变化对运营商和房产机构带来的影响。

本发明的目的通过下述技术方案实现：

一种基于大数据的智能预测方法，包括下述步骤：

步骤一，数据清洗；对原始数据进行预处理，包括异常数据的处理及缺失值的填补；

步骤二，特征工程；对清洗过的数据进行分析并找出重要特征，尝试构造出与房租相关性强的组合特征，并对类别特征进行统计，构造与其相关的统计特征；

步骤三，模型构建；使用分类精度较高的XGboost、LightGBM和catboost模型对房租进行预测；

步骤四，模型融合；根据模型预测结果的得分，给与其不同的权重，得分越高权重越大，加权组成最终模型，提高模型泛化能力；

步骤五，智能预测；利用所得模型来实现房租的准确预测。

优选的，所述步骤一数据清洗的具体步骤为：

(1)异常值处理；通过画散点图和箱型图的方法同时结合数据本身的业务含义，对异常数据进行剔除或者当作缺失值处理；

(2)填充缺失值；离散型变量的空值用null填充，连续型变量用平均值填充。

本发明与现有技术相比具有以下的有益效果：

本发明利用房产市场、租赁市场、市场需求以及房屋配置等数据，运用机器学习、人工智能等模型算法，结合模型的创新能力，做出合理的房租预测，以应对市场变化对运营商和房产机构带来的影响；本发明将XGboost、LightGBM、catboost三个模型融合在一起，预测结果的线下和线上分数均有显著提升，实现了预测精度和模型稳健性的统一，具有更强的泛化能力。

附图说明

图1为本发明的流程示意图；

图2为本发明剔除异常值后租金分布图；

图3为本发明area与tradeMoney散点图；

图4为本发明原始特征重要性排序；

图5为本发明基于Voting策略模型融合结构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1～5所示，一种基于大数据的智能预测方法，包括下述步骤：

步骤一，数据清洗；对原始数据进行预处理，包括异常数据的处理及缺失值的填补；

数据清洗的具体步骤为：

(1)异常值处理；通过画散点图和箱型图的方法同时结合数据本身的业务含义，对异常数据进行剔除或者当作缺失值处理；

(2)填充缺失值；离散型变量的空值用null填充，连续型变量用平均值填充；

步骤二，特征工程；对清洗过的数据进行分析并找出重要特征，尝试构造出与房租相关性强的组合特征，并对类别特征进行统计，构造与其相关的统计特征；

步骤三，模型构建；使用分类精度较高的XGboost、LightGBM和catboost模型对房租进行预测；

步骤四，模型融合；根据模型预测结果的得分，给与其不同的权重，得分越高权重越大，加权组成最终模型，提高模型泛化能力；

步骤五，智能预测；利用所得模型来实现房租的准确预测。

具体来说，本发明的实施，以python为开发语言，使用的数据来源于未来杯高校AI挑战赛，训练集共有41440条数据，数据集中的数据类别包括租赁房源、小区、二手房、配套、新房、土地、人口、客户、真实租金等；对结果的评价使用r作为预测效果的评价指标。

预测方法具体步骤如下：

(1)数据清洗：通过画散点图和箱型图的形式以及结合具体的业务场景对异常数据进行剔除；对原始数据中缺失值利用均值进行填补，对离散类别数据进行count等；

(2)特征工程：对清洗过的数据进行分析找出重要特征，尝试构造出与房租相关性强的组合特征，并对类别特征进行统计，构造与其相关的统计特征；

(3)模型构建：尝试用不同模型进行训练，最终选择分数较高的XGboost、LightGBM、catboost作为基模型；

(4)调整样本权重：数据集中存在大量的脏数据，用lgb模型对数据集训练集进行初步训练，对loss较小的优质样本给与其较高的权重，而对loss较大的脏数据降低其权重；

(5)模型融合：根据XGboost、LightGBM、catboost的线下分数分别给予其2、2、1的权重融合成最终模型。

根据以上内容，本发明使用基于Voting策略的模型融合，预测结果的线下和线上分数均有显著提升，实现了预测精度和模型稳健性的统一，具有更强的泛化能力。

具体仿真结果见下表：

模型	线下	线上
			XGBoost	0.9286	0.9105
LightGBM	0.9249	0.9085
			catBoost	0.9236	0.9076
Voting	0.9304	0.9146

本发明利用房产市场、租赁市场、市场需求以及房屋配置等数据，运用机器学习、人工智能等模型算法，结合模型的创新能力，做出合理的房租预测，以应对市场变化对运营商和房产机构带来的影响；本发明将XGboost、LightGBM、catboost三个模型融合在一起，预测结果的线下和线上分数均有显著提升，实现了预测精度和模型稳健性的统一，具有更强的泛化能力。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种基于大数据的智能预测方法，其特征在于，包括下述步骤：

步骤一，数据清洗；对原始数据进行预处理，包括异常数据的处理及缺失值的填补；

步骤二，特征工程；对清洗过的数据进行分析并找出重要特征，尝试构造出与房租相关性强的组合特征，并对类别特征进行统计，构造与其相关的统计特征；

步骤三，模型构建；使用分类精度较高的XGboost、LightGBM和catboost模型对房租进行预测；

步骤四，模型融合；根据模型预测结果的得分，给与其不同的权重，得分越高权重越大，加权组成最终模型，提高模型泛化能力；

步骤五，智能预测；利用所得模型来实现房租的准确预测。

2.根据权利要求1所述的基于大数据的智能预测方法，其特征在于，所述步骤一数据清洗的具体步骤为：

(1)异常值处理；通过画散点图和箱型图的方法同时结合数据本身的业务含义，对异常数据进行剔除或者当作缺失值处理；

(2)填充缺失值；离散型变量的空值用null填充，连续型变量用平均值填充。