CN108399212A - 物联网终端的时间序列数据处理和神经网络趋势预测方法 - Google Patents

物联网终端的时间序列数据处理和神经网络趋势预测方法 Download PDF

Info

Publication number
CN108399212A
CN108399212A CN201810108457.2A CN201810108457A CN108399212A CN 108399212 A CN108399212 A CN 108399212A CN 201810108457 A CN201810108457 A CN 201810108457A CN 108399212 A CN108399212 A CN 108399212A
Authority
CN
China
Prior art keywords
internet
things terminal
data
time series
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810108457.2A
Other languages
English (en)
Inventor
褚英昊
赵紫州
叶丹微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Micro Intelligent Technology Co Ltd
Original Assignee
Shenzhen Micro Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Micro Intelligent Technology Co Ltd filed Critical Shenzhen Micro Intelligent Technology Co Ltd
Priority to CN201810108457.2A priority Critical patent/CN108399212A/zh
Publication of CN108399212A publication Critical patent/CN108399212A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及物联网终端的时间序列数据处理和神经网络趋势预测方法,该方法包括以下步骤：针对物联网终端的交易历史的数据分析与特征工程，生成结构化的需求时间序列数据；针对时间序列数据的预测模型，根据历史n天需求曲线量化预测第n+1天的物联网终端需求。本发明通过特征工程将物联网终端无序的交易数据整理为结构化的时间序列数据，并通过多层感知神经网络预测一个终端设备的未来需求量，预警该终端设备是否需要补货或者调度，从而辅助运维人员提高工作效率。

Description

物联网终端的时间序列数据处理和神经网络趋势预测方法
技术领域
本发明涉及大数据处理技术和人工智能深度学习技术，具体涉及物联网终端的时间序列数据处理和神经网络趋势预测方法。
背景技术
基于物联网技术的数据收集和通信方法近年来被无人化终端大规模应用，海量的数据通过各种技术协议上传到云端数据库。其中一个典型的场景就是共享充电宝行业。共享充电宝是指企业提供的充电租赁设备(设备终端)，用户通过企业APP或者其他服务接口借用一个充电宝。租借充电宝的用户需要交纳押金和相应租借费用。部分充电租赁设备还可根据客户手机的型号购买所需数据线。
由于共享充电宝的企业通常不要求客户在租赁行为完成后将充电宝还回原租借终端，因此从数据统计上，而用户返还充电宝的随机性会导致：1，某些终端机柜供应不足；2，某些终端仓道不足无法消纳新返还的充电宝。以上两种情况均要求对终端设备进行及时的运维，否则部分设备终端会因为供应不足造成营业额的损失。但是目前的运维方式仍然依赖运维人员的经验推测每台终端设备未来的需求量并估算相应的充电宝补充/调度数量。因此，当前的运维缺少有效的数据支撑，运维的效率有待提升以降低运维成本从而提高企业竞争力。
在本发明关注的场景中，每次租借行为都会通过租赁设备终端向云端上传交易数据，包含交易时间，设备网点，设备编号等信息。这些历史数据包含了设备终端需求量的周期规律信息，可以有效的辅助运维人员提高运维效率。但是交易数据在数据库中累积，却无法得到很好的分析并发挥其应用的价值。其主要原因有：1原始数据没有按时间或者设备编号进行合理的整理，其堆叠方式无法进行精细化分析，只能简单统计单日总租借量等宏观数据；2缺少针对数据时间维度的处理分析方式；3设备分布广，类型多，位置场景多样，即使同一型号终端设备的需求时间曲线也有巨大差异，单一设备的历史规律难以推广到其他设备。
发明内容
本发明的目的在于，解决现有技术的物联网终端运维缺少有效的数据支撑，运维的效率低下的技术问题。
为实现上述目的，本发明提供了物联网终端的时间序列数据处理和神经网络趋势预测方法,该方法包括以下步骤：
针对物联网终端的交易历史的数据分析与特征工程，生成结构化的需求时间序列数据；针对时间序列数据的预测模型，根据历史n天需求曲线量化预测第n+1天的物联网终端需求。
优选地，针对物联网终端的交易历史的数据分析与特征工程，生成结构化的需求时间序列数据步骤，包括：通过python语言自带的l ist方程统计归纳出所有出现过的物联网终端设备编号，并把所有交易信息按设备编号归类；物联网终端的历史交易数据按设备编号归类后，因为没有交易数据的时间点不会被记录，因此需要进一步处理成神经网络可以接受的连续时间序列。
优选地，进一步处理成神经网络可以接受的连续时间序列步骤，包括：首先生成从首日到末位日期的连续日期序列，并通过采用Python语言自带的for循环加插值没有记录的时间点；将按物联网终端设备编号归类的借还信息整理成时间序列，包括将一个时间点没有发生借还则自动设置为0。
优选地，根据历史n天需求曲线量化预测第n+1天的物联网终端需求步骤，包括：对生成时间序列进行整理，连续n天作为输入，第n+1天作为预测标签，通过移动窗口法获取模型所需要的输入时间序列和结果数据时间序列。
本发明通过特征工程将物联网终端无序的交易数据整理为结构化的时间序列数据，并通过多层感知神经网络预测一个终端设备的未来需求量，预警该终端设备是否需要补货或者调度，从而辅助运维人员提高工作效率。
附图说明
图1为本发明实施例提供的物联网终端的时间序列数据处理和神经网络趋势预测方法流程示意图；
图2为物联网终端原始的交易信息示例表；
图3为物联网终端整理后的交易信息示例表；
图4为按物联网终端编号整理后的交易信息示例表是；
图5为整理后的神经网络输入数据信息。
具体实施方式
通过以下结合附图以举例方式对本发明的实施方式进行详细描述后，本发明的其他特征、特点和优点将会更加明显。
图1为本发明实施例提供的物联网终端的时间序列数据处理和神经网络趋势预测方法流程示意图。如图1所示，该方法包括步骤S101-S102:
步骤S101,针对物联网终端的交易历史的数据分析与特征工程，生成结构化的需求时间序列数据。
具体地，本发明实施例物联网终端(例如，共享充电宝)的交易历史的数据，例如在线的MySQL数据库的数据中随着时间积累了大量的交易信息(如图2所示)，每条交易信息包含日期，发生交易的设备编号，网点编号、名称、场景、位置和相应的借还信息。然而这些信息按时间顺序堆积在一起。一台物联网终端在一个时间点可能发生多次交易，如没有交易则无任何信息被记录。神经网络模型难以直接读取相关的信息并预测未来走势，因此物联网终端原始交易数据需要特征工程算法进行预处理。
特征工程算法步骤包括：
由python语言完成，通过python语言自带的l ist方程统计归纳出所有出现过的物联网终端设备编号，并把所有交易信息按设备编号归类(如图3所示)，按设备编号归类后的交易数据，为展示方便图3为Excel表格形式。历史交易数据按设备编号归类后，因为没有交易数据的时间点不会被记录，因此需要进一步处理成神经网络可以接受的连续时间序列。因此需要首先生成从首日到末位日期的连续日期序列，并通过采用Python语言自带的for循环加插值没有记录的时间点。将按设备编号归类的借还信息整理成时间序列，如一个时间点没有发生借还则自动设置为0，生成结果如图4所示的格式。按机器编号记录的连续时间序列，如9月3日没有记录，则插值记录为0。
步骤S102,针对时间序列数据的预测模型，根据历史n天需求曲线量化预测第n+1天的物联网终端需求。
在一个实施例中，对生成时间序列数据进行整理，根据连续的7天数据作为输入，将第8天的数据作为预测标签，通过移动窗口法获取模型所需要的输入时间序列和结果数据时间序列(如图5所示)。
本发明实施例针对的是差异非常大的物联网终端，搭建的模型需要具有通用性可以应用在不同的设备终端。深度学习中的多层感知神经网络模型更适应此类变动数据的场景，因此本发明实施例的预测模型的架构流程如下：
1、多层感知神经网络，除输入(7个单元)与输出(1个单元，对应第8天的需求量)层外，隐藏层包括10个神经元。模型自由化参数矩阵为88个权重/偏差。
2、实现平台为Python语言,采用Anacoda3(64bit)环境，调用了keras(tensorflowbackend),numpy模组。考虑到不同设备变化极大(少的设备1次租赁每天，多的高达50次每天)，因此隐藏层和输出层激活函数为l inear。
3、总计获得1800个终端设备信息，数据采用7:3(1200台设备数据作为训练，6000台作为测试)比例划分成训练数据集和测试数据集。
4、训练方法为标准Adam后传导训练法，成本函数为预测方差值，训练周期为5000循环，学习速率为0.01。
5预测模型训练好后每次执行只需要喂入之前连续7天每天的需求总量，模型即可自动预测接下来1天(第8天)的需求量。
用来衡量模型表现的参数通常为预测准确率其中Y为实际需求量，为预测需求量。测试结果显示，AI预测结果可以准确抓住充电宝需求的大周期波动。
在一个实施案例中，本发明实施例被应用在某行业领头的共享充电宝公司，其在深圳拥有约2000台设备终端。设备终端的需求数据波动大，不同地区的需求曲线差异极大，单台设备最低日均需求不足1台，最高达200台。此外该公司运维人员人数少，工作强度大，调度需要提前规划。采用本发明实施例提供的物联网终端的时间序列数据处理和神经网络趋势预测方法后，其设备终端的需求预测结果显示，准确率稳定在70％以上，满足运维人员需求期望。
本发明实施例通过特征工程将物联网终端无序的交易数据整理为结构化的时间序列数据，并通过多层感知神经网络预测一个终端设备的未来需求量，预警该终端设备是否需要补货或者调度，从而辅助运维人员提高工作效率。
需要说明的是，上述实施例仅用来说明本发明的结构及其工作效果，而并不用作限制本发明的保护范围。本领域内的普通技术人员在不违背本发明思路及结构的情况下对上述实施例进行的调整或优化，仍应视作为本发明权利要求所涵盖。

Claims (5)

1.物联网终端的时间序列数据处理和神经网络趋势预测方法,其特征在于，包括以下步骤：
针对物联网终端记录的交易历史的数据分析与特征工程，生成结构化的需求时间序列数据；针对时间序列数据的预测模型，根据历史n天需求曲线量化预测第n+1天的物联网终端需求。
2.根据权利要求1所述的方法，其特征在于，所述针对物联网终端的交易历史的数据分析与特征工程，生成结构化的需求时间序列数据步骤，包括：
通过python语言自带的l ist方程统计归纳出所有出现过的物联网终端设备编号，并把所有交易信息按设备编号归类；
物联网终端的历史交易数据按设备编号归类后，因为没有交易数据的时间点不会被记录，因此需要进一步处理成神经网络可以接受的连续时间序列。
3.根据权利要求2所述的方法，其特征在于，所述进一步处理成神经网络可以接受的连续时间序列步骤，包括：
首先生成从首日到末位日期的连续日期序列，并通过采用Python语言自带的for循环加插值没有记录的时间点；将按物联网终端设备编号归类的借还信息整理成时间序列，包括将一个时间点没有发生借还则自动设置为0。
4.根据权利要求1所述的方法，其特征在于，所述根据历史n天需求曲线量化预测第n+1天的物联网终端需求步骤，包括：
对生成时间序列进行整理，连续n天作为输入，第n+1天作为预测标签，通过移动窗口法获取模型所需要的输入时间序列和结果数据时间序列。
5.根据权利要求1至4中任一权利要求所述的方法，其特征在于，所述物联网终端包括共享充电宝的租借设备终端。
CN201810108457.2A 2018-02-02 2018-02-02 物联网终端的时间序列数据处理和神经网络趋势预测方法 Pending CN108399212A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810108457.2A CN108399212A (zh) 2018-02-02 2018-02-02 物联网终端的时间序列数据处理和神经网络趋势预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810108457.2A CN108399212A (zh) 2018-02-02 2018-02-02 物联网终端的时间序列数据处理和神经网络趋势预测方法

Publications (1)

Publication Number Publication Date
CN108399212A true CN108399212A (zh) 2018-08-14

Family

ID=63095939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810108457.2A Pending CN108399212A (zh) 2018-02-02 2018-02-02 物联网终端的时间序列数据处理和神经网络趋势预测方法

Country Status (1)

Country Link
CN (1) CN108399212A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751452A (zh) * 2019-09-18 2020-02-04 九江明阳电路科技有限公司 一种工作流程管理系统、方法及存储介质
CN113808325A (zh) * 2021-09-17 2021-12-17 上海边界智能科技有限公司 基于区块链的智能售货装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103714A (zh) * 2009-12-22 2011-06-22 阿里巴巴集团控股有限公司 实现业务数据预测的实时处理平台及预测方法
CN202494913U (zh) * 2012-03-15 2012-10-17 天华化工机械及自动化研究设计院 基于物联网的电化学设备远程监控预警及故障诊断系统
CN107038503A (zh) * 2017-04-18 2017-08-11 广东工业大学 一种共享设备的需求量预测方法及系统
CN107248277A (zh) * 2017-07-27 2017-10-13 安徽云帮邦网络技术有限公司 一种共享单车空车预测提醒系统
CN107330586A (zh) * 2017-06-16 2017-11-07 东南大学 一种基于改进蚁群算法的公共自行车动态调度方法
CN107463633A (zh) * 2017-07-17 2017-12-12 中国航天系统科学与工程研究院 一种基于eemd‑神经网络的实时数据异常值检测方法
CN107527103A (zh) * 2016-06-21 2017-12-29 艾玛迪斯简易股份公司 用于挖掘搜索查询日志的数据仓库

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103714A (zh) * 2009-12-22 2011-06-22 阿里巴巴集团控股有限公司 实现业务数据预测的实时处理平台及预测方法
CN202494913U (zh) * 2012-03-15 2012-10-17 天华化工机械及自动化研究设计院 基于物联网的电化学设备远程监控预警及故障诊断系统
CN107527103A (zh) * 2016-06-21 2017-12-29 艾玛迪斯简易股份公司 用于挖掘搜索查询日志的数据仓库
CN107038503A (zh) * 2017-04-18 2017-08-11 广东工业大学 一种共享设备的需求量预测方法及系统
CN107330586A (zh) * 2017-06-16 2017-11-07 东南大学 一种基于改进蚁群算法的公共自行车动态调度方法
CN107463633A (zh) * 2017-07-17 2017-12-12 中国航天系统科学与工程研究院 一种基于eemd‑神经网络的实时数据异常值检测方法
CN107248277A (zh) * 2017-07-27 2017-10-13 安徽云帮邦网络技术有限公司 一种共享单车空车预测提醒系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751452A (zh) * 2019-09-18 2020-02-04 九江明阳电路科技有限公司 一种工作流程管理系统、方法及存储介质
CN110751452B (zh) * 2019-09-18 2023-11-10 九江明阳电路科技有限公司 一种工作流程管理系统、方法及存储介质
CN113808325A (zh) * 2021-09-17 2021-12-17 上海边界智能科技有限公司 基于区块链的智能售货装置

Similar Documents

Publication Publication Date Title
Osorio et al. Simulation-optimization model for production planning in the blood supply chain
CN107844915B (zh) 一种基于话务预测的呼叫中心的自动排班方法
CN107403296B (zh) 运力配置方法及装置
Billhardt et al. Taxi dispatching strategies with compensations
CN109711782A (zh) 配送资源调度方法、装置、电子设备及计算机存储介质
CN108428114A (zh) 项目的信息处理方法及装置、存储介质、电子装置
CN109697637A (zh) 对象类别确定方法、装置、电子设备及计算机存储介质
CN114118691A (zh) 基于业务量的排班方案处理方法、装置、设备和介质
CN108399212A (zh) 物联网终端的时间序列数据处理和神经网络趋势预测方法
CN113112107A (zh) 中转场规划方法、装置、服务器及存储介质
Singha et al. Application of different machine learning models for supply chain demand forecasting: comparative analysis
CN110619407A (zh) 对象销量的预测方法及系统、电子设备和存储介质
CN107480703A (zh) 交易故障检测方法及装置
Bal et al. Implementation of holonic scheduling and control in flow-line manufacturing systems: die-casting case study
CN111598671B (zh) 一种基于人机交互的商品推荐方法
Bounif et al. Decision support technique for supply chain management
Milling et al. Dynamics of R&D and innovation diffusion
Adeli et al. Integrated sourcing and inventory decisions considering sources’ disruptions with a hybrid simulation-MOPSO-TOPSIS approach: A Pharmaceutical case study
CN112508295A (zh) 基于业务图谱和马尔可夫模型的来电业务预测方法及系统
CN110866591A (zh) 基于需求预测进行前瞻式云制造服务租赁配置的方法
Schoech et al. Optimising plant layout decisions based on emulation models–technical framework and practical insights
CN111582408A (zh) 数据处理方法、数据处理装置、存储介质和电子设备
Azadeh et al. An improved model for production systems with mixed queuing priorities: an integrated simulation, AHP and value engineering approach
CN116860883B (zh) 一种分布式系统中网状数据同步方法及系统
CN116664052B (zh) 基于人工智能的全域数字化运营管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180814

RJ01 Rejection of invention patent application after publication