CN108108423A - 一种流式处理物联网数据的方法 - Google Patents

一种流式处理物联网数据的方法 Download PDF

Info

Publication number
CN108108423A
CN108108423A CN201711352758.1A CN201711352758A CN108108423A CN 108108423 A CN108108423 A CN 108108423A CN 201711352758 A CN201711352758 A CN 201711352758A CN 108108423 A CN108108423 A CN 108108423A
Authority
CN
China
Prior art keywords
data
completion
dirty
things
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711352758.1A
Other languages
English (en)
Inventor
吴少东
闵早华
张禄宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Qi (chengdu) Science And Technology Co Ltd
Original Assignee
Ji Qi (chengdu) Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Qi (chengdu) Science And Technology Co Ltd filed Critical Ji Qi (chengdu) Science And Technology Co Ltd
Priority to CN201711352758.1A priority Critical patent/CN108108423A/zh
Publication of CN108108423A publication Critical patent/CN108108423A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Abstract

本发明公开了一种流式处理物联网数据的方法,包括原始数据收集,脏数据过滤,机构数据补全,省市区信息补全,经纬度运算,本发明在实际运用中,会实时接收数据,将查询数据时拼凑数据所占用时间,分布在每一条数据入库上,大大减少了查询耗时,提高了查询效率,减少了第三方服务的瞬时压力;本发明消除了调用方在使用数据时拼凑数据问题,此外,本发明通过流队列中数据之间的流转提高了各个部分之间的容错性。

Description

一种流式处理物联网数据的方法
技术领域
本发明涉及数据处理技术领域,具体为一种流式处理物联网数据的方法。
背景技术
物联网是通过各种信息传感设备,如传感器、射频识别(RFID)技术、全球定位系统、红外线感应器、激光扫描器、气体感应器等各种装置与技术,实时采集任何需要监控、连接、互动的物体或过程,采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息,与互联网结合形成的一个巨大网络。其目的是实现物与物、物与人,所有的物品与网络的连接,方便识别、管理和控制。联网是新一代信息网络技术的高度集成和综合运用,是新一轮产业革命的重要方向和推动力量,对于培育新的经济增长点、推动产业结构转型升级、提升社会管理和公共服务的效率和水平具有重要意义。发展物联网必须遵循产业发展规律,正确处理好市场与政府、全局与局部、创新与合作、发展与安全的关系。要按照“需求牵引、重点跨越、支撑发展、引领未来”的原则,着力突破核心芯片、智能传感器等一批核心关键技术;着力在工业、农业、节能环保、商贸流通、能源交通、社会事业、城市管理、安全生产等领域,开展物联网应用示范和规模化应用;着力统筹推动物联网整个产业链协调发展,形成上下游联动、共同促进的良好格局;着力加强物联网安全保障技术、产品研发和法律法规制度建设,提升信息安全保障能力;着力建立健全多层次多类型的人才培养体系,加强物联网人才队伍建设。
物联网在运行过程中产生较多的物联网数据,现有领域中均将数据存储在关系数据库中,在使用数据时由调用方去查询不同数据库补全信息,这就造成了调用方在使用数据时的复杂性。
发明内容
本发明的目的在于提供一种流式处理物联网数据的方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种流式处理物联网数据的方法,包括原始数据收集,脏数据过滤,机构数据补全,省市区信息补全,经纬度运算,包括以下步骤:
A、由汇通天下GSP上传原始报文,报文经解析之后,生成原始数据存储并发送到流队列中;
B、通过定义的任务获取流队列中的数据,并进行调用第三方服务,用以补全该条数据的机构信息,处理完毕后,流经下一个任务;
C、依次经过数据收集,脏数据处理,机构数据补全,省市区信息补全,经纬度运算等五个任务;
D、最后,数据将流入特定存储任务,存储于非关系型数据库以供查询。
优选的,所述步骤C中脏数据处理方法包括以下步骤:
A、根据样例数据和样例数据的格式,定义数据格式,采集第一数据;
B、根据数据格式将采集的第一数据进行过滤和清洗,剔除脏数据,得到第二数据,并存储第二数据;
C、提取第二数据并按照业务逻辑进行数据处理;将第二数据进行数据转换;读取转换后的第二数据。
与现有技术相比,本发明的有益效果是:本发明公开的数据处理方法,在实际运用中,会实时接收数据,将查询数据时拼凑数据所占用时间,分布在每一条数据入库上,大大减少了查询耗时,提高了查询效率,减少了第三方服务的瞬时压力;本发明消除了调用方在使用数据时拼凑数据问题,此外,本发明通过流队列中数据之间的流转提高了各个部分之间的容错性;此外,本发明采用的脏数据处理方法能够对采集的数据进行过滤和清洗,剔除脏数据,提高了数据收集的有效性和数据处理的效率。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供如下技术方案:一种流式处理物联网数据的方法,包括原始数据收集,脏数据过滤,机构数据补全,省市区信息补全,经纬度运算,包括以下步骤:
A、由汇通天下GSP上传原始报文,报文经解析之后,生成原始数据存储并发送到流队列中;
B、通过定义的任务获取流队列中的数据,并进行调用第三方服务,用以补全该条数据的机构信息,处理完毕后,流经下一个任务;
C、依次经过数据收集,脏数据处理,机构数据补全,省市区信息补全,经纬度运算等五个任务;
D、最后,数据将流入特定存储任务,存储于非关系型数据库以供查询。
本发明中,步骤C中脏数据处理方法包括以下步骤:
A、根据样例数据和样例数据的格式,定义数据格式,采集第一数据;
B、根据数据格式将采集的第一数据进行过滤和清洗,剔除脏数据,得到第二数据,并存储第二数据;
C、提取第二数据并按照业务逻辑进行数据处理;将第二数据进行数据转换;读取转换后的第二数据。
本发明公开的数据处理方法,在实际运用中,会实时接收数据,将查询数据时拼凑数据所占用时间,分布在每一条数据入库上,大大减少了查询耗时,提高了查询效率,减少了第三方服务的瞬时压力;本发明消除了调用方在使用数据时拼凑数据问题,此外,本发明通过流队列中数据之间的流转提高了各个部分之间的容错性;此外,本发明采用的脏数据处理方法能够对采集的数据进行过滤和清洗,剔除脏数据,提高了数据收集的有效性和数据处理的效率。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.一种流式处理物联网数据的方法,包括原始数据收集,脏数据过滤,机构数据补全,省市区信息补全,经纬度运算,其特征在于:包括以下步骤:
A、由汇通天下GSP上传原始报文,报文经解析之后,生成原始数据存储并发送到流队列中;
B、通过定义的任务获取流队列中的数据,并进行调用第三方服务,用以补全该条数据的机构信息,处理完毕后,流经下一个任务;
C、依次经过数据收集,脏数据处理,机构数据补全,省市区信息补全,经纬度运算等五个任务;
D、最后,数据将流入特定存储任务,存储于非关系型数据库以供查询。
2.根据权利要求1所述的一种流式处理物联网数据的方法,其特征在于:所述步骤C中脏数据处理方法包括以下步骤:
A、根据样例数据和样例数据的格式,定义数据格式,采集第一数据;
B、根据数据格式将采集的第一数据进行过滤和清洗,剔除脏数据,得到第二数据,并存储第二数据;
C、提取第二数据并按照业务逻辑进行数据处理;将第二数据进行数据转换;读取转换后的第二数据。
CN201711352758.1A 2017-12-15 2017-12-15 一种流式处理物联网数据的方法 Pending CN108108423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711352758.1A CN108108423A (zh) 2017-12-15 2017-12-15 一种流式处理物联网数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711352758.1A CN108108423A (zh) 2017-12-15 2017-12-15 一种流式处理物联网数据的方法

Publications (1)

Publication Number Publication Date
CN108108423A true CN108108423A (zh) 2018-06-01

Family

ID=62217406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711352758.1A Pending CN108108423A (zh) 2017-12-15 2017-12-15 一种流式处理物联网数据的方法

Country Status (1)

Country Link
CN (1) CN108108423A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111996A (zh) * 2014-07-07 2014-10-22 山大地纬软件股份有限公司 基于hadoop平台的医保门诊大数据抽取系统及方法
CN105893629A (zh) * 2016-05-25 2016-08-24 江苏斯因信息科技有限公司 基于物联网与云计算的能源监管系统及其监管软件
CN106506673A (zh) * 2016-11-25 2017-03-15 国信优易数据有限公司 一种大规模分布式数据管理系统及其方法
CN107463639A (zh) * 2017-07-19 2017-12-12 安徽拓通信科技集团股份有限公司 基于人工智能的短信数据清洗方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111996A (zh) * 2014-07-07 2014-10-22 山大地纬软件股份有限公司 基于hadoop平台的医保门诊大数据抽取系统及方法
CN105893629A (zh) * 2016-05-25 2016-08-24 江苏斯因信息科技有限公司 基于物联网与云计算的能源监管系统及其监管软件
CN106506673A (zh) * 2016-11-25 2017-03-15 国信优易数据有限公司 一种大规模分布式数据管理系统及其方法
CN107463639A (zh) * 2017-07-19 2017-12-12 安徽拓通信科技集团股份有限公司 基于人工智能的短信数据清洗方法

Similar Documents

Publication Publication Date Title
CN108596439A (zh) 一种基于知识图谱的企业风险预测方法及系统
Foster The Great Capitalist Climacteric
Wang et al. Comparative analysis of urban ecological management models incorporating low-carbon transformation
Dudin et al. Environmental entrepreneurship: characteristics of organization and development
CN110399533A (zh) 资金流向查询方法及装置
Abbott et al. The long-term reform of the water and wastewater industry: The case of Melbourne in Australia
Agnusdei et al. IoT technologies for wine supply chain traceability: potential application in the Southern Apulia Region (Italy)
CN108108423A (zh) 一种流式处理物联网数据的方法
Xiao Real-time tracking system for freshness of cold chain logistics based on IoT and GPS platforms
CN103324995A (zh) 一种适用于室内装饰设计及施工的操作方法
Shadravan et al. Enabling digital warehousing by an additive manufacturing ecosystem
CN112949961A (zh) 一种大数据技术质量信息分析评价及电商化采购质量管控策略应用的方法
WO2018149108A1 (zh) 一种垃圾交易系统及方法
CN112348538A (zh) 一种区块链激光防伪溯源平台
Yue Research on Smart City Development and Internet of Things Industry Innovation in the “Internet+” Era
Asadzadeh Manjili et al. Designing a Model for Intelligent Management of Agri-Businesses Supply Chain
Campiotti et al. Energetic and Environmental Sustainability of the food agriculture system
Wang et al. ECO-TRANSFORMATION STRATEGY FOR TRADITIONAL INDUSTRIAL PARKS IN CHINA: PERSPECTIVES FROM SYSTEM ENGINEERING THEORY.
CN206039522U (zh) 一种地理信息数据采集系统
Qu et al. Port information platform service design based on internet of things technologies
CN113011437B (zh) 一种基于工业互联网的产品溯源系统
Verma Evolution of Industries in United Province, India
Yu et al. Railway Passenger Flow Forecasting by Integrating Passenger Flow Relationship and Spatiotemporal Similarity.
Wu et al. Research on Blockchain Reshaping Integrated Enterprise Financial Information System in Digital Era
Wickramaarachchi et al. Blockchain-based solution for the process of obtaining and maintaining of the rainforest alliance certification in the Sri Lankan tea supply chain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180601

RJ01 Rejection of invention patent application after publication