CN107943859A - 海量传感器数据收集处理及反馈的系统和方法 - Google Patents

海量传感器数据收集处理及反馈的系统和方法 Download PDF

Info

Publication number
CN107943859A
CN107943859A CN201711088513.2A CN201711088513A CN107943859A CN 107943859 A CN107943859 A CN 107943859A CN 201711088513 A CN201711088513 A CN 201711088513A CN 107943859 A CN107943859 A CN 107943859A
Authority
CN
China
Prior art keywords
data
processing
sensor
sent
engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711088513.2A
Other languages
English (en)
Other versions
CN107943859B (zh
Inventor
丁源熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianxun Position Network Co Ltd
Original Assignee
Qianxun Position Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qianxun Position Network Co Ltd filed Critical Qianxun Position Network Co Ltd
Priority to CN201711088513.2A priority Critical patent/CN107943859B/zh
Publication of CN107943859A publication Critical patent/CN107943859A/zh
Application granted granted Critical
Publication of CN107943859B publication Critical patent/CN107943859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Abstract

本发明提供了一种海量传感器数据收集处理及反馈的系统和方法，传感器数据上传接口收集传感器上传的数据和请求，并下发到网关；网关将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据与请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。

Description

海量传感器数据收集处理及反馈的系统和方法
技术领域
本发明涉及数据处理技术领域，具体涉及一种海量传感器数据收集处理及反馈的系统和方法。
背景技术
DR(Dead Reckoning，航位推算，也叫惯性导航，简称惯导)可以在GPS(GlobalPositioning System，全球定位系统)信号较差时做航位推算，在一定距离内修复GPS定位偏差，DR推算时对传感器器件输出的数据(例如陀螺仪、加速计、气压计等)、情景类型(高架上、隧道中、密集楼宇旁)、用户推算历史等进行建模，模型推算精度误差会随时间推移发散直至不可用，而在模型确定时，模型参数的变化会影响到模型性能，好的模型参数可以有效提升DR推算性能，即延长可靠推算时间、提升推算精度减小误差。
现有技术中，DR模型一旦确定后，将模型算法集成在端设备中，并通过对端上设备进行典型场景下的实际测试，得到测试结果后，通过分析测试数据得到模型参数并固化在设备固件中。其存在的缺点包括：可用于模型参数学习的设备仅为测试设备，处理的测试数据量较小，不能准确的反应模型；模型参数确定后并难以通过数据累积优化参数并更改模型参数；不能有效利用情景识别和历史参数。
发明内容
本发明为海量传感器数据分析处理提供了一种高可用、高可靠、可扩展的分布式架构，解决了数据高效收集、处理的技术问题，并将模型参数反馈到设备端，提升DR(惯导)性能；并可通过不断的累积多源数据，迭代提升反馈参数的有效性。
本发明采用的技术方案如下：
一种海量传感器数据收集处理及反馈的系统，传感器数据上传接口收集传感器上传的数据和请求，并将数据和请求下发到网关；网关将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据与请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。
进一步地，所述传感器包括加速计、陀螺仪、气压计或者磁强计。
进一步地，所述传感器上传的数据采用NMEA数据格式。
进一步地，所述传感器上传的数据包括以下任一一种及以上：
设备端元信息，端上算法版本、各传感器型号、设备型号；
传感器采样时间、采样时经纬度信息、NMEA中包含的传感器数据信息；
传感器推算状态信息；
模型推算的设备端状态与情景。
进一步地，所述服务处理节点集群包括VDR Handlers、PDR Handlers和ContextHandlers；VDR Handlers对车载模式相关的传感器数据进行处理；PDR Handlers对步行模式相关的传感器数据进行处理；Context Handlers利用传感器上传的数据和请求，进行最大概率情景推断，帮助传感器根据不同情景调整模型参数。
进一步地，所述服务处理节点集群还包括Other Handlers，即其他系统请求与扩展模式处理节点。
进一步地，所述离线数据处理引擎根据传感器上传的数据进行情景分析建模，作为Context Handlers参数输入。
进一步地，所述调度引擎根据数据集、任务类型、传感器数据类型调度在线数据处理引擎和离线数据处理引擎。
一种海量传感器数据收集处理及反馈的方法，传感器数据上传接口收集传感器上传的数据和请求，并将数据和请求下发到网关；网关进行请求合法性判断和设备合法性检查，并将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据和请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。
本发明的有益效果在于，从数据收集链路、数据处理与存储、任务调度、参数反馈链路上保证了利用海量传感器数据学习参数的可靠性与高效性。
附图说明
图1是本发明海量传感器数据收集处理及反馈的系统架构图。
图2是本发明海量传感器数据收集处理及反馈的方法流程图。
具体实施方式
可靠的模型参数需要通过处理海量数据得到，本发明通过定义松散的传感器数据收集接口收集多源数据；利用分布式存储、分布式计算处理海量数据用于机器学习算法；提供灵活的参数反馈链路解决上述缺点。由于利用众包采集数据，避免了测试数据集较小，设备数过少的问题，可动态更新模型参数，并利用多源数据增强情景识别能力，最终提升DR性能。
下文中，结合附图和实施例对本发明作进一步阐述。
图1和图2分别是本发明海量传感器数据收集处理及反馈的系统架构图和方法流程图，具体如下：
1、传感器数据上传接口定义
典型传感器数据包括加速计、陀螺仪、气压计、磁强计等，根据NMEA(NationalMarine Electronics Association，美国国家海洋电子协会的简称，也是一套定义接收机输出的标准信息)数据格式，上传数据包括但不仅为：
1)设备端元信息，端上算法版本、各传感器型号、设备型号等；
2)传感器采样时间(ms级)、采样时经纬度信息、NMEA中包含的传感器数据信息(姿态、方向等)；
3)传感器推算状态信息；
4)模型推算的设备端状态与情景。
2、网关(Gateway)
进行请求合法性判断、设备合法性检查，并将请求转发到对应服务处理节点集群。
3、VDR Handlers(Vehicle Dead Reckoning，车载航位推算)
处理车载模式相关的传感器数据，并负责车载相关的模型参数下发。
4、PDR Handlers(Pedestrian Dead Reckoning，行人航位推算)
处理步行模式相关的传感器数据，并负责步行模式相关的模型参数下发。
5、Context Handlers
利用设备端请求信息与收集的多源数据，做最大概率情景推断，帮助设备端根据不同情景调整模型参数。
6、Other Handlers
其他系统请求与扩展模式处理节点。
7、消息队列(消息在传输过程中保存消息的容器)、日志服务
负责将收集的数据与其他请求发送到分布式文件系统中，同时发送至在线处理引擎。
8、DFS(分布式文件系统)
类似HDFS、HBASE等分布式文件系统，存储海量数据，用于离线数据分析。
9、在线数据处理引擎
接受消息队列、日志服务的数据，实时筛选并处理，快速得到局部最优模型参数，并发往模型验证组件。
10、离线数据处理引擎
处理分布式文件系统中的海量数据，得到全局或特定数据下的最优模型参数；根据设备端上报的数据做情景分析建模，作为Context Handlers参数输入。
11、调度引擎
调度在线、离线数据处理引擎；按数据集、任务类型、传感器数据类型等周期性调度。
本发明优选Java语言进行编程。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (9)

1.一种海量传感器数据收集处理及反馈的系统，其特征在于，传感器数据上传接口收集传感器上传的数据和请求，并将数据和请求下发到网关；网关将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据与请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。
2.如权利要求1所述的一种海量传感器数据收集处理及反馈的系统，其特征在于，所述传感器包括加速计、陀螺仪、气压计或者磁强计。
3.如权利要求1所述的一种海量传感器数据收集处理及反馈的系统，其特征在于，所述传感器上传的数据采用NMEA数据格式。
4.如权利要求3所述的一种海量传感器数据收集处理及反馈的系统，其特征在于，所述传感器上传的数据包括以下任一一种及以上：
设备端元信息，端上算法版本、各传感器型号、设备型号；
传感器采样时间、采样时经纬度信息、NMEA中包含的传感器数据信息；
传感器推算状态信息；
模型推算的设备端状态与情景。
5.如权利要求1所述的一种海量传感器数据收集处理及反馈的系统，其特征在于，所述服务处理节点集群包括VDR Handlers、PDR Handlers和Context Handlers；VDR Handlers对车载模式相关的传感器数据进行处理；PDR Handlers对步行模式相关的传感器数据进行处理；Context Handlers利用传感器上传的数据和请求，进行最大概率情景推断，帮助传感器根据不同情景调整模型参数。
6.如权利要求5所述的一种海量传感器数据收集处理及反馈的系统，其特征在于，所述服务处理节点集群还包括Other Handlers，即其他系统请求与扩展模式处理节点。
7.如权利要求5所述的一种海量传感器数据收集处理及反馈的系统，其特征在于，所述离线数据处理引擎根据传感器上传的数据进行情景分析建模，作为Context Handlers参数输入。
8.如权利要求1所述的一种海量传感器数据收集处理及反馈的系统，其特征在于，所述调度引擎根据数据集、任务类型、传感器数据类型调度在线数据处理引擎和离线数据处理引擎。
9.一种海量传感器数据收集处理及反馈的方法，其特征在于，传感器数据上传接口收集传感器上传的数据和请求，并将数据和请求下发到网关；网关进行请求合法性判断和设备合法性检查，并将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据和请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。
CN201711088513.2A 2017-11-07 2017-11-07 海量传感器数据收集处理及反馈的系统和方法 Active CN107943859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711088513.2A CN107943859B (zh) 2017-11-07 2017-11-07 海量传感器数据收集处理及反馈的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711088513.2A CN107943859B (zh) 2017-11-07 2017-11-07 海量传感器数据收集处理及反馈的系统和方法

Publications (2)

Publication Number Publication Date
CN107943859A true CN107943859A (zh) 2018-04-20
CN107943859B CN107943859B (zh) 2021-07-30

Family

ID=61933500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711088513.2A Active CN107943859B (zh) 2017-11-07 2017-11-07 海量传感器数据收集处理及反馈的系统和方法

Country Status (1)

Country Link
CN (1) CN107943859B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681487A (zh) * 2018-05-21 2018-10-19 千寻位置网络有限公司 传感器算法参数调优的分布式系统和调优方法
CN108810097A (zh) * 2018-05-21 2018-11-13 千寻位置网络有限公司 Web海量实时采集处理NMEA数据的方法及系统
CN110572336A (zh) * 2019-09-06 2019-12-13 南京俊禄科技有限公司 一种nmea数据的波特率识别方法
CN110955710A (zh) * 2019-11-26 2020-04-03 杭州数梦工场科技有限公司 一种数据交换作业中脏数据的处理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102445200A (zh) * 2011-09-30 2012-05-09 南京理工大学 微小型个人组合导航系统及其导航定位方法
CN102519450A (zh) * 2011-12-12 2012-06-27 东南大学 一种用于水下滑翔器的组合导航装置及方法
CN102831766A (zh) * 2012-07-04 2012-12-19 武汉大学 基于多传感器的多源交通数据融合方法
US8576066B2 (en) * 2011-02-28 2013-11-05 International Business Machines Corporation Managing emergency response services using mobile communication devices
US20140149060A1 (en) * 2012-11-29 2014-05-29 Sensor Platforms, Inc. Combining Monitoring Sensor Measurements and System Signals to Determine Device Context
US20160265918A1 (en) * 2013-10-30 2016-09-15 Hewlett Packard Enterprise Development Lp Signal space based navigation
CN106557561A (zh) * 2016-11-16 2017-04-05 贵州大学 基于HBase的海量传感器数据存储系统及方法
CN106840156A (zh) * 2017-03-28 2017-06-13 千寻位置网络有限公司 一种提高手机惯性导航性能的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8576066B2 (en) * 2011-02-28 2013-11-05 International Business Machines Corporation Managing emergency response services using mobile communication devices
CN102445200A (zh) * 2011-09-30 2012-05-09 南京理工大学 微小型个人组合导航系统及其导航定位方法
CN102519450A (zh) * 2011-12-12 2012-06-27 东南大学 一种用于水下滑翔器的组合导航装置及方法
CN102831766A (zh) * 2012-07-04 2012-12-19 武汉大学 基于多传感器的多源交通数据融合方法
US20140149060A1 (en) * 2012-11-29 2014-05-29 Sensor Platforms, Inc. Combining Monitoring Sensor Measurements and System Signals to Determine Device Context
US20160265918A1 (en) * 2013-10-30 2016-09-15 Hewlett Packard Enterprise Development Lp Signal space based navigation
CN106557561A (zh) * 2016-11-16 2017-04-05 贵州大学 基于HBase的海量传感器数据存储系统及方法
CN106840156A (zh) * 2017-03-28 2017-06-13 千寻位置网络有限公司 一种提高手机惯性导航性能的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
VASCO N.G.J ET AL: "GeoSpray: A geographic routing protocol for vehicular delay-tolerant networks", 《INFORMATION FUSION》 *
YUNYE JIN ET AL: "A robust dead-reckoning pedestrian tracking system with low cost sensors", 《PROCEEDINGS OF THE 2011 IEEE INTERNATIONAL CONFERENCE ON PERVASIVE COMPUTING AND COMMUNICATIONS》 *
古富强: "局域实时定位算法及其精度改进方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张煜: "基于多传感器数据融合的无人车避障导航研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681487A (zh) * 2018-05-21 2018-10-19 千寻位置网络有限公司 传感器算法参数调优的分布式系统和调优方法
CN108810097A (zh) * 2018-05-21 2018-11-13 千寻位置网络有限公司 Web海量实时采集处理NMEA数据的方法及系统
CN108810097B (zh) * 2018-05-21 2021-03-19 千寻位置网络有限公司 Web海量实时采集处理NMEA数据的方法及系统
CN108681487B (zh) * 2018-05-21 2021-08-24 千寻位置网络有限公司 传感器算法参数调优的分布式系统和调优方法
CN110572336A (zh) * 2019-09-06 2019-12-13 南京俊禄科技有限公司 一种nmea数据的波特率识别方法
CN110572336B (zh) * 2019-09-06 2021-09-17 南京俊禄科技有限公司 一种nmea数据的波特率识别方法
CN110955710A (zh) * 2019-11-26 2020-04-03 杭州数梦工场科技有限公司 一种数据交换作业中脏数据的处理方法及装置

Also Published As

Publication number Publication date
CN107943859B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN107943859A (zh) 海量传感器数据收集处理及反馈的系统和方法
CN108140052A (zh) 具有结构竖直层级机制的计算系统及其操作方法
US11512970B2 (en) Method and apparatus for generating information
CN109344218A (zh) 光缆线路巡检方法及其系统
US20080172172A1 (en) Route planning process
US20060142944A1 (en) Technique for creating, directing, storing, and automatically delivering a message to an intended recipient based on climatic conditions
JP2012003494A (ja) 情報処理装置、情報処理方法及びプログラム
US9785897B2 (en) Methods and systems for optimizing efficiency of a workforce management system
JP6149080B2 (ja) 測定データ収集システム、サーバ装置、端末装置、プログラム及び測定データ収集方法
US9970776B2 (en) WiFi-based indoor positioning and navigation as a new mode in multimodal transit applications
JP7263506B2 (ja) 自動車再仕上げ修理プロセスをデジタル的に追跡及び監視する方法及びシステム
CN109521765A (zh) 无人驾驶运输系统
JP2013156912A (ja) 機器の保全支援システムおよび機器保全サーバ
US20180172461A1 (en) Apparatus, server apparatus for route search, and non-transitory computer-readable storage medium for route search
JP2014162458A (ja) 交通機関特定システム、交通機関特定方法および交通機関特定プログラム
KR102477509B1 (ko) 기상 예측 정보 생성 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR20200124622A (ko) 실내 위치 확인 경로들 맵핑 툴
CN111080007A (zh) 快件到达时间的预测方法、装置、设备及存储介质
US10121212B1 (en) System and method for transportation demand management
JP2017154536A (ja) 乗務員運用管理システムおよび乗務員運用管理方法
JP2008210244A (ja) 情報取得システム及び情報検索方法
CN114692968A (zh) 取号处理方法、装置以及电子设备
EP2522957A1 (en) Navigation server and navigation system
CN108780417A (zh) 用于辅助超级计算机的维护和优化的方法和系统
CN112595330A (zh) 车辆定位方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant