CN111740952B - 一种车辆监管平台数据管理方法及系统 - Google Patents
一种车辆监管平台数据管理方法及系统 Download PDFInfo
- Publication number
- CN111740952B CN111740952B CN202010401998.1A CN202010401998A CN111740952B CN 111740952 B CN111740952 B CN 111740952B CN 202010401998 A CN202010401998 A CN 202010401998A CN 111740952 B CN111740952 B CN 111740952B
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- link
- access system
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013523 data management Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012795 verification Methods 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 230000000903 blocking effect Effects 0.000 claims description 31
- 238000007726 management method Methods 0.000 claims description 18
- 230000003068 static effect Effects 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000005012 migration Effects 0.000 claims description 10
- 238000013508 migration Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000010223 real-time analysis Methods 0.000 claims 1
- 239000000446 fuel Substances 0.000 description 8
- XSQUKJJJFZCRTK-UHFFFAOYSA-N Urea Chemical compound NC(N)=O XSQUKJJJFZCRTK-UHFFFAOYSA-N 0.000 description 3
- 239000004202 carbamide Substances 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 239000013255 MILs Substances 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 239000002826 coolant Substances 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241000750004 Nestor meridionalis Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010531 catalytic reduction reaction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000110 cooling liquid Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000376 reactant Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/143—Termination or inactivation of sessions, e.g. event-controlled end of session
- H04L67/145—Termination or inactivation of sessions, e.g. event-controlled end of session avoiding end of session, e.g. keep-alive, heartbeats, resumption message or wake-up for inactive or interrupted session
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Cardiology (AREA)
- Small-Scale Networks (AREA)
- Vehicle Cleaning, Maintenance, Repair, Refitting, And Outriggers (AREA)
Abstract
本发明公开了一种车辆监管平台数据管理方法及系统,车载终端与接入系统建立tcp连接,车载终端发送登入请求给接入系统,接入系统解析登入请求,登入请求包含车辆唯一标识码vin;接入系统通过验证车辆唯一标识码vin的合法性和正确性对车载终端进行验证;如果验证不成功,则关闭该tcp链路;如果验证成功,则车载终端将采集的各种数据发送给接入系统进行解析,解析的数据为原始数据,未进行数据偏移,接入系统将数据解析后推送至kafka消息队列,从kafka消息队列里面消费数据,并对数据做精度偏移后持久化至数据库,查询数据库并通过页面展示查询数据;转发系统消费kafka消息队列里面的数据,通过TCP转发的方式转发至其他平台。
Description
技术领域
本发明涉及车载数据监管领域,具体涉及一种车辆监管平台数据管理方法及系统。
背景技术
为防治装用压燃式及气体燃料点燃式发动机的汽车排气对环境的污染,改善空气质量,需要对车辆尾气等数据进行监管等,现有技术中还没有一种车辆监管平台数据管理方法及系统。
发明内容
本发明的目的在于克服现有技术之缺陷,提供了一种车辆监管平台数据管理方法及系统。
本发明是这样实现的:本发明公开了一种车辆监管平台数据管理方法,其特征在于,包括如下步骤:
车载终端与接入系统建立tcp连接,车载终端发送登入请求给接入系统,接入系统解析登入请求,登入请求包含车辆唯一标识码vin;
接入系统通过验证车辆唯一标识码vin的合法性和正确性对车载终端进行验证;
如果验证不成功,则关闭该tcp链路;
如果验证成功,则车载终端将采集的各种数据发送给接入系统进行解析,解析的数据为原始数据,未进行数据偏移,接入系统将数据解析后推送至kafka消息队列,转发系统与其他平台建立tcp连接,建立连接的同时发送平台登入的报文,其他平台解析、验证登入数据,登入数据包含平台用户名和密码,若验证通过,则平台登入成功,平台登入成功后将从kafka消费的数据编码后转发给其他平台,一次完整的转发由消费kafka消息队列里面的数据开始,消费得到的数据包含需要转发的报文,其他平台解析本转发系统转发的数据,按照平台间约定的传输协议进行编码传输,以收到其他平台的应答为结束。
接入系统解析车辆数据并推送至kafka消息队列,后续通过消费kafka,对数据做精度偏移后持久化至数据库。
本发明可以通过查询数据库并通过页面展示查询数据。
接入系统解析数据后推送数据到kafka信息队列,页面展示的数据是从kafka持久化到mysql或es数据库后查询出来展示的。
车载终端采集的各种数据包括车辆定位数据、发动机数据、obd数据。
定位数据包括经度、纬度。
发动机数据包括车速、大气压力、发动机净输出矩、摩擦扭矩矩、发动机转速、发动机燃料流量、SCR上游NOx传感器输出值、SCR下游NOx传感器输出值、反应剂余量、进气量、SCR入口温度、SCR出口温度、DPF压差、发动机冷却液温度、油箱液位、定位状态、累计里程。
Obd数据包括OBD诊断协议、MIL状态、诊断支持状态、诊断就绪状态、车辆识别码、软件标定识别号、标定验证码、IUPR值、故障码总数、故障码信息列表。
进一步地,数据库包括ES数据库和mysql数据库,Web页面展示的实时数据从ES数据库获取,Web页面展示的数据从mysql数据库获取。
进一步地,数据偏移是按照标准协议对解析数据做一个换算,使其符合实际值。
进一步地,设原始数据指为A1,协议规定的数据精度为B,偏移量为u,偏移后的数据A2为:A2=A1*B+u,u为正数或负数,判断偏移后的数据是否符合设定的数据范围,若是,则将精度偏移后的数据持久化至数据库,若否,该数据为无效值,无效值也入库。
进一步地,车辆监管平台由转发系统与其他平台建立TCP连接,平台间约定tcp传输协议,转发系统按照协议编码,转发编码后的报文,平台间维护一个心跳,该心跳保持tcp链路不断开。
进一步地,将静态数据录入mysql数据库并同步至geode数据库,车辆登入、登出验证时,将geode数据库存储的静态信息作为登入验证数据,静态数据包括带有车辆唯一标识码vin的车辆信息、车型信息。
geode数据库用作验证终端唯一标识vin。kafka信息队列作为消息中间件。
进一步地,车载终端与接入系统建立tcp连接,接入系统负责维护和监控链接的运行状态,包括:接入系统对各链路进行检测,当发现有链路超过规定的时间未发送消息,则立即关闭该链路;
以及设置链路堵塞数,用于实时查询链路堵塞情况;
以及每个链路均设置一个数据接收开关,该开关控制着对应链路的数据是否解析,每一个链路都对应着一个终端,当需要屏蔽某个终端的数据,则控制对应链路的数据接收开关关闭。
本发明公开了一种车辆监管平台数据管理系统,包括接入系统,车载终端与接入系统建立tcp连接,所述车载终端用于发送登入请求给接入系统,接入系统解析登入请求,登入请求包含车辆唯一标识码vin,接入系统通过验证车辆唯一标识码vin的合法性和正确性对车载终端进行验证,所述车载终端用于将采集的各种数据发送给接入系统进行解析,解析的数据为原始数据,未进行数据偏移,接入系统将数据解析后推送至kafka消息队列,从kafka消息队列里面消费数据,并对数据做精度偏移后持久化至数据库;
所述转发系统消费kafka消息队列里面的数据,通过TCP转发的方式转发至其他平台。
进一步地,车辆监管平台数据管理系统还包括geode数据库,geode数据库用于存储静态数据,车辆登入、登出验证时,geode数据库存储的静态信息用于作为登入验证数据。
进一步地,所述接入系统设有TCP链路管理模块,TCP链路管理模块用于维护链路超时和监控链路堵塞情况,以及屏蔽数据;包括:接入系统对各链路进行检测,当发现有链路超过规定的时间未发送消息,则立即关闭该链路;
以及设置链路堵塞数,用于实时查询链路堵塞情况;
以及每个链路均设置一个数据接收开关,该开关控制着对应链路的数据是否解析,每一个链路都对应着一个终端,当需要屏蔽某个终端的数据,则控制对应链路的数据接收开关关闭。
进一步地,车载终端采集的各种数据包括车辆定位数据、发动机数据、obd数据;数据库包括ES数据库和mysql数据库,Web页面展示的实时数据从ES数据库获取,Web页面展示的数据从mysql数据库获取。
进一步地,转发系统与其他平台建立tcp连接,建立连接的同时发送平台登入的报文,其他平台解析、验证登入数据,登入数据包含平台用户名和密码,若验证通过,则平台登入成功,平台登入成功后将从kafka消费的数据编码后转发给其他平台,一次完整的转发由消费kafka消息队列里面的数据开始,消费得到的数据包含需要转发的报文,其他平台解析本转发系统转发的数据,按照平台间约定的传输协议进行编码传输,以收到其他平台的应答为结束。
本发明的有益效果为:本发明能对车载终端进行登记、注册等管理,显示车载终端上报频率、数据采集频率和采集的数据,能按要求向生态环境部门实时转发车辆OBD信息、发动机信息、排放数据、经纬度等数据。接入系统分析故障数据,统计故障趋势、超标车辆,进行车辆报警管理(OBD报警、故障报警、发动机报警)。故障数据和报警数据通过消费kafka消息队列得到,经过大数据技术实时分析计算,按同一辆车vin相同归纳该车的所有故障数据和报警数据,并持久化到mysql数据库,页面展示数据查询mysql数据库。
本发明通过上述方法实现了静态数据同步、数据接入、数据持久化、数据转发。
终端与接入系统建立tcp连接,该链路被链路管理模块管理和监控,以固定的的频率监测该链路是否空闲,是否有信息堵塞,以及接入系统连接的链路数,对空闲链路采取剔除的方式防止资源占用;信息堵塞量可以让开发人员及时发现信息处理过慢,做出优化;接入系统连接数可以实时知道当前在线车辆数。
设置超时时间,当链路在该时间范围没有上传数据就认为是空闲链接,目的是节约系统资源,大量空闲链接占用系统内存资源,需要及时清除空闲链接。
查询堵塞情况主要是便于分析接入系统处理数据是否过缓,对于过缓可能是程序代码不合理,应该优化代码,减少耗时的逻辑。
本发明通过设置转发系统,主要是转发车辆采集数据,由接入系统接入数据推送至kafka,转发系统消费该kafka,通过TCP转发的方式转发至其他平台,包括地方平台,企业平台,国家平台等。
附图说明
图1为本发明的车辆监管平台数据管理系统的原理框图;
图2为本发明的车辆监管平台数据接入系统的原理框图;
图3为本发明的车辆监管平台数据接入方法的流程图;
图4为本发明的车辆监管平台数据转发方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
参见图1至图4,本实施例公开了一种车辆监管平台数据管理方法,其特征在于,包括如下步骤:
车载终端与接入系统建立tcp连接,建立连接同时车载终端发送登入请求给接入系统,接入系统解析登入请求,获取车辆登入的车辆唯一标识码vin,登入请求包含车辆唯一标识码vin;接入系统通过验证车辆唯一标识码vin的合法性和准入性对车载终端进行验证;
如果验证不成功,则关闭该tcp链路;
如果验证成功,则车载终端将采集的各种数据发送给接入系统进行解析,解析的数据为原始数据,未进行数据偏移,接入系统将数据解析后推送至kafka消息队列,后续通过消费kafka,对数据做精度偏移后持久化es、mysql等数据库,查询数据库并通过页面展示查询数据;同时,转发系统与其他平台建立tcp连接,建立连接的同时发送平台登入的报文,其他平台解析、验证登入数据,登入数据包含平台用户名和密码,若验证通过,则平台登入成功,平台登入成功后将从kafka消费的数据编码后转发给其他平台,该编码为十六进制编码,转发数据包括车辆登入登出数据,车辆实时数据等,一次完整的转发由消费kafka消息队列里面的数据开始,消费得到的数据包含需要转发的报文,其他平台解析本转发系统转发的车辆登入登出,实时数据等,按照平台间约定的传输协议进行编码传输,以收到其他平台的应答为结束。
车辆监管平台由转发系统与其他平台建立TCP连接,平台间约定tcp传输协议,转发系统按照协议编码,转发编码后的报文,平台间维护一个心跳,该心跳保持tcp链路不断开。
车载终端采集的各种数据包括车辆定位数据、发动机数据、obd数据。
定位数据包括经度、纬度。
发动机数据包括车速、大气压力、发动机净输出矩、摩擦扭矩矩、发动机转速、发动机燃料流量、SCR上游NOx传感器输出值、SCR下游NOx传感器输出值、反应剂余量、进气量、SCR入口温度、SCR出口温度、DPF压差、发动机冷却液温度、油箱液位、定位状态、累计里程。
Obd数据包括OBD诊断协议、MIL状态、诊断支持状态、诊断就绪状态、车辆识别码、软件标定识别号、标定验证码、IUPR值、故障码总数、故障码信息列表。
进一步地,数据库包括ES数据库和mysql数据库,Web页面展示的实时数据从ES数据库获取,Web页面展示静态数据、行程数据从mysql数据库获取。
进一步地,数据偏移是按照标准协议对解析数据做一个换算,使其符合实际值。
进一步地,设原始数据指为A1,协议规定的数据精度为B,偏移量为u,偏移后的数据A2为:A2=A1*B+u,u为正数或负数,判断偏移后的数据是否符合设定的数据范围,若是,则将精度偏移后的数据持久化至数据库,若否,该数据为无效值,无效值也入库。
例:车速解析原始数据为15360,协议规定该数据精度:1/256km/h,偏移量:0,数据范围:0~250.996km/h,偏移后:15360/256-0=60km/h,符合数据范围。
例:经度解析原始数据为109523473,协议规定该数据精度:0.000001°,偏移量:0,数据范围:0~180.000000°,偏移后:
109523473*0.000001-0=109.523473,符合数据范围。
进一步地,管理员将静态数据录入mysql数据库并同步至接入系统的geode数据库,车辆登入、登出验证时,geode数据库存储的静态信息作为登入验证数据。
进一步地,车载终端与接入系统建立tcp连接,接入系统负责维护和监控链接的运行状态,包括:接入系统对各链路进行检测,当发现有链路超过规定的时间未发送消息,则立即关闭该链路;例:若当前超时时间为30s,当某个链路超过30s没有上传数据时,判断该链路为空闲,系统就会主动关闭该链路,如果认为该超时时间不合理时,我们可以通过web接口设置为其他任意时间。
以及设置链路堵塞数,用于实时查询链路堵塞情况;链路堵塞数初始设为0,设置堵塞数主要是便于查看该链路的堵塞情况,当有数据上传时对该计数加一,数据处理完毕减一,查看堵塞数可以实时发现链路堵塞情况,数据解析过慢或终端发送数据频率过快可能导致堵塞严重,严重的堵塞可能导致页面无数据的情况。
设置查询链路超时时间可以知道当前系统是以什么样的时间间隔对空闲链接的处理,当我们觉得该时间太长或太短时可以随时改变超时时间。接入系统实时查询链路超时时间,对链路的超时做出灵活掌控。
以及每个链路均设置一个数据接收开关,该开关控制着对应链路的数据是否解析,每一个链路都对应着一个终端,当需要屏蔽某个终端的数据,则控制对应链路的数据接收开关关闭。
查询堵塞情况主要是便于分析接入系统处理数据是否过缓,对于过缓可能是程序代码不合理,应该优化代码,减少耗时的逻辑。
接入系统对外暴露web接口,通过调用http接口下发一个请求,对单一终端链路设置一个开关,该开关可以控制是否解析该链路上传的数据,达到屏蔽某台车的数据,链路管理模块维护着成千上万的链路,每一个链路都对应着一个终端,每个链路均有一个数据接收开关,该开关控制着这一链路的数据是否解析。要想屏蔽某个终端的数据,需要页面下发一个关闭的请求。在多链路中有唯一标识指定某一链路,对不想接收的车辆数据可以进行单链路数据屏蔽。
车载终端上传的数据包含定位数据,终端按照10s一包数据的频率上报给接入系统,通过实时统计定位数据可以在地图上显示出该车辆的行驶轨迹。
车载终端将采集的车辆位置信息、故障信息、发动机信息、尾气信息以一定频率上报至接入系统。
接入系统解析报文后,对数据做初步基本校验,验证格式后的数据推送至kafka消息队列。
从kakfa消息队列取出相关数据进行纠偏,然后再批量持久化至数据库。相关数据指接入系统解析后推送kafka消息队列的数据,定位数据就取经纬度相关数据,obd数据就取obd相关数据,纠偏就是对数据做精度偏移,接入系统解析的数据不符合实际值,做精度偏移可以对解析后的原始值进行转换,并剔除超范围的数据。
接入系统分析故障数据,统计故障趋势、超标车辆,进行车辆报警管理(OBD报警、故障报警、发动机报警)。故障数据和报警数据通过消费kafka消息队列得到,经过大数据技术实时分析计算,按同一辆车vin相同归纳该车的所有故障数据和报警数据,并持久化到mysql数据库,页面展示数据查询mysql数据库。
页面添加车辆信息保存至mysql数据库,包含:vin,区域,制造企业,发动机型号,发动机号,车型,终端id,车辆品牌,车牌种类、颜色等信息,并同步至接入系统使用的geode数据库。车型信息的录入,主要包含:车辆型号,发动机型号,汽车分类,燃料类型,车辆类型,排放标准等,数据接入主要为实时数据接入。
车辆信息数据结构如下:
车型信息数据结构如下:
在接入数据前平台同步数据到接入系统的数据库,在车辆登入时作为车辆的接入验证,验证合法的车辆开始解析实时数据,实时数据主要包含obd数据、发动机数据、补充数据流。
补充数据流如下表所示:
OBD信息数据如下表所示:
发动机数据流如下表所示:
obd数据在实时数据流中每10s发一包含有obd的数据,以十六进制编码发送至接入系统,系统收到报文后按字节顺序解析,obd数据包含OBD诊断协议,MIL状态,诊断支持状态(由两个字节表示,两个字节占十六位,通过对位的解析,拿到每一位所表示的含义),诊断就绪状态,车辆识别码(VIN),软件标定识别号,标定验证码(CVN),IUPR值,故障码总数,故障码信息列表。OBD数据用于故障分析,超标分析,统计故障趋势分布,对车辆报警(OBD报警,故障报警,发动机报警)进行管理。
发动机数据流采集频率为1s,每10s一包发送至接入平台,在监控平台中,发动机数据作为主要数据,包含车速,大气压力,扭矩,发动机转速,燃料流量,氮氧化合物浓度,反应剂余量,PDF压差,发动机冷却液温度,SCR出入口温度,定位信息等,以十六进编码形式发送到接入平台,平台按字节解析,将解析的数据实时推送kafka消息队列,用于数据分析和持久化。
补充数据主要作为数据的补充,主要包含:发动机扭矩模式,油门踏板,累计油耗,尿素箱温度,实际尿素喷射量,累计尿素消耗,DPF排气温度,瞬时油耗,DPF压差,发动机总运行时间,环境温度等数据。
采用REST APIs文档生成工具swaager,所有接口通过swaager界面可以进行预览。
实施例二
参见图1至图4,本实施例公开了一种车辆监管平台数据管理系统,包括接入系统、转发系统,车载终端与接入系统建立tcp连接,所述车载终端用于发送登入请求给接入系统,接入系统解析登入请求,登入请求包含车辆唯一标识码vin,接入系统通过验证车辆唯一标识码vin的合法性和正确性对车载终端进行验证,所述车载终端用于将采集的各种数据发送给接入系统进行解析,解析的数据为原始数据,未进行数据偏移,接入系统将数据解析后推送至kafka消息队列,从kafka消息队列里面消费数据,并对数据做精度偏移后持久化至数据库;所述转发系统消费kafka消息队列里面的数据,通过TCP转发的方式转发至其他平台,包括地方平台,企业平台,国家平台等。
车辆监管平台由转发系统与其他平台建立TCP连接,平台间约定tcp传输协议,转发系统按照协议编码,转发编码后的报文,平台间维护一个心跳,该心跳保持tcp链路不断开,首先转发系统要与其他平台建立tcp连接,建立连接的同时发送平台登入的报文,其他平台解析登入数据,登入数据包含平台用户名和密码,其他平台验证用户名和密码通过后开始解析本转发系统转发的实时数据,一次完整的转发由消费kafka数据开始,消费得到的数据包含需要转发报文,该报文是一种以十六进制编码的数据格式,然后按照平台间约定的传输协议进行编码传输,以收到其他平台的应答为结束。
传输协议格式:信息头命令标识应答标识车辆识别码数据加密方式数据单元长度数据单元校验码。
当然,转发方式还可以采用http的形式发送数据,由平台间相互约定的数据格式和加密规则进行数据转发,由post请求发送,例:数据格式A为:{“数据1”:“流水号”,“数据2”:“加密数据体”,“数据3”:“用户”,“数据4”:“密码”,“数据5”:“校验码”}。转发系统按照数据格式A进行包装,通过post请求发送至其他平台,其他平台收到数据A之后,首先验证校验码,然后校验数据用户和密码,在用户密码正确的前提下对加密数据体进行解密,得到车辆采集数据;对http转发形式,转发系统维护转发逻辑,以特定的频率如30秒的频率访问其他平台的心跳接口,通过心跳的返回结果判断其他平台是否正常,在不正常的情况下及时关闭转发,避免数据丢失。
在kafka消费方面,由于kakfka队列数据量很大,以单条数据进行转发会对其他平台的服务器造成非常大的压力,所以本发明以批量的形式进行转发,这个一次转发的数据量由kafka控制,在kafka配置上,约定消费到50条数据(该数据为自定义,根据实际需要设置)时触发一次kafka的监听器,未达到50条数据时,当消费等待时间达到2秒也触发kafka监听器,这样达到人为控制转发数据量,并能很好的解决实时性,在某种场景下,需要在终端上传数据的同时完成解析消费转发,及时的在其他平台收到数据以达到实时性,在发送请求的逻辑上,转发系统同样管理请求的转发及异常处理,以多线程连接池的形式发送post请求,有一个任务队列管理每一个post请求,一次完整的数据链由消费kafka数据开始,完成数据转换、数据加密、数据包装,然后放入任务队列,每一个任务有两秒的超时时间,任务在队列里面按顺序执行,在完成任务后既销毁,若该任务在两秒后未收到其他平台的应答则超时抛出异常,队列继续执行下一个任务,不影响后续数据的转发。
车载终端发送采集的数据以十六进制字节码的形式发送给接入系统进行解析,解析的数据为原始数据,未进行数据偏移,推送kafka消息队列,消费kafka后对数据做偏移,解析协议中的说明就是对解析的原始数据做精度转换,做数据偏移是严格按照标准协议对解析数据做一个换算,使其符合实际值。
车载终端、tbox用于采集记录车辆数据:行驶里程,发动机转速,燃料流量,车速,NO浓度,进气温度,大气压力,定位数据等......
进一步地,车辆监管平台数据管理系统还包括geode数据库,geode数据库用于存储静态数据,车辆登入、登出验证时,geode数据库存储的静态信息用于作为登入验证数据。
进一步地,所述接入系统设有TCP链路管理模块,TCP链路管理模块用于负责维护和监控链接的运行状态,包括:TCP链路管理模块对各链路进行检测,当发现有链路超过规定的时间未发送消息,则立即关闭该链路;
以及设置链路堵塞数,TCP链路管理模块实时查询链路堵塞情况;
以及设置链路超时时间,TCP链路管理模块实时查询链路超时时间,对链路的超时做出灵活掌控;
以及设置数据接收开关,查询数据接收开关,在多链路中有唯一标识指定某一链路,对不想接收的车辆数据可以进行单链路数据屏蔽。
TCP链路管理模块通过实时数据连续发送维持链路连接,空闲3分钟移除链路,对多链路可屏蔽或解除数据的接入。
进一步地,数据库包括ES数据库和mysql数据库,Web页面展示的实时数据从ES数据库获取,Web页面展示静态数据、车辆定位数据等从mysql数据库获取。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种车辆监管平台数据管理方法,其特征在于,包括如下步骤:
车载终端与接入系统建立tcp链路,车载终端发送登入请求给接入系统,接入系统解析登入请求,登入请求包含车辆唯一标识码vin;
接入系统通过验证车辆唯一标识码vin的合法性和正确性对车载终端进行验证;
如果验证不成功,则关闭该tcp链路;
如果验证成功,则车载终端将采集的各种数据发送给接入系统进行解析,车载终端发送采集的数据以十六进制字节码的形式发送给接入系统进行解析,解析的数据为原始数据,未进行数据偏移,接入系统将数据解析后推送至kafka消息队列,转发系统与其他平台建立tcp链路,建立连接的同时发送平台登入的报文,其他平台解析、验证登入数据,登入数据包含平台用户名和密码,若验证通过,则平台登入成功,平台登入成功后将从kafka消费的数据编码后转发给其他平台,一次完整的转发由消费kafka消息队列里面的数据开始,消费得到的数据包含需要转发的报文,其他平台解析本转发系统转发的数据,按照平台间约定的传输协议进行编码传输,以收到其他平台的应答为结束;
接入系统解析车辆数据并推送至kafka消息队列,后续通过消费kafka,对数据做偏移后持久化至数据库;
接入系统分析故障数据,统计故障趋势、超标车辆,进行车辆报警管理,故障数据和报警数据通过消费kafka消息队列得到,经过大数据技术实时分析计算,按同一辆车vin相同归纳该车的所有故障数据和报警数据,并持久化到mysql数据库,页面展示数据查询mysql数据库;
数据偏移是按照标准协议对解析数据做一个换算,使其符合实际值;
设原始数据指为A1,协议规定的数据精度为B,偏移量为u,偏移后的数据A2为:A2=A1*B+u,u为正数或负数,判断偏移后的数据是否符合设定的数据范围,若是,则将精度偏移后的数据持久化至数据库,若否,该数据为无效值;
车辆监管平台由转发系统与其他平台建立tcp链路,平台间约定tcp传输协议,转发系统按照协议编码,转发编码后的报文,平台间维护一个心跳,该心跳保持tcp链路不断开;
车载终端与接入系统建立tcp链路,接入系统负责维护和监控链接的运行状态,包括:接入系统对各链路进行检测,当发现有链路超过规定的时间未发送消息,则判断该链路为空闲,立即关闭该链路;
设置链路堵塞数,用于实时查询链路堵塞情况,以及分析接入系统处理数据是否过缓;链路堵塞数初始设为0,设置堵塞数是便于查看该链路的堵塞情况,当有数据上传时对该链路堵塞数加一,数据处理完毕减一,查看堵塞数用于实时发现链路堵塞情况,数据解析过慢或终端发送数据频率过快可能导致堵塞严重,严重的堵塞可能导致页面无数据的情况;
接入系统对外暴露web接口,通过调用http接口下发一个请求,对单一终端链路设置一个开关,该开关可以控制是否解析该链路上传的数据,达到屏蔽某台车的数据,链路管理模块维护着成千上万的链路,每一个链路都对应着一个终端,每个链路均有一个数据接收开关,该开关控制着这一链路的数据是否解析,要想屏蔽某个终端的数据,需要页面下发一个关闭的请求,在多链路中有唯一标识指定某一链路,对不想接收的车辆数据可以进行单链路数据屏蔽,控制对应链路的数据接收开关关闭。
2.根据权利要求1所述的车辆监管平台数据管理方法,其特征在于:无效值也入库。
3.根据权利要求1所述的车辆监管平台数据管理方法,其特征在于:将静态数据录入mysql数据库并同步至geode数据库,车辆登入、登出验证时,将geode数据库存储的静态信息作为登入验证数据,静态数据包括带有车辆唯一标识码vin的车辆信息、车型信息;
车载终端采集的各种数据包括车辆定位数据、发动机数据、obd数据;数据库包括ES数据库和mysql数据库,Web页面展示的实时数据从ES数据库获取。
4.一种车辆监管平台数据管理系统,其特征在于:包括接入系统、转发系统,车载终端与接入系统建立tcp链路,所述车载终端用于发送登入请求给接入系统,接入系统解析登入请求,登入请求包含车辆唯一标识码vin,接入系统通过验证车辆唯一标识码vin的合法性和正确性对车载终端进行验证,所述车载终端用于将采集的各种数据发送给接入系统进行解析,解析的数据为原始数据,未进行数据偏移,接入系统将数据解析后推送至kafka消息队列,从kafka消息队列里面消费数据,并对数据做精度偏移后持久化至数据库;
接入系统解析车辆数据并推送至kafka消息队列,后续通过消费kafka,对数据做精度偏移后持久化至数据库;
数据偏移是按照标准协议对解析数据做一个换算,使其符合实际值;
设原始数据指为A1,协议规定的数据精度为B,偏移量为u,偏移后的数据A2为:A2=A1*B+u,u为正数或负数,判断偏移后的数据是否符合设定的数据范围,若是,则将精度偏移后的数据持久化至数据库,若否,该数据为无效值;
所述转发系统消费kafka消息队列里面的数据,通过TCP转发的方式转发至其他平台;
所述接入系统设有TCP链路管理模块,TCP链路管理模块用于负责维护和监控链接的运行状态,包括:接入系统对空闲链路进行检测,当发现有链路在设置的链路超时时间内无实时数据上报,则关闭该链路;
以及设置链路堵塞数,用于实时查询链路堵塞情况;
以及每个链路均设置一个数据接收开关,该开关控制着对应链路的数据是否解析,每一个链路都对应着一个终端,当需要屏蔽某个终端的数据,则控制对应链路的数据接收开关关闭;
转发系统与其他平台建立tcp链路,建立连接的同时发送平台登入的报文,其他平台解析、验证登入数据,登入数据包含平台用户名和密码,若验证通过,则平台登入成功,平台登入成功后将从kafka消费的数据编码后转发给其他平台,一次完整的转发由消费kafka消息队列里面的数据开始,消费得到的数据包含需要转发的报文,其他平台解析本转发系统转发的数据,按照平台间约定的传输协议进行编码传输,以收到其他平台的应答为结束。
5.根据权利要求4所述的车辆监管平台数据管理系统,其特征在于:还包括geode数据库,geode数据库用于存储静态数据,车辆登入、登出验证时,geode数据库存储的静态信息用于作为登入验证数据;
车载终端采集的各种数据包括车辆定位数据、发动机数据、obd数据;数据库包括ES数据库和mysql数据库,Web页面展示的实时数据从ES数据库获取,Web页面展示的数据从mysql数据库获取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010401998.1A CN111740952B (zh) | 2020-05-13 | 2020-05-13 | 一种车辆监管平台数据管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010401998.1A CN111740952B (zh) | 2020-05-13 | 2020-05-13 | 一种车辆监管平台数据管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111740952A CN111740952A (zh) | 2020-10-02 |
CN111740952B true CN111740952B (zh) | 2023-06-06 |
Family
ID=72647154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010401998.1A Active CN111740952B (zh) | 2020-05-13 | 2020-05-13 | 一种车辆监管平台数据管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111740952B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112383620B (zh) * | 2020-11-13 | 2022-08-02 | 亿咖通(湖北)技术有限公司 | 一种车载设备与云平台的通信方法、设备及存储介质 |
CN114691800A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 数据处理方法、装置及计算机可读存储介质 |
CN113162942A (zh) * | 2021-04-27 | 2021-07-23 | 深圳市伊起来科技有限公司 | 一种自适应协议的转发方法 |
CN114499999B (zh) * | 2021-12-31 | 2024-02-20 | 北京罗克维尔斯科技有限公司 | 身份认证方法、装置、平台、车辆、设备及介质 |
CN115240294A (zh) * | 2022-07-14 | 2022-10-25 | 东风商用车有限公司 | 商用车尿素消耗量统计分析系统及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106790367A (zh) * | 2016-11-15 | 2017-05-31 | 山东省科学院自动化研究所 | 大数据处理的车辆安全隐患预警和事故重现系统及方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8666801B2 (en) * | 2006-06-06 | 2014-03-04 | ErgonoTech, Inc. | Long-range location-specific menu-driven mobile payment platform mounted on vehicle dashtop |
KR101837096B1 (ko) * | 2016-01-27 | 2018-03-09 | 주식회사 패튼코 | 차량용 프록시 장치 및 데이터관리서버의 차량데이터 관리방법 |
CN109801399A (zh) * | 2018-12-29 | 2019-05-24 | 北京理工新源信息科技有限公司 | 新能源车辆故障实时报警方法及系统 |
CN110987083B (zh) * | 2019-12-23 | 2021-08-17 | 北京蜂云科创信息技术有限公司 | 一种基于车联网对车辆排放数据监测的方法和设备 |
-
2020
- 2020-05-13 CN CN202010401998.1A patent/CN111740952B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106790367A (zh) * | 2016-11-15 | 2017-05-31 | 山东省科学院自动化研究所 | 大数据处理的车辆安全隐患预警和事故重现系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111740952A (zh) | 2020-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111740952B (zh) | 一种车辆监管平台数据管理方法及系统 | |
CN111740953B (zh) | 一种车辆监管平台数据接入转发方法及系统 | |
CN108011904B (zh) | 信息发送方法、接收方法、装置及信息收发系统 | |
CN111897718A (zh) | 一种基于大数据的车机自动测试方法及存储介质 | |
CN108829825B (zh) | 一种车辆数据获取自动适配方法及装置 | |
CN101408758B (zh) | 汽车尾气监控系统 | |
CN104850113A (zh) | 一种汽车远程诊断系统及方法 | |
US20080236141A1 (en) | Method and system for automatically inspecting and registering automotive exhaust emission data | |
CN103455026A (zh) | 一种车辆故障诊断和预警方法及装置 | |
CN113452486B (zh) | 车辆信息的上传方法、装置、设备和存储介质 | |
CN112445183A (zh) | 一种基于柴油obd检测的远程监控平台及系统 | |
CN207198655U (zh) | 一种基于obd的在用车排放数据采集在线传输终端设备 | |
CN111741063A (zh) | 一种车辆监管平台数据接入处理方法及系统 | |
CN211579994U (zh) | 一种满足机动车国六标准的远程监控模块及机动车 | |
CN111127695A (zh) | 一种用于在用车国六排放阶段车辆监控系统 | |
CN102996210B (zh) | 汽车排放在线自动诊断远程监控系统及其方法 | |
Schweppe et al. | Flexible on-board stream processing for automotive sensor data | |
CN203035322U (zh) | 一种汽车排放在线自动诊断远程监控装置 | |
CN111880510A (zh) | 一种新能源汽车数据采集及发送方法及设备 | |
CN106228639B (zh) | Obd数据的处理方法和装置 | |
CN114625111A (zh) | 车辆状态的监测方法和系统 | |
CN114821855B (zh) | 车辆排放数据的监测方法、装置、终端设备及介质 | |
Shaout et al. | Vehicle condition, driver behavior analysis and data logging through CAN sniffing. | |
CN110572447B (zh) | 一种车联网obd数据处理方法及系统 | |
Shaout et al. | CAN Sniffing for Vehicle Condition, Driver Behavior Analysis and Data Logging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |