CN111740953A - 一种车辆监管平台数据接入转发方法及系统 - Google Patents

一种车辆监管平台数据接入转发方法及系统 Download PDF

Info

Publication number
CN111740953A
CN111740953A CN202010402011.8A CN202010402011A CN111740953A CN 111740953 A CN111740953 A CN 111740953A CN 202010402011 A CN202010402011 A CN 202010402011A CN 111740953 A CN111740953 A CN 111740953A
Authority
CN
China
Prior art keywords
data
vehicle
link
forwarding
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010402011.8A
Other languages
English (en)
Other versions
CN111740953B (zh
Inventor
王科
张�诚
丁石立
李晓聪
张宇
蔡文
吴晓津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Sagittarius Integration Co Ltd
Original Assignee
South Sagittarius Integration Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Sagittarius Integration Co Ltd filed Critical South Sagittarius Integration Co Ltd
Priority to CN202010402011.8A priority Critical patent/CN111740953B/zh
Publication of CN111740953A publication Critical patent/CN111740953A/zh
Application granted granted Critical
Publication of CN111740953B publication Critical patent/CN111740953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/142—Managing session states for stateless protocols; Signalling session states; State transitions; Keeping-state mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/143—Termination or inactivation of sessions, e.g. event-controlled end of session
    • H04L67/145—Termination or inactivation of sessions, e.g. event-controlled end of session avoiding end of session, e.g. keep-alive, heartbeats, resumption message or wake-up for inactive or interrupted session
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Power Engineering (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Small-Scale Networks (AREA)

Abstract

本发明公开了一种车辆监管平台数据接入转发方法及系统，车载终端与接入系统建立tcp连接，车载终端发送登入请求给接入系统，接入系统解析登入请求，登入请求包含车辆唯一标识码vin；接入系统通过验证车辆唯一标识码vin的合法性和正确性对车载终端进行验证；如果验证不成功，则关闭该tcp链路；如果验证成功，则车载终端将采集的各种数据发送给接入系统进行解析，解析的数据为原始数据，未进行数据偏移，接入系统将数据解析后推送至kafka消息队列，从kafka消息队列里面消费数据，并对数据做精度偏移后持久化至数据库，查询数据库并通过页面展示查询数据；转发系统消费kafka消息队列里面的数据，通过http形式发送数据转发至其他平台。

Description

一种车辆监管平台数据接入转发方法及系统
技术领域
本发明涉及车载数据接入领域，具体涉及一种车辆监管平台数据接入转发方法及系统。
背景技术
为防治装用压燃式及气体燃料点燃式发动机的汽车排气对环境的污染，改善空气质量，需要对车辆尾气等数据进行监管等，现有技术中还没有一种车辆监管平台数据接入转发方法及系统。
发明内容
本发明的目的在于克服现有技术之缺陷，提供了一种车辆监管平台数据接入转发方法及系统。
本发明是这样实现的：本发明公开了一种车辆监管平台数据接入转发方法，其特征在于，包括如下步骤：
车载终端与接入系统建立tcp连接，车载终端发送登入请求给接入系统，接入系统解析登入请求，登入请求包含车辆唯一标识码vin；
接入系统通过验证车辆唯一标识码vin的合法性和正确性对车载终端进行验证；
如果验证不成功，则关闭该tcp链路；
如果验证成功，则车载终端将采集的各种数据发送给接入系统进行解析，解析的数据为原始数据，未进行数据偏移，接入系统将数据解析后推送至kafka消息队列，转发系统消费kafka消息队列里面的数据，并通过http形式发送数据转发至其他平台，车辆监管平台的转发系统按照平台间相互约定的数据格式进行包装，通过post请求发送至其他平台，其他平台收到数据之后，首先验证校验码，然后校验数据用户和密码，在用户密码正确的前提下对加密数据体进行解密，得到车辆采集数据。
进一步地，车辆监管平台的转发系统按照平台间相互约定的数据格式进行包装，通过post请求发送至其他平台，其他平台收到数据之后，首先验证校验码，然后校验数据用户和密码，在用户密码正确的前提下对加密数据体进行解密，得到车辆采集数据。
进一步地，对http转发形式，转发系统维护转发逻辑，以设定的频率固定访问其他平台的心跳接口，通过心跳的返回结果判断其他平台是否正常，在不正常的情况下及时关闭转发。
进一步地，转发系统以批量的形式对数据进行转发，一次转发的数据量由kafka控制，具体包括：在kafka配置上，约定消费到多条数据时触发一次kafka的监听器，触发消费已消费到的多条数据；
未达到设定的多条数据时，当消费等待时间达到设定时间也触发kafka监听器，触发消费已消费到的多条数据。触发监听器后拿到kafka里面的数据，然后转发，此方式达到批量转发的目的。
进一步地，转发系统以多线程连接池的形式发送post请求，设置一个任务队列管理每一个post请求；
一次完整的数据链由消费kafka数据开始，完成数据转换、数据加密、数据包装，然后放入任务队列，每一个任务设有超时时间，任务在队列里面按顺序执行，在完成任务后既销毁，若该任务在设定的超时时间后未收到其他平台的应答则超时抛出异常，队列继续执行下一个任务，不影响后续数据的转发。
接入系统解析数据后推送数据到kafka信息队列，页面展示的数据是从kafka持久化到mysql或es数据库后查询出来展示的。
车载终端采集的各种数据包括车辆定位数据、发动机数据、obd数据。
定位数据包括经度、纬度。
发动机数据包括车速、大气压力、发动机净输出矩、摩擦扭矩矩、发动机转速、发动机燃料流量、SCR上游NOx传感器输出值、SCR下游NOx传感器输出值、反应剂余量、进气量、SCR入口温度、SCR出口温度、DPF压差、发动机冷却液温度、油箱液位、定位状态、累计里程。
Obd数据包括OBD诊断协议、MIL状态、诊断支持状态、诊断就绪状态、车辆识别码、软件标定识别号、标定验证码、IUPR值、故障码总数、故障码信息列表。
进一步地，数据库包括ES数据库和mysql数据库，Web页面展示的实时数据从ES数据库获取，Web页面展示的数据从mysql数据库获取。
接入系统解析车辆数据并推送至kafka消息队列，后续通过消费kafka，对数据做精度偏移后持久化至数据库；数据偏移是按照标准协议对解析数据做一个换算，使其符合实际值。
数据偏移是按照标准协议对解析数据做一个换算，使其符合实际值。
进一步地，设原始数据指为A1，协议规定的数据精度为B，偏移量为u，偏移后的数据A2为：A2＝A1*B+u，u为正数或负数，判断偏移后的数据是否符合设定的数据范围，若是，则将精度偏移后的数据持久化至数据库，若否，该数据为无效值，无效值也入库。
进一步地，将静态数据录入mysql数据库并同步至geode数据库，车辆登入、登出验证时，将geode数据库存储的静态信息作为登入验证数据，静态数据包括带有车辆唯一标识码vin的车辆信息、车型信息。
geode数据库用作验证终端唯一标识vin。kafka信息队列作为消息中间件。
进一步地，车载终端与接入系统建立tcp连接，接入系统负责维护和监控链接的运行状态，包括：接入系统对各链路进行检测，当发现有链路超过规定的时间未发送消息，则立即关闭该链路；
以及设置链路堵塞数，用于实时查询链路堵塞情况；
以及每个链路均设置一个数据接收开关，该开关控制着对应链路的数据是否解析，每一个链路都对应着一个终端，当需要屏蔽某个终端的数据，则控制对应链路的数据接收开关关闭。
本发明公开了一种车辆监管平台数据接入转发系统，包括接入系统，车载终端与接入系统建立tcp连接，所述车载终端用于发送登入请求给接入系统，接入系统解析登入请求，登入请求包含车辆唯一标识码vin，接入系统通过验证车辆唯一标识码vin的合法性和正确性对车载终端进行验证，所述车载终端用于将采集的各种数据发送给接入系统进行解析，解析的数据为原始数据，未进行数据偏移，接入系统将数据解析后推送至kafka消息队列，从kafka消息队列里面消费数据，并对数据做精度偏移后持久化至数据库；
所述转发系统消费kafka消息队列里面的数据，通过http形式发送数据转发至其他平台。
进一步地，车辆监管平台数据接入转发系统还包括geode数据库，geode数据库用于存储静态数据，车辆登入、登出验证时，geode数据库存储的静态信息用于作为登入验证数据。
进一步地，所述接入系统设有TCP链路管理模块，TCP链路管理模块用于维护链路超时和监控链路堵塞情况，以及屏蔽数据；包括：接入系统对各链路进行检测，当发现有链路超过规定的时间未发送消息，则立即关闭该链路；
以及设置链路堵塞数，用于实时查询链路堵塞情况；
以及每个链路均设置一个数据接收开关，该开关控制着对应链路的数据是否解析，每一个链路都对应着一个终端，当需要屏蔽某个终端的数据，则控制对应链路的数据接收开关关闭。
进一步地，车载终端采集的各种数据包括车辆定位数据、发动机数据、obd数据；数据库包括ES数据库和mysql数据库，Web页面展示的实时数据从ES数据库获取，Web页面展示的数据从mysql数据库获取。
进一步地，车辆监管平台的转发系统按照平台间相互约定的数据格式进行包装，通过post请求发送至其他平台，其他平台收到数据之后，首先验证校验码，然后校验数据用户和密码，在用户密码正确的前提下对加密数据体进行解密，得到车辆采集数据。
转发系统维护转发逻辑，以设定的频率固定访问其他平台的心跳接口，通过心跳的返回结果判断其他平台是否正常，在不正常的情况下及时关闭转发；
转发系统以批量的形式对数据进行转发，一次转发的数据量由kafka控制，具体包括：在kafka配置上，约定消费到多条数据时触发一次kafka的监听器，未达到设定的多条数据时，当消费等待时间达到设定时间也触发kafka监听器；
转发系统以多线程连接池的形式发送post请求，设置一个任务队列管理每一个post请求；
一次完整的数据链由消费kafka数据开始，完成数据转换、数据加密、数据包装，然后放入任务队列，每一个任务设有超时时间，任务在队列里面按顺序执行，在完成任务后既销毁，若该任务在设定的超时时间后未收到其他平台的应答则超时抛出异常，队列继续执行下一个任务，不影响后续数据的转发。
本发明的有益效果为：本发明能对车载终端进行登记、注册等管理，显示车载终端上报频率、数据采集频率和采集的数据，能按要求向生态环境部门实时转发车辆OBD信息、发动机信息、排放数据、经纬度等数据。接入系统分析故障数据，统计故障趋势、超标车辆，进行车辆报警管理(OBD报警、故障报警、发动机报警)。故障数据和报警数据通过消费kafka消息队列得到，经过大数据技术实时分析计算，按同一辆车vin相同归纳该车的所有故障数据和报警数据，并持久化到mysql数据库，页面展示数据查询mysql数据库。
本发明通过上述方法实现了静态数据同步、数据接入、数据持久化、数据转发。
终端与接入系统建立tcp连接，该链路被链路管理模块管理和监控，以固定的的频率监测该链路是否空闲，是否有信息堵塞，以及接入系统连接的链路数，对空闲链路采取剔除的方式防止资源占用；信息堵塞量可以让开发人员及时发现信息处理过慢，做出优化；接入系统连接数可以实时知道当前在线车辆数。
设置超时时间，当链路在该时间范围没有上传数据就认为是空闲链接，目的是节约系统资源，大量空闲链接占用系统内存资源，需要及时清除空闲链接。
查询堵塞情况主要是便于分析接入系统处理数据是否过缓，对于过缓可能是程序代码不合理，应该优化代码，减少耗时的逻辑。
本发明通过设置转发系统，主要是转发车辆采集数据，由接入系统接入数据推送至kafka，转发系统消费该kafka，转发至其他平台，包括地方平台，企业平台，国家平台等。
本发明采用http的形式发送数据，由平台间相互约定的数据格式和加密规则进行数据转发，由post请求发送，转发系统按照数据格式A进行包装，通过post请求发送至其他平台，其他平台收到数据A之后，首先验证校验码，然后校验数据用户和密码，在用户密码正确的前提下对加密数据体进行解密，得到车辆采集数据。
对http转发形式，转发系统维护转发逻辑，以特定的频率固定访问其他平台的心跳接口，通过心跳的返回结果判断其他平台是否正常，在不正常的情况下及时关闭转发，避免数据丢失。
在kafka消费方面，由于kakfka队列数据量很大，以单条数据进行转发会对其他平台的服务器造成非常大的压力，所以我们以批量的形式进行转发，这个一次转发的数据量由kafka控制，在kafka配置上，我们约定消费到设定的多条数据时触发一次kafka的监听器，未达到设定的多条数据时，当消费等待时间达到2秒也触发kafka监听器，这样达到人为控制转发数据量，并能很好的解决实时性。
在某种场景下，需要在终端上传数据的同时完成解析消费转发，及时的在其他平台收到数据以达到实时性，在发送请求的逻辑上，转发系统同样管理请求的转发及异常处理，以多线程连接池的形式发送post请求，有一个任务队列管理每一个post请求，一次完整的数据链由消费kafka数据开始，完成数据转换，数据加密，数据包装，然后放入任务队列，每一个任务有两秒的超时时间，任务在队列里面按顺序执行，在完成任务后既销毁，若该任务在两秒后未收到其他平台的应答则超时抛出异常，队列继续执行下一个任务，不影响后续数据的转发。
附图说明
图1为本发明的车辆监管平台数据接入转发系统的原理框图；
图2为本发明的车辆监管平台数据接入系统的原理框图；
图3为本发明的车辆监管平台数据接入方法的流程图；
图4为本发明的车辆监管平台数据转发方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参见图1至图4，本实施例公开了一种车辆监管平台数据接入转发方法，其特征在于，包括如下步骤：
车载终端与接入系统建立tcp连接，建立连接同时车载终端发送登入请求给接入系统，接入系统解析登入请求，获取车辆登入的车辆唯一标识码vin，登入请求包含车辆唯一标识码vin；接入系统通过验证车辆唯一标识码vin的合法性和准入性对车载终端进行验证；
如果验证不成功，则关闭该tcp链路；
如果验证成功，则车载终端将采集的各种数据发送给接入系统进行解析，解析的数据为原始数据，未进行数据偏移，接入系统解析车辆数据并推送至kafka消息队列，后续通过消费kafka，对数据做精度偏移后持久化至数据库；
同时，转发系统消费kafka消息队列里面的数据，并通过http形式发送数据转发至其他平台；车辆监管平台的转发系统按照平台间相互约定的数据格式进行包装，通过post请求发送至其他平台，其他平台收到数据之后，首先验证校验码，然后校验数据用户和密码，在用户密码正确的前提下对加密数据体进行解密，得到车辆采集数据。本发明可以通过查询数据库并通过页面展示查询数据。
进一步地，对http转发形式，转发系统维护转发逻辑，以设定的频率固定访问其他平台的心跳接口，通过心跳的返回结果判断其他平台是否正常，在不正常的情况下及时关闭转发。
进一步地，转发系统以批量的形式对数据进行转发，一次转发的数据量由kafka控制，具体包括：在kafka配置上，约定消费到设定的多条数据时触发一次kafka的监听器；
未达到设定的多条数据时，当消费等待时间达到设定时间也触发kafka监听器。触发监听器后拿到kafka里面的数据，然后转发，此方式达到批量转发的目的。
进一步地，转发系统以多线程连接池的形式发送post请求，设置一个任务队列管理每一个post请求；
一次完整的数据链由消费kafka数据开始，完成数据转换、数据加密、数据包装，然后放入任务队列，每一个任务设有超时时间(如2秒)，任务在队列里面按顺序执行，在完成任务后既销毁，若该任务在设定的超时时间(如2秒)后未收到其他平台的应答则超时抛出异常，队列继续执行下一个任务，不影响后续数据的转发。
车载终端采集的各种数据包括车辆定位数据、发动机数据、obd数据。
定位数据包括经度、纬度。
发动机数据包括车速、大气压力、发动机净输出矩、摩擦扭矩矩、发动机转速、发动机燃料流量、SCR上游NOx传感器输出值、SCR下游NOx传感器输出值、反应剂余量、进气量、SCR入口温度、SCR出口温度、DPF压差、发动机冷却液温度、油箱液位、定位状态、累计里程。
Obd数据包括OBD诊断协议、MIL状态、诊断支持状态、诊断就绪状态、车辆识别码、软件标定识别号、标定验证码、IUPR值、故障码总数、故障码信息列表。
进一步地，数据库包括ES数据库和mysql数据库，Web页面展示的实时数据从ES数据库获取，Web页面展示静态数据、行程数据从mysql数据库获取。
进一步地，数据偏移是按照标准协议对解析数据做一个换算，使其符合实际值。
进一步地，设原始数据指为A1，协议规定的数据精度为B，偏移量为u，偏移后的数据A2为：A2＝A1*B+u，u为正数或负数，判断偏移后的数据是否符合设定的数据范围，若是，则将精度偏移后的数据持久化至数据库，若否，该数据为无效值，无效值也入库。
例：车速解析原始数据为15360，协议规定该数据精度：1/256km/h，偏移量：0，数据范围：0～250.996km/h，偏移后：15360/256-0＝60km/h，符合数据范围。
例：经度解析原始数据为109523473，协议规定该数据精度：0.000001°，偏移量：0，数据范围：0～180.000000°，偏移后：
109523473*0.000001-0＝109.523473，符合数据范围。
进一步地，管理员将静态数据录入mysql数据库并同步至接入系统的geode数据库，车辆登入、登出验证时，geode数据库存储的静态信息作为登入验证数据。
进一步地，车载终端与接入系统建立tcp连接，接入系统负责维护和监控链接的运行状态，包括：接入系统对各链路进行检测，当发现有链路超过规定的时间未发送消息，则立即关闭该链路；例：若当前超时时间为30s，当某个链路超过30s没有上传数据时，判断该链路为空闲，系统就会主动关闭该链路，如果认为该超时时间不合理时，我们可以通过web接口设置为其他任意时间。
以及设置链路堵塞数，用于实时查询链路堵塞情况；链路堵塞数初始设为0，设置堵塞数主要是便于查看该链路的堵塞情况，当有数据上传时对该计数加一，数据处理完毕减一，查看堵塞数可以实时发现链路堵塞情况，数据解析过慢或终端发送数据频率过快可能导致堵塞严重，严重的堵塞可能导致页面无数据的情况。
设置查询链路超时时间可以知道当前系统是以什么样的时间间隔对空闲链接的处理，当我们觉得该时间太长或太短时可以随时改变超时时间。接入系统实时查询链路超时时间，对链路的超时做出灵活掌控。
以及每个链路均设置一个数据接收开关，该开关控制着对应链路的数据是否解析，每一个链路都对应着一个终端，当需要屏蔽某个终端的数据，则控制对应链路的数据接收开关关闭。
查询堵塞情况主要是便于分析接入系统处理数据是否过缓，对于过缓可能是程序代码不合理，应该优化代码，减少耗时的逻辑。
接入系统对外暴露web接口，通过调用http接口下发一个请求，对单一终端链路设置一个开关，该开关可以控制是否解析该链路上传的数据，达到屏蔽某台车的数据，链路管理模块维护着成千上万的链路，每一个链路都对应着一个终端，每个链路均有一个数据接收开关，该开关控制着这一链路的数据是否解析。要想屏蔽某个终端的数据，需要页面下发一个关闭的请求。在多链路中有唯一标识指定某一链路，对不想接收的车辆数据可以进行单链路数据屏蔽。
车载终端上传的数据包含定位数据，终端按照10s一包数据的频率上报给接入系统，通过实时统计定位数据可以在地图上显示出该车辆的行驶轨迹。
车载终端将采集的车辆位置信息、故障信息、发动机信息、尾气信息以一定频率上报至接入系统。
接入系统解析报文后，对数据做初步基本校验，验证格式后的数据推送至kafka消息队列。
从kakfa消息队列取出相关数据进行纠偏，然后再批量持久化至数据库。相关数据指接入系统解析后推送kafka消息队列的数据，定位数据就取经纬度相关数据，obd数据就取obd相关数据，纠偏就是对数据做精度偏移，接入系统解析的数据不符合实际值，做精度偏移可以对解析后的原始值进行转换，并剔除超范围的数据。
接入系统分析故障数据，统计故障趋势、超标车辆，进行车辆报警管理(OBD报警、故障报警、发动机报警)。故障数据和报警数据通过消费kafka消息队列得到，经过大数据技术实时分析计算，按同一辆车vin相同归纳该车的所有故障数据和报警数据，并持久化到mysql数据库，页面展示数据查询mysql数据库。
页面添加车辆信息保存至mysql数据库，包含：vin，区域，制造企业，发动机型号，发动机号，车型，终端id，车辆品牌，车牌种类、颜色等信息，并同步至接入系统使用的geode数据库。车型信息的录入，主要包含：车辆型号，发动机型号，汽车分类，燃料类型，车辆类型，排放标准等，数据接入主要为实时数据接入。
车辆信息数据结构如下：
Figure BDA0002489836600000111
Figure BDA0002489836600000121
车型信息数据结构如下：
Figure BDA0002489836600000122
Figure BDA0002489836600000131
在接入数据前平台同步数据到接入系统的数据库，在车辆登入时作为车辆的接入验证，验证合法的车辆开始解析实时数据，实时数据主要包含obd数据、发动机数据、补充数据流。
补充数据流如下表所示：
Figure BDA0002489836600000132
Figure BDA0002489836600000141
OBD信息数据如下表所示：
Figure BDA0002489836600000142
Figure BDA0002489836600000151
Figure BDA0002489836600000161
Figure BDA0002489836600000171
Figure BDA0002489836600000181
发动机数据流如下表所示：
Figure BDA0002489836600000182
Figure BDA0002489836600000191
Figure BDA0002489836600000201
Figure BDA0002489836600000211
obd数据在实时数据流中每10s发一包含有obd的数据，以十六进制编码发送至接入系统，系统收到报文后按字节顺序解析，obd数据包含OBD诊断协议，MIL状态，诊断支持状态(由两个字节表示，两个字节占十六位，通过对位的解析，拿到每一位所表示的含义)，诊断就绪状态，车辆识别码(VIN)，软件标定识别号，标定验证码(CVN)，IUPR值，故障码总数，故障码信息列表。OBD数据用于故障分析，超标分析，统计故障趋势分布，对车辆报警(OBD报警，故障报警，发动机报警)进行管理。
发动机数据流采集频率为1s，每10s一包发送至接入平台，在尾气监控平台中，发动机数据作为主要数据，包含车速，大气压力，扭矩，发动机转速，燃料流量，氮氧化合物浓度，反应剂余量，PDF压差，发动机冷却液温度，SCR出入口温度，定位信息等，以十六进编码形式发送到接入平台，平台按字节解析，将解析的数据实时推送kafka消息队列，用于数据分析和持久化。
补充数据主要作为数据的补充，主要包含：发动机扭矩模式，油门踏板，累计油耗，尿素箱温度，实际尿素喷射量，累计尿素消耗，DPF排气温度，瞬时油耗，DPF压差，发动机总运行时间，环境温度等数据。
采用RESTAPIs文档生成工具swaager，所有接口通过swaager界面可以进行预览。
实施例二
参见图1至图4，本实施例公开了一种车辆监管平台数据接入转发系统，包括接入系统、转发系统，车载终端与接入系统建立tcp连接，所述车载终端用于发送登入请求给接入系统，接入系统解析登入请求，登入请求包含车辆唯一标识码vin，接入系统通过验证车辆唯一标识码vin的合法性和正确性对车载终端进行验证，所述车载终端用于将采集的各种数据发送给接入系统进行解析，解析的数据为原始数据，未进行数据偏移，接入系统将数据解析后推送至kafka消息队列，从kafka消息队列里面消费数据，并对数据做精度偏移后持久化至数据库；所述转发系统消费kafka消息队列里面的数据，通过http形式发送数据转发至其他平台，包括地方平台，企业平台，国家平台等。
本实施例的车辆监管平台的转发系统按照平台间相互约定的数据格式进行包装，通过post请求发送至其他平台，其他平台收到数据之后，首先验证校验码，然后校验数据用户和密码，在用户密码正确的前提下对加密数据体进行解密，得到车辆采集数据。
转发系统维护转发逻辑，以设定的频率固定访问其他平台的心跳接口，通过心跳的返回结果判断其他平台是否正常，在不正常的情况下及时关闭转发；
转发系统以批量的形式对数据进行转发，一次转发的数据量由kafka控制，具体包括：在kafka配置上，约定消费到设定的多条数据时触发一次kafka的监听器，未达到设定的多条数据时，当消费等待时间达到设定时间(如2S)也触发kafka监听器；本实施例N为50。
转发系统以多线程连接池的形式发送post请求，设置一个任务队列管理每一个post请求。
一次完整的数据链由消费kafka数据开始，完成数据转换、数据加密、数据包装，然后放入任务队列，每一个任务设有超时时间，任务在队列里面按顺序执行，在完成任务后既销毁，若该任务在设定的超时时间后未收到其他平台的应答则超时抛出异常，队列继续执行下一个任务，不影响后续数据的转发。
当然，转发方式还可以采用TCP转发的形式发送数据，车辆监管平台由转发系统与其他平台建立TCP连接，平台间约定tcp传输协议，转发系统按照协议编码，转发编码后的报文，平台间维护一个心跳，该心跳保持tcp链路不断开，首先转发系统要与其他平台建立tcp连接，建立连接的同时发送平台登入的报文，其他平台解析登入数据，登入数据包含平台用户名和密码，其他平台验证用户名和密码通过后开始解析本转发系统转发的实时数据，一次完整的转发由消费kafka数据开始，消费得到的数据包含需要转发报文，该报文是一种以十六进制编码的数据格式，然后按照平台间约定的传输协议进行编码传输，以收到其他平台的应答为结束。
传输协议格式：信息头命令标识应答标识车辆识别码数据加密方式数据单元长度数据单元校验码。
车载终端发送采集的数据以十六进制字节码的形式发送给接入系统进行解析，解析的数据为原始数据，未进行数据偏移，推送kafka消息队列，消费kafka后对数据做偏移，解析协议中的说明就是对解析的原始数据做精度转换，做数据偏移是严格按照标准协议对解析数据做一个换算，使其符合实际值。
车载终端、tbox用于采集记录车辆数据：行驶里程，发动机转速，燃料流量，车速，NO浓度，进气温度，大气压力，定位数据等......
进一步地，车辆监管平台数据接入转发系统还包括geode数据库，geode数据库用于存储静态数据，车辆登入、登出验证时，geode数据库存储的静态信息用于作为登入验证数据。
进一步地，所述接入系统设有TCP链路管理模块，TCP链路管理模块用于负责维护和监控链接的运行状态，包括：TCP链路管理模块对各链路进行检测，当发现有链路超过规定的时间未发送消息，则立即关闭该链路；
以及设置链路堵塞数，TCP链路管理模块实时查询链路堵塞情况；
以及设置链路超时时间，TCP链路管理模块实时查询链路超时时间，对链路的超时做出灵活掌控；
以及设置数据接收开关，查询数据接收开关，在多链路中有唯一标识指定某一链路，对不想接收的车辆数据可以进行单链路数据屏蔽。
TCP链路管理模块通过实时数据连续发送维持链路连接，空闲3分钟移除链路，对多链路可屏蔽或解除数据的接入。
进一步地，数据库包括ES数据库和mysql数据库，Web页面展示的实时数据从ES数据库获取，Web页面展示静态数据、车辆定位数据等从mysql数据库获取。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种车辆监管平台数据接入转发方法，其特征在于，包括如下步骤：
车载终端与接入系统建立tcp连接，车载终端发送登入请求给接入系统，接入系统解析登入请求，登入请求包含车辆唯一标识码vin；
接入系统通过验证车辆唯一标识码vin的合法性和正确性对车载终端进行验证；
如果验证不成功，则关闭该tcp链路；
如果验证成功，则车载终端将采集的各种数据发送给接入系统进行解析，解析的数据为原始数据，未进行数据偏移，接入系统将数据解析后推送至kafka消息队列，转发系统消费kafka消息队列里面的数据，并通过http形式发送数据转发至其他平台，车辆监管平台的转发系统按照平台间相互约定的数据格式进行包装，通过post请求发送至其他平台，其他平台收到数据之后，首先验证校验码，然后校验数据用户和密码，在用户密码正确的前提下对加密数据体进行解密，得到车辆采集数据。
2.根据权利要求1所述的车辆监管平台数据接入转发方法，其特征在于：对http转发形式，转发系统维护转发逻辑，以设定的频率固定访问其他平台的心跳接口，通过心跳的返回结果判断其他平台是否正常，在不正常的情况下及时关闭转发。
3.根据权利要求1所述的车辆监管平台数据接入转发方法，其特征在于：转发系统以批量的形式对数据进行转发，一次转发的数据量由kafka控制，具体包括：在kafka配置上，约定消费到多条数据时触发一次kafka的监听器，未达到设定的多条数据时，当消费等待时间达到设定时间也触发kafka监听器，触发监听器后拿到kafka里面的数据，然后转发；
转发系统以多线程连接池的形式发送post请求，设置一个任务队列管理每一个post请求；
一次完整的数据链由消费kafka数据开始，完成数据转换、数据加密、数据包装，然后放入任务队列，每一个任务设有超时时间，任务在队列里面按顺序执行，在完成任务后既销毁，若该任务在设定的超时时间后未收到其他平台的应答则超时抛出异常，队列继续执行下一个任务，不影响后续数据的转发。
4.根据权利要求1所述的车辆监管平台数据接入转发方法，其特征在于：接入系统解析车辆数据并推送至kafka消息队列，后续通过消费kafka，对数据做精度偏移后持久化至数据库；数据偏移是按照标准协议对解析数据做一个换算，使其符合实际值。
5.根据权利要求4所述的车辆监管平台数据接入转发方法，其特征在于：设原始数据指为A1，协议规定的数据精度为B，偏移量为u，偏移后的数据A2为：A2＝A1*B+u，u为正数或负数，判断偏移后的数据是否符合设定的数据范围，若是，则将精度偏移后的数据持久化至数据库，若否，该数据为无效值，无效值也入库。
6.根据权利要求1所述的车辆监管平台数据接入转发方法，其特征在于：车载终端采集的各种数据包括车辆定位数据、发动机数据、obd数据；数据库包括ES数据库和mysql数据库，Web页面展示的实时数据从ES数据库获取，Web页面展示的数据从mysql数据库获取；
将静态数据录入mysql数据库并同步至geode数据库，车辆登入、登出验证时，将geode数据库存储的静态信息作为登入验证数据，静态数据包括带有车辆唯一标识码vin的车辆信息、车型信息。
7.根据权利要求1所述的车辆监管平台数据接入转发方法，其特征在于：车载终端与接入系统建立tcp连接，接入系统负责维护和监控链接的运行状态，包括：接入系统对各链路进行检测，当发现有链路超过规定的时间未发送消息，则立即关闭该链路；
以及设置链路堵塞数，用于实时查询链路堵塞情况；
以及每个链路均设置一个数据接收开关，该开关控制着对应链路的数据是否解析，每一个链路都对应着一个终端，当需要屏蔽某个终端的数据，则控制对应链路的数据接收开关关闭。
8.一种车辆监管平台数据接入转发系统，其特征在于：包括接入系统、转发系统，车载终端与接入系统建立tcp连接，所述车载终端用于发送登入请求给接入系统，接入系统解析登入请求，登入请求包含车辆唯一标识码vin，接入系统通过验证车辆唯一标识码vin的合法性和正确性对车载终端进行验证，所述车载终端用于将采集的各种数据发送给接入系统进行解析，解析的数据为原始数据，未进行数据偏移，接入系统将数据解析后推送至kafka消息队列，从kafka消息队列里面消费数据，并对数据做精度偏移后持久化至数据库；
所述转发系统消费kafka消息队列里面的数据，通过http形式发送数据转发至其他平台。
9.根据权利要求8所述的车辆监管平台数据接入转发系统，其特征在于：还包括geode数据库，geode数据库用于存储静态数据，车辆登入、登出验证时，geode数据库存储的静态信息用于作为登入验证数据；
车载终端采集的各种数据包括车辆定位数据、发动机数据、obd数据；数据库包括ES数据库和mysql数据库，Web页面展示的实时数据从ES数据库获取，Web页面展示的数据从mysql数据库获取；
所述接入系统设有TCP链路管理模块，TCP链路管理模块用于负责维护和监控链接的运行状态，包括：接入系统对空闲链路进行检测，当发现有链路在设置的链路超时时间内无实时数据上报，则关闭该链路；
以及设置链路堵塞数，用于实时查询链路堵塞情况；
以及每个链路均设置一个数据接收开关，该开关控制着对应链路的数据是否解析，每一个链路都对应着一个终端，当需要屏蔽某个终端的数据，则控制对应链路的数据接收开关关闭。
10.根据权利要求8所述的车辆监管平台数据接入转发系统，其特征在于：车辆监管平台的转发系统按照平台间相互约定的数据格式进行包装，通过post请求发送至其他平台，其他平台收到数据之后，首先验证校验码，然后校验数据用户和密码，在用户密码正确的前提下对加密数据体进行解密，得到车辆采集数据。
CN202010402011.8A 2020-05-13 2020-05-13 一种车辆监管平台数据接入转发方法及系统 Active CN111740953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010402011.8A CN111740953B (zh) 2020-05-13 2020-05-13 一种车辆监管平台数据接入转发方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010402011.8A CN111740953B (zh) 2020-05-13 2020-05-13 一种车辆监管平台数据接入转发方法及系统

Publications (2)

Publication Number Publication Date
CN111740953A true CN111740953A (zh) 2020-10-02
CN111740953B CN111740953B (zh) 2023-06-06

Family

ID=72647119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010402011.8A Active CN111740953B (zh) 2020-05-13 2020-05-13 一种车辆监管平台数据接入转发方法及系统

Country Status (1)

Country Link
CN (1) CN111740953B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112399379A (zh) * 2020-10-28 2021-02-23 星火科技技术(深圳)有限责任公司 智能车联网通讯协议方法、装置、设备及存储介质
CN113031552A (zh) * 2021-03-09 2021-06-25 浙江菲达环保科技股份有限公司 炉后环保设备协同控制方法及系统
CN113839923A (zh) * 2021-08-28 2021-12-24 西安交通大学 一种面向多节点的高性能处理方法
CN114679417A (zh) * 2022-03-14 2022-06-28 深圳元戎启行科技有限公司 车载数据的分发方法、系统、装置及可读存储介质
CN115220991A (zh) * 2021-12-14 2022-10-21 广州汽车集团股份有限公司 数据监控方法、车载控制器及汽车

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272528B1 (en) * 1997-08-02 2001-08-07 International Computers Limited Computer method for delivery of financial services
US20070291780A1 (en) * 2006-06-16 2007-12-20 Harris Corporation System and methods for generic data transparent rules to support quality of service
CN101751778A (zh) * 2008-12-02 2010-06-23 富士通株式会社 数据通信设备、数据通信系统和信息收集方法
CN103888993A (zh) * 2012-12-19 2014-06-25 中国移动通信集团广东有限公司 拥塞窗口的调整方法、wap网关和网络资源监测服务器
CN104519059A (zh) * 2014-12-16 2015-04-15 北京中交兴路车联网科技有限公司 一种车辆的实时告警处理系统及方法
CN107508797A (zh) * 2017-07-28 2017-12-22 广州亿程交通信息有限公司 车联网平台数据传输保密方法
CN108390881A (zh) * 2018-02-27 2018-08-10 北京焦点新干线信息技术有限公司 一种分布式高并发实时消息推送方法及系统
CN109801399A (zh) * 2018-12-29 2019-05-24 北京理工新源信息科技有限公司 新能源车辆故障实时报警方法及系统
EP3567496A1 (en) * 2018-05-09 2019-11-13 Palantir Technologies Inc. Systems and methods for indexing and searching
CN111147447A (zh) * 2019-12-03 2020-05-12 苏宁云计算有限公司 一种数据的保护方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272528B1 (en) * 1997-08-02 2001-08-07 International Computers Limited Computer method for delivery of financial services
US20070291780A1 (en) * 2006-06-16 2007-12-20 Harris Corporation System and methods for generic data transparent rules to support quality of service
CN101751778A (zh) * 2008-12-02 2010-06-23 富士通株式会社 数据通信设备、数据通信系统和信息收集方法
CN103888993A (zh) * 2012-12-19 2014-06-25 中国移动通信集团广东有限公司 拥塞窗口的调整方法、wap网关和网络资源监测服务器
CN104519059A (zh) * 2014-12-16 2015-04-15 北京中交兴路车联网科技有限公司 一种车辆的实时告警处理系统及方法
CN107508797A (zh) * 2017-07-28 2017-12-22 广州亿程交通信息有限公司 车联网平台数据传输保密方法
CN108390881A (zh) * 2018-02-27 2018-08-10 北京焦点新干线信息技术有限公司 一种分布式高并发实时消息推送方法及系统
EP3567496A1 (en) * 2018-05-09 2019-11-13 Palantir Technologies Inc. Systems and methods for indexing and searching
CN109801399A (zh) * 2018-12-29 2019-05-24 北京理工新源信息科技有限公司 新能源车辆故障实时报警方法及系统
CN111147447A (zh) * 2019-12-03 2020-05-12 苏宁云计算有限公司 一种数据的保护方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
C GERLOFF,C CLEOPHAS: "Excavating the treasure of IOT data:An architecture to empower rapid data analytics for predictive maintenance of connected vehicles", 《RESEARCHGATE 》 *
汪翼舟等: "车载GPS终端与系统平台消息的中继与转发", 《电子测试》 *
程朋胜;李剑波;: "地铁综合监控系统之用户和权限管理", 机电工程技术 *
罗东锋: "车联网信息服务平台安全机制的研究与实现", 《中国优秀硕士学位论文全文数据库工程科技II辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112399379A (zh) * 2020-10-28 2021-02-23 星火科技技术(深圳)有限责任公司 智能车联网通讯协议方法、装置、设备及存储介质
CN113031552A (zh) * 2021-03-09 2021-06-25 浙江菲达环保科技股份有限公司 炉后环保设备协同控制方法及系统
CN113031552B (zh) * 2021-03-09 2022-10-25 浙江菲达环保科技股份有限公司 炉后环保设备协同控制方法及系统
CN113839923A (zh) * 2021-08-28 2021-12-24 西安交通大学 一种面向多节点的高性能处理方法
CN115220991A (zh) * 2021-12-14 2022-10-21 广州汽车集团股份有限公司 数据监控方法、车载控制器及汽车
CN115220991B (zh) * 2021-12-14 2024-01-19 广州汽车集团股份有限公司 数据监控方法、车载控制器及汽车
CN114679417A (zh) * 2022-03-14 2022-06-28 深圳元戎启行科技有限公司 车载数据的分发方法、系统、装置及可读存储介质

Also Published As

Publication number Publication date
CN111740953B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN111740953A (zh) 一种车辆监管平台数据接入转发方法及系统
CN111740952B (zh) 一种车辆监管平台数据管理方法及系统
CN108011904B (zh) 信息发送方法、接收方法、装置及信息收发系统
EP3559625B1 (en) Device and method for managing an electric vehicle
CN106210131A (zh) 一种车联网can数据采集方法
CN101408758B (zh) 汽车尾气监控系统
CN112367233B (zh) 基于面向服务的架构下车载网络ecu通信方法及装置
CN111741063A (zh) 一种车辆监管平台数据接入处理方法及系统
Chou et al. i-Car system: A LoRa-based low power wide area networks vehicle diagnostic system for driving safety
CN111897718A (zh) 一种基于大数据的车机自动测试方法及存储介质
CN104850113A (zh) 一种汽车远程诊断系统及方法
CN110768882B (zh) 一种数据监控方法、系统、监听设备及车辆
CN105610974B (zh) 一种车辆快速救援服务智能车载装置及其工作方法
CN111131231A (zh) 一种将车载终端数据接入车联网监控平台的方法和设备
CN112243205A (zh) 一种基于物联网的多协议融合处理方法
CN113452486B (zh) 车辆信息的上传方法、装置、设备和存储介质
CN211579994U (zh) 一种满足机动车国六标准的远程监控模块及机动车
CN111127695A (zh) 一种用于在用车国六排放阶段车辆监控系统
CN114900515A (zh) 一种列车文件回传方法、列车主机、站点及控制中心
CN115459976A (zh) 一种基于mqtt的车辆信息监测管理方法及系统
CN116634042A (zh) 大数据报文解析方法、装置及存储介质
CN116279682A (zh) 高速综合检测列车的检测数据传输方法及装置
CN213182719U (zh) 一种用于称重数据采集、存储、分发和监测设备及系统
CN115333791A (zh) 基于云端的车辆安全防护方法及相关设备
CN113965447B (zh) 一种在线云诊断方法、装置、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant