CN108415944A - 一种交通环境下基于微服务的实时计算系统及其实现方法 - Google Patents

一种交通环境下基于微服务的实时计算系统及其实现方法 Download PDF

Info

Publication number
CN108415944A
CN108415944A CN201810090452.1A CN201810090452A CN108415944A CN 108415944 A CN108415944 A CN 108415944A CN 201810090452 A CN201810090452 A CN 201810090452A CN 108415944 A CN108415944 A CN 108415944A
Authority
CN
China
Prior art keywords
data
layer
traffic
service
engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810090452.1A
Other languages
English (en)
Other versions
CN108415944B (zh
Inventor
段宗涛
及历荣
唐蕾
朱依水
王少章
赵圣娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201810090452.1A priority Critical patent/CN108415944B/zh
Publication of CN108415944A publication Critical patent/CN108415944A/zh
Application granted granted Critical
Publication of CN108415944B publication Critical patent/CN108415944B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Stored Programmes (AREA)

Abstract

一种交通环境下基于微服务的实时计算系统及其实现方法，表现层接收用户请求操作，将请求发送给API网关层；API网关层通过调用微服务治理层进行服务发现与匹配，API网关层调用微服务层服务；微服务激活数据采集器，实时采集交通社交数据；数据标准化引擎将采集的数据进行标准化并传送给分布式消息引擎；分布式消息引擎将标准化后的数据输送给流处理引擎，流处理引擎收将事故对象结果发送给分布式消息处理引擎；分布式消息引擎将输出结果反馈给微服务层，表现层通过调用相应API从微服务层中获取结果。本发明把模型抽象形成独立层次，既可应用领域驱动设计方法所具备应对繁杂业务扩展的优势，又可以加速软件体系的运行效率。

Description

一种交通环境下基于微服务的实时计算系统及其实现方法
技术领域
本发明属于数据处理领域，涉及一种面向交通信息服务的实时计算系统，具体涉及一种 交通环境下基于微服务的实时计算系统及其实现方法。
背景技术
随着城市化进程的加快，交通问题已经成为经济社会发展中不得不面对的重要问题。而 随着移动互联网、车联网、社交媒体等新兴信息技术和应用模式的快速发展,交通相关数据的 体量也在急剧增加。如何有效利用这些异构的数据进行交通热点(指在一定时间范围内能够 持续带来大规模、高频次交通活动的区域)分析便成为研究热点之一，由于交通热点区域往 往对周边路造成区域性交通拥堵影响，因此交通热点区域的发现有助于及时对交通拥堵情况 进行分析，是改善交通状况的关键技术与前提条件之一，可以为交通规划、资源调度、拥堵 治理、政府决策等方面提供有价值的理论参考依据。
目前交通热点分析比较常见的系统是利用Spark或Hadoop对交通数据进行集中式的离线 数据处理，热点分析受限于单机处理能力并且时效性无法满足交通热点分析的实时性需求， 面对交通领域中日益增长的海量实时动态的流式数据，现有的热点分析框架存在着伸缩性、 扩展性较差等问题。同时现有实时交通热点分析系统大多采用政府交管部门所发布的交通数 据，无法满足交通热点分析中实时性需求，并未充分利用移动互联网与社交媒体所产生的更 加具有时效性的数据。由此可见，如何充分利用移动互联网的发展所带来的数据红利是解决 交通热点分析的重要一环。
发明内容
本发明的目的是提供一种交通环境下基于微服务的实时计算系统及其实现方法。
为实现上述目的，本发明采用如下的技术方案：
一种交通环境下基于微服务的实时计算系统，包括六个基本层次与四个执行引擎，分别 是：表现层、API网关层、微服务层、微服务治理层、交通领域模型层、数据标准化引擎、 数据流处理引擎、自然语言处理引擎、分布式消息引擎以及基础框架层；其中，
表现层用于通过UI向用户展示与提供所需的数据信息，同时接收用户的输入干预操作与 反馈的数据，并将接收的用户的输入干预操作与反馈的数据发送给API网关层；
API网关层，用于为表现层提供的统一的接口契约和入口，API网关层封装了微服务层所 提交的API，并向前台提供裁剪的API，提供路由转发与过滤器功能，实现请求转发、智能 路由、负载均衡与横切功能；
微服务层，用于为API网关层提供具体的业务实现，降低交通领域模型层与业务逻辑的 耦合度，实现交通应用的实际需求；
微服务治理层，用于将微服务层的业务逻辑动态的进行服务注册和发现，保证交通信息 服务的位置透明，提高集群利用率；
交通领域模型层，用于展现交通领域的行为逻辑、业务处理状态以及实现业务的规则， 交通领域模型层中的交通领域模型包含交通领域对象的状态信息；
数据标准化引擎用于为异构数据提供标准化的数据表示方法；
数据流处理引擎用于对实时的交通流数据进行实时计算并及时反馈结果，在有效时间内 获取其数据价值；
自然语言处理引擎用于提供中英文文本相似性检验，提高交通社交数据的可靠性与降低 信息的冗余；
分布式消息引擎用于将数据流的生成与消费进行解耦；
基础框架层用于为数据归一化引擎、数据流处理引擎、自然语言处理引擎、分布式消息 引擎与微服务层提供数据存取机制。
nosql数据库为基础框架层提供数据存储功能。
本发明进一步的改进在于，横切功能包括权限校验、监控、限流缓存、请求改造和管理 以及静态内容响应。
本发明进一步的改进在于，数据流处理引擎包括采用异构数据异构数据获取模块。
本发明进一步的改进在于，还包括为基础框架层提供数据存储功能的nosql数据库。
一种交通环境下基于微服务的实时计算方法，包括以下步骤：
步骤1：建立交通领域模型层下的交通领域模型，表现层接收用户请求操作，并将请求 发送给API网关层；
步骤2：API网关层通过调用微服务治理层进行服务发现与匹配，将匹配的服务信息发回 API网关层；
步骤3：API网关层根据返回的服务匹配信息调用微服务层服务；
步骤4：微服务激活数据采集器，实时采集交通社交数据；数据标准化引擎将采集的数 据进行标准化，并将标准化后的数据传送给分布式消息引擎；
步骤5：分布式消息引擎将标准化后的数据输送给流处理引擎，当流处理引擎收到数据 时，创建交通对象，并将交通对象的命中率置为0；然后流处理引擎通过调用自然语言处理 引擎进行信息可靠性计算，得到计算结果，并将计算结果、转发率、点赞率与发布者可信度 一并进行加权平均，得到相似性，当相似性达到78％时，对当前对象命中率加1，若命中率 达到某一阈值时，将事故对象结果发送给分布式消息处理引擎；
步骤6：分布式消息引擎将输出结果反馈给微服务层，表现层通过调用相应API从微服 务层中获取结果进行显示。
本发明进一步的改进在于，步骤1中，交通领域模型包括车辆状态模型和事故模型。
本发明进一步的改进在于，步骤4中，数据标准化引擎将采集的数据进行标准化，具体 将利用自然语言处理引擎中的LDA主题模型分析算法对数据进行归类，然后再进行信息裁 剪。
本发明进一步的改进在于，步骤6中，进行信息可靠性计算的过程为：将调用自然语言 处理引擎中的文本相似性处理模块利用TF-IDF算法对数据进行余弦相似性计算，得到计算结 果。
与现有技术相比，本发明具有的有益效果：
按照领域驱动设计(DDD)的思想，通常需要在微服务层建立交通领域模型，这样能够更 好地应对复杂与不断扩展的交通应用需求。然而在实际应用中，较常见的交通应用表现出繁 琐且复杂性不高的业务逻辑，因此，本发明把模型抽象形成独立层次，既具备繁杂业务情况 下高可扩展性的优势，又可以加速软件体系的运行效率。
本发明采用微服务架构模式，微服务架构模式采用一组服务的方式来构建分布式应用， 服务基于业务能力构建并独立部署在不同的进程中，能够通过自动化部署机制来独立部署。 不同服务通过一些轻量级交互机制来通信，例如RPC、HTTP等，服务可独立扩展伸缩，每 个服务定义了明确的边界，不同的服务甚至可以采用不同的编程语言来实现，以及不同数据 存储技术，并保持最低限度的集中式管理。相对于传统的单体应用架构，微服务架构通过将 功能分解到各个离散的服务实现对应用系统的解耦，具有明显的优势：
①复杂度更低：每一个微服务专注于单一功能，并通过定义良好的接口清晰表述服务 边界，体积小、复杂度低，提高了系统的可维护性和开发效率。
②通过服务实现应用的组件化：微服务架构中将组件定义为可被独立替换和升级的软 件单元，在应用架构设计中通过将整体应用切分成可独立部署及升级的微服务方式进行组件 化设计。当某个微服务发生变更时无需编译、部署整个应用。由微服务组成的应用相当于具 备一系列可并行的发布流程，使得发布更加高效，同时降低对生产环境所造成的风险，最终 缩短应用交付周期。
③技术选型灵活：每个团队可以根据自身服务的需求和行业发展的现状，自由选择最 适合的技术栈。
④容错:在微服务架构下，故障被隔离在单个服务中。可通过重试、平稳退化等机制实 现应用层面的容错，避免全局性的不可用。
⑤扩展：每个服务可以根据实际需求独立进行扩展。
⑥“去中心化”治理与“去中心化”数据管理：整体式应用往往倾向于采用单一技术平台， 微服务架构则鼓励使用合适的工具完成各自的任务，每个微服务可以考虑选用最佳工具完成 (如不同的编程语言)。微服务的技术标准倾向于寻找其他开发者已成功验证解决类似问题的 技术。微服务架构倡导采用多样性持久化的方法，让每个微服务管理其自有数据库，并允许 不同微服务采用不同的数据持久化技术。
本发明采用Apache Storm(数据流处理引擎)实现实时流处理引擎，Apache Storm是一 个分布式的，可靠的，容错的数据流处理系统。其会把工作任务委托给不同类型的组件，每 个组件负责处理一项简单特定的任务。Storm集群的输入流由一个被称作spout的组件管理， spout把数据传递给bolt，bolt要么把数据保存到某种存储器，要么把数据传递给其它的 bolt。Apache Storm相较于其他流式处理引擎具有以下特性：(a)简单的编程模型。用户只需 编写Spout和Bolt部分的实现,因此极大地降低了实时大数据流式计算的复杂性；(b)支持 多种编程语言。默认支持Clojure,Java,Ruby和Python，也可以通过添加相关协议实现对新 增语言的支持；(c)作业级容错性。可以保证每个数据流作业被完全执行；(d)水平可扩展。 计算可以在多个线程、进程和服务器之间并发执行；(e)快速消息计算。通过ZeroMQ作为 其底层消息队列，保证了消息能够得到快速的计算。
附图说明
图1为本发明提出的软件体系框架。
图2为本发明提出的交通信息环境下基于微服务的实时计算系统。
具体实施方式
以下结合附图对一种交通信息环境下基于微服务的实时计算系统及其实现方法进行具体 说明。
由于交通数据具有来源范围广，大数据量实时，数据结构异构性高等特点。为了更加有 效的实时处理这些异构交通数据，提出了基于微服务的实时计算系统。关于数据融合方面， 本框架采用自然语言处理算法将数据进行分类，分层的架构逐层处理数据，并将所有异构数 据转换为可交换数据格式。关于架构执行效率方面，本框架通过实现分布式流式计算引擎以 及分布式消息系统，以实现高扩展性和高可靠的实时计算特性。
根据微服务的设计范式，整合软件设计工具插件，采用分层架构的思想，围绕车联网业 务逻辑，面向对象进行分析与设计，可以建立如附图1所示的，以交通应用领域为中心的六 层四引擎的分布式软件体系框架。
六个基本层次与四个执行引擎，分别是：表现层、API网关层、微服务层、微服务治理 层、交通领域模型层、数据标准化引擎、数据流处理引擎、自然语言处理引擎、分布式消息 引擎、基础框架层。
表现层主要通过友好的UI向用户展示与提供所需的数据信息，同时接收用户的输入干预 操作与反馈的数据。
API网关层为表现层提供的统一的接口契约和入口，其封装了内部的系统架构并向前台 提供裁剪的API，并提供路由转发与过滤器等功能。实现请求转发，智能路由，负载均衡与 一系列横切功能，如负责诸如权限校验、监控、限流缓存、请求改造和管理以及静态内容响 应等职责。
微服务层为API网关层提供具体的业务实现。让模型层可以关注实现交通业务模型，以 及交通应用的实际需求。构造微服务可避免对大量细粒度服务的调用操作，减少表现层和交 通领域模型层之间的直接交互过程。提供对交通领域模型的便捷操作，通过网络或接口向表 现层暴露粗粒度的逻辑业务。
服务治理层是一个基于访问压力实时管理集群容量的调度中心，它支持动态地交通信息 服务注册和发现，保证交通信息服务的位置透明，提高集群利用率。
交通领域模型层主要是展现交通领域的行为逻辑、业务处理状态以及实现业务的规则， 同时也包含了交通领域对象的状态信息。交通领域模型层是整个体系框架的核心部分。它包 含实体、“值”对象、领域服务、仓储契约/接口等概念。对应于交通领域下，可构造车辆、 驾驶员、路线等领域模型。
数据标准化引擎主要为异构数据提供标准化的数据表示方法。
数据流处理引擎包括异构数据获取模块，用于采用异构数据；数据流处理引擎为本系统 提供低延迟、高吞吐且持续可靠运行的流式计算服务，主要用于对实时的交通流数据进行实 时计算并及时反馈结果，在有效时间内获取其数据价值。
自然语言处理引擎为平台提供中英文文本相似性检验，提高交通社交数据的可靠性与降 低信息的冗余。
分布式消息引擎将数据流的生成与消费进行解耦。
基础框架层提供支撑其他各层的基本库，为其他各引擎与微服务层提供数据存取机制。 可采用软件的“持久化访问”机制，或Web服务等来实现基础框架层。框架层向其它层提供通 用技术框架。
按照领域驱动设计(DDD)的思想，通常需要在微服务层建立交通领域模型，这样能够更 好地应对复杂与不断扩展的交通应用需求。然而在实际应用中，较常见的交通应用表现出繁 琐且复杂性不高的业务逻辑，因此，本发明把模型抽象形成独立层次，既可应用领域驱动设 计方法所具备的“应对繁杂业务扩展”优势，又可以加速软件体系的运行效率。
本发明的交通环境下基于微服务的实时计算方法，包括以下过程：
步骤1：建立交通领域模型层下的交通领域模型，交通领域模型包括车辆状态模型和事 故模型；表现层接收用户请求操作，并将请求发送给API网关层；
步骤2：API网关层通过调用微服务治理层进行服务发现与匹配，将匹配的服务信息发回 API网关层；
步骤3：API网关层根据返回的服务匹配信息调用微服务层服务；
步骤4：微服务激活数据采集器，实时采集交通社交数据；数据标准化引擎将采集的数 据进行标准化，具体为：数据标准化引擎将采集的数据进行标准化，具体将利用自然语言处 理引擎中的LDA主题模型分析算法对数据进行归类，然后再进行信息裁剪，并将标准化后的 数据传送给分布式消息引擎；
步骤5：分布式消息引擎将标准化后的数据输送给流处理引擎，当流处理引擎收到数据 时，创建交通对象，并将交通对象的命中率置为0；然后流处理引擎通过调用自然语言处理 引擎进行信息可靠性计算，具体为：将调用自然语言处理引擎中的文本相似性处理模块利用 TF-IDF算法对数据进行余弦相似性计算，得到计算结果，并将计算结果、转发率、点赞率与 发布者可信度一并进行加权平均，得到相似性，当相似性达到78％时，对当前对象命中率加 1，若命中率达到某一阈值时，将事故对象结果发送给分布式消息处理引擎；
步骤6：分布式消息引擎将输出结果反馈给微服务层，
表现层通过调用相应API从微服务层中获取结果进行显示。
作为本发明的第一实施例，如图2所示，为一种交通信息环境下基于微服务的实时计算 系统示意图：
该系统包括异构数据获取模块、数据标准化引擎、数据流处理引擎、自然语言处理引擎、 分布式消息引擎组成。
数据获取模块用于获取待处理数据，数据来源包括各省市交管部门发布的道路信息、省 市气象部门发布的恶劣天气预警和微博关于“交通事故”的社交数据。具体可利用新浪微博开 放平台搜索相关话题相关API(https://api.weibo.com/2/search/topics.json)或采用Python Scrapy 爬取相关交通社交信息，并将该待处理数据发送给数据归一化引擎进行归一化处理。
数据标准化引擎将利用自然语言处理引擎利用LDA算法进行主题模型分析，将社交交通 事件数据标准化为{ci,tsi.tei,li,di.pi}形式，其中ci(ci∈T)表示事件的类型主题，其中T是一些预 定义类型主题集合，例如交通拥堵，交通事故，道路维修，道路关闭等。其中tsi和tei是事件 Ei的开始时间和结束时间，li是事件Ei的地理位置信息，di是事件Ei的文本描述信息，p为事 件Ei的附图。
数据标准化引擎将利用自然语言处理引擎，例如
统一标准化分类为如下形式JSON对象：{class:‘accident’,start_time:1429619723, end_time:null,geo_location:{45.181424,9.153507},description: pic:‘https://pbs.twimg.com/media/CyL_ifiWEAAMUzJ.jpg’}
分布式消息引擎由RabbitMQ实现，由图中RabbitMQ消息引擎(入)通过接受数据归一 化引擎标准化的数据后，实现数据的分发。在本系统中通过给数据绑定 routing_key＝”weibo.undo.process”，同时给Storm Spout绑定binding_key＝”*.undo.*”采用TopicExchange(主题交换机)进行数据的产生与消费。
当待处理的数据进入undo_queue(通过bindkey＝”*.undo.*”所绑定的消息队列)中，Storm 框架中的Spout就会从queue中不间断的读取数据，将外部数据转化成Storm内部的数据，以 Tuple(消息元组)为基本的传输单元下发给Bolt。Blot将接收Spout发送来的数据，或上游 的bolt的发送的数据。根据业务逻辑进行处理为Topology进行消息的处理，Bolt可以执行过 滤，聚合，查询数据库等操作，而且可以一级一级的进行处理。在本系统中将Topology的数 据分组策略(StreamGrouping)设置为Local or ShuffleGrouping：表示如果目标bolt有一个或 者多个task在同一个工作进程中，tuple将会被随机发生给这些tasks。否则将随机分组，随机 派发stream里面的tuple，保证每个bolt接收到的tuple数目大致相同。
第一级blot将利用自然语言处理引擎，将每一条消息与Redis中的语料库进行文本相似 性分析，如果此条消息与redis中现有的某个对象文本相似性达到75％以上，将会对此条已有 对象的命中率进行加一操作，并丢弃当前消息。同时如果当前对象的命中数大于15，将会产 生预警信息，并将此告警对象绑定routing_key＝”weibo,warning.accident”发送到 binding_key＝”*.warning.*”的告警队列中，等待上层服务进行二次处理。如果相似性分析未达 到75％以上，将会把此条消息进行对象化处理，将此对象的命中率置为1，并存储进redis中。
本发明采用python实现自然语言处理，通过利用其中LSI(潜在语义索引)模型对社交交 通数据进行文本相似性分析，以此加强数据的可靠性与削减数据的冗余。

Claims (8)

1.一种交通环境下基于微服务的实时计算系统，其特征在于，包括六个基本层次与四个执行引擎，分别是：表现层、API网关层、微服务层、微服务治理层、交通领域模型层、数据标准化引擎、数据流处理引擎、自然语言处理引擎、分布式消息引擎以及基础框架层；其中，
表现层用于通过UI向用户展示与提供所需的数据信息，同时接收用户的输入干预操作与反馈的数据，并将接收的用户的输入干预操作与反馈的数据发送给API网关层；
API网关层，用于为表现层提供的统一的接口契约和入口，API网关层封装了微服务层所提交的API，并向前台提供裁剪的API，提供路由转发与过滤器功能，实现请求转发、智能路由、负载均衡与横切功能；
微服务层，用于为API网关层提供具体的业务实现，降低交通领域模型层与业务逻辑的耦合度，实现交通应用的实际需求；
微服务治理层，用于将微服务层的业务逻辑动态的进行服务注册和发现，保证交通信息服务的位置透明，提高集群利用率；
交通领域模型层，用于展现交通领域的行为逻辑、业务处理状态以及实现业务的规则，交通领域模型层中的交通领域模型包含交通领域对象的状态信息；
数据标准化引擎，用于为异构数据提供标准化的数据表示方法；
数据流处理引擎，用于对实时的交通流数据进行实时计算并及时反馈结果，在有效时间内获取其数据价值；
自然语言处理引擎，用于提供中英文文本相似性检验，提高交通社交数据的可靠性与降低信息的冗余；
分布式消息引擎，用于将数据流的生成与消费进行解耦；
基础框架层用于，为数据归一化引擎、数据流处理引擎、自然语言处理引擎、分布式消息引擎与微服务层提供数据存取机制。
2.根据权利要求1所述的一种交通环境下基于微服务的实时计算系统，其特征在于，横切功能包括权限校验、监控、限流缓存、请求改造和管理以及静态内容响应。
3.根据权利要求1所述的一种交通环境下基于微服务的实时计算系统，其特征在于，数据流处理引擎包括采用异构数据异构数据获取模块。
4.根据权利要求1所述的一种交通环境下基于微服务的实时计算系统，其特征在于，还包括为基础框架层提供数据存储功能的nosql数据库。
5.一种交通环境下基于微服务的实时计算方法，其特征在于，包括以下步骤：
步骤1：建立交通领域模型层下的交通领域模型，表现层接收用户请求操作，并将请求发送给API网关层；
步骤2：API网关层通过调用微服务治理层进行服务发现与匹配，将匹配的服务信息发回API网关层；
步骤3：API网关层根据返回的服务匹配信息调用微服务层服务；
步骤4：微服务激活数据采集器，实时采集交通社交数据；数据标准化引擎将采集的数据进行标准化，并将标准化后的数据传送给分布式消息引擎；
步骤5：分布式消息引擎将标准化后的数据输送给流处理引擎，当流处理引擎收到数据时，创建交通对象，并将交通对象的命中率置为0；然后流处理引擎通过调用自然语言处理引擎进行信息可靠性计算，得到计算结果，并将计算结果、转发率、点赞率与发布者可信度一并进行加权平均，得到相似性，当相似性达到78％时，对当前对象命中率加1，若命中率达到某一阈值时，将事故对象结果发送给分布式消息处理引擎；
步骤6：分布式消息引擎将输出结果反馈给微服务层，表现层通过调用相应API从微服务层中获取结果进行显示。
6.根据权利要求5所述的一种交通环境下基于微服务的实时计算方法，其特征在于，步骤1中，交通领域模型包括车辆状态模型和事故模型。
7.根据权利要求5所述的一种交通环境下基于微服务的实时计算方法，其特征在于，步骤4中，数据标准化引擎将采集的数据进行标准化，具体将利用自然语言处理引擎中的LDA主题模型分析算法对数据进行归类，然后再进行信息裁剪。
8.根据权利要求5所述的一种交通环境下基于微服务的实时计算方法，其特征在于，步骤5中，进行信息可靠性计算的过程为：将调用自然语言处理引擎中的文本相似性处理模块利用TF-IDF算法对数据进行余弦相似性计算，得到计算结果。
CN201810090452.1A 2018-01-30 2018-01-30 一种交通环境下基于微服务的实时计算系统及其实现方法 Expired - Fee Related CN108415944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810090452.1A CN108415944B (zh) 2018-01-30 2018-01-30 一种交通环境下基于微服务的实时计算系统及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810090452.1A CN108415944B (zh) 2018-01-30 2018-01-30 一种交通环境下基于微服务的实时计算系统及其实现方法

Publications (2)

Publication Number Publication Date
CN108415944A true CN108415944A (zh) 2018-08-17
CN108415944B CN108415944B (zh) 2019-03-22

Family

ID=63127306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810090452.1A Expired - Fee Related CN108415944B (zh) 2018-01-30 2018-01-30 一种交通环境下基于微服务的实时计算系统及其实现方法

Country Status (1)

Country Link
CN (1) CN108415944B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189835A (zh) * 2018-08-21 2019-01-11 北京京东尚科信息技术有限公司 实时生成数据宽表的方法和装置
CN109286689A (zh) * 2018-11-29 2019-01-29 北京车联天下信息技术有限公司 一种信息发送方法、装置及车载人车交互终端
CN109460223A (zh) * 2018-11-14 2019-03-12 沈阳林科信息技术有限公司 一种api网关管理系统及其方法
CN109703605A (zh) * 2018-12-25 2019-05-03 交控科技股份有限公司 一种基于微服务的ats系统
CN109800937A (zh) * 2018-08-28 2019-05-24 博众精工科技股份有限公司 机器人集群调度系统
CN110673962A (zh) * 2019-08-27 2020-01-10 腾讯科技（深圳）有限公司 一种内容流处理方法、装置、设备及介质
CN110688284A (zh) * 2019-09-29 2020-01-14 武汉易酒批电子商务有限公司 一种管理和监控RabbitMq消息队列的方法及系统
CN110837382A (zh) * 2019-09-26 2020-02-25 北京和德宇航技术有限公司 一种基于服务框架的窄带天基物联网终端升级方法及系统
CN111178782A (zh) * 2020-01-03 2020-05-19 广州博依特智能信息科技有限公司 一种流程工业数据化运营平台的微服务架构
CN111488420A (zh) * 2020-04-02 2020-08-04 中国科学院地理科学与资源研究所 去中心微服务化区域洪水预警水信息系统及其集成方法
CN111610979A (zh) * 2020-04-15 2020-09-01 河南大学 一种经过持久化和耦合度优化的api网关及其方法
CN112346717A (zh) * 2020-09-18 2021-02-09 长沙市到家悠享网络科技有限公司 微服务系统创建方法、装置、设备、介质、微服务系统
WO2021022987A1 (zh) * 2019-08-05 2021-02-11 腾讯科技（深圳）有限公司 车路协同装置和方法、电子设备和存储介质
CN112464123A (zh) * 2020-12-02 2021-03-09 汕头大学 一种基于微服务的水质监测数据可视化系统及方法
CN112558941A (zh) * 2020-12-22 2021-03-26 上海上实龙创智能科技股份有限公司 基于ddd的微服务请求处理方法、系统、设备及介质
CN112770137A (zh) * 2020-12-31 2021-05-07 重庆空间视创科技有限公司 基于微服务数据采集方法
CN113010565A (zh) * 2021-03-25 2021-06-22 腾讯科技（深圳）有限公司 基于服务器集群的服务器实时数据处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226687A (zh) * 2008-01-31 2008-07-23 浙江工业大学 一种城市交通中的典型行驶路线分析方法
US20090171890A1 (en) * 2008-01-02 2009-07-02 At&T Labs, Inc. Efficient predicate prefilter for high speed data analysis
CN105139328A (zh) * 2015-08-21 2015-12-09 北方工业大学 面向车牌识别数据的旅行时间实时预测方法及装置
CN107133273A (zh) * 2017-04-07 2017-09-05 青岛海信网络科技股份有限公司 一种基于大数据的交通线网数据处理方法和服务器集群
CN107274667A (zh) * 2017-08-14 2017-10-20 公安部交通管理科学研究所 城市交通智能管控系统联网联控框架及实施方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090171890A1 (en) * 2008-01-02 2009-07-02 At&T Labs, Inc. Efficient predicate prefilter for high speed data analysis
CN101226687A (zh) * 2008-01-31 2008-07-23 浙江工业大学 一种城市交通中的典型行驶路线分析方法
CN105139328A (zh) * 2015-08-21 2015-12-09 北方工业大学 面向车牌识别数据的旅行时间实时预测方法及装置
CN107133273A (zh) * 2017-04-07 2017-09-05 青岛海信网络科技股份有限公司 一种基于大数据的交通线网数据处理方法和服务器集群
CN107274667A (zh) * 2017-08-14 2017-10-20 公安部交通管理科学研究所 城市交通智能管控系统联网联控框架及实施方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘东萌: "实时城市公共交通状况分析与可视化关键技术研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189835A (zh) * 2018-08-21 2019-01-11 北京京东尚科信息技术有限公司 实时生成数据宽表的方法和装置
CN109800937A (zh) * 2018-08-28 2019-05-24 博众精工科技股份有限公司 机器人集群调度系统
CN109800937B (zh) * 2018-08-28 2020-12-01 博众精工科技股份有限公司 机器人集群调度系统
CN109460223A (zh) * 2018-11-14 2019-03-12 沈阳林科信息技术有限公司 一种api网关管理系统及其方法
CN109286689A (zh) * 2018-11-29 2019-01-29 北京车联天下信息技术有限公司 一种信息发送方法、装置及车载人车交互终端
CN109286689B (zh) * 2018-11-29 2020-12-11 北京车联天下信息技术有限公司 一种信息发送方法、装置及车载人车交互终端
CN109703605A (zh) * 2018-12-25 2019-05-03 交控科技股份有限公司 一种基于微服务的ats系统
US11974201B2 (en) 2019-08-05 2024-04-30 Tencent Technology (Shenzhen) Company Limited Vehicle-road collaboration apparatus and method, electronic device, and storage medium
KR102567204B1 (ko) * 2019-08-05 2023-08-14 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 차량-도로 협력 장치 및 방법, 전자 디바이스 및 저장 매체
EP4013007A4 (en) * 2019-08-05 2022-09-28 Tencent Technology (Shenzhen) Company Limited VEHICLE-ROAD COOPERATION APPARATUS AND METHOD, ELECTRONIC DEVICE AND STORAGE MEDIA
WO2021022987A1 (zh) * 2019-08-05 2021-02-11 腾讯科技（深圳）有限公司 车路协同装置和方法、电子设备和存储介质
KR20210130213A (ko) * 2019-08-05 2021-10-29 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 차량-도로 협력 장치 및 방법, 전자 디바이스 및 저장 매체
CN110673962A (zh) * 2019-08-27 2020-01-10 腾讯科技（深圳）有限公司 一种内容流处理方法、装置、设备及介质
CN110837382A (zh) * 2019-09-26 2020-02-25 北京和德宇航技术有限公司 一种基于服务框架的窄带天基物联网终端升级方法及系统
CN110688284A (zh) * 2019-09-29 2020-01-14 武汉易酒批电子商务有限公司 一种管理和监控RabbitMq消息队列的方法及系统
CN111178782B (zh) * 2020-01-03 2021-07-13 广州博依特智能信息科技有限公司 一种流程工业数据化运营平台的微服务架构
CN111178782A (zh) * 2020-01-03 2020-05-19 广州博依特智能信息科技有限公司 一种流程工业数据化运营平台的微服务架构
CN111488420B (zh) * 2020-04-02 2020-12-18 中国科学院地理科学与资源研究所 去中心微服务化区域洪水预警水信息系统及其集成方法
CN111488420A (zh) * 2020-04-02 2020-08-04 中国科学院地理科学与资源研究所 去中心微服务化区域洪水预警水信息系统及其集成方法
CN111610979A (zh) * 2020-04-15 2020-09-01 河南大学 一种经过持久化和耦合度优化的api网关及其方法
CN112346717A (zh) * 2020-09-18 2021-02-09 长沙市到家悠享网络科技有限公司 微服务系统创建方法、装置、设备、介质、微服务系统
CN112464123A (zh) * 2020-12-02 2021-03-09 汕头大学 一种基于微服务的水质监测数据可视化系统及方法
CN112464123B (zh) * 2020-12-02 2023-06-09 汕头大学 一种基于微服务的水质监测数据可视化系统及方法
CN112558941A (zh) * 2020-12-22 2021-03-26 上海上实龙创智能科技股份有限公司 基于ddd的微服务请求处理方法、系统、设备及介质
CN112770137A (zh) * 2020-12-31 2021-05-07 重庆空间视创科技有限公司 基于微服务数据采集方法
CN113010565A (zh) * 2021-03-25 2021-06-22 腾讯科技（深圳）有限公司 基于服务器集群的服务器实时数据处理方法及系统

Also Published As

Publication number Publication date
CN108415944B (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
CN108415944B (zh) 一种交通环境下基于微服务的实时计算系统及其实现方法
CN108335075B (zh) 一种面向物流大数据的处理系统及方法
Cao et al. Analytics everywhere: generating insights from the internet of things
US9680919B2 (en) Intelligent messaging grid for big data ingestion and/or associated methods
Cheng et al. Building a big data platform for smart cities: Experience and lessons from santander
US8965902B2 (en) Intelligent event query publish and subscribe system
Guerreiro et al. An architecture for big data processing on intelligent transportation systems. An application scenario on highway traffic flows
WO2023048747A1 (en) Systems, apparatus, articles of manufacture, and methods for cross training and collaborative artificial intelligence for proactive data management and analytics
CN108964996B (zh) 城乡一体化信息栅格系统及基于其的信息共享方法
US11902374B2 (en) Dynamic vehicle data extraction service
CN109410650B (zh) 面向全系统信息管理的基于情景与语义的信息聚合方法
CN107341595A (zh) 一种车辆动态信息公共服务平台
CN109345823B (zh) 一种基于大数据的智能交通数据分析系统
NL2032844B1 (en) Systems, apparatus, articles of manufacture, and methods for cross training and collaborative artificial intelligence for proactive data management and analytics
CN106850258A (zh) 一种日志管理系统、方法及装置
CN110865997A (zh) 一种电力系统设备隐患在线识别方法及其应用平台
Ma et al. Design and implementation of smart city big data processing platform based on distributed architecture
De Rango et al. Fuzzy inference system design for promoting an eco-friendly driving style in IoV domain
Prakash et al. A vehicular network based intelligent transport system for smart cities using machine learning algorithms
CN116629802A (zh) 一种用于铁路港口站的大数据平台系统
CN103164476A (zh) 一种bi应用元数据描述文件的执行方法和装置
Hireche et al. Toward a novel RESTFUL big data-based urban traffic incident data web service for connected vehicles
CN101882290A (zh) 互联网环境下基于情境本体的服务集成方法
Artem et al. Detection and recognition of moving biological objects for autonomous vehicles using intelligent edge computing/LoRaWAN mesh system
CN112765294A (zh) 一种气象大数据处理调度系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190322

Termination date: 20220130