CN112486473B - 基于Kafka和Redis的准实时目标航迹显示方法 - Google Patents

基于Kafka和Redis的准实时目标航迹显示方法 Download PDF

Info

Publication number
CN112486473B
CN112486473B CN202011371582.6A CN202011371582A CN112486473B CN 112486473 B CN112486473 B CN 112486473B CN 202011371582 A CN202011371582 A CN 202011371582A CN 112486473 B CN112486473 B CN 112486473B
Authority
CN
China
Prior art keywords
data
target track
target
track
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011371582.6A
Other languages
English (en)
Other versions
CN112486473A (zh
Inventor
于志伟
王妍妍
王楠
杨增
路奎
王利军
李招
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202011371582.6A priority Critical patent/CN112486473B/zh
Publication of CN112486473A publication Critical patent/CN112486473A/zh
Application granted granted Critical
Publication of CN112486473B publication Critical patent/CN112486473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/544—Remote
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Abstract

本发明提供基于Kafka和Redis的准实时目标航迹显示方法，包括：构建前端显示程序和后端处理服务，在后端处理服务中构建目标航迹点数据结构，存储目标航迹点数据；在Redis服务中构建目标航迹数据存储类型，存储不同类型的目标航迹点数据；在后端处理服务中建立Kafka消费线程，实时获取Kafka消息队列内部的目标航迹原始数据，转换获取多个目标航迹点数据，更新Redis服务中的目标航迹点数据；前端显示程序根据筛选条件定时获取并解析目标航迹点数据后，在地理信息系统图层上显示最新目标位置信息和航迹路径信息。相较于现有技术，具有轻量的系统架构和简单的处理步骤，适用于各种航迹数据处理显示的场合，对硬件资源要求低，便于软件的维护和部署。

Description

基于Kafka和Redis的准实时目标航迹显示方法
技术领域
本发明涉及目标航迹显示技术领域，尤其涉及基于Kafka和Redis的准实时目标航迹显示方法。
背景技术
现有的实时目标航迹显示系统需要同时实现航迹的接收、缓存、加工处理、图形化显示以及用户交互，往往采用较笨重的系统架构，对系统硬件资源要求较高、软件较难维护和部署。
发明内容
本发明所解决的技术问题在于提供基于Kafka和Redis的准实时目标航迹显示方法，该方法通过Kafka和Redis中间件处理实时目标航迹数据并采用前后端分类的方式显示实时航迹和历史航迹，具有轻量的系统架构和简单的处理步骤，适用于各种航迹数据处理显示的场合。
本发明提供的基于Kafka和Redis的准实时目标航迹显示方法，包括以下步骤：
步骤1，构建前端显示程序和后端处理服务，在所述后端处理服务中构建目标航迹点数据结构，用于存储目标航迹点数据；具体的，本发明中，可以采用B/S或C/S软件架构构建前端显示程序和后端处理服务。
步骤2，在Redis服务中构建目标航迹数据存储类型，用于存储不同类型的目标航迹点数据；本发明中，所述前端显示程序负责信息显示，所述后端处理服务处理数据。后端处理服务将处理好的数据写入redis服务中，前端显示程序从redis中读取处理好的数据并显示。
步骤3，在所述后端处理服务中建立Kafka消费线程，用于实时获取Kafka消息队列内部的目标航迹原始数据，所述目标航迹原始数据中包含目标基础信息和航迹参数信息；本发明中，所述Kafka数据由外部系统提供的Kafka数据生产服务写入Kafka消息队列中。
步骤4，建立异步线程，用于处理所述目标航迹原始数据；
步骤5，在所述异步线程中解析目标航迹原始数据，并将所述目标航迹原始数据转换为多个目标航迹点数据，所述多个目标航迹点数据中包含不同目标的不同航迹点实时信息；
步骤6，根据所述多个目标航迹点数据，更新所述Redis服务中的每一类型的目标航迹点数据；
步骤7，所述前端显示程序根据筛选条件定时获取Redis服务中的不同类型的目标航迹点数据，对所述目标航迹点数据解析后，在地理信息系统图层上显示最新目标位置信息和航迹路径信息。
进一步地，在一种实现方式中，所述目标航迹点数据结构中包含目标航迹唯一标识、目标航迹点唯一标识、位置信息数据、运动状态信息、时间信息和目标基本属性信息。
进一步地，在一种实现方式中，所述步骤2中，在所述Redis服务中构建的目标航迹数据存储类型，包括字符串类型、哈希类型和链表类型；具体的，本发明中，所述字符串类型、哈希类型和链表类型即String类型、Hash类型和List类型。
其中，所述字符串类型用于存储同一目标航迹的最新航迹点信息；
所述哈希类型用于存储同一目标航迹下的所有航迹点数据；
所述链表类型用于存储所有目标航迹数据；
所述字符串类型和哈希类型的目标航迹数据存储类型设置有过期时间。
进一步地，在一种实现方式中，所述步骤2包括：
当在所述Redis服务中构建的目标航迹数据存储类型为字符串类型时，Redis数据结构中的Key包括固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息；具体的，所述String类型的Key可以采用Trail_{trackID}_{Country}_{Source}_{attribute}的字符串形式构建。
所述字符串类型对应的Value为目标航迹点数据的JSON字符串。
进一步地，在一种实现方式中，所述步骤2包括：
当在Redis数据结构中构建的目标航迹数据存储类型为哈希类型时，Redis数据结构中的Key包括固定标识和目标航迹唯一标识；其中，同一目标航迹的不同航迹点所对应的目标航迹唯一标识相同；具体的，所述Hash类型的Key可以采用Track_{trackID}的形式构建。
所述哈希类型中Field属性采用包含目标航迹下单个航迹点唯一标识的形式构建，其中，每个所述目标航迹数据中具有唯一的目标航迹下单个航迹点唯一标识；具体的，所述Hash类型中Field属性可以采用{trailID}的形式构建。
所述哈希类型对应的Value为目标航迹点数据的JSON字符串，同一所述Redis数据结构中的Key下包含多个目标航迹唯一标识，每个所述目标航迹唯一标识对应一个目标航迹点数据的JSON字符串。本发明中，同一Track_{trackID}下包含多个{trailID}，每个{trailID}对应一个目标航迹点T的JSON字符串。
进一步地，在一种实现方式中，所述步骤2包括：
当在Redis数据结构中构建的目标航迹数据存储类型为链表类型时，所述链表类型存储所有目标航迹的所有目标航迹点数据的JSON字符串数据，且采用先入先出的存储策略。
进一步地，在一种实现方式中，所述步骤6包括：
更新所述Redis服务中的字符串类型、哈希类型和链表类型的目标航迹点数据：
将所述多个目标航迹点数据序列化存入链表类型的目标航迹点数据中；
遍历所述目标航迹点数据中的航迹点，获取所述航迹点中目标航迹点唯一标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息，组合成字符串，并采用所述航迹点序列化后的字符串数据更新字符串类型中Key为对应的Value值；本发明中，本步骤所述的组合获得的字符串可表示为Trail_{trackID}_{Country}_{Source}_{attribute}。
同时，采用所述航迹点序列化后的字符串数据，更新哈希类型中Key为固定标识和目标航迹唯一标识的字符串，Field为目标航迹点唯一标识的Value值。
进一步地，在一种实现方式中，所述步骤6，包括：
在更新字符串类型中的固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息的数据时，先获取所述Redis服务中的已有数据，将所述已有数据和当前的目标航迹数据中时间信息进行比较；
如果所述已有数据的时间早于当前的目标航迹数据中的时间信息，则更新所述固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息对应Value值，否则不进行更新。
进一步地，在一种实现方式中，所述步骤6，包括：
在更新字符串类型中的固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息数据时，获取当前的目标航迹数据中的目标航向信息；
如果所述目标航向信息为非法值或空值，则根据所述Redis服务中已有数据位置信息和当前目标航迹数据位置信息计算理论航向，所述理论航向为已有数据位置点和当前的目标航迹数据位置点形成的向量的方向，并将航向信息更新到当前的目标航迹数据中，再将所述当前的目标航迹数据序列化后更新到固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息对应的Value值。
进一步地，在一种实现方式中，所述步骤7包括：
采用所述Redis服务的KEYS Trail_*命令获取所有同一目标的最新航迹点数据；
所述所有最新航迹点数据表示为List<K>，其中K为满足预设样式的所有字符串类型数据Key；所述预设样式为固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息；
本发明中，所述预设样式可以表示为Trail_{trackID}_{Country}_{Source}_{attribute}字符串。
遍历所述所有最新航迹点数据，根据用户选择的国家信息、数据源信息、目标属性信息对所述所有最新航迹点数据进行筛选；
所述筛选条件为任一最新航迹点数据中，预设样式的国家信息、数据源信息、目标属性信息均包含在用户选择的国家集合、数据源集合、目标属性集合中；
若所述任一最新航迹点数据满足筛选条件，则根据预设样式，获取所述最新航迹点数据对应的Value值，对所述Value值反序列化后即为满足条件的所述同一目标的最新航迹点数据；
同时根据所述固定标识和目标航迹唯一标识获取哈希数据类型对应的所有Field数据，对所述所有Field数据对应的Value值反序列化后，形成所述同一目标对应的所有历史航迹点，将所述同一目标的所有历史航迹点连接并在地理信息系统中显示，即为所述同一目标对应的历史航迹。
由以上技术方案可知，本发明实施例提供基于Kafka和Redis的准实时目标航迹显示方法，包括：步骤1，构建前端显示程序和后端处理服务，在所述后端处理服务中构建目标航迹点数据结构，用于存储目标航迹点数据；步骤2，在Redis服务中构建目标航迹数据存储类型，用于存储不同类型的目标航迹点数据；步骤3，在所述后端处理服务中建立Kafka消费线程，用于实时获取Kafka消息队列内部的目标航迹原始数据，所述目标航迹原始数据中包含目标基础信息和航迹参数信息；步骤4，建立异步线程，用于处理所述目标航迹原始数据；步骤5，在所述异步线程中解析目标航迹原始数据，并将所述目标航迹原始数据转换为多个目标航迹点数据，所述多个目标航迹点数据中包含不同目标的不同航迹点实时信息；步骤6，根据所述多个目标航迹点数据，更新所述Redis服务中的每一类型的目标航迹点数据；步骤7，所述前端显示程序根据筛选条件定时获取Redis服务中的不同类型的目标航迹点数据，对所述目标航迹点数据解析后，在地理信息系统图层上显示最新目标位置信息和航迹路径信息。
现有技术中，实时目标航迹显示系统需要同时实现航迹的接收、缓存、加工处理、图形化显示以及用户交互，往往采用较笨重的系统架构，对系统硬件资源要求较高、软件较难维护和部署。对数据的接受、缓存不采用kafka和redis的方法则需要系统本身实现类似kafka的消息分发和redis的数据缓存功能，此两项功能实现复杂，需要稳定可靠的计算机软硬件环境。而采用前述方法，通过Kafka和Redis中间件处理实时目标航迹数据并采用前后端分类的方式显示实时航迹和历史航迹，系统前后端独立工作，大大简化了系统架构。因此相较于现有技术，本发明提供的基于Kafka和Redis的准实时目标航迹显示方法，具有轻量的系统架构和简单的处理步骤，适用于各种航迹数据处理显示的场合。同时，本发明对系统硬件资源要求低，便于软件的维护和部署。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例部分提供的基于Kafka和Redis的准实时目标航迹显示方法中处理航迹数据的结构示意图；
图2是本发明实施例部分提供的基于Kafka和Redis的准实时目标航迹显示方法的工作流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例公开基于Kafka和Redis的准实时目标航迹显示方法，本方法应用于航空监控和/或军事领域。
Kafka是一个开源流处理平台，属于一种高吞吐量的分布式发布订阅消息系统。在大数据平台中，Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时消息。Kafka具有高性能、持久化、多副本备份和横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。在实时航迹处理中，前端采集系统作为生产者产生实时航迹数据并写入Kafka消息队列中；本发明从Kafka中消费航迹数据并进行业务处理。
Redis是一个key-value存储系统，支持存储的value类型包括string(字符串)、list(链表)、set(集合)、zset(有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove等操作。Redis还能周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件。Redis具有很高的读写性能同时，所有操作都是原子性的，这些性能都让Redis作为实时航迹数据的缓存具有很强的优势。通过Redis的不同数据结构，分别处理最新航迹点数据和历史航迹点数据，为应用系统的航迹显示提供支撑。
而本发明采用Kafka和Redis实现目标航迹数据的一系列处理，系统前后端独立工作，大大简化了系统架构。
如图1和图2所示，本发明实施例提供基于Kafka和Redis的准实时目标航迹显示方法，包括以下步骤：
步骤1，构建前端显示程序和后端处理服务，在所述后端处理服务中构建目标航迹点数据结构，用于存储目标航迹点数据；具体的，本实施例中，可以采用B/S或C/S软件架构构建前端显示程序和后端处理服务。
本实施例中，所述目标航迹点数据结构的具体结构如下：
public class T{
private String trailID；//航迹点唯一标识
private String trackID；//航迹唯一标识
private String name；//目标名称
private String country；//目标国家
private String attribute；//目标属性
private String source；//数据来源
private DATE time；//位置时间
private Double longitude；//经度
private Double latitude；//纬度
private String speed；//速度
private Double direction；//移动方向
private Double altitude；//高度
private String extended；//扩展信息
}
步骤2，在Redis服务中构建目标航迹数据存储类型，用于存储不同类型的目标航迹点数据；本实施例中，所述前端显示程序负责信息显示，所述后端处理服务处理数据。后端处理服务将处理好的数据写入redis服务中，前端显示程序从redis中读取处理好的数据并显示。
具体的，本实施例中，所述目标航迹数据存储类型分别选取String类型、Hash类型和List类型。String类型存储同一目标航迹的最新目标航迹点信息。Hash类型数据存储同一目标航迹下的所有目标航迹点数据。List类型存储所有目标航迹数据。对String和Hash数据类型通过Redis提供的操作接口设置过期时间为半小时，即当目标在半小时内没有最新航迹点更新时，该目标对应的String和Hash类型数据被Redis服务自动从缓存中清除。本实施例中，航迹点信息包括时间参数，对于相同的飞机的航迹点信息，时间参数与当前时刻最接近的为最新航迹点。
步骤3，在所述后端处理服务中建立Kafka消费线程，用于实时获取Kafka消息队列内部的目标航迹原始数据，所述目标航迹原始数据中包含目标基础信息和航迹参数信息；本实施例中，所述Kafka数据由外部系统提供的Kafka数据生产服务写入Kafka消息队列中。具体的，所述目标基础信息是飞机的型号、国家等信息，所述航迹参数信息是经纬度、速度等信息，所述目标基础信息和航迹参数信息都用于飞机图标的显示，保证在地图上可采用飞机图标对当前飞行位置进行标注。
步骤4，建立异步线程，用于处理所述目标航迹原始数据；
步骤5，在所述异步线程中解析目标航迹原始数据，并将所述目标航迹原始数据转换为多个目标航迹点数据，所述多个目标航迹点数据中包含不同目标的不同航迹点实时信息；本步骤中，所述在所述异步线程中解析目标航迹原始数据为通过现有技术可实现的，具体即对数据进行格式转换，将原始数据格式中需要的信息提取出来，组成本系统规定的数据格式。
本实施例中，通过所述步骤5在异步线程中解析目标航迹原始数据，例如从目标航迹原始数据中解析出三个目标实时航迹点数据，如表1所示：
表1目标实时航迹点数据
Figure BDA0002806225170000081
Figure BDA0002806225170000091
步骤6，根据所述多个目标航迹点数据，更新所述Redis服务中的每一类型的目标航迹点数据；
步骤7，所述前端显示程序根据筛选条件定时获取Redis服务中的不同类型的目标航迹点数据，对所述目标航迹点数据解析后，在地理信息系统图层上显示最新目标位置信息和航迹路径信息。
具体的，本发明实施例所述的准实时表示kafka中有数据后不会立即推送到前台显示，而是先写入Redis中后，前台定时获取redis中的数据进行显示。定时时间可根据情况设定。例如5秒一次刷新，所以数据不是实际的实时，而是有最大5s的滞后，即所述“准实时”。
此外，如图1所示，除了通过步骤1至步骤7实现准实时目标航迹显示，本发明实施例还公开了一种外部告警处理程序，通过从Redis服务的List类型数据中消费数据，对数据进行告警判断，再通过向List类型数据中写入航迹数据，实现了向外部告警处理程序提供航迹信息的功能。
本实施例所述的基于Kafka和Redis的准实时目标航迹显示方法中，所述目标航迹点数据结构中包含目标航迹唯一标识、目标航迹点唯一标识、位置信息数据、运动状态信息、时间信息和目标基本属性信息。
本实施例所述的基于Kafka和Redis的准实时目标航迹显示方法中，所述步骤2中，在所述Redis服务中构建的目标航迹数据存储类型，包括字符串类型、哈希类型和链表类型；具体的，本实施例中，所述字符串类型、哈希类型和链表类型即String类型、Hash类型和List类型。
其中，所述字符串类型用于存储同一目标航迹的最新航迹点信息；
所述哈希类型用于存储同一目标航迹下的所有航迹点数据；
所述链表类型用于存储所有目标航迹数据；
所述字符串类型和哈希类型的目标航迹数据存储类型设置有过期时间。
本实施例所述的基于Kafka和Redis的准实时目标航迹显示方法中，所述步骤2包括：
当在所述Redis服务中构建的目标航迹数据存储类型为字符串类型时，Redis数据结构中的Key包括固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息；具体的，所述String类型的Key可以采用Trail_{trackID}_{Country}_{Source}_{attribute}的字符串形式构建。其中，Trail表示固定标识，{trackID}表示目标航迹唯一标识，同一目标的不同航迹点具有同样的{trackID}，{Country}表示国家信息，{Source}表示数据源信息，{attribute}表示目标属性信息。
所述字符串类型对应的Value为目标航迹点数据的JSON字符串。
本实施例所述的基于Kafka和Redis的准实时目标航迹显示方法中，所述步骤2包括：
当在Redis数据结构中构建的目标航迹数据存储类型为哈希类型时，Redis数据结构中的Key包括固定标识和目标航迹唯一标识；其中，同一目标航迹的不同航迹点所对应的目标航迹唯一标识相同；具体的，所述Hash类型的Key可以采用Track_{trackID}的形式构建。
所述哈希类型中Field属性采用包含目标航迹下单个航迹点唯一标识的形式构建，其中，每个所述目标航迹数据中具有唯一的目标航迹下单个航迹点唯一标识；具体的，所述Hash类型中Field属性可以采用{trailID}的形式构建，{trailID}为目标航迹下单个航迹点唯一标识，每个目标航迹数据中具有唯一的trailID。
此外，本实施例中，包含花括号的字符如{trailID}表示一个变量，而花括号内的字符如trailID表示一个值，该值根据与变量相关的参数而改变。
所述哈希类型对应的Value为目标航迹点数据的JSON字符串，同一所述Redis数据结构中的Key下包含多个目标航迹唯一标识，每个所述目标航迹唯一标识对应一个目标航迹点数据的JSON字符串。本实施例中，同一Track_{trackID}下包含多个{trailID}，每个{trailID}对应一个目标航迹点T的JSON字符串。
本实施例所述的基于Kafka和Redis的准实时目标航迹显示方法中，所述步骤2包括：
当在Redis数据结构中构建的目标航迹数据存储类型为链表类型时，所述链表类型存储所有目标航迹的所有目标航迹点数据的JSON字符串数据，且采用先入先出的存储策略。
本实施例所述的基于Kafka和Redis的准实时目标航迹显示方法中，所述步骤6包括：
更新所述Redis服务中的字符串类型、哈希类型和链表类型的目标航迹点数据：
将所述多个目标航迹点数据序列化存入链表类型的目标航迹点数据中；具体的，本步骤中，可以采用RPUT方法存入。所述RPUT方法是redis中固定的命令，即右端加入数据。
遍历所述目标航迹点数据中的航迹点，获取所述航迹点中目标航迹点唯一标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息，组合成字符串，并采用所述航迹点序列化后的字符串数据更新字符串类型中Key为对应的Value值；本实施例中，本步骤所述的组合获得的字符串可表示为Trail_{trackID}_{Country}_{Source}_{attribute}。
具体的，本实施例中，对于所述步骤5和表1中提及的三个目标数据，其对应的字符串类型中的Key分别为：
Trail_track00001_C00001_S00001_A00001；
Trail_track00002_C00001_S00001_A00002；
Trail_track00003_C00002_S00001_A00003。
同时，采用所述航迹点序列化后的字符串数据，更新哈希类型中Key为固定标识和目标航迹唯一标识的字符串，Field为目标航迹点唯一标识的Value值。
具体的，本实施例中，对于所述步骤5和表1中提及的三个目标数据，其对应的Hash类型Key及Field为：
Key：Track_track00001，Field：trail0000A；
Key：Track_track00002，Field：trail0000B；
Key：Track_track00003，Field：trail0000C。
Value值为所述表1中数据的JSON字符串。
本实施例所述的基于Kafka和Redis的准实时目标航迹显示方法中，所述步骤6，包括：
在更新字符串类型中的固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息的数据时，先获取所述Redis服务中的已有数据，将所述已有数据和当前的目标航迹数据中时间信息进行比较；
如果所述已有数据的时间早于当前的目标航迹数据中的时间信息，则更新所述固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息对应Value值，否则不进行更新。
本实施例所述的基于Kafka和Redis的准实时目标航迹显示方法中，所述步骤6，包括：
在更新字符串类型中的固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息数据时，获取当前的目标航迹数据中的目标航向信息；
如果所述目标航向信息为非法值或空值，则根据所述Redis服务中已有数据位置信息和当前目标航迹数据位置信息计算理论航向，所述理论航向为已有数据位置点和当前的目标航迹数据位置点形成的向量的方向，并将航向信息更新到当前的目标航迹数据中，再将所述当前的目标航迹数据序列化后更新到固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息对应的Value值。本实施例中，通过对所述理论航向的计算，能够替换非法的目标航向信息。当所述目标航向信息不是非法值且不是空值时即采用当前值，且不做计算理论航线。
具体的，对于表1中目标2数据，其对应目标航迹数据中目标航向信息为非法值或空值，则根据Redis中已有数据位置信息和当前目标航迹数据位置信息计算理论航向，理论航向为两点连接的矢量箭头的方向。并将航向信息更新到当前目标航迹数据中，再将目标航迹数据序列化后更新到Trail_track00002_C00001_S00001_A00002对应的Value值。具体的，本实施例中，所述Value值的合法值为0-360度。
本实施例所述的基于Kafka和Redis的准实时目标航迹显示方法中，所述步骤7包括：
采用所述Redis服务的KEYS Trail_*命令获取所有同一目标的最新航迹点数据；本实施例中，KEYS为Redis中的命令，Trail_*为参数，KEYS Trail_*表示获取以Trail_字符串开头的所有key值，*表示通配符，匹配所有字符。此处key值对应的数据就是目标的最新所有航迹点数据。此外，此处获取所有同一目标的最新航迹点数据，新的航迹点数据将覆盖老的航迹点数据，因为同一目标航迹点数据key值相同。
所述所有最新航迹点数据表示为List<K>，其中K为满足预设样式的所有字符串类型数据Key；所述预设样式为固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息；
本发明中，所述预设样式可以表示为Trail_{trackID}_{Country}_{Source}_{attribute}字符串。
遍历所述所有最新航迹点数据，根据用户选择的国家信息、数据源信息、目标属性信息对所述所有最新航迹点数据进行筛选；
所述筛选条件为任一最新航迹点数据中，预设样式的国家信息、数据源信息、目标属性信息均包含在用户选择的国家集合、数据源集合、目标属性集合中；
若所述任一最新航迹点数据满足筛选条件，则根据预设样式，获取所述最新航迹点数据对应的Value值，对所述Value值反序列化后即为满足条件的所述同一目标的最新航迹点数据；
同时根据所述固定标识和目标航迹唯一标识获取哈希数据类型对应的所有Field数据，对所述所有Field数据对应的Value值反序列化后，形成所述同一目标对应的所有历史航迹点，将所述同一目标的所有历史航迹点连接并在地理信息系统(GeographicInformation System，GIS)中显示，即为所述同一目标对应的历史航迹。
本实施例中，所述步骤7中前端显示程序定时获取Redis服务中的数据，并对数据进行过滤的方法为：
采用Redis服务的KEYS Trail_*命令获取所有最新航迹点数据List<K>，其中K为满足Trail_{trackID}_{Country}_{Source}_{attribute}样式的所有String类型数据key，遍历List<K>，根据用户选择的国家Set<C>、数据源Set<S>、目标属性Set<A>等集合信息对List<K>进行过滤，过滤规则为Trail_{trackID}_{Country}_{Source}_{attribute}中Country、Source、attribute均包含在用户选择的国家Set<C>、数据源Set<S>、目标属性Set<A>集合中。满足条件则根据Trail_{trackID}_{Country}_{Source}_{attribute}获取其对应的Value值，对Value值反序列化后及为满足条件的目标最新航迹点，通过航迹点中位置信息、运动状态信息和属性信息对目标最新位置进行绘制。
同时从Trail_{trackID}_{Country}_{Source}_{attribute}中获取trackID信息，通过组合成的Track_{trackID}获取Hash数据类型对应的所有Field数据，对所有Field对应的Value值反序列化后形成该目标对应的所有历史航迹点，所有历史航迹点连接并在GIS中显示即为该目标对应的历史航迹。前端显示程序定时执行航迹显示的操作，定时显示时间根据业务场景选择在1-20秒，并将上一次显示的信息清除，实现实时航迹的定时刷新，满足准实时显示要求。
由以上技术方案可知，本发明实施例提供基于Kafka和Redis的准实时目标航迹显示方法，包括：步骤1，构建前端显示程序和后端处理服务，在所述后端处理服务中构建目标航迹点数据结构，用于存储目标航迹点数据；步骤2，在Redis服务中构建目标航迹数据存储类型，用于存储不同类型的目标航迹点数据；步骤3，在所述后端处理服务中建立Kafka消费线程，用于实时获取Kafka消息队列内部的目标航迹原始数据，所述目标航迹原始数据中包含目标基础信息和航迹参数信息；步骤4，建立异步线程，用于处理所述目标航迹原始数据；步骤5，在所述异步线程中解析目标航迹原始数据，并将所述目标航迹原始数据转换为多个目标航迹点数据，所述多个目标航迹点数据中包含不同目标的不同航迹点实时信息；步骤6，根据所述多个目标航迹点数据，更新所述Redis服务中的每一类型的目标航迹点数据；步骤7，所述前端显示程序根据筛选条件定时获取Redis服务中的不同类型的目标航迹点数据，对所述目标航迹点数据解析后，在地理信息系统图层上显示最新目标位置信息和航迹路径信息。
现有技术中，实时目标航迹显示系统需要同时实现航迹的接收、缓存、加工处理、图形化显示以及用户交互，往往采用较笨重的系统架构，对系统硬件资源要求较高、软件较难维护和部署。对数据的接受、缓存不采用kafka和redis的方法则需要系统本身实现类似kafka的消息分发和redis的数据缓存功能，此两项功能实现复杂，需要稳定可靠的计算机软硬件环境。而采用前述方法，通过Kafka和Redis中间件处理实时目标航迹数据并采用前后端分类的方式显示实时航迹和历史航迹，系统前后端独立工作，大大简化了系统架构。因此相较于现有技术，本发明提供的基于Kafka和Redis的准实时目标航迹显示方法，具有轻量的系统架构和简单的处理步骤，适用于各种航迹数据处理显示的场合。同时，本发明对系统硬件资源要求低，便于软件的维护和部署。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的基于Kafka和Redis的准实时目标航迹显示方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (10)

1.基于Kafka和Redis的准实时目标航迹显示方法，其特征在于，包括以下步骤：
步骤1，构建前端显示程序和后端处理服务，在所述后端处理服务中构建目标航迹点数据结构，用于存储目标航迹点数据；
步骤2，在Redis服务中构建目标航迹数据存储类型，用于存储不同类型的目标航迹点数据；
步骤3，在所述后端处理服务中建立Kafka消费线程，用于实时获取Kafka消息队列内部的目标航迹原始数据，所述目标航迹原始数据中包含目标基础信息和航迹参数信息；
步骤4，建立异步线程，用于处理所述目标航迹原始数据；
步骤5，在所述异步线程中解析目标航迹原始数据，并将所述目标航迹原始数据转换为多个目标航迹点数据，所述多个目标航迹点数据中包含不同目标的不同航迹点实时信息；
步骤6，根据所述多个目标航迹点数据，更新所述Redis服务中的每一类型的目标航迹点数据；
步骤7，所述前端显示程序根据筛选条件定时获取Redis服务中的不同类型的目标航迹点数据，对所述目标航迹点数据解析后，在地理信息系统图层上显示最新目标位置信息和航迹路径信息。
2.根据权利要求1所述的基于Kafka和Redis的准实时目标航迹显示方法，其特征在于，所述目标航迹点数据结构中包含目标航迹唯一标识、目标航迹点唯一标识、位置信息数据、运动状态信息、时间信息和目标基本属性信息。
3.根据权利要求1所述的基于Kafka和Redis的准实时目标航迹显示方法，其特征在于，所述步骤2中，在所述Redis服务中构建的目标航迹数据存储类型，包括字符串类型、哈希类型和链表类型；
其中，所述字符串类型用于存储同一目标航迹的最新航迹点信息；
所述哈希类型用于存储同一目标航迹下的所有航迹点数据；
所述链表类型用于存储所有目标航迹数据；
所述字符串类型和哈希类型的目标航迹数据存储类型设置有过期时间。
4.根据权利要求1所述的基于Kafka和Redis的准实时目标航迹显示方法，其特征在于，所述步骤2包括：
当在所述Redis服务中构建的目标航迹数据存储类型为字符串类型时，Redis数据结构中的Key包括固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息；
所述字符串类型对应的Value为目标航迹点数据的JSON字符串。
5.根据权利要求1所述的基于Kafka和Redis的准实时目标航迹显示方法，其特征在于，所述步骤2包括：
当在Redis数据结构中构建的目标航迹数据存储类型为哈希类型时，Redis数据结构中的Key包括固定标识和目标航迹唯一标识；其中，同一目标航迹的不同航迹点所对应的目标航迹唯一标识相同；
所述哈希类型中Field属性采用包含目标航迹下单个航迹点唯一标识的形式构建，其中，每个所述目标航迹数据中具有唯一的目标航迹下单个航迹点唯一标识；
所述哈希类型对应的Value为目标航迹点数据的JSON字符串，同一所述Redis数据结构中的Key下包含多个目标航迹唯一标识，每个所述目标航迹唯一标识对应一个目标航迹点数据的JSON字符串。
6.根据权利要求1所述的基于Kafka和Redis的准实时目标航迹显示方法，其特征在于，所述步骤2包括：
当在Redis数据结构中构建的目标航迹数据存储类型为链表类型时，所述链表类型存储所有目标航迹的所有目标航迹点数据的JSON字符串数据，且采用先入先出的存储策略。
7.根据权利要求1所述的基于Kafka和Redis的准实时目标航迹显示方法，其特征在于，所述步骤6包括：
更新所述Redis服务中的字符串类型、哈希类型和链表类型的目标航迹点数据：
将所述多个目标航迹点数据序列化存入链表类型的目标航迹点数据中；
遍历所述目标航迹点数据中的航迹点，获取所述航迹点中目标航迹点唯一标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息，组合成字符串，并采用所述航迹点序列化后的字符串数据更新字符串类型中Key为对应的Value值；
同时，采用所述航迹点序列化后的字符串数据，更新哈希类型中Key为固定标识和目标航迹唯一标识的字符串，Field为目标航迹点唯一标识的Value值。
8.根据权利要求7所述的基于Kafka和Redis的准实时目标航迹显示方法，其特征在于，所述步骤6，包括：
在更新字符串类型中的固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息的数据时，先获取所述Redis服务中的已有数据，将所述已有数据和当前的目标航迹数据中时间信息进行比较；
如果所述已有数据的时间早于当前的目标航迹数据中的时间信息，则更新所述固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息对应Value值，否则不进行更新。
9.根据权利要求8所述的基于Kafka和Redis的准实时目标航迹显示方法，其特征在于，所述步骤6，包括：
在更新字符串类型中的固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息数据时，获取当前的目标航迹数据中的目标航向信息；
如果所述目标航向信息为非法值或空值，则根据所述Redis服务中已有数据位置信息和当前目标航迹数据位置信息计算理论航向，所述理论航向为已有数据位置点和当前的目标航迹数据位置点形成的向量的方向，并将航向信息更新到当前的目标航迹数据中，再将所述当前的目标航迹数据序列化后更新到固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息对应的Value值。
10.根据权利要求1所述的基于Kafka和Redis的准实时目标航迹显示方法，其特征在于，所述步骤7包括：
采用所述Redis服务的KEYS Trail_*命令获取所有同一目标的最新航迹点数据；
所述所有最新航迹点数据表示为List<K>，其中K为满足预设样式的所有字符串类型数据Key；所述预设样式为固定标识、目标航迹唯一标识、国家信息、数据源信息和目标属性信息；
遍历所述所有最新航迹点数据，根据用户选择的国家信息、数据源信息、目标属性信息对所述所有最新航迹点数据进行筛选；
所述筛选条件为任一最新航迹点数据中，预设样式的国家信息、数据源信息、目标属性信息均包含在用户选择的国家集合、数据源集合、目标属性集合中；
若所述任一最新航迹点数据满足筛选条件，则根据预设样式，获取所述最新航迹点数据对应的Value值，对所述Value值反序列化后即为满足条件的所述同一目标的最新航迹点数据；
同时根据所述固定标识和目标航迹唯一标识获取哈希数据类型对应的所有Field数据，对所述所有Field数据对应的Value值反序列化后，形成所述同一目标对应的所有历史航迹点，将所述同一目标的所有历史航迹点连接并在地理信息系统中显示，即为所述同一目标对应的历史航迹。
CN202011371582.6A 2020-11-30 2020-11-30 基于Kafka和Redis的准实时目标航迹显示方法 Active CN112486473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011371582.6A CN112486473B (zh) 2020-11-30 2020-11-30 基于Kafka和Redis的准实时目标航迹显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011371582.6A CN112486473B (zh) 2020-11-30 2020-11-30 基于Kafka和Redis的准实时目标航迹显示方法

Publications (2)

Publication Number Publication Date
CN112486473A CN112486473A (zh) 2021-03-12
CN112486473B true CN112486473B (zh) 2022-09-13

Family

ID=74937189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011371582.6A Active CN112486473B (zh) 2020-11-30 2020-11-30 基于Kafka和Redis的准实时目标航迹显示方法

Country Status (1)

Country Link
CN (1) CN112486473B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190528B (zh) * 2021-04-21 2022-12-06 中国海洋大学 一种并行分布式大数据架构构建方法及系统
CN113177037A (zh) * 2021-04-25 2021-07-27 上海鹰觉科技有限公司 航迹存储与检索方法、系统、设备及计算机存储可读介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107015872B (zh) * 2016-12-09 2018-03-16 上海壹账通金融科技有限公司 监控数据的处理方法及装置
CN108989429A (zh) * 2018-07-19 2018-12-11 平安科技（深圳）有限公司 实时更新页面数据的方法、装置、电子设备
CN110784419B (zh) * 2019-10-22 2023-02-28 中国铁道科学研究院集团有限公司电子计算技术研究所 铁路电务专业数据可视化方法及系统
CN111723160B (zh) * 2020-08-24 2021-03-23 国网浙江省电力有限公司 一种多源异构增量数据同步方法及系统

Also Published As

Publication number Publication date
CN112486473A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112486473B (zh) 基于Kafka和Redis的准实时目标航迹显示方法
US10515469B2 (en) Proactive monitoring tree providing pinned performance information associated with a selected node
US20190377463A1 (en) User interface that facilitates node pinning for a proactive monitoring tree
US9426045B2 (en) Proactive monitoring tree with severity state sorting
WO2018214388A1 (zh) 多平台航空电子大数据系统及方法
US20160330093A1 (en) User interface that provides a proactive monitoring tree with state distribution ring
CN109204324A (zh) 用于操作自动驾驶车辆的集中调度系统
CN109213143A (zh) 操作自动驾驶车辆的使用事件循环的集中调度系统
US20220058222A1 (en) Method and apparatus of processing information, method and apparatus of recommending information, electronic device, and storage medium
US10592827B2 (en) Throttling solutions into a legacy inventory system during a service disruption
CN109190025B (zh) 信息监控方法、装置、系统和计算机可读存储介质
CN109213609A (zh) 操作自动驾驶车辆的使用全局存储器的集中调度系统
Xu et al. Fedmax: Enabling a highly-efficient federated learning framework
US20180032582A1 (en) Cross object synchronization
CN113420009B (zh) 一种基于大数据的电磁数据分析装置、系统及方法
CN110598413A (zh) 一种防攻击平台规则维护的方法、系统及设备
CN114968227A (zh) 智能作战仿真平台以及智能作战仿真平台的数据处理方法
CN113779105B (zh) 分布式轨迹流伴随模式挖掘方法
CN102855391A (zh) 一种ems多专业数据全息存储及全景事故反演方法
CN110399248A (zh) 一种镜像文件创建、获取方法、装置及服务器
CN110516119A (zh) 一种自然资源场景数据的组织调度方法、装置和存储介质
US11741133B1 (en) System and method for information management
CN114282366A (zh) 一种空中编队、实体两级分辨率仿真建模方法
Yan et al. Cloud city traffic state assessment system using a novel architecture of big data
CN111090676A (zh) 面向流式数据的分布式自动处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant