CN113568587A - 智慧城市实时数据处理方法、系统及存储介质 - Google Patents

智慧城市实时数据处理方法、系统及存储介质 Download PDF

Info

Publication number
CN113568587A
CN113568587A CN202111104385.2A CN202111104385A CN113568587A CN 113568587 A CN113568587 A CN 113568587A CN 202111104385 A CN202111104385 A CN 202111104385A CN 113568587 A CN113568587 A CN 113568587A
Authority
CN
China
Prior art keywords
data
smart city
time data
real
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111104385.2A
Other languages
English (en)
Other versions
CN113568587B (zh
Inventor
冯斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongtian Bim Technology Co ltd
Original Assignee
Shenzhen Zhongtian Bim Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongtian Bim Technology Co ltd filed Critical Shenzhen Zhongtian Bim Technology Co ltd
Priority to CN202111104385.2A priority Critical patent/CN113568587B/zh
Publication of CN113568587A publication Critical patent/CN113568587A/zh
Application granted granted Critical
Publication of CN113568587B publication Critical patent/CN113568587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G06F11/1012—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using codes or arrangements adapted for a specific type of error
    • G06F11/102—Error in check bits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • G06F5/065—Partitioned buffers, e.g. allowing multiple independent queues, bidirectional FIFO's

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种智慧城市实时数据处理方法、系统及存储介质，该方法包括：在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理，由此，通过异步非阻塞网络IO模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。

Description

智慧城市实时数据处理方法、系统及存储介质
技术领域
本发明涉及智慧城市监测技术领域，尤其涉及一种智慧城市实时数据处理方法、系统及存储介质。
背景技术
在目前的智慧城市强实时数据传输方式中，大部分系统都基于springMVC做服务器上的接收程序，常用的同步阻塞方案，由于其tomcat容器的并发能力有限，单位时间能同时接收的传感器数据受到限制，造成延时增加，无法满足秒级实时传输的要求，通常依靠增加硬件来解决强实时数据的问题，这带来了巨大硬件成本和初期投入门槛高的问题。为了控制成本，则造成了处理能力下降，延迟增高，稳定性降低，可靠性不足的问题。
发明内容
本发明的主要目的在于提出一种智慧城市实时数据处理方法、系统及存储介质，旨在降低智慧城市实时数据时延，提高数据处理能力、稳定性和可靠性。
为实现上述目的，本发明提供一种智慧城市实时数据处理方法，所述方法包括以下步骤：
在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；
对所述智慧城市实时数据进行解码；
将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；
对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理。
可选地，所述对所述智慧城市实时数据进行解码的步骤之前还包括：
对所述智慧城市实时数据进行校验，如果校验通过，则执行步骤：对所述智慧城市实时数据进行解码。
可选地，所述对所述智慧城市实时数据进行校验的步骤包括：
采用长度校验方式和有效性校验方式对所述智慧城市实时数据进行校验。
可选地，所述采用长度校验方式对所述智慧城市实时数据进行校验的步骤包括：
采用长度校验公式，对所述智慧城市实时数据进行校验，检查智慧城市实时数据包是否完整，所述长度校验公式为：包字节数=包头字节数+数据字节数+校验字节数。
可选地，所述采用有效性校验方式对所述智慧城市实时数据进行校验的步骤包括：
采用有效性校验公式检查所述智慧城市实时数据是否有效，所述有效性校验公式为：校验位=包头至校验位前所有字节进行位与操作结果。
可选地，所述对所述智慧城市实时数据进行解码的步骤包括：
从所述智慧城市实时数据中提取数据包；
将提取的数据包，拆分为单个传感器数据项，以放入所述高速数据队列；
所述将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理的步骤包括：
将解码后的各数据包以传感器数据项的方式分类存入所述高速数据队列；
在所述高速数据队列中，基于传感器数据项，按照传感器组织和管理子队列的方式对数据进行管理。
可选地，所述对所述高速数据队列中的数据按照预设方式进行编码的步骤包括：
对所述高速数据队列中的数据，按照传感器重组数据块的方式，以及按照时序数据库和CSV文件要求重组数据块的方式进行编码。
本发明实施例还提出一种智慧城市实时数据处理系统，所述系统包括：客户端和网络服务器，其中：
所述客户端，用于获取智慧城市实时数据，并上传至所述网络服务器；
所述网络服务器，用于在从网络端口获得所述客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理。
本发明实施例还提出一种智慧城市实时数据处理系统，所述系统包括存储器、处理器、以及存储在所述存储器上的智慧城市实时数据处理程序，所述智慧城市实时数据处理程序被所述处理器运行时执行如上所述的智慧城市实时数据处理方法。
本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质存储有智慧城市实时数据处理程序，所述智慧城市实时数据处理程序被处理器运行时执行如上所述的智慧城市实时数据处理方法。
本发明实施例提出的智慧城市实时数据处理方法、系统及存储介质，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理，由此，通过异步非阻塞网络IO模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
附图说明
图1是本发明实施例涉及的智慧城市监测实时数据处理装置所属终端设备的功能模块示意图；
图2是本发明智慧城市实时数据处理方法第一实施例的流程示意图；
图3是本发明实施例高速数据队列中的数据结构示意图；
图4是本发明智慧城市实时数据处理方法第二实施例的流程示意图；
图5是本发明智慧城市实时数据处理方法实施例的数据传输泳道图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理，由此，通过异步非阻塞网络IO模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
本发明实施例考虑到，现有相关方案中，智慧城市强实时数据传输方式中，常用的同步阻塞方案，并发能力有限，单位时间能同时接收的传感器数据受到限制，造成延时增加，无法满足秒级实时传输的要求，由此，本发明提出一种智慧城市实时数据接收处理解决方案，主要是通过异步非阻塞网络IO模式，增加并发能力，提升数据吞吐量，实现强实时的数据传输延时控制在毫秒级别，满足强实时数据的低延迟，稳定，可靠性要求，解决现有技术中的延时问题和稳定、可靠性问题。
具体地，参照图1，图1为本发明智慧城市实时数据处理装置所属终端设备的功能模块示意图。该智慧城市实时数据处理装置可以为独立于终端设备的、能够数据处理的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为服务器等网络设备。
在本实施例中，该智慧城市实时数据处理装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及智慧城市实时数据处理程序，输出模块110可为显示屏、扬声器等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，作为一种实施例方式，存储器130中的智慧城市实时数据处理程序被处理器执行时实现以下步骤：
在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；
对所述智慧城市实时数据进行解码；
将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；
对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理。
进一步地，存储器130中的智慧城市实时数据处理程序被处理器执行时还实现以下步骤：
对所述智慧城市实时数据进行校验，如果校验通过，则执行步骤：对所述智慧城市实时数据进行解码。
进一步地，存储器130中的智慧城市实时数据处理程序被处理器执行时还实现以下步骤：
采用长度校验方式和有效性校验方式对所述智慧城市实时数据进行校验。
进一步地，存储器130中的智慧城市实时数据处理程序被处理器执行时还实现以下步骤：
采用长度校验公式，对所述智慧城市实时数据进行校验，检查智慧城市实时数据包是否完整，所述长度校验公式为：包字节数=包头字节数+数据字节数+校验字节数。
进一步地，存储器130中的智慧城市实时数据处理程序被处理器执行时还实现以下步骤：
采用有效性校验公式检查所述智慧城市实时数据是否有效，所述有效性校验公式为：校验位=包头至校验位前所有字节进行位与操作结果。
进一步地，存储器130中的智慧城市实时数据处理程序被处理器执行时还实现以下步骤：
从所述智慧城市实时数据中提取数据包；
将提取的数据包，拆分为单个传感器数据项，以放入所述高速数据队列；
所述将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理的步骤包括：
将解码后的各数据包以传感器数据项的方式分类存入所述高速数据队列；
在所述高速数据队列中，基于传感器数据项，按照传感器组织和管理子队列的方式对数据进行管理。
进一步地，存储器130中的智慧城市实时数据处理程序被处理器执行时还实现以下步骤：
对所述高速数据队列中的数据，按照传感器重组数据块的方式，以及按照时序数据库和CSV文件要求重组数据块的方式进行编码。
本实施例通过上述方案，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理，由此，通过异步非阻塞网络IO模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
具体地，如图2所示，本发明智慧城市实时数据处理方法第一实施例包括以下步骤：
步骤S10，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端。
本实施例方法的执行主体可以为与客户端交互的网络服务器，在网络服务器上设置有网络端口，网络服务器通过网络端口接收客户端上传的数据。
在本实施例中，在从网络端口上获得客户端上传的数据后，采用异步非阻塞IO模式，立刻回报文给客户端，表示数据已经接收，这样能为下一份数据包流出资源。
相对通常的同步阻塞模式，要在处理完数据后才返回给客户端，这样客户端需要等待较长的时间，当后续数据到达时，因为等待前面的数据处理，造成了延时过大，后面数据处理又需要按照传感器来获得对应片段的数据，这样和数据进来时的结构不同，程序的算法会很复杂，造成系统稳定性，可靠性很差，容易过度占用资源而发生崩溃，内存溢出等故障。
本实施例中，采用异步非阻塞IO模式后，客户端不需要长时间等待，降低了数据处理时的复杂性，使得客户端的并发链接数大量增加，可以到达同步阻塞式的1万倍。
步骤S20，对所述智慧城市实时数据进行解码；
其中，作为一种实施方式，在对所述智慧城市实时数据进行解码的步骤之前还可以进一步包括：
对所述智慧城市实时数据进行校验，如果校验通过，则执行步骤：对所述智慧城市实时数据进行解码。
其中，数据校验分为两种方式，即长度校验和有效性校验。长度校验采用的公式为：包字节数=包头字节数+数据字节数+校验字节数，检查包是否完整。有效性校验采用的公式为：校验位=包头至校验位前所有字节进行位与操作结果，检查是否有效。
对校验通过的数据进行解码，是指将包中数据提取出来，拆分为单个传感器数据项，为放入高速数据队列做好准备。
具体地，所述对所述智慧城市实时数据进行解码的步骤包括：
从所述智慧城市实时数据中提取数据包；
将提取的数据包，拆分为单个传感器数据项，以放入所述高速数据队列。
步骤S30，将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；
将解码后的各数据包以传感器数据项的方式分类存入所述高速数据队列；
在所述高速数据队列中，基于传感器数据项，按照传感器组织和管理子队列的方式对数据进行管理。
如图3所示，本实施例中，高速数据队列，按照传感器组织分类分别管理子队列，对于高频数据完全避免数据交叉带来的混乱，减少后面运算的复杂性，提升了处理速度。
步骤S40，对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理。
在将解码后的数据存入高速数据队列后，对所述高速数据队列中的数据，按照传感器重组数据块的方式，以及按照时序数据库和CSV文件要求重组数据块的方式进行编码。
数据编码即按照数据库和CSV文件要求重组数据块，实现批量写入，减少写入次数，实现整块写入，提升处理速度。
由此，通过软件网络IO模式着手，采用异步非阻塞IO模式后，客户端不需要长时间等待，同时也将数据处理和数据接收解藕，降低了数据处理时的复杂性，使得客户端的并发链接数大量增加，可以到达同步阻塞式的1万倍，延时可以控制在100毫秒以内，上千支传感器以100HZ发送数据接收稳定，收到数据包通过快速校验，粘包、错包、包时序混乱等问题发生概率小于1%。同时接收到的数据通过解码、队列、编码环节，降低了数据处理的复杂性，提升了稳定性和可靠性，解决了内存占用问题。
本实施例通过上述技术方案，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理，由此，通过异步非阻塞网络IO模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
进一步地，请参照图4，图4是本发明智慧城市实时数据处理方法第二实施例的流程示意图，与图2所示的第一实施例的区别在于，本实施例中，所述步骤S10之后还包括：
S101，对所述智慧城市实时数据进行校验，具体步骤包括：
采用长度校验方式和有效性校验方式对所述智慧城市实时数据进行校验。
数据校验是为保证数据的完整性进行的一种验证操作，通常用一种指定的算法对原始数据计算出一个校验值，接收方用同样的算法计算一次校验值，如果两次计算得到的校验值相同，则说明数据是完整的，否则说明数据不完整。
具体地，本实施例中，采用长度校验对所述智慧城市实时数据进行校验的步骤包括：
采用公式：包字节数=包头字节数+数据字节数+校验字节数，对所述智慧城市实时数据进行校验，检查智慧城市实时数据包是否完整。
采用有效性校验对所述智慧城市实时数据进行校验的步骤包括：
采用公式：校验位=包头至校验位前所有字节进行位与操作结果，检查所述智慧城市实时数据是否有效。
本实施例通过上述技术方案，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；采用长度校验和有效性校验对所述智慧城市实时数据进行校验；如果校验通过，则对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理，由此，通过异步非阻塞网络IO模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
以下对本发明智慧城市实时数据处理方法做进一步地详细阐述。
通常的同步阻塞模式，要在处理完数据后才返回给客户端，这样客户端需要等待较长的时间，当后续数据到达时，因为等待前面的数据处理，造成了延时过大，后面数据处理又需要按照传感器来获得对应片段的数据，这样和数据进来时的结构不同，程序的算法会很复杂，造成系统稳定性，可靠性很差，容易过度占用资源而发生崩溃，内存溢出等故障。
如图5所示，本发明采用异步非阻塞IO模式后，客户端不需要长时间等待，同时也将数据处理和数据接收解藕，降低了数据处理时的复杂性，使得客户端的并发链接数大量增加，可以到达同步阻塞式的1万倍，同时接收到的数据通过解码、队列、编码环节，降低了数据处理的复杂性，提升了稳定性和可靠性，解决了内存占用问题。
本发明实施例提出的智慧城市实时数据处理方法，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；采用长度校验和有效性校验对所述智慧城市实时数据进行校验；如果校验通过，则对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理，由此，通过异步非阻塞网络IO模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
为实现上述目的，本发明还提出一种智慧城市实时数据处理系统，所述系统包括：客户端和网络服务器，其中：
所述客户端，用于获取智慧城市实时数据，并上传至所述网络服务器；
所述网络服务器，用于在从网络端口获得所述客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理。
本实施例实现智慧城市实时数据处理的原理，请参照上述各实施例，在此不再赘述。
为实现上述目的，本发明还提出一种智慧城市实时数据处理系统，所述系统包括存储器、处理器、以及存储在所述存储器上的智慧城市实时数据处理程序，所述智慧城市实时数据处理程序被所述处理器运行时执行如上述实施例所述的方法。
本实施例实现智慧城市实时数据处理的原理，请参照上述各实施例，在此不再赘述。
为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有智慧城市实时数据处理程序，所述智慧城市实时数据处理程序被处理器运行时执行如上实施例所述的方法的步骤，这里不再赘述。
本实施例实现智慧城市实时数据处理的原理，请参照上述各实施例，在此不再赘述。
本发明实施例提出的智慧城市实时数据处理方法、系统及存储介质，在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理，由此，通过异步非阻塞网络IO模式，增加并发能力，提升了数据吞吐量，实现了强实时的数据传输延时控制在毫秒级别，能满足强实时数据的低延迟和稳定、可靠性要求，解决了现有技术中的延时问题和稳定、可靠性问题。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台推荐效果评价系统(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明每个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种智慧城市实时数据处理方法，其特征在于，所述方法包括以下步骤：
在从网络端口获得客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；
对所述智慧城市实时数据进行解码；
将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；
对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理。
2.根据权利要求1所述的智慧城市实时数据处理方法，其特征在于，所述对所述智慧城市实时数据进行解码的步骤之前还包括：
对所述智慧城市实时数据进行校验，如果校验通过，则执行步骤：对所述智慧城市实时数据进行解码。
3.根据权利要求2所述的智慧城市实时数据处理方法，其特征在于，所述对所述智慧城市实时数据进行校验的步骤包括：
采用长度校验方式和有效性校验方式对所述智慧城市实时数据进行校验。
4.根据权利要求3所述的智慧城市实时数据处理方法，其特征在于，所述采用长度校验方式对所述智慧城市实时数据进行校验的步骤包括：
采用长度校验公式，对所述智慧城市实时数据进行校验，检查智慧城市实时数据包是否完整，所述长度校验公式为：包字节数=包头字节数+数据字节数+校验字节数。
5.根据权利要求3所述的智慧城市实时数据处理方法，其特征在于，所述采用有效性校验方式对所述智慧城市实时数据进行校验的步骤包括：
采用有效性校验公式检查所述智慧城市实时数据是否有效，所述有效性校验公式为：校验位=包头至校验位前所有字节进行位与操作结果。
6.根据权利要求1所述的智慧城市实时数据处理方法，其特征在于，所述对所述智慧城市实时数据进行解码的步骤包括：
从所述智慧城市实时数据中提取数据包；
将提取的数据包，拆分为单个传感器数据项，以放入所述高速数据队列；
所述将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理的步骤包括：
将解码后的各数据包以传感器数据项的方式分类存入所述高速数据队列；
在所述高速数据队列中，基于传感器数据项，按照传感器组织和管理子队列的方式对数据进行管理。
7.根据权利要求1-6中任一项所述的智慧城市实时数据处理方法，其特征在于，所述对所述高速数据队列中的数据按照预设方式进行编码的步骤包括：
对所述高速数据队列中的数据，按照传感器重组数据块的方式，以及按照时序数据库和CSV文件要求重组数据块的方式进行编码。
8.一种智慧城市实时数据处理系统，其特征在于，所述系统包括：客户端和网络服务器，其中：
所述客户端，用于获取智慧城市实时数据，并上传至所述网络服务器；
所述网络服务器，用于在从网络端口获得所述客户端上传的智慧城市实时数据后，通过异步非阻塞网络IO模型返回报文给所述客户端；对所述智慧城市实时数据进行解码；将解码后的数据存入高速数据队列，在所述高速数据队列中，基于传感器数据项对数据进行管理；对所述高速数据队列中的数据按照预设方式进行编码，写入时序数据库，并进行CSV持久化处理。
9.一种智慧城市实时数据处理系统，其特征在于，所述系统包括存储器、处理器、以及存储在所述存储器上的智慧城市实时数据处理程序，所述智慧城市实时数据处理程序被所述处理器运行时执行如权利要求1-7中任一项所述的智慧城市实时数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有智慧城市实时数据处理程序，所述智慧城市实时数据处理程序被处理器运行时执行如权利要求1至7任意一项所述的智慧城市实时数据处理方法。
CN202111104385.2A 2021-09-22 2021-09-22 智慧城市实时数据处理方法、系统及存储介质 Active CN113568587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111104385.2A CN113568587B (zh) 2021-09-22 2021-09-22 智慧城市实时数据处理方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111104385.2A CN113568587B (zh) 2021-09-22 2021-09-22 智慧城市实时数据处理方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113568587A true CN113568587A (zh) 2021-10-29
CN113568587B CN113568587B (zh) 2021-12-24

Family

ID=78173882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111104385.2A Active CN113568587B (zh) 2021-09-22 2021-09-22 智慧城市实时数据处理方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113568587B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117076467A (zh) * 2023-10-18 2023-11-17 公诚管理咨询有限公司 基于ma体系的智慧城市标识方法、系统、设备及介质
WO2024124912A1 (zh) * 2022-12-13 2024-06-20 苏州元脑智能科技有限公司 冗余固件的数据同步方法、装置及非易失性可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203014864U (zh) * 2012-12-11 2013-06-19 黎智添 基于无线传感器网络的监控系统
WO2014202848A1 (fr) * 2013-06-20 2014-12-24 Highlands Technologies Solutions Procede de communication pour une application interactive entre terminaux dans une salle de projection sur ecran
CN104317800A (zh) * 2014-09-19 2015-01-28 山东大学 一种海量智能用电数据混合存储系统及方法
CN104700221A (zh) * 2015-03-18 2015-06-10 浪潮集团有限公司 一种saas模式的系统中海量数据变更日志的采集方法
CN104717283A (zh) * 2015-02-13 2015-06-17 腾讯科技（深圳）有限公司 文件下载的控制方法、终端及逻辑处理服务器
CN105426326A (zh) * 2015-11-05 2016-03-23 上海斐讯数据通信技术有限公司 一种实现高并发的队列存储方法及系统
CN105760452A (zh) * 2016-02-04 2016-07-13 深圳市嘉力达实业有限公司 一种高并发海量数据的采集、处理和存储的方法及系统
CN106530438A (zh) * 2016-09-26 2017-03-22 浙江大学宁波理工学院 一种海量实时行车记录仪数据采集方法及系统
CN111277672A (zh) * 2020-03-31 2020-06-12 上海积成能源科技有限公司 一种基于非阻塞输入输出模型的能源物联网数据采集方法和软件网关

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203014864U (zh) * 2012-12-11 2013-06-19 黎智添 基于无线传感器网络的监控系统
WO2014202848A1 (fr) * 2013-06-20 2014-12-24 Highlands Technologies Solutions Procede de communication pour une application interactive entre terminaux dans une salle de projection sur ecran
CN104317800A (zh) * 2014-09-19 2015-01-28 山东大学 一种海量智能用电数据混合存储系统及方法
CN104717283A (zh) * 2015-02-13 2015-06-17 腾讯科技（深圳）有限公司 文件下载的控制方法、终端及逻辑处理服务器
CN104700221A (zh) * 2015-03-18 2015-06-10 浪潮集团有限公司 一种saas模式的系统中海量数据变更日志的采集方法
CN105426326A (zh) * 2015-11-05 2016-03-23 上海斐讯数据通信技术有限公司 一种实现高并发的队列存储方法及系统
CN105760452A (zh) * 2016-02-04 2016-07-13 深圳市嘉力达实业有限公司 一种高并发海量数据的采集、处理和存储的方法及系统
CN106530438A (zh) * 2016-09-26 2017-03-22 浙江大学宁波理工学院 一种海量实时行车记录仪数据采集方法及系统
CN111277672A (zh) * 2020-03-31 2020-06-12 上海积成能源科技有限公司 一种基于非阻塞输入输出模型的能源物联网数据采集方法和软件网关

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TILKOV S: "Node.js:Using JavaScript to Build High-Performance Network Programs", 《IEEE INTERNET COMPUTING》 *
戴大蒙: "基于非阻塞式 Winsock的多线程网络通信机制", 《计算机工程》 *
许会元: "NodeJS的异步非阻塞I/O研究", 《工业控制计算机》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024124912A1 (zh) * 2022-12-13 2024-06-20 苏州元脑智能科技有限公司 冗余固件的数据同步方法、装置及非易失性可读存储介质
CN117076467A (zh) * 2023-10-18 2023-11-17 公诚管理咨询有限公司 基于ma体系的智慧城市标识方法、系统、设备及介质
CN117076467B (zh) * 2023-10-18 2024-02-27 公诚管理咨询有限公司 基于ma体系的智慧城市标识方法、系统、设备及介质

Also Published As

Publication number Publication date
CN113568587B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN113568587B (zh) 智慧城市实时数据处理方法、系统及存储介质
CN110445653B (zh) 网络状态预测方法、装置、设备及介质
CN111262868B (zh) 一种基于智能网卡的消息发送方法以及接收方法
CN112822260B (zh) 文件传输方法及装置、电子设备、存储介质
US11671678B2 (en) Method and device, equipment, and storage medium for data processing
CN111813573B (zh) 管理平台与机器人软件的通信方法及其相关设备
CN110019873B (zh) 人脸数据处理方法、装置及设备
CN114710224A (zh) 帧同步方法及装置、计算机可读介质、电子设备
CN114584560A (zh) 一种分片帧重组方法及装置
CN110503180B (zh) 模型处理方法、装置以及电子设备
CN117278439A (zh) 一种基于压缩算法的通信快速验证方法
CN113645316B (zh) 升级数据处理方法、上位机、下位机、设备及存储介质
CN114637651A (zh) 内存帧率检测方法、装置、计算机设备及存储介质
CN109559225B (zh) 一种交易方法及装置
CN114615325A (zh) 消息推送方法、装置、计算机设备及存储介质
CN114661772B (zh) 数据处理方法及相关装置
CN113449039A (zh) 分布式微服务中异库数据处理系统及方法
CN112333262A (zh) 数据更新提示方法、装置、计算机设备及可读存储介质
CN113691532B (zh) 基于fast协议的万兆通信数据的并行解析方法及装置
CN114531269B (zh) 一种Tbox裁决方法及装置
CN113326224B (zh) 一种基于2取2架构的串口通信方法
CN109597576B (zh) 提高ncq命令响应速度的方法、装置、可读存储介质及系统
CN118250341B (zh) 表单请求处理方法、装置、设备及存储介质
CN114610511B (zh) 一种输入校验方法、装置、电子设备及存储介质
CN114827312B (zh) 在智能网卡/dpu内自适应延迟及吞吐率需求的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant