CN103227840A - 面向物联网的高并发高可用数据采集系统 - Google Patents
面向物联网的高并发高可用数据采集系统 Download PDFInfo
- Publication number
- CN103227840A CN103227840A CN2013101989007A CN201310198900A CN103227840A CN 103227840 A CN103227840 A CN 103227840A CN 2013101989007 A CN2013101989007 A CN 2013101989007A CN 201310198900 A CN201310198900 A CN 201310198900A CN 103227840 A CN103227840 A CN 103227840A
- Authority
- CN
- China
- Prior art keywords
- data
- server
- intercepted
- module
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一个面向物联网的高并发高可用数据采集系统。本发明中，传感器设备采集数据以后，向数据侦听集群控制器模块请求分配数据侦听服务器，数据侦听集群控制器模块监控数据侦听服务器集群模块的运行状态，数据侦听集群控制器模块将可用的数据侦听服务器分配给传感器设备，传感器设备在分配的数据侦听服务器中选择一个数据侦听服务器；传感器设备将数据并行推送给数据侦听服务器集群模块，若发送失败，传感器设备将再次向数据侦听集群控制器模块请求分配新的数据侦听服务器。数据侦听服务器在成功接收数据以后，将数据转发到数据存储模块。本发明解决了传感器将数据发送到上级节点时发送失败的情况，考虑了负载均衡，提高了实时性。
Description
技术领域
本发明涉及一种物联网数据采集技术领域的系统，具体是面向物联网的高并发高可用数据采集系统。
背景技术
物联网被称为继计算机、互联网之后世界信息产业第三次浪潮。物联网(Internet ofThings IOT)的概念是在1999年被提出来的，其定义是：通过射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。
由物联网的定义可知，物联网能够识别、定位、监控和管理。因此，数据的采集是物联网的核心技术之一。
传感器(英文名称：transducer/sensor)是一种检测装置，能感受到被测量的信息，并能将检测感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。
在《移动通信》2011年09期刊登的《基于物联网技术的新型数据采集与监控系统设计》一文中，作者设计了一种新型数据采集与监控系统方案，该系统将有线通信与无线通信、无线传感网络短距离通信与GPRS/CDMA/3G远距离通信有机地结合起来，提出了监控中心应用软件网络功能的需求、远程数据采集、终端现场传感器与终端之间无线组网的方式。但是在该系统中，传感器节点将数据传送给相关的路由器，再由路由器传送给数据采集终端，该系统没有考虑传感器节点往路由器传送数据失败的情况，也没有考虑均衡各个路由器的负载问题。
在物联网的具体实现过程中，会涉及到大量的数据传输。现有的技术中，多个传感器将数据发送到同一个上级节点，若发送失败，则等待重传。随着传感器设备的增多，数据量的增加，数据发送的失败率增高。采取等待重传等机制，既浪费了空闲的资源，又降低了系统的实时性。
发明内容
针对现有技术中存在的上述问题，本发明提供了一个高并发高可用的数据采集系统，不仅解决了传感器将数据发送到上级节点时发送失败的情况，还考虑了负载均衡问题，更好地利用了空闲资源，提高了系统的实时性。
为实现上述目的，本发明采用的技术方案如下：
一个高并发高可用的数据采集系统，主要由传感器模块、数据侦听集群控制器模块、数据侦听服务器集群模块、数据存储模块以及用于登记设备信息的设备注册模块组成，其中：
传感器模块将检测感受到的信息变换成为所需形式的信息，该信息的数据首先缓存在传感器模块中，然后传感器模块向数据侦听集群控制器模块请求分配数据侦听服务器；
数据侦听集群控制器模块监控数据侦听服务器集群模块的运行状态，将可用的数据侦听服务器分配给传感器模块；
传感器模块将数据并行推送给数据侦听服务器集群模块，若发送失败，将向数据侦听集群控制器模块请求分配新的数据侦听服务器；
数据侦听集群控制器模块监控数据侦听服务器集群模块的运行状态，为失败的侦听节点重新分配接收节点，并将负载较重的节点上的连接迁移到负载较轻的节点上，以达到整个集群的负载均衡；
数据侦听服务器集群模块在成功接收传感器模块的数据以后，再将数据转发到数据存储模块。
以下对本发明作进一步说明，具体的描述如下：
1.传感器模块
所述的传感器模块是传感器设备的一个集群，每一个传感器设备包括数据获取模块以及存储模块。传感器设备是一种能感受到被测量的信息的设备，它能将检测感受到的信息，变换成为电信号或其他所需形式的信息输出。而输出的信息就是需要采集的数据。所述的数据获取模块是用来检测感受到的信息，并变换成为电信号或其他所需形式的信息，存储模块是用来存储这些输出信息的数据，数据获取模块将获取的数据存储在存储模块中，等待发送。所述的传感器设备的存储模块可以是cache(高速缓冲存储器)，SRAM(Static Random Access Memory，静态随机存储器)，DRAM(Dynamic RandomAccess Memory，动态随机存储器)，NVRAM(Non-Volatile Random Access Memory，非易失性随机访问存储器)等等。所述的传感器模块可以只有一个传感器设备，也可以有多个传感器设备，所述的传感器设备可以是一种传感器设备，也可以是任意种传感器设备的组合。
所述的传感器设备向所述的数据侦听集群控制器模块请求分配数据侦听服务器。数据侦听集群控制器模块将可用的数据侦听服务器分配给传感器设备。可以分配唯一的一个数据侦听服务器，也可以分配多个数据侦听服务器。若分配多个数据侦听服务器，传感器设备可以在所述的可用的数据侦听服务器中选择任意一个数据侦听服务器，发送数据，可以同步发送，也可以异步发送。每次发送，可以选择相同的数据侦听服务器，也可以选择不同的数据侦听服务器。所述的传感器模块中的不同的传感器设备可以将存储的数据发送给所述的数据侦听服务器集群模块中的不同的数据侦听服务器，也可以将存储的数据发送给所述的数据侦听服务器集群模块中的相同的数据侦听服务器。
所述的传感器设备将存储的数据发送给所述的数据侦听服务器时，如果发送失败，将向所述的数据侦听集群控制器模块请求分配新的数据侦听服务器。所述的传感器设备会尝试发送给另外可用的数据侦听服务器直到存储的数据发送成功为止。所述的传感器设备都带有存储模块，数据不会瞬间丢失，保证了整个系统的高可用性。
2.数据侦听集群控制器模块
所述的数据侦听集群控制器模块可以由存放在zookeeper中的N(N＞＝1，N为奇数)台服务器构成，在某一瞬间，只有一台主(leader)节点提供集群控制服务。zookeeper负责N台机器之间的协调工作，能够保证各节点的数据保持一致，并在主节点崩溃后自动从其余的节点中选出新的主节点。
所述的数据侦听集群控制器模块监控所述的数据侦听服务器集群模块的运行状态，为失败的侦听节点重新分配接收节点，并将负载较重的节点上的连接迁移到负载较轻的节点上，以达到整个集群的负载均衡。所述的数据侦听集群控制器模块在整个系统中扮演着极其重要的角色，它的高可用性事关整个系统的可用性。
3.数据侦听服务器集群模块
数据侦听服务器集群模块是数据侦听服务器的一个集群，可以是一台数据侦听服务器，也可以是多台数据侦听服务器。数据侦听服务器负责转发传感器模块的数据到数据存储模块。所述的数据侦听服务器采用对等式主从架构，易于水平扩展，实现了系统的高并发性。
所述的数据侦听服务器集群模块中的每一台数据侦听服务器负责转发来自所述的传感器模块中的数据到所述的数据存储模块。所述的数据侦听服务器可以同步转发数据到所述的数据存储模块，也可以异步转发数据到所述的数据存储模块。所述的数据侦听服务器集群模块中的每一台数据侦听服务器转发存储的数据是非关联操作，所述的数据侦听服务器集群模块中的某一台数据侦听服务器的宕机不影响整个系统的性能，保证了系统的高可用性。
4.数据存储模块
数据存储模块是用来数据存储的，可以采用开源的HBase数据库，可以自己构建一个数据库，也可以从第三方购买一个数据库。HBase数据库具有高可用、大容量、易扩展等特性。
本系统实现了数据采集和数据存储的隔离，可实现大批量数据的存储，以及大数据的安全性。本发明所述的系统实现了数据采集的高并发性和高可用性，以及数据采集和存储的隔离。
5.设备注册模块
设备注册模块是用来登记设备信息的，它包括设备注册服务器以及数据库。所述的设备注册模块中的数据库可以采用MySQL元数据库。所述的传感器设备以及所述的数据侦听服务器等设备的增加都会首先通过设备注册服务器向MySQL元数据库中登记设备信息。
本发明中，传感器设备的数据获取模块检测感受到的信息，并变换成为电信号或其他所需形式的信息，这些信息的数据首先存储在所述的传感器模块内。所述的传感器设备向所述的数据侦听集群控制器模块请求分配数据侦听服务器。数据侦听集群控制器模块监控数据侦听服务器集群模块的运行状态，将可用的数据侦听服务器分配给传感器设备。传感器设备会将存储的数据并发推送给分配的数据侦听服务器。传感器模块可以有多个传感器设备，多个传感器设备可以同步推送也可以异步推送，实现了系统的高并发性。若发送失败，所述的传感器模块中发送失败的传感器设备将向所述的数据侦听集群控制器模块请求分配新的数据侦听服务器。数据侦听集群控制器模块监控所述的数据侦听服务器集群模块的运行状态，将可用的数据侦听服务器分配给传感器设备。传感器设备重新发送数据。传感器模块都带有存储模块，数据不会瞬间丢失，保证了系统的高可用性。数据侦听集群控制器模块监控数据侦听服务器集群模块的运行状态，为失败的侦听节点重新分配接收节点，并将负载较重的节点上的连接迁移到负载较轻的节点上，以达到整个集群的负载均衡。数据侦听服务器集群模块的每一台数据侦听服务器负责转发传感器模块中的数据到数据存储模块中，数据侦听服务器采用对等式主从结构，易于水平扩展，并且每台数据侦听服务器是分别将缓存数据转发给数据存储模块，某一台数据侦听服务器的宕机不影响整个传感数据的转发，实现了系统的高并发性和高可用性。
与现有技术相比，本发明具有的有益效果：
本发明中传感器模块都带有存储模块，数据不会瞬间丢失，保证了系统的高可用性；数据侦听服务器采用对等式主从架构，易于水平扩展，实现了系统的高并发和高可用性；数据存储模块用来存储数据，高可靠性、高性能，可以水平扩展，实现大量数据的存储，实现了数据采集与数据存储的分离；数据侦听服务器集群模块的每一台数据侦听服务器分别负责转发数据到数据存储模块，某台数据侦听服务器的宕机不影响整个数据的转发，实现了系统的高并发性和高可用性。所以，不仅解决了传感器将数据发送到上级节点时发送失败的情况，还考虑了负载均衡问题，更好地利用了空闲资源，提高了系统的实时性。
附图说明
图1是本发明系统的整体框架图。
图2是根据本发明各实施例的一个处理过程。
图3是根据本发明各实施例的另一个处理过程。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合附图说明对本发明的实施例作进一步详细描述。为了使陈述能简单并且明了，本发明的附图可以不按实际比例进行绘图，本发明的附图的模块大小不表示实际物体的比例，有时候为了更好地说明本发明，将一些模块放大进行陈述。
本实施例只是用来详细描述本发明，并不用于限制本发明，凡是采用本发明的相似结构以及相似变化，均应列入本发明的保护范围。
本发明是面向物联网的高并发高可用的数据采集系统。本发明是基于对现有的数据采集系统的缺点之上进行大规模改进而集成的发明。本发明对实践有巨大的实践意义。
如图1所示，一种面向物联网的高并发高可用的数据采集系统主要由传感器模块100，数据侦听集群控制器模块200，数据侦听服务器集群模块300，数据存储模块400以及设备注册模块500组成。传感器模块100将检测感受到的信息，变换成为电信号或其他所需形式的信息，信息的数据首先缓存在传感器模块100中。传感器模块100将向数据侦听集群控制器模块200请求分配数据侦听服务器，数据侦听集群控制器模块200监控数据侦听服务器集群模块300的运行状态，将可用的数据侦听服务器分配给传感器设备。传感器模块100将数据并行推送给数据侦听服务器集群模块300，若发送失败，将向数据侦听集群控制器模块200请求分配新的数据侦听服务器。数据侦听集群控制器模块200监控数据侦听服务器集群模块300的运行状态，为失败的侦听节点重新分配接收节点，并将负载较重的节点上的连接迁移到负载较轻的节点上，以达到整个集群的负载均衡。集群控制器在整个集群中扮演着极其重要的角色，它的高可用性事关整个集群的可用性。传感器模块100都带有存储模块，数据不会瞬间丢失，保证了系统的高可用性。数据侦听服务器集群模块300在成功接收传感器模块100的数据以后，再将数据转发到数据存储模块400，设备注册模块500是用来登记设备信息的，传感器模块100，数据侦听服务器集群模块200以及据侦听服务器集群控制器模块300中的设备的增加都会首先向设备注册模块500登记设备信息。
传感器模块100是传感器设备的一个集群，在本实施例中，传感器模块100由传感器设备101，102，103，m等等组成。每一个传感器设备包括数据获取模块以及存储模块。传感器设备是一种能感受到被测量的信息的设备，它能将检测感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出。数据获取模块是用来检测感受到的信息，并按一定规律变换成为电信号或其他所需形式的信息，存储模块是用来存储这些输出信息的数据的，数据获取模块将获取的数据存储在存储模块中，等待发送。例如，在本例中，传感器模块100中的传感器设备101包括数据获取模块和存储模块cache中，cache在计算机中是存在于主存与CPU之间的一级存储器，由静态存储芯片(SRAM)组成，容量比较小但速度比主存高得多，接近于CPU的速度的存储器。Cache还是非易失性存储器，在设备断电等情况下，数据也不会丢失。获取的数据首先存储在cache中等待发送。传感器设备101将存储在存储模块的数据推送给数据侦听服务器集群模块300。
本实施例中，数据侦听集群控制器模块200是由存放在zookeeper中的N(N＞＝1，N为奇数)台服务器构成，在某一瞬间，只有一台主(leader)节点201提供集群控制服务。zookeeper负责N台机器之间的协调工作，能够保证各节点的数据保持一致，并在主节点崩溃后自动从其余的节点中选出新的主节点。
在本例中，传感器设备101，102，103向数据侦听集群控制器模块200中的主(leader)节点201请求分配数据侦听服务器。主(leader)节点201分别将数据侦听服务器301分配给了传感器设备101，将数据侦听服务器301，302分配给了传感器设备102，将数据侦听服务器302，303分配给了传感器设备103。传感器设备101，102，103可以在分配的数据侦听服务器中选择任意一个数据侦听服务器。本例中，传感器设备101往数据侦听服务器301发送数据，传感器设备102，103往数据侦听服务器302发送数据。传感器设备每次发送数据，可以选择相同的数据侦听服务器，也可以选择不同的数据侦听服务器。在本实施例中，主(leader)节点201给传感器设备102分配了数据侦听服务器301，302。传感器设备102可以往数据侦听服务器301发送数据，也可以往数据侦听服务器302发送数据。
在本例可替换的实施例中，数据侦听集群控制器模块200每次向传感器设备分配唯一可用的数据侦听服务器。传感器设备101，102，103向数据侦听集群控制器模块200中的主(leader)节点201请求分配数据侦听服务器。主(leader)节点201分别将数据侦听服务器301分配给了传感器设备101，将数据侦听服务器302分配给了传感器设备102，将数据侦听服务器302分配给了传感器设备103。
传感器模块100中的传感器设备往数据侦听服务器集群控制器模块200分配的数据侦听服务器集群模块300中的数据侦听服务器发送数据。如果发送失败，传感器设备将向数据侦听集群控制器模块200请求分配新的数据侦听服务器。数据侦听集群控制器模块200监控数据侦听服务器集群模块300的运行状态，将可用的数据侦听服务器分配给发送失败的节点。传感器设备都带有存储模块，数据将不会瞬间丢失，保证了系统的高可用性。在本例中，如图1所示，传感器设备102将存储在设备内部的数据发送给数据侦听服务器302，发送失败。传感器设备102向数据侦听集群控制器模块200请求分配新的数据侦听服务器，主(leader)节点201将数据侦听服务器301重新分配给传感器设备102。传感器设备102向数据侦听服务器301再次发送数据，如果继续发送失败，它将再向数据侦听集群控制器模块200请求分配新的数据侦听服务器。
数据侦听服务器集群控制器模块200监控数据侦听服务器集群模块300的运行状态，为失败的侦听节点重新分配接收节点，并将负载较重的节点上的连接迁移到负载较轻的节点上，以达到整个集群的负载均衡。数据侦听集群控制器模块200在整个系统中扮演着极其重要的角色，它的高可用性事关整个系统的可用性。例如，在本例中，如图1所示，数据侦听集群控制器模块200中的主(leader)节点201分别将数据侦听服务器301分配给了传感器设备101，将数据侦听服务器302分配给了传感器设备102，103。而由于传感器设备102，103有较多的数据需要发送，数据侦听服务器302负载较重，而导致传感器设备102往数据侦听服务器302推送数据时发送失败。在传感器设备102向数据侦听集群控制器模块200中的主(leader)节点201请求新的数据侦听服务器时，主(leader)节点201考虑到负载均衡问题，将数据侦听服务器301分配给传感器设备102。
在本另一可替换的实施例中，当传感器设备第一次请求分配数据侦听服务器时，数据侦听集群控制器模块200中的主(leader)节点201将数据侦听服务器301分配给了传感器设备101，将数据侦听服务器302分配给了传感器设备102，103，104。数据侦听集群控制器模块200监控数据侦听服务器集群模块300的运行状态，发现数据侦听服务器302的负载较重，而数据侦听服务器301的负载较轻。在传感器设备再次请求分配数据侦听服务器时，数据侦听集群控制器模块200将负载较重的节点上的连接迁移到负载较轻的节点上。在本例中，将数据侦听服务器302只分配给传感器设备103，104，而给传感器设备102分配数据侦听服务器301，以达到整个系统的负载均衡，使得整个系统的可用性进一步提高。
数据侦听服务器集群模块300是数据侦听服务器的一个集群，数据侦听服务器集群模块300中的每一台数据侦听服务器负责转发传感器的数据到存储模块400。数据侦听服务器集群模块300中的数据侦听服务器采用对等式主从架构，易于水平扩展，实现了系统的高并发性。
数据侦听服务器集群模块300中的每一台数据侦听服务器负责转发来自传感器模块100中的传感器设备的存储模块中的数据到数据存储模块400。数据侦听服务器可以同步转发数据到数据存储模块400，也可以异步转发数据到数据存储模块400。数据侦听服务器集群模块300中的每一台数据侦听服务器转发存储的数据是非关联操作，数据侦听服务器集群模块300中的某一台数据侦听服务器的宕机不影响整个系统的性能，保证了系统的高可用性。例如，在本例中，数据侦听服务器301，302，303，m将数据转发到数据存储模块400。图1中的数据侦听服务器302宕机，传感器设备102将存储在设备内部的数据发送给数据侦听服务器302失败，传感器设备102将存储的数据发送给数据侦听服务器301，而数据侦听服务器301将会将存储在传感器设备102中的数据转发到数据存储模块400。数据侦听服务器302的宕机不影响整个系统的性能。
在本例中，数据存储模块400采用HBase数据库，其具有高可用、大容量、易扩展等特性。数据存储模块400和传感器模块100的分离，实现了数据采集和数据存储的隔离，可以实现大规模数据的存储，同时也可以实现数据存储的安全性。
设备注册模块500是用来登记设备信息的，它包括设备注册服务器502以及数据库503。传感器模块100中的传感器设备以及数据侦听服务器集群模块300中的数据侦听服务器等设备的增加都会首先通过设备注册服务器502向数据库503中登记设备信息。例如，在本例中，传感器模块100和数据侦听服务器集群模块300中新增的设备都会在设备服务器502中登记。设备服务器502将新增的设备信息传送给MySQL元数据库503，MySQL元数据库403管理所有已登记的设备信息，并将设备信息反馈给数据侦听集群控制器模块200。
图2和图3是本发明各种实施例的两个过程。如图2所示，传感器设备获取数据，处理过程开始。在701处，传感器设备向数据侦听集群控制器请求分配数据侦听服务器，数据侦听集群控制器监控数据侦听服务器集群模块的运行状态，如果数据侦听服务器集群模块中有可用的数据侦听服务器，数据侦听集群控制器接受传感器设备的请求，将数据侦听服务器集群模块中的可用的数据侦听服务器分配给传感器设备，如702所示。否则，数据侦听集群控制器拒绝传感器设备的请求。
根据本发明的多个实施例，数据侦听集群控制器将数据侦听服务器集群模块中的可用的数据侦听服务器分配给传感器设备，可用的数据侦听服务器可能有多个。传感器设备在分配的数据侦听服务器中选择任意一个数据侦听服务器推送数据，每次可以选择不同的数据侦听服务器。如果数据发送成功，数据侦听服务器将数据转发给数据存储模块，整个过程结束。如果发送失败，传感器设备再次向数据侦听集群控制器请求分配新的数据侦听服务器。
与图2所示的处理过程类似，在图3中，传感器设备获取数据，处理过程开始。在751处，传感器设备向数据侦听集群控制器请求分配数据侦听服务器，数据侦听集群控制器监控数据侦听服务器集群模块的运行状态，如果数据侦听服务器集群模块中有可用的数据侦听服务器，数据侦听集群控制器接受传感器设备的请求，将数据侦听服务器集群模块中的可用的数据侦听服务器分配给传感器设备，如752所示。否则，数据侦听集群控制器拒绝传感器设备的请求。
根据本发明的多个实施例，数据侦听集群控制器将数据侦听服务器集群模块中的可用的数据侦听服务器分配给传感器设备，可用的数据侦听服务器可能有多个，数据侦听集群控制器每次给传感器设备分配唯一的数据侦听服务器。传感器设备向分配的数据侦听服务器推送数据，如果数据发送成功，数据侦听服务器将数据转发给数据存储模块，整个过程结束。如果发送失败，传感器设备再次向数据侦听集群控制器请求分配新的数据侦听服务器。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
Claims (10)
1.一个面向物联网的高并发高可用数据采集系统，其特征在于：所述系统主要由传感器模块、数据侦听集群控制器模块、数据侦听服务器集群模块、数据存储模块以及用于登记设备信息的设备注册模块组成，其中：
传感器模块将检测感受到的信息变换成为所需形式的信息，该信息的数据首先缓存在传感器模块中，然后传感器模块向数据侦听集群控制器模块请求分配数据侦听服务器；
数据侦听集群控制器模块监控数据侦听服务器集群模块的运行状态，将可用的数据侦听服务器分配给传感器模块；
传感器模块将数据并行推送给数据侦听服务器集群模块，若发送失败，将向数据侦听集群控制器模块请求分配新的数据侦听服务器；
数据侦听集群控制器模块监控数据侦听服务器集群模块的运行状态，为失败的侦听节点重新分配接收节点，并将负载较重的节点上的连接迁移到负载较轻的节点上，以达到整个集群的负载均衡；
数据侦听服务器集群模块在成功接收传感器模块的数据以后，再将数据转发到数据存储模块。
2.根据权利要求1所述的高并发高可用的数据采集系统，其特征在于：所述传感器模块是传感器设备的一个集群，每一个传感器设备包括数据获取模块以及存储模块；数据获取模块将获取的数据首先存储在存储存模块中。
3.根据权利要求2所述的高并发高可用的数据采集系统，其特征在于：所述传感器设备在采集数据以后，将向数据侦听集群控制器模块请求分配数据侦听服务器，数据侦听集群控制器模块将可用的数据侦听服务器分配给传感器设备。
4.根据权利要求3所述的高并发高可用的数据采集系统，其特征在于：所述数据侦听集群控制器模块在接到传感器设备的请求以后，分配唯一的一个数据侦听服务器，或者分配多个数据侦听服务器。
5.根据权利要求4所述的高并发高可用的数据采集系统，其特征在于：若所述数据侦听集群控制器模块分配多个数据侦听服务器，传感器设备在可用的数据侦听服务器中选择任意一个数据侦听服务器，发送数据，每次发送，选择相同的数据侦听服务器或者选择不同的数据侦听服务器。
6.根据权利要求4所述的高并发高可用的数据采集系统，其特征在于：所述的传感器模块中的不同的传感器设备将存储的数据发送给所述的数据侦听服务器集群模块中的不同的数据侦听服务器，或者将存储的数据发送给所述的数据侦听服务器集群模块中的相同的数据侦听服务器。
7.根据权利要求1-6任一项所述的高并发高可用的数据采集系统，其特征在于：所述数据侦听集群控制器模块，在某一瞬间，只有一台主节点提供集群控制服务；主节点崩溃后自动从其余的节点中选出新的主节点。
8.根据权利要求1-6任一项所述的高并发高可用的数据采集系统，其特征在于：所述数据侦听服务器集群模块是数据侦听服务器的一个集群，数据侦听服务器采用对等式主从架构，易于水平扩展。
9.根据权利要求1-6任一项所述的高并发高可用的数据采集系统，其特征在于：所述数据侦听服务器集群模块中的数据侦听服务器在成功接收数据以后，分别将数据转发到数据存储模块中，某一台数据侦听服务器宕机，不影响整体数据的转发。
10.根据权利要求1-6任一项所述的高并发高可用的数据采集系统，其特征在于：所述数据侦听服务器集群模块中的数据侦听服务器同步将数据转发到数据存储模块中，或者异步转发到数据存储模块中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101989007A CN103227840A (zh) | 2013-05-24 | 2013-05-24 | 面向物联网的高并发高可用数据采集系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101989007A CN103227840A (zh) | 2013-05-24 | 2013-05-24 | 面向物联网的高并发高可用数据采集系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103227840A true CN103227840A (zh) | 2013-07-31 |
Family
ID=48838096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2013101989007A Pending CN103227840A (zh) | 2013-05-24 | 2013-05-24 | 面向物联网的高并发高可用数据采集系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103227840A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104065741A (zh) * | 2014-07-04 | 2014-09-24 | 用友软件股份有限公司 | 数据采集系统和数据采集方法 |
| CN105447097A (zh) * | 2015-11-10 | 2016-03-30 | 北京北信源软件股份有限公司 | 数据采集方法及系统 |
| CN108965377A (zh) * | 2017-05-19 | 2018-12-07 | 柯尼卡美能达株式会社 | 边缘计算系统、通信控制方法及计算机可读取的记录介质 |
| CN110430074A (zh) * | 2019-07-30 | 2019-11-08 | 深圳栅格信息技术有限公司 | 一种监控采集软件与远端服务器的自动配置系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102739775A (zh) * | 2012-05-29 | 2012-10-17 | 宁波东冠科技有限公司 | 物联网数据采集服务器集群的监控和管理方法 |
-
2013
- 2013-05-24 CN CN2013101989007A patent/CN103227840A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102739775A (zh) * | 2012-05-29 | 2012-10-17 | 宁波东冠科技有限公司 | 物联网数据采集服务器集群的监控和管理方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104065741A (zh) * | 2014-07-04 | 2014-09-24 | 用友软件股份有限公司 | 数据采集系统和数据采集方法 |
| CN104065741B (zh) * | 2014-07-04 | 2018-06-19 | 用友网络科技股份有限公司 | 数据采集系统和数据采集方法 |
| CN105447097A (zh) * | 2015-11-10 | 2016-03-30 | 北京北信源软件股份有限公司 | 数据采集方法及系统 |
| CN108965377A (zh) * | 2017-05-19 | 2018-12-07 | 柯尼卡美能达株式会社 | 边缘计算系统、通信控制方法及计算机可读取的记录介质 |
| CN110430074A (zh) * | 2019-07-30 | 2019-11-08 | 深圳栅格信息技术有限公司 | 一种监控采集软件与远端服务器的自动配置系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10949447B2 (en) | Blockchain-based data synchronizing and data block parsing method and device | |
| CN109492040B (zh) | 一种适用于数据中心海量短报文数据处理的系统 | |
| US9002969B2 (en) | Distributed multimedia server system, multimedia information distribution method, and computer product | |
| US9621620B2 (en) | Apparatus and method for providing content with a distributed architecture, and system for providing content with the said apparatus | |
| CN111600965B (zh) | 区块链中的共识方法和系统 | |
| CN103699692A (zh) | 物联网接入平台数据管理方法 | |
| CN104092719B (zh) | 文件传输方法、装置及分布式集群文件系统 | |
| CN103209223A (zh) | 分布式应用会话信息共享方法、系统和应用服务器 | |
| CN103064731A (zh) | 一种提高消息队列系统性能的装置及其方法 | |
| US10805392B2 (en) | Distributed gather/scatter operations across a network of memory nodes | |
| CN103227840A (zh) | 面向物联网的高并发高可用数据采集系统 | |
| CN107888666A (zh) | 一种跨地域数据存储系统以及数据同步方法和装置 | |
| JP2013257798A (ja) | データ収集システムおよびデータ収集方法 | |
| US11463376B2 (en) | Resource distribution method and apparatus in Internet of Things, device, and storage medium | |
| US20150019620A1 (en) | High availability for communications based on remote procedure calls | |
| CN105357549A (zh) | 一种机顶盒数据采集系统及数据采集方法 | |
| CN109783564A (zh) | 支持多节点的分布式缓存方法及设备 | |
| US10171606B2 (en) | System and method for providing data as a service (DaaS) in real-time | |
| CN104410531A (zh) | 冗余的系统架构方法 | |
| CN110798495B (zh) | 用于在集群架构模式下端到端的消息推送的方法和服务器 | |
| CN105282045B (zh) | 一种基于一致性哈希算法的分布式计算和储存方法 | |
| US20220129179A1 (en) | Data processing apparatus, data processing system including the same, and operating method thereof | |
| US9078159B2 (en) | Data collection method, mobile terminal and data storage device | |
| US20090083379A1 (en) | Enabling connections for use with a network | |
| CN107070994A (zh) | 适用于土地资源管理信息系统的数据库 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| DD01 | Delivery of document by public notice |
Addressee: Shanghai Hiwave Advanced Materials Technology Co., Ltd. Document name: Notification that Application Deemed not to be Proposed |
|
| ASS | Succession or assignment of patent right |
Owner name: SHANGHAI HEWU INFORMATION TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: SHANGHAI HEWU NEW MATERIAL TECHNOLOGY CO., LTD. Effective date: 20150706 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20150706 Address after: 200240 Shanghai city Minhang District Jianchuan road 953 Lane 322 building Applicant after: Shanghai Hewu Information Technology Co., Ltd. Address before: No. 955 Cangyuan science and Technology Park, 200240 Shanghai city Minhang District Jianchuan Road Building 9 floor, I enjoy my home Applicant before: Shanghai Hiwave Advanced Materials Technology Co., Ltd. |
|
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130731 |