CN105590438B - 一种基于远程控制和数据压缩的数据无线采集系统 - Google Patents

Abstract

本发明涉及远程数据传输处理领域，尤其是涉及一种基于远程控制和数据压缩的数据无线采集系统，所述的数据无线采集系统的现场部分主要包括测风传感器、采集器和供电装置，客户端部分包括云服务器和数据终端；测风传感器对高频风速数据进行采集，采集器通过接口与测风传感器相连，对测风传感器的数据和云服务器的指令进行处理，云服务器与采集器通过无线网络连接，数据终端通过互联网与云服务器交互连接，本发明提供了一种设计合理，具备远程控制和数据压缩的数据无线采集系统，通过算法对实时采集的高频风速数据进行压缩传输，节省传输流量，提高传输效率，并实现对采集的高频风速数据进行交互式订制采集，提高传输数据的有效性。

Description

一种基于远程控制和数据压缩的数据无线采集系统

技术领域

本发明涉及远程数据传输处理领域，尤其是涉及一种基于远程控制和数据压缩的数据无线采集系统。

背景技术

在风工程研究和应用领域，现场实测是获取风特性最直接和准确的方法之一。常见的移动测量塔、测风塔或桅杆以及健康监测系统，以测风传感器为基础，通过工控机及电脑人工现场采集数据，或通过数据采集器(如Campbell CR1000)和自动存储卡，自动采集数据。二者均有一定的缺陷，比如对于环境恶劣的偏远山区，人工采集的工作条件相对困难，另外不能获取实时数据。

近十几年来，随着移动通信技术飞速发展，越来越多的信息采集和远程控制系统采用了无线数据传输技术，它与有线数传相比主要有无线采集、安装简便、便于移动的优点。目前，GSM、GPRS/CDMA和UMTS等无线网络已被用于偏远地区远程采集风速数据。例如，美国NRG风速仪已经被广泛应用于风场观测的数据采集。然而，这种仪器系统只能传输低频风测量数据，比如十分钟的平均风速。发明人的上一代产品，一种高频风速仪测量数据远程传输系统(申请号201410118627.7)和一种用于大风监测的高频数据远程传输系统(申请号201510178804.5)，采用GPRS无线发射装置RTU，虽然实现了高频风速的远程实时传输，但是产品集成度不高，且不具有远程交互功能。而美国Campbell公司的CR3000数据采集器整装设计，结构紧凑，能够利用以太网、无线电、CDMA/GPRS和卫星等多种通讯方式进行数据传输，但是其采集模式单一，而且传输效率较低。

发明内容

针对以上技术问题，本发明的目的在于突破现有高频风速采集系统的不足，提供了一种设计合理，具备远程控制和数据压缩的数据无线采集系统，通过算法对实时采集的高频风速数据进行压缩传输，节省了传输流量，提高传输效率，并实现对采集的高频风速数据进行交互式订制采集，提高传输数据的有效性。

为达到上述目的，本发明提供如下技术方案：

一种基于远程控制和数据压缩的数据无线采集系统，所述的数据无线采集系统主要包括现场和客户端部分，所述的现场部分主要包括测风传感器、采集器和供电装置，所述的客户端部分主要包括云服务器和基于云服务器的数据终端；测风传感器设置在采集现场，对高频风速数据进行采集，采集器通过RS485接口与测风传感器相连，对测风传感器传来的数据和云服务器的指令进行处理，供电装置对测风传感器和采集器进行供电，云服务器与采集器通过GPRS无线网络交互连接，云服务器的数据终端通过互联网与云服务器交互连接。

进一步，所述的供电装置采用一块以上的太阳能蓄电池进行供电。

进一步，所述的数据终端为手机app客户端或邮箱系统。

进一步，所述的采集器在硬件结构上主要包括时钟模块、通讯转接模块、中央处理器、内部缓存、电池监控模块、5V/3A高效率电源、存储控制模块和通讯模块，其中：所述的时钟模块由锂电池和时钟芯片组成，对测风传感器传来的数据进行时间标记；所述的通讯转接模块对测风传感器输出的数据进行格式转换，转换为采集器能够识别的格式；所述的中央处理器采用两个并行CPU对采集器进行并行控制，数据CPU控制数据的采集、处理和存储，传输CPU控制数据的传输以及对电源的监控；两个CPU之间通过内部通讯实现相互协作；所述的内部缓存采用两个以上的缓存芯片，内部缓存实现同时执行写入和读取操作指令；所述的电池监控模块对供电装置的电池进行实时监控，保障电池的正常工作；所述的5V/3A高效率电源将供电装置提供的12V电压转换为采集器的5V工作电压，并采用大电流为采集器的通讯模块提供功率保证；所述的存储控制模块接收通讯转接模块的传输数据并还原数据格式，自动创建文件保存数据，同时把文件存入预先连接在其上的外部存储设备上；所述的通讯模块连接SIM卡，通过GPRS网络将数据无线传输到云服务器。

进一步，所述的采集器在软件功能模块上具有交互式功能、数据压缩功能、工作日志功能、紧急报警功能，其中：

所述的交互式功能是云服务器的数据终端通过云服务器对采集器和测风传感器进行控制，实现传输数据频率、风速监测阀值、风速、风向、仰角、声速和温度数据进行订制采集和传输；

所述的数据压缩功能是采集器通过对数据进行时间戳处理、删除冗余字符以及十六进制转换实现传输数据的压缩；

所述的工作日志功能是对故障日志、断网日志和电源日志进行记录，并将定期其发送到客户的邮箱系统；

所述的紧急报警功能是对系统运行过程中出现的紧急情况进行报警通知。

进一步，采集器的数据压缩的处理步骤为：

1).对测风传感器传来的数据打时间戳进行时间数据压缩；

2).对打时间戳后的数据删除冗余字符和进行十六进制转换压缩；

3).通过交互式功能实现对数据的筛选压缩，并将筛选后数据进行传输和反转换。

进一步，在步骤1)对测风传感器传来的数据打时间戳进行时间数据压缩时，采用以下规则：整时时刻，数据为完整格式，一个小时内共计1个；在整分非整时时刻，数据省略小时数，一个小时内共计59个；在其余时刻，数据省略小时数和分钟数，一个小时内共计3540个，此时，由此可以估算出新方法在输出频率为1HZ～20HZ的时间压缩率分别约为42％～830％。

进一步，所述的采集器配置有两只自恢复保险。

本发明的有益效果：

本发明与现有数据采集系统相比，本系统具有很明显的优势，应用前景广阔，其具有现场设备简单轻便，易于安装；多种设置满足不同用户使用需要；高效传输节省资源占用和手机app使得操作更加灵活方便的特点，其具体表现在：

(1)本发明采用远程传输系统，并通过邮件系统发送到指定的邮箱，从而极大方便了恶劣条件下的现场实测数据的传输，减少人工成本。此外，本发明还具有很强的适用性，可广泛的适用于各种高频数据的监测。

(2)本发明采用交互式设计，使云服务器的数据终端通过云服务器对采集器和测风传感器进行控制，实现传输数据频率、风速监测阀值、风速、风向、仰角、声速和温度数据进行订制采集和传输，提高了对数据的定制性和传输数据的有效性。

(3)本发明采用特殊的算法对测风传感器传来的数据打时间戳，较常规时间戳打法的时间压缩率分别约为42％～830％，压缩度高，同时还采用删除冗余字符和进行十六进制转换压缩等手段，进一步压缩数据，使传输的数据被压缩了大约40％，并通过交互式功能实现对数据的筛选压缩，传输的数据可以减小5～6倍，大大地提高了传输的效率，节省了传输流量。

附图说明

图1为本发明的结构示意图；

图2为采集器构造图；

图3为采集器结构原理图；

图4为两种加时间方法的比较图；

图5为删除冗余字符的比较图；

图6为十六进制转换的比较图；

图中：①-时钟模块、②-通讯转接模块、③-中央处理器、④-内部缓存、⑤-电池监控模块、⑥-5V/3A高效率电源、⑦-存储控制模块和⑧-通讯模块。

具体实施例

下面将结合本发明实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于远程控制和数据压缩的数据无线采集系统，主要包括现场和客户端两大部分，测风传感器、采集器和供电装置构成了现场部分。系统对于测风传感器的基本要求是能够高频采样，因而通常采用三维超声风速仪。测风传感器的数据通过RS485通讯被有线地传输到采集器。考虑到偏远地区可能出现的供电困难问题，采用太阳能电池作为供电装置，它需要分别为测风传感器和采集器供电。客户端部分主要是云服务器，还有基于云服务器的其它终端，比如手机app、邮箱等等。现场与客户端之间的连接是通过云服务器与采集器的无线通讯实现的，通过GPRS无线网络二者以TCP/IP协议相互通讯，通讯的主要内容有现场数据的传输和客户端指令的发布。手机app主要用于实时监控系统工作，发布指令等，邮箱主要用于用户获取能够直接使用的数据及其它信息。

本发明主要是开发一种集存储、压缩处理和传输等功能为一体的采集器，如图2所示，其主要包括8个工作元件：时钟模块①、通讯转接模块②、中央处理器③、内部缓存④、电池监控模块⑤、5V/3A高效率电源⑥、存储控制模块⑦和通讯模块⑧，其中所述的时钟模块①由锂电池和时钟芯片组成，对测风传感器传来的数据进行时间标记；所述的通讯转接模块②对测风传感器输出的数据进行格式转换，转换为采集器能够识别的格式；所述的中央处理器③采用两个并行CPU对采集器进行并行控制，数据CPU控制数据的采集、处理和存储，传输CPU控制数据的传输以及对电源的监控；两个CPU之间通过内部通讯实现相互协作；所述的内部缓存④采用两个以上的缓存芯片，内部缓存实现同时执行写入和读取操作指令；所述的电池监控模块⑤对供电装置的电池进行实时监控，保障电池的正常工作；所述的5V/3A高效率电源⑥将供电装置提供的12V电压转换为采集器的5V工作电压，并采用大电流为采集器的通讯模块提供功率保证；所述的存储控制模块⑦接收通讯转接模块⑧的传输数据并还原数据格式，自动创建文件保存数据，同时把文件存入预先连接在其上的外部存储设备上；所述的通讯模块⑧连接SIM卡，通过GPRS网络将数据无线传输到云服务器。

采集器的核心部件的工作过程如图3所示：风速仪输出的数据在加上时间参数以后，一方面全部存储在现场的存储设备中，另一方面经过数据CPU的选取、压缩处理之后存入内部缓存，然后传输CPU通过通讯模块将其发送至远程的云服务器上。同时，电池的工作状况信息也一并发送。此外，通讯模块将接收到的用户的指令反馈至传输CPU，然后传输CPU将指令发送至数据CPU，它接收到指令以后便根据这个新的指令执行任务。

采集器在软件功能模块上具有交互式功能、数据压缩功能、工作日志功能、紧急报警功能等其他功能，其中：

1.交互式功能

交互式功能是云服务器的数据终端通过云服务器对采集器和测风传感器进行控制，实现传输数据频率、风速监测阀值、风速、风向、仰角、声速和温度数据进行订制采集和传输；如前所述，通过采集器的通讯模块，来自测风传感器的数据可以被无线传输到用户的云服务器上。反过来，用户的云服务器也可以向采集器发送控制传输的指令。指令的内容可以包括需要传输的数据的频率、传输的最小风速(风速阀值)和需要传输的数据的内容等。在本发明中。采用的测风传感器Young 81000的最大输出频率为20HZ，也就是说它在1秒内最多输出20组数据，这一秒内需要传输的数据应该来自这20组数据，所以传输的数据的频率必须是20的约数，可以取20、10、5、4、2和1。这样做可以保证每一秒的数据组数相同，而且无论传输频率是多少，每一秒的第一组数据一定会被选取出来，这将对时间的压缩处理提供便利，后文将就此作详细介绍。一般情况下，过小的风速的使用价值不高，用户可以根据自身需要，设置风速阀值来过滤掉不必要的数据组。根据以往山区风实测的经验，大约80％的风速小于6m/s，因此对风速阀值的控制可以大大提高传输效率。此外，为了满足不同的应用需求，每组数据的各项内容可以被设置是否输出。每组数据的全部内容包括风速、风向、仰角、声速和温度。基于测风系统的基本目标，风速一定作为输出项，其余内容为可选项。通过交互式功能，仅仅用户需要的数据才被传输，这极大地扩展了测风系统的适用范围，提高了传输数据的有效性。

2.数据压缩功能

在实际应用的过程中，网络信号的长时间中断会导致数据的缺失，为了近似地还原数据，需要对数据进行重构，但是在重构的过程中，由于风速仪输出的数据本身不包含时间，因此很容易出现数据混乱的现象。对数据附加上相应的时间是一种可行且方便的解决办法。值得说明的是，这里的时间来源于采集器的时钟部分。另外，带时间的数据具有比较高的辨识度，可以根据它判断出数据缺失的时间以及故障发生的时间，还可以方便查找外部存储设备中的备份数据。

1).对测风传感器传来的数据打时间戳进行时间数据压缩；

传统的加时间的方法是对每一秒的所有组数据都加上当前时间，但是这较大程度地增加了存储占用空间以及传输的流量。为了减小时间占用的存储空间及流量，考虑到一秒包含多组数据(视频率而定)，只需对每1秒的第一组数据加时间，时间的内容只包括时、分和秒，而且所有的时、分、秒仅仅记录一次，也就是说，当前后相邻的时间有相同的分钟数或小时数，则省略后者的。至于数据对应的日期，则可以每天生成一个以日期命名的文件来保存这一整天的数据。

为了更加具体地说明加时间的过程，以输出频率为2HZ，在三个特殊时刻的完整含时间的Young81000风速仪的数据为例，如图4所示，比较两种方法。通过观察容易发现：

新方法在整时时刻，数据为完整格式，一个小时内共计1个；在整分非整时时刻，数据省略小时数，一个小时内共计59个；在其余时刻，数据省略小时数和分钟数，一个小时内共计3540个。

而传统方法在一个小时之内的时间数据为7200个(3600s×2HZ)，均为完整格式。由此可以估算出新方法在输出频率为1HZ～20HZ的时间压缩率分别约为42％～830％。相对于存储空间的占用而言，数据传输的流量是更加值得关注的问题，为了更进一步地节省数据传输流量，最高效率地传输数据，通过对数据的压缩处理可以获得良好的效果。

2).对打时间戳后的数据删除冗余字符和进行十六进制转换压缩；

分析Young81000风速仪的输出数据可知，每组数据均包含一些多余的空格字符以及处于固定位置的小数点，这些字符同样会产生传输流量，而去掉冗余字符能够减少传输流量，但不会对传输结果产生任何影响，如图5所示。

此外，根据风速仪输出数据的特点并结合十六进制转换还可以进一步缩减传输的数据。如图6所示，Young81000风速仪的风速、风向和温度均为四位有效数字。分别把前两位有效数字和后两位有效数字转换成十六进制数是可行且合理的。仰角为三位有效数字，但可能含有负号，分别把前两位有效数字和后一位有效数字转换为十六进制数，负号表示为十六进制的“1”，正号表示为十六进制的“0”。声速共有五位有效数字，考虑到两位十六进制数可以表示的最大十进制数为255，这个数是小于声速的三位有效数字的，如果用三位十六进制数表示则达不到压缩的目的。而通常自然环境下，声速应该大于300小于400，也就是说，其首位数字一定是3，所以可以将其忽略，把后四位有效数字按照前面的方法转换成2个十六进制数即可。通过删除冗余字符以及十六进制转换，传输的数据被压缩了大约40％，可见这两种压缩处理方法对于流量的节省有显著的效果。值得说明的是，传输到云服务器的十六进制数需要按照上述规则还原为十进制数，以便于用户使用。具体操作是十进制转换，还原负号，在相应位置加上小数点以及首位数3。

3).通过交互式功能实现对数据的筛选压缩，并将筛选后数据进行传输和反转换。

用户还可以使用交互式功能对不需要的数据不予传输，这也在一定程度上减少了传输的流量。总的说来，通过数据压缩功能和交互式功能，传输的数据可以减小5～6倍，大大地提高了传输的效率，节省了传输流量。

3.工作日志

为了了解系统整体的工作状况，故障日志及断网日志被定期发送给用户。此外，系统通过对电源的实时监控，生成电源日志并定时发送至用户邮箱。通过工作日志，用户可以对系统进行定期检查，以保证用户对接收到的数据做出恰当的判断。

4.紧急报警

通过这项功能，对于系统运行过程中可能出现的一些紧急情况，会被及时地通知用户。比如系统发生故障，或电池处于电压过低等异常状态等等。另外，由于大风数据在风工程的研究中比较重要，所以大风也应该报警，以便及时获得大风数据。

5.其它功能

针对稳定、实用和方便的开发目的，一些重要的细节被纳入考虑。比如，为了防止外部接线引起的短路，采集器被配置了两只自恢复保险；为了适应多种风速仪，采集器被设置成多种接口；供电装置采用两块电池，以保证供电的稳定性等等。另外，基于用户的实际需要，更加方便实用的功能被提供。

对比分析

如上所述，常见的高频风速仪无线数据采集系统主要有两大类，一类是采集器加上无线传输装置的组合系统，如发明人开发的第一代产品(相关专利：一种高频风速仪测量数据远程传输系统；申请号201410118627.7)，它已经应用于实际山区高频风速的测量，另一类是自带无线传输功能的数据采集器比如CR3000和NI compactrio(相关专利：一种用于大风监测的高频数据远程传输系统；申请号201510178804.5)，它们是集成度高、性能强劲的数据采集器，它可在专业级气象研究、农业研究、甚至航空航天研究等领域得到应用。作者最新开发的采集系统以第一代产品为基础，提出了很多的改革与创新，完善了目前高频风速测量方面的需求功能，具有广阔的应用前景。表1对比了以上四种无线采集系统，它表明最新开发的采集系统在实用性方面得到了明显提升，尤其是交互性和数据压缩处理的功能，独具特色。

表1不同无线采集系统的对比

本发明与现有数据采集系统相比，本系统具有很明显的优势，应用前景广阔，其具有现场设备简单轻便，易于安装；多种设置满足不同用户使用需要；高效传输节省资源占用和手机app使得操作更加灵活方便的特点，其具体表现在：(1)本发明采用远程传输系统，并通过邮件系统发送到指定的邮箱，从而极大方便了恶劣条件下的现场实测数据的传输，减少人工成本。此外，本发明还具有很强的适用性，可广泛的适用于各种高频数据的监测；(2)本发明采用交互式设计，使云服务器的数据终端通过云服务器对采集器和测风传感器进行控制，实现传输数据频率、风速监测阀值、风速、风向、仰角、声速和温度数据进行订制采集和传输，提高了对数据的定制性和传输数据的有效性；本发明采用特殊的算法对测风传感器传来的数据打时间戳，较常规时间戳打法的的时间压缩率分别约为42％～830％，压缩度高，同时还采用删除冗余字符和进行十六进制转换压缩等手段，进一步压缩数据，使传输的数据被压缩了大约40％，并通过交互式功能实现对数据的筛选压缩，传输的数据可以减小5-6倍，大大地提高了传输的效率，节省了传输流量。

最终，以上实施例和附图仅用以说明本发明的技术方案而非限制，尽管通过上述实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.一种基于远程控制和数据压缩的数据无线采集系统，其特征在于：所述的数据无线采集系统主要包括现场和客户端部分，所述的现场部分主要包括测风传感器、采集器和供电装置，所述的客户端部分主要包括云服务器和基于云服务器的数据终端；测风传感器设置在采集现场，对高频风速数据进行采集，采集器通过RS485接口与测风传感器相连，对测风传感器传来的数据和云服务器的指令进行处理，供电装置对测风传感器和采集器进行供电，云服务器与采集器通过GPRS无线网络交互连接，数据终端通过互联网与云服务器交互连接，所述的采集器在软件功能模块上具有交互式功能、数据压缩功能、工作日志功能、紧急报警功能，其中：所述的交互式功能是云服务器的数据终端通过云服务器对采集器和测风传感器进行控制，实现传输数据频率、风速监测阀值、风速、风向、仰角、声速和温度数据进行订制采集和传输；所述的数据压缩功能是采集器通过对数据进行时间戳处理、删除冗余字符以及十六进制转换实现传输数据的压缩；所述的工作日志功能是对故障日志、断网日志和电源日志进行记录，并将其定期发送到客户的邮箱系统；所述的紧急报警功能是对系统运行过程中出现的紧急情况进行报警通知，对测风传感器传来的数据打时间戳进行时间数据压缩时，采用以下规则：整时时刻，数据为完整格式，一个小时内共计1个；在整分非整时时刻，数据省略小时数，一个小时内共计59个；在其余时刻，数据省略小时数和分钟数，一个小时内共计3540个。

2.根据权利要求1所述的一种基于远程控制和数据压缩的数据无线采集系统，其特征在于：所述的采集器在硬件结构上主要包括时钟模块、通讯转接模块、中央处理器、内部缓存、电池监控模块、5V/3A高效率电源、存储控制模块和通讯模块，其中，所述的时钟模块由锂电池和时钟芯片组成，对测风传感器传来的数据进行时间标记；所述的通讯转接模块对测风传感器输出的数据进行格式转换，转换为采集器能够识别的格式；所述的中央处理器采用两个并行CPU对采集器进行并行控制，数据CPU控制数据的采集、处理和存储，传输CPU控制数据的传输以及对电源的监控；两个CPU之间通过内部通讯实现相互协作；所述的内部缓存采用两个以上的缓存芯片，内部缓存实现同时执行写入和读取操作指令；所述的电池监控模块对供电装置的电池进行实时监控，保障电池的正常工作；所述的5V/3A高效率电源将供电装置提供的12V电压转换为采集器的5V工作电压，并采用大电流为采集器的通讯模块提供功率保证；所述的存储控制模块接收通讯转接模块的传输数据并还原数据格式，自动创建文件保存数据，同时把文件存入预先连接在其上的外部存储设备上；所述的通讯模块连接SIM卡，通过GPRS网络将数据无线传输到云服务器。

3.根据权利要求1所述的一种基于远程控制和数据压缩的数据无线采集系统，其特征在于：所述的供电装置采用一块以上的太阳能蓄电池进行供电。

4.根据权利要求1所述的一种基于远程控制和数据压缩的数据无线采集系统，其特征在于：所述的数据终端为手机app客户端或邮箱系统。

5.根据权利要求1所述的一种基于远程控制和数据压缩的数据无线采集系统，其特征在于：所述的采集器配置有两只自恢复保险。