CN104219495A - 一种可视化多路传感器一体式终端 - Google Patents

Abstract

本发明公开一种可视化多路传感器一体式终端,包括：一主控制CPU，其采用SoC系统，实现处理器、协处理器和存储器的集成；一多路传感器网关模块，其传送信号至所述主控CPU；一音频视频采集模块，其将检测到的图像转换成数字信号并传输至所述CPU，采用集成采集芯片，将音视频、传感器数据采集功能集成在同一个芯片封装中，简化外部辅助元器件的个数；一3G无线通信模块，其与所述主控CPU进行信号交互。本发明基于感知层、网络层及应用层的架构，可实现信息的综合采集、处理及传输应用，形成以可视化图形为主的无线多传感器信息分析和研究服务平台。

Description

一种可视化多路传感器一体式终端

技术领域

本发明涉及一种可视化多路传感器一体式终端。

背景技术

在工业安防、农业自动化、环境监测、军事、医疗、智能家居等领域，无线传感器网络(WSN,Wireless Sensor Networks)是由部署在监测区域内的大量微型传感器节点组成，是采用无线通信的方式形成的一个多跳自组织网络系统，能够通过集成化的微型传感器，协同地实时监测、感知、采集和处理网络覆盖区域中各种感知对象的信息，并对信息资料进行处理，再通过无线通信方式发送，并以自组多跳网络方式传送给信息用户，以此实现数据收集、目标跟踪以及报警监控等各种功能。

在现有技术中，作为数据采集核心的RTU，用于监视、控制与数据采集的应用,RTU终端又通过DTU数传设备传输到中心平台；另外，监测现场安装的视频监控仅仅作为一个独立的安全防范系统起作用，两者没有交集，现有系统的隔离，不能为获取正确的事件数据和正确理解提供原始的、直观的支持。

发明内容

本发明的目的是提供一种可视化多路传感器一体式终端，其可以解决现有技术产的上述缺点。

本发明采用以下技术：

一种可视化多路传感器一体式终端,包括：

一主控制CPU，其采用SoC系统，实现处理器、协处理器和存储器的集成；

一多路传感器网关模块，其传送信号至所述主控CPU；

一音频视频采集模块，其将检测到的图像转换成数字信号并传输至所述CPU，采用集成采集芯片，将音视频、传感器数据采集功能集成在同一个芯片封装中，简化外部辅助元器件的个数；

一3G无线通信模块，其与所述主控CPU进行信号交互。

还包括外围电路，其与所述主控CPU电性连接。

还包括一时钟电路，其与所述主控CPU电性连接。

还包括一电源模块，其与所述主控CPU电性连接，且为所述主控CPU提供电源，采用集成的电源管理芯片，同时提供多种电压输出，实现对多模块的统一供电。

还包括一闪存模块，其与所述主控CPU电性连接。

还包括一同步内存模块，其与所述主控CPU电性连接。

还包括一LCD显示模块，其与所述主控CPU电性连接。

所述主控CPU负责调配和控制各个模块的工作，其主要功能是通过多路传感器收发当前应用环境参数信息，通过音频视频采集模块获取环境可视化信息，把这些视频或数据信息以H.246标准格式压缩，并整合成能由串口发送出去的特定格式，最后由3G无线模块发送到无线网络，最终通过INTERNET公共网络或其他专有网络传回监控中心主机。

所述多路传感器网关模块为基于CC2420芯片的网关，与传感器网络通信，并利用无线网卡模块与无线局域网连接，其可多路传感接收网关数据实时转换和传输的目的。

本发明的优点是：基于感知层、网络层及应用层的架构，可实现信息的综合采集、处理及传输应用，形成以可视化图形为主的无线多传感器信息分析和研究服务平台。采用模块集成一体化管理，加上优化电源管理系统和散热设计，可保证产品小型化、低功耗、高稳定性等性能要求。通过改进压缩算法与传输机制，实现可视化视音频数据的高效压缩与同步传输。采用多模联合算法与无线信道自适应性能的传输控制算法，保证数据在无线网络中的顺利传输。

附图说明

下面结合实施例和附图对本发明进行详细说明，其中：

图1是本发明的结构示意图。

图2是本发明的流程示意图

具体实施方式

下面结合附图进一步阐述本发明的具体实施方式：

基于多路传感器的无线可视化融合性物联网应用系统由无线传感网络、可视化多路传感器一体式终端应用系统(信号采集与处理子系统)、承载网络传输控制系统、中间件系统和后台综合信息应用系统五大部分构成。视频音频视频采集模块和其他的多路传感器设备组成了物联网的感知层，采集物联网络的基础数据，其后通过网络层的传输，结合中间件系统数据平台、集成至视频应用平台和其他应用场景(包括个人应用、行业应用、公共领域应用等)，对相应数据进行处理、识别、应用，并进行自动甚至智能化地进行相关事务的处理和对关联对象的控制。

一种可视化多路传感器一体式终端,包括：一主控制CPU3，其采用SoC系统，实现处理器、协处理器和存储器的集成；一多路传感器网关模块10，其传送信号至所述主控CPU；一音频视频采集模块1，其将检测到的图像转换成数字信号并传输至所述CPU，采用集成采集芯片，将音视频、传感器数据采集功能集成在同一个芯片封装中，简化外部辅助元器件的个数；一3G无线通信模块2，其与所述主控CPU进行信号交互。

还包括外围电路9，其与所述主控CPU电性连接。还包括一时钟电路8，其与所述主控CPU电性连接。还包括一电源模块7，其与所述主控CPU电性连接，且为所述主控CPU提供电源，采用集成的电源管理芯片，同时提供多种电压输出，实现对多模块的统一供电。还包括一闪存模块4，其与所述主控CPU电性连接。还包括一同步内存模块5，其与所述主控CPU电性连接。还包括一LCD显示模块6，其与所述主控CPU电性连接。所述主控CPU负责调配和控制各个模块的工作，其主要功能是通过多路传感器收发当前应用环境参数信息，通过音频视频采集模块获取环境可视化信息，把这些视频或数据信息以H.246标准格式压缩，并整合成能由串口发送出去的特定格式，最后由3G无线模块发送到无线网络，最终通过INTERNET公共网络或其他专有网络传回监控中心主机。所述多路传感器网关模块为基于CC2420芯片的网关，与传感器网络通信，并利用无线网卡模块与无线局域网连接，其可多路传感接收网关数据实时转换和传输的目的。

传感器、摄像头分别完成多传感器数据采集、可视化视频信息采集。传感器数据由传感路由经多传感器网络进入数据融合编码传输控制终端(即可视化多路传感器一体式终端)，可视化视频信息直接进入数据融合编码传输控制终端完成编码工作，在终端融合处理之后，信息经通信协议进入由移动通信网络进行可视化视频信息感应传输，最终进入应用系统实现可视化视频信息应用。

主控CPU负责调配和控制各个模块的工作，其主要功能是通过多路传感器收发当前应用环境参数信息，通过摄像头获取环境可视化信息，把这些视频或数据信息以H.246标准格式压缩，并整合成能由串口发送出去的特定格式，最后由3G无线模块发送到无线网络，最终通过INTERNET公共网络或其他专有网络传回监控中心主机。选用专门用于工业控制的由Atme出品的ARM920T处理器。因为该处理器工业参数好，同时集成了丰富的系统应用外设及标准接口，可实现200MHz主频下高处理速度，拥有丰富的外部设备和优越的数据传输特性。

多路传感器网关模块选用基于CC2420芯片的网关，与传感器网络通信，并利用无线网卡模块与无线局域网连接。多路无线传感器网络(WSN)网关既能管理无线网络，也能聚合源自分布式传感测量节点的数据。通过合理设计稳定的硬件与实时软件，可达到路传感接收网关数据实时转换和传输的目的。

摄像头即监控用摄像机，获取可视化信息，信息经处理后传递出去。

3G无线通信模块，实现对视频和图像等数据量相对较大的信号的传输。本发明中采用SIM5218模块，因为其具有3G/HSDPA/EDGE模块解决发明，在HSDPA下可支持下行速率达7.2Mbps和上行速率为5.76Mbps的数据传输服务。

可视化多路传感器一体式终端是一个基于ARM的Linux系统平台，其任务主要包括获取各类传感数据和视频采集数据，图像或者视频的压缩编码，将传感数据和视频、图像数据通过串口输送到3G模块缓冲区，最后通过无线网络发送出去。

首先，要根据CPU与外围设备的具体引脚连接重新裁剪的编译linux内核驱动，主要包括摄像头的驱动模块、传感器无线收发模块和3G无线通信的串口模块等驱动等。其次，调用linux内核中关于视频设备的API接口(即Video4Linux)编写摄像头采集数据的应用程序。再次，摄像头采集的视频原始数据，存放在系统内存中。发明修改X264程序的输入方式，直接从内存获得视频数据源，经压缩后，以文件的形式输出，保存在根文件系统中。最后，3G无线网络的通信部分主要涉及AT指令的应用，选择可靠性强的TCP或UDP方式连接。

可视化多路传感器一体式终端，作为无线传感网络的节点，具有终端节点和路由的功能：一方面实现数据的采集和处理，降低传输带宽压力；另一方面实现数据的融合和路由，对本身采集的数据和收到的其他节点发送的数据进行综合，转发路由到网关节点。通过无线采集节点之间的数据同步技术，可保证每个节点采集的事物数据属同一时间序列，采样率高，保证系统的完整性、实时性。本发明终端设备主要功能集中在无线传输、视音频采集、主处理器、电源管理等4方面，通过将功能相近内容模块处理，实现紧凑与小型化。无线传输模块，将多个独立的无线传输模块集成在统一的基板上；视音频采集模块，采用视频、音频、传感器专用集成采集芯片，将音视频、传感器数据采集功能集成在同一个芯片封装中，简化外部辅助元器件的个数；主处理器模块，采用功能强大的SoC系统，实现处理器、协处理器和存储器的高度集成；电源管理模块，选择高集成度的电源管理芯片，同时提供多种电压输出，实现对多模块的统一供电，进一步减少供电模块的体积，并实现必要的硬件节能策略。

电源管理芯片经智能化处理，带有自动检测休眠低功耗设计。当检测到无人使用时，采取自动休眠行为以降低设备的发热，延长电池的使用寿命。

终端电路板以空气流动为考量，将热源设置在易散热处，发热器件和热敏器件分开。终端机壳加以导热设计，及时降热，保证设备不会死机或出现莫名奇妙的问题。

本发明针对单一无线传输模式下通信的不足，结合无线网络特点，研发出结合不同数据分类的面向不同无线传输模式的多模联合算法。数据传输有分流分发和复制分发两种方式。当工作在分流分发方式时，数据分流至多个不同通信链路中，也就是将多个通信链路在逻辑上合为一条通信链路，有效增加传输带宽。工作在复制分发方式时，数据被复制多份并发传输，可有效地增强数据传输中的可靠性。在一些数据完整性和可靠性要求较高的应用领域中，比如控制信号的传输中，可以大大提高数据传输的鲁棒性。

在实际运行中，单一无线模式的传输链路不易保障数据的可靠稳定传输。而不同的无线传输模式间，其网络覆盖具有交叠性和互补性，采用一种可实现与多种不同模式融合的联合算法，可保证在不同网络间的同时传输，避免了单一网络带宽不足、断线等问题，避免了信息传输中断、消失。

本发明综合考虑多路连接的自动建立与释放、连接状态联动的多重路由、特定载荷多重选路、权重智能配比、权重智能调整等五个方面因素，融合信号自适应切换技术、自动重链和自动认证等，为终端和多个不同无线传输模式的通信网络建立多条完全独立的通信链路，加上载荷智能分类，结合优化的选路策略将数据分发到各无线通信链路中，达到增加终端传输带宽，加快传输的效果。

同时，建立不同等级数据的分类处理机制，针对不同优先级别的数据采用不同的发送和重传机制。两种网络同时传输时，若其中一个网络信号不是很好，出现丢包的情况较多，则采用创新算法将优先级别最高的数据通过另一个网络信号较好的信道发送出去。在传输到接收端后，发现数据有丢包的情况，接收端提示前端采集设备，将优先级别最高的数据优先重传到服务器。

本发明对无线信道的时变特点进行合理分析建模，研究设计出具有快速反馈机制的实时无线数据收发系统和与无线信道特点相匹配的自适应传输控制算法。

无线信道存在带宽抖动问题，要保持稳定传输，则要根据无线信道的状况，保证数据与无线信道时变特性的实时同步联动，即数据处理系统与无线信道变化相匹配，实现对传输控制策略和调度算法自适应地调整。在具体传输过程中，在一定的丢包率、信道带宽和传输延迟限制条件下，发明预先判断信道传输性能，采用信号自适应切换技术、自动重链和自动认证等，实现数据在多网络模式下的传输。

为保证传输内容不出错，本发明还设计了具有快速反馈机制的无线数据收发系统和采用无线信号检测前馈控制机制。

(1)具有快速反馈机制的实时无线数据收发系统

信息采集控制模块负责信息采集，信息处理模块负责信息的预处理、压缩、合并、中转等过程，多模无线通信模块负责信息数据的多模多链路通信。三个模块间设置有反馈机制。多模无线通信模块具有实时检测功能，通过和中心服务器的信令交互可以实时获得当前无线网络的信息吞吐量状况，并据此实时反馈至信息处理模块，进而反馈至信息采集控制模块。这样就可以从数据源头对信息的处理进行自适应的控制调整，从而实现数据在时变信道下的优化传输。

(2)导入前馈控制机制

为了进一步提高性能，本发明在信号检测过程中导入前馈控制机制。在无线通信进行数据传输之前，当多模无线通信模块与空口数据通道对接进行信号检测时，该机制可以实时完成信号检测、信道预估、拓扑分析和路由优化等多方面的前期综合计算，从而为视音频数据提供最优的无线传输策略。

3)本发明以H.264算法为基础，以灵活快速为要求，设计出优良的与无线信道特性相匹配的视音频编码算法。

移动通信系统无线信道的传输带宽具有突变性特点，会造成临时链接中断、信号衰落引起的位错误等问题，要在移动信道带宽较低且抖动大的情况下继续保持视音频传输效果的稳定，需要有优良的与无线信道特性相匹配的视音频压缩技术。

本发明以H.264算法为基础，充分借鉴了MPEG系列和H.26x系列的压缩算法的主要思想，利用多模式匹配、记忆分析、B帧和P帧数量的自适应调整等多种方式的组合来充分提高运动估计的精度，使之与实际数值的匹配度提高，保证了编码算法的高压缩比性能。

同时，在码流形成过程中，采用灵活的快速算法来降低系统算法的运算量，进而降低功耗。本发明中，具体采用图像分级处理、被动错误隐藏、帧丢失错误隐藏、周期性关键帧更新并配合前向纠错编码的方法来处理移动网络中的突发性带宽变化导致的数据包丢失，显著提升丢包率较高网络中的视频主客观质量，以达到在较低码率下视频传输质量的有效提升。

4)本发明从传输域和应用层两方面对差错控制技术进行了改进。

原有的差错控制技术主要集中在编码器、信道、解码器及反馈交互四种。包括增加解码器冗余、附加多余的检验码元或监督码元、相关邻近像素自组、反馈监控等。

本发明提出的无线网络中的差错控制，对现有差错控制技术进行了改进，可在传输域和应用层进行传输差错控制。

传输域的差错控制是一个流量自适应的策略，在解码端增加一个网络状况监控模块和流量调整模块，通过RTCP协议在接收端和发送端之间建立一条反馈回路，向发送端返回丢包率信息。发送端根据丢包率判断网络拥塞情况，调整数据压缩的目标码率，使得数据的传输与网络情况相匹配。

应用层的差错控制包括两个部分：一是在编码端增加一个宏块重排序过程，使其利于解码器恢复丢失的数据；二是在解码端采用一种自适应的差错掩藏技术，使其能根据收到数据包的情况，自动选择一种较佳掩藏方法，降低丢包对包括图像质量在内的数据质量的影响。

1、无线传感器网络与可视化视音频的一体化融合应用技术

本发明”基于多路传感器的无线可视化融合性物联网应用系统”面向国家移动互联网、物联网及车联网发展战略需求，通过采集视音频、传感数据，经融合处理后传输形成事件关联，传输到应用平台后，用户可直接查看数据信息与关系信息，为获取正确的事件数据和正确理解提供原始支持。

2、可视化一体环境下分散独立的传感器数据汇聚以及协同控制、传输控制技术。

1)多径可靠信息转发路由协议

无线传感器网络应用中，满足给定可靠性要求的数据传输，从数据源节点开始，就综合考虑了可靠性需求、信道质量以及传感器节点到基站或者汇聚节点的跳数距离等因素，从而确定需要的传输路径数目和下一跳节点数目及对应的节点。

2)分布式传感器数据融合技术

分布式多传感器数据融合，由传感器数据、指令、和以前建立起来的数据库的数据组成。在分布式多传感器坏境中，每个传感器都有自己的信息处理系统，并且各系统中都收集了大量的目标信息。那么，一个重要的问题就是如何判断来自不同节点的两个信息是否表示同一个目标信息，也就是轨迹关联问题；解决了轨迹关联问题，实际上也就解决了多节点传感器覆盖区域中的重复跟踪问题。

3、可视化多路传感器一体式终端设计

可视化多路传感器一体式终端是系统业务运营和管理的关键设备，融合了多路多节点无线传感器以及可视化视频接入，解决其融合数据流的编码、变换、存储、控制、传输等问题。

4、移动公网环境下可视化视音频及传感信息流可靠、稳定传输技术；

1)面向不同无线传输模式的多模联合算法

可根据其安装状态和设定策略自动建立多个无线通信链路连接，并对载荷进行智能化分类，设计优化的选路策略将数据分发到各无线通信链路中。移动公网无线视音频终端可以工作在分流分发或复制分发方式下。当工作在分流分发方式时，终端将数据分流至多个不同通信链路中，也就是将多个通信链路在逻辑上合为一条通信链路，这样可以有效增加终端的传输带宽。而终端工作在复制分发方式时，终端将数据复制多份并发传输，可有效地增强数据传输中的可靠性。

2)具有无线信道自适应性能的传输控制算法

根据无线信道的状况，自适应地调整传输控制策略和调度算法。本系统对无线信道的时变特点进行合理分析建模，研究设计具有快速反馈机制的实时无线数据收发系统和与无线信道特点相匹配的自适应传输控制算法，实现时变信道下的视音频数据优化传输。同时，导入前馈控制机制，进一步提高系统性能。

3)系统无线视音频传输的流畅性和实时性

采用先进的多线路路由联合传输、信号自适应切换技术、自动重链和自动认证、编码器的编码算法与无线信道的自适应匹配、自适应传输控制算法等技术，保证系统无线视音频传输的流畅性和实时性。

5、可视化视频应用及多路传感物联网数据融合应用系统软件。在用户业务层融合、统一综合应用软件系统。

本发明基于感知层、网络层及应用层的架构，可实现信息的综合采集、处理及传输应用，形成以可视化图形为主的无线多传感器信息分析和研究服务平台。

发明中参照物联网架构：视频摄像头和其他的传感器设备组成了物联网的感知层，采集物联网络的基础数据，其后通过网络层的传输，集成至视频应用平台和其他应用场景(包括个人应用、行业应用、公共领域应用等)，对相应数据进行处理、识别、应用，并自动甚至智能化地进行相关事务的处理和对关联对象的控制，符合物联网时代的关键应用方向。

在技术方面，通过可视化图形技术、数据融合技术，创造了直观表达、灵活互动、有效沟通的信息呈现方式，进而构建出各行业当中的无线化监控系统、智能决策系统、数据存储系统，实现行业应用的精准化和智能化。用户根据系统提供的综合信息及关联关系分析，可实现对事态的全面掌握。在具体实施过程中，传感器可获得视频、温度、湿度、光照、化学等多种信息，结合RFID电子标签，对各项产品及事件等具体信息进行有效、可识别的实时数据存储和管理，并可根据行业特征实现全程监控和数据化管理。

每个终端被设计成无线传感网络节点，实现无线传输，在人员无法直接到达的地域，系统功能仍能保证不受影响地正常运行。

本发明采用模块集成一体化管理，加上优化电源管理系统和散热设计，可保证产品小型化、低功耗、高稳定性等性能要求。

常规无线视音频终端产品中使用的多个功能模块具有较大的分离度，设备体积较大，很难实现小型化。本发明终端设备对无线传输模块、视音频采集模块、主处理器模块和电源管理模块等四大部分进行功能集成和微型化电路设计，实现小型化设计要求。

设备的电源管理芯片升级，当检测到无人适用时，会自动休眠，降低功耗。基于利于散热的设计准则，对电路板的摆放与机壳导热设计进行了改良。避免死机或其他故障问题出现，保证设备的高稳定性。

本发明通过改进压缩算法与传输机制，实现可视化视音频数据的高效压缩与同步传输。由于受外部环境影响，移动通信系统无线信道的传输带宽具有突变性，会造成临时链接中断、信号衰落引起的位错误等问题，直接导致视音频传输质量的急剧恶化。

本发明中以H.264算法为基础，充分借鉴MPEG系列和H.26x系列的压缩算法的主要思想，利用多模式匹配、记忆分析、B帧和P帧数量的自适应调整等多种方式的组合来保证编码算法的高压缩比性能。经图像分级处理、被动错误隐藏、帧丢失错误隐藏、周期性关键帧更新并配合前向纠错编码的方法等处理，可显著提升丢包率较高网络中的视频主客观质量，以达到在较低码率下视频传输质量的有效提升。从传输到显示，采用多线程同步传输、配比权重的传输连续性控制、音频优先、时间戳同步、空闲时隙内插等机制，最终实现了无线视音频系统端到端的视音频同步传输和流畅播放。

本发明采用多模联合算法与无线信道自适应性能的传输控制算法，保证数据在无线网络中的顺利传输。无线传输模式的弊端在于传输链路难以保证，特别是基于移动通信网络通信时，信号分布不均匀和覆盖盲区等原因都将造成带宽不足和断线等问题，数据无法稳定传输。本发明中，考虑到不同无线传输模式的网络覆盖具有交叠性和互补性，采用多模联合

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种可视化多路传感器一体式终端,其特征在于，包括：

一主控制CPU，其采用SoC系统，实现处理器、协处理器和存储器的集成；

一多路传感器网关模块，其传送信号至所述主控CPU；

一音频视频采集模块，其将检测到的图像转换成数字信号并传输至所述CPU，采用集成采集芯片，将音视频、传感器数据采集功能集成在同一个芯片封装中，简化外部辅助元器件的个数；

一3G无线通信模块，其与所述主控CPU进行信号交互。

2.根据权利要求1所述的可视化多路传感器一体式终端,其特征在于，还包括外围电路，其与所述主控CPU电性连接。

3.根据权利要求2所述的可视化多路传感器一体式终端,其特征在于，还包括一时钟电路，其与所述主控CPU电性连接。

4.根据权利要求3所述的可视化多路传感器一体式终端,其特征在于，还包括一电源模块，其与所述主控CPU电性连接，且为所述主控CPU提供电源，采用集成的电源管理芯片，同时提供多种电压输出，实现对多模块的统一供电。

5.根据权利要求4所述的可视化多路传感器一体式终端,其特征在于，还包括一闪存模块，其与所述主控CPU电性连接。

6.根据权利要求5所述的可视化多路传感器一体式终端,其特征在于，还包括一同步内存模块，其与所述主控CPU电性连接。

7.根据权利要求6所述的可视化多路传感器一体式终端,其特征在于，还包括一LCD显示模块，其与所述主控CPU电性连接。

8.根据权利要求7所述的可视化多路传感器一体式终端,其特征在于，所述主控CPU负责调配和控制各个模块的工作，其主要功能是通过多路传感器收发当前应用环境参数信息，通过音频视频采集模块获取环境可视化信息，把这些视频或数据信息以H.246标准格式压缩，并整合成能由串口发送出去的特定格式，最后由3G无线模块发送到无线网络，最终通过INTERNET公共网络或其他专有网络传回监控中心主机。

9.根据权利要求8所述的可视化多路传感器一体式终端,其特征在于，所述多路传感器网关模块为基于CC2420芯片的网关，与传感器网络通信，并利用无线网卡模块与无线局域网连接，其可多路传感接收网关数据实时转换和传输。