CN104657381A - 一种弹性传感数据平台 - Google Patents

Abstract

本发明设计了一种新颖的传感数据的存储和应用平台，它基于用户贡献传感数据，提供从传感数据到数据产品的整个生命周期支持。随着智慧城市应用及个人智能移动装置的普及，我们正处在一个传感数据爆炸的年代。虽然目前已存在一些传感数据存储和管理平台，但数据的真正价值并没有被充分挖掘。目前没有一个平台，能在数据存储的基础上，将数据转化为可用的产品，这成为大数据和传感网络中的一个重要课题。在本发明针对目前面临的主要问题和需求，并提出解决方案：弹性传感数据平台。在此平台中，用弹性的传感数据存储，灵活的传感数据检索，方便的应用开发环境，和有效的数据产品市场。系统可以让使用者融合不同来源的传感数据，整合多样的分析模型，快速建构出数据应用产品。

Description

一种弹性传感数据平台

技术领域

本发明涉及对传感数据的存储和应用平台，尤其涉及一种基于用户贡献传感数据的弹性存储和应用平台，属于物联网和传感信息数据管理领域。

背景技术

随着智慧城市应用及个人智能移动装置的普及，我们正处在一个传感数据爆炸的年代。虽然目前已存在一些传感数据存储和管理平台，但数据的真正价值并没有被充分挖掘。目前没有一个平台，能在数据存储的基础上，将数据转化为可用的产品，这成为大数据和传感网络中的一个重要课题。在本发明针对目前面临的主要问题和需求，并提出解决方案：弹性传感数据平台。在此平台中，用弹性的传感数据存储，灵活的传感数据检索，方便的应用开发环境，和有效的数据产品市场，来支持从传感大数据到数据产品的整个生命周期。系统可以让使用者融合不同来源的传感数据，整合多样的分析模型，快速建构出数据应用产品。

传感网络是用传感器获得关于某个物理、工程或者社会系统数据的一种基础设施。近年来，传感网络在污染检测、安全监控、健康医疗、城市规划等很多领域得到广泛应用。在此领域，大致经历了以下三代系统的发展过程：

第一代传感数据平台着重于数据存储和查询，如Aurora和Cougar，这类平台提供了基本的数据查询功能，但对用户间的数据分享和协作没有做明确定义。

在第二代系统中，数据来源比较固定，然而增强了用户数据分享和协作的功能，例如CitySense为用户提供了一个开放的基础设施，使得用户可以在城市尺度下队现有传感网络进行重新编码和应用。DiscoveryNet使得用户可以对其传感数据进行工作流开发，并提供了一些数据融合功能，用户可以分享其数据和分析结果。

在第三代系统中，任何用户都可以提供传感数据，并进行分享和协作。例如Xively(早先叫Pachube及Cosm)使得用户可以任意注册传感数据源，并实时分享这些数据源，且提供了包括实时触发器等的数据分析工具。

随着这些发展，传感器及传感网络正变得无处不在，传感数据量爆炸式增长。类似智慧城市的概念越来越普遍，越来越多的政府、企业和组织，开始部署其传感网络，收集他们感兴趣的数据，及开展其所需的数据分析和应用。

个人也开始参与其中：智能手机变得越来越普遍，而智能手机上装载了越来越多的传感器，例如定位装置，光照传感器等。同时，除智能手机之外的各种低价、轻便、容易使用的传感器设备走进个人生活，使用户更清楚地了解自己，例如我们现在可以用Emotiv EEG在家检测自己的脑电波，或者用Fitbit来记录每天的运动量。

这些传感数据，从微观上说，可以为这些社会单位或个人创造价值；从宏观上说，这些数据反映了整体社会的动态性，提供了决策的依据，例如将用户的出行数据进行整合分析之后，就能对城市整体交通规划提供依据。

然而，目前这些数据仍没有发挥其最大的作用，其中的主要问题包括：

1)大数据环境下的数据收集和管理：毫无疑问，数据对于收集者来说是有价值的，收集者往往也是(唯一的)使用者。然而目前这种“数据收集者即使用者”的模式渐渐收到挑战：一方面，这些数据对其他用户来说也存在价值；另一方面，不同数据融合时常能创造更大的价值。所以，我们需要将数据开放，将数据收集者和使用者角色分离。为了实现这种开放，需要解决很多问题：如何为用户存储数据，特别当用户数量和数据容量非常大，从而造成大数据问题时，如何检索和发现数据，用什么手段鼓励用户开放数据，以及在开放的环境下，如何保护私隐数据等。

2)多源、异构数据融合与检索：当用户开始开放数据时，对同一个对象，会出描述现多源数据，例如当一个交通堵塞发生时，数据源可以包括GPS数据，摄像头数据，用户报告等等。这些数据拥有不同的采样率、精度、语义、格式、存储位置等；为了理解目标对象，并进行查询，分析和应用，我们该如何融合数据，特别是在数据维度非常高，数据容量非常大，且数据存储是分布式的情况下。

3)传感大数据的应用和产品：Tim O’Reilly认为数据是下一个“Intel Inside”，即计算的动力。然而事实上动力并非来自于数据，而在于利用数据。虽然目前有很多建立在数据之上的应用，我们仍然缺乏方便的数据产品构建工具；更为重要的是，目前缺乏一个经济模型，或生态环境，来鼓励将数据转化为数据产品的过程。

这些问题阻碍了传感数据更一步地发挥作用。虽然存在一些研究和工业实践，对于以上的某些问题提供了解决方法，但仍缺乏对传感数据整个生命周期的支持，在实际应用中缺乏有效的平台。针对这些问题，本发明设计了弹性传感数据平台，它包含了从数据存储到检索，从数据应用开发到数据产品市场的不同层次，可以支持从数据到数据产品的整个生命周期。

发明内容

本发明所涉及的弹性传感数据平台实现了以下功能和需求：

1.异构数据存储：平台在数据存储上采用多用户模式，任何用户都能利用平台存储其数据。从单用户模式到多用户模式：在单用户模式中，对于数据使用者来说，数据语义是明确的，格式是规范的，数据是一致的；而在多用户模式中，不同的数据源有不同的语义、格式、数据值等。

2.容量和性能：从数据容量和性能上来说，多用户模式带来大数据，以及更频繁的数据访问，所以对系统的容量和性能要求更高。

3.用户协作和开放：当采用多用户模式之后，用户不仅可见自己的数据，也能发现其他用户的数据。系统设计鼓励用户去发现其他用户的数据，同时更开放地共享自己的数据，并提供工具以促进用户间的协作，及提供社会网工具，协助用户在平台上交流。

4.数据融合：同一目标对象的多数据进行数据融合，为此系统需要一个机制来沟通不同格式、不同语义的数据，本发明采用的方式是为每个数据源建立语义，并通过语义融合的方式进行数据融合。

5.数据查询和发现：平台需要支持对大数据、异构数据的统一查询方式，从而促进数据的进一步分析利用。查询中需要支持语义，进行基本的推理。且传感数据往往根据地理位置进行索引，故系统的查询需要支持基于地理位置的查询。另外，数据的查询结果如何呈现，如何帮助用户发现其感兴趣的数据，也是系统设计中需要考虑的问题。

6.数据分析模型：当数据被用于推理、决策等任务时，我们需要对数据做分析、建模等处理。虽然目前有很多针对不同领域的专门数据分析处理工具，本发明提供了平台级的，统一的分析框架，提供了一个灵活机制来鼓励用户创建、使用和分享其数据模型。

7.数据应用开发支持：目前，数据应用的开发者需要建立自己的开发环境和部署环境(包括基于云的环境)，自行连接数据源，分析处理数据，编写应用程序逻辑，并发布应用；本发明为应用开发提供更好的支持，简化开发的过程，节省应用程序开发的资源消耗。

8.经济模型支持：Hal Varian认为阻碍数据被进一步利用的障碍不在于技术，而在于缺乏经济模型。我们认为，从数据到数据产品的整个生命周期，亦是一个数据的增值过程：从未经清理的数据到清理过的数据，从未整合的数据到整合过的数据，从未建模的数据到数据模型，从数据模型到模型的应用，每一个步骤，参与者都通过其计算、操作、分析等工作，为数据添加附加价值。相应地，本发明建立此生态环境，为每一个步骤的参与者提供回报，保证此回报合理，并激励参与者的进一步参与。

为了满足前述需求，在弹性传感数据平台中，其中从下到上主要包括四个层次(附图1)：数据存储、数据检索、数据应用开发和数据产品市场，支持了从传感数据到数据产品的整个生命周期。数据存储层提供了海量传感数据的多用户海量存储，支持灵活的数据语义格式，及通用的数据访问接口；数据检索层，实现了数据融合以及数据的通用检索；在数据应用开发层，提供了传感数据的分析模型，及图形化的传感数据应用开发系统；在数据产品市场层，提供了数据和数据应用的交易平台。

附图说明

图1为本发明的主要层次示意图；

图2为本发明的数据存储结构图；

图3为本发明的虚拟传感器结构图；

图4为本发明的执行引擎结构结构图；

图5为本发明的AppEditor界面示意图。

具体实施方式

下面结合附图，通过实施例对本发明核心技术内容作进一步详细描述。

1.数据存储

在数据存储和管理层，平台实现了多用户的弹性存储设施，并且采用了无数据schema+语义描述的存储结构，其体系结构如附图2所示。整个数据存储层建立在云计算平台上，MongoDBCluster建立在虚拟机上，并根据负载自动分配节点数量。

存储层的存储结构是面向多用户。在用户层，用户可以注册数据源，并提供关于数据源的语义描述(以Wiki方式提供)，他也可以浏览已存在的语义描述，使用或继承他们。同时，用户可以管理其数据的可见性和访问权限，对公开数据源可以进行协同合作编辑。

在数据层负责传感数据及语义数据的存储。传感数据是异构多源的，缺乏统一的数据格式，

所以系统采用无schema的NoSQL数据库MongoDB Cluster。不同类别的传感数据存储在不同的MongoDB Collection中，每条数据以Json格式存放，对于同一个collection的数据可以容纳不同的Json格式。

由于数据存储无schema，故在其上系统建立了一层语义描述，用Semantic Web的RDFS对每个数据源进行描述，同时Ontology之间有继承关系，形成树形结构，根节点为通用“Measurement”节点，下一层为主要分类，包括“climate”，“health”，“pollution”等，然后在每一个分类中，语义进行继承和细分。这种设计的好处在于：第一，每个数据源都有语义描述，为后续的分析处理做准备，例如可以用语义查询的方式来查询数据；第二，不同数据源可以找到某一个Upper Ontology，使得其可以做数据融合。

系统提供了两种数据收集接口：主动接口和被动接口。主动接口将发送请求给传感器以获取数据，这种接口需要设备接口的支持，我们已经实现了基于Arduino的通用传感器设备接口；被动接口将接收传感器提交数据。无论是何种接口获得数据，数据都以实时的方式提供给访问接口，应用程序只需连接此访问接口就能获得数据，并获取包括统计值在内的一些功能，

在应用层包含了数据管理，访问控制、消息通知、协同合作等功能。另外平台提供了社会化分享功能，对于数据源用户可以进行评级、评论等操作。

2.数据检索

在数据检层中，对于多源数据，我们利用其语义描述的层次进行数据融合，每个数据源的语义都处在树形结构的语义框架中，当同一类别的数据需要进行融合时，在此树上查询最近的共同父节点，并在此语义级别上进行数据融合；在融合操作时，我们利用Hadoop Stack，将需要融合的数据源全部加载到HDFS中，系统提供了一系列的融合函数，用于关联这些数据源，用户选择适当的融合函数，获得融合后的数据。

对于不同的数据源，特别是当数据不一致发生时，平台提供了数据可靠性评估工具，利用异常数据侦测技术计算可用数据的可靠度评分，例如判断传感器数据与其附近同性质传感器的数据是否有很大的落差，或其数据与历史趋势有很大的出入，亦或其数据超出该环境所可能出现的最大/最小值。同时，系统提供各种数据可视化工具以提供较为直觉化的数据检查功能，以便用户观测异常侦测数据的发生。此外，用户也能对传感器进行数据可靠度的自定义评分。为了实现对多源数据的统一查询，我们设计了一种传感数据查询语言UQL，及其执行引擎。UQL支持对多源异构性传感数据的统一查询操作，其使用类SQL语法，降低处理数据的复杂程度，提升开发的便利性。

在查询语句中的元素都连接到语义描述，例如当查询Temperature的时候，所有语义描述属于Temperature子类的数据都会被加载到数据融合模块中进行查询，以下是一个用UQL查询伦敦在2013/1/1至今的温度的查询语句范例：

在执行操作时，UQL考虑不同传感器之间的可信度差异，以及传感器取得数据时的花费，以便做为计算数据查询成本。执行完毕之后，系统将用以数组的方式(tuple)回传查询结果。当用户需要的数据不存在时，UQL可以通过数据层的主动数据收集接口，驱动相对应的传感器，获取数据。另一个特性是虚拟传感器，其体系结构如附图3所示，当目标位置不存在传感器数据时，可以通过设定虚拟传感器来获得近似数据，系统提供了一些基本的近似插值算法(例如计算周围数据的平均值)，用户也可以提供自定义的模型来计算虚拟传感器数据。

在数据检索时，一个重要特性是地理信息，平台支持基于地理位置的交互式数据查询，用户可以在交互式地图界面上查询特定类型、特定时间段内的传感数据，这些交互操作在后台以UQL的方式执行，查询结果可视化的显示在地图界面上。

3.应用开发

为了支持传感应用的开发，在平台中提供了一个易用的开发环境，此开发环境由两部分组成：执行引擎和AppEditor编辑器，其体系结构如附图4所示：

执行引擎提供了模型的存储、组合和执行功能，它连接数据存储和数据查询层，对数据进行查询和融合之后，进行分析和处理。在执行引擎中存储了一系列数据分析模型，供AppEditor使用，且模型结构支持多尺度(multi-scale)和多分辨率(multi-resolution)分析，其以树状工作流表示不同层次的尺度和分辨率，以及在不同层次上作用的数据查询和模型。

AppEditor编辑器是在线的可视化应用编辑器。它采用工作流的形式，应用开发者通过基本的拖拉、连接和设定属性参数等操作，就能完成一个应用的开发。其主要包括以下部分：

1)数据和模型浏览器(Data/Model Explorer)：开发者可以使用地图及传感数据类型等方式来搜寻所需要的传感数据，也可以连接虚拟传感器对未部署传感器区域浏览数据，数据浏览器主要帮助开发者实现开发过程中的数据预览；而在模型浏览器中，开发者可以浏览已有的模型(包括其他用户共享的模型)，并连接到数据浏览器中，获得模型处理结果的预览。

2)统一查询语言接口(Unified Query Interface)：AppEditor可以与UQL相连，用户可以在开发应用时，编写查询UQL语句，获得想要的数据。

3)工作流编辑器(Workflow Editor)：以可视化工作流的形式，创建和编辑传感数据应用，在AppEditor中提供了很多可选的元素，其主要类型可见表1，每个类型有很多不同的可选元素，例如在模型类型中有一系列不同模型，包括用户共享的模型，附图5展示了可视化工作流的界面，用户从树状的可选元素列表中选择所需元素，定义其属性，然后连接这些元素成为工作流，当开发完成之后，系统将会把此工作流保存成可执行脚本，在验证之后交由执行执行。

4)任务管理(Task Scheduler)：管理工作流应用的执行过程，也可用来监控各项元素计算所需要的时间。

5)结果浏览(Result Viewer)：用在线结果浏览功能，用户能够了解数据应用的输出情况，并作可视化等操作。

6)服务发布(Service Publisher)：用户在完成开发及确认结果之后，发布所设计的应用。数据应用产品将以网络服务(Web Service)方式对外发布，并提交至数据产品市场。

表1AppEditor元素类型

元素类型	描述
		数据源(圆形)	选择单一或多个数据源
过滤器(菱形)	通过地理位置，时间等方式查询数据源，并提供数据整合接口
		模型(长方形)	可用的分析算法、模型
控制(三角形)	例如循环、条件判断等控制操作
		结果可视化(正方形)	连接可视化模块，呈现结果

4.数据产品市场

数据和数据应用均被视为数据产品，数据拥有者和应用开发者可以在数据产品市场中销售其产品，在数据产品页面中，用户可以查看及预览数据产品的结果和大致工作流。

当数据作为数据产品时，数据拥有者可以对数据进行定价，例如按照数据量定价等。使用者可以在购买数据前，获得一部分数据预览，以及获得关于此数据源的统计信息。

当数据应用作为数据产品时，数据使用者利用数据开发应用，之后应用即可销售。当应用是收费时，其定价模式与其他应用商店类似，而当应用是免费的时候，我们提出“数据”付费的概念：虽然很多应用程序宣称是免费的，然而它需要收集使用者的数据，而目前的应用模型，使用者的数据收集情况是通过用户协议体现的，用户在很多情况下并不知情；虽然类似Andriod的客户端会提示用户此应用会收集某些信息，例如收集用户地理位置信息，然而这些提示的粒度很粗，用户无法得知收集信息的数量和频率。

所以在我们的平台中，我们将使用者数据收集显式化，当使用者购买一个应用的时候，并不显示“免费”，而是告知需要花费多少用户数据，才能使用此应用。

Claims (10)

1.一种弹性传感数据平台，其特征在于，包含了从数据存储到检索，从数据应用开发到数据产品市场的不同层次，可以支持从数据到数据产品的整个生命周期。 

2.如权利要求1所述的弹性传感数据平台，其特征在于，提供了数据存储、数据检索、数据应用开发和数据产品市场模块。数据存储层提供了海量传感数据的多用户海量存储，支持灵活的数据语义格式，及通用的数据访问接口；数据检索层，实现了数据融合以及数据的通用检索；在数据应用开发层，提供了传感数据的分析模型，及图形化的传感数据应用开发系统；在数据产品市场层，提供了数据和数据应用的交易平台。 

3.如权利要求2所述的数据存储，其特征在于，能根据用户数据的容量和数据访问的需求，弹性地变化海量数据存储规模。 

4.如权利要求2所述的数据存储，其特征在于，提供多住户的用户数据管理功能，并采用了无数据schema+语义描述的存储结构。 

5.如权利要求2所述的数据检索，其特征在于，对于多源数据，利用其语义描述的层次进行数据融合，每个数据源的语义都处在树形结构的语义框架中，当同一类别的数据需要进行融合时，在此树上查询最近的共同父节点，并在此语义级别上进行数据融合。 

6.如权利要求2所述的数据检索，其特征在于，提供传感数据查询语言UQL，及其执行引擎。UQL支持对多源异构性传感数据的统一查询操作，其使用类SQL语法，降低处理数据的复杂程度，提升开发的便利性。 

7.如权利要求2所述的数据应用开发，其特征在于，其执行引擎提供了模型的存储、组合和执行功能，它连接数据存储和数据查询层，对数据进行查询和融合之后，进行分析和处理。 

8.如权利要求2所述的数据应用开发，其特征在于，提供AppEditor编辑器作为在线的可视化应用编辑器。它采用工作流的形式，应用开发者通过基本的拖拉、连接和设定属性参数等操作，就能完成一个应用的开发。 

9.如权利要求2所述的数据产品市场，其特征在于，数据拥有者和应用开发者可以在数据产品市场中销售其产品，在数据产品页面中，用户可以查看及预览数据产品的结果和大致工作流。 

10.如权利要求2所述的数据产品市场，其特征在于，数据拥有者和应用开发者可以在数据产品市场中销售其产品，在数据产品页面中，用户可以查看及预览数据产品的结果和大致工作流。