CN109033387A - 一种融合多源数据的物联网搜索系统、方法及存储介质 - Google Patents

Abstract

本发明公开了一种融合多源数据的物联网搜索系统、方法及存储介质，系统包括：多源数据接入模块，用于实现多源数据的接入、清洗、分类与入库；其中，所述多源数据包括物联网设备数据、行业级数据以及互联网数据；数据存储与分析模块，用于实现多源数据区分存储，对各个数据库内的数据进行融合分析、索引建立，并提供数据搜索以及搜索结果排序过滤服务；应用服务模块，用于接收用户通过用户终端发起的搜索请求，并根据所述搜索请求从所述数据存储与分析模块获取相应的搜索结果以返回给所述用户终端。本发明可将异构的物联网设备产生的数据和多来源的行业数据、互联网数据汇聚到一个平台，为数据融合分析提供数据支撑。

Description

一种融合多源数据的物联网搜索系统、方法及存储介质

技术领域

本发明涉及物联网领域，尤其涉及一种融合物联网数据、行业数据和互联网数据等多源数据的物联网搜索系统、方法及存储介质。

背景技术

物联网技术处于快速增长阶段，市场年复合增长率超过30％，物联网设备数量已达百亿级。在物联网设备数量、以高清视频为首的网络带宽需求不断增长的需求背景下，促进了5G技术的不断成熟，2017年，中国移动在广州开通了全国首个5G预商用测试基站。当前，5G的峰值网络速率可达10Gbps级、网络传输速度比4G快10-100倍、网络时延从4G的100毫秒缩短到1毫秒、满足1000亿量级物联网终端设备的网络连接、且网络的每比特能耗降低1000倍。5G从技术上消除百亿级物联网设备数据传输的性能瓶颈，可实现真正意义上的万物无缝互联。

以Google、百度为代表的互联网搜索主要通过采集互联网上网页、文档，通过用户搜索日志来优化搜索结果、通过索引优化搜索性能的方式，为大众用户提供优质高速的静态信息检索服务；物联网具备设备海量、动态性强、实时性要求高等特点，使面向海量物联网设备的搜索仍处于起步阶段，现有的系统只是在物联网设备搜索方面的一些原型系统，如何实现物联网数据的有效搜索，以及和行业数据、互联网数据的融合搜索应用，目前仍未有解决方案。

发明内容

针对上述问题，本发明实施例的目的在于提供一种融合物联网数据、行业数据和互联网数据的物联网搜索系统、方法及存储介质，可将异构的物联网设备产生的数据和多来源的行业数据、互联网数据汇聚到一个平台，为数据融合分析提供数据支撑。

本发明实施例提供了一种融合多源数据的物联网搜索系统，包括：

多源数据接入模块，用于实现多源数据的接入、清洗、分类与入库；其中，所述多源数据包括物联网设备数据、行业级数据以及互联网数据；

数据存储与分析模块，用于实现多源数据区分存储，对各个数据库内的数据进行融合分析、索引建立，并提供数据搜索以及搜索结果排序过滤服务；

应用服务模块，用于接收用户通过用户终端发起的搜索请求，并根据所述搜索请求从所述数据存储与分析模块获取相应的搜索结果以返回给所述用户终端；其中，所述搜索结果基于启发式自动发现模型获得，所述启发式自动发现模型具有不断迭代优化的功能。

优选地，所述多源数据接入模块包括：

物联网设备开放接入单元，用于通过标准的开放API接口，实现物联网设备、物联网设备所包含的传感器、传感器实时产生的数据的接入；

行业数据归集单元，用于负责多种行业数据的归集，并对归集的数据与源数据进行一致性检查；其中，所述归集支持全量、增量的归集方式；

互联网数据采集单元，用于从互联网采集与物联网搜索相关的互联网数据；其中，数据类型包括静态网页、图片、音频、视频；

数据清洗与归类单元，用于对物联网设备开放接入单元、行业数据归集单元、互联网数据采集单元的数据进行清洗，以纠正数据中可识别的错误，处理无效值和缺失值；然后对清洗后的数据进行归类，将物联网设备产生的动态数据和实时性高的行业级数据归类为实时数据，将实时性不高的行业级数据和互联网数据归类为离线数据；

数据入库单元，用于将实时数据写入到实时数据库，将离线数据写入到离线数据库。

优选地，所述行业数据归集单元具体用于，采用对增量数据推、存量数据拉的方式进行行业数据归集，并通过数据对账确保数据同步的一致性，确保新产生的行业数据的及时同步，同时具备在发生逻辑错误时通过全量同步的方式来恢复。

优选地，所述数据存储与分析模块包括：

融合分析单元，用于负责海量多源异构数据的关联分析，基于实时数据库和离线数据库，运用机器学习技术，基于人类的先验知识和边界条件，建立启发式信息自动发现模型，以通过建立的启发式信息自动发现模型自动发现数据新模式，实现数据融合智能；

多维索引单元，用于从时间、空间、常用查询字段多个维度为实时数据库以及离线数据库建立索引，以提供检索；

检索服务单元，用于接收应用服务模块发送的搜索请求，从所述搜索请求中提取搜索关键词，进行分词处理，以从实时数据库以及离线数据库内获取匹配搜索关键词的搜索结果；

排序过滤单元，用于对所述搜索结果进行排序与过滤，并将排序过滤后的搜索结果发送给应用服务模块。

优选地，所述启发式信息自动发现模型包括神经网络框架、神经网络模型、启发式规则配置模块、结果反馈模块，其中：

所述神经网络框架，为用于建立神经网络模型的基础框架；

所述神经网络模型，通过基于建立神经网络模型的基础框架以及知识发现的用途建立形成；

所述启发式规则配置模块，用于接收用户的规则配置输入，对神经网络模型进行启发式规则配置；

所述结果反馈模块，用于将每次输出的结果反馈给模型神经网络模型，实现模型优化。

优选地，所述应用服务模块包括：

行为数据入库单元，用于获取用户在使用用户终端的过程中产生的用户行为数据，将所述用户行为数据发送给数据存储与分析模块，以实现数据入库；

系统配置单元，用于负责为用户终端提供系统配置功能，从而使用户进行定制化配置；

运营管理单元，用于负责为系统管理员提供运营管理功能，包括系统负载、用户在线数、数据查询并发数、用户平均响应时延；

数据查询接口单元，用于负责为用户终端提供数据查询接口，以通过所述数据查询接口接收搜索请求，将所述搜索请求发送给数据存储与分析模块或者通过所述数据查询接口接收数据存储与分析模块返回的搜索结果。

优选地，在实时数据库中，对于实时结构化数据，采用MySQL/Oracle数据库存储；对于实时非结构化数据，采用MongoDB存储；

在离线数据库，对于离线结构化数据，采用符合联机事务处理和联机分析处理要求的分布式结构化数据库集群进行存储；对于离线非结构化数据，采用HBase存储。

本发明实施例还提供了一种融合物联网数据的物联网搜索方法，包括：

多源数据接入模块实现多源数据的接入、清洗、分类与入库；其中，所述多源数据包括物联网设备数据、行业级数据以及互联网数据；

数据存储与分析模块实现多源数据区分存储，对各个数据库内的数据进行融合分析、索引建立，并提供数据搜索以及搜索结果排序过滤服务；

应用服务模块接收用户通过用户终端发起的搜索请求，并根据所述搜索请求从所述数据存储与分析模块获取相应的搜索结果以返回给所述用户终端；其中，所述搜索结果基于启发式自动发现模型获得，所述启发式自动发现模型具有不断迭代优化的功能。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的融合多源数据的物联网搜索方法。

综上所述，本实施例提供的数据融合的物联网搜索系统、方法及计算机可读存储介质，具有如下有益效果：

1)多源数据融合：可将异构的物联网设备产生的数据和多来源的行业数据、互联网数据汇聚到一个平台，为数据融合分析提供数据支撑。

2)新模式自动发现：支持运用神经网络和深度学习技术，基于人类的先验知识，对汇聚的数据建立启发式信息自动发现模型，让模型能自动发现数据新模式，实现数据融合智能。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的融合多源数据的物联网搜索系统的模块示意图。

图2是本发明第一实施例提供的融合多源数据的物联网搜索系统的一种工作流程图。

图3是本发明第一实施例提供的融合多源数据的物联网搜索系统的一种具体应用图。

图4是行业数据归集模块进行数据归集的原理图。

图5是构建启发式信息自动发现模型并用于知识发现的示意图。

图6是本发明第一实施例提供的融合多源数据的物联网搜索系统的部署示意图。

图7是本发明第二实施例提供的融合多源数据的物联网搜索方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1及图2，图1为本发明第一实施例提供的融合多源数据的物联网搜索系统的结构示意图。图2为本发明第一实施例提供的融合多源数据的物联网搜索系统的工作流程图，本实施例的融合多源数据的物联网搜索系统包括：

多源数据接入模块10，用于实现多源数据的接入、清洗、分类与入库；其中，所述多源数据包括物联网设备数据、行业级数据以及互联网数据。

具体地，在本实施例中，所述多源数据接入模块10包括：

物联网设备开放接入单元11，用于通过标准的开放API接口，实现物联网设备、物联网设备所包含的传感器、传感器实时产生的数据的接入。

在本实施例中，所述的物联网设备可以包括各种类型的物联网设备，例如日常使用的智能吸尘器、智能插座、智能手机、指纹机、摄像头等，通常，一台物联网设备上具有多种传感器，例如智能插座上有声音、光敏、红外、温度、湿度等传感器。

行业数据归集单元12，用于负责多种行业数据的归集，并对归集的数据与源数据进行一致性检查；其中，所述归集支持全量、增量的归集方式。

在本实施例中，行业数据可以是来自各行业的第三方数据，包括天气预报、交通路况、平安城市视频监控等数据。

互联网数据采集单元13，用于从互联网采集与物联网搜索相关的互联网数据；其中，数据类型包括静态网页、图片、音频、视频。

在本实施例中，考虑到互联网的数据量非常庞大，而且大部分数据都是跟物联网搜索目标无关的数据。因此所述互联网数据采集单元13采集的数据是有目标性的，只采集和物联网搜索相关的互联网数据，以减少需要处理的数据量。

例如，在一些情况下，可预先设置本系统可能涉及的物联网搜索的关键词，则互联网数据采集单元13会采集与所述关键词相应的互联网数据。当然，还可有其他的数据选择方法，本发明不做具体限定。

数据清洗与归类单元14，用于对物联网设备开放接入单元11、行业数据归集单元12、互联网数据采集单元13的数据进行清洗，以纠正数据中可识别的错误，处理无效值和缺失值，并对清洗后的数据进行归类，将物联网设备产生的动态数据和实时性高的行业级数据归类为实时数据，将实时性不高的行业级数据和互联网数据归类为离线数据。

在本实施例中，数据清洗包括数据解析、去重、乱码/错误修正或乱码/错误行消除、标准化等动作，解析主要对互联网采集数据进行解析，从网页文件中获得数据，去重是去除重复的数据行，标准化是按照目标数据格式对接入的数据进行格式规整化，例如，标准化只需要4个字段的数据记录，而获得了5个字段的数据记录，则只需要取其中4个字段即可。

数据入库单元15，用于将实时数据写入到实时数据库，将离线数据写入到离线数据库。

所述数据存储与分析模块20，用于实现多源数据区分存储，对各个数据库内的数据进行融合分析、索引建立，并提供数据搜索以及搜索结果排序过滤服务。

在本实施例中，所述数据存储与分析模块20包括：

实时数据库21，用于负责实时数据的持久化存储。

离线数据库22，用于负责离线数据的持久化存储。

在本实施例中，对于实时结构化数据，可采用常用的MySQL/Oracle数据库存储；对于实时非结构化数据，可采用MongoDB存储。由于离线数据的规模一般比实时数据规模高1到2个数量级，故对于离线结构化数据，可考虑采用符合OLTP(On-Line TransactionProcessing，联机事务处理)和OLAP(On-Line Analytical Processing，联机分析处理)要求的分布式结构化数据库集群(例如Greenplum)进行存储；对于离线非结构化数据，可采用HBase存储。

融合分析单元23，用于负责海量多源异构数据的关联分析，基于实时数据库和离线数据库，运用机器学习技术，基于人类的先验知识和边界条件，建立启发式信息自动发现模型，以通过建立的启发式信息自动发现模型自动发现数据新模式，实现数据融合智能。

多维索引单元24，用于从时间、空间、常用查询字段多个维度为实时数据库以及离线数据库建立索引，以提供检索。

检索服务单元25，用于接收应用服务模块发送的搜索请求，从所述搜索请求中提取搜索关键词，进行分词处理，以从实时数据库以及离线数据库内获取匹配搜索关键词的搜索结果。

排序过滤单元26，用于对所述搜索结果进行排序与过滤，并将排序过滤后的搜索结果发送给应用服务模块。

在本实施例中，排序过滤单元26负责搜索结果的排序与过滤，排序方式可在发起数据查询时由用户指定或选择默认的排序方式，例如默认的排序方式可以为搜索结果相关度最高且时间最近的优先；过滤是附加的查询条件，例如取检索结果的前100条，或返回结果中某一个字段的约束条件，例如学生数学考试成绩>80等。

应用服务模块30，用于接收用户通过用户终端发起的搜索请求，并根据所述搜索请求从所述数据存储与分析模块获取相应的搜索结果以返回给所述用户终端；其中，所述搜索结果基于启发式自动发现模型获得，所述启发式自动发现模型具有不断迭代优化的功能。

在本实施例中，所述应用服务模块30具体包括：

行为数据入库单元31，用于获取用户在使用用户终端的过程中产生的用户行为数据，将所述用户行为数据发送给数据存储与分析模块，以实现数据入库。

其中，用户在使用移动APP应用或者Web应用访问本系统时，将伴随产生用户行为数据，例如搜索关键词、搜索时间、用户感兴趣的搜索结果等，所述行为数据入库单元31负责将用户行为数据写入相应的数据库。

系统配置单元32，用于负责为用户终端提供系统配置功能，从而使用户进行定制化配置。

例如，配置项可包括字体大小、是否启用语音搜索、皮肤选择等。

运营管理单元33，用于负责为系统管理员提供运营管理功能，包括系统负载、用户在线数、数据查询并发数、用户平均响应时延。

数据查询接口单元34，用于负责为用户终端提供数据查询接口，以通过所述数据查询接口接收搜索请求，将所述搜索请求发送给数据存储与分析模块或者通过所述数据查询接口接收数据存储与分析模块返回的搜索结果。

为便于对本发明的理解，下面将用一些实际例子来解释本发明的应用。

请参阅图3，以用户搜索医院为例：

用户可通过智能手机以语音方式搜索看急性病(例如阑尾炎)的最佳医院。应用的具体流程如下：

1)用户在智能手机上打开APP，本系统支持自动登录用户之前注册并登录过的账号，以获取并加载用户对APP的个性化配置。当然，本系统也允许用户通过网页的形式进行访问。

2)用户在APP的搜索框点击语音输入按钮，并说出反应用户搜索意图的一段话，例如说：“请告诉我看XX病的医院”。当然，本系统也允许用户输入自然语言来进行搜索。

3)应用服务模块30在接收到用户输入的那段话，进行语音识别，并转化为搜索请求，发送给数据存储与分析模块20。

4)数据存储与分析模块20基于存储的离线数据和实时数据进行搜索，离线数据包括历史搜索数据及用户选择、用户当前位置方圆一定距离范围(例如10公里)的医院位置等，实时数据包括从用户当前位置方圆一定距离范围的实时交通路况数据、天气预报数据、医院的视频监控数据，将数据以从当前位置到医院能看上病的耗时为优先进行排序，向应用服务模块30返回搜索结果。

5)应用服务模块30向智能手机返回搜索结果；APP进行结果展示，展示方式可以是结果医院的列表文字方式，或将搜索结果位置嵌入数字地图的地图位置等方式。

综上所述，本实施例提供的数据融合的物联网搜索系统，具有如下有益效果：

1)多源数据融合：可将异构的物联网设备产生的数据和多来源的行业数据、互联网数据汇聚到一个平台，为数据融合分析提供数据支撑。

2)物联网搜索便利大众：以APP或Web应用方式，支持自然语言或语音的语义的搜索，为大众用户提供便捷的信息融合服务，加速用户的信息获取速度和信息精准度。

3)新模式自动发现：系统支持运用神经网络和深度学习技术，基于人类的先验知识，对汇聚的数据建立启发式信息自动发现模型，让模型能自动发现数据新模式，实现数据融合智能。

优选地，所述行业数据归集单元12具体用于，采用对增量数据推、存量数据拉的方式进行行业数据归集，并通过数据对账确保数据同步的一致性，确保新产生的行业数据的及时同步，同时具备在发生逻辑错误时通过全量同步的方式来恢复。

如图4所示，在本实施例中，所述行业数据归集单元12用于将行业级数据归集到本系统，行业数据根据数据的新旧，区分为已有的存量数据和不断产生的增量数据。所述行业数据归集单元12对存量数据，采用从存量数据抽取接口“拉”的方式进行归集，对于增量数据，则通过增量数据推送服务“推”的方式来归集。以下对推拉归集方式进行详细说明：

方式A：面向存量数据的“拉”

1)行业数据归集单元12的数据推拉子单元从存量数据抽取接口以拉的方式抽取存量数据。每次抽取时根据流水号或ID进行分区抽取，每次抽取一定量的数据记录(例如5000条记录)。

2)数据推拉子单元将抽取到的数据推送到消息队列中；因数据较大，队列可由多个消息队列的主题(Topic)组成。同时形成对账数据，并进行持久化存储。

3)数据清洗与归类单元14从消息队列中消费消息，将抽取到的行业数据进行清洗与归类处理。

4)数据清洗与归类单元将归类后的数据发送给数据入库单元15。

5)数据入库单元15将数据写入相应数据库。

6)数据入库单元15形成入库日志，并进行持久化存储。

方式B：面向增量数据的“推”

0)增量数据在通过增量数据入库子单元写入增量数据成功后，会将增量数据同时发送给增量数据推送子单元。

1)增量数据推送子单元将增量数据推给数据推拉子单元。

2)数据推拉子单元将推送过来的数据推送到消息队列中，同时形成对账数据，并进行持久化存储。

3)数据清洗与归类单元14从消息队列中消费消息，将抽取到的行业数据进行清洗与归类处理。

4)数据清洗与归类单元将归类后的数据发送给数据入库单元15。

5)数据入库单元15将数据写入相应数据库。

6)数据入库单元15形成入库日志，并进行持久化存储。

需要说明的是，为确保通过推拉方式归集的数据与源数据的一致性，需要进行数据对账，具体操作方式如下：

在方式A或方式B的步骤6)之后，还包括：

7)入库日志分析子单元对入库日志进行分析，并将分析结果发送给归集对账子单元。

8)归集对账子单元接收入库日志分析结果，并与数据推拉子单元存储的对账数据进行对账，检查数据归集的一致性。

优选地，所述启发式信息自动发现模型包括神经网络框架、神经网络模型、启发式规则配置模块、结果反馈模块，其中：

所述神经网络框架，为用于建立神经网络模型的基础框架。例如卷积神经网络、Google开源的TensorFlow深度学习框架等；

所述神经网络模型，通过基于建立神经网络模型的基础框架以及知识发现的用途建立形成；

所述启发式规则配置模块，用于接收用户的规则配置输入，对神经网络模型进行启发式规则配置；

所述结果反馈模块，用于将每次输出的结果反馈给模型神经网络模型，实现模型优化。

以上述的查找医院的为例，如图5所示，在本实施例中，通过启发式信息自动发现模型可以让用户搜索到最佳医院和从当前位置到医院的最佳路线，具体应用可通过如下流程来说明：

首先，基于神经网络框架建立神经网络模型。

其次，配置用户进行启发式规则配置，例如在本实施例中，需要配置最佳医院的搜索依据(可包括从当前位置导航过去的时间、看上病的时间、用户偏好等)。

然后，神经网络模型基于配置的启发式规则，从数据源进行学习，训练出模型参数。

其中，启发式规则一般给定模型的目标以及边界条件，例如目标是找出最佳，而最佳依据的边界条件需考虑综合时间成本及用户偏好，其中，综合时间成本包括路途时间、医院挂号时间、排队候诊时间等，用户偏好是用户对搜索行为的偏好性，可以根据用户历史行为以及用户配置进行量化评估。以上描述的数学表示方式为：

目标：使a*(x1+x2…xn)+(1-a)*y最小。

边界条件：a是综合时间成本所占的比重；1-a是用户偏好占的比重；x1,x2,…,xn是多个时间成本的累加；y是用户偏好的取值，越小代表用户越喜欢某一种方式。

接着，最终用户输入搜索条件，例如如图3的实施例的搜索条件：“请告诉我看XX病的医院”，此时，神经网络模型将从数据源中进行搜索。

再接着，经过模型的搜索运算，形成搜索结果，并输出最佳医院和最佳路线等结果数据。

再接着，模型每次搜索的输出都会反馈给结果反馈模块。

最后，根据反馈结果对神经网络模型进行优化。

在本实施例中，神经网络模型可以根据反馈结果不断进行迭代优化，使得下一次的输出结果会更符合用户的需求，从而实现类似人脑的智能。

需要说明的是，上述实施例中，所述启发式信息自动发现模型是面向搜索目标的，即不同的搜索目标会建立不同的发现模型，例如，在上述的例子中，当搜索目标为最佳医院搜索时，目标是使a*(x1+x2…xn)+(1-a)*y最小，但当应用于其他搜索目标，例如，酒店、旅游景点或者美食店，其目标可能会不同，这可根据实际的搜索目标进行设定，这些方案均在本发明的保护范围之内。

需要说明的是，上述实施例中，各个模块、单元、子单元都可以通过部署在一个服务器来实现，如图6所示，例如，物联网数据接入单元可以部署于物联网数据接入服务器、行业数据归集单元可以部署于行业数据归集服务器，互联网数据采集单元可以部署于互联网数据采集服务器，多维索引单元可以部署于多维索引服务器，以此类推，各个单元或者子单元均部署于相应的服务器上，本发明在此不做赘述。

请参阅图7，本发明第二实施例还提供了一种融合多源数据的物联网搜索方法，包括：

S201，多源数据接入模块实现多源数据的接入、清洗、分类与入库；其中，所述多源数据包括物联网设备数据、行业级数据以及互联网数据。

S202，数据存储与分析模块实现多源数据区分存储，对各个数据库内的数据进行融合分析、索引建立，并提供数据搜索以及搜索结果排序过滤服务。

S203，应用服务模块接收用户通过用户终端发起的搜索请求，并根据所述搜索请求从所述数据存储与分析模块获取相应的搜索结果以返回给所述用户终端；其中，所述搜索结果基于启发式自动发现模型获得，所述启发式自动发现模型具有不断迭代优化的功能。

本发明第三实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的融合多源数据的物联网搜索方法。

示例性的，所述计算机程序可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在面向多分类的不平衡数据预处理设备中的执行过程。

所述融合多源数据的物联网搜索系统可以是桌上型计算机、笔记本、掌上电脑及云端服务器集群等计算设备。所述融合多源数据的物联网搜索系统可包括但不仅限于处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是融合多源数据的物联网搜索系统的示例，并不构成对融合多源数据的物联网搜索系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述融合多源数据的物联网搜索系统还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述融合多源数据的物联网搜索系统的控制中心，利用各种接口和线路连接整个融合多源数据的物联网搜索系统的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述融合多源数据的物联网搜索系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述融合多源数据的物联网搜索系统集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过执行计算机程序来控制相关的硬件完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种融合多源数据的物联网搜索系统，其特征在于，包括：

多源数据接入模块，用于实现多源数据的接入、清洗、分类与入库；其中，所述多源数据包括物联网设备数据、行业级数据以及互联网数据；

数据存储与分析模块，用于实现多源数据区分存储，对各个数据库内的数据进行融合分析、索引建立，并提供数据搜索以及搜索结果排序过滤服务；

应用服务模块，用于接收用户通过用户终端发起的搜索请求，并根据所述搜索请求从所述数据存储与分析模块获取相应的搜索结果以返回给所述用户终端；其中，所述搜索结果基于启发式自动发现模型获得，所述启发式自动发现模型具有不断迭代优化的功能。

2.根据权利要求1所述的融合多源数据的物联网搜索系统，其特征在于，所述多源数据接入模块包括：

物联网设备开放接入单元，用于通过标准的开放API接口，实现物联网设备、物联网设备所包含的传感器、传感器实时产生的数据的接入；

行业数据归集单元，用于负责多种行业数据的归集，并对归集的数据与源数据进行一致性检查；其中，所述归集支持全量、增量的归集方式；

互联网数据采集单元，用于从互联网采集与物联网搜索相关的互联网数据；其中，数据类型包括静态网页、图片、音频、视频；

数据清洗与归类单元，用于对物联网设备开放接入单元、行业数据归集单元、互联网数据采集单元的数据进行清洗，以纠正数据中可识别的错误，处理无效值和缺失值，并对清洗后的数据进行归类，将物联网设备产生的动态数据和实时性高的行业级数据归类为实时数据，将实时性不高的行业级数据和互联网数据归类为离线数据；

数据入库单元，用于将实时数据写入到实时数据库，将离线数据写入到离线数据库。

3.根据权利要求2所述的融合多源数据的物联网搜索系统，其特征在于，所述行业数据归集单元具体用于，采用对增量数据推、存量数据拉的方式进行行业数据归集，并通过数据对账确保数据同步的一致性，确保新产生的行业数据的及时同步，同时具备在发生逻辑错误时通过全量同步的方式来恢复。

4.根据权利要求2所述的融合多源数据的物联网搜索系统，其特征在于，所述数据存储与分析模块包括：

融合分析单元，用于负责海量多源异构数据的关联分析，基于实时数据库和离线数据库，运用机器学习技术，基于人类的先验知识和边界条件，建立启发式信息自动发现模型，以通过建立的启发式信息自动发现模型自动发现数据新模式，实现数据融合智能；

多维索引单元，用于从时间、空间、常用查询字段多个维度为实时数据库以及离线数据库建立索引，以提供检索；

检索服务单元，用于接收应用服务模块发送的搜索请求，从所述搜索请求中提取搜索关键词，进行分词处理，以从实时数据库以及离线数据库内获取匹配搜索关键词的搜索结果；

排序过滤单元，用于对所述搜索结果进行排序与过滤，并将排序过滤后的搜索结果发送给应用服务模块。

5.根据权利要求4所述的融合多源数据的物联网搜索系统，其特征在于，所述启发式信息自动发现模型包括神经网络框架、神经网络模型、启发式规则配置模块、结果反馈模块，其中：

所述神经网络框架，为用于建立神经网络模型的基础框架；

所述神经网络模型，通过基于建立神经网络模型的基础框架以及知识发现的用途建立形成；

所述启发式规则配置模块，用于接收用户的规则配置输入，对神经网络模型进行启发式规则配置；

所述结果反馈模块，用于将每次输出的结果反馈给模型神经网络模型，实现模型优化。

6.根据权利要求4所述的融合多源数据的物联网搜索系统，其特征在于，所述应用服务模块包括：

行为数据入库单元，用于获取用户在使用用户终端的过程中产生的用户行为数据，将所述用户行为数据发送给数据存储与分析模块，以实现数据入库；

系统配置单元，用于负责为用户终端提供系统配置功能，从而使用户进行定制化配置；

运营管理单元，用于负责为系统管理员提供运营管理功能，包括系统负载、用户在线数、数据查询并发数、用户平均响应时延；

数据查询接口单元，用于负责为用户终端提供数据查询接口，以通过所述数据查询接口接收搜索请求，将所述搜索请求发送给数据存储与分析模块或者通过所述数据查询接口接收数据存储与分析模块返回的搜索结果。

7.根据权利要求1至6任意一项所述的融合多源数据的物联网搜索系统，其特征在于，在实时数据库中，对于实时结构化数据，采用MySQL/Oracle数据库存储；对于实时非结构化数据，采用MongoDB存储；

在离线数据库，对于离线结构化数据，采用符合联机事务处理和联机分析处理要求的分布式结构化数据库集群进行存储；对于离线非结构化数据，采用HBase存储。

8.一种融合多源数据的物联网搜索方法，其特征在于，包括：

多源数据接入模块实现多源数据的接入、清洗、分类与入库；其中，所述多源数据包括物联网设备数据、行业级数据以及互联网数据；

数据存储与分析模块实现多源数据区分存储，对各个数据库内的数据进行融合分析、索引建立，并提供数据搜索以及搜索结果排序过滤服务；

应用服务模块接收用户通过用户终端发起的搜索请求，并根据所述搜索请求从所述数据存储与分析模块获取相应的搜索结果以返回给所述用户终端；其中，所述搜索结果基于启发式自动发现模型获得，所述启发式自动发现模型具有不断迭代优化的功能。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求8所述的融合多源数据的物联网搜索方法。