CN113076366B

CN113076366B - 一种智慧灯杆虚拟化方法

Info

Publication number: CN113076366B
Application number: CN202110387623.9A
Authority: CN
Inventors: 刘宁; 陆松浩; 张登银
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2021-04-09
Filing date: 2021-04-09
Publication date: 2023-01-24
Anticipated expiration: 2041-04-09
Also published as: CN113076366A

Abstract

本发明公开了一种智慧灯杆虚拟化方法，属于智慧灯杆设备技术领域，本发明语法转换模块从结构上将智慧灯杆异构数据同构化，并以二维表的形式存储于虚拟模型层；语义转换模块从概念上对异构数据融合，基于应用需求以逻辑视图形式存储于视图模型层；本发明利用虚拟化技术，基于逐层转换方式将异构数据同构化，实现面向应用需求的数据抽象与封装，确保异构数据在语法层及语义层的一致性与准确性，提高数据分析的高效性与可靠性，为应用业务对数据访问提供有效支撑。

Description

一种智慧灯杆虚拟化方法

技术领域

本发明属于智慧灯杆设备技术领域，具体为一种智慧灯杆虚拟化方法。

背景技术

路灯是最密集的城市基础设施，每隔几十米就会有一个。传统路灯承担城市照明作用，但控制过程复杂，通常按季节变化对路灯控制箱进行开箱设置，缺乏灵活性且路灯状态信息难以及时获取。

智慧灯杆是传统路灯在智慧城市建设中的一种智能化体现，基于无线通信、物联网等信息技术将照明、安防、环保等功能集于一体，承载推动智慧城市发展的重大使命。现有智慧灯杆可按需挂载传感器、视频监控等终端设备，按照设备标准对外提供数据接口，为远程控制平台提供照明、环境、人流量、车流量等捕获的监测数据，支撑上层业务需求分析。但智慧灯杆布局分散，挂载传感器类型多、数量大，不同硬件设备在存储结构、传输协议、数据类型等方面存在较大异构性，使得远程控制平台对数据的处理与计算非常复杂，阻碍智慧灯杆的进一步发展。

发明内容

本发明针对现有智慧灯杆存在的异构性问题，提供一种智慧灯杆虚拟化方法，基于语法、语义两层转换将原始数据在结构、含义等方面的差异同构化，以统一的视图形式提交给业务层进行数据分析，提高数据应用价值。

为实现以上目的，本发明采用以下技术方案：

一种智慧灯杆虚拟化方法，包括以下步骤：

步骤1：挂载于智慧灯杆上的各类异构终端设备采集数据，将采集的数据以非结构化、半结构化、结构化的文件进行存储，将分布零散、混乱、类别不清的数据格式化；

步骤2：通过语法转换模块将步骤1处理后的数据从地址、结构两方面进行同构化；

步骤3：以结构规范、描述统一的虚拟表存储步骤2中语法转换模块处理后的数据；

步骤4：将存储于不同数据库中的虚拟表从概念上进行同构化；

步骤5：通过语义转换模块，将步骤4处理后的虚拟表映射为满足业务应用需求的视图。

以上所述步骤中，步骤2中从地址方面同构化是使具有不同物理地址空间的数据具有统一的虚拟地址空间；从结构方面同构化是将不同文件格式的同类数据转换为相同格式，再将各文件内容不同逻辑访问方式(链式表、哈希表、树等)转换为顺序访问并以二维关系存储于数据库的物理表中；

步骤4具体包括以下步骤：

(a)识别虚拟表数据存储类型，构建基于关键词的语义索引；

(b)基于数据存储上下文与所述语义索引，挖掘数据物理含义，对数据进行语义解析；

(c)设计具有相同语义数据间转换的兼容算子，面向业务需求实现同义数据间的融合；

进一步，步骤(4)具体包括以下步骤：

(ⅰ)首先对数据语义进行分析，基于上下文检测数据逻辑合理性，构建数据语义索引；

(ⅱ)利用语义索引关联数据需满足的语义规则，若数据符合对应的语义规则，则基于语义索引计算数据语义相似度，在相似度达到预设阈值情况下，将表达形式不同但具有相同含义的数据汇总在一起，完成语义提取与融合；

(ⅲ)若数据不符合对应的语义规则，则需重复步骤(ⅱ)至完成融合。

步骤5具体包括以下步骤：对每个字符打上标签值，将获取的语言内容作为输入数据送入神经网络中，通过各个神经元先进行特征提取，再进行池化，利用激活函数获取预测值，最后通过优化算法进行调参，使得预测值与标签值的差达到最小值，进而获取最终语义。

进一步，步骤5具体包括以下步骤：

(a)对字符集中的所有字符进行标签化操作，对每个字符打上标签作为最终识别的目标值；

(b)设计神经网络模型，包括输入层，卷积层，池化层，输出层；输入层用于输入每个字符数据，卷积层作为整个网络的核心部分，用于语义特征提取，语义分析采用深度神经网络，使用大规模的卷积核进行特征提取；池化层，是用于提高预测模型的运行速度，减少参与的数据量；池化后使用激活函数得到预测值；

(c)将步骤(a)获取的语言内容作为输入数据送入神经网络中，通过各个神经元先进行特征提取，再进行池化，利用激活函数获取预测值；

(d)采用梯度下降优化策略，使得预测值与标签值的差达到最小，进而得到最终的预测值，将该预测值作为语句的语义，映射为满足业务应用需求的视图。

本发明的有益效果：本发明提供了一种智慧灯杆虚拟化方法，从语法和语义两方面实现异构智慧灯杆的同构化，具有较高的兼容性及可扩展性，便于智慧灯杆的按需装配；本发明采用虚拟化技术，基于逐层转换方式将异构数据同构化，对智慧灯杆挂载的异构设备进行统一封装，将原始粗糙数据经过语法转换、语义转换有序融合，确保异构数据在语法层及语义层的一致性与准确性，提高业务需求数据分析准确性与高效性，基于语法、语义两层转换将原始数据在结构、含义等方面的差异同构化，以统一的视图形式提交给业务层进行数据分析，提高数据应用价值。

附图说明

图1为本发明实施例中智慧灯杆结构图；图中，A1、A2、A3为安装在不同灯杆上的温湿度传感器，B1、B2、B3为安装在不同灯杆上的PM2.5监测器，C1、C2、C3为安装在不同灯杆上的音频传感器，D1、D2、D3为安装在不同灯杆上的视频传感器，E1、E2、E3为安装在不同灯杆上的风速风向传感器，S1、S2、S3为安装在不同灯杆上的存储器；

图2为本发明实施例中智慧灯杆存储器结构图；

图3为本发明实施例中语法转换模块功能图；

图4为本发明实施例中语义转换模块功能图；

图5为本发明实施例中智慧灯杆虚拟化系统示意图。

具体实施方式

下面结合附图和具体实施例对本发明进一步详细描述：

一种智慧灯杆虚拟化方法，包括以下步骤：

步骤(4)具体包括以下步骤：

步骤5具体包括以下步骤：

以上所述方法基于如图5所示的系统，所述系统包括远程运行平台、智慧灯杆层、虚拟模型层、视图模型层、语法转换模块、语义转换模块；远程运行平台利用网络对智慧灯杆层进行远程控制；所述虚拟模型层、视图模型层、语法转换模块、语义转换模块的硬件设备位于智慧灯杆层上，所述硬件设备基于无线通信设备进行联网接入远程平台；智慧灯杆层基于无线传感器获取原始数据，并自底向上逐层转换传输至虚拟模型层与视图模型层；各模块或层的数据传输在联网进行，均采用并行传输方式。

如图1所示，所述智慧灯杆层包括分布于不同地理位置的智慧灯杆，所述智慧灯杆挂载各类异构终端设备并配有存储器装置；如图2所示，所述存储器装置包括数据缓冲区及数据资源池，所述数据缓冲区分类不同传感器采集数据，并以实时或周期方式传输至数据资源池，数据资源池用于将采集的原始数据以非结构化、半结构化、结构化的文件进行存储，将分布零散、混乱、类别不清的数据格式化；

如图3所示，所述语法转换模块对数据资源池中的异构数据从地址、结构两方面进行同构化，地址同构化使具有不同物理地址空间的数据具有统一的虚拟地址空间；结构同构化将不同文件格式的同类数据转换为相同格式，在将各文件内容不同逻辑访问方式(链式表、哈希表、树等)转换为顺序访问并以二维关系存储于数据库的物理表中；

所述虚拟模型层以结构规范、描述统一的虚拟表存储语法转换模块处理后的原始数据，相应的元模型结构如下：

序号	字段名	字段类型	物理含义
				1	数据ID	string	传感器数据的唯一标识
2	数值	int	传感器记录值
				3	传感器类型	char	传感器提供商及型号
4	数据格式	xls	传感器数据存储格式
				5	采集时间	date	传感器数值记录时间

如图4所示，所述语义转换模块对存储于不同数据库(SQL Sever、Oracle、DB2)中的虚拟表从概念上进行同构化，识别虚拟表数据存储类型，构建基于关键词的语义索引；基于数据存储上下文与语义索引，挖掘数据物理含义，对数据进行语义解析；设计具有相同语义数据间转换的兼容算子，面向业务需求实现同义数据间的融合；

所述视图模型层，基于业务需求驱动，通过语义转换模块，将虚拟表映射成满足业务应用需求的视图。

如图1所示，智慧灯杆挂载温湿度传感器A1、A2、A3、PM2.5监测器B1、B2、B3、音频传感器C1、C2、C3、视频传感器D1、D2、D3、风速风向传感器E1、E2、E3、存储器S1、S2、S3类型各异的终端设备。如灯杆1的温度传感器A1来自厂商1，以DS18B20的标准进行采集，以NPN文件格式进行存储；灯杆2的温度传感器(A2)来自厂商2，以PT100的标准进行采集，以PNP文件格式进行存储；如图2所示，存储器中包含数据资源池与数据缓冲区两部分，数据缓冲区用于临时存储所有数据，解决数据分布零散的问题；数据资源池以物理表方式汇聚数据缓冲区发送的各类物理数据，对各类物理数据进行结构化处理，使不同类型的文件格式转换成同种类型的数据格式；如将音频数据统一转化为MP3，将视频数据统一转化为MP4，将温湿度数据统一转化为NPN，将PM2.5测量数据转化为XLS，将风速风向数据转化为PNP，数据资源池解决了数据类别不清，文件格式不统一的问题。

图3为本实施例语法转换模块功能图，包含地址虚拟化与结构虚拟化两个子模块；地址虚拟化模块完成地址虚拟化操作，使来自于不同物理地址空间的数据具有统一的虚拟地址空间，即将8位、16位、32位的物理地址单元统一映射到32位的虚拟地址空间进行统一的地址访问；结构虚拟化模块完成结构虚拟化操作，实现将不同结构的数据转化为相同的数据结构，即将哈希表、链式表、树、图等数据结构，统一转化为顺序表采用统一的方法进行访问。将通过地址和结构虚拟化后的数据放入虚拟数据表中。

图4为本实施例语义转换模块功能图，其作用在于将虚拟模型层的虚拟数据表转化为视图模型层的应用视图，且在转换过程中实现语义融合。语义功能模块首先对数据语义进行分析，基于上下文检测数据逻辑合理性，构建数据语义索引；利用语义索引关联数据需满足的语义规则，若数据符合对应的语义规则，则基于语义索引计算数据语义相似度，在相似度达到预设阈值情况下，将表达形式不同但具有相同含义的数据汇总在一起，完成语义提取与融合。若数据不符合对应的语义规则，则需重新关联规则并检验。语义转换模块解决了语义相同但表示不同的数据间的冲突，在语义层面保证业务访问数据的一致性。

本发明具体实施途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims

1.一种智慧灯杆虚拟化方法，其特征在于，包括以下步骤：

步骤2：通过语法转换模块将步骤1处理后的数据从地址、结构两方面进行同构化，从地址方面同构化是使具有不同物理地址空间的数据具有统一的虚拟地址空间；从结构方面同构化是将不同文件格式的同类数据转换为相同格式，再将各文件内容不同逻辑访问方式转换为顺序访问并以二维关系存储于数据库的物理表中；

步骤4：将存储于不同数据库中的虚拟表从概念上进行同构化，具体包括：

（ⅰ）首先对数据语义进行分析，基于上下文检测数据逻辑合理性，构建数据语义索引；

（ⅱ）利用语义索引关联数据需满足的语义规则，若数据符合对应的语义规则，则基于语义索引计算数据语义相似度，在相似度达到预设阈值情况下，将表达形式不同但具有相同含义的数据汇总在一起，完成语义提取与融合；

（ⅲ）若数据不符合对应的语义规则，则需重复步骤（ⅱ）至完成融合；

步骤5：通过语义转换模块，将步骤4处理后的虚拟表映射为满足业务应用需求的视图，对每个字符打上标签值，将获取的语言内容作为输入数据送入神经网络中，通过各个神经元先进行特征提取，再进行池化，利用激活函数获取预测值，最后通过优化算法进行调参，使得预测值与标签值的差达到最小值，进而获取最终语义。

2.根据权利要求1所述的智慧灯杆虚拟化方法，其特征在于，步骤5具体包括以下步骤：

（a）对字符集中的所有字符进行标签化操作，对每个字符打上标签作为最终识别的目标值；

（b）设计神经网络模型，包括输入层，卷积层，池化层，输出层；输入层用于输入每个字符数据，卷积层作为整个网络的核心部分，用于语义特征提取，语义分析采用深度神经网络，使用大规模的卷积核进行特征提取；池化层，是用于提高预测模型的运行速度，减少参与的数据量；池化后使用激活函数得到预测值；

（c）将步骤(a)获取的语言内容作为输入数据送入神经网络中，通过各个神经元先进行特征提取，再进行池化，利用激活函数获取预测值；

（d）采用梯度下降优化策略，使得预测值与标签值的差达到最小，进而得到最终的预测值，将该预测值作为语句的语义，映射为满足业务应用需求的视图。