CN107665237B - 数据结构分类装置、非结构化数据的发布订阅系统及方法 - Google Patents

Abstract

本发明涉及数据结构分类装置、非结构化数据的发布订阅系统及方法，所述数据结构分类装置包括：数据结构创建单元，用于根据非结构化数据类型创建DDS数据结构，并将所述DDS数据结构发送至数据填入单元；数据填入单元，用于接收所述数据结构创建单元发送的DDS数据结构，数据收发模块发送的非结构化数据和DDS发布订阅应用创建模块发送的主题，将所述非结构化数据填入所述DDS数据结构，以得到结构数据，并将所述结构数据填入所述主题，以得到待发布的主题，并将所述待发布的主题发送至数据收发模块。本发明的数据结构分类装置扩展了DDS协议对非格式数据的支持，使得非结构化数据的传输具有DDS的实时、高效和灵活特点。

Description

数据结构分类装置、非结构化数据的发布订阅系统及方法

技术领域

本发明涉及通信领域，尤其涉及一种数据结构分类装置、非结构化数据的发布订阅系统及方法。

背景技术

非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

非结构化数据其格式非常多样，标准也是多样性的，而且在技术上非结构化信息比结构化信息更难标准化和理解。所以存储、检索、发布以及利用需要更加智能化的IT技术，比如海量存储、智能检索、知识挖掘、内容保护、信息的增值开发利用等。

非结构化数据在任何地方都可以得到。这些数据可以在你公司内部的邮件信息、聊天记录以及搜集到的调查结果中得到，也可以是你对个人网站上的评论、对客户关系管理系统中的评论或者是从你使用的个人应用程序中得到的文本字段。而且也可以在公司外部的社会媒体、你监控的论坛以及来自于一些你很感兴趣的话题的评论。

有些企业现在正投资几十亿美金分析结构化数据，却对非结构化数据置之不理，在非结构化数据中蕴藏着有用的信息宝库，利用数据可视化工具分析非结构化数据能够帮助企业快速地了解现状、显示趋势并且识别新出现的问题。

分析数据不需要一个专业性很强的数学家或数据科学团队，公司也不需要专门聘请IT精英去做。真正的分析发生在用户决策阶段，即管理一个特殊产品细分市场的部门经理，可能是负责寻找最优活动方案的市场营销者，也可能是负责预测客户群体需求的总经理。终端用户有能力、也有权利和动机去改善商业实践，并且视觉文本分析工具可以帮助他们快速识别最相关的问题，及时采取行动，而这都不需要依靠数据科学家。

正确的分析需要机器计算和人类解释相结合。机器进行大量的信息处理，而终端客户利用他们的商业头脑，在已发生的事实基础上决策出最好的实施方案。终端客户必须清楚的知道哪一个数据集是有价值的，他们应该如何采集并将他们获取的信息更好地应用到他们的商业领域。此外，一个公司的工作就是使终端用户尽可能地收集到更多相关的数据并尽可能地根据这些数据中的信息作出最好的决策。

随着计算机、互联网和数字媒体等的进一步普及，以文本、图形、图像、音频、视频等非结构化数据为主的信息急剧增加，面对如此巨大的信息海洋，特别是非结构化数据信息，如何存储、查询、分析、挖掘和利用这些海量信息资源就显得尤为关键。传统关系数据库主要面向事务处理和数据分析应用领域，擅长解决结构化数据管理问题，在管理非结构化数据方面存在某些先天不足之处，尤其在处理海量非结构化信息时更是面临巨大挑战。为了应对非结构化数据管理的挑战，出现了各种非结构化数据管理系统，例如基于传统关系数据库系统扩展的非结构化数据管理系统，基于NoSQL的非结构化数据管理系统等。

在非结构化数据管理系统中，查询处理模块是其中一个重要的组成部分，针对非结构化数据的特性设计合理的查询处理框架和查询优化策略对于非结构数据的快速、有效访问极为重要。传统的结构化查询处理过程是:首先翻译器翻译查询请求生成查询表达式，然后由优化器优化查询表达式，得到优化过的查询计划，最后由执行器选择最优的查询计划执行，得到查询结果。查询处理的主要操作包括选择操作、连接操作、投影操作、聚合函数、排序等。查询优化的方法包括基于代价估算的优化和基于启发式规则的优化等。

非结构化查询处理过程中除了结构化数据查询处理所包含的操作外，还有两个重要的操作相似性检索和相似性连接。相似性检索是指给定一个元素，在由该种类元素组成的集合中寻找与之相似的元素。例如论文查重系统用到文本的相似性检索，谷歌的以图搜图的功能用到图像的相似性检索，手机上根据哼唱匹配音乐是音频的相似性检索等。相似性连接是数据库连接操作在非结构化数据上的一种扩展，它寻找两个元素种类相同的集合之间满足相似性约束的元素对，在数据清洗、数据查重、抄袭检测等领域有着重要的作用。非结构化查询处理框架要针对这两种非结构化数据特有的查询操作对结构化查询处理框架进行改进。

非结构化查询优化，在代价估算上除了要考虑结构化数据的代价估算模型外，还要设法建立相似性查询和相似性连接的代价估算模型，对于针对非结构化数据的全文索引和空间索引，也应该有不同与B树索引的代价估算模型。代价估算模型除了要考虑CPU时间、IO时间外，由于非结构化数据一般都存储在分布式系统之上，还需要考虑到中间结果网络传输所用的时间，所以中间结果的大小估算对于非结构化数据的查询优化比结构化数据的查询优化更为重要。非结构化数据的查询优化中的启发式规则和结构化数据也有所不同。

数据分发服务DDS(Data Distribution Service)是对象管理组织(OMG)在HLA及CORBA等标准的基础上制定的新一代分布式实时通信中间件技术规范，DDS采用发布/订阅体系架构，强调以数据为中心，提供丰富的QoS服务质量策略，能保障数据进行实时、高效、灵活地分发，可满足各种分布式实时通信应用需求。DDS信息分发中间件是一种轻便的、能够提供实时信息传送的中间件技术。

DDS(Data Distribution Service)数据分发服务技术最早应用于美国海军，用于解决舰船复杂网络环境中大量软件升级的兼容性问题，目前已经成为美国国防部的强制标准。2003年，DDS被OMG组织接受，并发布了专门为实时系统设计的数据分发/订阅标准。DDS目前已经广泛应用于国防、民航、工业控制等领域，成为分布式实时系统中数据发布/订阅的标准解决方案。DDS技术是基于以数据为核心的设计思想提出的，定义了描述网络环境下数据内容、交互行为和服务质量要求的标准。DDS以数据为核心的设计思想非常贴合如传感器网络、指挥信息网等应用场景，其提供的数据传输模型能够很好地适应应用系统的开发需要。

DDS标准为OMG组织发布的《Data Distribution Servicefor Real-timeSystems》，该规范标准化了分布式实时系统中数据发布、传递和接收的接口和行为，定义了以数据为中心的发布-订阅(Data-Centric Publish-Subscribe)机制，提供了一个与平台无关的数据模型。DDS将分布式网络中传输的数据定义为主题(Topic)，将数据的产生和接收对象分别定义为发布者(Publisher)和订阅者(Subscriber)，从而构成数据的发布/订阅传输模型。各个节点在逻辑上无主从关系，点与点之间都是对等关系，通信方式可以是点对点、点对多、多对多等，在QoS的控制下建立连接，自动发现和配置网络参数。

因此，提供一种基于DDS的发布/订阅功能，加入非格式化数据的传输机制，使非结构化数据传输具有DDS的实时、高效、灵活特点的数据结构分类装置、非结构化数据的发布订阅系统及方法。

发明内容

本发明的一个目的是提供一种数据结构分类装置，其特征在于，包括：数据结构创建单元，用于根据非结构化数据类型创建DDS数据结构，并将DDS数据结构发送至数据填入单元；数据填入单元，用于接收数据结构创建单元发送的DDS数据结构，数据收发模块发送的非结构化数据和DDS发布订阅应用创建模块发送的主题，将非结构化数据填入DDS数据结构，以得到结构数据，并将结构数据填入主题，以得到待发布的主题，并将待发布的主题发送至数据收发模块。

非结构化数据包括文件信息和实时音视频数据。

本发明的另一个目的是提供一种包括上述数据结构分类装置的非结构化数据的发布订阅系统，还包括：数据收发模块，用于接收服务器的非结构化数据并发布主题；DDS发布订阅应用创建模块，用于创建域参与者、主题、发布者、数据写者、订阅者、数据读者和监听者，并将主题发送至数据填入单元；通信模块，用于数据结构分类装置分别与服务器和客户端通信；服务器，用于向数据收发模块发送非结构化数据；客户端，用于接收数据收发模块发布的主题。

数据填入单元分别与数据结构创建单元、数据收发模块和DDS发布订阅应用创建模块连接，且通信模块与数据收发模块连接，通信模块分别与服务器和客户端进行通信。

本发明的又一个目的是提供一种基于非结构化数据的发布订阅系统的非结构化数据的发布订阅方法，包括以下步骤：DDS发布订阅应用创建单元创建域参与者、主题、发布者、数据写者、订阅者、数据读者和监听者，并将主题发送至数据填入单元；数据结构创建单元按照非结构化数据类型创建DDS数据结构，并将DDS数据结构发送至数据填入单元；服务器通过通信模块与数据结构分类装置进行通信；数据收发单元接收服务器发送的非结构化数据，并将非结构化数据发送至数据填入单元；数据填入单元接收数据结构创建单元发送的DDS数据结构，数据收发模块发送的非结构化数据和DDS发布订阅应用创建模块发送的主题，将非结构化数据填入DDS数据结构，以得到结构数据，并将结构数据填入主题，以得到待发布的主题，并将待发布的主题发送至数据收发模块；数据收发单元发布数据填入单元发送的待发布的主题，并根据订阅者所订阅的主题向订阅者对应的客户端发送待发布的主题。

DDS数据结构包括文件信息结构和实时音视频数据结构。

在DDS创建文件信息结构时，文件信息结构包含文件名称序列、文件地址序列、文件数量和完整路径。

在DDS创建实时音视频数据结构时，将按照RTP/UDP协议格式封装的实时音视频数据添加到实时音视频数据结构中，并且实时音视频数据结构包括名称，属性，创建时间，大小，封装的RTP/UDP协议。

当数据收发单元向客户端发送文件信息时，发布者将待发布的文件存放在文件路径下，并填入文件信息结构。

当数据收发单元向客户端发送实时音视频数据时，发布者将实时音视频数据按照RTP/UDP协议进行封装，并填入实时音视频数据结构。

当订阅者订阅的是文件信息主题时，订阅者根据所述文件路径获取文件；当订阅者订阅的是实时音视频数据主题时，订阅者接收实时音视频数据，并通过流媒体播放器播放实时音视频数据。

文件路径包括文件的链接、文件存储路径的用户名密码、文件共享中任一。

本发明与现有技术相比具有以下的优点：

1.本发明的数据结构分类装置不仅使非结构化数据的传输具有DDS的实时、高效、灵活特点，还扩展了DDS协议对于非格式数据的支持，弥补了DDS标准本身的不足部分。

2.本发明的非结构化数据的发布订阅系统及方法对于实时音视频媒体数据，采用封装协议的方式，基于DDS的发布订阅机制，实现实时性强、高吞吐、高性能的实时音视频分发；

3.本发明的非结构化数据的发布订阅方法及系统对于文件信息，采用发布文件名及文件路径的方式，实现文件的分发，用户可自定义获取文件的方式，从而实现了文件的发布订阅支持。

附图说明

以下结合附图和实施例对本发明作进一步说明。

图1是本发明的数据结构分类装置框图；

图2是非结构化数据的发布订阅系统框图；

图3是本发明的非结构化数据的发布订阅方法流程图；

图4是本发明的非结构化数据的发布订阅方法逻辑图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

图1是本发明的数据结构分类装置框图，如图1所示，本发明提供的数据结构分类装置，包括：数据结构创建单元，用于根据非结构化数据类型创建DDS数据结构，并将DDS数据结构发送至数据填入单元；数据填入单元，用于接收数据结构创建单元发送的DDS数据结构，数据收发模块发送的非结构化数据和DDS发布订阅应用创建模块发送的主题，将非结构化数据填入DDS数据结构，以得到结构数据，并将结构数据填入主题，以得到待发布的主题，并将待发布的主题发送至数据收发模块，非结构化数据包括文件信息和实时音视频数据。本发明的数据结构分类装置不仅使非结构化数据的传输具有DDS的实时、高效、灵活特点，还扩展了DDS协议对于非格式数据的支持，弥补了DDS标准本身的不足部分。

图2是非结构化数据的发布订阅系统框图，如图2所示，本发明提供的包括上述数据结构分类装置的非结构化数据的发布订阅系统，还包括：数据收发模块，用于接收服务器的非结构化数据并发布主题；DDS发布订阅应用创建模块，用于创建域参与者、主题、发布者、数据写者、订阅者、数据读者和监听者，并将主题发送至数据填入单元；通信模块，用于数据结构分类装置分别与服务器和客户端通信；服务器，用于向数据收发模块发送非结构化数据；客户端，用于接收数据收发模块发布的主题。

数据填入单元分别与数据结构创建单元、数据收发模块和DDS发布订阅应用创建模块连接，且通信模块与数据收发模块连接，通信模块分别与服务器和客户端进行通信。

图3是本发明的非结构化数据的发布订阅方法流程图，如图3所示，本发明提供的基于非结构化数据的发布订阅系统的非结构化数据的发布订阅方法，包括以下步骤：DDS发布订阅应用创建单元创建域参与者、主题、发布者、数据写者、订阅者、数据读者和监听者，并将主题发送至数据填入单元；数据结构创建单元按照非结构化数据类型创建DDS数据结构，并将DDS数据结构发送至数据填入单元；服务器通过通信模块与数据结构分类装置进行通信；数据收发单元接收服务器发送的非结构化数据，并将非结构化数据发送至数据填入单元；数据填入单元接收数据结构创建单元发送的DDS数据结构，数据收发模块发送的非结构化数据和DDS发布订阅应用创建模块发送的主题，将非结构化数据填入DDS数据结构，以得到结构数据，并将结构数据填入主题，以得到待发布的主题，并将待发布的主题发送至数据收发模块；数据收发单元发布数据填入单元发送的待发布的主题，并根据订阅者所订阅的主题向订阅者对应的客户端发送待发布的主题。

图4是本发明的非结构化数据的发布订阅方法逻辑图，如图4所示，基于图3中的非结构化数据的发布订阅方法，DDS数据结构包括文件信息结构和实时音视频数据结构。

在DDS创建文件信息结构时，文件信息结构包含文件名称序列、文件地址序列、文件数量和完整路径。

在DDS创建实时音视频数据结构时，将按照RTP/UDP协议格式封装的实时音视频数据添加到实时音视频数据结构中，并且实时音视频数据结构包括名称，属性，创建时间，大小，封装的RTP/UDP协议。将实时音视频数据按照RTP/UDP协议进行封装具体过程如下：首先实时音视频数据打包为一个RTP负载，RTP负载和RTP包头打包为一个RTP，然后每个RTP和UDP包头打包为一个UDP。本发明的非结构化数据的发布订阅系统及方法对于实时音视频媒体数据，采用封装协议的方式，基于DDS的发布订阅机制，实现实时性强、高吞吐、高性能的实时音视频分发。

当数据收发单元向客户端发送文件信息时，发布者将待发布的文件存放在文件路径下，并填入文件信息结构。

当数据收发单元向客户端发送实时音视频数据时，发布者将实时音视频数据按照RTP/UDP协议进行封装，并填入实时音视频数据结构。

当订阅者订阅的是文件信息主题时，订阅者根据所述文件路径获取文件；当订阅者订阅的是实时音视频数据主题时，订阅者接收实时音视频数据，并通过流媒体播放器播放实时音视频数据。

文件路径包括文件的链接、文件存储路径的用户名密码、文件共享中任一。本发明的非结构化数据的发布订阅方法及系统对于文件信息，采用发布文件名及文件路径的方式，实现文件的分发，用户可自定义获取文件的方式，从而实现了文件的发布订阅支持。

实施例一

以发布订阅本地文件为例：

1)获取现有文件的数量、文件名、及完整路径。将这些数据初始化成结构数据存入内存中，以便于填充DDS主题；

2)创建DDS数据类型FileMsg，包含结构FileInfo，short类型的file_num、标识数据类型名的DATA_TYPE“FileMsg::Msg”以及全局唯一的DATA_KEY“FileMsg::Msg msg_id”，结构FileInfo中包含，文件名file_name，文件完整路径file_path；

3)创建DDS发布订阅应用程序。包括创建域参与者、主题、发布者、数据写者、订阅者、数据读者、QoS、监听等DDS标准模块。域ID由系统自动生成，主题名称设置为“FileList”，均采用默认的QoS策略，给数据读者建立监听；

4)发布者获取1)中内存中的数据，填充2)创建的数据类型结构，准备发送主题为“File List”的数据，当有订阅者订阅该主题时，由3)中创建的数据写者，将数据发送给3)中创建的数据读者，在数据读者的监听函数on_data_available中接收数据，并根据文件路径获取文件。

实施例二

以发布订阅实时视频为例：

1)创建DDS数据类型RealtimeVideoMsg，包含结构VideoInfo，RTP协议格式封装的数据项，标识数据类型的DATA_TYPE“RealtimeVideoMsg：：Msg”，以及全局唯一的DATA_KEY“RealtimeVideoMsg：：Msg msg_id”。VideoInfo中包含视频格式video_type，视频来源video_source；

2)采集房间1的视频源数据，视频源数据为H.264编码格式(H265格式可参照H264)；

3)创建DDS发布订阅应用程序。同实例1步骤3)，主题名称设置为“video room 1”；

4)发布者发布主题“video room 1”，当2)采集到视频数据后，将接收到的视频流数据进行RTP协议封装，等待订阅者订阅该主题。当有订阅者订阅该主题时，发布者将填充好的数据发送给订阅者，订阅者接收到数据后，根据视频格式进行相应的处理。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据结构分类装置的非结构化数据的发布订阅系统，其特征在于，包括：

数据结构创建单元，用于根据非结构化数据类型创建DDS数据结构，并将所述DDS数据结构发送至数据填入单元；

数据填入单元，用于接收所述数据结构创建单元发送的DDS数据结构，数据收发模块发送的非结构化数据和DDS发布订阅应用创建模块发送的主题，将所述非结构化数据填入所述DDS数据结构，以得到结构数据，并将所述结构数据填入所述主题，以得到待发布的主题，并将所述待发布的主题发送至数据收发模块；

数据收发模块，用于接收服务器的非结构化数据并发布主题；

DDS发布订阅应用创建模块，用于创建域参与者、主题、发布者、数据写者、订阅者、数据读者和监听者，并将所述主题发送至所述数据填入单元；

通信模块，用于所述数据结构分类装置分别与服务器和客户端通信；

服务器，用于向所述数据收发模块发送非结构化数据；

客户端，用于接收所述数据收发模块发布的主题。

2.根据权利要求1所述数据结构分类装置的非结构化数据的发布订阅系统，其特征在于，

所述数据填入单元分别与所述数据结构创建单元、所述数据收发模块和所述DDS发布订阅应用创建模块连接，且所述通信模块与所述数据收发模块连接，所述通信模块分别与所述服务器和所述客户端进行通信。

3.一种基于权利要求2所述非结构化数据的发布订阅系统的非结构化数据的发布订阅方法，其特征在于，包括以下步骤：

DDS发布订阅应用创建单元创建域参与者、主题、发布者、数据写者、订阅者、数据读者和监听者，并将所述主题发送至数据填入单元；

数据结构创建单元按照非结构化数据类型创建DDS数据结构，并将所述DDS数据结构发送至数据填入单元；

服务器通过通信模块与数据结构分类装置进行通信；

数据收发单元接收服务器发送的非结构化数据，并将所述非结构化数据发送至数据填入单元；

数据填入单元接收所述数据结构创建单元发送的DDS数据结构，数据收发模块发送的非结构化数据和DDS发布订阅应用创建模块发送的主题，将所述非结构化数据填入所述DDS数据结构，以得到结构数据，并将所述结构数据填入所述主题，以得到待发布的主题，并将所述待发布的主题发送至数据收发模块；

数据收发单元发布所述数据填入单元发送的待发布的主题，并根据所述订阅者所订阅的主题向所述订阅者对应的客户端发送所述待发布的主题。

4.根据权利要求3所述的非结构化数据的发布订阅方法，其特征在于，所述DDS数据结构包括文件信息结构和实时音视频数据结构。

5.根据权利要求4所述的非结构化数据的发布订阅方法，其特征在于，

在DDS创建文件信息结构时，所述文件信息结构包含文件名称序列、文件地址序列、文件数量和完整路径；

在DDS创建实时音视频数据结构时，将按照RTP/UDP协议格式封装的实时音视频数据添加到实时音视频数据结构中，并且所述实时音视频数据结构包括名称，属性，创建时间，大小，封装的RTP/UDP协议。

6.根据权利要求5所述的非结构化数据的发布订阅方法，其特征在于，当所述数据收发单元向所述客户端发送文件信息时，所述发布者将待发布的文件存放在文件路径下，并填入所述文件信息结构；

当所述数据收发单元向所述客户端发送实时音视频数据时，所述发布者将所述实时音视频数据按照RTP/UDP协议进行封装，并填入所述实时音视频数据结构。

7.根据权利要求6所述的非结构化数据的发布订阅方法，其特征在于，

当所述订阅者订阅的是文件信息主题时，所述订阅者根据所述文件路径获取文件；

当所述订阅者订阅的是实时音视频数据主题时，所述订阅者接收实时音视频数据，并通过流媒体播放器播放所述实时音视频数据。

8.根据权利要求7所述的非结构化数据的发布订阅方法，其特征在于，所述文件路径包括文件的链接、文件存储路径的用户名密码、文件共享中任一。

Images