CN108023895A - 海量数据定向分类传输方法及系统 - Google Patents

海量数据定向分类传输方法及系统 Download PDF

Info

Publication number
CN108023895A
CN108023895A CN201711432769.0A CN201711432769A CN108023895A CN 108023895 A CN108023895 A CN 108023895A CN 201711432769 A CN201711432769 A CN 201711432769A CN 108023895 A CN108023895 A CN 108023895A
Authority
CN
China
Prior art keywords
data
demand
matching degree
information
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711432769.0A
Other languages
English (en)
Other versions
CN108023895B (zh
Inventor
曹新朝
金风明
谭小野
马健
王建勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING SHIPBUILDING INFORMATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING SHIPBUILDING INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING SHIPBUILDING INFORMATION TECHNOLOGY Co Ltd filed Critical BEIJING SHIPBUILDING INFORMATION TECHNOLOGY Co Ltd
Priority to CN201711432769.0A priority Critical patent/CN108023895B/zh
Publication of CN108023895A publication Critical patent/CN108023895A/zh
Application granted granted Critical
Publication of CN108023895B publication Critical patent/CN108023895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/24Negotiation of communication capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供一种海量数据定向分类传输方法及系统,海量数据定向分类传输系统包括数据供给方客户端、数据需求方客户端和网络传输系统;所述数据供给方客户端,用于收集数据,并将收集到的数据传输给网络传输系统;所述数据需求方客户端,用于向网络传输系统发送获取数据的请求消息;所述网络传输系统,包括数据分类模块、需求生成模块、匹配度计算模块和传输机制选择模块。优点为:数据传输的驱动力是需求端提出需求,系统根据需求定向发送数据,而在需求方没有提出需求时,不进行数据的传输,针对不同的数据类型和用户的需求,只传输必要的数据,减少了数据传输过程的拥堵,同时降低了能源消耗,从根本上解决了网络拥堵问题。

Description

海量数据定向分类传输方法及系统
技术领域
本发明属于数据传输技术领域,具体涉及一种海量数据定向分类传输方法及系统。
背景技术
在大型设备制造的生产现场,布置着大量的传感器等数据采集装置,对车间环境,中间产品,设备状态等信息进行监控,并实时传输到用户终端。静态管理信息(如产品三维模型、文字描述、数控代码等)与实时状态信息(如语音、现场录像、位置信息等)构成了制造现场的海量数据,这些海量数据在传输过程中,不同类型的节点竞争传输系统上的优先权,无线频带中来自多个设备的此类干扰和增加的使用降低了网络的整体性能,造成传输网络的拥堵和延迟,并且可能造成网络瘫痪、数据丢失等不可挽回的损失。例如,制造现场的监控视频实时传输到用户终端,当用户提出想要查询制造现场的其他数据信息时,两种类型的数据同时传输,竞争无线信道中传输的优先权,可能会造成网络的拥堵,拥堵信道的数据识别其他可传输的路径,与更多的传输数据进行竞争,进而造成传输网络大面积的拥堵和瘫痪,并且可能造成重要数据的丢失。
如今,解决数据拥堵的技术主要包括网络服务质量(Quality of Service,QoS)与软件定义网络(Software-defined networking,SDN)。
网络服务质量(QoS)是网络提供给用户的服务性能的一种测量,是指网络在传输数据流时需要满足的一系列服务请求,具体可以量化为带宽、延迟、延迟抖动、丢失率等性能指标。通过制定不同的QoS指标,来监控数据传输过程中的拥堵和丢包等问题。利用QoS来控制拥堵的方式包括流量调节、拥塞管理和拥塞避免。流量调节是指:通过控制数据流的速率,推迟不合格数据传输时间,来保证数据均能正常传输,但会大大增加传输延迟;拥塞管理是指:根据数据的优先级和端口支持的队列进行分类,用来区分不同的传输队列,进行队列与特定数据流的映射,利用这种方式,如果分配给某个队列的资源都被占用了,依旧会产生拥堵;拥塞避免是指:根据数据的优先级,在达到一定的填满程度之后,丢弃部分传输数据。可见,QoS拥塞控制机制并没有完全解决拥塞和丢包问题,只在一定程度上避免网络传输拥堵。
软件定义网络技术(SDN)采用分层的思想,将数据层和控制层分离。控制层掌握全局网络信息,方便运营商和科研人员管理配置网络和部署新协议;数据层的交换机仅具有简单的数据转发功能,可以快速处理匹配的数据包,适应流量日益增长的需求。系统能够快速的聚合网络资源,实现平均分配,通过分层技术,达到降低设备负载的目的,降低运行成本,减少网络拥塞的情况。但这种网络结构增加了组件的复杂性,路由器和控制器的功能分区还在研究阶段,功能配置仍然是个悬而未决的事情。
由此可见,使用上述两种方式进行数据传输,虽然通过增加控制协议或者改变系统方式,在一定程度上减少拥堵出现的概率,但并没有从根本上解决传输过程中拥堵的问题,尤其是在大型的工业制造车间,存在海量的数据传输过程,例如生产过程的监控视频的传输,数据种类复杂。因此,目前迫切需要从根本上解决传输过程中拥堵的问题。
发明内容
针对现有技术存在的缺陷,本发明提供一种海量数据定向分类传输方法及系数,可有效解决上述问题。
本发明采用的技术方案如下:
本发明提供一种海量数据定向分类传输方法,包括以下步骤:
步骤1,数据供给方客户端收集数据,并将收集到的数据传输给网络传输系统;
步骤2,网络传输系统以数据类型作为分类依据,将收集到的每个数据划分到对应的数据类型中;然后,将数据按照不同数据类型特征值化,得到每个数据的特征值;再按照数据类型,采用数据库分类储存数据以及数据的特征值;
步骤3,数据需求方客户端向网络传输系统发送获取数据的请求消息;
步骤4,网络传输系统根据所述数据需求方客户端的请求消息,生成需求信息;然后,对所述需求信息特征值化,得到需求信息特征值;然后,对所述需求信息特征值进行分析,并在所述数据库中进行分类匹配,计算需求信息与所述数据库中数据的特征匹配度;然后,筛选匹配度最高的供给方数据;
步骤5,网络传输系统根据步骤4筛选到的匹配度最高的供给方数据的数据类型,获得与供给方数据的数据类型对应的最佳传输机制;
步骤6,网络传输系统采用所述最佳传输机制,将步骤4筛选到的匹配度最高的供给方数据发送给所述数据需求方客户端。
优选的,步骤1具体为:
数据供给方客户端对云端资源进行智能的感知、识别和信息的采集,并通过数据信息处理中心,实现感知信息和标识信息的预分析、聚合及预处理;具体的,首先采用射频识别技术和传感技术,通过读取设备对云端资源的静态属性、动态属性进行感知,从而获取采集数据;所述采集数据包括资源的静态标识信息;然后,通过传感网络将各种采集数据传输到本地数据中心;本地数据中心对所述采集数据进行数据处理,并将处理后的采集数据通过网络实时的接入到云网中,为网络传输系统进行数据定向分类传输提供基础。
优选的,步骤2具体为:
网络传输系统首先按照数据类型,对数据进行分类,对不同类型的数据的文件类型进行分析归纳;
然后,根据支持资源描述的语义特征,构建描述各数据类型的本体文档,该本体文档包括各数据类型的描述方式和语言表达方式;
在得到数据类型的本体文档后,分类储存数据。
优选的,步骤4,网络传输系统根据所述数据需求方客户端的请求消息,生成需求信息,具体为:
数据需求方提出请求,网络传输系统的需求生成模块在本部动作中对数据需求方所提出的请求进行修正提示或自发修正,将数据需求方的需求形成完全符合系统规则的表单;在需求生成模块的干预下,非符合规则的需求表单将被修正为对应系统规则的需求表单,而无法满足修正要求的表单将被发回数据需求方重新修改,直至能够满足需求表单修正需求,为下一步匹配度计算做准备。
优选的,步骤4中,计算需求信息与所述数据库中数据的特征匹配度;然后,筛选匹配度最高的供给方数据,具体为:
网络传输系统的匹配度计算模块建立海量数据多层次语义匹配模型,多层次语义匹配模型包括从高层向低层排列的基本信息匹配,功能信息匹配、约束信息匹配和综合匹配;首先,计算需求信息与所述数据库中各数据的基本信息匹配度,并将基本信息匹配度与基本信息匹配度设定阈值进行比较,筛选出大于基本信息匹配度设定阈值的第一数据库数据集;然后,计算需求信息与筛选出的第一数据库数据集中数据的功能信息匹配度,并将功能信息匹配度与功能信息匹配度设定阈值进行比较,从第一数据库数据集中筛选出大于功能信息匹配度设定阈值的第二数据库数据集;然后,计算需求信息与筛选出的第二数据库数据集中数据的约束信息匹配度,并将约束信息匹配度与约束信息匹配度设定阈值进行比较,从第二数据库数据集中筛选出大于约束信息匹配度设定阈值的第三数据库数据集;然后,计算需求信息与筛选出的第三数据库数据集中数据的综合匹配度,并将综合匹配度与综合匹配度设定阈值进行比较,从第三数据库数据集中筛选出大于综合匹配度设定阈值的第四数据库数据集;
由此经过四次匹配过滤后,得到的第四数据库数据集为最优数据匹配结果集;在第四数据库数据集中,再进一步筛选出匹配度最高的供给方数据。
优选的,步骤5中,传输机制包括HTTP协议传输机制,UDP协议传输机制,FTP协议传输机制和流媒体技术传输机制。
本发明还提供一种海量数据定向分类传输系统,包括数据供给方客户端、数据需求方客户端和网络传输系统;
所述数据供给方客户端,用于收集数据,并将收集到的数据传输给网络传输系统;
所述数据需求方客户端,用于向网络传输系统发送获取数据的请求消息;
所述网络传输系统,包括数据分类模块、需求生成模块、匹配度计算模块和传输机制选择模块;
所述数据分类模块,用于以数据类型作为分类依据,将所述数据供给方客户端收集到的每个数据划分到对应的数据类型中;然后,将数据按照不同数据类型特征值化,得到每个数据的特征值;再按照数据类型,采用数据库分类储存数据以及数据的特征值;
所述需求生成模块,用于根据所述数据需求方客户端的请求消息,生成需求信息;然后,对所述需求信息特征值化,得到需求信息特征值;
所述匹配度计算模块,用于所述需求信息特征值进行分析,并在所述数据库中进行分类匹配,计算需求信息与所述数据库中数据的特征匹配度;然后,筛选匹配度最高的供给方数据;
所述传输机制选择模块,用于根据筛选到的匹配度最高的供给方数据的数据类型,获得与供给方数据的数据类型对应的最佳传输机制;然后,采用所述最佳传输机制,将筛选到的匹配度最高的供给方数据发送给所述数据需求方客户端。
本发明提供的海量数据定向分类传输方法及系统具有以下优点:
数据传输的驱动力是需求端提出需求,系统根据需求定向发送数据,而在需求方没有提出需求时,不进行数据的传输,针对不同的数据类型和用户的需求,只传输必要的数据,减少了数据传输过程的拥堵,同时降低了能源消耗,从根本上解决了网络拥堵问题。
附图说明
图1为本发明提供的海量数据定向分类传输系统的整体组织结构图;
图2为本发明提供的海量数据定向分类传输方法的流程示意图;
图3为本发明提供的供需双方数据分类方式示意图;
图4为本发明提供的传输机制选择流程示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明是关于一种制造现场海量数据无线传输的方法和系统,尤其是针对解决无线网络传输中数据拥堵问题的一种基于需求的数据定向分类传输技术,将数据按照不同数据类型进行分类,基于需求方提出的传输请求,使用不同的传输机制定向传输,并且,针对不同类型的数据需求只传输必要的数据,因此,可以大大减少数据传输量,减轻传输过程中的带宽压力,降低数据终端的计算能力要求的效果,从根本上杜绝拥堵现象。
参考图2,本发明的海量数据定向分类传输方法,步骤至少包括:
(1)数据供给方收集数据并进行分类,将数据类型作为分类依据;
(2)需求方发送数据传输请求;
(3)该海量数据定向分类传输技术对供求双方的数据特征进行对比匹配,计算特征匹配度;
(4)筛选匹配度最高的供给方数据
(5)根据所要传输的数据类型,选定合适的传输机制;
(6)将数据传递给需求方。
实现该技术所需要的实体架构至少包括:(1)使用者接口群,包括图形界面、各项操作、管理功能等。至少包括以下分类:管理端使用者接口,需求方使用者接口,供给方使用者接口,维护接口。分别提供给系统内管理者工作平台,需求方使用者工作平台,供给方使用者工作平台,维护人员使用。(2)账户管理认证模块,管理需求方用户账户,制定不同的数据需求方的权限及所对应的查询范围,保护企业机要数据,防止泄露。(3)数据分类模块,按照生产过程产生的不同类型的数据,可以分为不同的数据类型。并将数据按照不同类型,转换为特征量的集合,并进行分类储存。(4)需求生成模块,其可按照需求者提出的初步需求,自动转换成预设对应需求的恰当表单给需求者,帮助需求者提出符合功能要求的需求信息。(5)匹配度计算模块,按照需求方提出的需求信息,筛选符合要求的供给方数据,并计算特征匹配度。若供给方数据不止一个被筛选出来,分别计算匹配度并选择最高匹配度的数据。(6)传输机制选择模块,网络传输系统中存储有不用的数据传输机制,包括HTTP协议,UDP协议,FTP协议,流媒体技术等,当传输不同类型的数据时,选择合适的传输协议。
本发明的海量数据定向分类传输技术的特点在于:通过对供给方收集的数据进行分类,按照需求方提出的数据传输需求精确匹配供给方数据,按照合适的传输机制,定向传输给供给方,针对不同类型的数据需求只传输必要的数据,大大减少数据传输量,从根本上解决传输拥堵的问题,提高数据传输可靠性。
参考图1和图2,海量数据定向分类传输方法,具体包括以下步骤:
步骤1,数据供给方客户端收集数据,并将收集到的数据传输给网络传输系统;
步骤1具体为:
数据供给方客户端对云端资源进行智能的感知、识别和信息的采集,并通过数据信息处理中心,实现感知信息和标识信息的预分析、聚合及预处理;具体的,首先采用射频识别技术(RFID、CRFID)和传感技术,通过读取设备对云端资源的静态属性、动态属性进行感知,从而获取采集数据;所述采集数据包括资源的静态标识信息,如名称、功能、视频及资源活动状态信息;然后,通过传感网络将各种采集数据传输到本地数据中心;本地数据中心对所述采集数据进行数据处理,例如,将数据特征值化,实现用特征值集合表示数据集,主要是实现各种标识信息、传感数据信息的分析、预处理聚合等操作,并将处理后的采集数据通过网络实时的接入到云网中,为网络传输系统进行数据定向分类传输提供基础。
步骤2,网络传输系统以数据类型作为分类依据,将收集到的每个数据划分到对应的数据类型中;然后,将数据按照不同数据类型特征值化,得到每个数据的特征值,达到用特征量集合描述数据供给方与数据需求方的数据特征的目的。再按照数据类型,采用数据库分类储存数据以及数据的特征值;
网络传输系统对数据供给方收集的数据进行分类,并进行标准化封装,最终储存到数据库中,其具体实现步骤:
(a)首先,网络传输系统按照数据类型,对数据进行分类,对不同类型的数据的文件类型进行分析归纳,如图3所示,然后根据支持资源描述的语义特征,构建描述各数据类型的本体文档,该本体文档主要包括各数据类型的描述方式、语言表达方式(同义词、近义词等);
(b)对数据进行有效分类、储存及融合,在得到标准的描述规则之后,就可以将数据进行分类储存。
步骤3,数据需求方客户端向网络传输系统发送获取数据的请求消息;
步骤4,网络传输系统根据所述数据需求方客户端的请求消息,生成需求信息;然后,对所述需求信息特征值化,得到需求信息特征值;然后,对所述需求信息特征值进行分析,并在所述数据库中进行分类匹配,计算需求信息与所述数据库中数据的特征匹配度;然后,筛选匹配度最高的供给方数据;
步骤4,网络传输系统根据所述数据需求方客户端的请求消息,生成需求信息,具体为:
数据需求方提出请求,网络传输系统的需求生成模块在本部动作中对数据需求方所提出的请求进行修正提示或自发修正,将数据需求方的需求形成完全符合系统规则的表单;在需求生成模块的干预下,非符合规则的需求表单将被修正为对应系统规则的需求表单,而无法满足修正要求的表单将被发回数据需求方重新修改,直至能够满足需求表单修正需求,为下一步匹配度计算做准备。
步骤4中,计算需求信息与所述数据库中数据的特征匹配度;然后,筛选匹配度最高的供给方数据,具体为:
网络传输系统的匹配度计算模块建立海量数据多层次语义匹配模型,多层次语义匹配模型包括从高层向低层排列的基本信息匹配,功能信息匹配、约束信息匹配和综合匹配;首先,计算需求信息与所述数据库中各数据的基本信息匹配度,并将基本信息匹配度与基本信息匹配度设定阈值进行比较,筛选出大于基本信息匹配度设定阈值的第一数据库数据集;然后,计算需求信息与筛选出的第一数据库数据集中数据的功能信息匹配度,并将功能信息匹配度与功能信息匹配度设定阈值进行比较,从第一数据库数据集中筛选出大于功能信息匹配度设定阈值的第二数据库数据集;然后,计算需求信息与筛选出的第二数据库数据集中数据的约束信息匹配度,并将约束信息匹配度与约束信息匹配度设定阈值进行比较,从第二数据库数据集中筛选出大于约束信息匹配度设定阈值的第三数据库数据集;然后,计算需求信息与筛选出的第三数据库数据集中数据的综合匹配度,并将综合匹配度与综合匹配度设定阈值进行比较,从第三数据库数据集中筛选出大于综合匹配度设定阈值的第四数据库数据集;
由此经过四次匹配过滤后,得到的第四数据库数据集为最优数据匹配结果集;在第四数据库数据集中,再进一步筛选出匹配度最高的供给方数据。
也就是说,根据数据需求方提出请求的语义描述,基于数据收集系统数据库,建立海量数据多层次语义匹配模型,主要包括基本信息匹配,功能信息匹配、约束信息匹配和综合匹配。计算每层匹配度并与设定阈值进行比较,进行匹配过滤,大于等于设定阈值后才能进入下一层匹配,这样多次匹配过滤后,可得到最优数据匹配结果集。在供给方收集建立的数据库中,查询匹配度最高的数据进行传输。
步骤5,网络传输系统根据步骤4筛选到的匹配度最高的供给方数据的数据类型,获得与供给方数据的数据类型对应的最佳传输机制;
步骤5中,传输机制包括HTTP协议传输机制,UDP协议传输机制,FTP协议传输机制和流媒体技术传输机制。
步骤6,网络传输系统采用所述最佳传输机制,将步骤4筛选到的匹配度最高的供给方数据发送给所述数据需求方客户端。
传输机制选择模块是本系统采用定向分类传输技术的核心部分,也是本系统能够避免拥塞的根本原因。如图4所示,同类型的数据采用不同传输方式进行传输的效率和效果,如视频文件在采用HTTP传输和采用专用流技术传输进行播放时,在带宽适应性、随机播放的操控性等方面均存在较大差异不同。基于上述要求,该海量数据定向分类传输系统面对不同的数据类型,选择合适的传输机制,供给方寻址,与需求方建立连接,将数据快速传递给需求方。
参考图1,本发明还提供一种海量数据定向分类传输系统,包括数据供给方客户端、数据需求方客户端和网络传输系统;
所述数据供给方客户端,用于收集数据,并将收集到的数据传输给网络传输系统;
所述数据需求方客户端,用于向网络传输系统发送获取数据的请求消息;
所述网络传输系统,是整个系统的核心部分,可将数据分类后再选择合适协议定向传递数据。具体包括数据分类模块、需求生成模块、匹配度计算模块和传输机制选择模块;
所述数据分类模块,用于以数据类型作为分类依据,将所述数据供给方客户端收集到的每个数据划分到对应的数据类型中;然后,将数据按照不同数据类型特征值化,得到每个数据的特征值;再按照数据类型,采用数据库分类储存数据以及数据的特征值;
所述需求生成模块,用于根据所述数据需求方客户端的请求消息,生成需求信息;然后,对所述需求信息特征值化,得到需求信息特征值;
所述匹配度计算模块,用于所述需求信息特征值进行分析,并在所述数据库中进行分类匹配,计算需求信息与所述数据库中数据的特征匹配度;然后,筛选匹配度最高的供给方数据;具体的,系统接受需求方需求后,通过对需求的特征进行分析,并在数据库中进行分类匹配,并对需求方提出的各种附加要求进行额外匹配,将需求方的需求以高精确度提交至多个筛选出的符合特征要求的供给方。计算特征匹配值,将匹配值最高的数据发送给需求方。
所述传输机制选择模块,用于根据筛选到的匹配度最高的供给方数据的数据类型,获得与供给方数据的数据类型对应的最佳传输机制;然后,采用所述最佳传输机制,将筛选到的匹配度最高的供给方数据发送给所述数据需求方客户端。
本系统具有按照数据类型选择不同传输协议的功能,传输协议包括但不仅限于HTTP协议(用于传输文本信息),UDP协议,FTP协议,流媒体技术(用于传输视频、音频信息)等。选择适合与所传输的数据的协议,减少无线网络的传输拥堵,增强传输可靠性。
本发明中,数据传输的驱动力是需求端提出需求,系统根据需求定向发送数据,而在需求方没有提出需求时,不进行数据的传输,针对不同的数据类型和用户的需求,只传输必要的数据,减少了数据传输过程的拥堵,同时降低了能源消耗。
本发明提供了一种全新的海量数据传输方式,以及一个利用该方式进行数据传输过程的系统。该方法最大的特点是,根据传输数据的类型进行分类,按照需求方提出的请求,选择适合的传输机制,定向的将数据传输给需求方。
该海量数据定向分类传输技术从根本上解决了海量数据传输过程中的拥堵问题,具体从以下方面体现:
1)、将收集到的数据按照数据类型分类储存,同属一类的数据按照一定的存储原则进行储存,以便统一规划和保存。
2)、按需传输,只有当需求方提出数据传输请求时,才进行数据的传输,并且通过计算匹配度,得到匹配度最高的供给方数据,即最符合要求的数据进行传输,减少了冗余传输,降低拥堵发生的概率。
3)、对于不同类型的数据,采用适合的数据传输机制进行传输,是数据传输过程简洁高效。
在以上的描述中阐述了很多具体细节以便于充分理解本发明。但是以上描述仅是本发明的较佳实施例而已,本发明能够以很多不同于在此描述的其它方式来实施,因此本发明不受上面公开的具体实施的限制。同时任何熟悉本领域技术人员在不脱离本发明技术方案范围情况下,都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。

Claims (7)

1.一种海量数据定向分类传输方法,其特征在于,包括以下步骤:
步骤1,数据供给方客户端收集数据,并将收集到的数据传输给网络传输系统;
步骤2,网络传输系统以数据类型作为分类依据,将收集到的每个数据划分到对应的数据类型中;然后,将数据按照不同数据类型特征值化,得到每个数据的特征值;再按照数据类型,采用数据库分类储存数据以及数据的特征值;
步骤3,数据需求方客户端向网络传输系统发送获取数据的请求消息;
步骤4,网络传输系统根据所述数据需求方客户端的请求消息,生成需求信息;然后,对所述需求信息特征值化,得到需求信息特征值;然后,对所述需求信息特征值进行分析,并在所述数据库中进行分类匹配,计算需求信息与所述数据库中数据的特征匹配度;然后,筛选匹配度最高的供给方数据;
步骤5,网络传输系统根据步骤4筛选到的匹配度最高的供给方数据的数据类型,获得与供给方数据的数据类型对应的最佳传输机制;
步骤6,网络传输系统采用所述最佳传输机制,将步骤4筛选到的匹配度最高的供给方数据发送给所述数据需求方客户端。
2.根据权利要求1所述的海量数据定向分类传输方法,其特征在于,步骤1具体为:
数据供给方客户端对云端资源进行智能的感知、识别和信息的采集,并通过数据信息处理中心,实现感知信息和标识信息的预分析、聚合及预处理;具体的,首先采用射频识别技术和传感技术,通过读取设备对云端资源的静态属性、动态属性进行感知,从而获取采集数据;所述采集数据包括资源的静态标识信息;然后,通过传感网络将各种采集数据传输到本地数据中心;本地数据中心对所述采集数据进行数据处理,并将处理后的采集数据通过网络实时的接入到云网中,为网络传输系统进行数据定向分类传输提供基础。
3.根据权利要求1所述的海量数据定向分类传输方法,其特征在于,步骤2具体为:
网络传输系统首先按照数据类型,对数据进行分类,对不同类型的数据的文件类型进行分析归纳;
然后,根据支持资源描述的语义特征,构建描述各数据类型的本体文档,该本体文档包括各数据类型的描述方式和语言表达方式;
在得到数据类型的本体文档后,分类储存数据。
4.根据权利要求1所述的海量数据定向分类传输方法,其特征在于,步骤4,网络传输系统根据所述数据需求方客户端的请求消息,生成需求信息,具体为:
数据需求方提出请求,网络传输系统的需求生成模块在本部动作中对数据需求方所提出的请求进行修正提示或自发修正,将数据需求方的需求形成完全符合系统规则的表单;在需求生成模块的干预下,非符合规则的需求表单将被修正为对应系统规则的需求表单,而无法满足修正要求的表单将被发回数据需求方重新修改,直至能够满足需求表单修正需求,为下一步匹配度计算做准备。
5.根据权利要求1所述的海量数据定向分类传输方法,其特征在于,步骤4中,计算需求信息与所述数据库中数据的特征匹配度;然后,筛选匹配度最高的供给方数据,具体为:
网络传输系统的匹配度计算模块建立海量数据多层次语义匹配模型,多层次语义匹配模型包括从高层向低层排列的基本信息匹配,功能信息匹配、约束信息匹配和综合匹配;首先,计算需求信息与所述数据库中各数据的基本信息匹配度,并将基本信息匹配度与基本信息匹配度设定阈值进行比较,筛选出大于基本信息匹配度设定阈值的第一数据库数据集;然后,计算需求信息与筛选出的第一数据库数据集中数据的功能信息匹配度,并将功能信息匹配度与功能信息匹配度设定阈值进行比较,从第一数据库数据集中筛选出大于功能信息匹配度设定阈值的第二数据库数据集;然后,计算需求信息与筛选出的第二数据库数据集中数据的约束信息匹配度,并将约束信息匹配度与约束信息匹配度设定阈值进行比较,从第二数据库数据集中筛选出大于约束信息匹配度设定阈值的第三数据库数据集;然后,计算需求信息与筛选出的第三数据库数据集中数据的综合匹配度,并将综合匹配度与综合匹配度设定阈值进行比较,从第三数据库数据集中筛选出大于综合匹配度设定阈值的第四数据库数据集;
由此经过四次匹配过滤后,得到的第四数据库数据集为最优数据匹配结果集;在第四数据库数据集中,再进一步筛选出匹配度最高的供给方数据。
6.根据权利要求1所述的海量数据定向分类传输方法,其特征在于,步骤5中,传输机制包括HTTP协议传输机制,UDP协议传输机制,FTP协议传输机制和流媒体技术传输机制。
7.一种海量数据定向分类传输系统,其特征在于,包括数据供给方客户端、数据需求方客户端和网络传输系统;
所述数据供给方客户端,用于收集数据,并将收集到的数据传输给网络传输系统;
所述数据需求方客户端,用于向网络传输系统发送获取数据的请求消息;
所述网络传输系统,包括数据分类模块、需求生成模块、匹配度计算模块和传输机制选择模块;
所述数据分类模块,用于以数据类型作为分类依据,将所述数据供给方客户端收集到的每个数据划分到对应的数据类型中;然后,将数据按照不同数据类型特征值化,得到每个数据的特征值;再按照数据类型,采用数据库分类储存数据以及数据的特征值;
所述需求生成模块,用于根据所述数据需求方客户端的请求消息,生成需求信息;然后,对所述需求信息特征值化,得到需求信息特征值;
所述匹配度计算模块,用于所述需求信息特征值进行分析,并在所述数据库中进行分类匹配,计算需求信息与所述数据库中数据的特征匹配度;然后,筛选匹配度最高的供给方数据;
所述传输机制选择模块,用于根据筛选到的匹配度最高的供给方数据的数据类型,获得与供给方数据的数据类型对应的最佳传输机制;然后,采用所述最佳传输机制,将筛选到的匹配度最高的供给方数据发送给所述数据需求方客户端。
CN201711432769.0A 2017-12-26 2017-12-26 海量数据定向分类传输方法及系统 Active CN108023895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711432769.0A CN108023895B (zh) 2017-12-26 2017-12-26 海量数据定向分类传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711432769.0A CN108023895B (zh) 2017-12-26 2017-12-26 海量数据定向分类传输方法及系统

Publications (2)

Publication Number Publication Date
CN108023895A true CN108023895A (zh) 2018-05-11
CN108023895B CN108023895B (zh) 2020-06-16

Family

ID=62071940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711432769.0A Active CN108023895B (zh) 2017-12-26 2017-12-26 海量数据定向分类传输方法及系统

Country Status (1)

Country Link
CN (1) CN108023895B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111766811A (zh) * 2020-07-01 2020-10-13 泰州市柯普尼通讯设备有限公司 船舶卫星vast信息分类存储系统及方法
CN113392104A (zh) * 2021-05-19 2021-09-14 江苏星月测绘科技股份有限公司 一种基于cim的海量数据分析方法及系统
CN113535406A (zh) * 2021-07-30 2021-10-22 贵州大学 一种智慧猪场养殖数据处理系统及方法
CN114513792A (zh) * 2022-04-13 2022-05-17 优游宝科技(深圳)有限公司 基于eSIM卡的远程网络控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2891966A1 (fr) * 2005-10-11 2007-04-13 France Telecom Dispositifs et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'images correspondants
CN102495845A (zh) * 2011-11-16 2012-06-13 陈宇 基于数据分类再定向传递方法的供求信息聚合系统
CN103714509A (zh) * 2013-12-20 2014-04-09 北京奇虎科技有限公司 在客户端与服务器之间进行数据交互的方法及系统
CN103885976A (zh) * 2012-12-21 2014-06-25 腾讯科技(深圳)有限公司 在网页中配置推荐信息的方法及索引服务器
CN104540176A (zh) * 2015-01-12 2015-04-22 深圳市中兴移动通信有限公司 一种无线网络接入方法、装置及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2891966A1 (fr) * 2005-10-11 2007-04-13 France Telecom Dispositifs et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'images correspondants
CN102495845A (zh) * 2011-11-16 2012-06-13 陈宇 基于数据分类再定向传递方法的供求信息聚合系统
CN103885976A (zh) * 2012-12-21 2014-06-25 腾讯科技(深圳)有限公司 在网页中配置推荐信息的方法及索引服务器
CN103714509A (zh) * 2013-12-20 2014-04-09 北京奇虎科技有限公司 在客户端与服务器之间进行数据交互的方法及系统
CN104540176A (zh) * 2015-01-12 2015-04-22 深圳市中兴移动通信有限公司 一种无线网络接入方法、装置及终端

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111766811A (zh) * 2020-07-01 2020-10-13 泰州市柯普尼通讯设备有限公司 船舶卫星vast信息分类存储系统及方法
CN111766811B (zh) * 2020-07-01 2021-12-03 泰州市柯普尼通讯设备有限公司 船舶卫星vast信息分类存储系统及方法
CN113392104A (zh) * 2021-05-19 2021-09-14 江苏星月测绘科技股份有限公司 一种基于cim的海量数据分析方法及系统
CN113392104B (zh) * 2021-05-19 2021-12-28 江苏星月测绘科技股份有限公司 一种基于cim的海量数据分析方法及系统
CN113535406A (zh) * 2021-07-30 2021-10-22 贵州大学 一种智慧猪场养殖数据处理系统及方法
CN114513792A (zh) * 2022-04-13 2022-05-17 优游宝科技(深圳)有限公司 基于eSIM卡的远程网络控制方法及装置

Also Published As

Publication number Publication date
CN108023895B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN108023895A (zh) 海量数据定向分类传输方法及系统
CN102315974B (zh) 基于层次化特征分析的tcp、udp流量在线识别方法和装置
CN108259367B (zh) 一种基于软件定义网络的服务感知的流策略定制方法
CN105871832B (zh) 一种基于协议属性的网络应用加密流量识别方法及其装置
CN107659419A (zh) 网络切片方法和系统
CN104468819A (zh) 一种物联网消息推送系统及其方法
CN102763386B (zh) 监控系统、装置及方法
CN104125087B (zh) 一种告警信息处理方法及装置
CN104462121B (zh) 数据处理方法、装置及系统
EP3128423A1 (en) Distributed event processing
CN102064975B (zh) 网络设备监管方法及系统
CN103338163A (zh) 支持动态弹性资源调度的软件定义网络控制器
CN108400993A (zh) 智能工业装备组件式组建的物联网系统和存储介质
CN106161135B (zh) 业务交易故障分析方法及装置
CN113259355B (zh) 一种基于sdn的工业互联网标识切片管理系统
CN106972985A (zh) 加速dpi设备数据处理与转发的方法和dpi设备
CN106101264A (zh) 内容分发网络日志推送方法、装置和系统
CN110213175A (zh) 一种面向知识定义网络的智能管控系统及管控方法
CN116668380B (zh) 汇聚分流器设备的报文处理方法及装置
CN108234499A (zh) 卫星网络中基于安全标签的安全监控模型
CN114040272A (zh) 一种路径确定方法、装置和存储介质
CN101610169A (zh) 互联网多媒体内容监控方法及其装置
CN113364624A (zh) 基于边缘计算的混合云流量采集方法和系统
CN106936621A (zh) 一种工单风暴控制方法、装置及系统
CN108667804B (zh) 一种基于SDN架构的DDoS攻击检测及防护方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method and system for directional classification transmission of massive data

Effective date of registration: 20220829

Granted publication date: 20200616

Pledgee: CSSC Finance Co.,Ltd.

Pledgor: CHINA SHIPBUILDING IT Corp.,Ltd.

Registration number: Y2022980013892

PE01 Entry into force of the registration of the contract for pledge of patent right