CN115242784A - 具有数据校验功能的1+n文件共享装置及方法 - Google Patents
具有数据校验功能的1+n文件共享装置及方法 Download PDFInfo
- Publication number
- CN115242784A CN115242784A CN202211161276.9A CN202211161276A CN115242784A CN 115242784 A CN115242784 A CN 115242784A CN 202211161276 A CN202211161276 A CN 202211161276A CN 115242784 A CN115242784 A CN 115242784A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- files
- model
- subscription
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013499 data model Methods 0.000 claims abstract description 49
- 238000012795 verification Methods 0.000 claims abstract description 27
- 238000013524 data verification Methods 0.000 claims abstract description 26
- 230000000977 initiatory effect Effects 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 30
- 230000002159 abnormal effect Effects 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000013500 data storage Methods 0.000 claims description 14
- 238000012423 maintenance Methods 0.000 claims description 12
- 238000013480 data collection Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 abstract 1
- 238000010276 construction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 3
- 239000000969 carrier Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了具有数据校验功能的1+N文件共享装置及方法，属于数据共享技术领域，要解决的技术问题为如何实现数据规范化上报并实现数据标签化。文件上传流程模块用于支持数据收集方发起文件上传流程，并配置需收集数据的数据模型，并将数据模型下发至指定数据提供方；用于支持数据提供方执行如下：将响应模型的文件上传至前端节点，并在文件上传完成后向数据收集方发送文件上传成功通知；场景订阅模块用于支持数据收集方基于应用场景为模型指定标签；文件订阅下载流程模块用于支持数据收集方发起订阅下载流程。基于应用场景从数据提供方的前端节点订阅文件；将通过校验的文件推送至订阅文件列表；向提供文件的数据提供方发起文件下载完成通知。
Description
技术领域
本发明涉及数据共享技术领域，具体地说是具有数据校验功能的1+N文件共享装置及方法。
背景技术
运营商通信市场的数据跨地域生产，各省自治为常态，面对集团统一监管、数据价值集中挖掘的集中自治要求，数据共享成为无可避免的重要环节。目前采用的FTP文件共享、Kafka流级共享均存在共享数据的人工校验过程，校验内容多集中在是否按要求上报，上报数据波动是否正常，如何实现数据规范化上报并实现数据标签化，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供具有数据校验功能的1+N文件共享装置及方法，来解决如何实现数据规范化上报并实现数据标签化的技术问题。
第一方面，本发明的一种具有数据校验功能的1+N文件共享装置，用于实现数据收集方和多个数据提供方的数据共享，所述装置包括文件上传流程模块、场景订阅模块以及文件订阅下载流程模块；
所述文件上传流程模块用于支持数据收集方发起文件上传流程，并执行如下：配置需收集数据的数据模型，并将数据模型下发至指定数据提供方；
对应的，所述文件上传流程模块用于支持数据提供方执行如下：基于接收的数据模型提供数据，并将响应模型的文件上传至所述数据提供方的前端节点，并在文件上传完成后向数据收集方发送文件上传成功通知；
所述场景订阅模块用于支持数据收集方执行如下：对于每个模型，基于应用场景为所述模型指定标签；
所述文件订阅下载流程模块用于支持数据收集方发起订阅下载流程，并执行如下：
基于应用场景从数据提供方的前端节点订阅文件；
基于数据模型对订阅的文件进行校验，将通过校验的文件从数据提供方的前端节点推送至数据收集方的订阅文件列表；
从订阅列表下载文件后，向提供所述文件的数据提供方发起文件下载完成通知。
作为优选，所述文件上传流程模块包括：
注册文件模型单元，所述注册文件模型单元通过注册文件界面与数据收集方交互，用于支持数据收集方配置数据模型，数据模型的配置内容包括数据本身、数据载体以及数据存储，所述数据本身的内容包括数据名称、数据维度、字段中文名称、字段英文名称、数据类型、单位、字段算法以及备注，所述数据载体包括传输协议、数据名称、传送周期以及传送时延，所述数据存储包括数据提供方省端前置节点的服务器ip、端口、账号、密码以及文件存放路径；
下发文件模型单元，所述下发文件模型单元通过下发文件界面与数据收集方交互，用于通过单选或多选的方式将数据模型发送至数据提供方；
上传文件单元，所述上传文件单元通过上传文件界面与数据提供方交互，用于上传涵盖数据模型的文件；
上传完成通知单元，所述上传完成通知单元用于在数据提供方将文件上传至数据提供方前端节点后，通过消息触发机制向数据收集方自动发送文件上传完成通知。
作为优选，所述标签的内容包括文件名称、文件价值、文件应用以及文件量级。
作为优选，所述文件订阅下载流程模块用于执行如下操作对订阅的文件进行校验：
基于数据模型对文件进行格式校验，判定订阅的文件的格式内容是否符合，所述格式内容包括文件命名以及字段个数；
对订阅的文件进行文件数据校验，所述文件数据校验为针对连续订阅数据、基于同比变化情况判定是否异常，基于数据内不同指标的内在逻辑关系判定是否异常；
对订阅的文件进行文件重复校验，所述文件重复校验针对只能调用一次的文件，若出现多次调用，需根据文件名称、是否订阅完成唯一判定是否重复调用，若是，则判定为异常。
作为优选，所述装置还包括文件共享管控模块，
所述文件共享管控模块通过文件共享管控界面对外交互，用于提供领导视图统计展示和运维视图统计展示；
其中，所述领导视图统计展示用于统计并展示订阅文件种类、订阅文件次数、文件成功订阅的数量以及文件校验异常的数量；
所述运维视图统计展示用于统计并展示各个订阅文件对应订阅任务的执行情况。
第二方面， 本发明一种具有数据校验功能的1+N文件共享方法，用于通过如第一方面任一项所述的具有数据校验功能的1+N文件共享装置实现数据收集方和多个数据提供方的数据共享，所述方法包括如下步骤：
数据收集方发起文件上传流程，并配置需收集数据的数据模型，并将数据模型下发至指定数据提供方；
对于每个模型，数据收集方基于应用场景为所述模型指定标签；
数据收集方基于接收的模型提供数据，并将响应模型的文件上传至所述数据提供方的前端节点，并在文件上传完成后向数据收集方发送文件上传成功通知；
数据收集方发起订阅下载流程，并执行如下：
基于应用场景从数据提供方的前端节点订阅文件；
基于数据模型对订阅的文件进行校验，将通过校验的文件从数据提供方的前端节点推送至数据收集方的订阅文件列表；
从订阅列表下载文件后，向提供所述文件的数据提供方发起文件下载完成通知。
作为优选，所述数据模型的配置内容包括数据本身、数据载体以及数据存储，所述数据本身的内容包括数据名称、数据维度、字段中文名称、字段英文名称、数据类型、单位、字段算法以及备注，所述数据载体包括传输协议、数据名称、传送周期以及传送时延，所述数据存储包括数据提供方省端前置节点的服务器ip、端口、账号、密码以及文件存放路径；
数据收集方通过单选或多选的方式将数据模型发送至数据提供方；
数据提供方将文件上传至数据提供方前端节点后，通过消息触发机制向数据收集方自动发送文件上传完成通知。
作为优选，所述标签的内容包括文件名称、文件价值、文件应用以及文件量级。
作为优选，对订阅的文件进行校验，包括如下操作：
基于数据模型对文件进行格式校验，判定订阅的文件的格式内容是否符合，所述格式内容包括文件命名以及字段个数；
对订阅的文件进行文件数据校验，所述文件数据校验为针对连续订阅数据、基于同比变化情况判定是否异常，基于数据内不同指标的内在逻辑关系判定是否异常；
对订阅的文件进行文件重复校验，所述文件重复校验针对只能调用一次的文件，若出现多次调用，需根据文件名称、是否订阅完成唯一判定是否重复调用，若是，则判定为异常。
作为优选，所述方法还包括：提供领导视图统计展示和运维视图统计展示；
其中，所述领导视图统计展示用于统计并展示订阅文件种类、订阅文件次数、文件成功订阅的数量以及文件校验异常的数量；
所述运维视图统计展示用于统计并展示各个订阅文件对应订阅任务的执行情况。
本发明的具有数据校验功能的1+N文件共享装置及方法具有以下优点：文件上传流程模块、场景订阅模块以及文件订阅下载流程模块配合，实现了规范要求下发、应用场景构建、共享智能审核、自动订阅下载全流程环节的融合，上述文件上传流程模块、场景订阅模块以及文件订阅下载流程模块封装为一个装置，通过该装置可实现上述功能在不同场景的快速复用，有效减少1+N文件共享情况下的接口联调工作。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例1一种具有数据校验功能的1+N文件共享装置中文件上传流程框图；
图2为实施例1一种具有数据校验功能的1+N文件共享装置中文件订阅下载流程框图；
图3为实施例1一种具有数据校验功能的1+N文件共享装置在数据收集方和数据提供方之间的接口交互方式。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供具有数据校验功能的1+N文件共享装置及方法，用于解决如何实现数据规范化上报并实现数据标签化的技术问题。
实施例1：
本发明一种具有数据校验功能的1+N文件共享装置，包括文件上传流程模块、场景订阅模块以及文件订阅下载流程模块，上述三个模块封装为文件共享装置，用于实现数据收集方和多个数据提供方的数据共享。
文件上传流程模块用于支持数据收集方发起文件上传流程，并执行如下：配置需收集数据的数据模型，并将数据模型下发至指定数据提供方；对应的，所述文件上传流程模块用于支持数据提供方执行如下：基于接收的数据模型提供数据，并将响应模型的文件上传至所述数据提供方的前端节点，并在文件上传完成后向数据收集方发送文件上传成功通知。
如图1所示，文件上传流程模块用于实现文件上传流程，通过该文件上传流程模块，数据收集方（如集团用户）发起流程，数据提供方（如省端用户）将数据共享至省端前置节点结束流程。流程节点包含注册文件模型、下发文件模型、获取文件模型、上传文件、上传完成通知。
对应的，本实施例中，文件上传流程模块包括注册文件模型单元、下发文件模型单元、上传文件单元以及上传完成通知单元四个功能单元。
注册文件模型单元通过注册文件界面与数据收集方交互，用于注册文件模型。本实施例中注册文件模型单元支持采用前端可配的方式、制定需收集数据的数据模型，配置内容包含数据本身、数据载体、数据存储。数据本身：包含但不限于数据名称、数据维度、字段中文名称、字段英文名称、数据类型、单位、字段算法、备注；数据载体：包含但不限于传输协议（如FTP）、数据名称（如VoNR_NRTM_city_FJ_202204071225_P01_END.csv）、传送周期（如小时）、传送时延（如1小时）；数据存储：包含但不限于省端前置节点服务器ip、端口、账号、密码、文件存放路径。
下发文件模型单元通过下发文件界面与数据收集方交互，用于通过单选或多选的方式将数据模型发送至数据提供方。本实施例中，数据收集方可采用前端单选或多选方式，选择需接收此文件模型的省份信息，采用自动化方式一键下发。
上传文件单元通过上传文件界面与数据提供方交互，用于上传涵盖数据模型的文件。具体实施过程中，省端用户依据集团下发的注册文件模型进行数据提供，上传涵盖数据本身、数据载体、数据存储维度的文件信息，支撑集团用户文件订阅下载。
上传完成通知单元用于在数据提供方将文件上传至数据提供方前端节点后，通过消息触发机制向数据收集方自动发送文件上传完成通知。该模块中设计有消息触发机制，实现在省端用户完成文件上传后自动触发“某某省文件上传完成”的通知消息，集团用户在接收此消息后即可进行文件订阅下载。
场景订阅模块用于支持数据收集方执行如下：对于每个模型，基于应用场景为所述模型指定标签。
即本实施例中场景订阅模块提供订阅文件应用场景构建，从订阅者视角进行标签设计，多维化数据价值，助力订阅率提升。设计标签包含但不限于标签1：文件名称（VoNR小区DPI性能）、标签；2：文件价值（VoNR质量问题识别/定界/优化、VoNR用户规模）、标签；3：文件应用（45G语音端到端分析、45G DPI智能定界分析）、标签；4：文件量级（小区级、5分钟）。
如图2和图3所示，文件订阅下载流程模块用于支持数据收集方发起订阅下载流程，并执行如下：
（1）基于应用场景从数据提供方的前端节点订阅文件；
（2）基于数据模型对订阅的文件进行校验，将通过校验的文件从数据提供方的前端节点推送至数据收集方的订阅文件列表；
（3）从订阅列表下载文件后，向提供所述文件的数据提供方发起文件下载完成通知。
基于文件订阅下载流程模块，数据收集方（如集团用户）发起流程，省端前置节点提供文件至数据收集方结束流程。流程节点包含订阅文件、订阅校验、文件下载，文件下载完成通知。对应的，本实施例中，文件订阅下载流程模块包括订阅文件单元、订阅校验单元、文件下载单元以及下载完成通知单元。
订阅文件单元通过订阅文件界面对外交互，该模块应用场景构建模块提供一键订阅功能，在订阅界面完成订阅文件信息填写后实现文件的一键订阅，将省端前置节点的文件订阅至文件列表中，等待订阅者进行文件下载。
订阅校验单元通过订阅校验界面对外交互，用于基于文件模型对订阅的文件进行格式校验，具体从文件格式、文件数据、文件重复等方面进行，其中文件格式校验为将上报文件与下发的注册文件模型比较，判定是否为要求的文件命名、字段个数；文件数据校验为针对连续订阅数据基于同比变化情况判定是否异常，基于数据内不同指标的内在逻辑关系判定是否异常；文件重复校验为基于只能调用一次的文件，若出现多次调用，需根据文件名称、是否订阅完成唯一判定是否重复调用，若是，则判定为异常。
文件下载单元用于将通过订阅校验环节的订阅文件自动从省端前置节点推送至订阅文件列表中，支撑数据收集方（如集团用户）的文件下载。
下载完成通知单元中配置有消息触发机制，实现在集团用户完成文件下载后自动触发“某某文件已下载完成”的通知消息。
作为改进，本实施例的装置还包括文件共享管控模块，文件共享管控模块通过文件共享管控界面与数据收集方交互，主要包含领导视图和运维视图两种视角的内容统计呈现。领导视图统计内容包含有多少类订阅文件，订阅次数多少，成功订阅多少，订阅校验异常多少；运维视图统计内容主要为各项订阅任务的执行详情。
实施例2：
本发明一种具有数据校验功能的1+N文件共享方法，通过实施例1公开的装置实现数据收集方和多个数据提供方的数据共享，所述方法包括如下步骤：
步骤S100、数据收集方发起文件上传流程，并配置需收集数据的数据模型，并将数据模型下发至指定数据提供方。
步骤S100中，数据收集方制定需收集数据的数据模型，配置内容包含数据本身、数据载体、数据存储。数据本身：包含但不限于数据名称、数据维度、字段中文名称、字段英文名称、数据类型、单位、字段算法、备注；数据载体：包含但不限于传输协议（如FTP）、数据名称（如VoNR_NRTM_city_FJ_202204071225_P01_END.csv）、传送周期（如小时）、传送时延（如1小时）；数据存储：包含但不限于省端前置节点服务器ip、端口、账号、密码、文件存放路径。
数据收集方配置数据模型后，通过单选或多选的方式将数据模型发送至数据提供方。本实施例中，数据收集方可采用前端单选或多选方式，选择需接收此文件模型的省份信息，采用自动化方式一键下发。
步骤S200、对于每个模型，数据收集方基于应用场景为所述模型指定标签。
数据收集方配置数据模型后，对模型对应的文件进行应用场景构建，从订阅者视角进行标签设计，多维化数据价值，助力订阅率提升。设计标签包含但不限于标签1：文件名称（VoNR小区DPI性能）、标签；2：文件价值（VoNR质量问题识别/定界/优化、VoNR用户规模）、标签；3：文件应用（45G语音端到端分析、45G DPI智能定界分析）、标签；4：文件量级（小区级、5分钟）。
步骤S300、数据收集方基于接收的模型提供数据，并将响应模型的文件上传至所述数据提供方的前端节点，并在文件上传完成后向数据收集方发送文件上传成功通知。
数据提供方上传涵盖数据模型的文件。作为具体实施，省端用户依据集团下发的注册文件模型进行数据提供，上传涵盖数据本身、数据载体、数据存储维度的文件信息，支撑集团用户文件订阅下载。
数据提供方将文件上传至数据提供方前端节点后，通过消息触发机制向数据收集方自动发送文件上传完成通知。作为具体实施，省端用户完成文件上传后自动触发“某某省文件上传完成”的通知消息，集团用户在接收此消息后即可进行文件订阅下载。
步骤S400、数据收集方发起订阅下载流程，并执行如下：
（1）基于应用场景从数据提供方的前端节点订阅文件；
（2）基于数据模型对订阅的文件进行校验，将通过校验的文件从数据提供方的前端节点推送至数据收集方的订阅文件列表；
（3）从订阅列表下载文件后，向提供所述文件的数据提供方发起文件下载完成通知。
步骤S400中，数据收集方（如集团用户）发起流程，省端前置节点提供文件至数据收集方结束流程。流程包含订阅文件、订阅校验、文件下载，文件下载完成通知。
订阅文件：基于构建的应用场景进行一键订阅，在订阅界面完成订阅文件信息填写后实现文件的一键订阅，将省端前置节点的文件订阅至文件列表中，等待订阅者进行文件下载。
订阅校验：订阅校验从文件格式、文件数据、文件重复等方面进行，其中文件格式校验为将上报文件与下发的注册文件模型比较，判定是否为要求的文件命名、字段个数；文件数据校验为针对连续订阅数据基于同比变化情况判定是否异常，基于数据内不同指标的内在逻辑关系判定是否异常；文件重复校验为基于只能调用一次的文件，若出现多次调用，需根据文件名称、是否订阅完成唯一判定是否重复调用，若是，则判定为异常。
文件下载：将通过订阅校验环节的订阅文件自动从省端前置节点推送至订阅文件列表中，支撑数据收集方（如集团用户）的文件下载。
下载完成通知：设计消息触发机制，实现在集团用户完成文件下载后自动触发“某某文件已下载完成”的通知消息。
作为改进，该方法还包括：步骤S500、文件共享管控，提供领导视图统计展示和运维视图统计展示。
其中，所述领导视图统计展示用于统计并展示订阅文件种类、订阅文件次数、文件成功订阅的数量以及文件校验异常的数量；所述运维视图统计展示用于统计并展示各个订阅文件对应订阅任务的执行情况。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。
Claims (10)
1.一种具有数据校验功能的1+N文件共享装置，其特征在于，用于实现数据收集方和多个数据提供方的数据共享，所述装置包括文件上传流程模块、场景订阅模块以及文件订阅下载流程模块；
所述文件上传流程模块用于支持数据收集方发起文件上传流程，并执行如下：配置需收集数据的数据模型，并将数据模型下发至指定数据提供方；
对应的，所述文件上传流程模块用于支持数据提供方执行如下：基于接收的数据模型提供数据，并将响应模型的文件上传至所述数据提供方的前端节点，并在文件上传完成后向数据收集方发送文件上传成功通知；
所述场景订阅模块用于支持数据收集方执行如下：对于每个模型，基于应用场景为所述模型指定标签；
所述文件订阅下载流程模块用于支持数据收集方发起订阅下载流程，并执行如下：
基于应用场景从数据提供方的前端节点订阅文件；
基于数据模型对订阅的文件进行校验，将通过校验的文件从数据提供方的前端节点推送至数据收集方的订阅文件列表；
从订阅列表下载文件后，向提供所述文件的数据提供方发起文件下载完成通知。
2.根据权利要求1所述的具有数据校验功能的1+N文件共享装置，其特征在于，所述文件上传流程模块包括：
注册文件模型单元，所述注册文件模型单元通过注册文件界面与数据收集方交互，用于支持数据收集方配置数据模型，数据模型的配置内容包括数据本身、数据载体以及数据存储，所述数据本身的内容包括数据名称、数据维度、字段中文名称、字段英文名称、数据类型、单位、字段算法以及备注，所述数据载体包括传输协议、数据名称、传送周期以及传送时延，所述数据存储包括数据提供方省端前置节点的服务器ip、端口、账号、密码以及文件存放路径；
下发文件模型单元，所述下发文件模型单元通过下发文件界面与数据收集方交互，用于通过单选或多选的方式将数据模型发送至数据提供方；
上传文件单元，所述上传文件单元通过上传文件界面与数据提供方交互，用于上传涵盖数据模型的文件；
上传完成通知单元，所述上传完成通知单元用于在数据提供方将文件上传至数据提供方前端节点后，通过消息触发机制向数据收集方自动发送文件上传完成通知。
3.根据权利要求1所述的具有数据校验功能的1+N文件共享装置，其特征在于，所述标签的内容包括文件名称、文件价值、文件应用以及文件量级。
4.根据权利要求1所述的具有数据校验功能的1+N文件共享装置，其特征在于，所述文件订阅下载流程模块用于执行如下操作对订阅的文件进行校验：
基于数据模型对订阅的文件进行格式校验，判定订阅的文件的格式内容是否符合，所述格式内容包括文件命名以及字段个数；
对订阅的文件进行文件数据校验，所述文件数据校验为针对连续订阅数据、基于同比变化情况判定是否异常，基于数据内不同指标的内在逻辑关系判定是否异常；
对订阅的文件进行文件重复校验，所述文件重复校验针对只能调用一次的文件，若出现多次调用，需根据文件名称、是否订阅完成唯一判定是否重复调用，若是，则判定为异常。
5.根据权利要求1-4任一项所述的具有数据校验功能的1+N文件共享装置，其特征在于，所述装置还包括文件共享管控模块，
所述文件共享管控模块通过文件共享管控界面对外交互，用于提供领导视图统计展示和运维视图统计展示；
其中，所述领导视图统计展示用于统计并展示订阅文件种类、订阅文件次数、文件成功订阅的数量以及文件校验异常的数量；
所述运维视图统计展示用于统计并展示各个订阅文件对应订阅任务的执行情况。
6.一种具有数据校验功能的1+N文件共享方法，其特征在于，用于通过如权利要求1-5任一项所述的具有数据校验功能的1+N文件共享装置实现数据收集方和多个数据提供方的数据共享，所述方法包括如下步骤：
数据收集方发起文件上传流程，并配置需收集数据的数据模型，并将数据模型下发至指定数据提供方；
对于每个模型，数据收集方基于应用场景为所述模型指定标签；
数据收集方基于接收的模型提供数据，并将响应模型的文件上传至所述数据提供方的前端节点，并在文件上传完成后向数据收集方发送文件上传成功通知；
数据收集方发起订阅下载流程，并执行如下：
基于应用场景从数据提供方的前端节点订阅文件；
基于数据模型对订阅的文件进行校验，将通过校验的文件从数据提供方的前端节点推送至数据收集方的订阅文件列表；
从订阅列表下载文件后，向提供所述文件的数据提供方发起文件下载完成通知。
7.根据权利要求6所述的具有数据校验功能的1+N文件共享方法，其特征在于，所述数据模型的配置内容包括数据本身、数据载体以及数据存储，所述数据本身的内容包括数据名称、数据维度、字段中文名称、字段英文名称、数据类型、单位、字段算法以及备注，所述数据载体包括传输协议、数据名称、传送周期以及传送时延，所述数据存储包括数据提供方省端前置节点的服务器ip、端口、账号、密码以及文件存放路径；
数据收集方通过单选或多选的方式将数据模型发送至数据提供方；
数据提供方将文件上传至数据提供方前端节点后，通过消息触发机制向数据收集方自动发送文件上传完成通知。
8.根据权利要求6所述的具有数据校验功能的1+N文件共享方法，其特征在于，所述标签的内容包括文件名称、文件价值、文件应用以及文件量级。
9.根据权利要求6所述的具有数据校验功能的1+N文件共享方法，其特征在于，对订阅的文件进行校验，包括如下操作：
基于数据模型对文件进行格式校验，判定订阅的文件的格式内容是否符合，所述格式内容包括文件命名以及字段个数；
对订阅的文件进行文件数据校验，所述文件数据校验为针对连续订阅数据、基于同比变化情况判定是否异常，基于数据内不同指标的内在逻辑关系判定是否异常；
对订阅的文件进行文件重复校验，所述文件重复校验针对只能调用一次的文件，若出现多次调用，需根据文件名称、是否订阅完成唯一判定是否重复调用，若是，则判定为异常。
10.根据权利要求6-9任一项所述的具有数据校验功能的1+N文件共享方法，其特征在于，所述方法还包括：提供领导视图统计展示和运维视图统计展示；
其中，所述领导视图统计展示用于统计并展示订阅文件种类、订阅文件次数、文件成功订阅的数量以及文件校验异常的数量；
所述运维视图统计展示用于统计并展示各个订阅文件对应订阅任务的执行情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211161276.9A CN115242784B (zh) | 2022-09-23 | 2022-09-23 | 具有数据校验功能的1+n文件共享装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211161276.9A CN115242784B (zh) | 2022-09-23 | 2022-09-23 | 具有数据校验功能的1+n文件共享装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115242784A true CN115242784A (zh) | 2022-10-25 |
| CN115242784B CN115242784B (zh) | 2022-12-20 |
Family
ID=83667269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211161276.9A Active CN115242784B (zh) | 2022-09-23 | 2022-09-23 | 具有数据校验功能的1+n文件共享装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115242784B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146058A (zh) * | 2007-11-13 | 2008-03-19 | 北京中搜在线软件有限公司 | 互联网即时信息的共享订阅系统及共享订阅方法 |
| EP2222055A1 (en) * | 2009-02-24 | 2010-08-25 | Research In Motion Limited | Content-based publication-subscription system for presence information |
| CN108183931A (zh) * | 2017-12-04 | 2018-06-19 | 中国电子科技集团公司第三十研究所 | 一种基于需求管理树形模型的发布订阅匹配方法 |
| CN109379399A (zh) * | 2018-08-31 | 2019-02-22 | 杭州东方通信软件技术有限公司 | 一种基于元数据的数据共享自订阅处理方法及系统 |
| CN111563114A (zh) * | 2020-04-29 | 2020-08-21 | 北京新致君阳信息技术有限公司 | 信息处理方法、装置、设备和存储介质 |
| CN112311874A (zh) * | 2020-10-29 | 2021-02-02 | 广州博冠信息科技有限公司 | 媒体数据处理方法、装置、存储介质及电子设备 |
| CN112714139A (zh) * | 2019-10-24 | 2021-04-27 | 中兴通讯股份有限公司 | 文件共享系统、方法、电子设备和存储介质 |
| CN114172898A (zh) * | 2022-02-10 | 2022-03-11 | 中国人民解放军海军工程大学 | 一种大文件远程传输方法 |
-
2022
- 2022-09-23 CN CN202211161276.9A patent/CN115242784B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146058A (zh) * | 2007-11-13 | 2008-03-19 | 北京中搜在线软件有限公司 | 互联网即时信息的共享订阅系统及共享订阅方法 |
| EP2222055A1 (en) * | 2009-02-24 | 2010-08-25 | Research In Motion Limited | Content-based publication-subscription system for presence information |
| CN108183931A (zh) * | 2017-12-04 | 2018-06-19 | 中国电子科技集团公司第三十研究所 | 一种基于需求管理树形模型的发布订阅匹配方法 |
| CN109379399A (zh) * | 2018-08-31 | 2019-02-22 | 杭州东方通信软件技术有限公司 | 一种基于元数据的数据共享自订阅处理方法及系统 |
| CN112714139A (zh) * | 2019-10-24 | 2021-04-27 | 中兴通讯股份有限公司 | 文件共享系统、方法、电子设备和存储介质 |
| CN111563114A (zh) * | 2020-04-29 | 2020-08-21 | 北京新致君阳信息技术有限公司 | 信息处理方法、装置、设备和存储介质 |
| CN112311874A (zh) * | 2020-10-29 | 2021-02-02 | 广州博冠信息科技有限公司 | 媒体数据处理方法、装置、存储介质及电子设备 |
| CN114172898A (zh) * | 2022-02-10 | 2022-03-11 | 中国人民解放军海军工程大学 | 一种大文件远程传输方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴金成等: "标签集中式发布订阅机制性能分析", 《指挥控制与仿真》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115242784B (zh) | 2022-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7610371B2 (en) | Mediation system and method with real time processing capability | |
| US20070189272A1 (en) | Device analysis system for tracking device operations within a wireless network | |
| US7945254B2 (en) | Real-time mobile conferencing solution | |
| WO2016187449A1 (en) | Method and apparatus to determine network quality | |
| CN103095498A (zh) | 话单采集方法和系统 | |
| CN101843134A (zh) | 用于网络业务量监视的方法和监视组件 | |
| CN103581966A (zh) | 一种智能手机实时监测优化配置方法 | |
| CN101115050A (zh) | 一种网络业务请求的处理系统及其方法 | |
| CN102868988B (zh) | 无线网络中基于策略计费控制的业务处理方法与系统 | |
| EP1764981B1 (en) | System and method of forwarding end user correlated states | |
| CN100499473C (zh) | 实现业务请求的方法以及联机指令系统 | |
| CN115242784B (zh) | 具有数据校验功能的1+n文件共享装置及方法 | |
| US20070207774A1 (en) | System for compiling data from call event information | |
| US6728352B1 (en) | Switch interaction subsystems for facilitating network information management | |
| US20120038487A1 (en) | Method for remotely reading electric meters | |
| CN111371575B (zh) | 一种通话问题定界的方法和装置 | |
| CN101094099A (zh) | 一种多交换机的配置系统及其配置方法 | |
| CN1725697A (zh) | 通用分组无线业务网络中的业务计费方法 | |
| TWI762969B (zh) | 行固網路融合之服務編程與供裝系統及其方法 | |
| CN102014346B (zh) | 一种挂机名片业务系统与实现方法 | |
| US20070203717A1 (en) | Method for creating a data repository from disparate sources of subscriber behavioral data in communications networks | |
| CN111290804B (zh) | 一种业务配置系统以及业务配置方法、装置和配置服务器 | |
| CN102547565A (zh) | 一种移动用户位置管理和移动网络基于位置分析的系统 | |
| CN1319321C (zh) | 基于通用分组无线业务的计费方法 | |
| CN101507289B (zh) | 电话网络中的性能监控 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |