CN116436906A - 一种分布式光伏数据采集传输方法及系统 - Google Patents
一种分布式光伏数据采集传输方法及系统 Download PDFInfo
- Publication number
- CN116436906A CN116436906A CN202310112488.6A CN202310112488A CN116436906A CN 116436906 A CN116436906 A CN 116436906A CN 202310112488 A CN202310112488 A CN 202310112488A CN 116436906 A CN116436906 A CN 116436906A
- Authority
- CN
- China
- Prior art keywords
- transmission
- data
- priority
- data set
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 363
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004891 communication Methods 0.000 claims abstract description 35
- 238000005259 measurement Methods 0.000 claims abstract description 19
- 238000010295 mobile communication Methods 0.000 claims abstract description 19
- 230000001502 supplementing effect Effects 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 19
- 230000000295 complement effect Effects 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 102100023435 NLR family CARD domain-containing protein 4 Human genes 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 101710182264 NLR family CARD domain-containing protein 4 Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011958 production data acquisition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0894—Packet rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
- H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
一种分布式光伏数据采集传输方法及系统,读取预设传输策略文件,获取测点数据及其发送频率、最低发送频率、数据传输优先级,并按照预设传输策略进行数据传输;获取移动通信网络的信号强度,根据移动通信网络的信号强度选择相应的通信模块进行数据传输;统计网络传输的平均带宽,并计算当前传输策略所需传输带宽;读取数据传输优先级配置,结合网络平均带宽,对发送数据集进行划分,并制定新的数据传输策略;执行新的数据传输策略,并对未发送的数据进行本地缓存;判断移动通信信道是否恢复,恢复默认发送配置,并补传本地缓存数据。本发明减少因网络不稳定而造成的数据滞后和丢失等问题,提高了通信链路的服务质量。
Description
技术领域
本发明属于数据采集传输技术领域,具体涉及一种分布式光伏数据采集传输方法及系统。
背景技术
随着“双碳”政策的出台,国家开始大力发展光伏、风电等新能源发电场站建设。同时,为顺应新能源场站数字化转型的大趋势,新能源场站将使用各种数字化仪表取代传统的机械仪表,并通过数据来对发电场站的各种业务进行监控和管理,其中,数据采集是建设数字化新能源场站的基础环节。
分布式光伏场站大多使用组串式光伏逆变器进行组网,这种方式能够有效减少直流侧故障带来的火灾隐患、同时具有更好的环境适应性、更灵活的组件排布方案、成套简单、施工容易等优点。但组串式光伏逆变器终端众多,在采用有线环网的方式进行通信组网时,所需的通信电缆成本高,工程实施难度较大,且可维护性也较差。
因此分布式光伏逐渐采用无线通信的方式进行组网,但由于分布式光伏场站一般都建设在沙漠、戈壁、荒漠、高原等偏远地区,自然条件较为恶劣,通信基础设施建设薄弱,无线通信状态容易受到天气、气温等自然条件的影响,使得数据传输的链路出现波动。传统的数据采集传输方法无法感知到信道状态的变化,从而无法调整采集传输的数据量,使得出现传输的数据量超出当前信道容量,导致传输的数据出现堆积甚至丢失的问题,严重影响到生产数据采集的实时性、可靠性和完整性。
发明内容
为解决现有技术中存在的不足,本发明提供一种一种分布式光伏数据采集传输方法及系统,通过信道感知、数据传输优先级、自适应传输策略配置、数据本地缓存等手段,减少因网络不稳定而造成的数据滞后和丢失等问题,提高通信链路的服务质量。
本发明采用如下的技术方案。
一种分布式光伏数据采集传输方法,包括以下步骤:
步骤1,收集需要采集的测点点表,根据实际采集业务需求以及数据传输优先级模型,确定每个测点的实时性优先级、数据关键性、数据变化频率等级,并计算得出所有测点的传输优先级,生成预设传输策略文件,文件中包含每个测点数据的测点名、传输优先级、数据量级、默认发送频率以及最低发送频率。
步骤2,读取预设传输策略文件,获取每个测点的传输优先级、数据量级、默认发送频率、最低发送频率信息,生成发送数据集,发送数据集中包括实际进行传输的测点及其对应的发送频率,首次生成的发送数据集称为默认发送数据集,默认发送数据集包含所有测点,每个测点的发送频率均为其默认发送频率;
步骤3,对发送数据集中的测点进行数据传输,并进入自适应采集传输模式,获取移动通信网络的信号强度,根据移动通信网络的信号强度与设定的阈值相比较,选择相应的通信模块进行不同数据集的传输;
步骤4,统计当前网络传输的平均带宽B0,读取预设传输策略文件,计算当前网络传输的平均带宽B0能够支撑传输的测点传输优先级范围,根据此范围初步生成发送数据集,并判断是否要对发送数据集进行范围扩大化处理;
步骤5,根据发送数据范围最大化原则,降低初步生成的发送数据集中部分测点的发送频率,并将这部分冗余带宽Br用于扩大发送数据集覆盖的测点范围,形成最终发送数据集。
步骤6,按照新生成的最终发送数据集执行数据传输任务,并对未发送的数据进行本地缓存;
步骤7,通过将网络信号强度与第一和第二阈值进行比较,判断移动通信信道是否恢复,若信道恢复,则还原至默认发送数据集,并补传本地缓存数据;若信道未恢复,则返回步骤3。
优选地,步骤1中,根据实际采集业务需要,规定数据传输优先级模型中的传输优先级个数为T,传输优先级从高到低分别记为(T,T-1,...,1);另外,数据实时性优先级从低到高规定为N个等级:(RT1,RT2,...,RTN);数据关键性从低到高规定为q个等级,分别记为(C1,C2,...,Cq);数据变化频率优先级表示为测点自身数据变化频率f,同时设本次采集的所有测点中,数据变化最快测点的数据变化频率为fe,则数据变化频率因素的贴近度记为f/fe;若对于某个测点而言,其在数据传输优先级模型中的评价指标等级分别为[RTa,Cb,fc],则它们与对应因素最高级的贴近度为Un=[RTa/RTN,Cb/Cq,fc/fe],并设最佳权重集为W,则该数据的传输优先级数p=T·Un·WT。
所述权重集W中的各元素定义为:
优选地,步骤2中,读取预设传输策略文件,获取每个测点的传输优先级、数据量级、默认发送频率、最低发送频率信息,并生成发送数据集,发送数据集为系统实际进行传输的测点集合,其中包括实际进行传输的测点名称及其对应的发送频率;
首次生成的发送数据集称为默认发送数据集,默认发送数据集包含所有测点,每个测点的发送频率均为其默认发送频率;在无线网络中断而使用北斗短报文进行传输的紧急通信模式下,使用的发送数据集称为关键数据集,关键数据集中包含与分布式光伏生产安全相关的报警、控制等少量必要数据,一般由场站运营方对关键数据集进行配置。
优选地,步骤3中,持续检测移动通信模块的信号强度,若信号强度大于第一阈值T1,则恢复预设的数据发送配置,并将本地缓存的历史数据补传至通信主站;
若信号强度小于第一阈值T1并大于第二阈值T2,且此状态的持续时间大于阈值tF,检测当前网络的传输带宽,并根据网络情况生成新的发送数据集;否则,继续按照现有发送数据集执行传输任务;
若信号强度小于第二阈值T2,则进入应急数据传输模式,使用北斗短报文通信模式对关键数据集中的数据进行传输。
优选地,步骤4中,使用iPerf工具对网络传输的平均带宽B0进行评估,同时根据预设发送配置文件中测点传输优先级、数据量和默认发送频率,计算平均带宽B0能够进行传输的测点的优先级范围P;
设计算所得的发送数据集覆盖的测点传输优先级范围为P=[T,pn],其中T为最高优先级,令P1表示pn所在传输优先级阶段中所有测点的合集,同时令pm=,其中/>表示对x进行向上取整运算,pm表示pn的上一个整数传输优先级,计算P0=[Pm,Pn]这一段优先级范围所覆盖的数据量占P1这一优先级总数据量的比例ρ,并判断ρ是否大于预设的阈值t;
若ρ<t,则仅取[T,pm]范围内的数据划分至发送数据集,发送数据集中各个数据的发送频率与预设发送配置中的发送频率保持一致;
若ρ≥t,则先将P=[T,pn]划分至发送数据集中,然后根据发送数据集最大化的原则,对P0=[pm,pn]这一优先级范围内的数据发送频率进行适当降低,将冗余出来的传输带宽分配给传输优先级为Pk范围内的其他测点,以扩大发送数据及范围,其中Pk=P1-P0。
优选地,步骤5中,所述扩大发送数据集覆盖的测点范围,并形成最终发送数据集,如下:
步骤5.1:修改P0=[pm,pn]这一优先级范围内的所有数据的采集频率,降低至预设配置文件中的该数据的最低采集频率fmin,并计算冗余出的传输带宽Br;
步骤5.2:令,其中/>表示向下取整,pr则为pn的下一个整数传输优先级;对于Pk=[pn,pr]这一优先级范围内的测点,按其最低发送频率计算可以通过冗余带宽Br进行传输的测点的传输优先级范围Pr=[pn,pn'],其中pn'为通过Br能够额外进行发送的最后一个测点的传输优先级;
步骤5.3:比较pn'和pr的大小,若pn'≤pr,则确定发送数据集为F=[T,pn'];
若pn'>pr,则确定发送数据集为F=[T,pr],计算剩余带宽Br',并从优先级pm开始,按优先级从高到低的顺序,将数据的采集频率恢复至默认采集频率,直到新增加的传输带宽等于冗余带宽Br'为止;
步骤5.4:根据步骤5.1至5.3所确定的发送数据传输优先级范围及其采集频率,生成最终发送数据集。
一种分布式光伏数据采集传输系统,包括主控模块、发送策略配置模块、信道状态感知模块、数据补传模块、数据缓存模块、数据采集模块、数据发送模块。
主控模块与数据采集服务、数据缓存服务、数据补传服务、发送策略配置服务、信道状态感知服务以及数据缓冲区相连接,主要负责控制各模块的行为,响应各个子模块的信号,同时负责解析数据传输策略配置文件,并根据传输策略调整各个系统的工作流程,确保整个系统有序运行;
数据采集模块主要功能为与数据源设备通信,并进行生产数据的采集;对通信报文进行解析,将报文中的数据进行提取,并将采集数据封装成通用的数据格式后写入数据发送缓冲区;
数据缓存模块的功能为将未进行传输的数据以文件的形式缓存至本地保存,并对数据缓存文件进行管理;
数据补传模块在接收到主控模块的指令后,将获取并解析缓存文件,将文件中的历史数据转换成传输数据格式,然后通过数据发送模块创建数据补传通道,将未及时传输的历史数据进行补传。
信道状态感知模块的功能为对移动通信模块的信道状态进行感知,获取移动信号强度、传输的实时速率等信道信息,并计算信道的传输容量。
发送策略配置模块的功能为根据当前信道状态和数据传输优先级,自适应地调整发送数据集中的数据范围,将发送的数据量与当前的信道状态相匹配,然后生成对应的发送策略配置文件。
数据发送模块的主要功能为根据主控模块的控制逻辑,启用对应的数据传输通道,将数据传输至通信主站。
本发明的有益效果在于,与现有技术相比,本发明通过信道感知、数据传输优先级、自适应传输策略配置等手段,能够在采集装置的通信信道产生波动时,感知通信信道的实时链路带宽,并且能够自适应地根据估计的实时链路带宽以及传输数据的优先级智能调整采集发送数据的配置(如发送数据集、数据量、发送频率等),从而使得发送的实时数据量能够和当前信道容量相匹配,同时优先将信道资源分配给传输优先度高的生产实时数据,提高信道资源的服务质量,防止因为网络拥堵而使得关键生产数据出现堆积而出现更新滞后或者丢失的问题,从而确保分布式场站各项生产业务的正常进行。
附图说明
图1是本发明一种分布式光伏数据采集传输方法的流程图;
图2是本发明实施例中一种分布式光伏数据采集传输方法的具体流程示意图;
图3是本发明实施例中确定数据传输策略的流程图;
图4是本发明实施例中划分发送数据集前后各数据集合的范围示意图;
图5是本发明一种分布式光伏数据采集传输系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明的技术方案进行清楚、完整地描述。本申请所描述的实施例仅仅是本发明一部分的实施例,而不是全部实施例。基于本发明精神,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明的保护范围。
一种分布式光伏数据采集传输方法,如图1所示,具体包括以下步骤:
步骤1,收集需要采集的测点点表,根据实际采集业务需求以及数据传输优先级模型,确定每个测点的实时性优先级、数据关键性、数据变化频率等级,并计算得出所有测点的传输优先级,生成预设传输策略文件,文件中包含每个测点数据的测点名、传输优先级、数据量级、默认发送频率以及最低发送频率。
设根据实际业务需要,规定数据传输优先级模型中的传输优先级个数为T,传输优先级从高到低分别记为(T,T-1,...,1);另外,数据实时性优先级从低到高规定为N个等级:(RT1,RT2,...,RTN);数据关键性从低到高规定为q个等级:(C1,C2,...,Cq);数据变化频率优先级表示为测点自身数据变化频率f,同时设本次采集的所有测点中,数据变化最快测点的数据变化频率为fe,则数据变化频率因素的贴近度记为f/fe。若对于某个测点而言,其在数据传输优先级模型中的评价指标等级分别为[RTa,Cb,fc],则它们与对应因素最高级的贴近度为Un=[RTa/RTN,Cb/Cq,fc/fe],并设最佳权重集为W,则该数据的传输优先级数p=T·Un·WT。
其中权重集W可以通过层次分析和专家决策相结合的方法来确定,具体步骤如下:
首先通过专家决策法,利用专家和相关业务人员的经验、知识和主观判断,采用统计平均法估算各个评价因素之间的重要关系,并根据此建立判断矩阵A=(aij)n×n,矩阵建立的规则如下表所示:
建立判断矩阵A之后,对A进行归一化处理:
最后,可以通过下式对所有数据进行传输优先级的计算:
p=T·Un·WT
在计算出所有测点的传输优先级后,生成预设传输策略文件,文件中包含每个测点的数据名、传输优先级、数据量大小、默认发送频率以及最低发送频率信息。其中,最低发送频率表示当网络出现异常或者拥堵,需要对数据发送频率进行降低时,对于某个测点数据,用户能够接受的最低数据更新频率。
步骤2,主控服务读取预设的数据传输配置文件,获取每个测点的传输优先级、数据量级、默认发送频率、最低发送频率信息,并生成发送数据集。发送数据集为系统实际进行传输的测点集合,其中包括实际进行传输的测点名称及其对应的发送频率。
首次生成的发送数据集称为默认发送数据集,默认发送数据集包含所有测点,每个测点的发送频率均为其默认发送频率;在无线网络中断而使用北斗短报文进行传输的紧急通信模式下,使用的发送数据集称为关键数据集,关键数据集中包含与分布式光伏生产安全相关的报警、控制等少量必要数据,一般由场站运营方对关键数据集进行配置。
主控服务根据发送数据集对数据采集服务采集的数据进行筛选,并根据相应的数据发送频率将数据送入发送缓冲区中。
步骤3,获取移动通信网络的信号强度,根据移动通信网络的信号强度选择相应的通信模块进行数据传输。
持续检测移动通信模块的信号强度,如图2所示,若信号强度大于第一阈值T1,则使用默认发送数据集进行传输,并将本地缓存的历史数据补传至通信主站;
若信号强度小于第一阈值T1并大于第二阈值T2,且此状态的持续时间大于阈值tF,则检测当前网络的传输带宽,并根据网络情况生成新的发送数据集;否则,继续按照现有的发送数据集执行传输任务;否则,继续按照现有的发送数据集执行传输任务;
若信号强度小于第二阈值T2,则进入应急数据传输模式,使用北斗短报文通信模式对关键数据集中的数据进行传输。
使用北斗短报文通信模式传输关键数据集的步骤如下:
将报警、控制以及必要测点等关键数据集中的数据放入数据缓冲区,其余非关键数据集中的数据停止传输,并送至数据缓存模块进行本地缓存;
将数据缓冲区中的数据封装成北斗数据帧,并使用北斗短报文通信模块传输至通信主站,并接收相应的控制信息;
步骤4,使用iPerf工具对网络传输的平均带宽B0进行评估,同时根据预设发送配置文件中测点传输优先级、数据量和默认发送频率,计算平均带宽B0能够进行传输的测点的优先级范围P。
首先,系统可以新开进程来执行iPerf程序,同时为了模拟真实的网络传输,可以使用往目标ip传输文件的测试方式。具体而言,可以在进程中执行以下指令:
iperf3-c{ip}-F{Filename}-i{Ti}-t{Tl};
其中,{ip}为通信主站的ip地址,{Filename}为用于测试传输的文件,{Ti}表示上传测试结果的时间间隔,{Tl}表示传输测试持续的时间。
然后,取一段测试时间内,多次测试结果的平均值,令其为当前链路的等效带宽的估计值B0。
进一步地,传输策略配置服务读取当前发送数据集,并利用下式对当前传输所需的等效传输带宽Bc进行估计:
式中,Di表示在发送时第i个测点对应的数据量大小,ti表示第i个测点的发送频率,i=1,2,...,n,n为当前发送数据集的测点个数。
比较当前传输策略所需传输带宽Bc与统计平均带宽B0之间的大小关系,若|Bc-B0|>δ,则重新确定发送数据集以适应信道的变化。反之,保持当前的发送数据集不变。
根据下式计算当前链路等效带宽B0能够支撑的发送数据集范围:
式中,θ为支持发送的测点数量,max{x}表示按数据传输优先级从高到低,使得传输所需带宽小于链路等效带宽B0可以支持发送的最大测点数量。
如图4所示,设计算所得的发送数据集覆盖的测点传输优先级范围为P=[T,pn],其中T为最高优先级。令P1表示pn所在的传输优先级所有测点的合集,同时令,其中/>表示对x进行向上取整运算,pm表示pn的上一个整数传输优先级,计算P0=[pm,pn]这一段优先级范围所覆盖的测点数量占P1这一优先级总测点数量的比例ρ,并判断ρ是否大于预设的阈值t。
若ρ<t,则仅取[T,pm]范围内的数据划分至发送数据集,发送数据集中各个数据的发送频率与预设发送配置中的发送频率保持一致。
若ρ≥t,则先将P=[T,pn]划分至发送数据集中,然后根据发送数据集最大化的原则,对P0=[pm,pn]这一优先级范围内的数据发送频率进行适当降低,将冗余出来的传输带宽分配给传输优先级为Pk范围内的其他测点,以扩大发送数据及范围,其中Pk=P1-P0。
步骤5,根据发送数据范围最大化原则,降低生成的发送数据集中部分测点的发送频率,将冗余出来的传输带宽Br分配给其他数据,并扩大发送数据集覆盖的测点范围。
步骤5.1:修改P0=P0=[pm,pn]这一优先级范围内的所有数据的采集频率,降低至预设配置中的该数据的最低采集频率fmin,并计算冗余出的传输带宽Br;
步骤5.2:令,其中/>表示向下取整,pr则为pn的下一个整数传输优先级。对于Pk=[pn,pr]这一优先级范围内的测点,按其最低发送频率计算可以通过冗余带宽Br进行传输的测点的传输优先级范围Pr=[pn,pn'],其中pn'为通过Br能够额外进行发送的最后一个测点的传输优先级。
步骤5.3:比较pn'和pr的大小,若pn'≤pr,则确定发送数据集为F=[T,pn'];
若pn'>pr,则确定发送数据集为F=[T,pr],计算剩余带宽Br',并从优先级pm开始,按优先级从高到低的顺序,将数据的采集频率恢复至默认采集频率,直到新增加的传输带宽等于冗余带宽Br'为止;
步骤5.4:根据步骤5.1至5.3所确定的发送数据传输优先级范围及其采集频率,生成新的发送数据集。
如图4所示,为划分发送数据集前后,各个数据集合的示意图。
步骤6,根据新的发送数据集进行数据传输任务,并对未发送的数据进行本地缓存。
系统将读取新生成的发送数据集,并按照配置文件中的发送数据集,将采集服务所采集的对应测点的实时数据按照配置的发送频率送入系统的发送缓冲区中。对于没有送入发送缓冲区中的部分数据,则将其送入数据缓存服务,以文件的形式进行本地缓存。
步骤7,判断移动通信信道是否恢复,恢复默认发送配置,并补传本地缓存数据。
进一步地,根据移动通信信号的强度来判断通信信道是否恢复,若当前通信信号强度大于第一阈值T1,则启动数据补传服务,将本地缓存文件中未发送的历史数据补传至通信主站,并将发送数据集恢复至默认发送数据集进行全量数据传输;反之,则回到步骤3重新对传输模式进行选择。
一种分布式光伏数据采集传输系统,如图5所示,包括主控模块、发送策略配置模块、信道状态感知模块、数据补传模块、数据缓存模块、数据采集模块、数据发送模块。
主控模块与数据采集服务、数据缓存服务、数据补传服务、发送策略配置服务、信道状态感知服务以及数据缓冲区相连接,主要负责控制各模块的行为,响应各个子模块的信号,同时负责解析数据传输策略配置文件,并根据传输策略调整各个系统的工作流程,确保整个系统有序运行。
数据采集模块主要功能为与数据源设备通信,并进行生产数据的采集;对通信报文进行解析,将报文中的数据进行提取,并将采集数据封装成通用的数据格式后写入数据发送缓冲区。
数据缓存模块的功能为将未进行传输的数据以文件的形式缓存至本地保存,并对数据缓存文件进行管理。
数据补传模块在接收到主控模块的指令后,将获取并解析缓存文件,将文件中的历史数据转换成传输数据格式,然后通过数据发送模块创建数据补传通道,将未及时传输的历史数据进行补传。
信道状态感知模块的功能为对移动通信模块的信道状态进行感知,获取移动信号强度、传输的实时速率等信道信息,并计算信道的传输容量。
发送策略配置模块的功能为根据当前信道状态和数据传输优先级,自适应地调整发送数据集中的数据范围,将发送的数据量与当前的信道状态相匹配,然后生成对应的发送策略配置文件。
数据发送模块的主要功能为根据主控模块的控制逻辑,启用对应的数据传输通道,将数据传输至通信主站。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种分布式光伏数据采集传输方法,其特征在于,包括以下步骤:
步骤1,收集需要采集的测点点表,根据实际采集业务需求以及数据传输优先级模型,确定每个测点的实时性优先级、数据关键性、数据变化频率等级,并计算得出所有测点的传输优先级,生成预设传输策略文件,文件中包含每个测点数据的测点名、传输优先级、数据量级、默认发送频率以及最低发送频率;
步骤2,读取预设传输策略文件,获取每个测点的传输优先级、数据量级、默认发送频率、最低发送频率信息,生成发送数据集,发送数据集中包括实际进行传输的测点及其对应的发送频率,首次生成的发送数据集称为默认发送数据集,默认发送数据集包含所有测点,每个测点的发送频率均为其默认发送频率;
步骤3,对发送数据集中的测点进行数据传输,并进入自适应采集传输模式,获取移动通信网络的信号强度,根据移动通信网络的信号强度与设定的阈值相比较,选择相应的通信模块进行不同数据集的传输;
步骤4,统计当前网络传输的平均带宽B0,读取预设传输策略文件,计算当前网络传输的平均带宽B0能够支撑传输的测点传输优先级范围,根据此范围初步生成发送数据集,并判断是否要对发送数据集进行范围扩大化处理;
步骤5,根据发送数据范围最大化原则,降低初步生成的发送数据集中部分测点的发送频率,并将这部分冗余带宽Br用于扩大发送数据集覆盖的测点范围,形成最终发送数据集;
步骤6,按照新生成的最终发送数据集执行数据传输任务,并对未发送的数据进行本地缓存;
步骤7,通过将网络信号强度与第一和第二阈值进行比较,判断移动通信信道是否恢复,若信道恢复,则还原至默认发送数据集,并补传本地缓存数据;若信道未恢复,则返回步骤3。
2.根据权利要求1所述的一种分布式光伏数据采集传输方法,其特征在于:
步骤1中,根据实际采集业务需要,规定数据传输优先级模型中的传输优先级个数为T,传输优先级从高到低分别记为(T,T-1,...,1);另外,数据实时性优先级从低到高规定为N个等级:(RT1,RT2,...,RTN);数据关键性从低到高规定为q个等级,分别记为(C1,C2,...,Cq);数据变化频率优先级表示为测点自身数据变化频率f,同时设本次采集的所有测点中,数据变化最快测点的数据变化频率为fe,则数据变化频率因素的贴近度记为f/fe;若对于某个测点而言,其在数据传输优先级模型中的评价指标等级分别为[RTa,Cb,fc],则它们与对应因素最高级的贴近度为Un=[RTa/RTN,Cb/Cq,fc/fe],并设最佳权重集为W,则该数据的传输优先级数p=T·Un·WT。
4.根据权利要求1所述的一种分布式光伏数据采集传输方法,其特征在于:
步骤2中,读取预设传输策略文件,获取每个测点的传输优先级、数据量级、默认发送频率、最低发送频率信息,并生成发送数据集,发送数据集为系统实际进行传输的测点集合,其中包括实际进行传输的测点名称及其对应的发送频率;
首次生成的发送数据集称为默认发送数据集,默认发送数据集包含所有测点,每个测点的发送频率均为其默认发送频率;在无线网络中断而使用北斗短报文进行传输的紧急通信模式下,使用的发送数据集称为关键数据集,关键数据集中包含与分布式光伏生产安全相关的报警、控制等少量必要数据,一般由场站运营方对关键数据集进行配置。
5.根据权利要求1所述的一种分布式光伏数据采集传输方法,其特征在于:
步骤3中,持续检测移动通信模块的信号强度,若信号强度大于第一阈值T1,则恢复预设的数据发送配置,并将本地缓存的历史数据补传至通信主站;
若信号强度小于第一阈值T1并大于第二阈值T2,且此状态的持续时间大于阈值tF,检测当前网络的传输带宽,并根据网络情况生成新的发送数据集;否则,继续按照现有发送数据集执行传输任务;
若信号强度小于第二阈值T2,则进入应急数据传输模式,使用北斗短报文通信模式对关键数据集中的数据进行传输。
6.根据权利要求1所述的一种分布式光伏数据采集传输方法,其特征在于:
步骤4中,使用iPerf工具对网络传输的平均带宽B0进行评估,同时根据预设发送配置文件中测点传输优先级、数据量和默认发送频率,计算平均带宽B0能够进行传输的测点的优先级范围P;
设计算所得的发送数据集覆盖的测点传输优先级范围为P=[T,pn],其中T为最高优先级,令P1表示pn所在传输优先级阶段中所有测点的合集,同时令pm=其中/>表示对x进行向上取整运算,pm表示pn的上一个整数传输优先级,计算P0=[Pm,Pn]这一段优先级范围所覆盖的数据量占P1这一优先级总数据量的比例ρ,并判断ρ是否大于预设的阈值t;
若ρ<t,则仅取[T,pm]范围内的数据划分至发送数据集,发送数据集中各个数据的发送频率与预设发送配置中的发送频率保持一致;
若ρ≥t,则先将P=[T,pn]划分至发送数据集中,然后根据发送数据集最大化的原则,对P0=[pm,pn]这一优先级范围内的数据发送频率进行适当降低,将冗余出来的传输带宽分配给传输优先级为Pk范围内的其他测点,以扩大发送数据及范围,其中Pk=P1-P0。
7.根据权利要求1所述的一种分布式光伏数据采集传输方法,其特征在于:
步骤5中,所述扩大发送数据集覆盖的测点范围,并形成最终发送数据集,如下:
步骤5.1:修改P0=[pm,pn]这一优先级范围内的所有数据的采集频率,降低至预设配置文件中的该数据的最低采集频率fmin,并计算冗余出的传输带宽Br;
步骤5.2:令其中/>表示向下取整,pr则为pn的下一个整数传输优先级;对于Pk=[pn,pr]这一优先级范围内的测点,按其最低发送频率计算可以通过冗余带宽Br进行传输的测点的传输优先级范围Pr=[pn,pn'],其中pn'为通过Br能够额外进行发送的最后一个测点的传输优先级;
步骤5.3:比较pn'和pr的大小,若pn'≤pr,则确定发送数据集为F=[T,pn'];
若pn'>pr,则确定发送数据集为F=[T,pr],计算剩余带宽Br',并从优先级pm开始,按优先级从高到低的顺序,将数据的采集频率恢复至默认采集频率,直到新增加的传输带宽等于冗余带宽Br'为止;
步骤5.4:根据步骤5.1至5.3所确定的发送数据传输优先级范围及其采集频率,生成最终发送数据集。
8.一种分布式光伏数据采集传输系统,用于实现权利要求1-7任一项所述的一种分布式光伏数据采集传输方法,包括主控模块、发送策略配置模块、信道状态感知模块、数据补传模块、数据缓存模块、数据采集模块、数据发送模块,其特征在于:
主控模块与数据采集服务、数据缓存服务、数据补传服务、发送策略配置服务、信道状态感知服务以及数据缓冲区相连接,主要负责控制各模块的行为,响应各个子模块的信号,同时负责解析数据传输策略配置文件,并根据传输策略调整各个系统的工作流程,确保整个系统有序运行;
数据采集模块主要功能为与数据源设备通信,并进行生产数据的采集;对通信报文进行解析,将报文中的数据进行提取,并将采集数据封装成通用的数据格式后写入数据发送缓冲区;
数据缓存模块的功能为将未进行传输的数据以文件的形式缓存至本地保存,并对数据缓存文件进行管理;
数据补传模块在接收到主控模块的指令后,将获取并解析缓存文件,将文件中的历史数据转换成传输数据格式,然后通过数据发送模块创建数据补传通道,将未及时传输的历史数据进行补传。
信道状态感知模块的功能为对移动通信模块的信道状态进行感知,获取移动信号强度、传输的实时速率等信道信息,并计算信道的传输容量。
发送策略配置模块的功能为根据当前信道状态和数据传输优先级,自适应地调整发送数据集中的数据范围,将发送的数据量与当前的信道状态相匹配,然后生成对应的发送策略配置文件。
数据发送模块的主要功能为根据主控模块的控制逻辑,启用对应的数据传输通道,将数据传输至通信主站。
9.一种终端,包括处理器及存储介质;其特征在于:
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1-7任一项所述方法的步骤。
10.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310112488.6A CN116436906A (zh) | 2023-02-14 | 2023-02-14 | 一种分布式光伏数据采集传输方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310112488.6A CN116436906A (zh) | 2023-02-14 | 2023-02-14 | 一种分布式光伏数据采集传输方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116436906A true CN116436906A (zh) | 2023-07-14 |
Family
ID=87091411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310112488.6A Pending CN116436906A (zh) | 2023-02-14 | 2023-02-14 | 一种分布式光伏数据采集传输方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116436906A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117950703A (zh) * | 2024-03-26 | 2024-04-30 | 成都赛力斯科技有限公司 | 维测数据的自适应更新方法、装置、电子设备及存储介质 |
-
2023
- 2023-02-14 CN CN202310112488.6A patent/CN116436906A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117950703A (zh) * | 2024-03-26 | 2024-04-30 | 成都赛力斯科技有限公司 | 维测数据的自适应更新方法、装置、电子设备及存储介质 |
CN117950703B (zh) * | 2024-03-26 | 2024-05-31 | 成都赛力斯科技有限公司 | 维测数据的自适应更新方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021000958A1 (zh) | 用于实现模型训练的方法及装置、计算机存储介质 | |
JP7159347B2 (ja) | モデル更新方法および装置、ならびにシステム | |
EP3975048A1 (en) | Method for constructing cloud network alarm root cause relational tree model, device, and storage medium | |
EP3691189B1 (en) | Method, apparatus and computer program for predicting fault of optical module | |
US11102665B2 (en) | Supplemental voltage controller for radio frequency (RF) antennas | |
WO2019184640A1 (zh) | 一种指标确定方法及其相关设备 | |
US10868471B2 (en) | Adaptive voltage modification (AVM) controller for mitigating power interruptions at radio frequency (RF) antennas | |
EP4307634A1 (en) | Feature engineering programming method and apparatus | |
CN111242171A (zh) | 网络故障的模型训练、诊断预测方法、装置以及电子设备 | |
CN116436906A (zh) | 一种分布式光伏数据采集传输方法及系统 | |
CN117221088A (zh) | 一种计算机网络强度检测系统及装置 | |
CN114513470A (zh) | 网络流量控制方法、装置、设备及计算机可读存储介质 | |
CN111901134B (zh) | 一种基于循环神经网络模型rnn的预测网络质量的方法和装置 | |
US11246046B2 (en) | Proactive wireless traffic capture for network assurance | |
CN110647086B (zh) | 一种基于运行大数据分析的智能运维监控系统 | |
CN115271129B (zh) | 应用于输电线路的故障维修方法、装置、设备和介质 | |
CN110958137A (zh) | 流量管理方法、装置及电子设备 | |
CN113904717B (zh) | 一种光传送网OTUk帧误码概率预测方法和系统 | |
CN110989518B (zh) | 一种集成制造现场的控制方法和控制系统 | |
CN107566187B (zh) | 一种sla违例监测方法、装置和系统 | |
CN114265601A (zh) | 管理人工智能应用的方法、设备和程序产品 | |
CN112801815A (zh) | 一种基于联邦学习的电力通信网络故障预警方法 | |
Falahatraftar et al. | A multiple linear regression model for predicting congestion in heterogeneous vehicular networks | |
CN116979700B (zh) | 一种变配电监控信息处置装置与方法 | |
CN114818467B (zh) | 一种卫星通信系统态势精确分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |