CN114268644A - 网络数据采集方法、装置、设备及存储介质 - Google Patents
网络数据采集方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114268644A CN114268644A CN202111435963.0A CN202111435963A CN114268644A CN 114268644 A CN114268644 A CN 114268644A CN 202111435963 A CN202111435963 A CN 202111435963A CN 114268644 A CN114268644 A CN 114268644A
- Authority
- CN
- China
- Prior art keywords
- data
- data acquisition
- network
- communication quality
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004891 communication Methods 0.000 claims abstract description 235
- 230000004044 response Effects 0.000 claims description 75
- 238000012360 testing method Methods 0.000 claims description 31
- 238000013507 mapping Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000004083 survival effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明属于数据处理技术领域,公开了一种网络数据采集方法、装置、设备及存储介质。本发明通过获取与目标设备之间所建立的通信连接的通信质量参数,判断通信质量参数是否满足预设数据采集条件,若满足,则根据已采集的数据对目标设备进行数据采集,将当前采集到的数据与已采集的数据进行合并,并对合并后的数据进行保存。由于本发明是根据通信质量参数判断是否对目标设备进行数据采集,若通信质量参数满足采集条件,则对已采集的数据进行合并,并对合并的数据进行保存,有效避免了网络质量差导致数据丢失的风险,提升了数据采集的效率和稳定性。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种网络数据采集方法、装置、设备及存储介质。
背景技术
随着社会的进步和科学技术的发展,工厂的生产设备在工作运行的过程中,可以通过网络设备与生产设备建立网络通信连接,根据网络设备建立的通信连接可以通过网络对生产设备的工作运行状态进行了解,并且可以通过网络通信采集生产设备的生产数据。目前通过网络采集生产设备的生产数据的过程,网络环境可能存在不稳定的情况,因此数据采集的过程中可能会由于网络中断而导致数据丢失。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种网络数据采集方法、装置、设备及存储介质,旨在解决现有技术由于网络不稳定而导致数据丢失的技术问题。
为实现上述目的,本发明提供了一种网络数据采集方法,所述方法包括以下步骤:
获取与目标设备之间所建立的通信连接的通信质量参数;
判断所述通信质量参数是否满足预设数据采集条件;
若满足,则根据已采集的数据对所述目标设备进行数据采集;
将当前采集到的数据与所述已采集的数据进行合并,并对合并后的数据进行保存。
可选地,所述获取与目标设备之间所建立的通信连接的通信质量参数,包括:
发送预设网络测试请求至所述目标设备,以使所述目标设备根据所述预设网络测试请求反馈对应的请求响应信息;
根据所述响应信息确定与所述目标设备之间所建立的通信连接的通信质量参数。
可选地,所述根据所述响应信息确定与所述目标设备之间所建立的通信连接的通信质量参数,包括:
根据所述响应信息确定所述目标设备的数据丢包率;
将所述数据丢包率作为与所述目标设备之间所建立的通信连接的通信质量参数。
可选地,所述将所述数据丢包率作为与所述目标设备之间所建立的通信连接的通信质量参数,包括:
根据所述响应信息确定所述目标设备的响应时长;
将所述响应时长和所述数据丢包率作为与所述目标设备之间所建立的通信连接的通信质量参数。
可选地,所述获取与目标设备之间所建立的通信连接的通信质量参数之前,所述方法还包括:
获取目标设备所使用的通信协议;
根据预设通信映射表确定与所述通信协议对应的网络地址;
根据所述网络地址建立与所述目标设备之间的通信连接。
可选地,所述判断所述通信质量参数是否满足预设数据采集条件之后,所述方法还包括:
若不满足,则对已采集的数据进行保存并停止数据采集;
返回所述获取与目标设备之间所建立的通信连接的通信质量参数的步骤。
可选地,所述将当前采集到的数据与所述已采集的数据进行合并,并对合并后的数据进行保存之后,所述方法还包括:
根据所述通信质量参数和已合并的数据生成数据采集评价;
将所述数据采集评价和所述已合并的数据上传至云端服务器。
此外,为实现上述目的,本发明还提出一种网络数据采集装置,所述网络数据采集装置包括:
通信质量获取模块,用于获取与目标设备之间所建立的通信连接的通信质量参数;
采集条件判断模块,用于判断所述通信质量参数是否满足预设数据采集条件;
数据采集模块,用于若满足,则根据已采集的数据对所述目标设备进行数据采集;
数据合并模块,用于将当前采集到的数据与所述已采集的数据进行合并,并对合并后的数据进行保存。
此外,为实现上述目的,本发明还提出一种网络数据采集设备,所述网络数据采集设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络数据采集程序,所述网络数据采集程序配置为实现如上文所述的网络数据采集方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有网络数据采集程序,所述网络数据采集程序被处理器执行时实现如上文所述的网络数据采集方法的步骤。
本发明通过获取与目标设备之间所建立的通信连接的通信质量参数,判断所述通信质量参数是否满足预设数据采集条件,若满足,则根据已采集的数据对所述目标设备进行数据采集,将当前采集到的数据与所述已采集的数据进行合并,并对合并后的数据进行保存。由于本发明是根据通信质量参数判断是否对目标设备进行数据采集,若通信质量参数满足采集条件,则对已采集的数据进行合并,并对合并的数据进行保存,有效避免了网络质量差导致数据丢失的风险,提升了数据采集的效率和稳定性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的网络数据采集设备的结构示意图;
图2为本发明网络数据采集方法第一实施例的流程示意图;
图3为本发明网络数据采集方法第二实施例的流程示意图;
图4为本发明网络数据采集方法第三实施例的流程示意图;
图5为本发明网络数据采集装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的网络数据采集设备结构示意图。
如图1所示,该网络数据采集设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对网络数据采集设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及网络数据采集程序。
在图1所示的网络数据采集设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明网络数据采集设备中的处理器1001、存储器1005可以设置在网络数据采集设备中,所述网络数据采集设备通过处理器1001调用存储器1005中存储的网络数据采集程序,并执行本发明实施例提供的网络数据采集方法。
本发明实施例提供了一种网络数据采集方法,参照图2,图2为本发明一种网络数据采集方法第一实施例的流程示意图。
本实施例中,所述网络数据采集方法包括以下步骤:
步骤S10:获取与目标设备之间所建立的通信连接的通信质量参数。
应当理解的是,本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的网络数据采集设备,例如数据采集网关等,或者是其他能够实现相同或相似功能的装置或设备,以下统一称为网络数据采集设备进行说明,本实施例对此不加以限制。
需要说明的是,目标设备可以是需要进行数据采集的生产设备或其它设备。通信质量参数可以是网络数据采集设备与目标设备之间建立的网络通信连接的网络环境稳定程度的参数,通信质量参数可以包括:数据丢包参数、数据响应参数或数据生存时间参数等参数,本实施例不加以限定。
应当理解的是,数据采集设备向目标设备发送一个或多个网络通信质量测试请求,根据目标设备对该测试请求的响应信息来获取与目标设备之间所建立的通信质量参数,以此确定与目标设备建立的网络通信连接是否稳定。
在具体实现中,数据采集设备向需要进行数据采集的生产设备或其它设备发送一个或多个网络通信质量测试请求,根据目标设备对该测试请求的响应信息来确定数据丢包率、数据响应时长或数据生存时长等参数,以此获取与目标设备之间所建立的通信连接的通信质量参数。
例如,数据采集设备向需要进行数据采集的生产设备或其它设备发送4个网络通信质量测试请求,根据目标设备对该测试请求的响应信息来确定数据丢包率为25%、数据响应时长为15ms或数据生存时长为49ms,以此获取与目标设备之间所建立的通信连接的通信质量参数。
步骤S20:判断所述通信质量参数是否满足预设数据采集条件。
需要说明的是,预设数据采集条件可以是判断网络通信环境是否良好的条件,若网络通信环境良好,则数据采集环境良好;若网络通信环境较差,则数据采集环境较差。
应当理解的是,为了确保当前的网络通信质量满足数据采集条件,因此需要判断所述通信质量参数是否满足预设数据采集条件。在当前的通信质量参数满足预设数据采集条件时,判定当前网络通信环境满足数据采集条件,可以进行数据采集;在当前的通信质量参数不满足预设数据采集条件时,判定当前网络通信环境不满足数据采集条件,不可以进行数据采集。
在具体实现中,数据采集设备根据目标设备的响应信息来判断通信质量是否满足预设数据采集条件,例如,判断数据丢包率是否超过预设丢包阈值、数据响应时长是否超过预设时长阈值、数据生存时长是否超过预设生存时长阈值。
例如,根据目标设备的响应信息确定数据丢包率为10%,数据响应时长为20ms、数据生存时长为49ms。若预设丢包阈值为15%、预设时长阈值为50ms、预设生存时长阈值为40ms,则目标设备响应信息中的数据丢包率、数据响应时长以及数据生存时长满足预设数据采集条件,因此判定通信质量参数满足预设数据采集条件。
进一步地,为了避免了在通信质量差的时候丢失数据,上述步骤S20之后,还包括:
步骤S201:若不满足,则对已采集的数据进行保存并停止数据采集;
步骤S202:返回所述获取与目标设备之间所建立的通信连接的通信质量参数的步骤。
应当理解的是,为了避免数据丢失,需要在与目标设备建立的通信连接的网络通信质量较差时将当前以采集到的目标设备数据保存至本地数据库中,并停止数据采集,然后获取与目标设备之间所建立的通信连接的通信质量参数,实时监测当前的网络通信质量,在网络通信环境稳定之后恢复数据采集。
步骤S30:若满足,则根据已采集的数据对所述目标设备进行数据采集。
需要说明的是,已采集的数据可以是数据采集设备在通信质量参数满足预设数据采集条件时采集到的历史采集数据,已采集的数据可以是数据采集设备已采集到的历史数据集合,已采集到的数据集合可以是空集,若数据采集设备是首次采集目标设备的数据,则已采集到的数据集合为空集。
应当理解的是,数据采集设备与目标设备建立通信连接的通信质量满足预设数据采集条件时,判定与目标设备之间的当前网络通信环境稳定,可以进行数据采集,若数据采集设备为首次进行采集,则直接对目标设备进行数据采集;若数据采集设备不为首次进行采集,则根据以采集到的数据确定目标设备中还未采集到的数据,并采集未采集到的目标设备的数据。
在具体实现中,数据采集设备根据目标设备的响应信息来判断通信质量是否满足预设数据采集条件,例如,判断数据丢包率是否超过预设丢包阈值、数据响应时长是否超过预设时长阈值、数据生存时长是否超过预设生存时长阈值,若满足条件,则判定当前网络通信质量稳定,数据丢失概率较低,根据已采集的数据对所述目标设备进行数据采集。
例如,根据目标设备的响应信息确定数据丢包率为5%,数据响应时长为15ms、数据生存时长为30ms。若预设丢包阈值为10%、预设时长阈值为30ms、预设生存时长阈值为35ms,则目标设备响应信息中的数据丢包率、数据响应时长以及数据生存时长满足预设数据采集条件,因此判定通信质量参数满足预设数据采集条件,根据已采集到的目标设备的历史采集数据对所述目标设备进行数据采集,采集目标设备数据中未采集的数据。
步骤S40:将当前采集到的数据与所述已采集的数据进行合并,并对合并后的数据进行保存。
需要说明的是,当前采集到的数据可以是数据采集设备的数据库中已保存的历史采集数据,其中,保存已采集数据的数据库可以是SqlitDB数据库或其它数据库,本实施例不加以限定。合并后的数据可以是历史采集到的数据与当前采集到的数据进行数据合并后得到的数据。
应当理解的是,为了避免网络通信环境不稳定到采集到的数据丢失,因此需要将已采集到的目标设备的数据进行保存。为了防止网络通信环境不稳定而造成数据采集中断,导致需要重新开始采集目标设备的全部数据,因此需要将已采集到的数据进行保存,并将当前采集的数据与已采集到的数据进行数据合并,并对合并后的数据进行保存。
在具体实现中,目标设备将当前已采集到的目标设备数据保存在本地,并将当前已采集到的数据与历史采集的本地保存数据进行合并,将合并后的数据保存在本地的数据库中。
例如,目标设备当前已采集到的数据为A,已采集的数据为B,将当前采集到的数据A与已采集的数据B进行合并,获得合并后的数据C,将合并后的数据C保存在本地的SqlitDB数据库中。
进一步地,为了在数据采集完成之后将本次数据采集的具体过程反馈至服务器,上述步骤S40之后,还包括:
步骤S41:根据所述通信质量参数和已合并的数据生成数据采集评价;
步骤S42:将所述数据采集评价和所述已合并的数据上传至云端服务器。
需要说明的是,数据采集评价可以是本次数据采集过程中网络通信质量是否稳定与数据采集是否中断的评价。
在具体实现中,例如,根据所述通信质量参数和已合并的数据确定本次数据采集过程中,网络通信质量稳定,未发生网络波动,数据采集过程未产生数据中断,因此生成的数据采集评价为采集质量良好。将该数据采集评价和已合并的数据上传至云端服务器,以使云端服务器作后续处理。
本实施例通过获取与目标设备之间所建立的通信连接的通信质量参数,判断所述通信质量参数是否满足预设数据采集条件,若满足,则根据已采集的数据对所述目标设备进行数据采集,将当前采集到的数据与所述已采集的数据进行合并,并对合并后的数据进行保存。由于本发明是根据通信质量参数判断是否对目标设备进行数据采集,若通信质量参数满足采集条件,则对已采集的数据进行合并,并对合并的数据进行保存,有效避免了网络质量差导致数据丢失的风险,提升了数据采集的效率和稳定性。
参考图3,图3为本发明一种网络数据采集方法第二实施例的流程示意图。
基于上述第一实施例,在本实施例中,所述步骤S10,包括:
步骤S101:发送预设网络测试请求至所述目标设备,以使所述目标设备根据所述预设网络测试请求反馈对应的请求响应信息。
应当理解的是,为了确保数据采集设备当前的网络通信环境稳定,不会由于网络通信环境差而导致数据采集失败或数据丢失,因此需要发送预设网络测试请求以根据目标设备反馈的请求响应信息判断当前的网络通信环境是否稳定,是否符合数据稳定采集的环境条件。
需要说明的是,预设网络测试请求可以是数据采集设备向目标设备发送的一串或多串测试请求数据。请求响应信息可以是目标设备在接收到预设网络测试请求时根据预设网络测试请求进行响应发送的一串或多串数据。
应当理解的是,预设网络测试请求和请求响应信息是对应的,例如数据采集设备向目标设备发送一串32字节的预设网络测试请求,则目标设备在接收到该请求时应当反馈对应的一串32字节的请求响应信息。
步骤S102:根据所述响应信息确定与所述目标设备之间所建立的通信连接的通信质量参数。
应当理解的是,响应信息包含有目标设备根据网络数据采集设备发送的测试请求反馈的数据字节、数据丢包率、数据响应时长或数据生存时间等信息。网络数据采集设备通过上述信息来确定与目标设备之间所建立的通信连接的通信质量参数,以此确定通信连接是否稳定。
在具体实现中,数据采集设备向需要进行数据采集的生产设备或其它设备发送一串或多串,预设网络测试请求,根据目标设备对该预设网络测试请求反馈的请求响应信息来确定数据丢包率、数据响应时长或数据生存时长等参数,以此确定与目标设备之间所建立的通信连接的通信质量参数。
例如,数据采集设备向需要进行数据采集的生产设备或其它设备发送2个网络通信质量测试请求,根据目标设备对该测试请求的响应信息来确定目标设备反馈信息中:数据字节为32字节、数据丢包率为15%、数据响应时长为25ms或数据生存时长为35ms,以此获取与目标设备之间所建立的通信连接的通信质量参数。
进一步地,为了更加准确的判断当前网络通信环境是否适合进行数据采集,上述步骤S102,包括:
步骤S1021:根据所述响应信息确定所述目标设备的数据丢包率;
步骤S1022:将所述数据丢包率作为与所述目标设备之间所建立的通信连接的通信质量参数。
需要说明的是,数据丢包率可以是目标设备根据接收到的测试请求反馈的响应信息中所丢失数据包数量占所发送数据组的比率,数据丢包率可以是5%、10%或15%等,数据丢包率越低,网络通信质量越好,数据采集越稳定,反之,网络通信质量越差,数据采集越不稳定。
应当理解的是,为了精准判断当前网络通信环境是否稳定、是否适合进行数据采集,因此需要获取目标设备反馈的响应信息中的数据丢包率,根据数据丢包率判断当前网络通信环境是否适合进行数据采集。若响应信息中的数据丢包率较低,则当前网络通信环境适合进行数据采集;若响应信息中的数据丢包率较高,则当前网络通信环境不适合进行数据采集。
进一步地,为了更加精准的确定与目标设备之间的通信连接质量,上述步骤S1022,包括:
步骤S1023:根据所述响应信息确定所述目标设备的响应时长;
步骤S1024:将所述响应时长和所述数据丢包率作为与所述目标设备之间所建立的通信连接的通信质量参数。
需要说明的是,响应时长可以是目标设备从接收测试请求到反馈响应信息的时长,响应时长可以是10ms、20ms或30ms等时长,响应时长越短,网络通信质量越好,反之越差。
应当理解的是,为了精准判断当前网络通信环境是否稳定、是否适合进行数据采集,因此需要获取目标设备反馈的响应信息中的响应时长和数据丢包率,根据响应时长和数据丢包率判断当前网络通信环境是否适合进行数据采集。若响应信息中的响应时长较短并且数据丢包率较低,则当前网络通信环境适合进行数据采集;若响应信息中的响应时长较长或/和数据丢包率较高,则当前网络通信环境不适合进行数据采集。
本实施例通过发送预设网络测试请求至所述目标设备,以使所述目标设备根据所述预设网络测试请求反馈对应的请求响应信息,根据所述响应信息确定与所述目标设备之间所建立的通信连接的通信质量参数。由于本发明是通过发送网络测试请求至目标设备,再根据目标设备的请求响应信息确定与目标设备之间的通信质量参数,准确确定了与目标设备之间的网络通信质量是否稳定,有效避免了数据采集过程因网络通信环境不稳定导致数据传输失败或数据丢失的情况,提升了数据采集的效率。
参考图4,图4为本发明一种网络数据采集方法第三实施例的流程示意图。
基于上述第一实施例,在本实施例中,所述步骤S10之前,还包括:
步骤S1:获取目标设备所使用的通信协议。
需要说明的是,通信协议可以是数据采集设备与目标设备建立通络通信连接的协议,通信协议可以是MQTT通信协议或其它通信协议,本实施例不加以限定。
应当理解的是,为了准确地与需要采集数据的目标设备建立通信连接,因此需要获取待采集数据的目标设备的通信协议,不同的待采集设备所对应的通信协议都不同,因此可以通过获取目标设备的通信协议来准确地与目标设备建立通信连接。
步骤S2:根据预设通信映射表确定与所述通信协议对应的网络地址。
需要说明的是,预设通信映射表可以是预先根据目标设备的通信协议与网络地址建立的映射关系表。在映射关系表中通信协议与网络地址一一对应。网络地址可以是目标设备的网络逻辑地址,目标设备具有唯一的网络地址,通过预设通信映射表可以准确获取目标设备的网络地址。
在具体实现中,例如,预设通信映射表中存在A、B、C、D四种通信协议,其中,通信协议A对应的网络地址为W,通信协议B对应的网络地址为X,通信协议C对应的网络地址为Y,通信协议D对应的网络地址为Z。数据采集设备获取目标设备所使用的通信协议为A,根据预设通信映射表确定与通信协议对应的网络地址为W,因此目标设备的网络地址为W。
步骤S3:根据所述网络地址建立与所述目标设备之间的通信连接。
应当理解的是,为了准确地与目标设备建立通信连接,根据获取到的目标设备的通信协议对照预设通信协议表查找与该通信协议对应的网络地址,根据预设通信映射表确定的网络地址就是目标设备的网络地址。
本实施例通过获取目标设备所使用的通信协议,根据预设通信映射表确定与所述通信协议对应的网络地址,根据所述网络地址建立与所述目标设备之间的通信连接。由于本发明根据目标设备的通信协议确定目标设备对应的网络地址,并根据该网络地址与目标设备进行通信连接,实现了准确地与目标设备进行网络通信连接,有效避免了无法与目标设备建立网络通信的问题。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有网络数据采集程序,所述网络数据采集程序被处理器执行时实现如上文所述的网络数据采集方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
参照图5,图5为本发明网络数据采集装置第一实施例的结构框图。
如图5所示,本发明实施例提出的网络数据采集装置包括:
通信质量获取模块10,用于获取与目标设备之间所建立的通信连接的通信质量参数;
采集条件判断模块20,用于判断所述通信质量参数是否满足预设数据采集条件;
数据采集模块30,用于若满足,则根据已采集的数据对所述目标设备进行数据采集;
数据合并模块40,用于将当前采集到的数据与所述已采集的数据进行合并,并对合并后的数据进行保存。
进一步地,所述通信质量获取模块10,还用于发送预设网络测试请求至所述目标设备,以使所述目标设备根据所述预设网络测试请求反馈对应的请求响应信息,根据所述响应信息确定与所述目标设备之间所建立的通信连接的通信质量参数。
进一步地,所述通信质量获取模块10,还用于根据所述响应信息确定所述目标设备的数据丢包率,将所述数据丢包率作为与所述目标设备之间所建立的通信连接的通信质量参数。
进一步地,所述通信质量获取模块10,还用于根据所述响应信息确定所述目标设备的响应时长,将所述响应时长和所述数据丢包率作为与所述目标设备之间所建立的通信连接的通信质量参数。
进一步地,所述通信质量获取模块10,还用于获取目标设备所使用的通信协议,根据预设通信映射表确定与所述通信协议对应的网络地址,根据所述网络地址建立与所述目标设备之间的通信连接。
进一步地,所述采集条件判断模块20,还用于若不满足,则对已采集的数据进行保存并停止数据采集,返回所述获取与目标设备之间所建立的通信连接的通信质量参数的步骤。
进一步地,所述数据合并模块40,还用于根据所述通信质量参数和已合并的数据生成数据采集评价,将所述数据采集评价和所述已合并的数据上传至云端服务器。
本实施例通过获取与目标设备之间所建立的通信连接的通信质量参数,判断所述通信质量参数是否满足预设数据采集条件,若满足,则根据已采集的数据对所述目标设备进行数据采集,将当前采集到的数据与所述已采集的数据进行合并,并对合并后的数据进行保存。由于本发明是根据通信质量参数判断是否对目标设备进行数据采集,若通信质量参数满足采集条件,则对已采集的数据进行合并,并对合并的数据进行保存,有效避免了网络质量差导致数据丢失的风险,提升了数据采集的效率和稳定性。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的网络数据采集方法,此处不再赘述。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种网络数据采集方法,其特征在于,所述网络数据采集方法包括:
获取与目标设备之间所建立的通信连接的通信质量参数;
判断所述通信质量参数是否满足预设数据采集条件;
若满足,则根据已采集的数据对所述目标设备进行数据采集;
将当前采集到的数据与所述已采集的数据进行合并,并对合并后的数据进行保存。
2.如权利要求1所述的网络数据采集方法,其特征在于,所述获取与目标设备之间所建立的通信连接的通信质量参数,包括:
发送预设网络测试请求至所述目标设备,以使所述目标设备根据所述预设网络测试请求反馈对应的请求响应信息;
根据所述响应信息确定与所述目标设备之间所建立的通信连接的通信质量参数。
3.如权利要求2所述的网络数据采集方法,其特征在于,所述根据所述响应信息确定与所述目标设备之间所建立的通信连接的通信质量参数,包括:
根据所述响应信息确定所述目标设备的数据丢包率;
将所述数据丢包率作为与所述目标设备之间所建立的通信连接的通信质量参数。
4.如权利要求3所述的网络数据采集方法,其特征在于,所述将所述数据丢包率作为与所述目标设备之间所建立的通信连接的通信质量参数,包括:
根据所述响应信息确定所述目标设备的响应时长;
将所述响应时长和所述数据丢包率作为与所述目标设备之间所建立的通信连接的通信质量参数。
5.如权利要求1至4中任一项所述的网络数据采集方法,其特征在于,所述获取与目标设备之间所建立的通信连接的通信质量参数之前,所述方法还包括:
获取目标设备所使用的通信协议;
根据预设通信映射表确定与所述通信协议对应的网络地址;
根据所述网络地址建立与所述目标设备之间的通信连接。
6.如权利要求1至4中任一项所述的网络数据采集方法,其特征在于,所述判断所述通信质量参数是否满足预设数据采集条件之后,所述方法还包括:
若不满足,则对已采集的数据进行保存并停止数据采集;
返回所述获取与目标设备之间所建立的通信连接的通信质量参数的步骤。
7.如权利要求1至4中任一项所述的网络数据采集方法,其特征在于,所述将当前采集到的数据与所述已采集的数据进行合并,并对合并后的数据进行保存之后,所述方法还包括:
根据所述通信质量参数和已合并的数据生成数据采集评价;
将所述数据采集评价和所述已合并的数据上传至云端服务器。
8.一种网络数据采集装置,其特征在于,所述网络数据采集装置包括:
通信质量获取模块,用于获取与目标设备之间所建立的通信连接的通信质量参数;
采集条件判断模块,用于判断所述通信质量参数是否满足预设数据采集条件;
数据采集模块,用于若满足,则根据已采集的数据对所述目标设备进行数据采集;
数据合并模块,用于将当前采集到的数据与所述已采集的数据进行合并,并对合并后的数据进行保存。
9.一种网络数据采集设备,其特征在于,所述网络数据采集设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络数据采集程序,所述网络数据采集程序配置为实现如权利要求1至7中任一项所述的网络数据采集方法。
10.一种存储介质,其特征在于,所述存储介质上存储有网络数据采集程序,所述网络数据采集程序被处理器执行时实现如权利要求1至7任一项所述的网络数据采集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111435963.0A CN114268644A (zh) | 2021-11-29 | 2021-11-29 | 网络数据采集方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111435963.0A CN114268644A (zh) | 2021-11-29 | 2021-11-29 | 网络数据采集方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114268644A true CN114268644A (zh) | 2022-04-01 |
Family
ID=80825842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111435963.0A Pending CN114268644A (zh) | 2021-11-29 | 2021-11-29 | 网络数据采集方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114268644A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111770530A (zh) * | 2019-04-01 | 2020-10-13 | Oppo广东移动通信有限公司 | 数据传输方法及相关设备 |
CN112788265A (zh) * | 2019-11-11 | 2021-05-11 | 浙江宇视科技有限公司 | 录像数据保存方法、装置、图像采集设备及可读存储介质 |
WO2021169698A1 (zh) * | 2020-02-26 | 2021-09-02 | 华为技术有限公司 | 一种连接管理方法及相关设备 |
-
2021
- 2021-11-29 CN CN202111435963.0A patent/CN114268644A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111770530A (zh) * | 2019-04-01 | 2020-10-13 | Oppo广东移动通信有限公司 | 数据传输方法及相关设备 |
CN112788265A (zh) * | 2019-11-11 | 2021-05-11 | 浙江宇视科技有限公司 | 录像数据保存方法、装置、图像采集设备及可读存储介质 |
WO2021169698A1 (zh) * | 2020-02-26 | 2021-09-02 | 华为技术有限公司 | 一种连接管理方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103516690B (zh) | 一种业务处理状态信息查询方法及装置 | |
CN100433645C (zh) | 网络设备的管理方法及网络管理系统 | |
CN109347947A (zh) | 一种负载均衡的方法、域名服务器及集群nas服务器 | |
CN109492019A (zh) | 业务请求响应方法、装置、计算机设备和存储介质 | |
Bogachuk et al. | Monitoring subsystem for wireless systems based on miniature spectrum analyzers | |
CN110602149A (zh) | 一种外网访问方法、系统、分流服务器和内网设备 | |
CN110460967A (zh) | 短信平台测试方法、装置、计算机设备及存储介质 | |
CN112202879B (zh) | 中间件管理方法、装置、电子设备和存储介质 | |
CN108183960B (zh) | 基于cdn的文件更新方法、服务器、存储介质及装置 | |
CN111885216A (zh) | Dns查询方法、装置、设备和存储介质 | |
CN112445700A (zh) | 测试方法和装置 | |
CN110661851A (zh) | 数据交换方法和装置 | |
CN115004650B (zh) | 节点配置方法、装置、分布式系统及计算机可读介质 | |
CN106953805A (zh) | 网络线路控制方法、装置及业务终端 | |
CN113688183A (zh) | 多类型数据源抽取方法、系统、终端设备以及存储介质 | |
CN111737084B (zh) | 信息的监控方法、装置、智能设备、计算机设备和介质 | |
CN114268644A (zh) | 网络数据采集方法、装置、设备及存储介质 | |
CN107425994B (zh) | 一种实现参数远程管理的方法、终端和服务器 | |
US20030233453A1 (en) | Topology probing method for mobile IP system | |
CN116776030A (zh) | 灰度发布方法、装置、计算机设备、存储介质 | |
CN111338758A (zh) | 资源管理方法、装置和电子设备 | |
CN114489497B (zh) | 数据映射方法、服务端以及计算机可读存储介质 | |
CN116821215A (zh) | 基于端口查询的opc ua服务器搜索方法 | |
CN110769462A (zh) | 网络访问控制方法和装置 | |
CN101609448A (zh) | 数据库主动扫描系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |