CN109802990B - 一种减少数据冗余的资源日志读写方法和装置 - Google Patents

Abstract

本申请实施例提供了一种减少数据冗余的资源日志读写方法和相应的装置，所述方法和装置应用于视联网，所述视联网中包括依次连接的上级监控管理平台、下级监控管理平台及多个视联网协议转换网关，上级监控管理平台包括上级数据库，下级监控管理平台包括日志记录文件；下级监控管理平台将生成的资源变化日志写入到日志记录文件中，针对上级监控管理平台发送的日志读取指令，从目标位置字节数开始提取后续的所有数据发送至上级监控管理平台，上级监控管理平台根据获取的数据更新日志读取指令，将上次的结束读取位置作为下次的起始读取位置，使得上级监控管理平台获取的数据都是新增加的数据，避免了读取重复数据，提高了数据的读取速度和发送速度。

Description

一种减少数据冗余的资源日志读写方法和装置

技术领域

本申请涉及视联网技术领域，特别是涉及一种减少数据冗余的资源日志读写方法和装置。

背景技术

当视联网上级监控管理平台在重启或要读取新的资源变化数据时，需要重新订阅所有级联的下级监控管理平台的数据，下级监控管理平台将本级所有协转网关监控资源，监控故障报告、监控状态等数据重新向上级推送。正常的使用环境中，一个下级监控管理平台有可能是100万以上的监控资源，此时100万监控资源的状态、信息，故障信息是十分庞大的数据量(以G为单位的数据量)，上级监控管理平台接收到这些资源需要和已有资源进行比对处理，而级联上来的数据可能有80％是上级监控管理平台已有资源数据且这些监控资源在协转网关上没有发生任何变化(监控名称改变，监控状态改变，描述信息(位置，坐标等等)，因而造成了大量的重复数据发送，占用大量带宽资源且读取时间非常长。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种减少数据冗余的资源日志读写方法和相应的一种减少数据冗余的资源日志读写装置。

为了解决上述问题，本申请公开了一种减少数据冗余的资源日志读写方法，所述方法应用于视联网，所述视联网中包括上级监控管理平台、下级监控管理平台及多个视联网协议转换网关，所述上级监控管理平台与所述下级监控管理平台通信连接，所述下级监控管理平台与所述多个视联网协议转换网关通信连接，所述上级监控管理平台包括上级数据库，所述下级监控管理平台包括日志记录文件，所述方法包括：

所述下级监控管理平台针对所述视联网协议转换网关发生的变动操作，生成多个资源变化日志；

所述下级监控管理平台将所述多个资源变化日志按行写入所述日志记录文件；其中，所述日志记录文件具有文件标识及文件总字节数标识，所述文件总字节数标识为写入所述多个资源变化日志的日志记录文件的总字节数的标识；

所述下级监控管理平台接收所述上级监控管理平台发送的日志读取指令；其中，所述日志读取指令包括所述文件标识及目标位置字节数；

所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至写入所述多个资源变化日志的日志记录文件的结尾处字节的所有第一字节数据；

所述下级监控管理平台将所述第一字节数据打包为第一日志文件，并将所述第一日志文件发送至所述上级监控管理平台；其中，所述第一日志文件包括所述文件标识及文件读取位置标识，所述文件读取位置标识与所述文件总字节数标识对应；所述上级监控管理平台用于将所述第一日志文件保存至所述上级数据库，并针对所述第一日志文件生成日志读取记录，所述日志读取记录包括与所述文件标识对应的读取文件标识，以及与所述文件读取位置标识对应的读取位置字节数；所述上级监控管理平台用于针对所述日志读取记录，更新所述日志读取指令，并将更新后的日志读取指令发送至所述下级监控管理平台；更新后的日志读取指令的文件标识与所述读取文件标识对应，更新后的日志读取指令的目标位置字节数与所述文件读取位置字节数对应。

优选地，所述视联网协议转换网关具有网关标识，所述资源变化日志具有与所述网关标识对应的日志标识；所述下级监控管理平台将所述多个资源变化日志按行写入所述日志记录文件的步骤包括：

所述下级监控管理平台基于所述网关标识，在所述日志记录文件中创建N个子日志记录文件；其中，N为大于0的整数；

所述下级监控管理平台基于所述日志标识，将多个所述资源变化日志分别按行写入到对应的子日志记录文件中；其中，所述子日志记录文件具有与所述网关标识对应的子文件标识及子文件总字节数标识，所述子文件总字节数标识为写入所述多个资源变化日志的子日志记录文件的总字节数。

优选地，所述日志读取指令包括N个目标子文件标识及N个子目标位置字节数，所述目标子文件标识与所述子目标位置字节数一一对应；所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至写入所述多个资源变化日志的日志记录文件的结尾处字节的的所有第一字节数据的步骤包括：

所述下级监控管理平台从所述日志读取指令中获取所述目标子文件标识及与所述目标子文件标识对应的所述子目标位置字节数；

所述下级监控管理平台针对所述目标子文件标识，在多个所述子日志记录文件中确定目标子日志记录文件；

所述下级监控管理平台在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至所述目标子日志记录文件的结尾处字节的的所有第二字节数据。

优选地，所述下级监控管理平台在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至所述目标子日志记录文件的结尾处字节的所有第二字节数据的步骤，包括：

所述下级监控管理平台针对所述日志读取指令，判断在所述目标子日志记录文件中，从所述子目标位置字节数对应的目标字节至所述目标子日志记录文件的字节数是否为0；

若是，则所述下级监控管理平台生成第二零字节信息，并将所述第二零字节信息发送至所述上级监控管理平台；所述上级监控管理平台用于将所述第二零字节信息保存至所述上级数据库；其中，所述第二零字节信息具有所述目标子文件标识。

若否，则所述下级监控管理平台在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至结尾处字节的所有第二字节数据。

优选地，所述下级监控管理平台将所述第二字节数据打包为第二日志文件，并将所述第二日志文件发送至所述上级监控管理平台；其中，所述第二日志文件包括所述子文件标识及子文件读取位置标识，所述子文件读取位置标识与所述子文件总字节数标识对应；所述上级监控管理平台用于将所述第二日志文件保存至所述上级数据库，并针对所述第二日志文件生成日志读取记录，所述日志读取记录包括与所述子文件标识对应的子读取文件标识，以及与所述子文件读取位置标识对应的子读取位置字节数；所述上级监控管理平台用于针对所述日志读取记录，更新所述日志读取指令，更新后的日志读取指令的目标子文件标识与子读取文件标识对应，更新后的日志读取指令的子目标位置字节数与子读取位置字节数对应。

优选地，所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据的步骤，包括：

所述下级监控管理平台针对所述日志读取指令，判断在写入所述多个资源变化日志的日志记录文件中，从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数是否为0；

若是，则所述下级监控管理平台生成第一零字节信息，并将所述第一零字节信息发送至所述上级监控管理平台；所述上级监控管理平台用于将所述第一零字节信息保存至所述上级数据库；

若否，则所述下级监控管理平台在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据。

为了解决上述技术问题，本申请还公开了一种减少数据冗余的资源日志读写装置，所述装置应用于视联网，所述视联网中包括上级监控管理平台、下级监控管理平台及多个视联网协转网关，所述上级监控管理平台与所述下级监控管理平台通信连接，所述下级监控管理平台与所述多个视联网协议转换网关通信连接，所述上级监控管理平台包括上级数据库，所述下级监控管理平台包括日志记录文件，所述装置包括：

资源变化日志生成模块，用于针对所述视联网协议转换网关发生的变动操作，生成多个资源变化日志；

资源变化日志写入模块，用于将所述多个资源变化日志按行写入所述日志记录文件；其中，所述日志记录文件具有文件标识及文件总字节数标识；

日志读取指令获取模块，用于接收所述上级监控管理平台每间隔预设的时间发送的日志读取指令；其中，所述日志读取指令包括所述文件标识及目标位置字节数；

目标数据提取模块，用于针对所述日志读取指令，在写入所述多个资源

变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据；

目标数据发送模块，用于将所述第一字节数据打包为第一日志文件，并将所述第一日志文件发送至所述上级监控管理平台；其中，所述第一日志文件包括所述文件标识及文件读取位置标识，所述文件读取位置标识与所述文件总字节数标识对应；所述上级监控管理平台用于将所述第一日志文件保存至所述上级数据库，并针对所述第一日志文件生成日志读取记录，所述日志读取记录包括与所述文件标识对应的读取文件标识，以及与所述文件读取位置标识对应的读取位置字节数；所述上级监控管理平台用于在等待预设的时间后针对所述日志读取记录更新所述日志读取指令，并将更新后的日志读取指令发送至所述下级监控管理平台；更新后的日志读取指令的文件标识与所述读取文件标识对应，更新后的日志读取指令的目标位置字节数与所述读取位置字节数对应。

优选地，所述视联网协议转换网关具有网关标识，所述资源变化日志具有与所述网关标识对应的日志标识；所述资源变化日志写入模块还包括：

子日志记录文件创建子模块，用于基于所述网关标识，在所述日志记录文件中创建多个子日志记录文件；

分类写入子模块，用于基于所述日志标识，将多个所述资源变化日志分别写入到对应的子日志记录文件中；其中，所述子日志记录文件具有与所述网关标识对应的子文件标识及子文件总字节数标识，所述子文件总字节数标识为写入所述多个资源变化日志的子日志记录文件的总字节数。

优选地，所述日志读取指令包括多个目标子文件标识及多个子目标位置字节数，所述目标子文件标识与所述子目标位置字节数一一对应；所述目标数据提取模块还包括：

日志读取指令解析子模块，用于从所述日志读取指令中获取所述目标子文件标识及与所述目标子文件标识对应的所述子目标位置字节数；

目标子日志记录文件查找子模块，用于针对所述目标子文件标识，在多个所述子日志记录文件中确定目标子日志记录文件；

子数据提取子模块，用于在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至结尾处字节的所有第二字节数据。

优选地，所述目标数据提取模块还包括：

判断子模块，针对所述日志读取指令，判断在写入所述多个资源变化日志的日志记录文件中，从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数是否为0；

零字节信息生成子模块，用于在从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数为0时，生成第一零字节信息，并将所述第一零字节信息发送至所述上级监控管理平台，以通知述上级监控管理平台用于将所述第一零字节信息保存至所述上级数据库；

数据提取子模块，用于在从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数不为0时，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据。

与现有技术相比，本申请实施例具有以下优点：

首先，本申请实施例应用视联网的特性，下级监控管理平台将资源变化日志按行写入日志记录文件中，之后根据上级监控管理平台发送的日志读取指令，在日志记录文件中提取对应的字节数据，并将字节数据打包为日志文件发送给上级监控管理平台，该日志文件携带文件标识及文件总字节数标识，上级监控管理平台接收到该日志文件后，将该日志文件保存到上级数据库，并根据日志文件的文件标识及文件总字节数标识生成日志读取记录，从而在发送下一个日志读取指令时，依据日志读取记录更新日志读取指令内的文件标识和读取目标位置，下级监控管理平台在再次接收到日志读取指令时，不会再从日志文件的开头读取数据，而是从前次结束读取的位置开始提取新写入的资源变化日志，因此，本申请实施例的资源日志读写是承继式的读写，而不是重复式的读写，创建了资源变化日志的增量读取模式。在上级监控管理平台重启时或重新同步下级监控管理平台的资源变化日志时，采用本申请实施例的方法，剔除了大量重复数据，提高了资源变化日志的读取效率，

其次，通过建立属于每个视联网协议转换网关的子日志记录文件，并将属于视联网协议转换网关的资源变化日志写入到对应的子日志记录文件中，使得下级监控管理平台可以将资源变化日志以视联网协议转换网关进行分类存储，以便查看和分析；上级监控管理平台接收到的数据也是各个子日志记录文件中针对视联网协议转换网关的分类数据，因而，上级监控管理平台可以根据获得的数据，有针对性地分析每个视联网协议转换网关连接的监控资源变化情况，使得资源变化日志具有较强的可分析性。

附图说明

图1是本申请的一种视联网的组网示意图；

图2是本申请的一种节点服务器的硬件结构示意图；

图3是本申请的一种接入交换机的硬件结构示意图；

图4是本申请的一种以太网协转网关的硬件结构示意图；

图5是本申请的一种减少数据冗余的资源日志读写方法实施例1的步骤流程图；

图6是本申请的一种减少数据冗余的资源日志读写方法实施例1的应用环境及原理图；

图7是本申请的一种减少数据冗余的资源日志读写方法实施例2的步骤流程图；

图8是本申请的一种减少数据冗余的资源日志读写方法实施例2的方法原理图；

图9是本申请的一种减少数据冗余的资源日志读写装置实施例3的结构框图；

图10是本申请的一种减少数据冗余的资源日志读写装置实施例3资源变化日志写入模块的结构框图；

图11是本申请的一种减少数据冗余的资源日志读写装置实施例3目标数据提取模块的结构框图；

图12是本申请的一种减少数据冗余的资源日志读写装置实施例3目标数据提取模块的另一结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

视联网是网络发展的重要里程碑，是一个实时网络，能够实现高清视频实时传输，将众多互联网应用推向高清视频化，高清面对面。

视联网采用实时高清视频交换技术，可以在一个网络平台上将所需的服务，如高清视频会议、视频监控、智能化监控分析、应急指挥、数字广播电视、延时电视、网络教学、现场直播、VOD点播、电视邮件、个性录制(PVR)、内网(自办)频道、智能化视频播控、信息发布等数十种视频、语音、图片、文字、通讯、数据等服务全部整合在一个系统平台，通过电视或电脑实现高清品质视频播放。

为使本领域技术人员更好地理解本申请实施例，以下对视联网进行介绍：

视联网所应用的部分技术如下所述：

网络技术(NetworkTechnology)

视联网的网络技术创新改良了传统以太网(Ethernet)，以面对网络上潜在的巨大视频流量。不同于单纯的网络分组包交换(Packet Switching)或网络电路交换(CircuitSwitching)，视联网技术采用Packet Switching满足Streaming需求。视联网技术具备分组交换的灵活、简单和低价，同时具备电路交换的品质和安全保证，实现了全网交换式虚拟电路，以及数据格式的无缝连接。

交换技术(Switching Technology)

视联网采用以太网的异步和包交换两个优点，在全兼容的前提下消除了以太网缺陷，具备全网端到端无缝连接，直通用户终端，直接承载IP数据包。用户数据在全网范围内不需任何格式转换。视联网是以太网的更高级形态，是一个实时交换平台，能够实现目前互联网无法实现的全网大规模高清视频实时传输，将众多网络视频应用推向高清化、统一化。

服务器技术(ServerTechnology)

视联网和统一视频平台上的服务器技术不同于传统意义上的服务器，它的流媒体传输是建立在面向连接的基础上，其数据处理能力与流量、通讯时间无关，单个网络层就能够包含信令及数据传输。对于语音和视频业务来说，视联网和统一视频平台流媒体处理的复杂度比数据处理简单许多，效率比传统服务器大大提高了百倍以上。

储存器技术(Storage Technology)

统一视频平台的超高速储存器技术为了适应超大容量和超大流量的媒体内容而采用了最先进的实时操作系统，将服务器指令中的节目信息映射到具体的硬盘空间，媒体内容不再经过服务器，瞬间直接送达到用户终端，用户等待一般时间小于0.2秒。最优化的扇区分布大大减少了硬盘磁头寻道的机械运动，资源消耗仅占同等级IP互联网的20％，但产生大于传统硬盘阵列3倍的并发流量，综合效率提升10倍以上。

网络安全技术(Network Security Technology)

视联网的结构性设计通过每次服务单独许可制、设备与用户数据完全隔离等方式从结构上彻底根除了困扰互联网的网络安全问题，一般不需要杀毒程序、防火墙，杜绝了黑客与病毒的攻击，为用户提供结构性的无忧安全网络。

服务创新技术(Service Innovation Technology)

统一视频平台将业务与传输融合在一起，不论是单个用户、私网用户还是一个网络的总合，都不过是一次自动连接。用户终端、机顶盒或PC直接连到统一视频平台，获得丰富多彩的各种形态的多媒体视频服务。统一视频平台采用“菜谱式”配表模式来替代传统的复杂应用编程，可以使用非常少的代码即可实现复杂的应用，实现“无限量”的新业务创新。

视联网的组网如下所述：

视联网是一种集中控制的网络结构，该网络可以是树型网、星型网、环状网等等类型，但在此基础上网络中需要有集中控制节点来控制整个网络。

如图1所示，视联网分为接入网和城域网两部分。

接入网部分的设备主要可以分为3类：节点服务器，接入交换机，终端(包括各种机顶盒、编码板、存储器等)。节点服务器与接入交换机相连，接入交换机可以与多个终端相连，并可以连接以太网。

其中，节点服务器是接入网中起集中控制功能的节点，可控制接入交换机和终端。节点服务器可直接与接入交换机相连，也可以直接与终端相连。

类似的，城域网部分的设备也可以分为3类：城域服务器，节点交换机，节点服务器。城域服务器与节点交换机相连，节点交换机可以与多个节点服务器相连。

其中，节点服务器即为接入网部分的节点服务器，即节点服务器既属于接入网部分，又属于城域网部分。

城域服务器是城域网中起集中控制功能的节点，可控制节点交换机和节点服务器。城域服务器可直接连接节点交换机，也可直接连接节点服务器。

由此可见，整个视联网络是一种分层集中控制的网络结构，而节点服务器和城域服务器下控制的网络可以是树型、星型、环状等各种结构。

形象地称，接入网部分可以组成统一视频平台(虚线圈中部分)，多个统一视频平台可以组成视联网；每个统一视频平台可以通过城域以及广域视联网互联互通。

视联网设备分类

1.1本申请实施例的视联网中的设备主要可以分为3类：服务器，交换机(包括以太网网关)，终端(包括各种机顶盒，编码板，存储器等)。视联网整体上可以分为城域网(或者国家网、全球网等)和接入网。

1.2其中接入网部分的设备主要可以分为3类：节点服务器，接入交换机(包括以太网网关)，终端(包括各种机顶盒，编码板，存储器等)。

各接入网设备的具体硬件结构为：

节点服务器：

如图2所示，主要包括网络接口模块201、交换引擎模块202、CPU模块203、磁盘阵列模块204；

其中，网络接口模块201，CPU模块203、磁盘阵列模块204进来的包均进入交换引擎模块202；交换引擎模块202对进来的包进行查地址表205的操作，从而获得包的导向信息；并根据包的导向信息把该包存入对应的包缓存器206的队列；如果包缓存器206的队列接近满，则丢弃；交换引擎模202轮询所有包缓存器队列，如果满足以下条件进行转发：1)该端口发送缓存未满；2)该队列包计数器大于零。磁盘阵列模块204主要实现对硬盘的控制，包括对硬盘的初始化、读写等操作；CPU模块203主要负责与接入交换机、终端(图中未示出)之间的协议处理，对地址表205(包括下行协议包地址表、上行协议包地址表、数据包地址表)的配置，以及，对磁盘阵列模块204的配置。

接入交换机：

如图3所示，主要包括网络接口模块(下行网络接口模块301、上行网络接口模块302)、交换引擎模块303和CPU模块304；

其中，下行网络接口模块301进来的包(上行数据)进入包检测模块305；包检测模块305检测包的目地地址(DA)、源地址(SA)、数据包类型及包长度是否符合要求，如果符合，则分配相应的流标识符(stream-id)，并进入交换引擎模块303，否则丢弃；上行网络接口模块302进来的包(下行数据)进入交换引擎模块303；CPU模块204进来的数据包进入交换引擎模块303；交换引擎模块303对进来的包进行查地址表306的操作，从而获得包的导向信息；如果进入交换引擎模块303的包是下行网络接口往上行网络接口去的，则结合流标识符(stream-id)把该包存入对应的包缓存器307的队列；如果该包缓存器307的队列接近满，则丢弃；如果进入交换引擎模块303的包不是下行网络接口往上行网络接口去的，则根据包的导向信息，把该数据包存入对应的包缓存器307的队列；如果该包缓存器307的队列接近满，则丢弃。

交换引擎模块303轮询所有包缓存器队列，在本申请实施例中分两种情形：

如果该队列是下行网络接口往上行网络接口去的，则满足以下条件进行转发：1)该端口发送缓存未满；2)该队列包计数器大于零；3)获得码率操作模块产生的令牌；

如果该队列不是下行网络接口往上行网络接口去的，则满足以下条件进行转发：1)该端口发送缓存未满；2)该队列包计数器大于零。

码率操作模块208是由CPU模块204来配置的，在可编程的间隔内对所有下行网络接口往上行网络接口去的包缓存器队列产生令牌，用以控制上行转发的码率。

CPU模块304主要负责与节点服务器之间的协议处理，对地址表306的配置，以及，对码率操作模块308的配置。

以太网协转网关：

如图4所示，主要包括网络接口模块(下行网络接口模块401、上行网络接口模块402)、交换引擎模块403、CPU模块404、包检测模块405、码率操作模块408、地址表406、包缓存器407和MAC添加模块409、MAC删除模块410。

其中，下行网络接口模块401进来的数据包进入包检测模块405；包检测模块405检测数据包的以太网MAC DA、以太网MAC SA、以太网length or frame type、视联网目地地址DA、视联网源地址SA、视联网数据包类型及包长度是否符合要求，如果符合则分配相应的流标识符(stream-id)；然后，由MAC删除模块410减去MAC DA、MAC SA、length or frame type(2byte)，并进入相应的接收缓存，否则丢弃；

下行网络接口模块401检测该端口的发送缓存，如果有包则根据包的视联网目地地址DA获知对应的终端的以太网MAC DA，添加终端的以太网MAC DA、以太网协转网关的MACSA、以太网length or frame type，并发送。

以太网协转网关中其他模块的功能与接入交换机类似。

终端：

主要包括网络接口模块、业务处理模块和CPU模块；例如，机顶盒主要包括网络接口模块、视音频编解码引擎模块、CPU模块；编码板主要包括网络接口模块、视音频编码引擎模块、CPU模块；存储器主要包括网络接口模块、CPU模块和磁盘阵列模块。

1.3城域网部分的设备主要可以分为2类：节点服务器，节点交换机，城域服务器。其中，节点交换机主要包括网络接口模块、交换引擎模块和CPU模块；城域服务器主要包括网络接口模块、交换引擎模块和CPU模块构成。

2、视联网数据包定义

2.1接入网数据包定义

接入网的数据包主要包括以下几部分：目的地址(DA)、源地址(SA)、保留字节、payload(PDU)、CRC。

如下表所示，接入网的数据包主要包括以下几部分：

DA

SA

Reserved

Payload

CRC

其中：

目的地址(DA)由8个字节(byte)组成，第一个字节表示数据包的类型(例如各种协议包、组播数据包、单播数据包等)，最多有256种可能，第二字节到第六字节为城域网地址，第七、第八字节为接入网地址；

源地址(SA)也是由8个字节(byte)组成，定义与目的地址(DA)相同；

保留字节由2个字节组成；

payload部分根据不同的数据报的类型有不同的长度，如果是各种协议包的话是64个字节，如果是单组播数据包话是32+1024＝1056个字节，当然并不仅仅限于以上2种；

CRC有4个字节组成，其计算方法遵循标准的以太网CRC算法。

2.2城域网数据包定义

城域网的拓扑是图型，两个设备之间可能有2种、甚至2种以上的连接，即节点交换机和节点服务器、节点交换机和节点交换机、节点交换机和节点服务器之间都可能超过2种连接。但是，城域网设备的城域网地址却是唯一的，为了精确描述城域网设备之间的连接关系，在本申请实施例中引入参数：标签，来唯一描述一个城域网设备。

本说明书中标签的定义和MPLS(Multi-Protocol Label Switch，多协议标签交换)的标签的定义类似，假设设备A和设备B之间有两个连接，那么数据包从设备A到设备B就有2个标签，数据包从设备B到设备A也有2个标签。标签分入标签、出标签，假设数据包进入设备A的标签(入标签)是0x0000，这个数据包离开设备A时的标签(出标签)可能就变成了0x0001。城域网的入网流程是集中控制下的入网过程，也就意味着城域网的地址分配、标签分配都是由城域服务器主导的，节点交换机、节点服务器都是被动的执行而已，这一点与MPLS的标签分配是不同的，MPLS的标签分配是交换机、服务器互相协商的结果。

如下表所示，城域网的数据包主要包括以下几部分：

DA

SA

Reserved

标签

Payload

CRC

即目的地址(DA)、源地址(SA)、保留字节(Reserved)、标签、payload(PDU)、CRC。其中，标签的格式可以参考如下定义：标签是32bit，其中高16bit保留，只用低16bit，它的位置是在数据包的保留字节和payload之间。

基于视联网的上述特性，提出了本申请实施例的核心构思之一，遵循视联网的协议，下级监控管理平台将资源变化日志按行写入日志记录文件中，根据上级监控管理平台发送的日志读取指令，在日志记录文件中提取对应的第一字节数据发送给上级监控管理平台，上级监控管理平台保存该第一字节数据数据并根据获得的该第一字节数据更新日志读取指令的读取位置，下级监控管理平台在接收到上级监控管理平台更新后的日志读取指令时，从前次结束读取时的文件位置处继续提取后续的数据发给上级监控管理平台，以解决现有技术中上级监控管理平台每次读取下级监控管理平台的资源变化数据时，下级监控管理平台都发送整个的资源变化数据，造成了大量重复数据的发送的问题，以及数据量大，传输速度慢读取时间长的问题。

实施例一

参照图5，图5示出了本申请的一种减少数据冗余的资源日志读写方法实施例1的步骤流程图，在本申请实施例中，所述方法可以应用于视联网，所述视联网中包括上级监控管理平台506、下级监控管理平台507及多个视联网协议转换网关508，所述上级监控管理平台506可以与所述下级监控管理平台507通信连接，所述下级监控管理平台507可以与所述多个视联网协议转换网关508通信连接，所述上级监控管理平台506可以包括上级数据库，所述下级监控管理平台507可以包括日志记录文件。

本申请实施例的应用环境参见图6所示，上级监控管理平台506可以理解为是视联网中处于上级的视联网监控统一管理平台，下级监控管理平台507可以理解为是视联网中处于下级的视联网监控统一管理平台，上级监控管理平台506与下级监控管理平台507之间采用视联网通信协议进行通信，实际中，一个上级监控管理平台506可以连接多个下级监控管理平台507，一个视联网协议转换网关508可以连接多个监控终端，该监控终端可以是互联网内的监控终端，所有的监控终端构成下级监控管理平台507的监控资源。

其中，上级数据库可以是SQL类型的数据库，日志记录文件可以理解为是用于记录平台操作事件的记录文件或文件集合的一种日志文件，可分为事件日志和消息日志；具有处理历史数据、诊断问题的追踪以及理解下级监控管理平台507进行监控资源管理的活动等重要作用。

本申请实施例的一种减少数据冗余的资源日志读写方法，具体可以包括以下步骤：

步骤501，所述下级监控管理平台507针对所述视联网协议转换网关508发生的变动操作，生成多个资源变化日志。

变动操作可以包括增加视联网协议转换网关508、删除视联网协议转换网关508、改变视联网协议转换网关508的名称或者改变与视联网协议转换网关508连接的监控终端的数量，下级监控管理平台507对视联网协议转换网关508上发生的每一个变动操作都会相应生成资源变化日志。

实际中，针对视联网协议转换网关508发生的变动操作是持续性的，即会持续性发生变动操作，则会持续性生成多个资源变化日志。

步骤502，所述下级监控管理平台507将所述多个资源变化日志按行写入所述日志记录文件。

其中，所述日志记录文件具有文件标识及文件总字节数标识，所述文件总字节数标识为写入所述多个资源变化日志的日志记录文件的总字节数的标识。

按行写入资源变化日志，可以理解为是将资源变化日志一行一行写到日志记录文件中，当写满一行时，自动换行。具体实行时，可以采用对象简谱json的数字格式将资源变化日志一行一行写到日志记录文件中，json格式具有简洁和清晰的层次结构，易于人阅读和编写，同时也易于机器解析和生成，这样使得日志记录文件中的数据易于读取，能有效提升网络传输效率。

本申请实施例中，所述文件标识可以理解为是下级监控管理平台507在创建日志记录文件时，自动生成的文件标识，例如，文件标识可以为“日志文件”；总字节数可以理解是表示日志记录文件的文件大小的一个计量方式，用单位B表示，通常情况下1KB文件大小等于1024B字节数，字节数可以用来确定文件位置；总字节数标识即是日志记录文件中所有数据的总字节数。

步骤503，所述下级监控管理平台507接收所述上级监控管理平台506发送的日志读取指令。

其中，所述日志读取指令包括所述文件标识及目标位置字节数。

实际中，资源变化日志持续性生成，上级监控管理平台506会隔一段时间便读取资源变化日志。

具体施行时，上级监控管理平台506在初次发送的日志读取指令中的目标位置字节数可以是0，这样，读取新级联的下级监控管理平台507的资源变化日志时，是从日志记录文件中的0字节开始读取数据。

步骤504，所述下级监控管理平台507针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至写入所述多个资源变化日志的日志记录文件的结尾处字节的所有第一字节数据。

实际中，下级监控管理平台507会持续地将资源变化日志写入日志记录文件，每接到一个日志读取指令，在当前的日志记录文件中会提取从目标位置字节数对应的目标字节之后的所有数据。

作为本申请实施例的一种优选示例，步骤504具体可以包括以下子步骤：

子步骤5041，所述下级监控管理平台507针对所述日志读取指令，判断在写入所述多个资源变化日志的日志记录文件中，从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数是否为0；若是，则转子步骤5042；若否，则转子步骤5043。

实际中，资源变化日志虽然是持续生成，但是相邻两个资源变化日志之间的间隔时间长短不一，会出现在下级监控管理平台507在相邻两个日志读取指令的期间没有资源变化日志生成的情况，在本申请实施例中，若从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数为0，则表示在相邻两个日志读取指令的期间无资源变化日志生成；若不为0，则表示在相邻两个日志读取指令的期间有资源变化日志生成。该优选方案即是针对此种情况而做的进一步优化。

子步骤5042，所述下级监控管理平台507生成第一零字节信息，并将所述第一零字节信息发送至所述上级监控管理平台506。

所述上级监控管理平台506用于将所述第一零字节信息保存至所述上级数据库。

此种情况下，表示下级监控管理平台507在上一次提取第一字节数据后，没有新的资源变化日志写入，即没有数据可以读取，此时，下级监控管理平台507会生成零字节信息，本申请实施例中，零字节信息可以理解为是表示当前日志读取指令中的目标位置字节数已经是文件结尾字符，上级监控管理平台506在接收到零字节信息时，会将零字节信息存入上级数据库中，并暂停更新日志读取指令，在间隔预设的时间后，将上次的日志读取指令发送给下级监控管理平台507。如此，可以通过零字节信息判断视联网协议转换网关508的变化频率。

子步骤5043，所述下级监控管理平台507在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据。

此种情况，表示下级监控管理平台507在上一次提取第一字节数据后，有新的资源变化日志写入，此时，下级监控管理平台507只需要提取新写入资源变化日志的数据。

步骤505，所述下级监控管理平台507将所述第一字节数据打包为第一日志文件，并将所述第一日志文件发送至所述上级监控管理平台506。

其中，所述第一日志文件包括所述文件标识及文件读取位置标识，所述文件读取位置标识与所述文件总字节数标识对应；所述上级监控管理平台506用于将所述第一日志文件保存至所述上级数据库，并针对所述第一日志文件生成日志读取记录，所述日志读取记录包括与所述文件标识对应的读取文件标识，以及与所述文件读取位置标识对应的读取位置字节数；所述上级监控管理平台506用于针对所述日志读取记录，更新所述日志读取指令，并将更新后的日志读取指令发送至所述下级监控管理平台507；更新后的日志读取指令的文件标识与所述读取文件标识对应，更新后的日志读取指令的目标位置字节数与所述文件读取位置字节数对应。

将第一字节数据打包可以是采用zip或rar压缩该第一字节数据，将第一字节数据进行压缩打包后上传，会进一步减小第一字节数据的大小，占用网络带宽小，传输速度大。上级监控管理在接收到第一日志文件后，可以先对第一日志文件进行解压，再进行json解析将第一字节数据还原为资源变化日志，之后将该资源变化日志采用SQL语言写进上级数据库。

实际中，文件读取位置标识与文件总字节数标识对应，表明下级监控管理平台507当前在日志记录文件中读取到文件读取位置标识的位置处，上级监控管理平台506则将该文件读取位置标识及文件标识进行记录后，将日志读取指令中的目标位置字节数更新为第一日志文件中的文件读取位置标识对应的字节数，并将更新后的日志读取指令发送至所述下级监控管理平台507；这样，下级监控管理平台507在间隔预设的时间接收到的该更新后的日志读取指令后，会继续从文件总字节数标识对应的位置开始读取剩余的全部数据。这样，每一次下级监控管理平台507读取的数据都是新增加的数据，不会重复读取之前已经读取过的数据，不仅减小了数据的读取量提高了传输速度，而且剔除了大量重复的数据。

例如，第一日志文件的文件总字节数标识是20476B，表示下级监控管理平台507当前在日志记录文件中读取到20476B的位置，则上级监控管理平台506生成的文件读取记录中的文件读取位置标识则也是20476B，更新后的日志读取指令的目标位置字节数为20476B，则下级监控管理平台507在接收到该更新后的日志读取指令后，继续从20476B开始的位置处向后读取剩余的全部数据。

执行完该步骤后，又循环重复以上操作，即上级监控管理平台506更新日志读取指令后，变又将日志读取指令发送给下级监控管理平台507，使得下级监控管理平台507能将新生成的资源变化日志都同步到上级监控管理平台506。

本申请实施例在具体施行时，下级监控管理平台507第一次接收到的日志读取指令的目标位置字节数是0，使下级监控管理平台507在首次发送数据时，是发送的日志记录文件中的全部数据；之后，下级监控管理平台507还会将新生成的资源变化日志写进日志记录文件，在首次发送数据后，后续接收到日志读取指令时，只需要将新写入的数据发送给上级监控管理平台506。

本申请实施例，应用视联网的特性，所述下级监控管理平台507将生成的资源变化日志写入到一个日志记录文件中，针对上级监控管理平台506发送的日志读取指令，将从目标位置字节数开始提取的后续的所有数据打包成第一日志文件，上级监控管理平台506针对第一日志文件，生成日志读取记录并更新日志读取指令中的目标位置字节数，使得上级监控管理平台506继首次读取后，获取的数据都是新增加的数据，避免了上级监控管理平台506重新启动后再次读取的数据的重复性，缩短了读取时间，提高了数据的读取速度和发送速度。

实施例二

参照图7，示出了本申请的一种减少数据冗余的资源日志读写方法实施例2的步骤流程图，在本申请实施例中，所述方法可以应用于视联网，所述视联网中可以包括上级监控管理平台506、下级监控管理平台507及多个视联网协议转换网关508，所述上级监控管理平台506可以与所述下级监控管理平台507通信连接，所述下级监控管理平台507可以与所述多个视联网协议转换网关508通信连接，所述上级监控管理平台506可以包括上级数据库，所述下级监控管理平台507可以包括日志记录文件，所述视联网协议转换网关508可以具有网关标识。

本申请实施例应用的环境图及原理可以参照图8所示，本申请实施例从将多个资源变化日志分别写入到多个日志文件的方面进行阐述。

实际中，当下级监控管理平台507与上级监控管理平台506的级联关系建立后，下级监控管理平台507会自动将视联网协议转换网关508的基本信息、本级的日志记录文件的路径信息和标识信息发送给上级监控管理平台506，以作为上级监控管理平台506的基础数据。之后，上级监控管理平台506再后续获取下级监控管理平台507的资源变化日志信息。其中，联网协议转换网关的基本信息包括联网协议转换网关的网关标识、连接的监控终端的终端号码、终端MAC地址。

本申请实施例的一种减少数据冗余的资源日志读写方法，具体可以包括以下步骤：

步骤601，所述下级监控管理平台507针对所述视联网协议转换网关508发生的变动操作，生成多个资源变化日志。

生成的资源变化日志具有与所述网关标识对应的日志标识。

本步骤的具体实施过程，可以参考实施例1的步骤501的描述。

步骤602，所述下级监控管理平台507将所述多个资源变化日志按行写入所述日志记录文件。

其中，所述日志记录文件具有文件标识及文件总字节数标识，所述文件总字节数标识为写入所述多个资源变化日志的日志记录文件的总字节数。

本申请实施例中，该步骤602的过程具体可以是：所述下级监控管理平台507将所述多个资源变化日志按行写入多个子日志记录文件中；其中，所述日志记录文件具有子文件标识及子文件总字节数标识，所述子文件总字节数标识为写入所述多个资源变化日志的子日志记录文件的总字节数。

作为本申请实施例的一种优选措施，步骤602将所述多个资源变化日志按行写入多个子日志记录文件中的过程，具体可以包括以下子步骤：

步骤6021，所述下级监控管理平台507基于所述网关标识，在所述日志记录文件中创建N个子日志记录文件，其中，N为大于0的整数。

实际中，视联网协议转换网关508连接有多个监控资源，删除或新增监控资源都会由视联网协议转换网关508上报到下级监控管理平台507，下级监控管理平台507再针对视联网协议转换网关508上报的资源变化信息生成资源变化日志，其资源变化日志便会具有网关标识。

下级监控管理平台507为每一个视联网协议转换网关508建立一个子日志记录文件，使得针对视联网协议转换网关508生成的资源变化日志通过日志标识查找到对应的子日志记录文件，并按行写入到子日志记录文件中。以此，便形成了按照视联网协议转换网进行分类存储的日志文件数据；便于有针对性地分析视联网协议转换网关508连接的监控资源变化情况。

步骤6022，所述下级监控管理平台507基于所述日志标识，将多个所述资源变化日志分别按行写入到对应的子日志记录文件中。

其中，所述子日志记录文件具有与所述网关标识对应的子文件标识及子文件总字节数标识，所述子文件总字节数标识为写入所述多个资源变化日志的子日志记录文件的总字节数。

将多个所述资源变化日志分别按行写入到对应的子日志记录文件中，具体的写入过程可以参照实施例1中，对步骤502的描述。

网关标识可以是视联网协议转换网关508的号码，子文件标识可以将网关标识进行转换后形成的数字编码或者文本字符，也可以是视联网协议转换网关508的号码；子文件总字节数标识表示该子日志记录文件的总字节数，可以用字节数单位表示，例如1021B。

步骤603，所述下级监控管理平台507接收所述上级监控管理平台506发送的日志读取指令。

其中，所述日志读取指令包括N个目标子文件标识及N个子目标位置字节数，所述目标子文件标识与所述子目标位置字节数一一对应。

该目标子文件标识及子目标位置字节数的个数与子日志记录文件的个数相同，这样每发送的一个日志读取指令针对的是所有子日志记录文件。

具体施行时，上级监控管理平台506初次发送的日志读取指令中的子目标位置字节数可以是0，这样，读取新级联的下级监控管理平台507的资源变化日志时，是从子日志记录文件中的0字节开始读取数据。

步骤604，所述下级监控管理平台507针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据。

本申请实施例中，基于生成的多个子日志记录文件，本步骤604具体的过程为：下级监控管理平台507针对所述日志读取指令，在写入所述多个资源变化日志的子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至结尾处字节的所有第二字节数据。

作为本申请实施例的一种优选，下级监控管理平台507提取第二字节数据的步骤具体可以包括以下子步骤：

子步骤6041，所述下级监控管理平台507从所述日志读取指令中获取所述目标子文件标识及与所述目标子文件标识对应的所述子目标位置字节数。

实际中，日志读取指令可以是视联网协议数据包，下级监控管理平台507可以利用XML解析出目标子文件标识与子目标位置字节数。

子步骤6042，所述下级监控管理平台507针对所述目标子文件标识，在多个所述子日志记录文件中确定目标子日志记录文件。

子步骤6043，所述下级监控管理平台507在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至结尾处字节的所有第二字节数据。

本子步骤6043的施行过程，可以参照实施例1的描述进行。

作为本申请实施例的一种优选示例，子步骤6043具体可以包括以下子步骤：

子步骤a1，所述下级监控管理平台507针对所述日志读取指令，判断在所述目标子日志记录文件中，从所述子目标位置字节数对应的目标字节至结尾处字节的字节数是否为0；若是，则转子步骤a2；若否，则转子步骤a3。

对于本步骤的具体施行过程，可以参照实施例1的步骤5041的描述。

子步骤a2，所述下级监控管理平台507生成第二零字节信息，并将所述第二零字节信息发送至所述上级监控管理平台506；所述上级监控管理平台506用于将所述第二零字节信息保存至所述上级数据库；其中，所述第二零字节信息具有所述目标子文件标识。

此种情况下，表示下级监控管理平台507在上一次提取第一字节数据后，某个子日志记录文件没有新的资源变化日志写入，即没有数据可以读取，此时，下级监控管理平台507会生成零字节信息，该零字节信息具有没有写入新资源变化日志的子日志记录文件的子文件标识，上级监控管理平台506在接收到零字节信息时，会将零字节信息存入上级数据库中。如此，可以通过零字节信息针对性的分析某个视联网协议转换网关508的变化频率。

子步骤a3，则所述下级监控管理平台507在在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至结尾处字节的所有第二字节数据。

对于本步骤的具体施行过程，可以参照实施例1的步骤5043的描述。

步骤605，所述下级监控管理平台507将所述第二字节数据打包为第二日志文件，并将所述第二日志文件发送至所述上级监控管理平台506。

其中，所述第二日志文件包括所述子文件标识及子文件读取位置标识，所述子文件读取位置标识与所述子文件总字节数标识对应；所述上级监控管理平台506用于将所述第二日志文件保存至所述上级数据库，并针对所述第二日志文件生成日志读取记录，所述日志读取记录包括与所述子文件标识对应的子读取文件标识，以及与所述子文件读取位置标识对应的子读取位置字节数；所述上级监控管理平台506用于针对所述日志读取记录，更新所述日志读取指令，更新后的日志读取指令的目标子文件标识与子读取文件标识对应，更新后的日志读取指令的子目标位置字节数与子读取位置字节数对应。

实际中，下级监控管理平台507提取的第二字节数据有N个，则第二日志文件也为N个，下级监控管理平台507每成功提取一个第二字节数据，就将第二字节数据打包为第二日志文发送给上级监控管理平台506。上级监控管理平台506在生成日志读取记录时，可以根据所有的第二日志文件生成一个日志读取记录，也可以根据每一个第二日志文件生成N个日志读取记录，在针对日志读取记录更新日志读取指令时，具体是更新日志读取指令中的每一个子目标位置字节数及子读取文件标识。

对于本步骤的具体施行过程，可以参照实施例1的步骤505的描述。

本申请实施例在具体施行时，下级监控管理平台507第一次接收到的日志读取指令的子目标位置字节数是0，则下级监控管理平台507在首次发送数据时，发送的是子日志记录文件中的全部数据；之后，下级监控管理平台507还会将新生成的资源变化日志写进子日志记录文件，在首次发送数据后，下级监控管理平台507后续接收到日志读取指令时，只需要将子日志记录文件中新写入的数据发送给上级监控管理平台506。

本申请实施例，应用视联网的特性，所述下级监控管理平台507将生成的资源变化日志按照视联网协议转换网关508的网关标识分类写入到多个子日志记录文件中，针对上级监控管理平台506发送的日志读取指令，将在子日志记录文件从子目标位置字节数开始提取的后续的所有数据打包成第二日志文件，上级监控管理平台506针对第二日志文件，生成日志读取记录并更新日志读取指令中的子目标位置字节数及子目标文件标识，使得上级监控管理平台506继首次读取后，获取的数据都是新增加的数据，避免了上级监控管理平台506重新启动后再次读取重复的数据，缩短了读取时间，提高了数据的读取速度和发送速度。并且，由于按照视联网协议转换网关508的网关标识建立与之对应的子日志记录文件，便于有针对性地对视联网协议转换网关508的变化数据进行分析和管理。

实施例三

如图9示出了本申请实施例3的一种减少数据冗余的资源日志读写装置，对照实施例1及实施例2的处理方法，所述装置可以应用于视联网中，所述视联网中包括上级监控管理平台506、下级监控管理平台507及多个视联网协转网关，所述上级监控管理平台506与所述下级监控管理平台507通信连接，所述下级监控管理平台507与所述多个视联网协议转换网关508通信连接，所述上级监控管理平台506包括上级数据库，所述下级监控管理平台507包括日志记录文件，所述装置具体可以包括以下模块：

资源变化日志生成模块701，用于针对所述视联网协议转换网关508发生的变动操作，生成多个资源变化日志；

资源变化日志写入模块702，用于将所述多个资源变化日志按行写入所述日志记录文件；其中，所述日志记录文件具有文件标识及文件总字节数标识；

日志读取指令获取模块703，用于接收所述上级监控管理平台506每间隔预设的时间发送的日志读取指令；其中，所述日志读取指令包括所述文件标识及目标位置字节数；

目标数据提取模块704，用于针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据；

目标数据发送模块705，用于将所述第一字节数据打包为第一日志文件，并将所述第一日志文件发送至所述上级监控管理平台506；其中，所述第一日志文件包括所述文件标识及文件读取位置标识，所述文件读取位置标识与所述文件总字节数标识对应；所述上级监控管理平台506用于将所述第一日志文件保存至所述上级数据库，并针对所述第一日志文件生成日志读取记录，所述日志读取记录包括与所述文件标识对应的读取文件标识，以及与所述文件读取位置标识对应的读取位置字节数；所述上级监控管理平台506用于在等待预设的时间后针对所述日志读取记录更新所述日志读取指令，并将更新后的日志读取指令发送至所述下级监控管理平台507；更新后的日志读取指令的文件标识与所述读取文件标识对应，更新后的日志读取指令的目标位置字节数与所述读取位置字节数对应。

作为本申请实施例的一种优选示例，如图10所示，示出了本申请实施例中，所述资源变化日志写入模块702的结构框图，所述视联网协议转换网关508具有网关标识，所述资源变化日志具有与所述网关标识对应的日志标识；所述资源变化日志写入模块702具体还可以包括以下子模块：

子日志记录文件创建子模块7021，用于基于所述网关标识，在所述日志记录文件中创建多个子日志记录文件；

分类写入子模块7022，用于基于所述日志标识，将多个所述资源变化日志分别写入到对应的子日志记录文件中；其中，所述子日志记录文件具有与所述网关标识对应的子文件标识及子文件总字节数标识，所述子文件总字节数标识为写入所述多个资源变化日志的子日志记录文件的总字节数。

作为本申请实施例的一种优选示例，如图11所示，示出了本申请实施例中，所述目标数据提取模块704的结构框图，所述日志读取指令包括多个目标子文件标识及多个子目标位置字节数，所述目标子文件标识与所述子目标位置字节数一一对应；所述目标数据提取模块704还包括：

日志读取指令解析子模块7041，用于从所述日志读取指令中获取所述目标子文件标识及与所述目标子文件标识对应的所述子目标位置字节数；

目标子日志记录文件查找子模块7042，用于针对所述目标子文件标识，在多个所述子日志记录文件中确定目标子日志记录文件；

子数据提取子模块7043，用于在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至结尾处字节的所有第二字节数据。

作为本申请实施例的一种优选示例，所述子数据提取子模块7043还包括：

第一判断子模块，用于针对所述日志读取指令，判断在所述目标子日志记录文件中，从所述子目标位置字节数对应的目标字节至结尾处字节的字节数是否为0；

第一零字节信息生成子模块，用于在从所述子目标位置字节数对应的目标字节至结尾处字节的字节数为0时，生成第二零字节信息，并将所述第二零字节信息发送至所述上级监控管理平台506，以通知述上级监控管理平台506用于将所述第二零字节信息保存至所述上级数据库；其中，所述第二零字节信息具有所述目标子文件标识；

第一数据提取子模块，用于在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至结尾处字节的所有第二字节数据。

作为本申请实施例的一种优选示例，如图12所示，示出了本申请实施例的目标数据提取模块的另一结构框图；所述目标数据提取模块704还包括：

判断子模块7044，针对所述日志读取指令，判断在写入所述多个资源变化日志的日志记录文件中，从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数是否为0；

零字节信息生成子模块7045，用于在从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数为0时，生成第一零字节信息，并将所述第一零字节信息发送至所述上级监控管理平台506，以通知述上级监控管理平台506用于将所述第一零字节信息保存至所述上级数据库；

数据提取子模块7046，用于在从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数不为0时，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种减少数据冗余的资源日志读写方法和相应的一种减少数据冗余的资源日志读写装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种减少数据冗余的资源日志读写方法，其特征在于：所述方法应用于视联网，所述视联网中包括上级监控管理平台、下级监控管理平台及多个视联网协议转换网关，所述上级监控管理平台与所述下级监控管理平台通信连接，所述下级监控管理平台与所述多个视联网协议转换网关通信连接，所述上级监控管理平台包括上级数据库，所述下级监控管理平台包括日志记录文件，所述方法包括：

所述下级监控管理平台针对所述视联网协议转换网关发生的变动操作，生成多个资源变化日志；

所述下级监控管理平台将所述多个资源变化日志按行写入所述日志记录文件；其中，所述日志记录文件具有文件标识及文件总字节数标识，所述文件总字节数标识为写入所述多个资源变化日志的日志记录文件的总字节数的标识；

所述下级监控管理平台接收所述上级监控管理平台发送的日志读取指令；其中，所述日志读取指令包括所述文件标识及目标位置字节数；

所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至写入所述多个资源变化日志的日志记录文件的结尾处字节的所有第一字节数据；

所述下级监控管理平台将所述第一字节数据打包为第一日志文件，并将所述第一日志文件发送至所述上级监控管理平台；其中，所述第一日志文件包括所述文件标识及文件读取位置标识，所述文件读取位置标识与所述文件总字节数标识对应；所述上级监控管理平台用于将所述第一日志文件保存至所述上级数据库，并针对所述第一日志文件生成日志读取记录，所述日志读取记录包括与所述文件标识对应的读取文件标识，以及与所述文件读取位置标识对应的读取位置字节数；所述上级监控管理平台用于针对所述日志读取记录，更新所述日志读取指令，并将更新后的日志读取指令发送至所述下级监控管理平台；更新后的日志读取指令的文件标识与所述读取文件标识对应，更新后的日志读取指令的目标位置字节数与所述文件读取位置字节数对应。

2.根据权利要求1所述的方法，其特征在于，所述视联网协议转换网关具有网关标识，所述资源变化日志具有与所述网关标识对应的日志标识；所述下级监控管理平台将所述多个资源变化日志按行写入所述日志记录文件的步骤包括：

所述下级监控管理平台基于所述网关标识，在所述日志记录文件中创建N个子日志记录文件；其中，N为大于0的整数；

所述下级监控管理平台基于所述日志标识，将多个所述资源变化日志分别按行写入到对应的子日志记录文件中；其中，所述子日志记录文件具有与所述网关标识对应的子文件标识及子文件总字节数标识，所述子文件总字节数标识为写入所述多个资源变化日志的子日志记录文件的总字节数。

3.根据权利要求2所述的方法，其特征在于，所述日志读取指令包括N个目标子文件标识及N个子目标位置字节数，所述目标子文件标识与所述子目标位置字节数一一对应；所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至写入所述多个资源变化日志的日志记录文件的结尾处字节的的所有第一字节数据的步骤包括：

所述下级监控管理平台从所述日志读取指令中获取所述目标子文件标识及与所述目标子文件标识对应的所述子目标位置字节数；

所述下级监控管理平台针对所述目标子文件标识，在多个所述子日志记录文件中确定目标子日志记录文件；

所述下级监控管理平台在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至所述目标子日志记录文件的结尾处字节的的所有第二字节数据。

4.根据权利要求3所述的方法，其特征在于，所述下级监控管理平台在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至所述目标子日志记录文件的结尾处字节的所有第二字节数据的步骤，包括：

所述下级监控管理平台针对所述日志读取指令，判断在所述目标子日志记录文件中，从所述子目标位置字节数对应的目标字节至所述目标子日志记录文件的结尾处字节的字节数是否为0；

若是，则所述下级监控管理平台生成第二零字节信息，并将所述第二零字节信息发送至所述上级监控管理平台；所述上级监控管理平台用于将所述第二零字节信息保存至所述上级数据库；其中，所述第二零字节信息具有所述目标子文件标识；

若否，则所述下级监控管理平台在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至结尾处字节的所有第二字节数据。

5.根据权利要求3所述的方法，其特征在于，所述下级监控管理平台将所述第二字节数据打包为第二日志文件，并将所述第二日志文件发送至所述上级监控管理平台；其中，所述第二日志文件包括所述子文件标识及子文件读取位置标识，所述子文件读取位置标识与所述子文件总字节数标识对应；所述上级监控管理平台用于将所述第二日志文件保存至所述上级数据库，并针对所述第二日志文件生成日志读取记录，所述日志读取记录包括与所述子文件标识对应的子读取文件标识，以及与所述子文件读取位置标识对应的子读取位置字节数；所述上级监控管理平台用于针对所述日志读取记录，更新所述日志读取指令，更新后的日志读取指令的目标子文件标识与子读取文件标识对应，更新后的日志读取指令的子目标位置字节数与子读取位置字节数对应。

6.根据权利要求1所述的方法，其特征在于，所述下级监控管理平台针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据的步骤，包括：

所述下级监控管理平台针对所述日志读取指令，判断在写入所述多个资源变化日志的日志记录文件中，从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数是否为0；

若是，则所述下级监控管理平台生成第一零字节信息，并将所述第一零字节信息发送至所述上级监控管理平台；所述上级监控管理平台用于将所述第一零字节信息保存至所述上级数据库；

若否，则所述下级监控管理平台在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据。

7.一种减少数据冗余的资源日志读写装置，其特征在于，所述装置应用于视联网，所述视联网中包括上级监控管理平台、下级监控管理平台及多个视联网协转网关，所述上级监控管理平台与所述下级监控管理平台通信连接，所述下级监控管理平台与所述多个视联网协议转换网关通信连接，所述上级监控管理平台包括上级数据库，所述下级监控管理平台包括日志记录文件，所述装置包括：

资源变化日志生成模块，用于针对所述视联网协议转换网关发生的变动操作，生成多个资源变化日志；

资源变化日志写入模块，用于将所述多个资源变化日志按行写入所述日志记录文件；其中，所述日志记录文件具有文件标识及文件总字节数标识；

日志读取指令获取模块，用于接收所述上级监控管理平台每间隔预设的时间发送的日志读取指令；其中，所述日志读取指令包括所述文件标识及目标位置字节数；

目标数据提取模块，用于针对所述日志读取指令，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据；

目标数据发送模块，用于将所述第一字节数据打包为第一日志文件，并将所述第一日志文件发送至所述上级监控管理平台；其中，所述第一日志文件包括所述文件标识及文件读取位置标识，所述文件读取位置标识与所述文件总字节数标识对应；所述上级监控管理平台用于将所述第一日志文件保存至所述上级数据库，并针对所述第一日志文件生成日志读取记录，所述日志读取记录包括与所述文件标识对应的读取文件标识，以及与所述文件读取位置标识对应的读取位置字节数；所述上级监控管理平台用于在等待预设的时间后针对所述日志读取记录更新所述日志读取指令，并将更新后的日志读取指令发送至所述下级监控管理平台；更新后的日志读取指令的文件标识与所述读取文件标识对应，更新后的日志读取指令的目标位置字节数与所述读取位置字节数对应。

8.根据权利要求7所述的装置，其特征在于，所述视联网协议转换网关具有网关标识，所述资源变化日志具有与所述网关标识对应的日志标识；所述资源变化日志写入模块还包括：

子日志记录文件创建子模块，用于基于所述网关标识，在所述日志记录文件中创建多个子日志记录文件；

分类写入子模块，用于基于所述日志标识，将多个所述资源变化日志分别写入到对应的子日志记录文件中；其中，所述子日志记录文件具有与所述网关标识对应的子文件标识及子文件总字节数标识，所述子文件总字节数标识为写入所述多个资源变化日志的子日志记录文件的总字节数。

9.根据权利要求8所述的装置，其特征在于，所述日志读取指令包括多个目标子文件标识及多个子目标位置字节数，所述目标子文件标识与所述子目标位置字节数一一对应；所述目标数据提取模块还包括：

日志读取指令解析子模块，用于从所述日志读取指令中获取所述目标子文件标识及与所述目标子文件标识对应的所述子目标位置字节数；

目标子日志记录文件查找子模块，用于针对所述目标子文件标识，在多个所述子日志记录文件中确定目标子日志记录文件；

子数据提取子模块，用于在所述目标子日志记录文件中，提取从所述子目标位置字节数对应的目标字节至结尾处字节的所有第二字节数据。

10.根据权利要求7所述的装置，其特征在于，所述目标数据提取模块还包括：

判断子模块，针对所述日志读取指令，判断在写入所述多个资源变化日志的日志记录文件中，从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数是否为0；

零字节信息生成子模块，用于在从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数为0时，生成第一零字节信息，并将所述第一零字节信息发送至所述上级监控管理平台，以通知述上级监控管理平台用于将所述第一零字节信息保存至所述上级数据库；

数据提取子模块，用于在从所述目标位置字节数对应的目标字节至结尾处字节的所有字节数据的字节数不为0时，在写入所述多个资源变化日志的日志记录文件中，提取从所述目标位置字节数对应的目标字节至结尾处字节的所有第一字节数据。

Images