CN105917618A - 数据转发监视系统、数据转发监视方法以及据点系统 - Google Patents

数据转发监视系统、数据转发监视方法以及据点系统 Download PDF

Info

Publication number
CN105917618A
CN105917618A CN201480073041.1A CN201480073041A CN105917618A CN 105917618 A CN105917618 A CN 105917618A CN 201480073041 A CN201480073041 A CN 201480073041A CN 105917618 A CN105917618 A CN 105917618A
Authority
CN
China
Prior art keywords
mentioned
data
strong point
index
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480073041.1A
Other languages
English (en)
Other versions
CN105917618B (zh
Inventor
小田琢也
西山博泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN105917618A publication Critical patent/CN105917618A/zh
Application granted granted Critical
Publication of CN105917618B publication Critical patent/CN105917618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/64—Hybrid switching systems
    • H04L12/6418—Hybrid transport
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供一种能够抑制数据的存储容量和转发容量，并且转发用于监视的所希望的数据的技术。据点系统检测警报，生成确定包含警报发生时刻的预定收集对象时间内的数据即收集对象数据的索引，将收集对象数据与索引关联起来记录到时序数据表中，将警报识别信息与索引关联起来存储到索引确定表中。中心系统接收警报识别信息，向据点系统发送用于请求收集对象数据的数据请求。据点系统若接收数据请求，则通过索引确定表的检索取得与指定的警报识别信息相关联的索引，从时序数据表取得通过索引确定的收集对象数据并发送给中心系统。

Description

数据转发监视系统、数据转发监视方法以及据点系统
技术领域
本发明涉及一种监视转发数据的系统的技术。
背景技术
已知为了经由网络高速地转发从多个传感器或网络装置等逐次生成的大量的时序数据，而汇总细小的多个数据来一次转发的技术。例如，在专利文献1中公开了如下技术：即使接收到数据转发请求也不立即转发数据，而是等待一定期间，在该期间内接收到其他数据转发请求的情况下，汇总这些数据转发请求的数据来一次进行发送。
现有技术文献
专利文献
专利文献1：US2009/0006421A1，“Methods and Systems for Rapid DataAcquisition over The Internet”,Apple Inc.(2009)
发明内容
发明要解决的课题
在经由网络发送大量时序数据的情况下，优选一次有效地仅发送用户或应用所希望的数据。为了将专利文献1的现有技术有效地应用于时序数据，尽可能细小地存储时序数据，根据用户的请求将该细分的数据汇总为一个并一次进行发送即可。但是，将大量产生的时序数据保存为文件的情况下，因能够存储于文件服务器的文件数的上限，发生无法正确地保存数据的情况。
此外，一般，若在时序数据中发生异常，则发生该异常的前后的一定时间内的数据与该异常的关系性较高，因此优选一次转发。并且，时间越远，相关性越低。此外，在设置有大量传感器、设备的环境下，尽可能不想收集无用的数据。因此，也需要一点点收集发生该异常的前后的数据。
本发明的目的是提供一种能够抑制数据的存储容量和转发容量，并且转发用于监视的所希望的数据的技术。
用于解决课题的手段
本发明的一方式的数据转发监视系统具有：据点系统，其进行数据的记录和收发；以及中心系统，其经由网络与上述据点系统连接，监视上述据点系统，上述据点系统通过针对要收发的数据的实时分析来检测警报，生成确定包含警报发生时刻的预定收集对象时间内的数据即收集对象数据的索引，将上述收集对象数据与上述索引关联起来记录到时序数据表中，将警报识别信息与上述索引关联起来存储到索引确定表中，向上述中心系统发送上述警报识别信息，上述中心系统若接收上述警报识别信息，则指定上述警报识别信息，向上述据点系统发送用于请求收集对象数据的数据请求，上述据点系统若接收上述数据请求，则通过上述索引确定表的检索取得与指定的上述警报识别信息相关联的索引，从上述时序数据表取得通过上述索引确定的收集对象数据并发送给上述中心系统，上述中心系统若接收上述收集对象数据，则记录上述收集对象数据。
发明效果
通过本发明，在监视数据转发的系统中，能够抑制数据的存储容量和转发容量，并且转发用于监视的所希望的数据。
附图说明
图1是数据转发系统的概要框图。
图2是表示据点和网络监视中心的内部结构的框图。
图3是表示在据点累积的时序数据的表的一例的图。
图4是表示在据点测量的度量数据的表的一例的图。
图5是表示在据点生成的警报表的一例的图。
图6是表示在据点生成的索引确定表的一例的图。
图7是表示网络监视中心所保持的据点－设备表的一例的图。
图8是表示通过数据收集服务器200的时间范围输入部208提供的时间范围输入画面800的一例的图。
图9是表示索引计算处理的一例的流程图。
图10是以块存取数据为对象的索引计算处理的流程图。
图11是表示网络监视中心20内的数据收集服务器200和各据点10内的数据发送服务器120进行的文件收集处理的流程图。
图12是以文件存取数据为对象的索引计算处理的流程图。假定在据点10使用文件存取的存储装置的情况。
图13是表示各据点10的索引计算服务器110进行的时间范围变更处理的一例的流程图。
图14是表示使得在与检测到警报的据点10不同的据点10也能够在相同的时间范围内取得分组数据的处理的流程图。
图15是表示使得能够整合检测到警报的多个据点10的时间范围来取得分组数据的处理的流程图。
具体实施方式
以下，参照附图对本发明的实施例进行说明。
另外，在以后的说明中，有时通过“aaa表”等的表现来说明信息，但这些信息并不一定必须是表等数据结构，也可以用除此以外的形式表现。为了表示不依存于数据结构，有时将“aaa表”等称为“aaa信息”等。此外，在说明各信息的内容时，采用了“编号”、“名称”等表现的识别信息，但这为一例，也可以使用其他种类的识别信息。
此外，在以后的说明中，有时以“bb部”为主语进行说明。但是，这些功能部是处理器使用存储器及通信端口(网络接口)执行处理来表现的，因此同样的内容，有时以处理器为主语进行说明。此外，也可以将以这些功能部为主语说明的处理称为监视系统等的计算机进行的处理。
此外，也可以通过专用硬件来实现这些功能部的部分或全部。此外，也可以通过程序分发服务器或计算机可读取的存储介质以安装在各计算机上的软件程序实现各种功能部。在该情况下，各种功能部和服务器既可以被安装在1个相同计算机上来执行，也可以将它们分开安装在多个计算机上执行。
此外，在以后的说明中，多个同种要素的参照符号以相同父编号和不同子符号的组合来表示。在不区分同种要素地进行说明的情况下，有时仅使用参照符号中的父编号来进行说明，在区分同种要素地进行说明的情况下，有时使用参照符号来进行说明。
另外，在以下的全部实施方式和实施例中，将网络分组数据作为时序数据而采用，按照监视该网络分组的用例进行说明。但是，这些实施方式或实施例是用于说明本发明的示例，本发明的范围并不仅限定于这些实施方式或实施例。本技术领域的技术人员可以在不脱离本发明的宗旨的范围内以其他各种方式实施本发明。
首先，对本发明的实施方式的概要进行说明。
图1是数据转发系统的概要框图。
图2是表示据点和网络监视中心的内部结构的框图。
参照图1，网络监视中心20通过WAN(Wide Area Network，广域网)30与多个据点10连接。例如，WAN30是因特网、专用线或他们的组合。在这样的环境下，网络监视中心20监视多个据点10。此外，在图1中示出了在某据点10，网络应答时间超过阈值而发生警报的情况。
参照图2，在据点10配置有累积附加了索引的时序数据的时序数据表300、累积各种度量的度量表400、累积检测到的警报的警报ID的警报表500以及用于根据警报ID确定索引的索引确定表600。
从各据点10向其他据点10逐次发送大量的分组数据。在各据点10中，分组数据的收发历史以时序累积到时序数据表300中。
此外，在各据点10，在收发分组数据时，计算出应答时间、错误率、吞吐量等各种度量值，并记录在度量表400中，
如图1所示，在据点10比较该度量数据值与阈值。当度量值超过阈值时，据点10生成警报，记录到警报表500中，并且通知给网络监视中心20。
网络监视中心20监视的WAN30的健全性，当从据点10接收警报时，分析产生该警报的原因。此时，为了分析警报原因，需要收集各据点10收发的分组数据。此时，优选尽可能在短的时间内收集所需要的量的分组数据。
在本实施方式中，根据从警报发生日期时间起的时间，对警报发生前后的网络分组数据进行分类。
警报发生时刻之前不久和之后不久的预定时间内的数据与警报的关系强的可能性较高，因此认为必须收集。在图1中，警报发生时刻t0前后的时间t1内的数据是必须要收集的必须收集数据。一次汇总收集必须收集数据。
与必须收集数据相比，离警报发生时刻t0远，但在警报发生时刻t0前后的时间t3内的时刻的数据，认为应根据需要选择性地收集。在图1中，时间t3内的数据是选择收集数据。与必须收集数据相比，选择收集数据与警报的关系较弱，因此根据需要以时间t2的单位收集，以便不造成浪费。
比选择收集数据更远离警报发生时刻t0的时刻，即从警报发生时刻t0起比时间(t1+t3)远的时刻的数据与警报的关系极弱，因此不需要为了分析警报原因而收集。
另外，时间t1、t2、t3用户可以从显示于数据收集服务器200的画面之一即时间范围输入画面输入，或者也可以从外部应用输入。
并不特别限定分别设置于据点10或网络监视中心20的装置群的物理结构。任意装置与任意装置在物理上也可以是一体的结构。在此，将配置于据点10的多个装置统称为据点系统10，将配置于网络监视中心20的多个装置统称为中心系统20。
据点系统10通过针对收发的数据的实时分析来检测警报，生成用于确定包含警报发生时刻的预定收集对象时间内的数据即收集对象数据的索引。并不特别限定索引形式，但也可以赋予相当于存储装置内的地址的值。由此，可以将索引使用于地址而容易从存储装置内找到数据。
并且，据点系统10将收集对象数据与索引关联起来登记到时序数据表300中，将警报识别信息与索引关联起来存储到索引确定表600中，将警报识别信息发送给中心系统20。
中心系统20若接收警报识别信息，则指定警报识别信息，向据点系统10发送用于请求收集对象数据的数据请求。
据点系统10若接收数据请求，则通过索引确定表600的检索取得与所指定的警报识别信息相关联的索引，从时序数据表300取得通过索引所确定的收集对象数据，发送给中心系统20。
中心系统20若接收收集对象数据，则记录该收集对象数据。
通过本实施方式，在据点系统10中，在检测出警报时记录包含警报发生时刻的收集对象时间内的数据和索引，根据来自中心系统20的请求，通过索引取出数据并发送给中心系统20，因此能够高效地记录、收集仅成为收集对象的数据。
此外，在本实施方式中，作为收集对象数据，据点系统10分为必须收集数据与选择收集数据地分别生成索引，其中，必须收集数据是包含警报发生时刻的必须收集对象时间(在图1中为时刻t0±时间t1的时间)内的数据，选择收集数据是必须收集对象时间前和/或后的选择对象时间(在图1中，从时刻t0－时间t1－时间t3到时刻t0－时间t1的时间、从时刻t0+时间t1到时刻t0+时间t1+时间t3的时间)内的数据。并且，据点系统10若从中心系统20接收数据请求，则向中心系统20发送必须收集数据，若还从中心系统20接收请求选择收集数据的数据请求，则向中心系统20发送选择收集数据。
由此，首先收集警报分析中重要的必须收集数据，之后，根据需要进行请求，由此收集必须收集数据前和后的选择收集数据，从而能够高效地仅收集必要的数据。
此外，在本实施方式中，据点系统10将选择收集对象时间划分为多个收集单位时间(时间t2)，分别对各个收集单位时间的数据即选择收集单位数据生成索引。并且，中心系统20在取得选择收集对象数据时，发送指定了选择收集单位数据的数据请求。据点系统10若接收该数据请求，则向中心系统20发送在数据请求中指定的选择收集单位数据。
由此，能够仅以必要的量指定并收集选择收集数据，因此能够高效地收集必要的数据。
在这种数据转发系统中，作为针对数据的存取方法有块存取和文件存取。
在本实施方式中，在块存取的情况下，当收发的数据中在包含收集对象数据的文件中包含非收集对象数据时，据点系统10从该文件删除非收集对象数据，对得到的文件生成索引。文件中有包含收集对象数据和非收集对象数据的可能性，但如上所述那样，能够删除非收集对象数据，高效地仅收集收集对象数据。
此外，在本实施方式中，在文件存取的情况下，在收发的数据中，应一次发送的收集对象数据分散在多个文件中时，据点系统10结合这些多个文件，对得到的1个文件生成索引。收集对象数据有可能分散在多个文件中，但如上所述那样，可以结合这些多个文件而作为1个文件进行收集。
此外，在这种系统中，有时因共同的原因在短时间内发生多个警报。假定这样的情况，在本实施方式中，据点系统10在所检测到的警报的警报发生时刻的收集对象时间内检测到其他警报的情况下，根据其他警报的警报发生时刻扩展该收集对象时间。由此，在较近的时间发生了多个警报的情况下，能够将他们关联起来作为一套收集对象数据而高效地取得，并且能够适当地进行警报分析。
并且，在这种系统中，作为警报原因，有时与多个据点系统10相关。假定这样的情况，在本实施方式中，若某据点系统(在此称为第1据点系统)10检测到警报，则向其他据点系统(在此称为第2据点系统)10发送警报识别信息和收集对象时间。然后，第2据点系统10将接收到的警报识别信息和收集对象时间应用于自身，更新时序数据表300和索引确定表600。由此，对于警报，能够从相关联的多个据点10收集数据，能够适当地分析有可能与多个据点10相关联的警报。
此外，在这种系统中，有时因共同的原因在短时间内在多个据点系统10中发生警报。假定这样的情况，在本实施方式中，若第1据点系统10检测到警报，则向第2据点系统10发送警报识别信息、警报发生时刻以及收集对象时间。第2据点系统10，若自身检测到的警报的收集对象时间内有第1据点系统10检测到的警报的警报发生时刻，则根据第1据点系统10的警报发生时刻扩展自身的收集对象时间，将扩展后的收集对象时间发送给第1据点系统10。第1据点系统10在从第2据点系统10接收到的扩展后的收集对象时间和自身的收集对象时间中确定最大的收集对象时间，将最大的收集对象时间应用于自身，并且向第2据点系统10请求应用该最大的收集对象时间。由此，针对在多个据点系统10中发生的警报，可以从多个据点系统10收集能够统一分析这些警报的最大的收集对象时间的数据，能够适当地分析有可能与多个据点系统10关联的警报。
以下，说明更具体的实施例。
实施例
如图2所示，在各据点10中配置有实时处理服务器100、索引计算服务器110、数据发送服务器120以及数据存储(data store)130。实时处理服务器100、索引计算服务器110以及数据发送服务器120与LAN140连接。可以从实时处理服务器100、索引计算服务器110以及数据发送服务器120访问数据存储130。
在网络监视中心20中配置有数据收集服务器200和数据存储210。数据收集服务器200被连接到LAN220，可以从数据收集服务器200访问数据存储210。
实时处理服务器100具有警报发送部101、实时分析部102、数据取得部103、CPU104、通信I/F(接口)105、主存储装置106以及外部存储装置I/F107。
警报发送部101判定由实时分析部102计算出的应答时间、错误率等度量值是否超过了预先设定的阈值。在度量值超过了阈值的情况下，警报发送部101检测出警报，将该警报信息发送给索引计算服务器110和网络监视中心20，并且将警报信息存储在警报表500中。
实时分析部102根据数据取得部103取得且记载在时序数据表300中的分组数据，计算出度量数据403(在本实施例中为网络应答时间)的值，并记载到度量表400中。
具体的网络应答时间的计算方法，参照如图3所示那样的时序数据表300的序列ID302、发送源识别信息303、发送目的地识别信息304、下个序列ID305，搜索分组数据A的发送源识别信息303与分组数据B的发送目的地识别信息304相同，且分组数据A的发送目的地识别信息304与分组数据B的发送源识别信息303相同，且分组数据A的下个序列ID305与分组数据B的序列ID302相同的分组数据A、B的组合。
若找到分组数据A、B的组合，则计算出从分组数据B的时刻301减去分组数据A的时刻301而得的时间作为应答时间。然后，对于度量表400，将分组数据A的发送源识别信息303作为访问源识别信息401而存储，将发送目的地识别信息304作为访问目的地识别信息402而存储，将计算出的应答时间作为度量数据403而存储。在存在多个分组数据A、B的组合的情况下，计算所计算出的多个应答时间的平均值，并将该平均值作为应答时间403而存储。
数据取得部103取得通过通信I/F105收发的分组数据，经由外部存储I/F107存储在时序数据表300中，并且通知给实时分析部102。
CPU104执行计算机程序(以下称为“程序”)。CPU104执行程序，由此实现实时处理服务器100具有的各种功能。
通信I/F105是用于使实时处理服务器100连接到LAN140和WAN30的接口。
主存储装置106是存储程序和数据等的存储装置。主存储装置106例如由DRAM(Dynamic Random Access Memory，动态随机存取存储器)等构成。可以从CPU104、通信I/F105、外部存储装置I/F107访问存储在主存储装置106中的程序和数据。
外部存储装置I/F107是用于连接实时处理服务器100与数据存储130的接口。
索引计算服务器110具有警报信息取得部111、索引计算部112、时间范围变更部113、时间范围通知部114、通信I/F115、CPU116、主存储装置117、外部存储装置I/F118。
警报信息取得部111接收从实时处理服务器100的警报发送部101发送的警报信息，向索引计算部112通知接收到的警报信息。
若从警报信息取得部111接收警报信息，则索引计算部112执行图9所示的索引计算处理，将计算出的索引的列表与警报ID以及检索ID一起存储在索引确定表600中。
在与取得网络分组数据的时间范围相关的处理中，时间范围变更部113根据需要设定或变更用户经由外部应用或数据收集服务器200的时间范围输入画面输入的时间t1～t3。此外，时间范围变更部113变更时间t1～t3后，向索引计算部112命令索引的计算。
时间范围通知部114将当前的时间t0～t3的设定值通知给其他据点10或网络监视中心20。
通信I/F115、CPU116、主存储装置117、外部存储装置I/F118是与上述的通信I/F105、CPU104、主存储装置106、外部存储装置I/F107相同的功能及结构，因此省略说明。
数据发送服务器120具有数据请求接收部121、数据收集部122、数据发送部123、CPU124、通信I/F125、主存储装置126以及外部存储装置I/F127。
数据请求接收部121从网络监视中心20接受数据收集请求，向数据收集部122发送该数据收集请求中的请求内容。
数据收集部122根据从数据请求接收部121接收到的数据收集请求的请求内容，从数据存储130取得应发送给网络监视中心20的分组数据(收集对象数据)，并发送给数据发送部123。
数据发送部123向网络监视中心20发送通过数据收集部122收集到的分组数据。
CPU124、通信I/F125、主存储装置126、外部存储装置I/F127是与上述的CPU104、通信I/F105、主存储装置106、外部存储装置I/F107相同的功能及结构，因此省略说明。
网络监视中心20具有数据收集服务器200和数据存储210，将数据收集服务器200连接到LAN220。
数据收集服务器200具有警报接收部201、数据取得部202、CPU203、通信I/F204、数据显示部205、主存储装置206、数据请求发送部207、时间范围输入部208以及外部存储装置I/F209。
警报接收部201从各据点10的实时处理服务器100的警报发送部101接收警报。
数据取得部202取得从各据点10的数据发送服务器120的数据发送部123发送的应收集的分组数据，发送给数据显示部205。
数据显示部205将数据取得部202取得的分组数据显示在画面上。
数据请求发送部207以通过警报接收部201接收到的警报为关键字，向各据点10的数据发送服务器120的数据请求接收部121请求与该警报相关联的分组数据(收集对象数据)。
时间范围输入部208向用户或应用提供输入时间t1～t3的时间范围以及输入数据收集目的地据点信息的接口，以便能够定义或变更应收集的分组数据的收集范围和数据收集目的地。此外，时间范围输入部208向各据点10的索引计算服务器110的时间范围变更部113发送所输入的时间t1～t3和数据收集目的地据点信息。
CPU203、通信I/F204、主存储装置206、外部存储装置I/F209是与上述的CPU104、通信I/F105、主存储装置106、外部存储装置I/F107相同的功能及结构，因此省略说明。
图3是表示在据点累积的时序数据的表的一例的图。
针对在据点10收发的数据，在时序数据表300中记录时刻301、序列ID302、发送源识别信息303、发送目的地识别信息304、下个序列ID305以及索引306。
时刻301表示分组数据的发送或接收时刻。
序列ID302是唯一确定在通过发送源识别信息303唯一确定的发送源与通过发送目的地识别信息304唯一确定的发送目的地之间进行收发的分组数据的编号。
发送源识别信息303是唯一确定发送了分组数据的设备的识别信息，例如是IP地址、主机名等。通过该发送源识别信息303的信息，将该分组数据与由度量表400的访问源识别信息401确定的度量数据、以及由警报表500的访问源识别信息503确定的警报关联起来。此外，通过该发送源识别信息303的信息，将该分组数据与由据点－设备表700的设备识别信息702确定的据点关联起来。
发送目的地识别信息304是唯一确定分组数据的发送目的地设备的识别信息，例如是IP地址、主机名等。通过该发送目的地识别信息304的信息，将该分组数据与由度量表400的访问目的地识别信息402确定的度量数据、以及由警报表500的访问目的地识别信息504确定的警报关联起来。此外，通过该发送目的地识别信息304的信息，将该分组数据与由据点－设备表700的设备识别信息702确定的据点关联起来。
下个序列ID305表示当前分组数据的下一个从发送源或发送目的地发送的分组数据的序列ID302。例如，假定分组数据A的下个序列ID305为2，则下个从分组数据A的发送目的地向分组数据A的发送源发送的分组数据的序列ID302必定是2。即，可以通过发送源识别信息303、发送目的地识别信息304、序列ID302唯一确定分组数据，若对其增加由下个序列ID305表示的信息，则能够唯一确定该分组数据与其他分组数据的关联性、收发顺序等。在TCP/IP等一般的网络协议中采用该方法。
索引306是唯一确定数据存储130内的分组数据的存储位置的识别信息，例如是存储装置内的块ID、文件存储装置内的文件的全路径、云存储装置内的文件的URI等。通过该索引306，将该分组数据与索引确定表600的索引列表603内的索引所示的警报ID601关联起来。
将各据点10的实时处理服务器100的数据取得部103收集到的分组数据存储在时序数据表300中。
图4是表示在据点测量的度量数据的表的一例的图。
针对各个度量，在度量表400中记录访问源识别信息401、访问目的地识别信息402以及度量数据403。在图4的例子中，针对访问源和访问目的地的组记录访问的应答时间。
访问源识别信息401表示分组数据的发送源的识别信息，存储与时序数据表300的发送源识别信息303相同的识别信息。
访问目的地识别信息402表示分组数据的发送目的地的识别信息，存储与时序数据表300的发送目的地识别信息304相同的识别信息。
度量数据403将在该访问源识别信息401所示的发送源和该访问目的地识别信息402所示的发送目的地之间收发的分组数据的预定的性能值作为度量而存储。作为代表性的度量，有应答时间、错误率、吞吐量等，如上所述，在本实施例中将应答时间作为度量数据而记录。如上所述，通过实时处理服务器100的实时分析部102计算出该应答时间。在各据点10中，度量数据403通过实时处理服务器100的实时分析部102计算出，并存储在度量表400中。另外，在本实施例中，仅监视一种度量数据(应答时间)，但也可以计算出多种度量数据，并设为监视对象。
图5是表示在据点生成的警报表的一例的图。
针对检测出的各个警报，在警报表500中记录警报ID501、发生日期时间502、访问源识别信息503、访问目的地识别信息504以及警报内容505。
警报ID501是在各据点10中用于唯一确定警报的识别信息。通过该警报ID501将该警报与同一据点10内的索引确定表600的警报ID601所示的索引列表603以及该索引列表603内的索引关联起来。
发生日期时间502存储实时处理服务器100的警报发送部101检测出警报的时刻。
在访问源识别信息503中存储与用于检测该警报的度量表400所记载的度量数据的访问源识别信息401以及时序数据表300所记载的分组数据的发送源识别信息303相同的识别信息。通过该访问源识别信息503，将该警报与根据度量表400的访问源识别信息401确定的度量数据403、以及根据时序数据表300的发送源识别信息303确定的分组数据关联起来。
在访问目的地识别信息504中存储与用于检测该警报的度量表400所记载的度量数据的访问目的地识别信息402、以及时序数据表300所记载的分组数据的发送目的地识别信息304相同的识别信息。通过该访问目的地识别信息504，将该警报与根据度量表400的访问目的地识别信息402确定的度量数据403、以及根据时序数据表300的发送目的地识别信息304确定的分组数据关联起来。
警报内容505表示警报的内容。在本实施例中，设为监视对象的度量403为应答时间，因此作为警报内容505主要记录延迟、无应答等。
在各据点10中，实时处理服务器100的警报发送部101检测警报，并在警报表500中存储该警报的各信息。
图6是表示在据点生成的索引确定表的一例的图。
在索引确定表600中，对收集对象的分组数据的每个收集单位记录警报ID601、检索ID602以及索引列表603。
警报ID601是用于唯一确定在各据点10中检测到的警报的ID。通过该警报ID601，将收集单位的分组数据与同一据点10内的警报表500的警报ID501所示的警报信息关联起来。
检索ID602是在网络监视中心20以警报ID601为关键字向据点10请求分组数据的取得时，或从据点10向网络监视中心20发送分组数据时，用于唯一确定针对警报ID601的分组数据的收集单位的识别信息。该检索ID的绝对值越靠近警报的发生日期时间502则越小，越远离警报的发生日期时间502则越大。
索引列表603是向各分组数据赋予的索引的列表信息。通过该索引，能够对发生了警报ID601的警报的、时序数据表300所记载的分组数据唯一确定数据存储130内的存储位置。通过该索引列表603所记载的索引，将收集单位的分组数据与时序数据表300的索引306所示的分组数据关联起来。
各据点10的索引确定表600的信息通过该据点10的索引计算服务器110的索引计算部112执行图9的处理来存储。
图7是表示网络监视中心所保持的据点－设备表的一例的图。
在据点－设备表700中，针对各据点记录据点识别信息701和设备识别信息702。
据点识别信息701是据点名、地名、分店编号等用于唯一确定各据点10的识别信息。
设备识别信息702是在各据点10中唯一确定收发分组数据的设备的识别信息，例如是IP地址、主机名等。通过该设备识别信息702，将该据点的该设备与由同一据点内的警报表500的访问源识别信息503或访问目的地识别信息504确定的警报关联起来。
从用户或结构管理软件、资产管理工具等输入据点－设备表700所记载的信息。
图8是表示通过数据收集服务器200的时间范围输入部208提供的时间范围输入画面800的一例的图。
时间范围输入画面800具有t1输入栏801、t2输入栏802、t3输入栏803、时间范围应用据点范围指定栏804、警报关联指定栏805。
t1输入栏801是用于输入时间t1的界面，其中，时间t1是从网络监视中心20以警报ID501为关键字一次收集存储在时序数据表300中的分组数据的时间。用户或应用可以以警报的发生日期时间502为起点一次收集前后t1时间量的分组数据。
t2输入栏802是用于输入主要收集在时间t1指定的范围的分组数据(必须收集数据)后，追加收集该必须收集数据的前和/或后的分组数据(选择收集数据)时，以1次操作收集数据的时间单位的界面。用户或应用能够通过仅收集与监视画面的显示时间宽度对应的分组数据，或应要求仅收集少量的分组数据，能够避免不需要的数据转发。
t3输入栏803是用于设定选择收集数据的时间的界面。
时间范围应用据点范围指定栏804是指定所输入的时间t1～t3的应用目的地的据点10的界面。具体地，选择是仅应用于发生了警报的据点10，还是除了发生了该警报的据点10外还应用于与该警报关联的多个据点10的界面。
警报关联指定栏805是指定将在检测到的警报的警报的发生日期时间502前和后的时间t1内发生的其他警报设为相关联的警报的界面。具体地，选择是否将这些警报互相关联起来。
图9是表示索引计算处理的一例的流程图。
索引服务器110的警报信息取得部111在接收警报表500所记载的警报A0时(s101)，将时间t0设定为警报的发生日期时间502，命令索引计算部112执行下述的处理。
索引计算部112判定是否存在多个成为监视对象的据点10(s102)。具体地，将经由网络监视中心20的时间范围输入部208和时间范围输入画面800的时间范围应用据点范围指定栏804输入的时间范围应用据点范围指定信息通过通信I/F204发送到据点10的索引计算服务器110。索引计算部102根据时间范围应用据点范围指定信息是否被有效化，来判定是否存在多个监视对象的据点10。
索引计算部112在时间范围应用据点范围指定信息被有效化的情况下(即，除了警报发生源的据点10外，还包括与该据点10关联的多个据点的情况下，s102：是)向s103a前进，在时间范围应用据点范围指定信息被无效化的情况下(即，仅有警报发生源的据点10的情况下，s102：否)向s130b前进。
索引计算部112在时间范围应用据点范围指定信息被有效化的情况下(s102：是)，以据点10的警报表500所记载的警报和据点10相关联的其他据点的警报表500所记载的警报为对象，判定是否将在警报A0的警报的发生日期时间502的前后时间t1内发生的其他警报A1定义为与警报A0相关联(s103a)。具体地，经由通信I/F204向据点10的索引计算服务器110发送通过网络监视中心20的时间范围输入部208和时间范围输入画面800的警报关联指定栏805输入的警报关联信息。索引计算部102判定警报关联信息是否被有效化。
索引计算部112在该警报关联信息被有效化的情况下(即，将在警报A0的发生日期时间502的前后的时间t1内发生的其他警报A1定义为与A0相关联的警报的情况下，s103a：是)，向s104a前进，在警报关联信息被无效化的情况下(即，将在警报A0的发生日期时间502的前后的时间t1内发生的其他警报A1定义为各自独立的不同的警报的情况下，s103a：否)，向s104b前进。
索引计算部112在警报关联信息被有效化的情况下(s103a：是)，命令时间范围变更部113执行后述的图15所记载的s1501到s1505的处理(s104a)。。
此外，索引计算部112在警报关联信息被无效化的情况下(s103a：否)，命令时间范围变更部113执行后述的图14的s1401到s1404的处理(s104b)。
索引计算部112在时间范围应用据点范围指定信息被无效化的情况下(s102：否)，以仅该据点10的警报表500所记载的警报为对象，执行与s103a的处理相同的处理(s103b)。但是，在警报关联信息被有效化的情况下(s103：是)，向s104c前进，在警报关联信息被无效化的情况下(s103b：否)，向s105前进。
索引计算部112在警报关联信息被有效化的情况下(s103b：是)，命令时间范围变更部113执行后述的s1301到s1305的处理(s104c)。
索引计算部112在警报关联信息被无效化的情况下(s103b：否)，判定时序数据表500所存储的数据存储130的存储类别是文件存取存储还是块存取存储(s105)。
索引计算部112在数据存储130的存储类别为文件访问存储的情况下(s105：是)，向s106a前进，在数据存储130的存储类别为块访问存储的情况下(s105：否)，向s106b前进。
索引计算部112在数据存储130的存储类别为文件访问存储的情况下(s105：是)，执行后述的图12所记载的s1201到s1208的处理(s106a)。
另一方面，索引计算部112在数据存储130的存储类别为块访问存储的情况下(s105：否)，执行图10所记载的s1101到s1105的处理(s106b)。
图10是以块存取数据为对象的索引计算处理的流程图。
从实时处理服务器100向索引计算服务器110通知包含警报ID的警报信息。索引计算服务器110的索引计算部112针对作为检索ID602而使用的变量m、n，设定为m＝0、n＝0，从数据存储130的时序数据表300取得满足T1(1)≤时刻301≤T1(2)的分组数据的索引306，汇总所取得的索引306来生成索引列表i_List1，将该索引列表i_List1与所通知的警报的警报ID501、检索ID：0关联起来存储在索引确定表600中(s1101)。
T1(1)和T1(2)是表示时序数据表300所记载的分组数据的取得范围的下限和上限的时刻，在此，T1(1)＝t0－t1、T1(2)＝t0+t1。
接着，索引计算部112设为m＝m+1，从数据存储130的时序数据表300取得满足T2(m)≤时刻301＜T2(m－1)的分组数据的索引306，汇总所取得的索引306来生成索引列表i_List2(m)，将该索引列表i_List2(m)与所通知的警报的警报ID501、检索ID：－m关联起来存储在索引确定表600中(s1102)。
T2(m)和T2(m－1)是表示时序数据表300所记载的分组数据的取得范围的下限和上限的时刻，在此，T2(m)＝T2(m－1)－t2，T2(0)＝T1(1)。
索引计算部112判定T2(m)是否为从通知的警报的发生日期时间502减去时间t3而得的值以下(s1103)。索引计算部112在T2(m)大于从警报的发生日期时间502减去时间t3而得的值的情况下(s1103：否)，返回到s1102，在T2(m)为从警报的发生日期时间502减去时间t3而得的值以下的情况下(s1103：是)，向s1104前进。
索引计算部112在T2(m)的值为从警报的发生日期时间502减去时间t3而得的值以下的情况下(s1207：是)，设为n＝n+1，从数据存储130的时序数据表300取得满足T3(n－1)＜时刻301≤T3(n)的分组数据的索引306，汇总所取得的索引306来生成索引列表i_List3(n)，将该索引列表i_List3(n)与警报的警报ID501、检索ID：n关联起来存储在索引确定表600中(s1104)。
T3(n)和T3(n－1)表示时序数据表300所记载的分组数据的取得范围的下限和上限，在此，T3(n)＝T3(n－1)+t2，T3(0)＝T1(2)。
接着，索引计算部112判定T3(n)是否为对警报的发生日期时间502加上时间t3而得的值以上(s1105)。索引计算部112在T3(n)小于警报的发生日期时间502加上时间t3而得的值的情况下(s1105：否)，返回到s1104，在T3(n)为警报的发生日期时间502加上时间t3而得的值以上的情况下(s1105：是)，结束处理。
图11是表示网络监视中心20内的数据收集服务器200和各据点10内的数据发送服务器120进行的文件收集处理的流程图。
网络监视中心20的数据收集服务器200的数据请求发送部207从用户或应用接收包含指定的警报ID501的数据收集请求时(s201)，执行如下的处理。数据发送请求有指定或未指定成为取得对象的分组数据的取得的开始点和结束点的情况。
数据请求发送部207判断在所接收到的数据发送请求中是否指定了成为取得对象的分组数据的取得的开始点和结束点(s202)。数据请求发送部207在没有指定开始点和结束点的情况下(s202：否)，向s203前进，在指定了开始点和结束点的情况下(s202：是)，向s204前进。开始点和结束点是与索引确定表600的检索ID602所记载的识别信息相同的数据。开始点和结束点是从用户或应用向网络监视中心20的数据收集服务器200提供的数据取得请求的一部分。
数据请求发送部207在没有记载开始点和结束点的情况下(s202：否)，将分组数据取得的开始点和结束点都设定为0(s203)。这表示请求取得必须取得数据。由此，网络监视中心20的数据收集服务器200能够收集警报的发生日期时间502的前后的时间t1内的、据点10的时序数据表300所记载的分组数据。
数据请求发送部207在记载了开始点和结束点的情况下(s202：是)或结束了s203的处理后，判定是否在数据发送请求中指定了收集分组数据的对象的据点10的据点识别信息701(s204)。数据请求发送部207在指定了据点10的据点识别信息701的情况下(s204：是)，向s205a前进，在未指定据点10的据点识别信息701的情况下(s204：否)，向s205b前进。
数据请求发送部207在指定了收集分组数据的对象的据点10的据点识别信息701的情况下(s204：是)，向通过据点识别信息701指定的据点10的数据发送服务器120的数据请求接收部121发送包含警报ID501和分组数据取得的开始点(即，检索ID602)以及结束点(即，检索ID602)的数据取得请求(s205a)。在该情况下，通信协议例如使用TCP/IP。
数据请求发送部207在未指定收集分组数据的对象的据点10的据点识别信息701的情况下(s204：否)，向所有据点10的数据发送服务器120的数据请求接收部121广播发送包含警报ID501和分组数据取得的开始点及结束点的数据取得请求(s205b)。在该情况下，通信协议例如使用UDP。
接收到数据取得请求的各据点10的数据发送服务器120的数据请求接收部121对自身的据点10内的数据收集部122将接收到的警报ID501和开始点及结束点作为关键字而提供，请求对索引确定表600进行检索。被请求进行检索的数据收集部122以所提供的警报ID501和开始点及结束点为关键字，对索引确定表600进行检索，取得收集对象的分组数据的索引列表603(s206)。此时，对照接收到的警报ID501与索引确定表600的警报ID601，将开始点及结束点一起与检索ID602进行对照。
数据收集部122以在s206的处理中取得的索引列表603内的各索引为关键字，检索时序数据表300，取得分组数据。然后，数据收集部122命令数据发送部123将所取得的分组数据发送给网络监视中心20。接受命令的数据发送部123向网络监视中心20的数据收集服务器200发送该取得的分组数据(s207)，结束处理。
通过以上的处理，网络监视中心20的数据收集服务器200能够高效地一次收集仅用户或应用所希望的范围内的时序分组数据。此外，在收集该分组数据时，据点10的数据发送服务器120不需要参照分组数据的内容，因此能够缩短数据收集所需要的时间。
图12是以文件存取数据为对象的索引计算处理的流程图。假定在据点10使用文件存取的存储装置的情况。
为文件存取的情况下，各据点10的索引服务器110的索引计算部112执行图12所示的s1201至s1209的处理来代替图10所示的s1101至s1105的处理。
索引计算部112针对作为检索ID602而使用的变量m、n，设定为m＝0、n＝0，从数据存储130的时序数据表300复制包含满足T1(1)≤时刻301≤T1(2)的分组数据的单个或多个文件(s1201)。T1(1)和T1(2)表示从时序数据表300取得分组数据的范围的下限和上限，在此，T1(1)＝t0－t1、T1(2)＝t0+t1。
接着，索引计算部112读入所复制的各文件，若为包含记载了满足(时刻301＜T1(1))或(T1(2)＜时刻301)的分组数据的行的文件，则从该文件删除该行(s1202)。
接着，索引计算部112判定是否存在多个复制的文件(s1203)，在存在多个文件的情况下(s1203：是)，向s1204前进，在存在1个文件的情况下(s1203：否)，跳过s1204向s1205前进。
在s1204中，索引计算部112在存在多个复制的文件的情况下(s1203：是)，读入各文件，结合这些文件的数据，以时刻301为关键字按照升序对文件的分组数据进行排序，输出所得到的1个文件(s1204)。
在s1205中，索引计算部112将该文件的分组数据的索引与索引列表603关联起来存储到索引确定表600中，将检测到的警报的警报ID与601关联起来存储到索引确定表600中，将检索ID：0与检索ID602关联起来存储到索引确定表600中(s1205)。
接着，索引计算部112设为m＝m+1，对包含满足T2(m)≤时刻301＜T2(m－1)的、在时序数据表300中所记载的分组数据的单个或多个文件执行上述s1201至s1204的处理(s1206)。然而，此时检索ID602为－m，T2(m)＝T2(m－1)－t2、T2(0)＝T1(1)。
索引计算部112判定T2(m)的值是否为从检测到的警报的发生日期时间502减去时间t3而得的值以下(s1207)，在T2(m)的值大于从检测到的警报的发生日期时间502减去时间t3而得的值的情况下(s1207：否)，返回到s1206，在T2(m)的值为从警报的发生日期时间502减去时间t3而得的值以下的情况下(s1207：是)，向s1208前进。
在s1208中，索引计算部112在T2(m)的值为从警报的发生日期时间502减去时间t3而得的值以下的情况下(s1207：是)，设为n＝n+1，对包含满足T3(n－1)＜时刻301≤T3(n)的、时序数据表300所记载的分组数据的单个或多个文件执行s1201至s1204的处理(s1208)。然而，此时检索ID602为n，T3(n)＝T3(n－1)+t2、T3(0)＝T1(2)。
接着，索引计算部112判定T3(n)的值是否为对警报的发生日期时间502加上时间t3而得的值以上(s1209)，在T3(n)的值小于对警报的发生日期时间502加上时间t3而得的值的情况下(s1209：否)，返回到s1208，在T3(n)的值为对警报的发生日期时间502加上时间t3而得的值以上的情况下(s1209：是)，结束处理。
通过以上的处理，即使在以文件存取的存储装置为对象的情况下，首先在据点10中仅输出取得对象范围的时序数据作为每个取得单位的文件，对该文件的数据赋予索引，由此可以根据来自网络监视中心20的请求，高效地仅收集用户或应用所希望的范围的时序数据，并且在收集时序数据时，数据发送服务器120不需要参照数据的内容，因此能够缩短数据收集所需要的时间。
另外，在某警报的发生日期时间502的前后的时间t1内发生了其他警报时，也可以独立处理各个警报，但在本实施例中，将多个警报关联起来，一次收集可能与这些警报相关联的分组数据，因此能够变更时刻t0和时间t1。以下，对这一点进行说明。
图13是表示各据点10的索引计算服务器110进行的时间范围变更处理的一例的流程图。
各据点10的索引服务器110的时间范围变更部113判定是否新检测出其他警报(s1301)，在检测出新警报的情况下(s1301：是)，向s1302前进，在未检测出新警报的情况下(s1301：否)，向s1303前进。
在s1302中，若检测出新警报，则时间范围变更部113在存储检测出的新警报的发生时刻的变量t0’中存储该检测出的新警报的发生时刻(s1302)。
在s1303中，若未检测出新警报，则时间范围变更部113在存储检测出的新警报的发生时刻的变量t0’中存储当前时刻(s1303)。
接着，时间范围变更部113从在s1302或s1303中设定的变量t0’减去时刻t0，判定通过减法运算得到的值是否大于时间t1(s1304)，在通过减法运算得到的值大于时间t1的情况下(s1304：是)，结束处理，在通过减法运算得到的值为时间t1以下的情况下(s1304：否)，向s1305前进。
时间范围变更部113将时刻t0和上述新警报的发生时刻t0’的中心时刻设定为警报的发生日期时间502，此外，对时间t1加上时刻t0与该中心时刻的差，将得到的时间设为新的t1。具体地，在t0中存储(t0’+t0)/2，对t1加上(t0’－t0)/2，返回到s1301的处理(s1305)。
如图9所示那样，在图13的处理(图9中s104b的处理)后，执行图10所示的索引计算处理(图9中s106b的处理)或图12所示的索引计算处理(图9中s106a的处理)。
通过图13的处理，能够将在接近的时刻发生的多个警报相互关联起来，一并收集与这些警报的原因相关联的时序的分组数据，使警报的分析变得容易，并且能够缩短数据收集所需要的时间。
图14是表示使得在与检测到警报的据点10不同的据点10也能够在相同的时间范围内取得分组数据的处理的流程图。
在本实施例中，若各个据点1检测警报，则以自身的时间范围将分组数据存储在时序数据表300中，若从网络监视中心20接收数据收集请求，则可以将该存储的时序数据表300内的分组数据发送到网络监视中心20。但是，在此，在据点10中，若检测警报，则向关联的据点10通知取得分组数据的时间范围，即使是接收到通知的据点10，也以通知的时间范围取得分组数据。
检测到警报的据点10的时间范围通知部114检索时序数据表300，取得满足T1(1)≤时刻301≤T1(2)的分组数据。但是，设为T1(1)＝t0－t1、T1(2)＝t0+t1(s1401)。
接着，时间范围通知部114以取得的分组数据的通信目的地识别信息304为关键字，取得在据点－设备表700的设备识别信息702中存储有与取得的分组的通信目的地识别信息304相同的识别信息的各据点10的据点识别信息701(s1402)。
并且，时间范围通知部114对取得的据点识别信息701所记载的各据点10的索引计算服务器110的时间范围变更部113发送包含设定于本装置的时刻t0、时间t1、t2、t3、检测到的警报的警报ID501的时间范围变更请求(s1403)。
接收到该时间范围变更请求的据点10的索引服务器110的时间范围变更部113将本装置的时刻t0、时间t1、t2、t3以及警报ID501变更为接收到的时刻t0、时间t1、t2、t3以及警报ID(s1404)，结束处理。
如图9所示那样，在图14的处理(图9中s104c的处理)后，执行图10所示的索引计算处理(图9中s106b的处理)或图12所示的索引计算处理(图9中s106a的处理)。
通过这样的图14的处理，在相同的时间范围内可以收集与通过某个据点10检测到的警报相关联的，或可能受该警报的影响的其他据点10所存储的分组数据，提高警报的原因分析的便利性。
图15是表示使得能够整合检测到警报的多个据点10的时间范围来取得分组数据的处理的流程图。
图14的处理由于强制性更新与某据点10检测到的警报相关联的其他据点10的时刻t0和时间t1，因此即使在其他据点10中检测到警报，也将这些警报定义为相互独立的警报。另一方面，在图13的处理中，将在1个据点10中在接近的时刻检测到的多个警报关联起来，取得能够分析这些警报的范围的分组数据。
与此相对，在图15的处理中，将在某据点10检测到的警报与在接近时刻在其他据点10检测到的警报关联起来，可以在这些多个据点10中收集能够分析这些警报的范围的数据。
参照图15时，在检测到警报的某据点10_A中，执行与图14所示的s1401至s1403的处理相同的处理(s1501)。在接收到通过该据点10_A中的处理发送的时间范围变更请求的各据点10_B中，执行与图13所示的s1301至s1305的处理相同的处理(s1502)。
之后，各据点10_B的索引计算服务器110的时间范围通知部114对据点10_A的索引计算服务器110的时间范围变更部113发送据点10_B的据点识别信息701和在据点10_B中使用的时刻t0及时间t1(s1503)。
据点10_A的索引计算服务器110的时间范围变更部113确定从各据点10_B接收到的时间t1表示最大值的时刻t0和时间t1的组合，向各据点10_B发送包含该确定的时刻t0和时间t1的时间范围变更请求(s1504)。
在接收到该时间范围变更请求的各据点10_B和据点10_A中，索引计算服务器110的时间范围变更部113将据点10内的时刻t0及时间t1的设定变更为与时间范围变更请求一起接收到的时刻t0和时间t1(s1505)，结束处理。
通过该图15的处理，能够将第一号发生的警报的发生日期时间的前后的时间t1以内在多个关联的据点10中发生的多个警报相互关联起来，一次收集用于这些多个警报的原因分析的分组数据。
如图9所示那样，在图15的处理(图9中s104a的处理)后，执行图10所示的索引计算处理(图9中s106b的处理)或图12所示的索引计算处理(图9中s106a的处理)。
以上，说明了本发明的实施方式和实施例，但这些是用于说明本发明的示例，本发明的范围并不仅限定于这些实施例的宗旨。本技术领域的技术人员可以在不脱离本发明的宗旨的范围内以其他各种方式实施本发明。
符号说明
10据点(据点系统)、100实时处理服务器、101警报发送部、102实时分析部、103数据取得部、104CPU、105通信I/F、106主存储装置、107外部存储装置I/F、110索引计算服务器、111警报信息取得部、112索引计算部、113时间范围变更部、114时间范围通知部、115通信I/F、116CPU、117主存储装置、118外部存储装置I/F、120数据发送服务器、121数据请求接收部、122数据收集部、123数据发送部、124CPU、125通信I/F、126主存储装置、127外部存储装置I/F、130数据存储、140LAN、20网络监视中心(中心系统)、200数据收集服务器、201警报接收部、202数据取得部、203CPU、204通信I/F、205数据显示部、206主存储装置、207数据请求发送部、208时间范围输入部、209外部存储装置I/F、210数据存储、220LAN、30WAN、300时序数据表、301时刻、302序列ID、303发送源识别信息、304发送目的地识别信息、305下个序列ID、306索引、400度量表、401访问源识别信息、402访问目的地识别信息、403度量数据(应答时间)、500警报表、501警报ID、502发生日期时间、503访问源识别信息、504访问目的地识别信息、505警报内容、600索引确定表、601警报ID、602检索ID、603索引列表、700设备表、701据点识别信息、702设备识别信息、800时间范围输入画面、801输入栏、802输入栏、803输入栏、804时间范围应用据点范围指定栏、805指定栏。

Claims (13)

1.一种数据转发监视系统，其特征在于，具有：
据点系统，其进行数据的记录和收发；以及
中心系统，其经由网络与上述据点系统连接，监视上述据点系统，
上述据点系统通过针对要收发的数据的实时分析来检测警报，生成确定包含警报发生时刻的预定收集对象时间内的数据即收集对象数据的索引，将上述收集对象数据与上述索引关联起来记录到时序数据表中，将警报识别信息与上述索引关联起来存储到索引确定表中，向上述中心系统发送上述警报识别信息，
上述中心系统若接收上述警报识别信息，则指定上述警报识别信息，向上述据点系统发送用于请求收集对象数据的数据请求，
上述据点系统若接收上述数据请求，则通过上述索引确定表的检索取得与指定的上述警报识别信息相关联的索引，从上述时序数据表取得通过上述索引确定的收集对象数据并发送给上述中心系统，
上述中心系统若接收上述收集对象数据，则记录上述收集对象数据。
2.根据权利要求1所述的数据转发监视系统，其特征在于，
上述据点系统，针对上述收集对象数据，即包含上述警报发生时刻的必须收集对象时间内的数据即必须收集数据、上述必须收集对象时间的前和/或后的选择对象时间内的数据即选择收集数据分别生成上述索引，若从上述中心系统接收上述数据请求，则向上述中心系统发送上述必须收集数据，若从上述中心系统进一步接收请求上述选择收集数据的数据请求，则向上述中心系统发送上述选择收集数据。
3.根据权利要求2所述的数据转发监视系统，其特征在于，
上述据点系统将上述选择收集对象时间分为多个收集单位时间，对各个收集单位时间的数据即选择收集单位数据分别生成索引，
上述中心系统发送指定了上述选择收集单位数据的数据请求，
上述据点系统若接收上述数据请求，则向上述中心系统发送在上述数据请求中指定的选择收集单位数据。
4.根据权利要求1所述的数据转发监视系统，其特征在于，
在上述要收发的数据中，在含有上述收集对象数据的文件中包含非收集对象数据的情况下，上述据点系统从上述文件中删除上述非收集对象数据，对所得到的上述文件生成上述索引。
5.根据权利要求1所述的数据转发监视系统，其特征在于，
在上述要收发的数据中，应一次发送的收集对象数据被分散在多个文件中的情况下，上述据点系统结合上述多个文件并对得到的1个文件生成索引。
6.根据权利要求1所述的数据转发监视系统，其特征在于，
在上述检测到的警报的警报发生时刻的收集对象时间内检测出其他警报的情况下，上述据点系统根据上述其他警报的警报发生时刻扩展上述收集对象时间。
7.根据权利要求1所述的数据转发监视系统，其特征在于，
存在多个上述据点系统，
第1据点系统若检测到警报，则向其他据点系统即第2据点系统发送警报识别信息和收集对象时间，
上述第2据点系统应用接收到的上述警报识别信息和上述收集对象时间，更新时序数据表和索引确定表。
8.根据权利要求1所述的数据转发监视系统，其特征在于，
存在多个上述据点系统，
第1据点系统若检测到警报，则向其他据点系统即第2据点系统发送警报识别信息、警报发生时刻和收集对象时间，
上述第2据点系统，若在自身检测到的警报的收集对象时间内存在上述第1据点系统检测出的警报的警报发生时刻，则根据上述第1据点系统的警报发生时刻扩展自身的上述收集对象时间，将上述扩展后的收集对象时间发送给上述第1据点系统，
上述第1据点系统确定在从上述第2据点系统接收到的上述扩展后的收集对象时间和自身的上述收集对象时间中最大的收集对象时间，将上述最大的收集对象时间应用于自身，并且请求在上述第2据点系统中应用上述最大的收集对象时间。
9.根据权利要求1所述的数据转发监视系统，其特征在于，
上述据点系统具有实时处理服务器、索引计算服务器以及数据发送服务器，
上述实时处理服务器通过针对上述要收发的数据的实时分析检测警报，
上述索引计算服务器生成确定上述收集对象数据的索引，
上述实时处理服务器将上述收集对象数据与上述索引关联起来记录到时序数据表中，
上述索引计算服务器将警报识别信息与上述索引关联起来存储到索引确定表中，
上述实时处理服务器向上述中心系统发送上述警报识别信息，
上述数据发送服务器若从上述中心系统接收上述数据请求，则通过上述索引确定表的检索取得与指定的上述警报识别信息相关联的索引，从上述时序数据表取得通过上述索引确定的收集对象数据并发送给上述中心系统。
10.一种数据转发监视方法，用于通过中心系统监视进行数据的记录和收发的据点系统，上述中心系统经由网络与上述据点系统连接并监视上述据点系统，上述数据转发监视方法的特征在于，
上述据点系统通过针对要收发的数据的实时分析来检测警报，生成确定包含警报发生时刻的预定收集对象时间内的数据即收集对象数据的索引，将上述收集对象数据与上述索引关联起来记录到时序数据表中，将警报识别信息与上述索引关联起来存储到索引确定表中，向上述中心系统发送上述警报识别信息，
上述中心系统若接收上述警报识别信息，则指定上述警报识别信息，向上述据点系统发送用于请求收集对象数据的数据请求，
上述据点系统若接收上述数据请求，则通过上述索引确定表的检索取得与指定的上述警报识别信息相关联的索引，从上述时序数据表取得通过上述索引确定的收集对象数据并发送给上述中心系统，
上述中心系统若接收上述收集对象数据，则记录上述收集对象数据。
11.根据权利要求10所述的数据转发监视方法，其特征在于，
上述据点系统针对上述收集对象数据，即包含上述警报发生时刻的必须收集对象时间内的数据即必须收集数据、上述必须收集对象时间的前和/或后的选择对象时间内的数据即选择收集数据分别生成上述索引，
上述据点系统若从上述中心系统接收上述数据请求，则向上述中心系统发送上述必须收集数据，
上述据点系统若从上述中心系统进一步接收请求上述选择收集数据的数据请求，则向上述中心系统发送上述选择收集数据。
12.根据权利要求11所述的数据转发监视方法，其特征在于，
上述据点系统将上述选择收集对象时间分为多个收集单位时间，对各个收集单位时间的数据即选择收集单位数据分别生成索引，
上述中心系统发送指定了上述选择收集单位数据的数据请求，
上述据点系统若接收上述数据请求，则向上述中心系统发送在上述数据请求中指定的选择收集单位数据。
13.一种数据转发监视系统中的据点系统，其中，该数据转发监视系统具有进行数据的记录和收发的据点系统和经由网络与上述据点系统连接并监视上述据点系统的中心系统，该据点系统的特征在于，
具有：实时处理服务器、索引计算服务器以及数据发送服务器，
上述实时处理服务器通过针对要收发的数据的实时分析来检测警报，
上述索引处理服务器生成确定包含警报发生时刻的预定收集对象时间内的数据即收集对象数据的索引，
上述实时处理服务器将上述收集对象数据与上述索引关联起来记录到时序数据表中，
上述索引计算服务器将警报识别信息与上述索引关联起来存储到索引确定表中，
上述实时处理服务器向上述中心系统发送上述警报识别信息，
上述数据发送服务器若从上述中心系统接收指定了上述警报识别信息的、用于请求收集对象数据的数据请求，则通过上述索引确定表的检索取得与指定的上述警报识别信息相关联的索引，从上述时序数据表取得通过上述索引确定的收集对象数据并发送给上述中心系统。
CN201480073041.1A 2014-03-18 2014-03-18 数据转发监视系统、数据转发监视方法以及据点系统 Active CN105917618B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/057367 WO2015140927A1 (ja) 2014-03-18 2014-03-18 データ転送監視システム、データ転送監視方法、および拠点システム

Publications (2)

Publication Number Publication Date
CN105917618A true CN105917618A (zh) 2016-08-31
CN105917618B CN105917618B (zh) 2019-04-19

Family

ID=54143940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480073041.1A Active CN105917618B (zh) 2014-03-18 2014-03-18 数据转发监视系统、数据转发监视方法以及据点系统

Country Status (4)

Country Link
US (1) US10164847B2 (zh)
JP (1) JP6134437B2 (zh)
CN (1) CN105917618B (zh)
WO (1) WO2015140927A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777111A (zh) * 2016-12-15 2017-05-31 华南师范大学 一种超大规模数据的时序检索索引系统及方法
CN112198850A (zh) * 2016-11-09 2021-01-08 株式会社东芝 数据收集系统、处理系统以及存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11086897B2 (en) 2014-04-15 2021-08-10 Splunk Inc. Linking event streams across applications of a data intake and query system
US9923767B2 (en) 2014-04-15 2018-03-20 Splunk Inc. Dynamic configuration of remote capture agents for network data capture
US10693742B2 (en) 2014-04-15 2020-06-23 Splunk Inc. Inline visualizations of metrics related to captured network data
US10700950B2 (en) 2014-04-15 2020-06-30 Splunk Inc. Adjusting network data storage based on event stream statistics
US11281643B2 (en) 2014-04-15 2022-03-22 Splunk Inc. Generating event streams including aggregated values from monitored network data
US10127273B2 (en) 2014-04-15 2018-11-13 Splunk Inc. Distributed processing of network data using remote capture agents
US10360196B2 (en) 2014-04-15 2019-07-23 Splunk Inc. Grouping and managing event streams generated from captured network data
US9838512B2 (en) 2014-10-30 2017-12-05 Splunk Inc. Protocol-based capture of network data using remote capture agents
US9762443B2 (en) 2014-04-15 2017-09-12 Splunk Inc. Transformation of network data at remote capture agents
US10523521B2 (en) * 2014-04-15 2019-12-31 Splunk Inc. Managing ephemeral event streams generated from captured network data
US10462004B2 (en) * 2014-04-15 2019-10-29 Splunk Inc. Visualizations of statistics associated with captured network data
US10366101B2 (en) 2014-04-15 2019-07-30 Splunk Inc. Bidirectional linking of ephemeral event streams to creators of the ephemeral event streams
US12028208B1 (en) * 2014-05-09 2024-07-02 Splunk Inc. Selective event stream data storage based on network traffic volume
US9596253B2 (en) 2014-10-30 2017-03-14 Splunk Inc. Capture triggers for capturing network data
US10334085B2 (en) 2015-01-29 2019-06-25 Splunk Inc. Facilitating custom content extraction from network packets
CN106446091A (zh) * 2016-09-13 2017-02-22 北京协力筑成金融信息服务股份有限公司 一种多源时序数据的预处理方法和装置
JP6793524B2 (ja) * 2016-11-01 2020-12-02 株式会社日立製作所 ログ解析システムおよびその方法
JP6773709B2 (ja) * 2018-03-26 2020-10-21 ファナック株式会社 収集装置、収集方法及び収集プログラム
CN108809716A (zh) * 2018-06-12 2018-11-13 郑州云海信息技术有限公司 一种采集数据审核的方法和装置
CN110784534B (zh) * 2019-10-25 2023-03-10 北京奇艺世纪科技有限公司 数据服务方法、装置、系统及电子设备
CN112202895B (zh) * 2020-09-30 2022-07-08 北京达佳互联信息技术有限公司 监控指标数据的收集方法、系统、电子设备及存储介质
US11366606B2 (en) * 2020-10-01 2022-06-21 Dell Products, L.P. Smarter performance alerting mechanism combining thresholds and historical seasonality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009171431A (ja) * 2008-01-18 2009-07-30 Oki Electric Ind Co Ltd トラフィック分析装置、トラフィック分析方法及びトラフィック分析システム
CN102045542A (zh) * 2009-10-21 2011-05-04 厦门雅迅网络股份有限公司 一种基于移动通信网络的车载录像机工作方法
CN102142193A (zh) * 2010-01-28 2011-08-03 大猩猩科技股份有限公司 交通违规行为自动侦测系统与方法
CN102780872A (zh) * 2011-05-12 2012-11-14 日立(中国)研究开发有限公司 装置监视服务器以及装置监视系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3356662B2 (ja) * 1997-09-02 2002-12-16 株式会社デジタル プロセスデータ収集方法およびプログラム式表示装置
US7663495B2 (en) * 2005-10-12 2010-02-16 The Penn State Research Foundation Vigilance monitoring technique for vehicle operators
US8095819B2 (en) * 2007-06-06 2012-01-10 Nec Corporation Communication network failure cause analysis system, failure cause analysis method, and failure cause analysis program
US8429286B2 (en) 2007-06-28 2013-04-23 Apple Inc. Methods and systems for rapid data acquisition over the internet
US20110119100A1 (en) * 2009-10-20 2011-05-19 Jan Matthias Ruhl Method and System for Displaying Anomalies in Time Series Data
JP2011130238A (ja) * 2009-12-18 2011-06-30 Nippon Telegr & Teleph Corp <Ntt> 異常トラヒック監視方法および異常トラヒック監視装置
US8438275B1 (en) * 2010-11-05 2013-05-07 Amazon Technologies, Inc. Formatting data for efficient communication over a network
CN104488230B (zh) * 2012-07-23 2017-09-29 日本电信电话株式会社 画面显示装置、网络故障监视系统以及画面生成方法
US9791485B2 (en) * 2014-03-10 2017-10-17 Silver Spring Networks, Inc. Determining electric grid topology via a zero crossing technique
US20160132538A1 (en) * 2014-11-07 2016-05-12 Rockwell Automation Technologies, Inc. Crawler for discovering control system data in an industrial automation environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009171431A (ja) * 2008-01-18 2009-07-30 Oki Electric Ind Co Ltd トラフィック分析装置、トラフィック分析方法及びトラフィック分析システム
CN102045542A (zh) * 2009-10-21 2011-05-04 厦门雅迅网络股份有限公司 一种基于移动通信网络的车载录像机工作方法
CN102142193A (zh) * 2010-01-28 2011-08-03 大猩猩科技股份有限公司 交通违规行为自动侦测系统与方法
CN102780872A (zh) * 2011-05-12 2012-11-14 日立(中国)研究开发有限公司 装置监视服务器以及装置监视系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112198850A (zh) * 2016-11-09 2021-01-08 株式会社东芝 数据收集系统、处理系统以及存储介质
CN106777111A (zh) * 2016-12-15 2017-05-31 华南师范大学 一种超大规模数据的时序检索索引系统及方法

Also Published As

Publication number Publication date
WO2015140927A1 (ja) 2015-09-24
CN105917618B (zh) 2019-04-19
US10164847B2 (en) 2018-12-25
JPWO2015140927A1 (ja) 2017-04-06
JP6134437B2 (ja) 2017-05-24
US20160330086A1 (en) 2016-11-10

Similar Documents

Publication Publication Date Title
CN105917618A (zh) 数据转发监视系统、数据转发监视方法以及据点系统
CN107305587A (zh) 周边信息收集系统以及周边信息获取装置
KR101004352B1 (ko) 컨텐츠 유통 시스템 및 방법
US10614500B2 (en) Identifying search friendly web pages
JP6034389B2 (ja) 推薦システムからの要求の評価の自動生成
CN111143158B (zh) 一种监控数据实时存储方法、系统、电子设备及存储介质
CN108345601A (zh) 搜索结果排序方法及装置
JP2010537305A (ja) 関連急上昇語の検索方法およびそのシステム
Wei et al. Enhancing local live tweet stream to detect news
JPWO2018189845A1 (ja) 作業管理システム及び作業管理方法
Wei et al. Detecting latest local events from geotagged tweet streams
KR20110085831A (ko) 소셜 네트워크 서비스를 위한 경험정보 처리 장치 및 방법
JP5904782B2 (ja) 医療情報管理システム及び医療情報管理方法
CN111582796B (zh) 一种基于图像识别的快递监控系统及方法
CN117294873A (zh) 异常媒体资源的检测方法和装置、存储介质及电子设备
JP2015153157A (ja) 仮想情報管理システム
KR101243289B1 (ko) 소셜 네트워크 서비스 정보 검색 시스템
JP2008294774A (ja) ストリームデータ処理方法、ストリームデータ処理プログラムおよびストリームデータ処理システム
JP3705331B2 (ja) ハイパーテキスト解析装置及び方法、ハイパーテキスト解析プログラムを記録した記憶媒体
CN105956141A (zh) 基于物联网的药品数据存储方法
JP6658879B2 (ja) 道路画像表示プログラム、道路画像表示方法および道路管理装置
CN110008243A (zh) 一种数据表处理方法及装置
CN111858779A (zh) 数据分析方法、装置、电子设备及存储介质
CN105488076B (zh) 数据累积方法和装置
EP3379851B1 (en) Mobility data processing apparatus, mobility data processing method and mobility data processing system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant