CN114175002A - 数据处理装置、方法及程序 - Google Patents
数据处理装置、方法及程序 Download PDFInfo
- Publication number
- CN114175002A CN114175002A CN201980098563.XA CN201980098563A CN114175002A CN 114175002 A CN114175002 A CN 114175002A CN 201980098563 A CN201980098563 A CN 201980098563A CN 114175002 A CN114175002 A CN 114175002A
- Authority
- CN
- China
- Prior art keywords
- data
- data processing
- unit
- identification value
- previous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/283—Processing of data at an internetworking point of a home automation network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Information Transfer Between Computers (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Computer And Data Communications (AREA)
Abstract
数据处理装置(100)所具有的更新判别部(135)根据从FA仪器(601、602)收集到的多个数据以预先设定的流程生成至少1个用于识别多个数据的相同性的值即相同性识别值。更新判别部(135)对应于此次识别值与前一次识别值是否一致,对此次数据与前一次数据是否一致进行判别,该此次识别值为根据此次收集到的多个数据即此次数据而生成的相同性识别值,该前一次识别值为根据前一次收集到的多个数据即前一次数据而生成的相同性识别值。在更新判别部(135)判别为此次数据与前一次数据不一致的情况下,数据分发控制部(136)将此次数据分发至进行预先设定的数据处理的数据处理部(2)。
Description
技术领域
本发明涉及数据处理装置、方法及程序。
背景技术
在各种领域中,以监视、故障预测、需求分析等为目的,灵活利用数据分析。例如,在工厂自动化领域中,在进行工厂中的生产线的运转状态的监视、故障预测等的系统中,有时对数据进行收集的应用从装置对各种数据进行收集,对数据进行处理的应用进行所收集到的数据的加工、解析处理、诊断处理等。
对数据进行收集的应用例如以一定期间为单位从FA仪器对设置于FA仪器的传感器的输出值的数据进行收集,将收集到的数据发送至对数据进行处理的应用。但是,有时以一定期间为单位从FA仪器收集的传感器的输出值的值并不产生变化。而且,在数据不产生变化的情况下,对数据进行处理的应用即使不逐次接收数据,有时也不会对该处理带来障碍。
在这样的情况下,即使传感器的输出值没有变化,对数据进行收集的应用也以一定期间为单位将数据发送至对数据进行处理的应用这一做法会导致与数据分发有关的处理的负荷、通信量的负荷增大。
以与数据分发有关的处理的负荷、通信量的负荷的降低为目的,例如,有时如专利文献1所记载的那样,以仅在收集到的数据被更新的情况下发送数据的方式进行控制。在专利文献1所公开的系统中,终端装置作为分发部起作用,从网络上的服务器取得通过由用户指定的URI(Uniform Resource Identifier)而确定的HTML(Hyper Text MarkupLanguage)数据,将取得的HTML数据分发至对HTML数据进行解析的数据收集节点。
为了降低通信量,终端装置仅将被更新的HTML数据发送至数据收集节点。为了对HTML数据是否已被更新进行判别,终端装置对根据此次取得的HTML数据计算出的哈希值和根据前一次取得的HTML数据计算出的哈希值进行比较。终端装置在哈希值的比较结果为哈希值不一致的情况下,判别为HTML数据已被更新,将该HTML数据发送至数据收集节点。
专利文献1:日本特开2010-182243号公报
发明内容
在专利文献1所记载的结构中,用户阅览的HTML数据为收集对象,设想为收集对象的数据数量不多。因此,认为终端装置对更新的有无进行判别的处理的负荷不会极端地变大。但是,在收集对象的数据数量增大的情况下,作为分发部起作用的终端装置需要对与数据的个数对应的哈希值进行计算,对与数据的个数对应的哈希值进行比较。因此,分发部的处理变得繁杂,处理的负荷增大。例如,在工厂自动化领域中,分发部有时将从仪器周期性地收集到的大量数据分发至进行所决定的数据处理的数据处理部。在这样的情况下,如果采用专利文献1所记载的结构,则虽然分发部和数据处理部之间的通信量能够降低,但分发部需要频繁地进行各个数据有无更新的判别处理,分发部的处理变得繁杂,分发部的处理的负荷增大。
本发明就是鉴于上述实际情况而提出的,其目的在于使数据的分发处理变得简易,降低与数据分发有关的处理的负荷。
为了达成上述目的,本发明涉及的数据处理装置所具有的识别值生成单元根据从仪器收集到的多个数据以预先设定的流程对至少1个用于识别多个数据的相同性的值即相同性识别值进行计算。判别单元对应于此次识别值与前一次识别值是否一致,对此次数据与前一次数据是否一致进行判别,该此次识别值为根据此次收集到的多个数据即此次数据而生成的相同性识别值,该前一次识别值为根据前一次收集到的多个数据即前一次数据而生成的相同性识别值。在判别单元判别为此次数据与前一次数据不一致的情况下,分发单元将此次数据分发至进行预先设定的数据处理的数据处理单元。
发明的效果
本发明涉及的数据处理装置对应于根据此次收集到的多个数据而生成的此次识别值与根据前一次收集到的多个数据而生成的前一次识别值是否一致,对此次收集到的多个数据与前一次收集到的多个数据是否一致进行判别。数据处理装置如果判别为此次收集到的多个数据与前一次收集到的多个数据不一致,则将此次收集到的数据分发至进行预先设定的数据处理的数据处理单元。这样,能够以简易的结构实现是否进行数据的分发的判别,能够降低处理的负荷。
附图说明
图1是表示本发明的实施方式涉及的数据处理装置及维护工具的功能结构的框图。
图2是表示实施方式涉及的数据处理装置及维护工具的硬件结构的图。
图3是表示实施方式涉及的数据模型的一个例子的图。
图4是用于说明实施方式涉及的对数据更新的有无进行判别的方法的图。
图5是实施方式涉及的数据分发处理的流程图。
图6是表示变形例涉及的数据处理装置及维护工具的功能结构的框图。
图7是用于说明变形例涉及的对数据更新的有无进行判别的方法的图。
具体实施方式
(实施方式)
下面,一边参照附图,一边对本发明的实施方式涉及的数据处理装置进行详细说明。
图1所示的数据处理装置100例如对由工厂内的FA仪器601及602输出的数据进行收集。例如,数据处理装置100以预防维护、预测维护等为目的,对收集到的数据进行解析,对FA仪器601及602进行诊断,将诊断结果发送至对FA仪器601及602进行控制的可编程逻辑控制器603(下面,称为PLC 603)。例如,数据处理装置100将包含警报信息的诊断结果发送至PLC 603,该警报信息表示FA仪器601及602产生劣化,需要在产生故障之前进行维护。
数据处理装置100例如是与FA仪器601及602设置于相同的工厂内的工业用PC(Industrial Personal Computer:IPC)。FA仪器601及602例如为在工厂的生产线上使用的机械装置。FA仪器601及602具有包含振动传感器、温度传感器、压力传感器、流量传感器等的各种传感器。PLC 603是对FA仪器601及602进行控制的控制装置。
在FA仪器601及602设置的传感器的输出值被供给至PLC
603。数据处理装置100从PLC 603对在FA仪器601及602设置的传感器的输出值进行收集。
数据处理装置100按照由用户指定的关于数据收集的设定,对数据进行收集。下面,有时将关于数据收集的设定称为收集设定。在收集设定中定义了成为收集对象的装置、收集的时间间隔、所收集的数据等。例如,数据处理装置100从指定的收集对象,以指定的时间间隔对指定的数据进行收集。此外,数据处理装置100并非必须以所决定的时间间隔对数据进行收集。数据处理装置100例如也可以在用户进行了特定操作时、在诊断的结果为NG时这样的满足了所决定的条件时,对指定的数据进行收集。或者,数据处理装置也可以以指定的时间间隔对数据进行收集,而且,在满足了所决定的条件时对数据进行收集。
在数据处理装置100中,例如,分别实现各种功能的多个处理部进行一系列处理。因此,预先对表示各工序的内容、工序的顺序等的数据处理流程进行定义。数据处理装置100具有表示数据处理流程的设定的数据。数据处理装置100的各处理部按照所定义的数据处理流程的设定对所收集到的数据进行处理。下面,将预先对数据处理流程进行了定义的设定称为数据处理流程设定。
维护工具500例如是用于用户将收集设定登记于数据处理装置100的工具。维护工具500例如是在个人计算机上安装有专用的应用的装置。维护工具500按照用户的指示将表示收集设定的数据供给至数据处理装置100。维护工具500按照用户的指示将表示数据处理流程设定的数据供给至数据处理装置100。而且,维护工具500按照用户的指示,将指示开始处理流程的信号发送至数据处理装置100。
接下来,对各装置的硬件结构进行说明。如图2所示,数据处理装置100作为硬件结构具有:存储器11,其对各种程序及数据进行存储;第1通信接口12,其经由网络701与其它装置进行通信;第2通信接口13,其经由通信线缆702与其它装置进行通信;以及CPU(Central Processing Unit)14,其对数据处理装置100整体进行控制。存储器11、第1通信接口12和第2通信接口13经由总线19连接于CPU 14,各自与CPU 14进行通信。
存储器11包含易失性存储器和非易失性存储器。存储器11对用于实现数据处理装置100的各种功能的程序进行储存。具体而言,存储器11对收集程序111、数据处理程序112、分发控制程序113进行存储。而且,存储器11被用作CPU 14的工作存储器。
收集程序111是用于使数据处理装置100实现从PLC 603对数据进行收集的功能的程序。数据处理程序112是用于使数据处理装置100实现对收集到的数据执行预先决定的数据处理的功能的程序。预先决定的数据处理例如是解析处理、诊断处理。分发控制程序113是用于使数据处理装置100实现对收集到的数据的分发进行控制的功能的程序。
第1通信接口12包含网络接口电路,在CPU 14的控制下,经由网络701与PLC 603进行通信。网络701是遵循现场总线标准的网络。
第2通信接口13例如包含USB控制器,在CPU 14的控制下,经由通信线缆702与维护工具500进行通信。通信线缆702例如是USB线缆。
CPU 14执行在存储器11存储的各种程序,实现数据处理装置100的各种功能。具体而言,CPU 14通过执行收集程序111,从而从PLC 603对数据进行收集。CPU 14通过执行数据处理程序112,从而对收集到的数据实施预先决定的数据处理。CPU 14通过执行分发控制程序113,从而对数据的分发进行控制。
维护工具500作为硬件结构具有:存储器51,其对各种程序及数据进行存储;通信接口52,其经由通信线缆702与其它装置对数据进行收发;输入装置53,其对用户的输入操作进行检测;显示装置54,其对图像进行显示;以及CPU 55,其对维护工具500整体进行控制。存储器51、通信接口52、输入装置53和显示装置54经由总线59连接于CPU 55,各自与CPU55进行通信。
存储器51包含易失性存储器和非易失性存储器。存储器51对用于实现维护工具500的各种功能的程序进行储存。具体而言,存储器51对维护程序511进行储存。另外,存储器51被用作CPU55的工作存储器。
维护程序511是用于使维护工具500实现将各种设定数据供给至数据处理装置100的功能、将指示开始收集处理的信号供给至数据处理装置100的功能的程序。各种设定数据包含表示收集设定的数据、表示数据处理流程设定的数据。
通信接口52例如包含USB控制器,在CPU 55的控制下,经由通信线缆702与数据处理装置100进行通信。
输入装置53包含鼠标、操作键等,对来自用户的输入操作进行接收,将表示由用户输入的内容的信号输出至CPU 55。显示装置54包含显示器,将基于从CPU 55供给来的信号的图像显示于显示器。
CPU 55执行在存储器51存储的各种程序,实现维护工具500的各种功能。具体而言,CPU 55通过执行维护程序511,从而将由用户输入的各种设定数据发送至数据处理装置100。另外,CPU55通过执行维护程序511,从而将指示开始收集处理的信号发送至数据处理装置100。
接下来,参照图1,对数据处理装置100的功能结构进行说明。数据处理装置100在功能上具有:数据收集部1,其从收集对象对数据进行收集;数据处理部2,其对收集到的数据进行所决定的数据处理;执行控制部3,其对分发进行控制;以及数据供给部4,其将由执行控制部3输出的数据供给至PLC 603。在图1中,箭头的朝向表示在数据处理装置100的各功能部间数据、信号等传输的朝向。
数据收集部1从PLC 603,对包含在FA仪器601及602设置的传感器的输出值的数据进行收集。数据收集部1例如如果从执行控制部3接收到指示开始收集处理的信号,则开始收集处理,从指定的对象以指定的收集间隔对指定的数据进行收集。数据收集部1将收集到的数据供给至执行控制部3。数据收集部1的功能通过由图2所示的CPU 14执行收集程序111而实现。数据收集部1为本发明的收集单元的一个例子。
图1所示的数据处理部2包含数据处理部2A、2B。例如,数据处理部2A对从执行控制部3供给来的数据进行解析。数据处理部2B基于解析结果,对FA仪器601及602进行诊断,将表示诊断结果的数据发送至执行控制部3。此外,由数据处理部2执行的处理并不限于解析、诊断。数据处理部2的功能通过由图2所示的CPU 14执行数据处理程序112而实现。数据处理部2是本发明的数据处理单元的一个例子。
执行控制部3按照所定义的数据处理流程,例如将收集到的数据分发至数据处理装置100的各处理部。执行控制部3包含:设定数据存储部110,其对表示数据处理流程设定的数据进行存储;模型管理部120,其对定义了数据模型的数据进行管理;以及数据分发部130,其是数据的分发处理的执行主体。
在实施方式中,执行控制部3并非是将由数据收集部1收集到的数据全部分发至数据处理部2。如上所述,数据收集部1对FA仪器602及603所具有的传感器的输出值进行收集。在传感器的输出值没有变化的情况下,执行控制部3不将收集到的数据分发至数据处理部2。例如,假设传感器对温度进行测定。在该情况下,在前一次收集到的温度数据与此次收集到的温度数据没有变化的情况下,执行控制部3不将数据分发至数据处理部2。
数据处理部2在没有从执行控制部3分发来数据的情况下,使用前一次分发的数据进行数据处理。原因在于,由于前一次收集到的传感器的输出值与此次收集到的传感器的输出值相同,因此数据处理部2使用前一次分发的数据进行数据处理也没有问题。数据处理装置100通过具有这样的结构,能够降低执行控制部3和数据处理部2之间的通信量。或者,数据处理部2也可以仅在数据产生变化的情况下进行数据处理。在该情况下,数据处理部2直至从执行控制部3分发来数据为止不进行数据处理。
作为实施方式的特征性的结构,执行控制部3并非是对收集到的多个数据的每一者是否产生了变化进行判别,而将所决定的范围的数据汇总,以汇总后的数据为单位对数据是否产生了变化进行判别。
设定数据存储部110对表示数据处理流程设定的数据进行存储。表示数据处理流程设定的数据包含定义了应该对收集到的数据进行的数据处理的内容、执行数据处理的主体和数据处理的顺序的数据。
而且,设定数据存储部110对表示关于由数据收集部1执行的数据收集处理的收集设定的数据进行存储。表示收集设定的数据包含对收集对象进行确定的数据、对所收集的数据进行确定的数据、对收集数据的收集间隔进行确定的数据。用户使用维护工具500,将表示数据处理流程设定的数据、表示收集设定的数据储存于存储器11的所决定的位置。设定数据存储部110的功能由图2所示的存储器11实现。
图1所示的模型管理部120对将数据处理装置100的收集对象的数据模型化后的定义信息进行管理。在实施方式中,数据处理装置100将收集对象的数据模型化而对其进行管理。具体而言,数据处理装置100将收集对象的数据作为具有图3所示那样的层级化构造的数据而进行处理。此外,数据模型并不限于具有层级化构造的模型。模型管理部120的功能由图2所示的存储器11实现。
图1所示的数据分发部130包含:第1收发部131,其与数据收集部1及数据供给部4之间对数据进行收发;第2收发部132,其与数据处理部2之间对数据进行收发;数据储存部133,其对收集到的数据进行积蓄;识别值生成部134,其根据收集到的数据而生成识别值;更新判别部135,其对收集到的数据是否已被更新进行判别;以及数据分发控制部136,其对数据分发部130的各功能部进行控制。数据分发部130的功能通过由图2所示的CPU 14执行分发控制程序113而实现。识别值生成部134是本发明的识别值生成单元的一个例子。更新判别部135是本发明的判别单元的一个例子。数据分发控制部136是本发明的分发单元的一个例子。
图1所示的第1收发部131作为与数据收集部1之间对数据进行交换的接口起作用。第1收发部131将从数据收集部1接收到的数据输出至数据分发控制部136。第1收发部131将从数据分发控制部136供给来的数据发送至数据供给部4。
第2收发部132作为与数据处理部2之间对数据进行交换的接口起作用。第2收发部132将从数据分发控制部136供给来的数据发送至数据处理部2。第2收发部132将从数据处理部2接收到的数据输出至数据分发控制部136。
图1所示的数据储存部133暂时对由数据收集部1收集到的数据进行储存。数据分发控制部136将从第1收发部131供给来的数据储存于数据储存部133。另外,后述的识别值生成部134将根据收集到的数据计算出的哈希值储存于数据储存部133。
图1所示的识别值生成部134根据由数据收集部1此次收集到的数据对至少1个哈希值进行计算,将计算出的哈希值供给至更新判别部135。而且,识别值生成部134将哈希值储存于数据储存部133。计算出的哈希值是用于对由数据收集部1此次收集到的数据与前一次收集到的数据是否相同进行判别的识别值。预先对用于计算哈希值的哈希函数进行定义,将表示哈希函数的定义信息存储于存储器11。哈希值是本发明的相同性识别值的一个例子。
如上所述,数据处理装置100以汇总后的数据为单位对数据是否产生了变化进行判别。因此,识别值生成部134以如下方式生成哈希值。首先,由数据收集部1收集到的数据有时包含多个数据。例如,在由数据收集部1收集的数据中,例如,包含“1”、“0.01”等数值的数据、表示“真”或“伪”的数据、表示“AB”、“D”等字符串的数据。识别值生成部134以所决定的顺序将多个数据连结。识别值生成部134例如也可以以从数据收集部1向数据分发部130给予数据时的数据的排列顺序,将多个数据连结。或者,识别值生成部134也可以以表示数据的数据名的升序或降序,重新排列数据,将重新排列后的数据连结。或者,识别值生成部134也可以以由用户指定的顺序将数据重新排列,将重新排列后的数据连结。另外,识别值生成部134例如也可以如“1真AB”那样,将数据直接连结。或者,识别值生成部134也可以如“1,真,AB”、“1;真:AB”、“1真AB”那样,经由所决定的标号将数据连结。之后,识别值生成部134根据连结后的值对哈希值进行计算。
在实施方式中,识别值生成部134将从数据储存部133读出的数据全部输入至已定义出的哈希函数,对哈希值进行计算。识别值生成部134将此次哈希值储存于数据储存部133。识别值生成部134并非是针对各个数据计算哈希值,而是将从数据收集部1供给来的数据汇总而对哈希值进行计算。
识别值生成部134也可以对大于或等于2个哈希值进行计算。但是,优选所计算的哈希值的数量比收集到的数据数量少。原因在于,在所计算的哈希值的数量与收集到的数据数量相同或者比收集到的数据数量更大的情况下,与单纯对前一次数据和此次数据进行比较的情况相比,无法降低运算处理的负荷。
更新判别部135为了对收集到的数据的更新的有无进行判别,对根据此次收集到的数据计算出的哈希值(下面,称为此次哈希值)与根据前一次收集到的数据计算出的哈希值(下面,称为前一次哈希值)进行比较。如图4所示,更新判别部135对从数据储存部133读出的前一次哈希值与根据此次收集到的数据计算出的哈希值进行比较。此次哈希值和前一次哈希值一致意味着此次收集到的数据与前一次收集到的数据相同。更新判别部135在此次哈希值与前一次哈希值一致的情况下,判别为此次收集到的数据与前一次收集到的数据一致。更新判别部135在哈希值不一致的情况下,判别为此次收集到的数据与前一次收集到的数据不一致。更新判别部135对数据分发控制部136通知判别出的更新的有无。由数据收集部1前一次收集到的数据是本发明的前一次数据的一个例子。由数据收集部1此次收集到的数据是本发明的此次数据的一个例子。此次哈希值是本发明的此次识别值的一个例子。前一次哈希值是本发明的前一次识别值的一个例子。
在识别值生成部134对N个(N为正的整数)的哈希值进行计算的情况下,更新判别部135在N个此次哈希值与N个前一次哈希值全部一致的情况下,向数据分发控制部136通知数据没有被更新这一状况。
数据分发控制部136如果按照用户的指示,指示开始处理流程,则基于在设定数据存储部110储存的表示数据处理流程设定的数据,对数据处理装置100的各功能部之间的数据的分发进行控制。具体而言,数据分发控制部136对数据收集部1指示开始收集处理。此时,数据分发控制部136将在设定数据存储部110储存的表示收集设定的定义信息供给至数据收集部1。而且,数据分发控制部136对数据处理部2指示开始解析处理、诊断处理等数据处理。此时,数据分发控制部136将在模型管理部120储存的数据模型的定义信息供给至数据处理部2。
数据分发控制部136如果被从第1收发部131供给了数据,则将数据储存于数据储存部133,对更新判别部135通知收集到数据这一状况。
如果从更新判别部135接收到所收集到的数据已被更新这一状况的通知,则数据分发控制部136将在数据储存部133储存的此次收集到的数据,经由第2收发部132发送至基于表示数据处理流程设定的数据而得出的发送目标所示的数据处理部2。之后,数据分发控制部136将在数据储存部133储存的根据前一次收集到的数据计算出的哈希值和此次收集到的数据删除。另一方面,数据分发控制部136在从更新判别部135接收到所收集到的数据没有被更新这一状况的通知的情况下,不将数据发送至数据处理部2。数据分发控制部136将在数据储存部133储存的根据前一次收集到的数据计算出的哈希值和此次收集到的数据删除。
这样,在从数据收集部1供给新的数据时,在数据储存部133中替代此次收集到的数据而仅储存有此次哈希值。该哈希值在对下次收集到的数据的更新的有无进行判别的处理中,被作为根据前一次收集到的数据计算出的哈希值进行处理。通过这样的结构,能够降低存储器的使用容量。
数据分发控制部136如果被从第2收发部132供给了数据,则将数据分发至基于表示数据处理流程设定的数据而得出的发送目标。例如,在数据的发送目标为PLC 603的情况下,数据分发控制部136经由第1收发部131将数据发送至数据供给部4。因此,数据供给部4将从第1收发部131供给来的数据发送至PLC603。从第1收发部131供给至数据供给部4的数据例如是表示对FA仪器601及602进行诊断而得到的结果的数据。或者,数据分发控制部136在数据的发送目标为其它数据处理部2的情况下,经由第2收发部132将数据发送至数据处理部2。
如图1所示,维护工具500在功能上包含输入接收部510。输入接收部510将表示从用户接收到的收集设定的数据、表示数据处理流程设定的数据发送至数据处理装置100。而且,输入接收部510将从用户接收到的处理流程的开始指示发送至数据处理装置100。输入接收部510的功能由图2所示的CPU 55实现。
接下来,对具有上述结构的数据分发部130将从数据收集部1接收到的数据分发至数据处理部2的数据分发处理的例子进行说明。图2所示的CPU 14通过执行分发控制程序113,从而作为图1所示的数据分发部130起作用。
如图5所示,数据分发控制部136如果经由第1收发部131从数据收集部1接收到数据(步骤S1001;Yes),则将接收到的数据储存于数据储存部133(步骤S1002),对识别值生成部134通知新收集到数据这一状况。识别值生成部134根据在数据储存部133储存的数据对哈希值进行计算(步骤S1003)。更新判别部135对此次计算出的哈希值和前一次计算出的哈希值进行比较(步骤S1004)。如果此次计算出的哈希值和前一次计算出的哈希值一致(步骤S1005;Yes),则更新判别部135对数据分发控制部136通知这一状况。响应于此,数据分发控制部136从数据储存部133将前一次计算出的哈希值和此次接收到的数据删除(步骤S1007),再次进行步骤1001的处理。
另一方面,如果此次计算出的哈希值和前一次计算出的哈希值不一致(步骤S1005;No),则更新判别部135对数据分发控制部136通知这一状况。响应于此,数据分发控制部136将在数据储存部133储存的此次接收到的数据经由第2收发部132分发至数据处理部2(步骤S1006)。之后,数据分发控制部136从数据储存部133将前一次计算出的哈希值和此次接收到的数据删除(步骤S1007),再次进行步骤1001的处理。
如以上说明过那样,实施方式涉及的数据处理装置100的数据分发部130通过对将接收到的数据汇总而计算出的哈希值进行比较,从而对此次接收到的数据和前一次接收到的数据是否一致进行判别。数据分发部130在判别为哈希值不一致时,将此次接收到的数据分发至数据处理部2。另一方面,在哈希值一致时,数据处理装置100不将此次接收到的数据分发至数据处理部2。
通过具有这样的结构,能够减轻数据分发部130与数据处理部2之间的通信量,并且能够使数据分发部130的处理变得简易。因此,能够降低数据分发部130的处理的负荷。例如,在收集对象的数据的数量为100的情况下,如果像以往那样,单独地对前一次收集到的数据与此次收集到的数据进行比较,则需要进行100次比较运算。另一方面,在实施方式涉及的结构中,例如,在根据汇总的数据对3个哈希值进行计算的情况下,仅进行计算3个哈希值的运算、分别对前一次的3个哈希值与此次的3个哈希值进行比较的运算即可。
而且,数据分发部130通过哈希值的比较,对前一次收集到的数据与此次收集到的数据是否一致进行判别,因此不需要将前一次收集到的数据保存于数据储存部133。在比较哈希值时,在数据储存部133中储存有根据前一次收集到的数据计算出的哈希值、此次收集到的数据、根据此次收集到的数据计算出的哈希值。因此,能够降低数据处理装置100的存储器的存储容量。
(变形例)
在实施方式中,说明了识别值生成部134将从数据储存部133读出的数据全部输入至哈希函数,对哈希值进行计算的例子,但并不限于此。图6示出变形例涉及的数据处理装置101的结构。下面,以与实施方式不同的结构为中心进行说明。数据处理装置101除了实施方式涉及的结构之外,具有分组部137。数据处理装置101具有数据处理部2A、2B、2C。
分组部137将收集到的数据分组。在变形例中,分组部137按照在模型管理部120储存的数据模型的定义信息将数据分组。这里,假设所收集的数据是图3所示那样的具有层级化构造的数据。用户使用维护工具500将与数据的分组相关的设定预先登记于数据处理装置101。例如,分组部137将由数据处理部2A处理的数据分为组A,将由数据处理部2B处理的数据分为组B,将由数据处理部2C处理的数据分为组C。数据处理部2A是本发明的第1数据处理单元的一个例子。数据处理部2B是本发明的第2数据处理单元的一个例子。由数据处理部2A执行的处理是本发明的第1数据处理的一个例子。由数据处理部2B执行的处理是本发明的第2数据处理的一个例子。
分组部137对识别值生成部134通知表示收集到的数据和组之间的关联关系的信息。如图7所示,识别值生成部134以组为单位读出在数据储存部133储存的数据,根据读出的以组为单位的数据对哈希值进行计算。在图示的例子中,将收集到的数据分为3个组,针对各个组计算1个哈希值。根据此次收集到的属于组A的数据计算出的哈希值是本发明的第1此次识别值的一个例子。根据前一次收集到的属于组A的数据计算出的哈希值是本发明的第1前一次识别值的一个例子。根据此次收集到的属于组B的数据计算出的哈希值是本发明的第2此次识别值的一个例子。根据前一次收集到的属于组B的数据计算出的哈希值是本发明的第2前一次识别值的一个例子。
更新判别部135根据针对各个组计算出的哈希值对数据是否已被更新进行判别。更新判别部135对数据分发控制部136通知各个组的判定结果。数据分发控制部136与通知的结果对应地,将数据已被更新的组的数据分发至数据处理部2。另外,数据分发控制部136不对数据没有被更新的组的数据进行分发。
在变形例涉及的结构中,也与实施方式相同地,能够减轻与数据处理部2之间的通信量,并且降低数据分发部130的处理的负荷。
在上述变形例中,对按照数据模型来分组的例子进行了说明,但并不限于此。分组部137也可以单纯地以所决定的单位将数据分组。例如,分组部137也可以以所决定的数据数量为单位对数据进行划分。或者,分组部137也可以以具有含义的单位对数据进行分组。另外,在数据处理部2存在多个的情况下,分组部137也可以将发送至数据的分发目标即数据处理部2的数据设为组。
在实施方式、变形例中,数据处理装置100、101并非是根据各个数据对哈希值进行计算,而是根据汇总后的数据对哈希值进行计算。因此,无法对多个数据中的哪个数据已被更新进行确定。
但是,例如,通过采用在传送路径上产生的错误的纠错技术,能够对被更新的数据进行确定。例如,识别值生成部134根据收集到的数据,将纠错码计算作为哈希值。数据更新的有无的判别方法与实施方式相同。
数据分发控制部136在更新判别部135判别为存在数据的更新的情况下,将该数据分发至数据处理部2。此时,数据分发控制部136将此次收集到的数据与前一次哈希值一起发送至数据处理部2,这里,该前一次哈希值是根据前一次收集到的数据计算出的纠错码。
数据处理部2将从数据分发控制部136分发来的数据视为产生了错误的数据,根据追加于该数据的纠错码进行错误检测。检测出错误的部位为被更新的部位。
在实施方式中,说明了数据分发部130在判别为此次哈希值与前一次哈希值全部一致的情况下,不将数据分发至数据处理部2的例子,但并不限于此。例如,数据分发部130也可以在根据相同数据对多个哈希值进行计算,并且此次计算出的多个哈希值中的与前一次计算出的多个哈希值一致的数量小于或等于阈值的情况下,将数据分发至数据处理部2。另一方面,数据分发部130也可以在此次计算出的多个哈希值中的与前一次计算出的多个哈希值一致的数量大于阈值的情况下,不将数据分发至数据处理部2。
另外,或者,数据分发部130也可以在对多个哈希值进行计算,并且此次计算出的多个哈希值与前一次计算出的多个哈希值一致的概率小于所决定的比率的情况下,将数据分发至数据处理部2。数据分发部130也可以在哈希值一致的概率大于或等于所决定的比率的情况下,不将数据分发至数据处理部2。
在实施方式中,说明了数据处理装置100具有1个数据收集部1的例子,但并不限于此。数据处理装置100也可以具有大于或等于2个数据收集部1。在该情况下,各数据收集部1也可以仅对所决定的种类的数据进行收集。例如,某个数据收集部1对温度数据进行收集,其它数据收集部1对流量数据进行收集。或者,数据收集部1也可以从所分配的收集目标对数据进行收集。例如,某个数据收集部1从PLC 603对数据进行收集,其它数据收集部1从PLC603之外的PLC对数据进行收集。
在实施方式中,数据处理部2经由执行控制部3对数据进行交换,但并不限于此。数据处理部2A也可以彼此能够进行通信。例如,某个数据处理部2对从执行控制部3供给来的数据进行解析,将解析结果供给至其它数据处理部2。其它数据处理部2也可以基于供给来的结果,对FA仪器601及602进行诊断,将诊断结果供给至执行控制部3。另外,由数据处理部2执行的处理并不限于解析处理、诊断处理。例如,数据处理部2也可以对收集到的数据实施缺损值处理、偏离值处理等解析处理前所需要的在先处理。
在实施方式中,说明了数据处理装置100具有数据收集部1、数据处理部2的例子,但并不限于此。数据收集部1、数据处理部2也可以设置于与数据处理装置100不同的装置,数据处理装置100、具有数据收集部1的装置、具有数据处理部2的装置协作地作为数据处理系统起作用。在该情况下,数据处理装置100例如也可以经由网络与数据收集部1、数据处理部2之间对数据进行收发。
在实施方式中,说明了数据处理装置100经由PLC 603从FA仪器601及602对数据进行收集的例子,但并不限于此。例如,可以是数据处理装置100从FA仪器601及602直接对数据进行收集。
在实施方式中,说明了数据处理装置100对数据进行收集,对数据进行所决定的处理,对FA仪器601及602进行诊断的例子,但并不限于此。数据处理装置100也可以将收集到的数据发送至其它解析装置。在该情况下,数据处理装置100和解析装置例如也可以经由遵循10BASE-T、100BASE-T这样的标准的网络进行通信。
在实施方式中,说明了以预防维护、预测维护等为目的,对FA仪器601及602进行诊断的例子,但由数据处理装置100收集的数据也可以用于其它用途。例如,也可以根据从FA仪器601及602收集到的数据取得统计,根据统计对其它FA仪器的故障产生进行预测。
在变形例中,说明了用户使用维护工具500将与数据的分组相关的设定登记于数据处理装置101的例子,但并不限于此。例如,数据处理装置101也可以具有输入接收部。数据处理装置101所具有的输入接收部也可以从用户接收表示与数据的分组相关的设定的数据,将接收到的数据储存于设定数据存储部110。
作为对上述程序进行记录的记录介质,能够使用包含磁盘、光盘、光磁盘、闪存、半导体存储器、磁带的计算机可读取的记录介质。
本发明在不脱离广义的精神和范围的情况下,能够设为各种实施方式及变形。另外,上述实施方式用于对本发明进行说明,并不是对本发明的范围进行限定。即,本发明的范围不是由实施方式表示,而是由权利要求书表示的。而且,将在权利要求范围内及与其等同的发明意义的范围内实施的各种变形视为落在本发明的范围内。
标号的说明
1数据收集部,2A、2B(2)数据处理部,3执行控制部,4数据供给部,11、51存储器,12第1通信接口,13第2通信接口,14、55CPU,19、59总线,52通信接口,53输入装置,54显示装置,100、101数据处理装置,110设定数据存储部,111收集程序,112数据处理程序,113分发控制程序,120模型管理部,130数据分发部,131第1收发部,132第2收发部,133数据储存部,134识别值生成部,135更新判别部,136数据分发控制部,137分组部,500维护工具,510输入接收部,511维护程序,601、602FA仪器,603可编程逻辑控制器(PLC),701网络,702通信线缆
Claims (13)
1.一种数据处理装置,其具有:
识别值生成单元,其根据从仪器收集到的多个数据以预先设定的流程生成至少1个用于识别所述多个数据的相同性的值即相同性识别值;
判别单元,其对应于此次识别值与前一次识别值是否一致,对此次数据与前一次数据是否一致进行判别,该此次识别值为根据此次收集到的所述多个数据即所述此次数据生成的所述相同性识别值,该前一次识别值为根据前一次收集到的所述多个数据即所述前一次数据生成的所述相同性识别值;以及
分发单元,其在所述判别单元判别为所述此次数据与所述前一次数据不一致的情况下,将所述此次数据分发至进行预先设定的数据处理的数据处理单元。
2.根据权利要求1所述的数据处理装置,其中,
为了对所述此次识别值进行计算,所述识别值生成单元将所述此次数据代入至预先规定的哈希函数而对哈希值进行计算,为了对所述前一次识别值进行计算,所述识别值生成单元将所述前一次数据代入至所述哈希函数而对哈希值进行计算。
3.根据权利要求2所述的数据处理装置,其中,
所述识别值生成单元根据收集到的所述多个数据中的预先决定的组合的数据,对所述哈希值进行计算。
4.根据权利要求3所述的数据处理装置,其中,
在所述判别单元判别为根据此次收集到的所述多个数据中的所述组合的数据计算出的所述哈希值与根据前一次收集到的所述多个数据中的所述组合的数据计算出的所述哈希值不一致的情况下,所述分发单元将所述组合的数据分发至所述数据处理单元。
5.根据权利要求3或4所述的数据处理装置,其中,
在所述判别单元判别为根据此次收集到的所述多个数据中的所述组合的数据计算出的所述哈希值与根据前一次收集到的所述多个数据中的所述组合的数据计算出的所述哈希值一致的情况下,所述分发单元不将所述组合的数据分发至所述数据处理单元。
6.根据权利要求3至5中任一项所述的数据处理装置,其中,
所述数据处理单元包含进行第1数据处理的第1数据处理单元、进行第2数据处理的第2数据处理单元,
所述识别值生成单元根据所述此次数据中的与所述第1数据处理单元相关联的第1组合的数据,生成第1此次识别值,根据所述此次数据中的与所述第2数据处理单元相关联的第2组合的数据,生成第2此次识别值,
所述判别单元在所述第1此次识别值与根据所述前一次数据中的所述第1组合的数据而生成的第1前一次识别值不一致的情况下,将所述此次数据中的所述第1组合的数据分发至所述第1数据处理单元,在所述第2此次识别值与根据所述前一次数据中的所述第2组合的数据而生成的第2前一次识别值不一致的情况下,将所述此次数据中的所述第2组合的数据分发至所述第2数据处理单元。
7.根据权利要求3至6中任一项所述的数据处理装置,其中,
所述组合是按照预先定义的数据模型而决定的。
8.根据权利要求3至7中任一项所述的数据处理装置,其中,
所述组合由用户指定。
9.根据权利要求2至8中任一项所述的数据处理装置,其中,
在所述识别值生成单元对多个所述哈希值进行计算,并且所述判别单元判别为此次的多个所述哈希值与前一次的多个所述哈希值全部一致的情况下,所述分发单元不将所述此次数据分发至所述数据处理单元。
10.根据权利要求2至8中任一项所述的数据处理装置,其中,
在所述识别值生成单元对多个所述哈希值进行计算,并且所述判别单元判别为此次的多个所述哈希值与前一次的多个所述哈希值一致的数量小于或等于阈值的情况下,所述分发单元将所述此次数据分发至所述数据处理单元。
11.根据权利要求1至10中任一项所述的数据处理装置,其中,
具有收集单元,该收集单元从所述仪器对所述多个数据进行收集。
12.一种方法,其由计算机执行,该方法包含如下步骤:
根据从仪器收集到的多个数据以预先设定的流程生成至少1个用于识别所述多个数据的相同性的值即相同性识别值;
对根据此次收集到的所述多个数据而生成的所述相同性识别值即此次识别值与根据前一次收集到的所述多个数据而生成的所述相同性识别值即前一次识别值是否一致进行判别;以及
在所述此次识别值与所述前一次识别值不一致的情况下,对此次收集到的所述多个数据进行分发。
13.一种程序,其使计算机执行:
根据从仪器收集到的多个数据以预先设定的流程生成至少1个用于识别所述多个数据的相同性的值即相同性识别值,
对根据此次收集到的所述多个数据而生成的所述相同性识别值即此次识别值与根据前一次收集到的所述多个数据而计算出的所述相同性识别值即前一次识别值是否一致进行判别,
在所述此次识别值与所述前一次识别值不一致的情况下,对此次收集到的所述多个数据进行分发。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/028767 WO2021014550A1 (ja) | 2019-07-23 | 2019-07-23 | データ処理装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114175002A true CN114175002A (zh) | 2022-03-11 |
CN114175002B CN114175002B (zh) | 2022-10-21 |
Family
ID=72614661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980098563.XA Active CN114175002B (zh) | 2019-07-23 | 2019-07-23 | 数据处理装置、方法及计算机可读取的记录介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11474985B2 (zh) |
JP (1) | JP6762442B1 (zh) |
CN (1) | CN114175002B (zh) |
WO (1) | WO2021014550A1 (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070027915A1 (en) * | 2005-07-29 | 2007-02-01 | Morris Robert P | Method and system for processing a workflow using a publish-subscribe protocol |
WO2013145467A1 (ja) * | 2012-03-26 | 2013-10-03 | 日本電気株式会社 | メッセージングシステム、トピック管理装置、メッセージング方法及びプログラム |
CN105848150A (zh) * | 2016-05-19 | 2016-08-10 | 华东师范大学 | 一种无线传感器网络分组小数据安全分发方法 |
US20160277469A1 (en) * | 2015-03-20 | 2016-09-22 | Comcast Cable Communications, Llc | Data publication and distribution |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002073893A (ja) | 2000-08-31 | 2002-03-12 | Sharp Corp | データ収集ネットワークシステム |
JP2009053992A (ja) | 2007-08-28 | 2009-03-12 | Jiec Co Ltd | ログ収集システム |
JP2009238127A (ja) * | 2008-03-28 | 2009-10-15 | Canon Inc | ジョブ管理システムのジョブ管理方法 |
JP2010182243A (ja) * | 2009-02-09 | 2010-08-19 | Ntt Docomo Inc | 端末装置、データ収集ノード、データ収集システムおよびデータ収集方法 |
JP2015108927A (ja) * | 2013-12-04 | 2015-06-11 | 日本電気株式会社 | 情報処理装置、データ同期方法及びプログラム |
JP6577128B2 (ja) | 2015-03-27 | 2019-09-18 | ビューラー アーゲー | 適応可能なクロスプラント制御および操作システム、およびその対応する方法 |
US10963586B1 (en) * | 2016-12-15 | 2021-03-30 | Steelcase Inc. | Data collection, storage and management system and method |
-
2019
- 2019-07-23 CN CN201980098563.XA patent/CN114175002B/zh active Active
- 2019-07-23 JP JP2019569511A patent/JP6762442B1/ja active Active
- 2019-07-23 US US17/610,703 patent/US11474985B2/en active Active
- 2019-07-23 WO PCT/JP2019/028767 patent/WO2021014550A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070027915A1 (en) * | 2005-07-29 | 2007-02-01 | Morris Robert P | Method and system for processing a workflow using a publish-subscribe protocol |
WO2013145467A1 (ja) * | 2012-03-26 | 2013-10-03 | 日本電気株式会社 | メッセージングシステム、トピック管理装置、メッセージング方法及びプログラム |
US20160277469A1 (en) * | 2015-03-20 | 2016-09-22 | Comcast Cable Communications, Llc | Data publication and distribution |
CN105848150A (zh) * | 2016-05-19 | 2016-08-10 | 华东师范大学 | 一种无线传感器网络分组小数据安全分发方法 |
Also Published As
Publication number | Publication date |
---|---|
US11474985B2 (en) | 2022-10-18 |
CN114175002B (zh) | 2022-10-21 |
WO2021014550A1 (ja) | 2021-01-28 |
JPWO2021014550A1 (ja) | 2021-09-13 |
US20220147501A1 (en) | 2022-05-12 |
JP6762442B1 (ja) | 2020-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9658916B2 (en) | System analysis device, system analysis method and system analysis program | |
CN106462702B (zh) | 用于在分布式计算机基础设施中获取并且分析电子取证数据的方法和系统 | |
JPWO2011046228A1 (ja) | システム運用管理装置、システム運用管理方法、及びプログラム記憶媒体 | |
US11640459B2 (en) | Abnormality detection device | |
CN106104530B (zh) | 自动化处理自动化系统的多个协议数据的方法 | |
KR102338425B1 (ko) | 인공지능 기반 모니터링 대상 서버의 어플리케이션 자동 설정 및 모니터링 방법, 장치 및 시스템 | |
KR20180037342A (ko) | 어플리케이션 에러 모니터링 및 통계관리 서비스 및 방법 | |
CN108255659B (zh) | 一种应用程序性能监控方法及其系统 | |
US11044319B2 (en) | Equipment analysis support apparatus, equipment analysis support method, and equipment analysis system | |
CN101142559B (zh) | 对计算机控制的处理进行监视的方法与系统 | |
JP2016146020A (ja) | データ分析システム及び分析方法 | |
EP3295567B1 (en) | Pattern-based data collection for a distributed stream data processing system | |
CN114175002B (zh) | 数据处理装置、方法及计算机可读取的记录介质 | |
CN101646982A (zh) | 用于监视系统健康的方法和装置 | |
JP7038629B2 (ja) | 機器状態監視装置及びプログラム | |
CN116909712A (zh) | 基于机器学习的智能任务调度系统及其方法 | |
CN111555899A (zh) | 告警规则配置方法、设备状态监测方法、装置和存储介质 | |
CN116050930A (zh) | 监盘系统、方法、存储介质及电子设备 | |
CN114722025A (zh) | 基于预测模型的数据预测方法、装置、设备及存储介质 | |
JP7215574B2 (ja) | 監視システム、監視方法及びプログラム | |
WO2021171387A1 (ja) | 関係分析装置、関係分析方法、及び、関係分析プログラム | |
CN114157486A (zh) | 通信流量数据异常检测方法、装置、电子设备及存储介质 | |
CN113227925B (zh) | 数据收集装置、方法及记录有程序的计算机可读取的记录介质 | |
JP7167714B2 (ja) | 異常判定装置、異常判定方法、及び異常判定プログラム | |
KR102641113B1 (ko) | 원전 제어 계통의 가상 모사 장치, 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |