CN110622519B - 数据管理系统 - Google Patents

数据管理系统 Download PDF

Info

Publication number
CN110622519B
CN110622519B CN201780090673.2A CN201780090673A CN110622519B CN 110622519 B CN110622519 B CN 110622519B CN 201780090673 A CN201780090673 A CN 201780090673A CN 110622519 B CN110622519 B CN 110622519B
Authority
CN
China
Prior art keywords
data
node
measurement
storage
measurement item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780090673.2A
Other languages
English (en)
Other versions
CN110622519A (zh
Inventor
石田裕三
须贺宣夫
小竹敏
清水大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nomura Research Institute Ltd
Original Assignee
Nomura Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nomura Research Institute Ltd filed Critical Nomura Research Institute Ltd
Publication of CN110622519A publication Critical patent/CN110622519A/zh
Application granted granted Critical
Publication of CN110622519B publication Critical patent/CN110622519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y30/00—IoT infrastructure
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

通过消除由传感器检测到的测量数据的冗余性来减少磁盘占用空间。具备用于连接多个传感器的AP节点、以及用于与此AP节点相连接的DB节点；其中，AP节点具备：用于接收从各个传感器输出的包括多个测量项目数值的测量数据的装置、用于以各个传感器的测量项目为单位预先存储当前值的队列30、用于每次从各个传感器输出测量数据时，查询队列30，判断各个测量项目数值是否发生变化的装置、用于当测量项目的数值发生变化时，按测量项目生成包含该测量项目数值的存储用数据，并发送给DB节点的装置、以及用于根据该测量项目的最新值，覆盖队列30中的当前值的装置；DB节点具备：用于将测量数据中所包含的数值按各个传感器的每个测量项目进行存储的多个表格、以及用于将从AP节点发送的存储用数据存储在相应表格中的装置。

Description

数据管理系统
技术领域
本发明涉及一种数据管理系统，尤其是涉及一种用于有效地存储从多个传感器发送来的测量数据的技术。
背景技术
随着所谓的IOT(Internet of Things)、即“万物通过互联网连接并创造新的价值”时代的到来，从各种传感器输出的大量测量数据不断地涌向网络上的服务器。
[非专利文献1]
IoT:是指Internet of Things(物联网)
互联网网址：
https://mono-wireless.com/jp/tech/Internet_of_Things.html
检索日期：2017年4月24日
图12描述了将测量数据定期性地从安装在各地的多个传感器(传感器A20、传感器B21、传感器C22)上传到安装在互联网上的AP服务器80，并经由DB服务器82内的DB管理部84将其存储在各个传感器专用表格(传感器A用表格86、传感器B用表格88、传感器C用表格90)中的情形。
图13例示了从传感器A20发送来的多个测量数据50～54，并且由此可知，以1秒为间隔发送与3个测量项目(α～γ)相关的数值。
接收此测量数据的AP服务器80经由DB管理部84将其依次存储在传感器A用表格86中。
然而，当观察各个测量数据中的各个测量项目时，可以注意到：与上次测量时相比，这些数值并不总是发生变化，相同数值连续出现的情况也并不少。
例如，可以使用相同的数值来填充测量数据50～52中的测量项目α～γ中的任意一个。
另外，当比较测量数据52和下一个测量数据53时，测量项目α和β的数值发生变化，但是测量项目γ的数值没有变化。
为了便于说明，在图13中例示了测量项目数较少的测量数据，但实际上，当与数值更新频率最高的测量项目相匹配时，包括由各个传感器制造商预先设定的大量测量项目在内的测量数据都一律发送到服务器一端。
如此一来，在从传感器依次发送来的测量数据中，尽管包括许多的以测量项目为单位的、数值未发生变化的数据，但目前由于直接将其发送至网络，并存储在DB服务器表格内，因此这也是白白地增大磁盘空间和通信流量的占用的一个因素。
发明内容
[发明所要解決的课题]
鉴于这种现状而研究出本发明，其目的在于通过消除由传感器检测到的测量数据的冗余性来减少磁盘空间和通信流量的占用。
[用于解决课题的方案]
为了实现上述目的，根据权利要求1所述的一种数据管理系统，其特征在于，具备：用于接收在预定时刻从一个或多个传感器输出的、包括多个测量项目数值在内的测量数据的装置；用于将此测量数据中所包含的数值按各个传感器的每个测量项目进行存储的多个表格；用于以各个传感器的测量项目为单位存储当前值的存储装置；用于每次从上述传感器输出测量数据时，将该测量数据中所包含的数值与上述存储装置中存储的当前值进行比较，判断各个测量项目数值是否发生变化的装置；用于当测量项目的数值发生变化时，按测量项目生成包含该测量项目数值的存储用数据，并存储在相应的表格内的装置；以及用于根据该测量项目的最新值，覆盖上述存储装置中的当前值的装置。
根据权利要求2所述的一种数据管理系统，其特征在于，具备：用于在预定时刻输出与多个测量项目相关的数值的一个或多个传感器、以及用于与各个传感器相连接的数据管理装置；其中，各个传感器具备：用于以测量项目为单位存储当前值的存储装置、用于在预定时刻将各个测量项目相关的现在值与存储在上述存储装置中的当前值进行比较，并判断各个测量项目数值是否发生变化的装置、用于当测量项目的数值发生变化时，将包括该测量项目数值在内的测量数据输出至上述数据管理装置的装置、以及用于根据该测量项目的最新值，覆盖上述存储装置中的当前值的装置；上述数据管理装置具备：用于将上述测量数据中所包含的数值按各个传感器的每个测量项目进行存储的多个表格、以及用于当从上述传感器输出测量数据时，按测量项目生成包括该测量数据中所包含的测量项目数值在内的存储用数据，并存储在相应表格内的装置。
根据权利要求3所述的一种数据管理系统，其特征在于，具备：用于连接一个或多个传感器的AP节点、以及用于与此AP节点相连接的DB节点；其中，上述AP节点具备：用于接收在预定时刻从上述传感器输出的且包括多个测量项目数值在内的测量数据的装置、用于以各个传感器的测量项目为单位存储当前值的存储装置、用于每次从上述传感器输出测量数据时，将该测量数据中所包含的数值与上述存储装置中存储的当前值进行比较，判断各个测量项目数值是否发生变化的装置、用于当测量项目的数值发生变化时，按测量项目生成包含该测量项目数值的存储用数据，并发送给上述DB节点的装置、以及用于根据该测量项目的最新值，覆盖上述存储装置中的当前值的装置；上述DB节点具备：用于将上述测量数据中所包含的数值按各个传感器的每个测量项目进行存储的多个表格、以及用于将从上述AP节点发送的存储用数据存储在相应表格中的装置。
根据权利要求4所述的一种数据管理系统，其特征在于，具备：用于在预定时刻输出与多个测量项目相关的数值的一个或多个传感器、用于与各个传感器相连接的AP节点、以及用于与此AP节点相连接的DB节点；其中，各个传感器具备：用于以测量项目为单位存储当前值的存储装置、用于在预定时刻将各个测量项目相关的现在值与存储在上述存储装置中的当前值进行比较，并判断各个测量项目数值是否发生变化的装置、用于当测量项目的数值发生变化时，将包括该测量项目数值在内的测量数据输出至上述AP节点的装置、以及用于根据该测量项目的最新值，覆盖上述存储装置中的当前值的装置；上述AP节点具备：用于接收从各个传感器输出的测量数据的装置、以及用于按测量项目生成包括该测量数据中所包含的各个测量项目数值在内的存储用数据，并发送给上述DB节点的装置；上述DB节点具备：用于将上述测量数据中所包含的数值按各个传感器的每个测量项目进行存储的多个表格、以及用于将从上述AP节点发送的存储用数据存储在相应表格中的装置。
根据权利要求5所述的一种数据管理系统，其特征在于：是根据权利要求3或4所述的一种系统，其中，上述DB节点具备父级数据注册用表格；当生成与至少一个的测量数据相关的一个或多个存储用数据时，上述AP节点在生成与该测量数据相关联的父级数据的同时，执行将该父级数据ID赋予给上述存储用数据的处理；而且当上述AP节点向上述DB节点请求对各个存储用数据进行注册后，从上述DB节点接收到所有存储用数据已完成注册通知时，向上述DB节点请求对父级数据进行注册，当在一定时间内未接收到任何存储用数据已注册完成的通知时，则停止对父级数据进行注册，另外，当查询已注册完毕的存储用数据时，仅仅以相关父级数据中已完成注册的存储用数据为查询对象，而相关父级数据中未进行注册的存储用数据不包括在查询对象内。
根据权利要求6所述的一种数据管理系统，其特征在于：是根据权利要求5所述的一种系统，其具备多个DB节点，其中，DB节点分别具备用于存储相同数据的公共表格；上述AP节点首先向上述各个DB节点请求注册存储用数据，关于所有存储用数据，当从任何一个DB节点接收到已完成注册通知时，向上述各个DB节点请求对父级数据进行注册；当在一定时间内未从任何DB节点接收到任何存储用数据已注册完成的通知时，则停止对父级数据进行注册。
根据权利要求7所述的一种数据管理系统，其特征在于：是根据权利要求1～6所述的一种系统，上述各个表格仅仅允许对记录进行查询和添加，并且禁止删除和更新。
[发明效果]
在根据本发明所涉及的数据管理系统的情况下，即使从传感器输出的测量数据具备多个测量项目，与当前值相比未发生变化的数值也不会生成存储用数据，由于只有数值发生变化的测量项目的存储用数据具备可添加注册至表格的机制，因此可以大大节省磁盘占用空间。
因此，在注册数据时不必压缩冗余数据，从而在查询数据时不必解压缩处理。
另外，由于以各个传感器的测量项目为单位细分表格，因此当将来需要增加测量项目时，可以通过简单地添加相应的表格来进行处理，由于无需在现有数据中进行项目添加等修改，因此可灵活地扩展系统配置。
在根据权利要求2和4所述的数据管理系统的情况下，由于传感器一端具备用于判断各个测量项目数值是否已发生变化的功能，并且具备无法将与未发生变化的测量项目相关的数值输出至外部的机制，因此可以减少网络流量。
并且，在根据权利要求5所述的数据管理系统的情况下，关于所有的存储用数据，具备只要不在任何DB节点中完成注册，就不注册父级数据的机制。
因此，通过采用“当查询数据时，未注册相应的父级数据的存储用数据不包括在对象范围内”的规则，假设即使一部分的存储用数据注册失败，也不必通过回滚处理删除已经成功注册的其余的存储用数据。
具体实施方式
如图1所示，根据本发明所涉及的第一数据管理系统10具备第一AP节点12、第二AP节点14、第一DB节点16、以及第二DB节点18。
但是，AP节点和DB节点的数量没有特别限制。
第一AP节点12经由网络连接到第一DB节点16和第二DB节点18。
另外，第二AP节点14经由网络连接到第一DB节点16和第二DB节点18。
在这里，所谓“AP节点”，是指安装有AP(Application)服务器用程序的计算机。
另外，所谓“DB节点”，是指安装有DB(Database)服务器用程序的服务器计算机。
但是，各个AP节点和各个DB节点不需要由物理上独立的计算机(具有独立的AP地址)构成。
例如，可以通过在同一台计算机(相同的IP地址)上执行用于指定多个NUMA节点(不同的Port号)的Deployment(配置)来构成多个AP节点或DB节点。
传感器A20、传感器B21、传感器C22经由无线网络或有线网络连接到第一AP节点12。
另外，传感器D23、传感器E24和传感器F25也经由无线网络或有线网络连接到第二AP节点14。
在这里，其前提为传感器A20～F25分别使用具备相同测量项目α～γ的同一类型的传感器(详情所述)，但是也可以使用具备相互不同的测量项目的不同类型的传感器。
连接到各个AP节点的传感器数量没有特别限制。
第一AP节点12具备用作存储装置的队列30。在此队列30中，设置有用于在传感器A20～传感器C22的各个测量项目α～γ中预先存储最新测量值的存储区域30a～30i。
另外，第二AP节点14还具备用作存储装置的队列32，并且在此队列32中，设置有用于在传感器D23～传感器F25的各个测量项目α～γ中预先存储最新测量值的存储区域32a～32i。
并且，第一AP节点12和第二AP节点14具备用于向第一DB节点16和第二DB节点18请求数据注册等操作的注册处理部33。
此注册处理部33通过服务器计算机CPU按照OS和专用中间件进行操作来实现。
如图2所示，第一DB节点16具有DB管理部34、父级数据表(TBL)40、测量项目α用表格42a～42f、测量项目β用表格43a～43f、以及测量项目γ用表格44a～44f。如图所示，以各个传感器为单位，准备了测量项目用表格。
与此相同地，第二DB节点18还具有DB管理部34、父级数据表40、与传感器A20～传感器F25相关的测量项目α用表格42a～42f、测量项目β用表格43a～43f、以及测量项目γ用表格44a～44f。
第一DB节点16中所设有的表格和第二DB节点18中所设有的相同名称的表格具备基本相同的配置。
在这里，当对从传感器A20、传感器B21和传感器C22发送来的测量数据进行注册时，第一AP节点12的注册处理部33同时向第一DB节点16和第二DB节点18请求添加各种数据，接收此请求的第一DB节点16和第二DB节点18分别通过DB管理部34将记录添加到所需的表格中。
另外，当对从传感器D23、传感器E24和传感器F25发送来的测量数据进行注册时，第二AP节点14的注册处理部33同时向第一DB节点16和第二DB节点18请求添加各种数据，接收此请求的第一DB节点16和第二DB节点18分别通过DB管理部34将记录添加到所需的表格中。
然而，在此第一数据管理系统10中，从各个传感器发送到AP节点的测量数据数值没有直接存储在DB节点的对应表格中，而是仅仅提取与最新注册的数值相比发生变化的测量项目数值，并且以测量项目为单位存储在专用表格中(详情后述)。
另外，在此第一数据管理系统10中，各个表格仅仅允许对数据进行添加(INSERT)和查询(SELECT)，并且禁止对数据进行删除(DELETE)和更新(UPDATE)。
在下文中，按照图3的流程图对第一数据管理系统10的处理过程进行说明。
首先，当第一AP节点12从传感器A20接收到如图4(a)所示的测量数据50时(S10)，如图4(b)所示，具备“父级ID”、“传感器ID”、以及“时间戳”的数据项目的父级数据(集成数据)50p由注册处理部33生成(S12)。
在此父级数据50p的“父级ID”的数据项目中填充有作为由注册处理部33生成的唯一识别码的“PA12345”。
接下来，注册处理部33查询与队列30中的传感器A20有关的存储区域30a～30c，并且将包含在测量数据50中的测量项目α～γ的数值与存储在队列30中的各个测量项目的当前值进行比较(S14)。
在这里，由于测量数据50是初始测量数据，因此如图5(a)所示，没有数值存储在队列30的存储区域30a～30c中。
因此，第一AP节点12的注册处理部33识别出各个测量项目的数值发生变化(S16/Y)，并且如图4(b)所示，生成测量项目α用数据50a、测量项目β用数据50b、以及测量项目γ用数据50c以用作存储用数据(S18)。
各个测量项目用数据50a、50b、50c除了用于存储各个测量项目数值的数据项目之外，还具备“父级ID”数据项目，在这里，上述父级数据50p的父级ID(PA12345)作为主键进行存储。因此，各个测量项目数据50a、50b、50c可以被认为是从属于父级数据50p的“子级数据”。
接下来，第一AP节点12的注册处理部33同时向第一DB节点16和第二DB节点18发送所有的子级数据(具备相同父级ID的测量项目α用数据50a、测量项目β用数据50b、测量项目γ用数据50c)，并请求添加注册至对应表格(S20)。当进行此注册时，子级数据之间不需要排序。
当DB管理部34将从第一AP节点12发送来的各个子级数据存储在与传感器A相关的测量项目α用表格42a、测量项目β用表格43a和测量项目γ用表格44a中后，第一DB节点16和第二DB节点18分别向第一AP节点12发送已完成注册通知。
对此，第一AP节点12的注册处理部33接收从各个DB节点依次发送来的已注册完成通知(S22)，并且在预定时间内，以不同顺序从任何DB节点接收到所有子级数据已完成注册通知时(S24/Y)，向第一DB节点16和第二DB节点18发送父级数据50p，并向父级数据表40请求注册(S26)。
当DB管理部34将从第一AP节点12发送来的父级数据50p相关的记录存储在父级数据表40中后，第一DB节点16和第二DB节点18向第一AP节点12发送其已完成注册通知。
对此，第一AP节点12的注册处理部33接收从各个DB节点发送来的已注册完成通知(S28)，并且在预定时间内，从任何DB节点接收到已完成注册通知时(S29/Y)，将各个测量项目队列30的数值更新为最新值(S30)。
也就是说，如图5(b)所示，将“395.0000”、“42.1245”和“38.6632”分别存储在测量项目α～γ用的存储区域30a～30c中。
此外，当存在在预定时间内未从任何DB节点接收到已完成注册通知的子级数据时(S24/N)，则注册处理部33不会将父级数据发送到任何DB节点，并推迟注册。
在这种情况下，注册处理部33重新生成各个数据，并且尝试再次向各个DB节点请求注册(详情后述)。
另外，当父级数据在预定时间内未从任何DB节点接收到已完成注册通知时(S29/N)，则注册处理部33不对队列30数值进行更新，并结束处理。
接下来，当第一AP节点12从传感器A20接收测量数据51时(S10)，如图4(c)所示，具备“父级ID”、“传感器ID”和“时间戳”数据项目的父级数据51p由注册处理部33生成(S12)。
接下来，注册处理部33查询与队列30中的传感器A20有关的存储区域30a～30c，并且将包含在测量数据51中的测量项目α～γ的数值与存储在队列30中的各个测量项目的当前值进行比较(S14)。
在这里，由于测量数据51中的各个测量项目数值与存储在队列中的当前值之间没有差异(参见图5(b))，因此当注册处理部33识别出各个测量项目数值未发生变化时(S16/N)，跳过与子级数据的生成·注册有关的所有处理(S18～S24)，仅仅执行与父级数据51p的注册有关的处理(S26、S28)。
在这种情况下，由于各个测量项目数值没有变化，因此自然不会对队列30的数值进行更新处理(S30)。
接下来，由于从传感器A20发送来的测量数据52与测量数据50之间没有差异，因此如图4(d)所示，与上述测量数据51的情况相同，只有父级数据52p由注册处理部33生成，并向各个DB节点请求注册。
对此，接下来，由于从传感器A20发送来的测量数据53与存储在测量项目α和β相关的队列30的存储区域30a和30b中的当前值之间存在差异，如图4(e)所示，除了父级数据53p之外，测量项目α用数据53a和测量项目β用数据53b均由注册处理部33生成(S10～S18)。
接下来，注册处理部33将测量项目α用数据53a和测量项目β用数据53b发送到第一DB节点16和第二DB节点18，并请求添加至对应表格中(S20)。
然后，当在预定时间内从任何DB节点接收到所有子级数据已完成注册通知时(S22、S24)，注册处理部33将父级数据53p发送到第一DB节点16和第二DB节点18，并请求添加至对应表格中(S26)。
另外，用于从任何DB节点接收父级数据53p已完成注册通知的注册处理部33(S28)将与测量项目α和β有关的队列30的数值更新为最新值(S30)。
也就是说，如图5(c)所示，将数值“403.9614”和“49.0320”分别覆盖在测量项目α和β用的存储区域30a和30b中(测量项目γ用的存储区域30c保留以前的数值)。
接下来，由于从传感器A20发送来的测量数据54与存储在测量项目α～γ相关的队列30的存储区域30a～30c中的数值之间存在差异，如图4(f)所示，父级数据54p、测量项目α用数据54a、测量项目β用数据54b、以及测量项目γ用数据54c均由注册处理部33生成(S10～S18)。
接下来，注册处理部33将测量项目α用数据54a、测量项目β用数据54b和测量项目γ用数据54c发送到第一DB节点16和第二DB节点18，并请求添加至对应表格中(S20)。
然后，当在预定时间内从任何DB节点接收到所有子级数据已完成注册通知时(S22、S24)，注册处理部33将父级数据54p发送到第一DB节点16和第二DB节点18，并请求添加至对应表格中(S26)。
另外，用于从任何DB节点接收父级数据54p已完成注册通知的注册处理部33(S28)将与测量项目α～γ有关的队列30的数值更新为最新值(S30)。
也就是说，如图5(d)所示，将数值“410.7660”、“38.1044”和“25.9897”分别覆盖在测量项目α～γ用的存储区域30a～30c中。
由上述一系列处理过程的结果可知，如图6所示，将父级数据50p、51P、52P、53p、54p存储在第一DB节点16和第二DB节点18的各个父级数据表40中。
另外，将测量项目α用数据50a、53a、54a存储在第一DB节点16和第二DB节点18的各个测量项目α用表格42a中。
与此相同地，将测量项目β用数据50b、53b和54b存储在第一DB节点16和第二DB节点18的各个测量项目β用表格43a中。
与此相同地，将测量项目γ用数据50c和54c存储在第一DB节点16和第二DB节点18的各个测量项目γ用表格44a中。
如图所示，只有当存储在队列30中的当前值发生变化的情况下，添加测量项目的记录，具有相同数值的记录不用连续注册。因此，消除了存储用数据的冗余性，并且可以节省DB节点中的磁盘占用空间。
另外，由于父级数据表40存储有从传感器A20发送来的所有测量数据的时间戳，因此当查询该数据时，可以正确地再现各个测量数据的状态。例如，由于没有对具备父级数据51p的父级ID的子级数据进行注册，因此可以认识到：对于各个测量项目，在“170222123919”时间点从传感器A发送来的测量数据51中所填充的数值与之前相同。
此外，父级数据表40并非以传感器为单位而独立存在的，虽然其中混合有从各个传感器发送来的父级数据，但是可以通过各个“传感器ID”对每个传感器进行划分。
另外，对于各个测量项目数据来说，由于以传感器为单位细分表格，因此当将来需要增加测量项目时，可以通过简单地添加相应的表格来进行处理，由于无需在现有数据中进行项目添加等修改，因此可灵活地扩展系统配置。
在此系统10中，如上所述，关于所有子级数据，具备只要不在任何DB节点中完成注册，就不注册父级数据的机制。
因此，通过采用“当查询数据时，未注册相应的父级数据的子级数据不包括在对象范围内”的规则，假设即使一部分的子级数据注册失败，也不必明确地使已经成功注册的其余的子级数据变得无效。
在下文中，将基于图7进行具体说明。
首先，同图(a)示出了成功的示例，由于共享父级ID“PA12345”的所有子级数据(测量项目α用数据50a、测量项目β用数据50b、测量项目γ用数据50c)均已注册，因此相应的父级数据50p也已完成注册，并且所有数据都是有效的(可以查询)。
对此，同图(b)示出了失败的示例，在共享父级ID“PA12348”的两个子级数据(测量项目α用数据53a和测量项目β用数据53b)中，测量项目α用数据53a由于某种原因没有注册成功，并且已超时，因此推迟了相应的父级数据53p的注册。
在这种情况下，如同图(c)所示，第一AP节点12的注册处理部33重新生成仅仅将父级ID变更为PA12350”的父级数据53p'和子级数据(测量项目α用数据53a'和测量项目β用数据53b')，并尝试对各个子级数据进行注册。
在这里，当成功注册各个子级数据时，相应的父级数据53p'也将执行注册，并且可以查询测量数据53。
由以上结果可知，先前已完成注册的测量项目β用数据53b直接保留在各个DB节点的表格上，但是适用“未注册相应的父级数据的子级数据不包括在处理对象范围内”的规则，并且当AP节点执行数据汇总、图表显示等操作时，可以不将未注册相应父级数据的子级数据作为查询对象处理。因此，即使没有删除不必要的子级数据，也不会查询不一致的数据(脏读)。
一般情况下，当注册彼此相关的一组数据时，当只有部分数据注册成功，而其余数据由于某种原因未注册成功时，由于在使用该数据时会发生非法状态(脏读)，因此可预先将多个数据关联为一项事务，当部分数据注册失败时，执行回滚处理，即取消已注册成功的数据。
但是，为了实现这种回滚处理，在DB服务器一端设有用于可靠地保留更新日志的机制，与此同时，还要求执行使用更新日志将其恢复到原始状态等的复杂处理，这也成为了DB服务器负载增加的原因。
另外，AP服务器一端必须等待直到从DB服务器接收到事务成功的通知，这与处理高效化背道而驰。
在此系统10中，由于多个DB节点相互之间具备公共表格，并且各个测量数据在多个DB节点中具备可重复注册的机制，所以各个AP节点可以向任何DB节点请求查询测量数据，并且在查询数据时可以分散负载。
另外，在此系统10中，同时并行地向DB节点发送多个测量数据，并且无需对各个测量数据的注册进行排序，因此与按照一定顺序依次注册各个测量数据的情况相比，可以减少无用的等待时间。
另外，当将从AP节点的注册处理部33发送来的数据存储在DB节点的存储器中时，各个DP节点的数据管理部34还可以向AP节点发出已完成注册通知。
在现有的常识中，存储器是易失性存储装置，并且当停电时，数据会丢失，因此当将数据存储在非易失性存储装置(硬盘等)中时，应该回复完成通知。
但是，在此系统10的情况下，如上所述，仅仅允许对表格进行数据添加，并且禁止删除和更新，因此即使在某个DB节点中发生数据丢失，也只需从其余的DB节点中复制丢失的数据(差异)即可。因此，不必等到将数据存储在硬盘等中之后。
如上所述，示出了一个示例，即在从各个传感器上传的数据中，AP节点一端具备对数值没有变化的测量项目数据推迟注册的功能，但也可以通过在传感器一端设有仅仅对数值发生变化的测量项目数据进行上传的功能，来实现基本相同的效果。
例如，如图8所示的第二数据管理系统60具备与第一AP节点12、第二AP节点14、第一DB节点16、第二DB节点18、以及第一AP节点12相连接的传感器A20～传感器C22、以及与第二AP节点相连接的传感器D23～传感器F25，在这一点上与第一数据管理系统10相同，但其特征在于：在传感器A20～传感器F25上分别设有作为存储装置的寄存器62，以代替在第一AP节点16和第二AP节点18中所设有的队列30和32。
在各个传感器的寄存器62中，设有用于预先存储各个测量项目α～γ的当前值的存储区域62a～62c。
另外，在传感器A20～F25中分别设有发送处理部64。
此发送处理部64例如可以通过专用IC来实现。或者，按照专用控制程序，通过各个传感器的CPU执行必要的处理来实现。
尽管图中未示出，但是如上所述，第一DB节点16和第二DB节点18均具备DB管理部，以及各传感器A20～F25具备父级数据表(TBL)、测量项目α用表格、测量项目β用表格以及测量项目γ用表格。
在下文中，按照图9和图10的流程图，对此第二数据管理系统60的处理过程进行说明。
首先，当向任何传感器(例如传感器A20)送达预设通知时(图9中的S40)，发送处理部64在获取当前时间各个测量项目数值(S42)的同时，获取存储在寄存器62中的各个测量项目的当前值(S44)。
接下来，发送处理部64比较两个数值，当测量项目数值发生变更时(S46/Y)，则向第一AP节点12发送包括已变更的测量项目数值在内的测量数据(S48)。
例如，当传感器A20的测量项目α～γ的所有数值都已发送变化时，如图11(a)所示，发送处理部64发送包括时间戳和三个测量值在内的测量数据70。
另外，如图11(c)所示，当只有测量项目α的数值发生变化时，发送处理部64发送包括时间戳和测量项目α数值在内的测量数据70'。
对此，如图11(e)所示，当所有的测量项目α～γ的数值都没有发生变化时(S46/N)，发送处理部64发送仅包括时间戳在内的测量数据70”(S52)。
此后，发送处理部64使用已发生变化的测量值来覆盖并更新寄存器62上的数值(S50)。
另一方面，如图11(b)所示，当第一AP节点12从传感器A20接收测量数据70时(图10中的S60)，注册处理部33生成父级数据70p(S62)。
由于此测量数据70具有测量项目数值(S64/Y)，因此注册处理部33生成测量项目α用数据70a、测量项目β用数据70b以及测量项目γ用数据70c以用作子级数据(S66)。
与以上示例相同，父级数据70p具备父级ID、传感器ID、以及时间戳等数据项目。另外，各个测量项目用数据70c、70d和70e具备用于存储父级ID和各个测量值的数据项目。
接下来，注册处理部33同时向第一DB节点16和第二DB节点18发送所有子级数据(具备相同父级ID的测量项目α用数据70a、测量项目β用数据70b、测量项目γ用数据70c)，并请求添加至对应表格(S68)。当进行此注册时，子级数据之间不需要排序。
在将从第一AP节点12发送来的各个子级数据存储在与传感器A20相关的测量项目α用表格、测量项目β用表格和测量项目γ用表格中后，第一DB节点16和第二DB节点18向第一AP节点12分别发送已完成注册通知。
第一AP节点12的注册处理部33接收从各个DB节点依次发送来的已注册完成通知(S70)，并且在预定时间内，以不同顺序从任何DB节点接收到所有子级数据已完成注册通知时(S72/Y)，向第一DB节点16和第二DB节点18发送父级数据70p，并在请求注册至对应表格后(S74)，从各个DB节点接收已完成注册通知(S76)。
对此，当存在在预定时间内未从任何DB节点接收到已完成注册通知的子级数据时(S72/N)，则注册处理部33不会将父级数据70p发送到任何DB节点，并推迟注册。
在这种情况下，注册处理部33重新生成具备不同父级ID的各个数据，并尝试向各个DB节点请求注册。
此外，当从传感器A20发送来的测量数据仅仅包括与测量项目α有关的测量值时，则如图11(d)所示，由第一AP节点12的注册处理部33生成的数据当然也仅仅包括父级数据70'p和测量项目α用数据70'a，因此可以节省磁盘占用空间。
另外，如图11(f)所示，当从传感器A20发送来的测量数据仅仅只有时间戳，并且不包括各个测量项目的任何测量值时(S64/N)，由第一AP节点12的注册处理部33生成的数据仅仅包括父级数据70"p，因此可以进一步地节省磁盘占用空间。
如上所述，在此第二数据管理系统60中，判断测量值是否发生变化，并且只有在发生变化时，传感器一端具有将发生变化的测量项目有关的测量数据发送给AP节点的功能，因此，与无论是否发生变化都以恒定的时间机械地发送所有测量项目数值的情况相比，可以大大地减少网络占用流量。
如上所述，示出了一个示例，即AP节点接收从各个传感器输出的测量数据，并且经由AP节点的注册处理部33和DB节点DB管理部34存储在DB节点的表格中，但本发明并不限于这种配置。
例如，设有兼具上述AP节点和DB节点的功能的数据管理装置，并且将一个或多个传感器有线或无线地连接到此数据管理装置中。
在这种情况下，用于判断各个传感器中的各个测量项目数值是否发生变化的功能可以设在数据管理装置一端，或者也可以设在各个传感器一端。
在上述第一数据管理系统10和第二数据管理系统60中，示出了将“时间戳”并入父级数据中的示例，但是也可以将其作为具备“父级ID”的子级数据中的一个，与父级数据分开生成并注册时间戳。
附图说明
图1是本发明所涉及的第一数据管理系统的整体配置图。
图2是示出存储在各个DB节点中的表格一例的示意图。
图3是示出第一数据管理系统的处理过程的流程图。
图4是示出从传感器发送来的测量数据和由AP节点生成的存储用数据的结构的示意图。
图5是示出存储在AP节点的队列中的数值变化的示意图。
图6是示出将由AP节点生成的各种数据存储在专用表格中的情况的示意图。
图7是示出根据是否存在相应的父级数据来判断子级数据是有效/无效的情况的示意图。
图8是本发明所涉及的第二数据管理系统的整体配置图。
图9是示出第二数据管理系统中的传感器一端的处理过程的流程图。
图10是示出第二数据管理系统中的AP节点一端的处理过程的流程图。
图11是示出从传感器发送来的测量数据和由AP节点生成的存储用数据的结构的示意图。
图12是示出传统数据管理系统的整体配置图。
图13是示出从传感器发送来的测量数据的一例的示意图。
[符号说明]
10 第一数据管理系统
12 第一AP节点
14 第二AP节点
16 第一DB节点
18 第二DB节点
20 传感器A
21 传感器B
22 传感器C
23 传感器D
24 传感器E
25 传感器F
30 第一AP节点的队列
32 第二AP节点的队列
33AP 节点的注册处理部
34DB 节点的数据管理部
40 父级数据表
42a～42f 测量项目α用表格
43a～43f 测量项目β用表格
44a～44f 测量项目γ用表格
50～54 测量数据
60 第二数据管理系统
62 传感器的寄存器
64 传感器的发送处理部
70 测量数据

Claims (3)

1.一种数据管理系统，其特征在于，具备：用于连接一个或多个传感器的AP节点即应用节点、以及用于与此AP节点相连接的DB节点；
其中，上述AP节点具备：用于接收在预定时刻从上述传感器输出的且包括多个测量项目数值在内的测量数据的装置、
用于以各个传感器的测量项目为单位存储当前值的存储装置、
用于每次从上述传感器输出测量数据时，将该测量数据中所包含的数值与上述存储装置中存储的当前值进行比较，判断各个测量项目数值是否发生变化的装置、
用于当测量项目的数值发生变化时，按测量项目生成包含该测量项目数值的存储用数据，并发送给上述DB节点的装置、
以及用于根据该测量项目的最新值，覆盖上述存储装置中的当前值的装置；
上述DB节点具备：用于将上述测量数据中所包含的数值按各个传感器的每个测量项目进行存储的多个表格、
用于将从上述AP节点发送的存储用数据存储在相应表格中的装置、
以及父级数据注册用的表格；
当生成与至少一个的测量数据相关的一个或多个存储用数据时，上述AP节点在生成与该测量数据相关联的父级数据的同时，执行将该父级数据ID赋予给上述存储用数据的处理；
另外，当上述AP节点向上述DB节点请求对各个存储用数据进行注册后，从上述DB节点接收到所有存储用数据已完成注册通知时，向上述DB节点请求对父级数据进行注册，当在一定时间内未接收到任何存储用数据已注册完成的通知时，则停止对父级数据进行注册，
并且，当上述AP节点查询已注册完毕的存储用数据时，仅仅以相关父级数据中已完成注册的存储用数据为查询对象，而相关父级数据中未进行注册的存储用数据不包括在查询对象内。
2.一种数据管理系统，其特征在于，具备：用于在预定时刻输出与多个测量项目相关的数值的一个或多个传感器、用于与各个传感器相连接的AP节点即应用节点、以及用于与此AP节点相连接的DB节点；
其中，各个传感器具备：用于以测量项目为单位存储当前值的存储装置、
用于在预定时刻将各个测量项目相关的现在值与存储在上述存储装置中的当前值进行比较，并判断各个测量项目数值是否发生变化的装置、
用于当测量项目的数值发生变化时，将包括该测量项目数值在内的测量数据输出至上述AP节点的装置、
以及用于根据该测量项目的最新值，覆盖上述存储装置中的当前值的装置；
上述AP节点具备：用于接收从各个传感器输出的测量数据的装置、
以及用于按测量项目生成包括该测量数据中所包含的各个测量项目数值在内的存储用数据，并发送给上述DB节点的装置；
上述DB节点具备：用于将上述测量数据中所包含的数值按各个传感器的每个测量项目进行存储的多个表格、
以及用于将从上述AP节点发送的存储用数据存储在相应表格中的装置、
以及父级数据注册用的表格；
当生成与至少一个的测量数据相关的一个或多个存储用数据时，上述AP节点在生成与该测量数据相关联的父级数据的同时，执行将该父级数据ID赋予给上述存储用数据的处理；
另外，当上述AP节点向上述DB节点请求对各个存储用数据进行注册后，从上述DB节点接收到所有存储用数据已完成注册通知时，向上述DB节点请求对父级数据进行注册，当在一定时间内未接收到任何存储用数据已注册完成的通知时，则停止对父级数据进行注册，
并且，当上述AP节点查询已注册完毕的存储用数据时，仅仅以相关父级数据中已完成注册的存储用数据为查询对象，而相关父级数据中未进行注册的存储用数据不包括在查询对象内。
3.根据权利要求1或2所述的一种数据管理系统，其特征在于：其具备多个DB节点，其中，DB节点分别具备用于存储相同数据的公共表格；
上述AP节点首先向上述各个DB节点请求注册存储用数据，
关于所有存储用数据，当从任何一个DB节点接收到已完成注册通知时，向上述各个DB节点请求对父级数据进行注册；
当在一定时间内未从任何DB节点接收到任何存储用数据已注册完成的通知时，则停止对父级数据进行注册。
CN201780090673.2A 2017-05-12 2017-05-12 数据管理系统 Active CN110622519B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/018041 WO2018207352A1 (ja) 2017-05-12 2017-05-12 データ管理システム

Publications (2)

Publication Number Publication Date
CN110622519A CN110622519A (zh) 2019-12-27
CN110622519B true CN110622519B (zh) 2021-12-21

Family

ID=64105278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780090673.2A Active CN110622519B (zh) 2017-05-12 2017-05-12 数据管理系统

Country Status (5)

Country Link
US (1) US11669573B2 (zh)
EP (1) EP3624462B1 (zh)
JP (1) JP6728486B2 (zh)
CN (1) CN110622519B (zh)
WO (1) WO2018207352A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11099753B2 (en) * 2018-07-27 2021-08-24 EMC IP Holding Company LLC Method and apparatus for dynamic flow control in distributed storage systems
US11010171B2 (en) * 2019-05-30 2021-05-18 Microsoft Technology Licensing, Llc Efficient out of process reshuffle of streaming data
CN116560586B (zh) * 2023-07-06 2023-09-05 苏州浪潮智能科技有限公司 属性值的确定方法及装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011127459A1 (en) * 2010-04-09 2011-10-13 Zoll Medical Corporation Systems and methods for ems device communications interface
CN102693247A (zh) * 2011-03-25 2012-09-26 株式会社野村综合研究所 数据综合管理系统及客户终端
CN102932846A (zh) * 2012-10-22 2013-02-13 南京大学 分布式异构传感网数据管理系统及其数据管理方法
CN103353867A (zh) * 2005-12-29 2013-10-16 亚马逊科技公司 具有网络服务客户接口的分布式存储系统
JP2015007824A (ja) * 2013-06-24 2015-01-15 富士電機株式会社 データ管理装置、データ管理方法およびデータ管理用のプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018175A (ja) * 2003-06-24 2005-01-20 Ritsumeikan センサシステム
JPWO2009116597A1 (ja) * 2008-03-18 2011-07-21 株式会社日立製作所 姿勢把握装置、姿勢把握プログラム、及び姿勢把握方法
JP2010055486A (ja) * 2008-08-29 2010-03-11 Toshiba Corp 下水管内監視システム及び下水管内監視方法
JP2016031682A (ja) * 2014-07-30 2016-03-07 株式会社野村総合研究所 サービス提供システム及びその機能拡張方法
WO2015144971A1 (en) * 2014-03-27 2015-10-01 Nokia Technologies Oy Method and apparatus for automatic inter-device authorisation
US10263841B1 (en) * 2014-05-13 2019-04-16 Senseware, Inc. System, method and apparatus for configuring a node in a sensor network
US9641915B2 (en) * 2015-05-07 2017-05-02 Cisco Technology, Inc. Sensor data broker for directed collection of sensor data between mobile collector device and sensor consumer
KR101898569B1 (ko) * 2016-05-10 2018-09-13 주식회사 스마티랩 사물인터넷 기반 건강 모니터링 및 평가 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103353867A (zh) * 2005-12-29 2013-10-16 亚马逊科技公司 具有网络服务客户接口的分布式存储系统
WO2011127459A1 (en) * 2010-04-09 2011-10-13 Zoll Medical Corporation Systems and methods for ems device communications interface
CN102693247A (zh) * 2011-03-25 2012-09-26 株式会社野村综合研究所 数据综合管理系统及客户终端
CN102932846A (zh) * 2012-10-22 2013-02-13 南京大学 分布式异构传感网数据管理系统及其数据管理方法
JP2015007824A (ja) * 2013-06-24 2015-01-15 富士電機株式会社 データ管理装置、データ管理方法およびデータ管理用のプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
物联网环境下多智能体决策信息支持技术;徐杨，王晓峰，何清漪;《软件学报》;20141015 *

Also Published As

Publication number Publication date
US11669573B2 (en) 2023-06-06
CN110622519A (zh) 2019-12-27
JP6728486B2 (ja) 2020-07-22
EP3624462A1 (en) 2020-03-18
US20200097505A1 (en) 2020-03-26
JPWO2018207352A1 (ja) 2020-03-12
WO2018207352A1 (ja) 2018-11-15
EP3624462A4 (en) 2020-10-21
EP3624462B1 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
CN107273455B (zh) 区块链数据访问方法和装置
CN110622519B (zh) 数据管理系统
US7552220B2 (en) System and method to refresh proxy cache server objects
EP0226734B1 (en) Method and apparatus for managing obsolescence of data objects
US7685124B2 (en) Systems and methods for performing authorization
JP5077430B2 (ja) 管理装置および管理装置のプログラム
US20090063508A1 (en) Computer, system, storage and access control method, and access control method
CN113886743B (zh) 缓存资源的刷新方法、装置及系统
CN110968478A (zh) 日志采集方法、服务器及计算机存储介质
CN112328632B (zh) 一种分布式两级缓存的方法和系统
US9384068B2 (en) Publishing of an application program interface
CN110955460A (zh) 一种服务进程启动方法、装置、电子设备和存储介质
CN112749172A (zh) 一种缓存与数据库之间的数据同步方法及系统
CN110727895A (zh) 一种敏感词发送方法、装置、电子设备及存储介质
JP5449462B2 (ja) 分散型データベースシステム及びプログラム
WO2006105206A2 (en) On-line organization of data sets
CN111182014B (zh) 一种数据同步方法和装置
JP7027153B2 (ja) ネットワークシステム、ゲートウェイ装置およびデータ処理方法
CN111475518A (zh) 一种参数增量加载方法、装置、计算机设备及存储介质
GB2514076A (en) Publishing of an application program interface
JP5019237B2 (ja) 情報更新システム、情報更新方法、受信端末、サーバ装置、及びプログラム
JP2768606B2 (ja) 分散環境における外字管理方法
JP2012123619A (ja) アプリケーション管理装置、サーバ装置、アプリケーション管理システム、アプリケーション管理方法、および、コンピュータ・プログラム
CN115705328A (zh) 数据清单的生成方法、装置和电子设备
WO2021038797A1 (ja) 検索装置、検索方法、及び、検索プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant