CN109643303B - 数据处理装置以及数据处理方法 - Google Patents

Abstract

本发明的第1方式所涉及的数据处理装置具有：第1存储部，其能够对数据进行永久保存；第2存储部，其读入速度比所述第1存储部的读入速度快；处理部，其将由数据发生源产生的数据保存于所述第1存储部，在由所述数据发生源产生的数据符合预先登记的检索条件的情况下，将由所述数据发生源产生的数据进一步保存于所述第2存储部；以及检索部，其响应来自应用程序的数据处理请求而与所述第1存储部相比优先检索所述第2存储部。

Description

数据处理装置以及数据处理方法

技术领域

本发明涉及用于高速地进行庞大的数据向数据库的存储以及针对数据库的数据参照的技术。

背景技术

近年来，IoT(Internet of Things)受到关注，即，将各种装置/传感器与网络连接，灵活运用从上述装置/传感器收集的数据。在IoT中从多个装置/传感器收集数据，因此需要具有能够存储大量轻量数据的数据库的数据处理装置。

在灵活运用IoT的例子的多种情况下，利用从装置/传感器获取的最近的数据进行分析、预测以及致动等。关于这方面，下面的2点成为数据库的特征。

1.按照时间序列顺序高频地进行数据的写入。

2.参照所有数据中的按照时间序列属于最新区分的值的频率较高。

并且，作为灵活运用IoT的代表性的例子，基于利用长期存储的数据的分析、实时分析而进行异常检测等。关于这方面，针对数据处理装置而要求下面的2点。

1.能够永久存储数据而进行批量处理。

2.能够高速地获取数据的最新值。

即，针对面向IoT的数据处理装置而要求能够兼顾数据的永久性和获取最新值的高速性。

如通常的计算机的结构那样，已有的数据处理装置由如下2种构成：能够永久记录数据但数据读入速度并非高速的硬盘等存储装置；以及能够实现高速的数据读入但容量较小且无法永久保存数据的存储器上的缓存器等数据保存部。

当前的数据处理装置为了使数据的检索实现高速化而具有将索引保存于存储器的结构。然而，在如传感器数据那样数据数量非常大的情况下，根据数据数量而增加的索引的生成成为数据写入时的瓶颈，并且索引有时未完全存入存储器。并且，在传感器数据中，参照最新区分的值的频率较高，因此即使对所有数据都生成索引，其大部分也未被参照，基于索引的高速化的效果较小。

并且，当前的数据处理装置具有为了实现数据读入的高速化而利用缓存器使得相同的数据的参照实现高速化的结构。然而，有限容量的缓存器中保存大量的传感器数据的最新值并不现实，在此基础上，对于按照时间序列顺序始终更新最新值的传感器数据，相同数据的参照频率较低，因此基于缓存器的高速化的效果较小。

这样，在利用索引或者单纯地使用缓存器的当前的技术中，难以兼顾传感器数据等数据的高速处理以及永久化。

在IoT领域中，除了要求大量数据的处理以外，长期的分析和实时分析这二者有可能成为对象，因此要求保存数据的永久性以及最新值的高速且高频的参照。然而，在当前的数据处理装置中，对于大量数据，难以同时实现写入速度以及数据参照速度的提高和保存数据的永久性。

发明内容

本发明就是鉴于上述情形而提出的，其目的在于提供能够实现保存数据的永久性以及高速的数据处理的数据处理装置以及数据处理方法。

本发明的第1方式的数据处理装置具有：第1存储部，其能够对数据进行永久保存；第2存储部，其读入速度比所述第1存储部的读入速度快；处理部，其将由数据发生源产生的数据保存于所述第1存储部，在由所述数据发生源产生的数据符合预先登记的检索条件的情况下，将由所述数据发生源产生的数据进一步保存于所述第2存储部；以及检索部，其响应来自应用程序的数据处理请求而与所述第1存储部相比优先检索所述第2存储部。

本发明的第2方式中，所述检索部在检索所述第2存储部的结果为所述第2存储部中不存在成为所述数据处理请求的对象的数据的情况下，检索所述第1存储部。

本发明的第3方式中，所述检索条件包含对象数据属于时间序列上的最新区分的条件。

本发明的第4方式中，所述检索条件包含对象数据是错误数据的条件。

本发明的第5方式中，以不同的虚拟化单位安装所述数据处理装置、所述数据发生源以及所述应用程序。通过以不同的虚拟化单位安装数据处理装置、数据发生源以及应用程序，能够隔离且安全地利用资源。另外，通过以虚拟化单位安装数据处理装置、数据发生源以及应用程序，有时能够节约CPU、存储器等硬件资源，能够削减进行软件的更新、追加或者删除的劳力。

根据本发明，能够实现保存数据的永久性以及高速的数据处理。

附图说明

图1是表示第1实施方式所涉及的数据处理装置的结构例的框图。

图2是表示包含第1实施方式所涉及的数据处理装置的数据处理系统的结构例的框图。

图3是对图2所示的数据处理系统的数据存储方法进行说明的图。

图4是表示图2所示的数据处理系统的数据存储方法的流程图。

图5是对图2所示的数据处理系统的数据参照方法进行说明的图。

图6是表示图2所示的数据处理系统的数据参照方法的流程图。

图7是表示图2所示的数据处理装置的硬件结构例的框图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。通过所有附图对同样的结构要素标注相同的参照标号，适当地省略针对各结构要素的重复的说明。另外，关于各结构要素，为了对各结构要素进行区别说明，有时对参照标号追加子编号。

(第1实施方式)

图1概略地表示第1实施方式所涉及的数据处理装置10的结构例。如图1所示，数据处理装置10具有数据管理功能部11、数据保存部12以及数据记录部13。数据管理功能部11与数据处理装置10的外部进行通信，并且与构成数据库的数据保存部12以及数据记录部13交换数据。通过使处理器(例如CPU(Central Processing Unit))执行储存于存储器的计算机程序而能够实现数据处理装置10的一部分功能或者所有功能。

数据发生源与数据处理装置10连接。与数据处理装置10连接的数据发生源的数量可以动态地变化。即，可以追加也可以删除与数据处理装置10连接的数据发生源。数据发生源的例子为传感器、设备、通讯软件等。数据发生源在任意定时持续(例如周期性地)产生数据，并按顺序发送至数据处理装置10。在数据处理装置10中，将来自数据发生源的数据输入至数据管理功能部11。数据管理功能部11将从数据发生源接收到的数据保存于数据记录部13。

数据记录部13对数据进行永久保存。优选数据记录部13的数据的写入速度为高速。对于数据记录部13，例如可以使用硬盘驱动器(HDD)等非易失性存储器。具体而言，数据记录部13可以是在HDD上构建的数据库。通过将全部数据存储于数据记录部13而维持永久性。数据记录部13储存预先登记的检索条件，具有使用检索条件的等待接收检索以及回调等通知功能。具体而言，如果数据记录部13对数据进行保存，则将该数据与检索条件进行对照，在该数据符合检索条件的情况下，将该数据交付给数据保存部12。该数据保存于数据保存部12。数据保存部12的读入速度比数据记录部13的读入速度快。另外，典型地，数据保存部12的容量小于数据记录部13的容量，无法支持数据的永久性。优选数据保存部12的数据的写入(例如覆写)速度为高速。对于数据保存部12例如可以使用存储器上的缓存器。例如可以通过内存数据库、redis等而实施数据保存部12。内存数据库以及redis是主要将数据储存于主存储器(主存储器通常为易失性存储器)上的区域的数据库。这样，将符合检索条件的数据暂时保存于数据保存部12。在一个例子中，将最新的1000条数据保存于数据保存部12。

数据处理装置10与应用程序等进行通信。应用程序生成针对数据库的数据处理请求(例如数据参照请求)，并发送至数据处理装置10。数据管理功能部11响应来自应用程序的数据处理请求而检索数据库。在检索数据库时，与数据记录部13相比，数据处理装置10优先检索数据保存部12。具体而言，如果数据管理功能部11接收到数据处理请求，则为了获取成为数据处理请求的对象的数据，首先检索数据保存部12。在检索结果为数据保存部12中不存在对象数据的情况下，数据管理功能部11检索数据记录部13而获取对象数据。在由数据管理功能部11对数据保存部12、数据记录部13的参照时，例如可以使用以JSON(JavaScript(注册商标)Object Notation)、XML(Extensible Markup Language)等形式编写的检索式。另外，检索式可以是Date＝2015,2016且Device_no＝1等多个条件的组合。

在IoT领域中，使用很多状态监视等处理的定期执行的应用程序，存在数据检索中经常使用的检索条件。例如，经常使用属于时间序列上的最新区分的数据之类的检索条件。在当前的通常的结构中，并不局限于在读入速度较快的数据保存部中对最新数据进行记录，在该情况下，参照读入速度较慢的数据记录部，因此有时参照速度较慢。在本实施方式中，预先登记与数据检索中经常使用的检索条件对应的检索条件，将符合检索条件的数据保存于数据保存部12，响应来自应用程序的数据处理请求而优先检索数据保存部12。由此，将由应用程序参照的可能性较高的数据保存于读入速度较快的数据保存部12，优先检索数据保存部12，因此数据的参照速度提高。

此外，数据处理装置10中登记的检索条件并不限定于属于时间序列上的最新区分的数据之类的检索条件。例如，在使用参照错误数据的应用程序的情况下，可以对错误数据之类的检索条件进行登记。可以根据参照数据库的应用程序而对数据处理装置10中登记的检索条件进行变更(例如修改、追加或者删除)。检索条件例如可以设为Key:Date,Value:2016等之类的检索式的形式。另外，检索条件可以包含指定数据发生源的条件。

与对写入的所有数据逐次标注索引、且在参照时进行使用索引的数据获取的当前的数据处理装置相比，本实施方式所涉及的数据处理装置10不需要标注索引的处理，因此数据的写入实现了高速化，并且通过将符合参照频率较高的检索条件的数据保存于能够高速地读入的数据保存部12，使得容易参照的数据的获取实现高速化。上述效果在数量较多且按照时间序列对数据进行更新、且对存在最新值等参照频率较高的条件的数据进行处理的情况下特别大。

图2表示包含数据处理装置10的数据处理系统20的结构例。如图2所示，应用程序24直接或者经由网络服务器25(例如node.js等)等而与数据管理功能部11连接，将数据处理请求发送至数据管理功能部11。在图2的例子中，应用程序24-1经由网络服务器25而与数据管理功能部11连接，应用程序24-2直接与数据管理功能部11连接。可以在网络服务器25上构建应用程序24。另外，可以通过API(Application Programing Interface)(例如RESTAPI)等对来自应用程序的数据处理请求进行变换。应用程序24可以在与数据处理装置10相同的硬件上执行动作，也可以在与数据处理装置10不同的硬件上执行动作。另外，应用程序可以在云服务器中执行动作。

数据处理装置10从传感器/设备21(在该例子中，为3个传感器/设备21-1、21-2、21-3)收集数据。数据处理装置10与传感器/设备21之间的通信路径可以是任意方式。例如，数据处理装置10可以经由消息代理等而从传感器/设备21接收数据，也可以直接从传感器/设备21接收数据。在图2的例子中，在传感器/设备21-1、21-2、21-3与数据处理装置10之间设置有消息代理23。消息代理23可以直接从传感器/设备21接收数据，也可以经由转换器等软件而接收数据。在图2的例子中，消息代理23经由转换器22-1而从传感器/设备21-1接收数据，经由转换器22-2而从传感器/设备21-2接收数据，直接从传感器/设备21-3接收数据。可以通过API等而对来自传感器/设备21的数据进行变换。

包含数据处理装置10、应用程序24以及转换器22在内的部分29可以安装于同一硬件上。另外，如图2中虚线方框所示，可以作为不同的虚拟化单位(例如容器、虚拟机等)而分离安装数据处理装置10、应用程序24、转换器22以及传感器/设备21，也可以作为相同的虚拟化单位而安装。通过以不同的虚拟化单位安装数据处理装置10、应用程序24、转换器22、以及传感器/设备21，可以隔离且安全地利用资源。另外，通过以虚拟化单位安装数据处理装置10、应用程序24、转换器22以及传感器/设备21，有时能够节约CPU、存储器等硬件资源，能够削减进行软件的更新、追加或者删除的劳力。

下面，对数据处理装置10的动作进行说明。

参照图3以及图4对数据存储方法的一个例子进行说明。这里，如图3所示，数据管理功能部11具有消息客户端111、数据管理器112以及询问控制器113，数据记录部13具有检索式登记部131以及数据存储部132。

将表示检索条件的检索式预先登记于检索式登记部131(图4中的步骤S41)。数据管理功能部11将从传感器/设备21获取的数据保存于数据存储部132(步骤S42)。具体而言，消息客户端111经由消息代理23而从传感器/设备21接收数据，并发送至数据管理器112。接着，数据管理器112将来自传感器/设备21的数据写入至数据记录部13内的数据存储部132。

判定所保存的数据是否符合检索式登记部131中登记的检索式(步骤S43)。在所保存的数据符合检索式的情况下，将该数据覆写至数据保存部12(步骤S44)，结束处理。另一方面，在所保存的数据不符合检索式的情况下，不进行向数据保存部12的覆写而结束处理。

参照图5以及图6对数据参照方法的一个例子进行说明。

数据管理功能部11内的询问控制器113从应用程序24接收数据处理请求(图5以及图6的步骤S61)。例如，如图5所示，询问控制器113经由网络服务器25而从应用程序24-1接收数据处理请求，或者从应用程序24-2直接接收数据处理请求。

询问控制器113响应数据处理请求而检索数据保存部12(步骤S62)。在数据保存部12中存在检索对象的数据的情况下(步骤S63；Yes)，询问控制器113从数据保存部12获取数据。另一方面，在数据保存部12中不存在检索对象的数据的情况下(步骤S63；No)，询问控制器113检索数据记录部13内的数据存储部132(步骤S64)，从数据存储部132获取数据。

从数据保存部12或者数据存储部132获取的数据被返回至数据管理功能部11内的询问控制器113(步骤S65)，询问控制器113将从数据保存部12或者数据存储部132获取的数据发送至应用程序(步骤S66)。例如，如图5所示，询问控制器113经由网络服务器25而将数据发送至应用程序24-1，或者直接将数据发送至应用程序24-2。由此结束处理。

图7表示实现数据处理装置10的硬件的一个例子的计算机70。如图7所示，计算机70具有CPU 71、主存储器72、程序存储器73、辅助存储装置74、通信接口75以及外部接口76，这些部件通过总线77而连接。

CPU 71读出程序存储器73中存储的程序而在主存储器72将其展开，执行该程序，由此实现数据处理装置10的上述功能。主存储器72例如是SRAM(Static Random AccessMemory)或者DRAM(Dynamic Random Access Memory)。主存储器72可以用于数据保存部12。程序存储器73可以是ROM(Read-Only memory)，也可以作为辅助存储装置74的一部分而实施。辅助存储装置74例如为HDD、SSD(Solid State drive)，对各种数据进行存储。辅助存储装置74可以用于数据记录部13。

通信接口75包含有线通信模块、无线通信模块、或者它们的组合，与外部仪器(例如传感器/设备21)进行通信。外部接口76是用于与键盘等输入装置、显示器装置等输出装置等连接的接口。可以利用输入装置对上述检索条件进行登记，也可以经由通信接口75而从外部仪器接收上述检索条件。

CPU 71是处理器的一个例子。处理器并不局限于CPU 71等通用的处理电路，也可以是ASIC(Application SpeciVIc Integrated Circuit)或者FPGA(VIeld ProgrammableGate Array)等专用的处理电路。在作为处理器而使用专用的处理电路的情况下，程序可以存在于该专用的处理电路内。处理器可以包含1个或者多个通用的处理电路和/或1个或者多个专用的处理电路。

实现上述处理的程序可以储存于能够由计算机读取的记录介质而进行提供。程序作为可安装的形式的文件或者可执行的形式的文件而存储于记录介质。作为存储介质，可以使用磁盘、光盘(CD-ROM、CD-R、DVD等)、光磁盘(MO等)、半导体存储器等。如果能够对程序进行存储、且由计算机读取，则记录介质可以是任意介质。另外，可以将实现上述处理的程序储存于与互联网等网络连接的计算机(服务器)上，经由网络而下载至计算机70。

如上所述，本实施方式所涉及的数据处理装置具有：数据记录部，其能够对数据进行永久保存；以及数据保存部，其读入速度比数据记录部的读入速度快，将由数据发生源产生的数据保存于数据记录部，在由数据发生源产生的数据符合预先登记的检索条件的情况下，进一步将该数据保存于数据保存部，响应来自应用程序的数据处理请求而优先检索数据保存部。由此，全部数据都实现了永久化，并且容易参照的数据被储存于读入速度更快的数据保存部，响应数据处理请求而优先检索数据保存部，因此参照数据的速度提高。另外，与标注索引的当前的技术相比，能够高速地对数据进行保存。即，达成了保存数据的永久化以及高速的数据处理这二者。

(其他实施方式)

在上述第1实施方式中，如果数据保存于数据记录部13，则在数据记录部13中对所保存的数据与检索条件进行对照，在所保存的数据符合检索条件的情况下，将该数据交付给数据保存部12。在其他实施方式中，可以由数据管理功能部11执行该处理。具体而言，数据管理功能部11将来自数据发生源的数据存储于数据记录部13，并且判定该数据是否符合预先登记的检索条件，在该数据符合检索条件的情况下，将该数据覆写至数据保存部12。

本发明并不限定于上述各实施方式，在实施阶段，可以在未脱离其主旨的范围对结构要素进行变形而实现具体化。另外，可以通过上述各实施方式中公开的多个结构要素的适当的组合而形成各种发明。例如，可以从各实施方式所示的所有结构要素将几个结构要素删除。并且，可以适当地对不同的实施方式中的结构要素进行组合。

Claims (8)

1.一种数据处理装置，其中，

所述数据处理装置具有：

第1存储部，其能够对数据进行永久保存；

第2存储部，其读入速度比所述第1存储部的读入速度快；

处理部，其将由数据发生源产生的数据从所述数据发生源接收，判定接收的数据是否符合预先登记的检索条件，在所述接收的数据不符合所述检索条件的情况下，不将所述接收的数据保存于所述第2存储部，而将所述接收的数据保存于所述第1存储部，在所述接收的数据符合所述检索条件的情况下，将所述接收的数据保存于所述第1存储部以及所述第2存储部这二者；

检索部，其响应来自应用程序的数据处理请求、为了获取成为所述数据处理请求的对象的数据而检索所述第2存储部，在检索所述第2存储部的结果为所述第2存储部中不存在成为所述数据处理请求的对象的数据的情况下，为了获取成为所述数据处理请求的对象的数据而检索所述第1存储部；以及

输出部，其将从所述第2存储部或所述第1存储部获取的数据输出至所述应用程序。

2.根据权利要求1所述的数据处理装置，其中，

所述检索条件包含对象数据属于时间序列上的最新区分的条件。

3.根据权利要求1所述的数据处理装置，其中，

所述检索条件包含对象数据是错误数据的条件。

4.根据权利要求1所述的数据处理装置，其中，

以不同的虚拟化单位安装所述数据处理装置、所述数据发生源以及所述应用程序。

5.一种数据处理方法，其是利用数据处理装置执行的数据处理方法，所述数据处理装置具有：第1存储部，其能够对数据进行永久保存；以及第2存储部，其读入速度比所述第1存储部的读入速度快，其中，

所述数据处理方法包含如下步骤：

将由数据发生源产生的数据从所述数据发生源接收，判定接收的数据是否符合预先登记的检索条件，在所述接收的数据不符合所述检索条件的情况下，不将所述接收的数据保存于所述第2存储部，而将所述接收的数据保存于所述第1存储部，在所述接收的数据符合所述检索条件的情况下，将所述接收的数据保存于所述第1存储部以及所述第2存储部这二者；

响应来自应用程序的数据处理请求，为了获取成为所述数据处理请求的对象的数据而检索所述第2存储部；

在检索所述第2存储部的结果为所述第2存储部中不存在成为所述数据处理请求的对象的数据的情况下，为了获取成为所述数据处理请求的对象的数据而检索所述第1存储部；以及

将从所述第2存储部或所述第1存储部获取的数据输出至所述应用程序。

6.根据权利要求5所述的数据处理方法，其中，

所述检索条件包含对象数据属于时间序列上的最新区分的条件。

7.根据权利要求5所述的数据处理方法，其中，

所述检索条件包含对象数据是错误数据的条件。

8.根据权利要求5所述的数据处理方法，其中，

以不同的虚拟化单位安装所述数据处理装置、所述数据发生源以及所述应用程序。