CN111566630A - 数据处理装置、数据处理方法及程序 - Google Patents
数据处理装置、数据处理方法及程序 Download PDFInfo
- Publication number
- CN111566630A CN111566630A CN201880086063.XA CN201880086063A CN111566630A CN 111566630 A CN111566630 A CN 111566630A CN 201880086063 A CN201880086063 A CN 201880086063A CN 111566630 A CN111566630 A CN 111566630A
- Authority
- CN
- China
- Prior art keywords
- input data
- preprocessing
- data
- metadata
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/10—Program control for peripheral devices
- G06F13/12—Program control for peripheral devices using hardware independent of the central processor, e.g. channel or peripheral processor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Information Transfer Systems (AREA)
- Computer And Data Communications (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明提供一种数据处理装置、数据处理方法及程序,能够降低处理模块进行不适当的处理的可能性。处理模块与表示输入数据的条件的第一元数据相关联。输入数据与表示输入数据的属性的第二元数据相关联。数据处理装置具备获取部和预处理部。获取部构成为获取基于第一及第二元数据的、与输入数据的预处理相关的判定结果。预处理部构成为基于判定结果对输入数据实施预处理。
Description
技术领域
本发明涉及数据处理装置、数据处理方法及程序。
背景技术
日本特开2014-45242号公报(专利文献1)公开了生成虚拟传感器的虚拟传感器生成装置。在该虚拟传感器生成装置中,检测存在于规定范围内的真实传感器,并通过使用检测到的真实传感器来生成虚拟传感器(参照专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2014-45242号公报
上述专利文献1中公开的虚拟传感器例如包括真实传感器(设备的一例)和处理模块。处理模块通过对由真实传感器输出的感测数据(输入数据的一例)实施处理,从而生成与输入数据不同的输出数据。
在处理模块中,有时会预先确定输入数据的形式(例如,单位制、位数)。在这种情况下,如果规定的形式的数据没有被输入处理模块,则在处理模块中可能无法进行适当的处理。
本发明为了解决该问题而提出,其目的在于提供能够降低处理模块进行不适当的处理的可能性的数据处理装置、数据处理方法及程序。
发明内容
本发明的数据处理装置构成为对处理模块的输入数据实施处理。处理模块构成为基于至少一个输入数据生成与输入数据不同的输出数据。处理模块与表示输入数据的条件的第一元数据相关联。输入数据与表示输入数据的属性的第二元数据相关联。数据处理装置具备获取部和预处理部。获取部构成为获取基于第一及第二元数据的、与输入数据的预处理相关的判定结果。预处理部构成为基于判定结果对输入数据实施预处理。
在该数据处理装置中,根据基于第一及第二元数据的判定结果,对输入数据实施预处理。即,在该数据处理装置中,在考虑了处理模块中的输入数据的条件及处理模块中输入的输入数据的属性的基础上,对输入数据实施预处理。因此,根据该数据处理装置,由于对处理模块的输入数据实施适当的预处理,因此能够降低处理模块进行不适当的处理的可能性。
优选输入数据与第二元数据通过ID(identification:标识)相关联。获取部构成为获取基于第一及第二元数据和ID的、与每个输入数据的预处理相关的判定结果。预处理部构成为基于判定结果对各输入数据实施预处理。
在该数据处理装置中,输入数据与第二元数据通过ID相关联。另外,在与输入数据的预处理相关的判定中,除了第一及第二元数据之外,还考虑ID。即,对每个输入数据进行与预处理相关的判定。因此,根据该数据处理装置,能够对每个输入数据实施适当的预处理。
在上述数据处理装置中,优选由预处理部实施的预处理是为了使输入数据满足输入数据的条件而对输入数据实施的处理。
优选处理模块构成为基于多个输入数据生成输出数据。
优选输入数据由设备输出到处理模块。处理模块构成为能够切换向处理模块输出输入数据的设备。
优选输入数据由设备输出到处理模块。设备是传感器。输入数据是由传感器生成的感测数据。
优选处理模块构成为基于多个输入数据生成输出数据。
优选输入数据由设备输出到处理模块。由处理模块和向处理模块输出输入数据的设备形成虚拟传感器。
另外,本发明的其他方面所涉及的数据处理方法,对处理模块的输入数据实施处理。处理模块构成为基于至少一个输入数据生成与输入数据不同的输出数据。处理模块与表示输入数据的条件的第一元数据相关联。输入数据与表示输入数据的属性的第二元数据相关联。数据处理方法包括:获取基于第一及第二元数据的、与输入数据的预处理相关的判定结果的步骤;以及基于判定结果对输入数据实施预处理的步骤。
在该数据处理方法中,根据基于第一及第二元数据的判定结果,对输入数据实施预处理。即,在该数据处理方法中,在考虑了处理模块中的输入数据的条件及处理模块中输入的输入数据的属性的基础上,对输入数据实施预处理。因此,根据该数据处理方法,由于对处理模块的输入数据实施适当的预处理,因此能够降低处理模块进行不适当的处理的可能性。
另外,本发明的其他方面所涉及的程序,使计算机执行对处理模块的输入数据实施处理的处理。处理模块构成为基于至少一个输入数据生成与输入数据不同的输出数据。处理模块与表示输入数据的条件的第一元数据相关联。输入数据与表示输入数据的属性的第二元数据相关联。程序构成为使计算机执行如下步骤:获取基于第一及第二元数据的、与输入数据的预处理相关的判定结果的步骤;以及基于判定结果对输入数据实施预处理的步骤。
在由计算机执行该程序后,根据基于第一及第二元数据的判定结果,对输入数据实施预处理。即,在由计算机执行该程序后,在考虑了处理模块中的输入数据的条件及处理模块中输入的输入数据的属性的基础上,对输入数据实施预处理。因此,根据该程序,由于对处理模块的输入数据实施适当的预处理,因此能够降低处理模块进行不适当的处理的可能性。
根据本发明,能够提供一种能够降低处理模块进行不适当的处理的可能性的数据处理装置、数据处理方法及程序。
附图说明
图1是用于说明数据处理装置的概要的图。
图2是示出传感器网络系统的一例的图。
图3是示出虚拟传感器管理服务器的硬件结构的一例的图。
图4是示出预处理程序DB的一例的图。
图5是示出过去判定历史DB的一例的图。
图6是示出处理模块侧元数据DB的一例的图。
图7是示出感测设备的硬件结构的一例的图。
图8是示出感测数据侧元数据的一例的图。
图9是示出由控制部实现的各软件模块的关系的一例的图。
图10是示出预处理判定模块的详细结构的一例的图。
图11是示出赋予各数据的ID的一例的图。
图12是示出输出管理模块的详细结构的一例的图。
图13是示出预处理模块的详细结构的一例的图。
图14是示出预处理判定动作的一例的流程图。
图15是示出从感测设备向处理模块的感测数据的输出的管理动作的一例的流程图。
图16是示出预处理动作的一例的流程图。
具体实施方式
以下,使用附图对本发明的一方面所涉及的实施方式(以下,也称为“本实施方式”。)进行详细说明。另外,对图中相同或相当的部分标注相同的符号,不重复其说明。另外,以下说明的本实施方式在所有方面都只不过是本发明的例示而已。本实施方式可以在本发明的范围内进行各种改良或变更。即,在实施本发明时,可以根据实施方式适当采用具体的结构。
[1.概要]
图1是用于说明本实施方式所涉及的数据处理装置(预处理模块)120的概要的图。参照图1,处理模块130具有多个输入端口,在各输入端口中输入由感测设备12(设备的一例)输出的感测数据(输入数据的一例)。处理模块130构成为基于输入数据生成与输入数据不同的输出数据。即,由处理模块130和向处理模块130输出输入数据的感测设备12(输入传感器)形成所谓的虚拟传感器。虚拟传感器是基于通过输入传感器观测对象而生成的感测数据,将与通过输入传感器观测的对象不同的对象的观测结果作为感测数据输出的传感器模块。关于虚拟传感器,之后将详细说明。
在处理模块130中,有时预先确定了输入数据的形式(例如,单位制、位数)。在这种情况下,如果规定的形式的数据没有被输入处理模块130,则在处理模块130中可能无法进行适当的处理。
本实施方式所涉及的数据处理装置120构成为在必要的情况下对处理模块130的输入数据实施预处理。另外,预处理是为了使输入数据满足处理模块130的输入数据的条件而对输入数据实施的处理。通过对输入数据实施适当的预处理,能够抑制向处理模块130输入不适当的数据的情况。
具体地,预处理判定装置110获取处理模块侧元数据(以下,也称为“第一元数据”。)161和感测数据侧元数据(以下,也称为“第二元数据”。)13。第一元数据161与处理模块130相关联,表示处理模块130的输入数据的条件。第二元数据13与由感测设备12输出的感测数据相关联,表示该感测数据(输入数据)的属性。预处理判定装置110基于第一元数据161和第二元数据13,进行与处理模块130的输入数据的预处理相关的判定。数据处理装置120基于预处理判定模块110的判定结果,对处理模块130的输入数据实施预处理。
即,在数据处理装置120中,根据考虑了处理模块130中的输入数据的条件及处理模块130中输入的输入数据的属性的判定结果,对输入数据实施预处理。因此,根据数据处理装置120,由于对处理模块130的输入数据实施适当的预处理,因此能够降低处理模块130进行不适当的处理的可能性。
[2.结构]
<2-1.系统整体的结构>
图2是示出包括本实施方式所涉及的预处理模块(数据处理装置)120的传感器网络系统10的一例的图。在图2的例子中,传感器网络系统10包括传感器网络部14、虚拟传感器管理服务器100和应用服务器300。
传感器网络部14、虚拟传感器管理服务器100及应用服务器300以经由因特网15能够相互通信的方式连接。另外,传感器网络系统10中包括的各构成要素(虚拟传感器管理服务器100、应用服务器300、传感器网络适配器11以及感测设备12等)的数量并不限于图2所示的数量。
在传感器网络系统10中,由感测设备12等生成的感测数据可以流通。例如,由感测设备12生成的感测数据可以在虚拟传感器管理服务器100中流通,由虚拟传感器生成的感测数据可以在应用服务器300中流通。
传感器网络部14例如包括多个传感器网络适配器11。多个传感器网络适配器11分别与多个感测设备12连接,各感测设备12经由传感器网络适配器11与因特网15连接。
感测设备12构成为通过观测对象来获得感测数据。感测设备12例如包括图像传感器(相机)、温度传感器、湿度传感器、照度传感器、力传感器、声音传感器、RFID(RadioFrequency IDentification:射频识别)传感器、红外线传感器、姿态传感器、降雨传感器、放射性传感器及气体传感器等。另外,感测设备12并不一定必须是固设型,也可以是移动电话、智能手机及平板电脑等移动型。另外,各感测设备12并不一定必须由单一的传感器构成,也可以由多个传感器构成。另外,感测设备12可以以任何目的设置,例如,可以为了工厂中的FA(Factory Automation:工厂自动化)及生产管理、城市交通控制、气象等环境测量、医疗保健以及防止犯罪等而设置。
在传感器网络部14中,例如各传感器网络适配器11配置在不同的(较远的)场所,与各传感器网络适配器11连接的各感测设备12配置在相同的(较近的)场所,但这些配置场所并不限定于此。
各应用服务器300(300A、300B)构成为执行利用感测数据的应用,例如通过通用的计算机来实现。应用服务器300经由因特网15获取必要的感测数据。
虚拟传感器管理服务器100是用于实现虚拟传感器的服务器。在虚拟传感器管理服务器100中,实现多个处理模块130、预处理模块120、预处理判定模块110和输出管理模块140,并且管理预处理程序DB170、过去判定历史DB150、处理模块侧元数据DB(以下,也称为“第一元数据DB”。)160。多个处理模块130、预处理模块120、预处理判定模块110及输出管理模块140例如分别是软件模块。
处理模块130包括至少一个输入端口,构成为基于各输入端口中输入的输入数据生成与输入数据不同的输出数据。处理模块130可以根据需要切换向输入端口输出输入数据的感测设备12。例如,在向当前输入端口输出输入数据的感测设备12发生故障的情况下,处理模块130能够将输入传感器切换为其他感测设备12。
处理模块130例如也可以构成为基于由配置在室内的声音传感器输出的输入数据(声音数据)来输出表示存在于该室内的人数的数据。在这种情况下,通过处理模块130和感测设备12(声音传感器),能够实现检测室内的人数的虚拟传感器。
预处理模块120构成为通过执行各预处理程序(后述)来对处理模块130的输入数据实施期望的预处理。预处理判定模块110构成为进行与处理模块130的输入数据的预处理相关的判定。输出管理模块140构成为管理从感测设备12向处理模块130的输入数据的输出。关于各软件模块及各数据库,之后将详细说明。
<2-2.虚拟传感器管理服务器的硬件结构>
图3是示出虚拟传感器管理服务器100的硬件结构的一例的图。另外,在本实施方式中,虚拟传感器管理服务器100例如通过通用计算机实现。
在图3的例子中,虚拟传感器管理服务器100包括控制部180、通信I/F(interface:接口)195和存储部190,各结构经由总线197电连接。
控制部180包括CPU(Central Processing Unit:中央处理单元)182、RAM(RandomAccess Memory:随机存取存储器)184及ROM(Read Only Memory:只读存储器)186等,构成为根据信息处理而进行各构成要素的控制。
通信I/F195构成为经由因特网15与设置在虚拟传感器管理服务器100外部的外部装置(例如,应用服务器300及传感器网络部14(图2))进行通信。通信I/F195例如由有线LAN(Local Area Network:局域网)模块或无线LAN模块构成。
存储部190例如是硬盘驱动器、固态硬盘等辅助存储装置。存储部190例如构成为存储预处理程序DB170、过去判定历史DB150、第一元数据DB160、控制程序191。
图4是示出预处理程序DB170的一例的图。预处理程序DB170是管理多个预处理程序的数据库。在图4的例子中,将“程序ID(identification:标识)”、“预处理内容”和“存储场所”相关联地进行管理。“程序ID”是能够唯一确定各预处理程序的信息。“预处理内容”表示通过执行各预处理程序而实现的预处理的内容。“存储场所”是能够确定存储各预处理程序的场所的信息(例如,存储器中的地址)。
例如,在该例中,程序ID“1”的预处理程序是进行处理模块130的输入数据的“单位转换”的程序,被存储在存储器中的“地址:Z1”。另外,“单位转换”是预处理的一例,是转换输入数据的单位(例如,从华氏向摄氏)的处理。
图5是示出过去判定历史DB150的一例的图。过去判定历史DB150是管理预处理判定模块110的判定结果的历史的数据库。在图5的例子中,在过去判定历史DB150中,对各处理模块130(ID:M1、M2…)的每个输入端口管理预处理判定模块110(图2)的判定结果的历史。例如,对各处理模块130的每个输入端口管理“何时”、“判定为需要什么样的预处理”。
例如,在该例中,在ID为M1的处理模块130的端口1中,判定为需要在2018年1月5日10时00分05秒对输入数据实施“单位转换”和“位数调整”。另外,“位数调整”是预处理的一例。“位数调整”是在处理模块130的输入数据的位数偏离预定位数的情况下,变更输入数据的位数以使输入数据的位数收敛于预定范围内的处理。
图6是示出处理模块侧元数据(第一元数据)DB160的一例的图。第一元数据DB160是管理表示处理模块130的输入数据的条件的第一元数据161(图1)的数据库。在虚拟传感器管理服务器100中实现的各处理模块130的第一元数据161被预先登记在第一元数据DB160中。在图6的例子中,在第一元数据DB160中,对各处理模块130的每个输入端口管理第一元数据161。
第一元数据161例如包括“传感器条件”和“输入数据条件”。“传感器条件”是输出输入数据(感测数据)的感测设备12所要求的基本条件,例如包括“种类”、“观测对象”、“设置场所”。
“种类”是感测设备12的种类,例如,温度传感器、照度传感器及相机分别是“种类”的一例。“观测对象”是由感测设备12进行观测的对象,例如,外部气温、车站检票处、照度及温度分别是“观测对象”的一例。“设置场所”是设置有感测设备12的场所,例如,P1、P2及P3分别是“设置场所”的一例(另外,P1、P2及P3分别表示例如“京都车站前”等具体的场所。)。
“输入数据条件”是与输入数据(感测数据)的属性相关的条件,例如包括“单位制”、“位数”、“数据数/次”、“数据缺损”。“单位制”例如表示与输入数据的单位制相关的条件。“位数”例如表示与输入数据的位数相关的条件。“数据数/次”例如表示与输入端口的一次输入所需的数据数相关的条件。“数据缺损”例如表示与输入数据缺损(丢失)相关的条件。
再次参照图3,控制程序191是由控制部180执行的虚拟传感器管理服务器100的控制程序。例如,也可以通过控制部180执行控制程序191,来实现各处理模块130、预处理模块120、预处理判定模块110及输出管理模块140。另外,在控制程序191中也可以包括各预处理程序。在控制部180执行控制程序191的情况下,控制程序191在RAM174中展开。另外,控制部180通过由CPU182解释及执行在RAM174中展开的控制程序191,从而对各构成要素进行控制。
<2-3.感测设备的硬件结构>
图7是示出感测设备12的硬件结构的一例的图。在图7的例子中,感测设备12包括真实传感器20、数据缓冲器21、通信部22和控制部23。
真实传感器20例如是图像传感器(相机)、温度传感器、湿度传感器、照度传感器、力传感器、声音传感器、RFID传感器、红外线传感器、姿态传感器、降雨传感器、放射性传感器及气体传感器等,可以是任意种类的传感器。真实传感器20构成为输出感测数据和与该感测数据相关联的感测数据侧元数据(第二元数据)13。
图8是示出感测数据侧元数据(第二元数据)13的一例的图。在图8的例子中,第二元数据13例如包括“传感器属性”和“输入数据属性”。“传感器属性”表示输出感测数据的感测设备12的属性,例如包括“种类”、“观测对象”、“设置场所”。“输入数据属性”表示感测数据的属性,例如包括“单位制”、“位数”、“数据缺损”。
例如,真实传感器20通过确认所生成的感测数据,来识别“单位制”、“位数”、“数据缺损”的有无,从而生成第二元数据13。即使是相同的真实传感器20,有时也会由于各种原因而产生错误,导致所生成的感测数据的属性(单位制、位数等)发生变化。详细内容将在后面叙述,例如在感测数据的单位制或位数在预想外的情况下,需要对感测数据实施预处理,将单位制或位数转换为预想内的情况。
另外,由于根据感测设备12的属性,感测数据的属性也会受到影响,因此“处理模块130中输入的输入数据的属性”中也可以包括“传感器属性”。
再次参照图7,数据缓冲器21构成为暂时存储由真实传感器20输出的感测数据。数据缓冲器21例如由DRAM(Dynamic Random Access Memory:动态随机存取存储器)、SRAM(Static Random Access Memory:静态随机存取存储器)等构成。
通信部22构成为经由因特网15与设置在感测设备12外部的外部装置(例如应用服务器300及虚拟传感器管理服务器100)进行通信。通信部22例如将由真实传感器20输出的感测数据及第二元数据13向虚拟传感器管理服务器100发送。此外,例如,通信部22从虚拟传感器管理服务器100接收表示可否向虚拟传感器管理服务器100发送感测数据(输出可否)的信息(以下,也称为“输出可否信息”。)。关于输出可否信息,之后将详细说明。
控制部23包括CPU、RAM及ROM等,构成为根据信息处理进行各构成要素(例如,真实传感器20、数据缓冲器21及通信部22)的控制。例如,控制部23基于上述输出可否信息对暂时存储在数据缓冲器21中的感测数据的输出进行控制。
<2-4.虚拟传感器管理服务器的软件结构>
图9是示出由控制部180实现的各软件模块的关系的一例的图。在图9的例子中,处理模块130、预处理判定模块110、输出管理模块140及预处理模块120分别由控制部180实现。
预处理判定模块110基于从第一元数据DB160获取的第一元数据161和从感测设备12获取的第二元数据13,进行与由感测设备12输出的感测数据的预处理相关的判定。预处理判定模块110的判定结果被通知给预处理模块120。
输出管理模块140基于第一元数据161和第二元数据13,判定可否输出感测设备12的感测数据。判定结果(输出可否信息)被发送到感测设备12。
预处理模块120根据从预处理判定模块110获取的与预处理相关的判定结果,对由预处理模块120输出的感测数据实施预处理。预处理之后的感测数据被输入到处理模块130。以下,依次对各软件模块的详细情况进行说明。
(2-4-1.预处理判定模块)
图10是示出预处理判定模块110的详细结构的一例的图。另外,对处理模块130的每个输入端口进行各软件模块的处理。与各输入端口相关联的处理可以并行进行,也可以依次进行。以下,在关注处理模块130的一个输入端口的基础上,对各模块进行说明。
参照图10,感测设备12将第二元数据13和赋予第二元数据13的ID输出到预处理判定模块110,并将感测数据和赋予感测数据的ID输出到预处理模块120。即,感测数据不被发送到预处理判定模块110。因此,在本实施方式中,相比感测数据和第二元数据13两者都被发送到预处理判定模块110的情况,通信流量被抑制。
赋予第二元数据13的ID与赋予感测数据的ID具有关联性。因此,即使第二元数据13和感测数据被发送到不同的目的地,之后也可以通过参考各ID将第二元数据13与感测数据相关联。
图11是示出赋予各数据的ID的一例的图。在图11的例子中,对感测数据赋予感测数据ID,对与该感测数据相关联的第二元数据13赋予第二元数据ID。在该例中,感测数据ID的后四位(00XX)与第二元数据ID的后四位(00XX)相同。因此,在该例中,通过参照各ID的后四位,之后能够将第二元数据13与感测数据相关联。
再次参照图10,预处理判定模块110包括获取部111、112、判定部113和通知部114。获取部111获取第二元数据13和赋予第二元数据13的ID。获取部112从第一元数据DB160获取与输入端口相关联的第一元数据161(图1)。
判定部113基于由取得部111获取的第二元数据13和由取得部112获取的第一元数据161,判定是否需要感测数据的预处理,在需要预处理的情况下,判定预处理的内容。
例如,判定部113在由第二元数据13表示的输入数据属性满足由第一元数据161表示的输入数据条件的情况下,判定为不需要预处理,另一方面,在由第二元数据13表示的输入数据属性不满足由第一元数据161表示的输入数据条件的情况下,判定为需要预处理。另外,判定部113在判定为需要预处理的情况下,例如根据输入数据属性不满足的输入条件的内容来判定需要的预处理内容。例如,在输入数据条件“位数”为“三位”的情况下,在输入数据属性“位数”为“五位”时,判定部113判定为需要进行将位数减少两位的预处理。
另外,判定部113通过参照过去判定历史DB150,判定被判定为需要的预处理是否与刚刚执行的预处理相同。假设在相同的情况下,需要的预处理程序已经被读出,不需要重新进行预处理程序DB170(图4)中的检索,因此通过参照过去判定历史,能够对预处理进行更适当的判定。
通知部114将判定部113的判定结果通知预处理模块120。例如,通知部114将是否需要预处理、需要的预处理内容、以及刚刚是否执行了需要的预处理,与赋予第二元数据13的ID一起通知预处理模块120。
(2-4-2.输出管理模块)
图12是示出输出管理模块140的详细结构的一例的图。在图12的例子中,输出管理模块140包括获取部141、142、判定部143、以及通知部144。获取部141经由通信I/F195从感测设备12获取(接收)第二元数据13和赋予第二元数据13的ID。获取部142从第一元数据DB160获取与输入端口相关联的第一元数据161。
判定部143基于由获取部111获取的第二元数据13和由获取部112获取的第一元数据161,判定可否输出感测设备12的感测数据。例如,判定部143在由第二元数据13表示的传感器属性满足由第一元数据161表示的传感器条件的情况下,判定为可输出,另一方面,在由第二元数据13表示的传感器属性不满足由第一元数据161表示的传感器条件的情况下,判定为不可输出。即,判定部143在即使实施了预处理感测数据也不满足处理模块130的输入数据的条件的情况下,判定为感测设备12不可输出感测数据。
通知部144将表示判定部143的判定结果的输出可否信息与赋予第二元数据13的ID一起经由通信I/F 195发送到感测设备12。
在感测设备12中,如果经由通信部22接收到输出可否信息,则控制部23根据接收到的输出可否信息对数据缓冲器21中存储的感测数据的输出进行控制。例如,控制部23在接收到的输出可否信息表示“可输出”的情况下,对数据缓冲器21及通信部22进行控制,以将被赋予与输出可否信息一起接收到的ID相关联的ID的感测数据发送到预处理模块120。另外,例如,控制部23在接收到的输出可否信息表示“不可输出”的情况下,从数据缓冲器21中删除被赋予与输出可否信息一起接收到的ID相关联的ID的感测数据。
(2-4-3.预处理模块)
图13是示出预处理模块120的详细结构的一例的图。在图13的例子中,预处理模块120包括获取部121和预处理部122。获取部121获取预处理判定模块110的判定结果和赋予第二元数据13的ID。
假设由取得部121获取的判定结果表示需要进行预处理,并且表示需要的预处理与刚刚执行的预处理不同。在这种情况下,预处理部122例如在预处理程序DB170中检索与判定结果表示的需要的预处理相关联的预处理程序,并读出该预处理程序。预处理部122对被赋予与由获取部121获取的ID相关联的ID的感测数据实施预处理。在预处理部122中,对感测数据实施通过执行所读出的预处理程序而实现的预处理。另外,由预处理模块120进行的预处理之后的感测数据被输入到处理模块130。
假设由获取部121获取的判定结果表示需要预处理,并且表示需要的预处理与刚刚执行的预处理相同。在这种情况下,预处理部122例如不执行预处理程序DB170中的检索。在预处理部122中,对感测数据实施通过执行已经读出的预处理程序而实现的预处理。另外,由预处理模块120执行的预处理之后的感测数据被输入到处理模块130。
[3.动作]
<3-1.预处理判定动作>
图14是示出预处理判定动作的一例的流程图。该流程图所示的处理例如通过在从感测设备12接收第二元数据13的定时,控制部180作为预处理判定模块110进行动作而执行。另外,如上所述,对各处理模块130的每个输入端口进行预处理的判定,这里关注一个处理模块130的一个输入端口进行说明。
参照图14,控制部180从感测设备12获取第二元数据13和赋予该第二元数据的ID(步骤S100)。控制部180从第一元数据DB160获取与输入端口相关联的第一元数据161(步骤S110)。控制部180基于第一元数据161和第二元数据13,判定是否需要对被赋予与赋予第二元数据的ID相关联的ID的感测数据进行预处理(步骤S120)。控制部180判定是否判定为了需要预处理(步骤S130)。
如果判定为不需要预处理(步骤S130中为“否”),则预处理判定模块110(控制部180)将不需要预处理的主旨与赋予第二元数据13的ID一起通知预处理模块120(步骤S160)。
另一方面,如果判定为需要预处理(步骤S130中为“是”),则控制部180判定需要的预处理内容(步骤S140)。控制部180通过参照过去判定历史DB150,判定被判定为需要的预处理是否与刚刚执行的预处理相同(步骤S150)。另外,预处理判定模块110(控制部180)将判定结果与赋予第二元数据13的ID一起通知预处理模块120(步骤S160)。
如此,在预处理判定模块110中,根据第一元数据161及第二元数据13,进行与处理模块130的输入数据的预处理相关的判定。即,在预处理判定模块110中,在考虑了处理模块130中的输入数据的条件及处理模块130中输入的输入数据的属性的基础上,执行与预处理相关的判定。因此,根据预处理判定模块110,由于考虑了与预处理相关的必要事项,因此可以适当地进行与预处理相关的判定。
<3-2.输出管理动作>
图15是示出从感测设备12向处理模块130的感测数据的输出的管理动作的一例的流程图。该流程图所示的处理例如在由感测设备12生成感测数据的定时执行。另外,如上所述,对各处理模块130的每个输入端口进行感测数据的输出管理,这里关注一个处理模块130的一个输入端口进行说明。
参照图15,左方的流程图由控制部23(感测设备12)执行。另一方面,右方的流程图通过控制部180(虚拟传感器管理服务器100)作为输出管理模块140进行动作而执行。
参照图15的左方,控制部23对数据缓冲器21进行控制(步骤S200),以暂时存储由真实传感器20(图7)输出的感测数据。控制部23对通信部22进行控制(步骤S210),以向虚拟传感器管理服务器100发送与数据缓冲器21中暂时存储的感测数据相关联的第二元数据13和赋予该第二元数据13的ID。
之后,控制部23判定是否从虚拟传感器管理服务器100接收到感测数据的输出可否信息等(步骤S220)。如果判定为未接收到输出可否信息等(步骤S220中为“否”),则控制部23待机,直到接收到输出可否信息等。
参照图15的右方,控制部180判定是否接收到第二元数据13和赋予该第二元数据13的ID(步骤S300)。如果判定为未接收到各数据(步骤S300中为“否”),则控制部180待机,直到接收到各数据为止。
如果判定为接收到了各数据(步骤S300中为“是”),则控制部180从第一元数据DB160获取与处理模块130的输入端口相关联的第一元数据161(步骤S310)。控制部180基于第一元数据161和第二元数据13,判定是否可以将与第二元数据13相关联的感测数据从感测设备12输出到处理模块130(步骤S320)。控制部180对通信I/F 195进行控制(步骤S330),以将表示步骤S320中的判定结果的输出可否信息与赋予第二元数据13的ID一起发送到感测设备12。
再次参照图15的左方,在步骤S220中,如果判定为接收到了输出可否信息及ID(步骤S220中为“是”),则控制部23通过进行ID的对照,以确定数据缓冲器21中暂时存储的感测数据中的对象感测数据(步骤S230)。
控制部23通过参照输出可否信息,判定所确定的感测数据是否可输出(可发送)(步骤S240)。如果判定为可发送(步骤S240中为“是”),则控制部23对通信部22进行控制(步骤S250),以将对象感测数据和赋予该感测数据的ID发送到预处理模块120(虚拟传感器管理服务器100)。另一方面,如果判定为不可发送(步骤S240中为“否”),则控制部23执行用于从数据缓冲器21中删除对象感测数据的处理(步骤S260)。
如此,在输出管理模块140中,向感测设备12通知基于第一元数据161及第二元数据13的、向处理模块130输出感测数据的可否。即,向感测设备12通知考虑了处理模块130的输入数据的条件及数据缓冲器21中暂时存储的感测数据的属性的感测数据的输出的可否。因此,根据输出管理模块140,由于考虑了必要事项的输出可否信息被通知感测设备12,不满足规定条件的感测数据被输入处理模块130的可能性降低,因此能够降低处理模块130进行不适当的处理的可能性。
另外,在输出管理模块140中,将输出可否信息与赋予第二元数据13的ID一起通知感测设备12。因此,根据输出管理模块140,通过使感测设备12参照ID,能够使感测设备12识别每个感测数据的输出可否。
<3-3.预处理动作>
图16是示出预处理动作的一例的流程图。该流程图所示的处理在从预处理判定模块110通知判定结果及ID(赋予第二元数据13的ID)的定时,通过控制部180作为预处理模块120进行动作而执行。另外,如上所述,对各处理模块130的每个输入端口进行感测数据的预处理,这里关注一个处理模块130的一个输入端口进行说明。
参考图16,控制部180将赋予从感测设备12接收的感测数据的ID与从预处理判定模块110通知的ID进行对照(步骤S400)。控制部180判定是否接收到被赋予与从预处理判定模块110通知的ID相关联的ID的感测数据(步骤S410)。
如果判定为未接收到被赋予与从预处理判定模块110通知的ID相关联的ID的感测数据(步骤S410中为“否”),则控制部180待机,直到接收到该感测数据。另一方面,如果判定为接收到了被赋予与从预处理判定模块110通知的ID相关联的ID的感测数据(步骤S410中为“是”),则控制部180通过参照从预处理判定模块110获取的判定结果,判定对象感测数据需要的预处理(步骤S420)。
控制部180进一步通过参照从预处理判定模块110获取的判定结果,来判定需要的预处理是否与刚刚对感测数据实施的预处理相同(步骤S430)。
如果判定为需要的预处理与刚刚对感测数据实施的预处理不同(步骤S430中为“否”),则控制部180在预处理程序DB170中检索需要的预处理程序(步骤S440)。另外,控制部180判定需要的预处理程序是否存在于预处理程序DB170中(步骤S450)。如果判定为需要的预处理程序存在于预处理程序DB170中(步骤S450中为“是”),则控制部180通过读出该预处理程序,并执行所读出的预处理程序,来对对象感测数据实施预处理(步骤S460)。之后,预处理模块120(控制部180)将预处理之后的感测数据发送到处理模块130(步骤S470)。
在步骤S430中,如果判定为需要的预处理程序与刚刚对感测数据实施的预处理相同(步骤S430中为“是”),则控制部180通过执行已经读出的预处理程序,来对对象感测数据实施预处理(步骤S460)。
另外,在步骤S450中,如果判定为需要的预处理程序不存在于预处理程序DB170中(步骤S450中为“否”),则预处理模块120(控制部180)将规定消息与未实施预处理的感测数据一起发送到处理模块130(步骤S480)。规定消息例如是表示不存在需要的预处理程序的消息。
如此,在预处理模块120中,根据预处理判定模块110中的判定结果,对感测数据实施预处理。即,在预处理模块120中,在考虑了处理模块130中的输入数据的条件及处理模块130中输入的输入数据(感测数据)的属性的基础上,对输入数据实施预处理。因此,根据预处理模块120,由于对处理模块130的输入数据实施适当的预处理,因此能够降低向处理模块130输入不适当的数据的可能性。
另外,感测数据与第二元数据13通过ID相关联。另外,在预处理的判定中,通过考虑ID,对每个输入数据进行与预处理相关的判定。根据预处理模块120,可以基于该判定结果对每个输入数据实施适当的预处理。
[4.特征]
如上所述,在本实施方式所涉及的数据处理装置(预处理模块)120中,根据预处理判定模块110中的判定结果,对感测数据实施预处理。即,在数据处理装置(预处理模块)120中,在考虑了处理模块130中的输入数据的条件及处理模块130中输入的输入数据的属性的基础上,对输入数据实施预处理。因此,根据数据处理装置(预处理模块)120,由于对处理模块130的输入数据实施适当的预处理,因此能够降低向处理模块130输入不适当的数据的可能性。
另外,处理模块130是本发明的“处理模块”的一例,预处理模块120是本发明的“数据处理装置”的一例。第一元数据161是本发明的“第一元数据”的一例,第二元数据13是本发明的“第二元数据”的一例。获取部121是本发明的“获取部”的一例,预处理部122是本发明的“预处理部”的一例。感测设备12是本发明的“设备”的一例。
[5.变形例]
以上对实施方式进行了说明,但本发明并不限于上述实施方式,在不脱离其宗旨的范围内,可以进行各种变更。以下,对变形例进行说明。但是,以下的变形例可以适当组合。
<5-1>
在上述实施方式中,假设各处理模块130的各输入端口从任意一个感测设备12接收感测数据的输入。但是,向各输入端口输出数据的主体并非必须是感测设备12。向各输入端口输出数据的主体例如既可以是存储数据集的存储器,也可以是虚拟传感器。另外,数据集是预先生成的多个数据的集合。例如,通过预先在规定期间观测对象而得到的感测数据的集合是数据集的一例。由于向各输入端口输出数据的主体并非必须是感测设备12,因此处理模块130的输入数据并非必须是感测数据。例如,输入数据也可以是购物网站中的各个用户的购买历史数据、游戏网站中的各个用户的得分数据等。
<5-2>
另外,在上述实施方式中,由虚拟传感器管理服务器100进行的处理也可以由多个服务器等实现。
<5-3>
第二元数据13不必与每个感测数据相关联。例如,一个第二元数据13也可以与多个感测数据相关联。在这种情况下,对与相同的第二元数据13相关联的多个感测数据分别执行相同的预处理。
附图标记说明
10…传感器网络系统;11…传感器网络适配器;12…感测设备;13…感测数据侧元数据(第二元数据);14…传感器网络部;15…因特网;20…真实传感器;21…数据缓冲器;22…通信部;23、180…控制部;100…虚拟传感器管理服务器;110…预处理判定模块;111、112、121、141、142…获取部;113、143…判定部;114、144…通知部;120…预处理模块;122…预处理部;130…处理模块;140…输出管理模块;150…过去判定历史DB;160…处理模块侧元数据(第一元数据)DB;161…处理模块侧元数据(第一元数据);170…预处理程序DB;182…CPU;184…RAM;186…ROM;190…存储部;191…控制程序;195…通信I/F;197…总线;300…应用服务器。
Claims (10)
1.一种数据处理装置,构成为对处理模块的输入数据实施处理,其中,
所述处理模块构成为基于至少一个所述输入数据生成与所述输入数据不同的输出数据,
所述处理模块与表示所述输入数据的条件的第一元数据相关联,
所述输入数据与表示所述输入数据的属性的第二元数据相关联,
所述数据处理装置具备:
获取部,构成为获取基于所述第一元数据及所述第二元数据的、与所述输入数据的预处理相关的判定结果;以及
预处理部,构成为基于所述判定结果对所述输入数据实施预处理。
2.根据权利要求1所述的数据处理装置,其中,
所述输入数据与所述第二元数据通过标识(identification)相关联,
所述获取部构成为获取基于所述第一元数据及所述第二元数据和所述标识的、与每个输入数据的预处理相关的判定结果,
所述预处理部构成为基于所述判定结果对各输入数据实施预处理。
3.根据权利要求1或2所述的数据处理装置,其中,
由所述预处理部实施的预处理是为了使所述输入数据满足所述输入数据的条件而对所述输入数据实施的处理。
4.根据权利要求1至3中任一项所述的数据处理装置,其中,
所述处理模块构成为基于多个所述输入数据生成所述输出数据。
5.根据权利要求1至4中任一项所述的数据处理装置,其中,
所述输入数据由设备输出到所述处理模块,
所述处理模块构成为能够切换向所述处理模块输出所述输入数据的所述设备。
6.根据权利要求1至5中任一项所述的数据处理装置,其中,
所述输入数据由设备输出到所述处理模块,
所述设备是传感器,
所述输入数据是由所述传感器生成的感测数据。
7.根据权利要求1至6中任一项所述的数据处理装置,
所述处理模块构成为基于多个所述输入数据生成所述输出数据。
8.根据权利要求1至7中任一项所述的数据处理装置,其中,
所述输入数据由设备输出到所述处理模块,
由所述处理模块和向所述处理模块输出所述输入数据的所述设备形成虚拟传感器。
9.一种数据处理方法,对处理模块的输入数据实施处理,其中,
所述处理模块构成为基于至少一个所述输入数据生成与所述输入数据不同的输出数据,
所述处理模块与表示所述输入数据的条件的第一元数据相关联,
所述输入数据与表示所述输入数据的属性的第二元数据相关联,
所述数据处理方法包括:
获取基于所述第一元数据及所述第二元数据的、与所述输入数据的预处理相关的判定结果的步骤;以及
基于所述判定结果对所述输入数据实施预处理的步骤。
10.一种程序,使计算机执行对处理模块的输入数据实施处理的处理,其中,
所述处理模块构成为基于至少一个所述输入数据生成与所述输入数据不同的输出数据,
所述处理模块与表示所述输入数据的条件的第一元数据相关联,
所述输入数据与表示所述输入数据的属性的第二元数据相关联,
所述程序构成为使所述计算机执行如下步骤:
获取基于所述第一元数据及所述第二元数据的、与所述输入数据的预处理相关的判定结果的步骤;以及
基于所述判定结果对所述输入数据实施预处理的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-022799 | 2018-02-13 | ||
JP2018022799A JP6477936B1 (ja) | 2018-02-13 | 2018-02-13 | データ処理装置、データ処理方法及びプログラム |
PCT/JP2018/043930 WO2019159488A1 (ja) | 2018-02-13 | 2018-11-29 | データ処理装置、データ処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111566630A true CN111566630A (zh) | 2020-08-21 |
CN111566630B CN111566630B (zh) | 2023-10-20 |
Family
ID=65655775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880086063.XA Active CN111566630B (zh) | 2018-02-13 | 2018-11-29 | 数据处理装置、数据处理方法及程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200356550A1 (zh) |
JP (1) | JP6477936B1 (zh) |
CN (1) | CN111566630B (zh) |
WO (1) | WO2019159488A1 (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160055184A1 (en) * | 2014-08-25 | 2016-02-25 | International Business Machines Corporation | Data virtualization across heterogeneous formats |
US20170116318A1 (en) * | 2013-02-08 | 2017-04-27 | Wolfram Alpha Llc | Automated Data Analysis |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4647632B2 (ja) * | 2007-03-06 | 2011-03-09 | 日本電信電話株式会社 | センサデータ制御システム及びセンサデータ制御方法 |
JP5018914B2 (ja) * | 2010-03-03 | 2012-09-05 | 沖電気工業株式会社 | センサデータ提供システム、方法及び装置 |
JP2013162258A (ja) * | 2012-02-03 | 2013-08-19 | Omron Corp | 無線通信ノード、ゲーム実行装置、仲介装置 |
JP6465012B2 (ja) * | 2015-12-14 | 2019-02-06 | オムロン株式会社 | データフロー制御装置およびデータフロー制御方法 |
JP6458755B2 (ja) * | 2016-03-15 | 2019-01-30 | オムロン株式会社 | データフロー制御装置およびデータフロー制御方法 |
US10922308B2 (en) * | 2018-03-20 | 2021-02-16 | Data.World, Inc. | Predictive determination of constraint data for application with linked data in graph-based datasets associated with a data-driven collaborative dataset platform |
-
2018
- 2018-02-13 JP JP2018022799A patent/JP6477936B1/ja active Active
- 2018-11-29 CN CN201880086063.XA patent/CN111566630B/zh active Active
- 2018-11-29 US US16/962,652 patent/US20200356550A1/en not_active Abandoned
- 2018-11-29 WO PCT/JP2018/043930 patent/WO2019159488A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170116318A1 (en) * | 2013-02-08 | 2017-04-27 | Wolfram Alpha Llc | Automated Data Analysis |
US20160055184A1 (en) * | 2014-08-25 | 2016-02-25 | International Business Machines Corporation | Data virtualization across heterogeneous formats |
Also Published As
Publication number | Publication date |
---|---|
CN111566630B (zh) | 2023-10-20 |
JP2019139544A (ja) | 2019-08-22 |
WO2019159488A1 (ja) | 2019-08-22 |
US20200356550A1 (en) | 2020-11-12 |
JP6477936B1 (ja) | 2019-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020042343A (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
CN111602123B (zh) | 预处理判定装置、预处理判定方法以及程序 | |
CN111602412B (zh) | 设备选择装置、数据集选择装置、设备选择方法和存储介质 | |
JP6558452B1 (ja) | 品質チェック装置、品質チェック方法及びプログラム | |
CN111566630B (zh) | 数据处理装置、数据处理方法及程序 | |
CN111602034B (zh) | 输出管理装置、输出管理方法和存储介质 | |
JP6501007B1 (ja) | 出力管理装置、出力管理方法及びプログラム | |
JP6489250B1 (ja) | 候補抽出装置、候補抽出方法及びプログラム | |
CN111587426B (zh) | 会话控制装置、会话控制方法以及程序 | |
JP7127439B2 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
JP6528869B1 (ja) | セッション制御装置、セッション制御方法及びプログラム | |
JP2020042345A (ja) | データ処理装置、データ処理方法及びデータ処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |