CN107506364B - 数据处理系统和数据处理方法 - Google Patents

Abstract

本申请提供了数据处理系统和数据处理方法。存储单元存储本体数据。选择单元使用存储在存储单元中的本体数据来在包括被唯一地赋予至传感器数据的键信息的数据流当中选择包括与查询相对应的键信息的数据流。处理单元对所选择的数据流进行处理。

Description

数据处理系统和数据处理方法

技术领域

本发明涉及数据处理系统和数据处理方法。

背景技术

近年来，已开发并提出了诸如流数据中间件、复杂事件处理(CEP)和流推理(stream reasoning)的各种数据处理方法。在流数据中间件或复杂事件处理中，虽然通过允许数据在预定义分析场景中实时流动来对数据执行实时处理，但是由于向单段数据分配了单一上下文，即，向原始(RAW)数据应用了直接处理模板以处理该数据，因而，流数据中间件或复杂事件处理具有不具备灵活性的缺点。在流推理中，在使用资源描述框架(RDF)和本体(ontology)作为基础来推断数据的同时对该数据进行处理，即，在将原始数据处理为可推断数据之后对该原始数据进行处理，因而，在流推理中，可以向单段数据分配多个本体，并且数据处理具有灵活性。然而，当对原始数据执行正向推断或逆向推断时，数据处理量增加了,并且实时性能可能降低。

在专利文献1中，描述了这样一种中间件系统，其位于用户应用与待检索的各种内容数据库之间，以便利用使用基于本体的检索系统的基于位置的服务来简化移动装置的用户应用的准备。在中间件系统中，向用户应用呈现了单个或多个服务。例如，作为服务，呈现了允许用户向先前已知的语义位置等附加注释和/或附上标签的服务。基于用户的位置和上下文相关信息来选择所呈现的语义POI。

专利文献1：JP-T-2013-507695。

发明内容

本发明的目的是提供一种数据处理系统/方法，其能够执行灵活的数据处理，并且与诸如流推理的现有技术相比，提高了处理速度。

根据本发明的第一方面，提供了一种数据处理系统，其包括：存储单元，其存储本体数据；选择单元，其使用存储在存储单元中的本体数据来在包括被唯一地赋予至传感器数据的键信息的数据流当中选择包括与查询相对应的键信息的数据流；以及处理单元，其对所选择的数据流进行处理。

根据第一方面所述的本发明的第二方面，选择单元包括：接收部，其接收查询；获取部，其从存储单元获取本体数据；推断部，其使用查询和本体数据来推断键信息；以及选择部，其使用所推断的键信息来选择数据流。

根据第一或第二方面所述的本发明的第三方面，处理单元包括：抽象化(abstract)部，其对所选择的数据流进行抽象化；结构化部，其对所抽象化的数据流进行结构化；以及处理部，其使用存储在存储单元中的本体数据来对所结构化的数据流进行处理。

根据第一或第二方面所述的本发明的第四方面，存储单元配置为存储与本体数据相关联的数据处理例程模板，并且处理单元配置为通过数据处理例程模板来处理所选择的数据流。

根据第一至第四方面中任一方面所述的本发明的第五方面，本体数据是工作工序手册的本体数据。

根据第二方面所述的本发明的第六方面，本体数据是与产品组装有关的本体数据，传感器数据是与产品组装有关的传感器数据，并且推断部使用查询来提取产品组装的组装操作要素，并且根据所提取的组装操作要素来推断键信息。

根据第一方面所述的本发明的第七方面，键信息中包括在产品组装的组装过程中配置且唯一地指定接收传感器数据的传感器集线器的ID，并且推断部根据所提取的组装操作要素来推断ID，以推断键信息。

根据第一方面所述的本发明的第八方面，处理单元使用通过将传感器数据切割成具有预定时间宽度的窗口而获得的数据和通过经受机器学习而获得的学习结果来处理传感器数据。

根据第八方面所述的本发明的第九方面，本体数据是与产品组装有关的本体数据，传感器数据是与产品组装有关的传感器数据，并且处理单元使用通过对传感器数据进行处理而获得的产品组装序列信息和从本体数据获得的产品组装序列信息来检测产品组装的异常。

根据第九方面所述的本发明的第十方面，通过将传感器数据切割成具有预定时间宽度的窗口而获得的数据中包括时间信息，并且处理单元使用通过对传感器数据进行处理而获得的序列信息和从本体数据获得的序列信息来检测产品组装时间的异常。

根据本发明的第一方面，可以执行灵活的数据处理，并且与诸如流推理的现有技术相比，可以提高处理速度。

根据本发明的第二方面，可以灵活地选择相应的键信息。

根据本发明的第三方面，可以在推断数据的同时执行数据处理。

根据本发明的第四方面，可以使用模板来快速地执行数据处理。

根据本发明的第五方面，工作工序的数据处理是可能的。

根据本发明的第六至第八方面中任一方面，可以处理与产品组装有关的传感器数据。

根据本发明的第九方面，可以处理传感器数据以检测产品组装的异常。

根据本发明的第十方面，可以处理传感器数据以检测产品组装时间的异常。

附图说明

将基于以下附图详细地描述本发明的示例性实施例，其中：

图1是示出示例性实施例的数据处理系统的配置的示图；

图2是示出示例性实施例的系统的配置的(第二)示图；

图3是示出通过示例性实施例的实时数据获取部进行处理的说明图；

图4是示例性实施例的实时数据获取部的功能框图；

图5是示例性实施例的实时数据处理部的功能框图；

图6是本体数据的概念的说明图；

图7是使用本体数据的数据处理系统的概念图；

图8是组装操作要素的本体的说明图；

图9是传感器及致动器集线器的布置的说明图；

图10是用于说明如何赋予键值的示图；

图11是示出组装过程与组装指导手册之间的关系的示图；

图12是用于示出键值的推断的说明图；

图13是传感器数据划分的说明图；

图14是传感器数据学习的说明图；

图15是传感器数据学习的细节的说明图；

图16是传感器数据与学习数据的比较的说明图；

图17是原始数据的序列信息与本体数据的序列信息的比较的(第一)说明图；

图18是原始数据的序列信息与本体数据的序列信息的比较的(第二)说明图；

图19是用于示出组装工序手册的具体示例的示图；

图20是组装工序手册的本体数据的说明图；

图21是工作工序的本体数据的(第一)说明图；以及

图22是工作工序的本体数据的(第二)说明图。

具体实施方式

下文中，将参照附图描述本发明的示例性实施例。

首先，将对作为本示例性实施例的前提的本体进行描述。

本体是用于组织信息的结构框架，并且意味着根据特定分类系统以及关于实体、想法和事件的特性和它们之间的关系来表现实体、想法和事件。

图6概念性地示出了本体。收集标准数据50、为每个领域准备的数据52和个体信息54，并且分别在概念级、域级和个体信息级中描述并结构化数据和信息的相关性。结构化数据用于使计算机能够如同人类思考那样进行决策并处理数据。在本体数据的构造中，需要用于对非结构化数据(比如，词典、标准数据或文档)进行结构化的技术，并且利用自然语言处理或机器学习。

图7示出了使用本体的一般处理系统的概念性配置。

通过自然语言处理和机器学习将词典、标准数据、工作工序手册60、领域知识等转换成结构化知识信息数据(即，本体数据68)。

另一方面，分别通过文档数据结构化模块、数据库数据转换模块和传感器数据结构化模块将诸如文档62的非结构化数据、诸如数据库数据64的结构化数据、来自传感器66的传感器数据等进行结构化并转换成结构化数据(RDF)67。这里，资源描述框架(RDF)是与元数据的表达方法有关的框架。

结构化数据67和本体数据68被提供至推断引擎，并且经受匹配处理，从而获得被赋予了知识信息的结构化数据70。被赋予了知识信息的结构化数据70存储在数据库72中，并被提供给各种处理。各种处理是在赋予了知识信息时才变得可行的处理，并且包括例如：通过提取上下文(执行程序所需要的各种信息)来生成知识信息可视化模块74；通过数据整合来生成符合状况的辅助数据76；通过推断含义来执行含义检索78；通过属性整合来重构客户数据库的数据80等。

在上述处理系统中，当使用结构化数据67和本体数据68进行推断时，虽然已知用于将原始数据处理为能够经受推断处理的数据并且在对该数据进行处理的同时对该数据进行推断的流推理处理，但是如前所述仍存在数据处理量增加且实时性能降低的问题。

在本示例性实施例中，使用这样一种处理方案：其中，将处理分成推断处理和原始数据处理，在第一步骤中执行推断处理并且选择必要的原始数据，在第二步骤中处理所选择的原始数据。

接下来，将通过使用来自各种传感器的传感器数据作为示例来对本示例性实施例的数据处理系统进行具体描述。这样的数据处理系统可以应用于所谓的物联网(IoT)，但不一定限于此。

在本示例性实施例中，“模块”或“引擎”是指能够逻辑上分离的软件部件、硬件部件等。因此，在本示例性实施例中，模块是指计算机程序中的模块以及硬件配置中的模块。模块可以以一对一关系与功能相对应，但是单个模块可以由单个程序配置，并且多个模块也可以由单个程序配置。多个模块可以由单个处理器或计算机执行，并且还可以由分布式或并行环境中的多个处理器或计算机执行。在每个模块的处理中，从存储装置读取成为目标的信息，使该信息经受诸如CPU的处理器执行的处理，然后，输出处理结果并将其写入至存储装置。存储装置包括HDD、RAM、CPU内的寄存器等。

在本示例性实施例中，“推断”是指这样一个过程：执行与本体数据的匹配以便赋予知识信息(即，结构化数据的含义)。

<系统配置>

图1是示出本示例性实施例中的数据处理系统的配置的示图。该系统接收来自传感器或致动器的信号，并对该信号执行处理。数据处理系统包括传感器及致动器控制模块14、Redis数据存储器16、服务模块18、元数据提取模块20和RDF存储器22。传感器及致动器控制模块14、服务模块18和元数据提取模块20例如由单个计算机的计算机程序实现。另外，这些模块还可以分别由分离的计算机的计算机程序实现。Redis数据存储器16和RDF存储器22通过从计算机可访问的数据库来实现。

传感器及致动器控制模块14连接至传感器10或致动器12，以便利用有线或无线连接来发送和接收数据。传感器及致动器控制模块14包括用于控制传感器10或致动器12的控制库(control library)以及Redis API，该Redis API将接收到的数据实时地转换成具有键(key)/值格式的数据，并将转换后的数据存储在Redis数据存储器16中。这里，远程词典服务器(Redis)是能够在存储器上构造键-值存储器(KVS)的软件，并且KVS是为想要保存的特定数据(值)设置相应的唯一标记(键)并成对地保存相应标记和数据的数据库。Redis在计算机的主存储器上构造KVS，使其能够保存数据或从外部程序读取数据。具体地，RedisAPI基于时间点和装置ID、使用预定算法来生成键信息位串(key information bitstring)，并且将键信息位串赋予至数据，以便将该数据转换成待被存储在Redis数据存储器16中的键/值格式的数据。Redis API将所生成的键信息与装置ID之间的对应关系存储为表格。此外，Redis API可以使用诸如DEC或MD5散列(hash)、或者SHA-1散列的加密协议来生成键信息位串，并且将键信息位串赋予至数据，此外，还可以随机地生成键信息位串并将键信息位串赋予至数据。

Redis数据存储器16顺序地存储来自传感器及致动器控制模块14的被转换成键/值格式的数据(原始数据)。

元数据提取模块20从键/值的原始数据中提取元数据，并对原始数据进行结构化。元数据提取模块20将原始数据结构化成主体(subject)信息、主体属性信息、对象信息、对象属性信息和环境信息。主体信息是唯一地(uniquely)给定的键信息。结构化数据存储在RDF存储器22中。

RDF存储器22用作存储本体数据的存储单元，并且存储单独构造的本体数据。通过自然语言处理和机器学习对词典或工作工艺手册进行结构化来准备本体数据。自然语言处理包括词素分析和依赖性分析。一般将本体数据分类为两个领域内的多段数据。第一段本体数据是通过将其共同用于诸如人类的基本运动的信息或诸如传感器的属性库的个体应用而获得的共同本体数据，而第二段本体数据是根据个体信息(根据工作工艺手册而准备的信息等)配置而来的局部本体数据。RDF存储器22获取表示由传感器及致动器控制模块14保存的装置ID与键信息之间的对应关系的表格，并将键信息与本体数据相关联。

服务模块18接收查询，并且根据存储在RDF存储器22中的本体数据来对原始数据执行两步处理。服务模块18包括：实时数据获取部181，其执行选择数据流的第一步骤；和实时数据处理部182，其执行对所选择的数据流进行处理的第二步骤。

实时数据获取部181在任意定时切断流数据通道，以从存储在Redis数据存储器16中的原始数据中获取数据流。实时数据获取部181包括查询接收部、查询重写部、RedisAPI、推断引擎和RDF API。

查询接收部接收查询。

RDF API访问RDF存储器22以获取本体数据。

推断引擎根据查询和本体数据推断键信息。即，对待经受实时处理(例如，特定机器类型的运动分析)的查询和基本运动的本体数据进行匹配，并且提取与基本运动的本体数据匹配的键信息。查询重写部基于所推断的键信息从查询中去除不必要的信息，并且重写查询(重写)。查询重写是用于将查询发展为原始查询的已知技术。

Redis API使用重写的查询从Redis数据存储器16中选择包括相应键信息的流数据通道。

实时数据处理部182对所选择的原始数据执行数据处理。

在本示例性实施例的系统中，虽然数据处理由传感器及致动器控制模块14和服务模块18执行，但是也可以存在多个这样的模块，并且在存在多个传感器及致动器控制模块14和多个服务模块18的情况下，这些模块也可以并行和异步地操作。

图2是示出在存在多个传感器及致动器控制模块14和多个服务模块18的情况下的系统的配置的示例的示图。

作为传感器及致动器控制模块14，提供了传感器及致动器控制模块14-1(传感器及致动器控制模块1)和传感器及致动器控制模块14-2(传感器及致动器控制模块2)。来自传感器10-1(传感器1)的数据被提供至传感器及致动器控制模块14-1，并且来自传感器10-2(传感器2)的数据被提供至传感器及致动器控制模块14-2(传感器及致动器控制模块2)。

还以主从连接方式提供了多个Redis数据存储器16，即，提供了Redis数据存储器16-1(主Redis)、Redis数据存储器16-2(从Redis 1)、Redis数据存储器16-3(从Redis 2)、Redis数据存储器16-4(从Redis 3)和Redis数据存储器16-5(从Redis 4)。Redis数据存储器16-2、Redis数据存储器16-3、Redis数据存储器16-4和Redis数据存储器16-5均连接至Redis数据存储器16-1。传感器及致动器控制模块14-1将原始数据登记到例如Redis数据存储器16-2中，并且传感器及致动器控制模块14-2将原始数据登记到例如Redis数据存储器16-3中。

另一方面，作为服务模块18，提供了服务模块18-1(服务模块1)和服务模块18-2(服务模块2)。服务模块18-1访问Redis数据存储器16-4，并与其它模块并行和异步地执行数据处理，并且服务模块18-2访问Redis数据存储器16-5，并与其它模块并行和异步地执行数据处理。

接下来，将更详细地描述在实时数据获取部181中执行的第一步骤和在实时数据处理部182中执行的第二步骤。

<第一步骤>

图3示出了服务模块18的实时数据获取部181中的处理的流程。在该处理中，推断与查询相对应的键信息，并且选择与所推断的键信息相对应的数据流。

键/值的原始数据存储在Redis数据存储器16中。在该图中，作为所存储的原始数据的示例，示出了：

键1/数据流1

键2/数据流2

键3/数据流3

键4/数据流4。

键1是被唯一地(uniquely)赋予至数据流1的键信息，并且例如基于时间点和装置ID而准备。也类似地准备了键2、键3和键4。

实时数据获取部181根据接收到的查询切割包括相应键信息的数据流。例如，在查询与特定机器类型的运动分析相对应的情况下，实时数据获取部181推断出与包括在上下文中的基本运动的本体数据一致的键信息，并且选择包括通过推断而获得的键信息的数据流。当原始数据的键1和键4被视为相应的键信息时，实时数据获取部181从Redis数据存储器16中选择键1/数据流1和键4/数据流4。在图3中，所选择的原始数据被表示为数据17。

图4是实时数据获取部181的功能框图。

由查询接收部接收到的期望查询被提供至推断引擎。由RDF API从RDF存储器22获取的本体数据被提供至推断引擎。推断引擎基于查询和本体数据来推断与本体数据匹配的键信息。查询重写部从通过推断而获得的键信息中去除噪声以重写查询。Redis API使用所重写的查询来从作为键-值数据库(KVDB)的Redis数据存储器16中获取包括相应键信息的数据流。

<第二步骤>

图5是服务模块18的实时数据处理部182的功能框图。在第二步骤中，处理在第一步骤中所选择的原始数据17。

实时数据处理部182一旦将原始数据17转换成能够经受推断处理的数据，就对该数据执行数据处理。为此，实时数据处理部182包括CEP引擎，并且CEP引擎还包括数据窗口分割模块、数据抽象化模块、数据模式匹配模块和数据标记/时间戳模块。

由实时数据获取部181选择的键1/数据流1和键4/数据流4被提供至CEP引擎。

数据窗口分割模块在设置窗口的同时在时间轴上顺序地移动窗口，并且顺序地将该窗口内的数据提供至数据抽象化模块。

数据抽象化模块包括频率分量提取模块、数据平均化模块和机器学习模块，并且对窗口内的数据执行诸如频率分量转换(傅里叶变换)或平均转换的转换处理，以生成抽象化数据。可以根据单段原始数据生成多段抽象化数据。机器学习模块基于所提取的数据将抽象化数据结构化为四元事实数据。四元事实数据具体是时间信息/主体信息/属性信息/传感器数据。时间信息分配时间戳信息。主体信息分配传感器安装主体的信息(ID等)。属性信息将预定义属性信息或附加于数据转换处理的属性分配给传感器。传感器数据本身是抽象化的数据。

数据模式匹配模块将所结构化的抽象化数据与从RDF存储器22获取的本体数据进行匹配以执行推断。

例如，当工作工序手册用作为示例时，如下所述，在执行推断时生成本体数据。

首先，通过OCR处理等对工作工序手册进行计算机化。接下来，对工作工序手册进行自然语言处理以将其转换成四元规则数据。即，对工作工序手册执行词素分解以将其分解成名词、动词等，并且按照在工作工序手册中出现的序列以序列ID/主语/谓语/宾语格式分配名词、动词等，以通过考虑依赖性而将其转换成四元规则数据。在这种情况下，评价规则数据的出现频率，并且规则数据可以作为五元数据的第五段给出。

接下来，按照工作工序手册的顺序通过属性将一系列顺序工作连接起来，并且按照通用概念收集并标记多个工序以准备工作工序本体数据。

数据标记/时间戳模块将标记和时间戳赋予至经受了数据模式匹配模块的匹配处理的数据，并且将数据登记到数据库中。登记到数据库中的数据(即，通过本体数据赋予其知识信息的结构化数据70)被提供至各种处理。

同样地，虽然实时数据处理部182在一将原始数据转换成为可推断数据之后就执行数据处理，但是替代地，实时数据处理部182可以将处理原始数据的数据处理例程模板与待被存储在RDF存储器22中的本体数据相关联，并且在第一步骤中，从RDF存储器22中同时获取原始数据和数据处理例程模板，而在第二步骤中，可以通过所选择的数据处理例程模板来处理原始数据。或者，也可以将上述数据处理与两步处理进行适当地组合，用以被执行。

可以将第二步骤中的数据处理方法总结如下。(A)、一旦将原始数据转换成能够经受推断处理的数据，就在执行数据处理同时进行推断；(B)、通过所选择的数据处理例程模板对原始数据执行数据处理；以及(C)、将(A)与(B)组合。

在本示例性实施例中，按如下的两个步骤执行处理：第一步骤，其中，使用键信息来选择待处理的数据流(实时数据获取)；以及第二步骤，其中，对所选择的数据流执行数据处理(实时数据处理)，缩窄待经受实时处理的数据流以有效地处理数据，因而，在工作工序手册的本体数据被用作本体数据的情况下，可以实时地分析生产现场的数据以实时地检测异常的发生，从而使得可以快速地做出响应。当异常发生时，追溯地追踪在异常发生以前的数据，以便可以分析异常的起因。可以提取人在工作中的差异以实现可工作性的改进。此外，可以向工作者反馈工作状态以实现工作的连续改进。

接下来，将更详细地描述本示例性实施例的处理。

以本体数据为例，图8示出了配备有某一产品的功能的图像形成设备(例如，复印机、打印机、传真机等)的组装操作要素的本体数据。

组装操作要素由“什么”、“在哪里”和“如何做”这些语句构成，并且“什么”对应于部件名称，“在哪里”对应于位置，以及“如何做”对应于运动。“什么”、“在哪里”和“如何做”中的每一个中可以存在传感器数据。

另一方面，作为本体数据，准备了描述图像形成设备的部件的信息的图像形成设备构成部件本体30、描述图像形成设备的一般配置的标准手册本体32、描述图像形成设备的部件的布置信息的图像形成设备内布置构成本体34、图像形成设备的3D CAD数据36和描述在组装图像形成设备时组装工作者的基本操作的基本操作本体38，并且使用图像形成设备构成部件本体30和标准手册本体32来推断组装操作要素的部件名称，并提取与该部件名称相对应的传感器数据。使用图像形成设备内布置构成本体34和3D CAD数据36来推断组装操作要素的位置，并且提取与该位置相对应的传感器数据。使用基本操作本体38来推断组装操作要素的运动，并且提取与该运动相对应的传感器数据。

图9示出了以传感器及致动器控制模块14为例的传感器及致动器集线器的物理布置。

图像形成设备的组装线由多个组装过程构成，并且在图9中仅示例性地示出了组装过程1、组装过程2和组装过程3。在组装过程1、组装过程2和组装过程3中分别安装了传感器10。在每个组装过程中，存在有组装工作者，并且也安装了检测组装工作者的传感器10。由传感器检测到的数据被提供至在多个过程中的每一个中所安装的传感器及致动器集线器141。可以在每个过程中安装传感器及致动器集线器141。传感器及致动器集线器141被赋予了唯一地址，并且即使当存在多个传感器及致动器集线器141时，也可以通过地址来指定传感器及致动器集线器141中的任一个。

当从每个传感器10接收到数据时，传感器及致动器集线器141实时地将所接收到的数据转换成待被存储在KVS中的一段键/值类型数据。

图10示意性地示出了传感器及致动器集线器141的处理。来自传感器10的原始数据被传送至传感器及致动器集线器141，并且传感器及致动器集线器141将时间戳和ID(传感器及致动器集线器141的地址)赋予至原始数据，并且将原始数据转换成一段键-值类型数据，其将原始数据用作为待被存储在KVS 142中的值的值。如前所述，KVS 142是这样一种数据库，其中，与想要被存储的任意数据相对应的唯一符号(键)和该数据被成对地存储，并且在计算机存储器中通过Redis API对该数据库进行配置。

图11示意性地示出了组装过程与组装指导手册之间的关系。如图9所示，组装线由多个的组装过程1、组装过程2、组装过程3…等构成，并且例如，组装过程1对应于在组装过程1中执行的组装指导手册。如图11所示，可以存在多个组装指导手册。在组装指导手册中，按时序描述多个组装操作要素。

组装操作要素是组装操作要素1→组装操作要素2→组装操作要素3等。如图8所示，每个组装操作要素规定“什么”、“在哪里”和“如何做”，并且部件名称、位置和操作分别对应于“什么”、“在哪里”和“如何做”。

这意味着，当获得了组装操作要素时，也就获得了与组装操作要素相对应的组装指导手册，而当获得了组装指导手册时，也就获得了与组装指导手册相对应的组装过程。在组装过程中，传感器及致动器集线器141以一对一关系或多对一关系安装(参见图9)，因而，当获得了相应的组装过程时，也就获得了与组装过程相对应的传感器及致动器集线器141。

图12示意性地示出了由实时数据获取部181的推断引擎执行的键值的推断。

使用SPARQL等从必要的技术标准、部件、3D CAD中的区域以及组装操作中检测并提取组装操作要素(S1)。SPARQL是用于检索并操控由资源描述框架(RDF)描述的数据的查询语言。

接下来，从所检索并提取的组装操作要素中提取与组装操作要素相对应的组装指导手册(S2)。

接下来，从所提取的组装指导手册要素中提取与组装指导手册相对应的组装过程(S3)。

接下来，根据所提取的组装过程指定与该组装过程相对应的传感器及致动器集线器141的地址(S4)。

接下来，从所指定的地址中提取键值(S5)。如前所述，键值由时间戳和ID(地址)构成，因而，指定地址以使得可以唯一地获得与地址相对应的键值。

通过如上所述这样做，当推断出键值时，实时数据获取部181切割来自Redis数据存储器16的具有相应键值的数据流，并且将数据流提供至实时数据处理部182。

图13和图14示意性地示出了实时数据处理部182中的处理。组装指导手册规定了多个组装操作要素，组装操作要素1→组装操作要素2→组装操作要素3。另一方面，当存在诸如与每个组装操作要素相对应的视频等的信息时，使用视频等来对从传感器10获得的传感器数据进行划分以与每个组装操作要素和每段传感器数据相关联。例如，使用视频来将传感器数据划分成一段传感器数据1、一段传感器数据2和一段传感器数据3，并且将该传感器数据与以下相关联：

组装操作要素1...传感器数据1

组装操作要素2...传感器数据2

组装操作要素3...传感器数据3

接下来，如图14所示，通过将所划分的传感器数据(传感器数据1、传感器数据2、传感器数据3)用作为教师数据190来使得传感器数据经受机器学习，并且通过分类成多个类别而获得学习数据192。具体地，计算出操作要素与操作要素的每个分类结果的相似度，作为矢量数据。例如，操作要素分别被分类为分类1、分类2和分类3，并且分类1为：

分类1＝[:组装操作要素1[0.1,0.2],:组装操作要素2[0.3,0.2],:组装操作要素3[0.8,0.7]]等。这里，与组装操作要素1的相似度被表示为矢量[0.1,0.2]。可以类似地表示出与组装操作要素2的相似度和与组装操作要素3的相似度。通过经受机器学习而获得的学习数据192变为具有实际传感器数据的比较目标。

图15更详细地示出了机器学习方法。通过使得预先设置的窗口W在时间轴上滑动，将由传感器数据1、传感器数据2、传感器数据3...构成的教师数据190切割成具有预定时间宽度的传感器数据。

接下来，以预定时间宽度切割而成的传感器数据被提供至预处理单元191-1，使其经受诸如滤波处理(高频滤波器、低频滤波器等)、微分和积分处理、边缘检测等的各种处理，并且提供至特征提取单元191-2。特征提取单元191-2通过快速傅里叶变换(FFT)、峰值检测、零交叉计数等来提取传感器数据波形的特征。所提取的特征还被提供至学习算法单元191-3。在学习算法单元191-3中，可以使用已知的机器学习算法，例如，神经网络、深度神经网络和递归神经网络。可以将自适应朴素贝叶斯分类器、K最近邻近法、AdaBoost算法、决策树、动态时间规整、支持矢量机、隐含式马尔科夫模型高斯混合模型等用作为分类方法。在学习算法单元191-3中，传感器数据经受机器学习以获得学习数据192。

图16示意性地示出将顺序地从传感器10获得的传感器数据与学习数据192进行比较的处理。类似于教师数据190，通过使得预先设置的窗口W在时间轴上滑动，将传感器数据切割成多段具有预定时间宽度的传感器数据。将切割后的各段传感器数据与学习数据192进行比较以生成矢量数据。

例如，将切割后的传感器数据与学习数据192进行比较，并且当各分类的比率是[:分类1 0.3:分类2 0.1:分类3 0.6]时，使用与每个分类中的组装操作要素的相似度来将切割后的这段传感器数据计算为[:组装操作要素1[0.3,0.2]:组装操作要素2[0.1,0.2]:组装操作要素3[0.6,0.7]]等。

通过如上所述那样做，生成矢量数据，并且针对切割后的各段传感器数据顺序地生成矢量数据，以生成作为一组切割后的传感器数据段的矩阵。

例如，根据切割后的三段传感器数据，生成如下矩阵：

[:组装操作要素1[0.3,0.2]:组装操作要素2[0.1,0.2]:组装操作要素3[0.6,0.7]]

[:组装操作要素1[0.3,0.2]:组装操作要素2[0.1,0.2]:组装操作要素3[0.6,0.7]]

[:组装操作要素1[0.3,0.2]:组装操作要素2[0.1,0.2]:组装操作要素3[0.6,0.7]]。

在矩阵中，提取具有最高相似度的组装操作要素。

在[:组装操作要素1[0.3,0.2]:组装操作要素2[0.1,0.2]:组装操作要素3[0.6,0.7]]当中具有最高相似度的组装操作要素是组装操作要素3[0.6,0.7]，因而，从每段矢量数据中提取组装操作要素3。所提取的组装操作要素被重构为序列信息，并且最终获得组装操作要素3→组装操作要素3→组装操作要素3。

通过如上所述那样做，当从传感器数据中提取了作为序列信息的组装操作要素时，将组装操作要素与从图像形成设备组装的本体数据获得的序列信息进行比较，以使得可以确定是否顺着本体数据执行组装操作，即，检测产品组装期间的异常。

图17示意性地示出传感器数据与组装信息的匹配。将根据通过将来自传感器10的传感器数据(原始)切割成窗口W而获得的数据而重构的序列信息200与根据图像形成设备组装的本体数据而重构的序列信息202进行比较，并且提取最接近于根据本体数据而重构的各段序列信息202当中的一段序列信息的组装操作要素。在图17的情况下，通过根据原始数据重构而获得的序列信息200是组装操作要素3→组装操作要素3→组装操作要素3，并且最接近于各段序列信息202当中的一段序列信息的组装操作要素是组装操作要素3。因此，可以确定原始数据是指本体数据中的组装操作要素3。在图17中，以虚线表示序列信息200与序列信息202之间的对应性。

图18示出了根据原始数据重构的序列信息200的另一示例。

在该示例中，根据原始数据重构的序列信息200变为组装操作要素3→组装操作要素1→组装操作要素3，并且组装操作要素1包括在两个组装操作要素3之间。虽然理论上根据原始数据重构的序列信息200与通过根据本体数据进行重构而获得的序列信息202进行比较的结果是组装操作要素3，但是当包括不同于组装操作要素3的组装操作要素1时，据估计，在由原始数据指代的组装操作要素1中出现了异常，并且异常可以被输出。

当传感器数据被切割成窗口W时，可以向每个窗口赋予时间戳，用以将时间信息赋予至切割后的每段传感器数据。由此，可以检测到产品组装时间的异常。当基于图17进行描述时，将时间信息赋予至构成根据原始数据重构的序列信息200的组装操作要素3中的每一个。

然后，将时间信息赋予序列信息200，并且获得组装操作要素3→组装操作要素3→组装操作要素3这一系列序列的所需时间。

当时间信息也被类似地赋予至根据本体数据重构的序列信息202时，可以将序列信息200的所需时间与序列信息202的所需时间进行比较，以估计原始数据的所需时间到本体数据的所需时间的长度、原始数据的所需时间本身的变化程度等。可以确定，当原始数据的所需时间过长时，产品组装时间中存在异常，此外，当原始数据的所需时间本身的变化程度过大时，产品组装时间中也存在异常。关于所需时间的变化程度，还可以针对每个组装工作者来评价技能程度。

如上所述，将从传感器数据获得的组装操作要素与从本体数据获得的组装操作要素进行比较，以便可以评估组装工作者是否按照正确工序或期望的所需时间组装产品，并且输出评估结果。将这种输出反馈至组装工作者，以实现更有效且更可靠的产品组装。

图19示出了图像形成设备(产品A)的组装工序手册的具体示例。将对示意图和部件列表进行描述，并进一步描述工作工序。该工作工序如下：1.如所示，将部件-1附接在框架的右侧表面的1-1位置处；2.通过螺丝钉2紧固部件-1；3.如所示，将部件-2附接在框架的右侧表面的1-2位置处；4.通过螺丝钉2紧固部件-2；5.调整部件位置；6.通过螺丝钉1固定部件-1；以及7.通过螺丝钉2固定部件-2。

图20示出了图19中所示的组装工序手册的本体数据。

组装工序手册的第1页中包括示意图、部件列表和工作工序，示意图中包括基本3DCAD数据，并且3D CAD数据中包括框架和部件。

部件列表中包括部件1-1、部件1-2、螺丝钉1和螺丝钉2。

工作工序中包括具体工作工序。

图21示出了工作工序的本体数据。

该工作工序中包括工序文本和工序。工序中包括工序1至工序7，并且各个工序的事项与工作工序中的事项相同。即，工序1：如所示，将部件-1附接在框架的右侧表面的1-1位置处；工序2：通过螺丝钉2紧固部件-1；工序3：如所示，将部件-2附接在框架的右侧表面的1-2位置处；工序4：通过螺丝钉2紧固部件-2；工序5：调整部件位置；工序6：通过螺丝钉1固定部件-1；以及工序7：通过螺丝钉固定部件-2。

图22是工作工序本体数据的又一示例。

对“工序1：如所示，将部件-1附接在框架的右侧表面的1-1位置处”执行自然语言处理，即，执行词素分析和依赖性分析，以分析下述事项：框架/右侧表面/在1-1位置/部件-1/附接。

当包括作为图像形成设备(产品A)的部件本体数据的“框架”和“部件-1”时，将本体数据的“框架”与通过经受自然语言处理而获得的“框架”进行匹配，并且将本体数据的“部件-1”与通过经受自然语言处理而获得的“部件-1”进行匹配。

类似地，当包括作为图像形成设备(产品A)的操作本体数据的“附接”和“通过螺丝钉紧固”时，将本体数据的“附接”与通过经受自然语言处理而获得的“附接”进行匹配。

当包括作为图像形成设备(产品A)的位置本体数据的“框架”、“右侧表面”和“在1-1位置”时，将本体数据的“右侧表面”与通过经受自然语言处理而获得的“右侧表面”进行匹配，并且将本体数据的“在1-1位置”与通过经受自然语言处理而获得的“在1-1位置”进行匹配。在图22中，单点划线箭头示意性地示出了上述事项的匹配处理。

因而，虽然描述了本发明的示例性实施例，但是本发明不限于此，并且可以对其进行各种改变。

例如，在本示例性实施例中，虽然在传感器及致动器控制模块14中将键信息唯一地赋予至来自传感器10的传感器数据，并且传感器数据被用作键/值的原始数据，但是传感器10中唯一地给出其中利用有线或无线连接将其提供至传感器及致动器控制模块14的键信息。传感器及致动器控制模块14将接收到的键/值的原始数据存储在Redis数据存储器16中。

在本示例性实施例中，虽然将单段键信息赋予至单个数据流，但是也可以将单段键信息赋予至多个数据流。

在本示例性实施例中，在第二步骤中，虽然被赋予了键信息的数据流在CEP引擎中被处理，但是除了被赋予键信息的数据流外，未被赋予键信息的数据流也可以被提供至CEP引擎，并且可以组合地处理被赋予了键信息的数据流和未被赋予键信息的数据流。

此外，在本示例性实施例中，虽然在服务模块18中推断了键信息，并且选择了包括与所推断的键信息相对应的键信息的数据流，但是服务模块18可以将所接收到的查询提供至RDF存储器22，RDF存储器22可以推断键信息，并将键信息返回至服务模块18，并且服务模块18可以选择包括与所获取的键信息相对应的键信息的数据流。在这种情况下，可以认为通过服务模块18与RDF存储装置22的协作来执行第一步骤。

为了说明和描述的目的而提供了本发明的示例性实施例的以上描述。其不旨在对本发明进行详尽说明或将本发明限于所公开的确切形式。显然，许多修改和改变对于本领域技术人员是显而易见的。选择并描述实施例是为了最好地解释本发明的原理及其实际应用，从而使得本领域技术人员能够理解本发明的各种实施例以及适合于所预期的特定用途的各种修改。本发明的范围旨在由所附权利要求及其等同物来限定。

Claims (7)

1.一种数据处理系统，其包括：

存储单元，其存储从经受自然语言处理的工作工序手册产生的工作工序本体数据，一系列组装操作要素按照所述工作工序手册的顺序连接起来；

选择单元，其使用存储在所述存储单元中的所述工作工序本体数据来在包括被唯一地赋予至传感器数据的键信息的数据流当中选择包括与查询相对应的键信息的数据流；以及

处理单元，其对所选择的数据流进行处理，

其中，所述处理单元被配置为执行以下处理：

将传感器数据进行划分，并将传感器数据的每一段与每个组装操作要素进行关联；

将所划分的传感器数据作为教师数据进行机器学习来获得学习数据并计算与所述组装操作要素的相似度；

将从组装过程中安装的传感器顺序获得的传感器数据与所述学习数据进行比较以提取具有最高相似度的组装操作要素；

重构所提取的组装操作要素作为第一序列信息；

从所述工作工序本体数据重构第二序列信息；

将所述第一序列信息与所述第二序列信息进行比较；以及

当所述第一序列信息中的组装操作要素与所述第二序列信息中的组装操作要素不同时，输出异常的结果。

2.根据权利要求1所述的数据处理系统，其中，所述选择单元包括：

接收部，其接收所述查询；

获取部，其从所述存储单元获取所述工作工序本体数据；

推断部，其使用所述查询和所述工作工序本体数据来推断键信息；以及

选择部，其使用所推断的键信息来选择数据流。

3.根据权利要求1或2所述的数据处理系统，其中，所述处理单元包括：

抽象化部，其对所选择的数据流进行抽象化；

结构化部，其对所抽象化的数据流进行结构化；以及

处理部，其使用存储在所述存储单元中的所述工作工序本体数据来对所结构化的数据流进行处理。

4.根据权利要求1或2所述的数据处理系统，

其中，所述存储单元配置为存储与所述工作工序本体数据相关联的数据处理例程模板，并且

其中，所述处理单元还配置为通过数据处理例程模板来处理所选择的数据流。

5.根据权利要求2所述的数据处理系统，

其中，所述工作工序本体数据是与产品组装有关的本体数据，并且

其中，所述推断部使用查询来提取产品组装的组装操作要素，并且根据所提取的组装操作要素来推断键信息。

6.根据权利要求1所述的数据处理系统，

其中，通过将从组装过程中安装的传感器顺序获得的所述传感器数据切割成具有预定时间宽度的窗口而获得的数据中包括时间信息，并且

其中，所述处理单元使用通过对所述第一序列信息和所述第二序列信息来检测产品组装时间的异常。

7.一种数据处理方法，包括：

存储从经受自然语言处理的工作工序手册产生的工作工序本体数据，一系列组装操作要素按照所述工作工序手册的顺序连接起来；

使用所存储的工作工序本体数据来在包括被唯一地赋予至传感器数据的键信息的数据流当中选择包括与查询相对应的键信息的数据流；以及

对所选择的数据流进行处理，

其中，所述方法进一步包括：

将传感器数据进行划分，并将传感器数据的每一段与每个组装操作要素进行关联；

将所划分的传感器数据作为教师数据进行机器学习来获得学习数据并计算与所述组装操作要素的相似度；

将从组装过程中安装的传感器顺序获得的传感器数据与所述学习数据进行比较以提取具有最高相似度的组装操作要素；

重构所提取的组装操作要素作为第一序列信息；

从所述工作工序本体数据重构第二序列信息；

将所述第一序列信息与所述第二序列信息进行比较；以及

当所述第一序列信息中的组装操作要素与所述第二序列信息中的组装操作要素不同时，输出异常的结果。

Images