CN101206727A - 数据处理装置、方法和程序以及计算机可读介质 - Google Patents
数据处理装置、方法和程序以及计算机可读介质 Download PDFInfo
- Publication number
- CN101206727A CN101206727A CNA200710130576XA CN200710130576A CN101206727A CN 101206727 A CN101206727 A CN 101206727A CN A200710130576X A CNA200710130576X A CN A200710130576XA CN 200710130576 A CN200710130576 A CN 200710130576A CN 101206727 A CN101206727 A CN 101206727A
- Authority
- CN
- China
- Prior art keywords
- data
- data set
- grouped
- unsupervised learning
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明公开一种数据处理装置,包括:第一无监督学习处理单元、第二无监督学习处理单元和有监督学习处理单元。所述第一无监督学习处理单元根据无监督学习将第一数据组的数据分类,以便执行所述第一数据组的维度缩减,从而获得第一分类数据组。所述第二无监督学习处理单元根据无监督学习将第二数据组的数据分类,以便执行所述第二数据组的维度缩减,从而获得第二分类数据组。所述有监督学习处理单元利用所述第一无监督学习处理单元获得的第一分类数据组和所述第二无监督学习处理单元获得的第二分类数据组作为教师数据执行有监督学习,以便确定所述第一分类数据组和所述第二分类数据组之间的映射关系。
Description
技术领域
本发明涉及一种数据处理装置、数据处理方法、数据处理程序
以及计算机可读介质。
背景技术
近年来,模拟生命体神经网的工程信息处理机构的神经网络已经在各种信息处理领域得到应用。利用神经网络的信息处理包括两种操作模式:学习输入和输出之间的对应关系的“学习计算”模式、以及根据输入值和所学习的对应关系生成输出值的“输出计算”模式(例如,参照JP平成6-348676A)。众所周知,“学习计算”包括“有监督学习”(或“有师学习”)和“无监督学习”(或“无师学习”)。“有监督学习”是指在给出目标数据或正确的解答数据作为“教师数据”时的学习。具体地说,如图7A所示,当在“学习计算”操作模式中给出教师数据的第一数据组32和第二数据组33时,与“有监督学习”对应的功能部分(下面将称为“组件”)31利用误差反向传播学习方法(反向传播)学习数据之间的映射关系。在学习之后,如图7B所示,在“输出计算”操作模式中,例如,当给出属于第一数据组的未处理数据34时,根据所学习的映射关系获得属于第二数据组的估计数据35。
另一方面,“无监督学习”与“有监督学习”的不同之处在于,没有给出“教师数据”。也就是说,“无监督学习”与“有监督学习”的巨大差异在于“待输出目标”不是预定的,并且用于提取存在于数据之后的本质结构。具体地说,例如,根据数据的类似度对数据进行分类的群集分析可以作为“无监督学习”的代表性例子。
关于利用“有监督学习”和“无监督学习”的神经网络,存在这样一种神经网络,其构造成通过与“无监督学习”对应的组件将输入数据分类,并且根据分类结果适当利用与“有监督学习”对应的一个组件(例如,参照JP平成8-329032A)。另外,例如,如图8所示,与“无监督学习”对应的组件41将作为“有监督学习”所需的教师数据的数据组42分类成为一些样本,并且可以提供各类具有不同意义的分类数据43(例如,参照与US 2007/0009152A对应的JP2005-293264A)。
顺便提到,为了提高“有监督学习”的学习准确度,可以增加“教师数据”的件数。然而,当增加“教师数据”的件数时,特别是当“教师数据”是大型数据串时,“学习计算”的处理时间将变得很长。也就是说,不能断言“有监督学习”的学习准确度的提高是现实可行的。
发明内容
本发明提供这样一种数据处理装置、数据处理方法和数据处理程序:其即使在增加“教师数据”的件数的情况下也能够抑制处理负荷增加,从而提高“有监督学习”的学习准确度。
(1)根据本发明的一方面,一种数据处理装置包括:第一无监督学习处理单元、第二无监督学习处理单元和有监督学习处理单元。所述第一无监督学习处理单元根据无监督学习将第一数据组的数据分类,以便执行所述第一数据组的维度缩减,从而获得第一分类数据组。所述第二无监督学习处理单元根据无监督学习将第二数据组的数据分类,以便执行所述第二数据组的维度缩减,从而获得第二分类数据组。所述有监督学习处理单元利用所述第一无监督学习处理单元获得的第一分类数据组和所述第二无监督学习处理单元获得的第二分类数据组作为教师数据执行有监督学习,以便确定所述第一分类数据组和所述第二分类数据组之间的映射关系。
(2)根据第(1)项所述的数据处理装置还可以包括第一数据输入单元和第一数据输出单元。所述第一数据输入单元输入属于所述第一数据组的数据。所述第一数据输出单元输出属于所述第二数据组并且与输入到所述第一数据输入单元的数据对应的数据。所述第一数据输出单元所输出的数据是根据所述第一无监督学习处理单元执行的数据分类、所述有监督学习处理单元确定的映射关系以及所述第二无监督学习处理单元执行的数据分类而从输入到所述第一数据输入单元的数据中导出的。
(3)根据第(1)或(2)项所述的数据处理装置还可以包括第二数据输入单元和第二数据输出单元。所述第二数据输入单元输入属于所述第二数据组的数据。所述第二数据输出单元输出属于所述第一数据组并且与输入到所述第二数据输入单元的数据对应的数据。所述第二数据输出单元所输出的数据是根据所述第一无监督学习处理单元执行的数据分类、所述有监督学习处理单元确定的映射关系以及所述第二无监督学习处理单元执行的数据分类而从输入到所述第二数据输入单元的数据中导出的。
(4)根据第(1)至(3)项中任一项所述的数据处理装置还可以包括:特征量提取单元,其从所述第一数据组和所述第二数据组中至少之一提取特征量。
(5)在根据第(1)至(4)项中任一项所述的数据处理装置中,所述第一数据组和所述第二数据组中的一个数据组可以与模拟处理的输入值对应,并且另一个数据组可以与所述模拟处理的输出值对应。
(6)在根据第(1)至(4)项中任一项所述的数据处理装置中,所述第一数据组和所述第二数据组中的一个数据组可以与理论值对应,并且另一个数据组可以与实际值对应。
(7)根据本发明的另一方面,一种数据处理方法包括:根据无监督学习将第一数据组的数据分类,以便执行所述第一数据组的维度缩减,从而获得所述第一分类数据组;根据无监督学习将第二数据组的数据分类,以便执行所述第二数据组的维度缩减,从而获得第二分类数据组;以及利用所述第一分类数据组和所述第二分类数据组作为教师数据执行有监督学习,以便确定所述第一分类数据组和所述第二分类数据组之间的映射关系。
(8)根据本发明的另一方面,提供一种使计算机执行数据处理的程序。所述数据处理包括:根据无监督学习将第一数据组的数据分类,以便执行所述第一数据组的维度缩减,从而获得所述第一分类数据组;根据无监督学习将第二数据组的数据分类,以便执行所述第二数据组的维度缩减,从而获得第二分类数据组;以及利用所述第一分类数据组和所述第二分类数据组作为教师数据执行有监督学习,以便确定所述第一分类数据组和所述第二分类数据组之间的映射关系。
根据第(1)项所述的数据处理装置、第(7)项所述的数据处理方法和第(8)项所述的程序,在有监督学习中,将各自通过执行维度缩减而获得的第一数据组和第二数据组用作教师数据。因此,与不执行维度缩减的情况相比,可以减轻学习计算的处理负荷。也就是说,即使在提高有监督学习的学习准确度的情况下,也可以构造能够抑制处理负荷增大的数据处理装置、数据处理方法和数据处理程序。
根据第(2)或(3)项所述的数据处理装置,与不包括上述构造的情况相比,在有监督学习处理单元执行有监督学习之后,对于彼此具有相同映射关系的数据条可以更容易地执行如下操作,即,以较高的准确度从基础数据导出对应数据并且从对应数据导出基础数据。
根据第(4)项所述的数据处理装置,在第一无监督学习处理单元执行数据分类以及第二无监督学习处理单元执行数据分类的过程中,可以关注提取的特征量来执行数据分类,并且可以提高数据分类的准确度。
根据第(5)项所述的数据处理装置,与不包括上述构造的情况相比,可以通过减轻模拟处理中的计算处理的负荷来加快模拟处理(可以缩短处理时间)。
根据第(6)项所述的数据处理装置,例如通过明确数据组之间的对应关系,容易根据理论值预测到实际值。
附图说明
下面将参照附图详细描述本发明的示例性实施例,其中:
图1是示出根据本发明示例性实施例的数据处理装置的硬件构造实例的框图;
图2是示出根据本发明示例性实施例的数据处理装置的功能构造实例的框图;
图3A至图3D是示出由根据本发明示例性实施例的数据处理装置处理的数据组的具体实例的示意图;
图4A至图4B是示出由根据本发明示例性实施例的数据处理装置执行的特征量提取的具体实例的示意图;
图5A和图5B是示出由根据本发明示例性实施例的数据处理装置执行的顺向问题解答的具体实例的示意图;
图6A和图6B是示出由根据本发明示例性实施例的数据处理装置执行的逆向问题解答的具体实例的示意图;
图7A和图7B是示出根据相关技术的有监督学习概念的一个实例的示意图;以及
图8是示出根据相关技术的无监督学习概念的一个实例的示意图。
具体实施方式
下面将参照附图详细描述根据本发明示例性实施例的数据处理装置、数据处理方法、数据处理程序以及存储该数据处理程序的计算机可读介质。
首先将描述数据处理装置的硬件构造。图1是示出数据处理装置的硬件构造实例的框图。
这里作为示例描述的数据处理装置具有计算机功能。具体地说,可以使用个人计算机、专用于进行模拟的模拟装置等。
计算机功能由图1所示的硬件构造实现。也就是说,数据处理装置1包括CPU(中央处理单元)2、RAM(随机存取存储器)3、ROM(只读存储器)4、HDD(硬盘驱动器或类似存储器)5、通信接口(I/F)6、用户I/F 7以及用于连接上述部件的内部总线8。通信线路9与通信接口6相连。对于通信线路9,可以采用构成例如因特网等广域网的网络,但是通信线路9也可以是构成局域网(LAN)的网络或者进行传真通信的公共交换电话网。用户I/F 7可以体现为信息显示器、操作开关等,但是也可以是用于与例如CRT(阴极射线管)或者液晶屏等显示器以及例如键盘或鼠标等操作单元连接的接口。
接下来将描述数据处理装置1的功能构造。图2是示出数据处理装置1的功能构造实例的框图。
数据处理装置1利用神经网络进行信息处理,也就是说具有“学习计算”和“输出计算”两种操作模式的信息处理。于是,如图2所示,数据处理装置1具有如下功能部分:数据输入/输出单元11、特征量提取单元12、第一无监督学习处理单元13、第二无监督学习处理单元14和有监督学习处理单元15。
数据输入/输出单元11输入和输出作为多条数据的集合的第一数据组21的数据以及作为多条数据的集合的第二数据组22的数据。第二数据组22与第一数据组21不同。后面将详细描述第一数据组21和第二数据组22。可以利用通信I/F 6或用户I/F 7输入和输出数据。对于数据输入/输出单元11,可以提供与第一数据组21和第二数据组22各自的输入和输出相对应的一个功能部分。然而,也可以提供分别与第一数据组21的输入、第一数据组21的输出、第二数据组22的输入以及第二数据组22的输出相对应的独立的功能部分。
特征量提取单元12从数据输入/输出单元11所输入的数据组21和22中的至少之一提取特征量。“至少之一”的表述表示,特征量提取单元12可以从第一数据组21和第二数据组22两者提取特征量。后面将详细描述特征量和特征量的提取。
第一无监督学习处理单元13根据“无监督学习”将从数据输入/输出单元11输入的第一数据组21的数据分类,以便执行第一数据组21的维度缩减,从而获得第一分类数据组23。
另一方面,第二无监督学习处理单元14根据“无监督学习”将从数据输入/输出单元11输入的第二数据组22的数据分类,以便执行第二数据组22的维度缩减,从而获得第二分类数据组24。
也就是说,第一无监督学习处理单元13和第二无监督学习处理单元14各自构成与“无监督学习”对应的组件。后面将详细描述第一分类数据组23和第二分类数据组24的“数据维数”。
有监督学习处理单元15根据利用第一分类数据组23和第二分类数据组24作为教师数据的“有监督学习”确定第一分类数据组23和第二分类数据组24之间的映射关系。另外,有监督学习处理单元15根据该映射关系从一个数据获得与其对应的数据。也就是说,有监督学习处理单元15构成与“有监督学习”对应的组件。
构成上述数据处理装置1的各单元11至15通过由数据处理装置1的计算机功能(硬件构造)执行预定程序来实现。在该情况下,在将程序安装在数据处理装置1中之前,该预定程序可以以存储在计算机可读存储介质的方式提供,或者可以通过有线或无线通信手段进行分配。也就是说,具有上述硬件构造的数据处理装置1还可以作为能够安装在数据处理装置1中的数据处理程序而实现。
接下来将描述所述数据处理装置1(包括该数据处理装置作为数据处理程序实现的情况)的处理操作实例。
首先描述数据处理装置1处理的数据组的具体实例。图3A至图3D是示出待处理的数据组的具体实例的示意图。
例如,下面描述将本发明的示例性实施例应用于具有图3A所示输入和响应该输入的图3B所示输出的控制系统的情况。图3A和图3B各自示出数据集,其中图3A和图3B所示水平轴参数(例如,时间)的值和竖直轴参数(例如,电压)的值彼此具有预定关系,一个参数值随着另一个参数值的变化而非线性地变化。图3A所示数据集(=数据组)和图3B所示数据集(=数据组)彼此具有一定的映射关系。
在这些数据组中,构成各数据组的一条数据形成一个维度。因此,例如,如果数据组包括1000条数据(在图中为1000个点),那么数据组的数据维数等于1000。
顺便提到,做出如下假定,如果利用现有技术并且利用图3A和图3B所示数据组作为“教师数据”,“有监督学习”的处理时间是大约5小时。为了提高学习准确度,如果提供图3A和图3B所示各数据组的50个实例,那么“有监督学习”的处理时间是(5×50)小时,不能说这是现实可行的。
然后,当在“学习计算”操作模式中将图3A和图3B所示数据组作为第一数据组21和第二数据组22从数据输入/输出单元11输入时,数据处理装置1执行如下处理操作。
当第一数据组21和第二数据组22输入到数据处理装置1中时,特征量提取单元12从第一数据组21和第二数据组22两者提取特征量。这是因为,如果提取特征量,就可以在关注所提取的特征量的情况下根据“无监督学习”执行后面的数据分类。然而,要注意到,特征量提取单元12提取特征量不是必不可少的步骤。因此,如果输入第一数据组21和第二数据组22,则可以跳过特征量的提取,或者可以从第一数据组21或第二数据组22提取特征量。
下面将参照具体实例描述特征量提取单元12执行的特征量提取操作。图4A至图4B是示出特征量提取的具体实例的示意图。
将提取第一数据组21的特征量的情况作为例子。特征量提取单元12可以对第一数据组21执行FFT(快速傅立叶变换),以取出低频分量,然后使用低频分量进行分类,并且将分类结果作为特征量,这如图4A所示。
作为选择,特征量提取单元12可以关注曲线的峰值并且可以将相关部分作为特征量,这如图4B所示。
于是,为了提取特征量,特征量提取单元12利用公知技术提取特征量。
然后,在数据处理装置1中,第一无监督学习处理单元13根据“无监督学习”将第一数据组21(如果特征量提取单元12提取特征量,则在进行特征量提取处理之后)的数据进行分类。第二无监督学习处理单元14根据“无监督学习”将第二数据组22(如果特征量提取单元12提取特征量,则在进行特征量提取处理之后)的数据进行分类。可以利用例如自组织映射图中的相似分类法等公知的技术进行根据“无监督学习”的数据分类。结果,第一无监督学习处理单元13和第二无监督学习处理单元14分别获得第一分类数据组23和第二分类数据组24。
图3C和图3D示出采用自组织映射图对第一数据组21和第二数据组22进行分类的结果,即,第一分类数据组23和第二分类数据组24的具体实例。
例如,图3C中的第一分类数据组23是由映射在虚拟XY坐标平面上的数据集表示的数据组,构成图3A所示第一数据组21的各条数据映射在XY坐标平面上的坐标点。各坐标点处数据的矢量相似度根据欧几里得范数中的差异以视觉上可辨认的方式表示,其中,如果差异较大,则使用黑色;如果差异较小,则使用浅色。
采用自组织映射图对第一数据组21和第二数据组22进行这种分类,即,根据“无监督学习”的数据分类。因此,第一数据组21和第二数据组22变换为第一分类数据组23和第二分类数据组24,其中,即使提供例如数据维数为1000的数据的50个例子,所有数据都映射在XY坐标平面上。也就是说,当执行根据“无监督学习”的数据分类时,分别从第一数据组21和第二数据组22获得第一分类数据组23和第二分类数据组24。
各第一分类数据组23和第二分类数据组24是映射在XY坐标平面上的数据组。因此,各数据组的数据维数等于2(X轴方向上的坐标值和Y轴方向上的坐标值)。换句话说,第一分类数据组23和第二分类数据组24是这样得到的数据组:即,将第一数据组21和第二数据组22的数据维数(例如,“1000维度”ד50个例子”=“50000维度”)缩减为2,该数值是与XY坐标平面上的映射对应的数据维数。
这里,将通过映射到XY坐标平面上而将数据维数缩减为2的情况作为例子。然而,第一无监督学习处理单元13和第二无监督学习处理单元14可以通过映射到一条轴线上而将数据维数缩减为1,或者通过映射到XYZ坐标空间上而将数据维数缩减为3。于是,第一分类数据组23和第二分类数据组24是通过数据维数缩减而得到的数据组,而不管原始数据维数如何。
如此获得的第一分类数据组23和第二分类数据组24彼此具有一定的映射关系。这是因为下述缘故:即,第一分类数据组23和第二分类数据组24从第一数据组21和第二数据组22获得,并且作为第一分类数据组23和第二分类数据组24的基础的第一数据组21和第二数据组22彼此具有一定的映射关系。
于是,在获得第一分类数据组23和第二分类数据组24之后,数据处理装置1的有监督学习处理单元15利用第一分类数据组23和第二分类数据组24作为教师数据执行“有监督学习”,并且确定第一分类数据组23和第二分类数据组24之间的映射关系。具体地说,例如,有监督学习处理单元15确定第一分类数据组23中的XY坐标和第二分类数据组24中的XY坐标之间的映射关系。此时,可以利用例如反向传播算法等公知的技术执行“有监督学习”。
根据上述过程进行处理操作,从而数据处理装置1在“学习计算”操作模式中通过第一分类数据组23和第二分类数据组24之间的映射关系学习到第一数据组21和第二数据组22之间的映射关系。用于学习的处理时间,具体地说,用于第一分类数据组23和第二分类数据组24的“有监督学习”的处理时间为大约十几分钟。这是因为已经通过根据“无监督学习”缩减数据维数而获得分类数据组的缘故。
在执行“学习计算”操作模式之后,数据处理装置1可以利用“学习计算”的结果执行“输出计算”操作。
“输出计算”包括“顺向问题解答”和“逆向问题解答”。这里,从第一数据组21获得第二数据组22的“输出计算”称为“顺向问题解答”,而从第二数据组22获得第一数据组21的“输出计算”称为“逆向问题解答”。
图5A和图5B是示出顺向问题解答的具体实例的示意图。为了执行“顺向问题解答”,首先将属于第一数据组21的数据输入数据输入/输出单元11(步骤101(S101))。下面将该数据称为“未处理数据”。当输入“未处理数据”时,第一无监督学习处理单元13将“未处理数据”进行分类(S102)。因此,在第一分类数据组23的XY坐标平面上确定与“未处理数据”对应的坐标点(S103)。当确定坐标点之后,根据有监督学习处理单元15已经学习到的映射关系确定第二分类数据组24的XY坐标平面上与这些坐标点对应的坐标点(S104、S105)。第二无监督学习处理单元14对确定的坐标点执行逆向数据分类(S106)。因此,数据输入/输出单元11输出属于第二数据组22并且与输入到数据输入/输出单元11的“未处理数据”对应的数据(下面将该数据称为“估计数据”)(S107)。也就是说,只要有监督学习处理单元15已经执行有监督学习,即使属于第二数据组22的数据是未知的,也可以根据第一无监督学习处理单元13执行的数据分类、有监督学习处理单元15确定的映射关系以及第二无监督学习处理单元14执行的数据分类从属于第一数据组21的“未处理数据”容易地推导出未知数据作为“估计数据”。
图6A和图6B是示出逆向问题解答的具体实例的示意图。为了执行“逆向问题解答”,首先将属于第二数据组22的数据输入数据输入/输出单元11(S201))。下面将该数据称为“期望数据”。当输入“期望数据”时,第二无监督学习处理单元14将“期望数据”进行分类(S202)。因此,在第二分类数据组24的XY坐标平面上确定与“期望数据”对应的坐标点(S203)。当确定坐标点之后,根据有监督学习处理单元15已经学习到的映射关系确定第一分类数据组23的XY坐标平面上与这些坐标点对应的坐标点(S204、S205)。第一无监督学习处理单元13对确定的坐标点执行逆向数据分类(S206)。因此,数据输入/输出单元11输出属于第一数据组21并且与输入到数据输入/输出单元11的“期望数据”对应的数据(下面将该数据称为“基础数据”)(S207)。也就是说,只要有监督学习处理单元15已经执行有监督学习,即使属于第一数据组21的数据是未知的,也可以根据第一无监督学习处理单元13执行的数据分类、有监督学习处理单元15确定的映射关系以及第二无监督学习处理单元14执行的数据分类从属于第二数据组22的“期望数据”容易地推导出未知数据作为“基础数据”。
在执行上述“输出计算”操作模式的数据处理装置1中,如果例如第一数据组21和第二数据组22之一与模拟处理的输入值对应,并且另一个与模拟处理的输出值对应,那么可以使用“学习计算”操作模式中的学习结果从未处理输入估计模拟处理的与未处理输入对应的输出。模拟处理不受限制。本发明可以应用于模拟处理的各种领域。
如果例如第一数据组21和第二数据组22之一与理论值对应,并且另一个与实际值对应,那么可以使用“学习计算”操作模式中的学习结果从理论值导出与理论值对应的实际值,并且根据实际值按照实际情况修正理论计算中获得的理论值。
尽管已经描述了本发明的示例性实施例的具体实例,但是不能认为本发明限于示例性实施例的这些具体实例,而是可以在不脱离本发明的精髓和范围的情况下进行各种修改和变化。
例如,在示例性实施例的描述中,第一分类数据组23和第二分类数据组24在虚拟的XY坐标平面上展开,并且根据“有监督学习”确定XY坐标之间的对应关系。然而,实际上,XY坐标平面在RAM3或HDD5的存储空间中形成。因此,可以将存储空间的存储地址彼此关联,而非XY坐标彼此关联。这也适用于映射在一条轴线、映射在XYZ坐标空间上等情况。
在示例性实施例中,第一数据组21和第二数据组22之一可以与模拟处理的输入值对应,并且另一个与模拟处理的输出值对应,或者第一数据组21和第二数据组22之一可以与理论值对应,并且另一个与实际值对应。然而,例如,本发明还适用于第一数据组21和第二数据组22都与实际值(原始数据和原始数据)对应的情况。
此外,在示例性实施例中,已经描述了使用一个数据处理装置1的情况。然而,还可以例如组合使用两个或更多个数据处理装置1。具体地说,例如,提供两个数据处理装置1,将一个数据处理装置1中处理的第二数据组22作为另一个数据处理装置1中处理的第一数据组21,并且使各数据处理装置1执行示例性实施例中所述的处理操作序列。在该情况下,如果认为两个数据处理装置1的组合是一个数据处理系统,那么另一数据处理装置处理的数据组对应于从全局的观点来看的第二数据组和第三数据组。也就是说,提供n个数据处理装置1(n是等于2或更大数的自然数),利用数据处理装置1处理从全局的观点来看的第1至第(n+1)数据组。在此过程中,例如,可以从属于第一数据组21的未知数据导出属于第(n+1)数据组的估计数据,或者执行逆向处理。
Claims (7)
1.一种数据处理装置,包括:
第一无监督学习处理单元,其根据无监督学习将第一数据组的数据分类,以便执行所述第一数据组的维度缩减,从而获得第一分类数据组;
第二无监督学习处理单元,其根据无监督学习将第二数据组的数据分类,以便执行所述第二数据组的维度缩减,从而获得第二分类数据组;以及
有监督学习处理单元,其利用所述第一无监督学习处理单元获得的第一分类数据组和所述第二无监督学习处理单元获得的第二分类数据组作为教师数据执行有监督学习,以便确定所述第一分类数据组和所述第二分类数据组之间的映射关系。
2.根据权利要求1所述的数据处理装置,还包括:
第一数据输入单元,其输入属于所述第一数据组的数据;以及
第一数据输出单元,其输出属于所述第二数据组并且与输入到所述第一数据输入单元的数据对应的数据,
其中,所述第一数据输出单元所输出的数据是根据所述第一无监督学习处理单元执行的数据分类、所述有监督学习处理单元确定的映射关系以及所述第二无监督学习处理单元执行的数据分类而从输入到所述第一数据输入单元的数据中导出的。
3.根据权利要求1或2所述的数据处理装置,还包括:
第二数据输入单元,其输入属于所述第二数据组的数据;以及
第二数据输出单元,其输出属于所述第一数据组并且与输入到所述第二数据输入单元的数据对应的数据,
其中,所述第二数据输出单元所输出的数据是根据所述第一无监督学习处理单元执行的数据分类、所述有监督学习处理单元确定的映射关系以及所述第二无监督学习处理单元执行的数据分类而从输入到所述第二数据输入单元的数据中导出的。
4.根据权利要求1或2所述的数据处理装置,还包括:
特征量提取单元,其从所述第一数据组和所述第二数据组中至少之一提取特征量。
5.根据权利要求1或2所述的数据处理装置,其中,
所述第一数据组和所述第二数据组中的一个数据组与模拟处理的输入值对应,并且另一个数据组与所述模拟处理的输出值对应。
6.根据权利要求1或2所述的数据处理装置,其中,
所述第一数据组和所述第二数据组中的一个数据组与理论值对应,并且另一个数据组与实际值对应。
7.一种数据处理方法,包括:
根据无监督学习将第一数据组的数据分类,以便执行所述第一数据组的维度缩减,从而获得第一分类数据组;
根据无监督学习将第二数据组的数据分类,以便执行所述第二数据组的维度缩减,从而获得第二分类数据组;以及
利用所述第一分类数据组和所述第二分类数据组作为教师数据执行有监督学习,以便确定所述第一分类数据组和所述第二分类数据组之间的映射关系。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006341144 | 2006-12-19 | ||
JP2006-341144 | 2006-12-19 | ||
JP2006341144A JP2008152619A (ja) | 2006-12-19 | 2006-12-19 | データ処理装置およびデータ処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101206727A true CN101206727A (zh) | 2008-06-25 |
CN101206727B CN101206727B (zh) | 2011-08-17 |
Family
ID=39267961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200710130576XA Expired - Fee Related CN101206727B (zh) | 2006-12-19 | 2007-07-18 | 数据处理装置和数据处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8001061B2 (zh) |
EP (1) | EP1939796A3 (zh) |
JP (1) | JP2008152619A (zh) |
CN (1) | CN101206727B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104244113A (zh) * | 2014-10-08 | 2014-12-24 | 中国科学院自动化研究所 | 一种基于深度学习技术的视频摘要生成方法 |
CN107729921A (zh) * | 2017-09-20 | 2018-02-23 | 厦门快商通科技股份有限公司 | 一种机器主动学习方法及学习系统 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103336786B (zh) * | 2013-06-05 | 2017-05-24 | 腾讯科技(深圳)有限公司 | 一种数据处理的方法及装置 |
WO2018159666A1 (en) * | 2017-03-01 | 2018-09-07 | Omron Corporation | Learning apparatus, learning result using apparatus, learning method and learning program |
JP7334478B2 (ja) * | 2019-06-04 | 2023-08-29 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
US11785022B2 (en) * | 2020-06-16 | 2023-10-10 | Zscaler, Inc. | Building a Machine Learning model without compromising data privacy |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3518813B2 (ja) | 1993-06-04 | 2004-04-12 | 株式会社東芝 | 構造化神経回路網構築装置 |
JPH08329032A (ja) | 1995-05-31 | 1996-12-13 | Sanyo Electric Co Ltd | ニュ−ラルネット型パターン認識装置及びニュ−ラルネットの学習方法 |
JP3560406B2 (ja) * | 1996-02-06 | 2004-09-02 | 中国電力株式会社 | ミル特性計測装置 |
US6038337A (en) * | 1996-03-29 | 2000-03-14 | Nec Research Institute, Inc. | Method and apparatus for object recognition |
JPH09280952A (ja) * | 1996-04-15 | 1997-10-31 | Toyo Ink Mfg Co Ltd | 調色システム |
JPH10326286A (ja) * | 1997-05-27 | 1998-12-08 | Mitsubishi Electric Corp | 類似検索装置及び類似検索プログラムを記録した記録媒体 |
JPH11118617A (ja) * | 1997-10-20 | 1999-04-30 | Hitachi Ltd | 温度調節器 |
JP4219539B2 (ja) * | 2000-08-11 | 2009-02-04 | 日本放送協会 | 音響分類装置 |
EP1262907B1 (en) * | 2001-05-28 | 2007-10-03 | Honda Research Institute Europe GmbH | Pattern recognition with hierarchical networks |
US6954744B2 (en) * | 2001-08-29 | 2005-10-11 | Honeywell International, Inc. | Combinatorial approach for supervised neural network learning |
CA2542937A1 (en) * | 2003-07-01 | 2005-01-13 | Cardiomag Imaging, Inc. (Cmi) | Machine learning for classification of magneto cardiograms |
JP4204406B2 (ja) * | 2003-08-07 | 2009-01-07 | トヨタ自動車株式会社 | 内燃機関の制御装置 |
JP3834041B2 (ja) | 2004-03-31 | 2006-10-18 | オリンパス株式会社 | 学習型分類装置及び学習型分類方法 |
JP4481190B2 (ja) * | 2005-02-17 | 2010-06-16 | 株式会社沖データ | 画像処理方法、画像処理装置および画像形成装置 |
-
2006
- 2006-12-19 JP JP2006341144A patent/JP2008152619A/ja active Pending
-
2007
- 2007-06-26 US US11/819,287 patent/US8001061B2/en not_active Expired - Fee Related
- 2007-07-03 EP EP07013033A patent/EP1939796A3/en not_active Withdrawn
- 2007-07-18 CN CN200710130576XA patent/CN101206727B/zh not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104244113A (zh) * | 2014-10-08 | 2014-12-24 | 中国科学院自动化研究所 | 一种基于深度学习技术的视频摘要生成方法 |
CN104244113B (zh) * | 2014-10-08 | 2017-09-22 | 中国科学院自动化研究所 | 一种基于深度学习技术的视频摘要生成方法 |
CN107729921A (zh) * | 2017-09-20 | 2018-02-23 | 厦门快商通科技股份有限公司 | 一种机器主动学习方法及学习系统 |
CN107729921B (zh) * | 2017-09-20 | 2020-08-21 | 厦门快商通科技股份有限公司 | 一种机器主动学习方法及学习系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2008152619A (ja) | 2008-07-03 |
EP1939796A3 (en) | 2012-02-15 |
US8001061B2 (en) | 2011-08-16 |
US20080147576A1 (en) | 2008-06-19 |
CN101206727B (zh) | 2011-08-17 |
EP1939796A2 (en) | 2008-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111199016B (zh) | 一种基于DTW的改进K-means的日负荷曲线聚类方法 | |
CN101206727B (zh) | 数据处理装置和数据处理方法 | |
CN107590565A (zh) | 一种构建建筑能耗预测模型的方法及装置 | |
CN111612275B (zh) | 一种预测区域用户负荷量的方法及装置 | |
CN109635245A (zh) | 一种鲁棒宽度学习系统 | |
CN113657661A (zh) | 一种企业碳排放预测方法、装置、计算机设备和存储介质 | |
CN111008726A (zh) | 一种电力负荷预测中类图片转换方法 | |
CN114066073A (zh) | 电网负荷预测方法 | |
CN103700030A (zh) | 基于灰色粗糙集的电网建设项目后评价指标赋权方法 | |
CN110880044B (zh) | 一种基于马尔科夫链的负荷预测方法 | |
CN115759415A (zh) | 基于lstm-svr的用电需求预测方法 | |
CN106952077B (zh) | 一种工单处理策略的生成方法及装置 | |
CN115358437A (zh) | 基于卷积神经网络的供电负荷预测方法 | |
CN112508254B (zh) | 变电站工程项目投资预测数据的确定方法 | |
CN112257958A (zh) | 一种电力饱和负荷预测方法及装置 | |
CN107274025B (zh) | 一种实现用电模式智能识别与管理的系统和方法 | |
CN116400266A (zh) | 基于数字孪生模型的变压器故障检测方法、装置及介质 | |
Wang et al. | Cloud computing and extreme learning machine for a distributed energy consumption forecasting in equipment-manufacturing enterprises | |
CN114372835B (zh) | 综合能源服务潜力客户识别方法、系统及计算机设备 | |
CN116542701A (zh) | 一种基于cnn-lstm组合模型的碳价预测方法及系统 | |
CN111061708A (zh) | 一种基于lstm神经网络的电能量预测与修复方法 | |
US20220243347A1 (en) | Determination method and determination apparatus for conversion efficiency of hydrogen production by wind-solar hybrid electrolysis of water | |
CN112949908A (zh) | 一种电价概率预测方法及装置 | |
CN111931994A (zh) | 一种短期负荷及光伏功率预测方法及其系统、设备、介质 | |
Ahmed et al. | Extreme value statistics in semi-supervised models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110817 Termination date: 20170718 |