CN114298266A - 计算机可读记录介质、信息处理装置及信息处理方法 - Google Patents
计算机可读记录介质、信息处理装置及信息处理方法 Download PDFInfo
- Publication number
- CN114298266A CN114298266A CN202110853825.8A CN202110853825A CN114298266A CN 114298266 A CN114298266 A CN 114298266A CN 202110853825 A CN202110853825 A CN 202110853825A CN 114298266 A CN114298266 A CN 114298266A
- Authority
- CN
- China
- Prior art keywords
- data set
- migration
- information processing
- migration source
- source data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
计算机可读记录介质、信息处理装置及信息处理方法。一种用于使计算机执行处理的信息处理程序,该处理包括:将目的地数据集中所包括的每个数据和多个源数据集候选中所包括的每个数据转换为频谱;计算目的地数据集中所包括的数据的谱强度的平均值以及多个源数据集候选中所包括的数据的谱强度的每个平均值;针对多个源数据集候选中的每个,通过使用目的地数据集中所包括的数据的谱强度与多个源数据集候选中所包括的数据的谱强度的内积来计算与目的地数据集的相似度;以及基于计算出的相似度,从多个源数据集候选当中确定与目的地数据集最相似的源数据集。
Description
技术领域
本文讨论的实施方式涉及存储信息处理程序的非暂时性计算机可读存储介质、信息处理装置及信息处理方法。
背景技术
迁移学习作为在神经网络中学习机器学习模型的方法而为人所知。
在迁移学习中,使用某个区域(领域)的数据集(迁移源数据集)学习的机器学习模型用于对另一个区域中的数据集(迁移目的地数据集)进行学习。
在下文中,迁移前用于学习机器学习模型的数据集可以被称为迁移源数据集,并且迁移后用于学习机器学习模型的数据集可以被称为迁移目的地数据集。
使用迁移源数据集来学习机器学习模型,迁移该机器学习模型,并且使用迁移目的地数据集重新学习机器学习模型,并且因此实现迁移学习。
通过执行这样的迁移学习,即使在仅具有有限数据量的区域中也可以创建高精度的机器学习模型,此外,可以在短时间内实现机器学习模型的学习。
在典型的迁移学习中,使用动态时间规整(DTW)和动态时间规整重心平均(DBA)从多个迁移源数据集候选当中选择迁移源数据集。
DTW是用于测量两个序列之间距离的算法,并且DBA是获得多个序列的平均序列的算法。
在迁移学习中用于选择迁移源数据集的典型方法中,使用DBA计算迁移目的地和迁移源候选的各类的平均序列,并将DBA平均序列之间的最小DTW距离定义为迁移源候选的数据和迁移目的地数据之间的距离(数据间距离)。
然后,选择与迁移目的地数据集具有最小数据间距离的迁移源候选数据集作为迁移源数据集,并使用所选择的迁移源数据集在卷积神经网络(CNN)中开始迁移学习。
在执行迁移学习时,期望选择具有迁移效果的迁移源数据集。这是因为选择不适合作为迁移源数据集的数据集会降低迁移学习的性能。
相关技术的示例包括美国专利申请公开No.2010/0318482、日本待审专利公开No.2020-13547和日本待审专利公开No.2016-191975。
发明内容
技术问题
然而,采用以上描述的在迁移学习中用于选择迁移源数据集的典型方法,DTW和DBA各个的计算成本较高。因此,以上方法存的问题在于选择迁移源数据集所需的计算成本高。例如,选择迁移源数据集费时。
此外,在以上描述的用于选择迁移源数据集的典型方法中,选择与迁移目的地数据集具有最小数据间距离的迁移源候选数据集作为迁移源数据集。然而,存在以下情况:依据迁移目的地数据集的类,所选迁移源数据集与迁移目的地数据集不接近。这是因为数据集间距离被假定为所有的类间距离当中最小的类间距离。
此外,关于神经网络,已知通过重复对输入数据进行卷积来提取数据特征的卷积神经网络(CNN)。CNN常用于时间序列数据的分析和迁移学习。
在CNN中,使用滤波器(卷积滤波器)提取卷积层中数据的部分特征。在CNN中,卷积滤波器的滤波器尺寸是预先指定的参数。由于滤波器尺寸对分析精度影响很大,因此需要适当指定滤波器尺寸。
在典型方法中,通常使用具有在3至15之间的固定尺寸的滤波器作为卷积滤波器。此外,在CNN中,可以使用具有不同尺寸的多个滤波器,例如,使用尺寸为“3”的64个滤波器和尺寸为“15”的64个滤波器。
已知的方法是,使用在时串中出现峰的峰长度作为滤波器尺寸,并且通过傅立叶变换计算数据集的谱强度,以及选择包含强度最大的频率的波长的滤波器尺寸。
然而,存在依据滤波器的尺寸容易捕获或难以捕获的频率波。因此,如上所述选择的包括谱强度最大的频率的波长的滤波器尺寸对于例如在多个不同频率处出现峰的数据无效。
大尺寸的滤波器倾向于容易捕获频率小的波,但是倾向于难以捕获频率大的波。另一方面,小尺寸的滤波器倾向于难以捕获频率小的波而倾向于容易捕获频率大的波。强度在时间序列中变化的序列数据可以被称为序列。
图9是例示了通过快速傅立叶变换(FFT)将输入序列转换为频谱的示例的图。
在图9所示的序列中,在转换后的频谱中,两个频率“2”和“10”具有强度峰。
这里,对于捕获频率为“2”的波的滤波器尺寸,难以捕获频率为“10”的波。另一方面,对于捕获频率为“10”的波的滤波器尺寸,难以捕获频率为“2”的波。
实施方式的一个方面的目的是有效地执行迁移学习。
技术方案
根据实施方式的一个方面,提供了一种非暂时性计算机可读记录介质,其存储用于使计算机执行处理的信息处理程序。在示例中,该处理包括:将迁移目的地数据集的多个类中的每个类内所包括的每个数据和多个迁移源数据集候选的多个类中的每个类内所包括的每个数据转换为频谱;计算迁移目的地数据集的每个类中所包括的数据的谱强度的平均值以及多个迁移源数据集候选的多个类中所包括的数据的谱强度的每个平均值;基于迁移目的地数据集的每个类中所包括的数据的谱强度与多个迁移源数据集候选的多个类中所包括的数据的谱强度的内积,指定迁移目的地数据集的多个类与多个迁移源数据集候选的多个类的相似度;以及基于指定的相似度,从多个迁移源数据集候选当中确定与迁移目的地数据集的每个类最相似的迁移源数据集。
本发明的目的和优点将通过权利要求中特别指出的要素和组合来实现和获得。
应当理解,前述概括描述和以下详细描述都是示例性和解释性的,而不是对本发明的限制。
技术效果
根据一个实施方式,能够高效地执行迁移学习。
附图说明
图1是例示了作为实施方式的示例的信息处理装置的功能配置的图;
图2是例示了迁移目的地数据集的类与迁移源数据集的类之间的类间距离的图;
图3是例示了作为实施方式的示例的信息处理装置的硬件配置的图;
图4是用于说明作为实施方式的示例的信息处理装置的迁移学习的图;
图5是用于说明作为实施方式的示例的信息处理装置的迁移源数据集选择单元的处理的流程图;
图6是用于说明作为实施方式的示例的信息处理装置的滤波器设置单元的处理的流程图;
图7是例示了作为实施方式的示例的信息处理装置进行的迁移学习的效果的图;
图8是例示了作为实施方式的示例的信息处理装置进行的迁移学习的效果的图;以及
图9是例示了通过FFT将输入序列转换为频谱的示例的图。
具体实施方式
在下文中,将参照附图描述信息处理程序、信息处理装置及信息处理方法的实施方式。然而,下面要描述的实施方式仅仅是示例,并非旨在排除在实施方式中未显式地描述的各种修改和技术的应用。也就是说,例如,本实施方式可以在不脱离其主旨的情况下以各种方式修改以实施。此外,每个附图并非旨在仅包括附图中所示的组件并且可以包括其它功能等。
(A)配置
图1是例示了作为实施方式的示例的信息处理装置1的功能配置的图。
参照图1,信息处理装置1包括迁移源数据集选择单元100和滤波器设置单元200。
迁移源数据集选择单元100实现迁移源数据集选择处理,其用于在神经网络的迁移学习中从迁移源数据存储库中所存储的多个数据集(迁移源数据集候选)当中选择迁移源数据集。在下文中,可以使用标号Dsrc来表示迁移源数据集。
所选择的迁移源数据集Dsrc用于学习机器学习模型。以这种方式学习的机器学习模型使用迁移目的地数据集进行迁移和重新学习。在下文中,可以使用标号Dtar来表示迁移目的地数据集。
迁移源数据集和迁移目的地数据集可以各包括学习数据和正确答案数据。迁移源数据集中的学习数据可以称为迁移源数据。此外,迁移目的地数据集中的学习数据可以称为迁移目的地数据。此外,在下文中,在迁移源数据集和迁移目的地数据集彼此没有特别区别的情况下,迁移源数据集和迁移目的地数据集二者可以简单地表示为数据集。
在本实施方式中,将描述迁移源数据和迁移目的地数据是在时串中强度变化的系列数据的示例。在下文中,迁移源数据和迁移目的地数据可以被称为序列。该序列是例如话语信号或通信信号并且可以表示为波形。
此外,在本实施方式中,将描述其中迁移源数据集和迁移目的地数据集的每一个都具有多个类的示例。
如图1所示,迁移源数据集选择单元100具有作为第一傅立叶变换处理单元101、类平均序列计算单元102、类间距离计算单元103和迁移源数据集设置单元104的功能。
第一傅立叶变换处理单元101通过FFT将所有数据集中的所有序列傅立叶变换为频谱。也就是说,例如,第一傅立叶变换处理单元101通过FFT将迁移源数据存储库中存储的迁移目的地数据集Dtar和所有迁移目的地数据集{Dsrc,i}中的所有序列i傅立叶变换为频谱。标号i是表示多个迁移源数据集当中的任意迁移源数据集的变量。
第一傅立叶变换处理单元101例如对序列h执行以下处理。
注意,标号T代表序列长度并且是数据相关的。
此外,在序列长度被设置为2n的情况下,第一傅立叶变换处理单元101通过补零、线性插值等调整序列长度的大小。
注意,标号n表示如下。
此外,希望将序列h乘以窗函数以成为周期函数。
类平均序列计算单元102获得所有数据集中包含的每个类的平均序列作为频谱强度的平均值。
类平均序列计算单元102通过傅立叶变换将属于该类的所有序列转换成固定长度的谱,并根据谱强度的平均值定义该类的平均序列。
例如,类平均序列计算单元102基于由第一傅立叶变换处理单元101计算的频谱强度,从频谱强度的低频分量中从顶部提取N个分量。
注意,要提取的频谱数N表示如下。
序列h通过由下式(1)代表的固定长度的矢量u来表示。
注意,标号|ci|表示范数。
对于序列长度被设置为[T/2]<N的序列,期望对u的第[T/2]分量和后续分量进行补零。
类平均序列计算单元102计算每个数据集的每个类的类平均序列。
迁移源数据集Dsrc的类的数据可以称为以下标号。
标号l是表示迁移源数据集中的多个类中的任何一个的变量。
此外,迁移目的地数据集Dtar的类的数据可以被称为以下标号。
标号k是表示迁移源数据集中的多个类中的任何一个的变量。
此外,类平均序列可以由以下格式表示。
类平均序列计算单元102通过对具有属于该类的样本的u取平均来计算类平均序列(+范数归一化)。
类间距离计算单元103基于谱强度之间的内积定义(计算)由类平均序列计算单元102计算的平均序列之间的距离。
类间距离计算单元103使用以下公式(2)计算类间距离。
迁移源数据集设置单元104计算迁移目的地数据集的每个类与每个迁移源数据集的每个类之间的每个相似度,并且针对每个类选择迁移源数据集。迁移源数据集设置单元104使用类之间的距离作为相似度。
迁移源数据集设置单元104选择与迁移目的地数据集的每个类具有最短类间距离的类(也就是说,例如,最相似迁移源数据集的类(最相似迁移源类))。
迁移源数据集设置单元104针对迁移目的地数据集的每个类选择满足以下公式(3)的迁移源数据集的类。
迁移源数据集设置单元104将针对迁移目的地数据集Dtar的各个类所选择的全部最相似迁移源类组合在一起,并生成迁移源数据集Dsrc。
由迁移源数据集设置单元104生成的迁移源数据集Dsrc由以下公式(4)表示。
图2是例示了迁移目的地数据集的类和迁移源数据集的类之间的类间距离的图。
在图2所示的示例中,以矩阵(matrix)例示了迁移目的地数据集的三个类“1”、“2”、与迁移源数据集Dsrc,1、Dsrc,2和Dsrc,3的两个类“1”、“2”之间的类间距离。
在图2所示的示例中,对于迁移目的地数据集Dtar的类“1”,迁移源数据集Dsrc,1的类“1”具有最短的类间距离(参见标号Q1)。因此,对于迁移目的地数据集Dtar的类“1”,迁移源数据集设置单元104选择迁移源数据集Dsrc,1的类“1”作为迁移源类。
类似地,对于迁移目的地数据集Dtar的类“2”,迁移源数据集Dsrc,2的类“1”具有最短类间距离(参见标号Q2)。此外,对于迁移目的地数据集Dtar的类“3”,迁移源数据集Dsrc,2的类“1”具有最短类间距离(参见标号Q3)。因此,对于迁移目的地数据集Dtar的类“2”和“3”中的每一个,迁移源数据集设置单元104选择迁移源数据集Dsrc,2的类“1”作为迁移源类。
迁移源数据集设置单元104将所选择的迁移源类整合在一起并生成迁移源数据集Dsrc。
在图2所示的示例中,所生成的迁移源数据集Dsrc例如表示如下。在以下示例中,通过针对迁移目的地数据集Dtar的类“2”和“3”仅指示迁移源数据集Dsrc,2的类“1”,在目的地中排除重叠。
此外,期望迁移源数据集设置单元104根据需要将生成的迁移源数据集Dsrc的大小调整为迁移目的地数据集Dtar的序列长度(或平均长度)。以此方式所生成的迁移源数据集Dsrc用于机器学习模型的迁移学习。
滤波器设置单元200实现用于在CNN中设置卷积滤波器的滤波器设置处理。
例如,滤波器设置单元200可以在对精度影响很大的CNN的第一层中设置卷积滤波器尺寸。此外,滤波器尺寸不限于此,并且滤波器设置单元200可以设置除了CNN的第一层之外的层的卷积滤波器尺寸并且可以以适当地改变卷积滤波器尺寸的方式执行设置。
如图1所示,滤波器设置单元200具有作为第二傅立叶变换处理单元201、平均谱强度计算单元202和滤波器确定单元203的功能。
第二傅立叶变换处理单元201通过FFT将由迁移源数据集选择单元100所选择的迁移源数据集中的全部序列傅立叶变换为频谱(谱强度)。
平均谱强度计算单元202基于由第二傅立叶变换处理单元201计算出的谱强度计算每个频率的谱强度的平均值。在下文中,针对每个频率所获得的谱强度的平均值可以称为平均谱强度。
注意,可以使用各种现有方法来计算平均谱强度,并且将省略其描述。
滤波器确定单元203确定滤波器尺寸及其数量(滤波器的数量)。滤波器确定单元203基于关于频谱的信息来确定滤波器尺寸和滤波器的数量。
滤波器确定单元203基于序列长度T和频率fi确定滤波器尺寸。例如,滤波器确定单元203使用以下公式(5)来计算滤波器尺寸。
滤波器尺寸S=T/(n×fi)...(5)
注意,标号n指示变量,并且例如是自然数。变量n可以适当地改变。滤波器确定单元203确定与序列长度T成正比并且与频率fi成反比的滤波器尺寸S。
信息处理装置1使用大滤波器来捕获全局波(低频波)的特性,并使用小滤波器来捕获局部波(高频波)的特性。这使得可以有效地捕获低频波的特性和高频波的特性中的每一个。注意,可以适当地改变和使用用于计算滤波器尺寸S的上述公式(5)。
此外,滤波器确定单元203根据频率的强度确定要使用的滤波器的数量(滤波器的数量)。
例如,滤波器确定单元203使用以下公式(6)来确定滤波器的数量。
滤波器的数量k=K×|ci|…(6)
注意,K为滤波器总数,并且假设每个频率的强度u为u=[|c0|,...,|c(N-1)|]。
序列的波通常包括多个分量。为了容易地捕获以上中的主波,信息处理装置1设置尺寸适合于捕获这样的波的更多滤波器。
例如,当假设滤波器的总数为128(K=128),在频率“2”的强度为0.75,频率“10”的强度为0.25,并且另一频率的强度为零的情况下,滤波器确定单元203如下所述地确定滤波器尺寸和滤波器的数量。
尺寸“T/(2×2)”的“96(=128×0.75)”个滤波器
尺寸“T/(2×10)”的“32(=128×0.25)”个滤波器
注意,如下地表示强度u。
||u||2=1
此外,不考虑常数分量,并且可以适当调整向下取整和向上取整。注意,可以适当地改变和使用用于计算滤波器的数量k的上述公式(6)。
图3是例示了作为实施方式的示例的信息处理装置1的硬件配置的图。
信息处理装置1包括例如处理器11、存储器12、储存装置13、图形处理装置14、输入接口15、光驱装置16、装置连接接口17和网络接口18作为组件。这些组件11至18被配置为能够经由总线19彼此通信。
处理器11是控制整个信息处理装置1的控制单元。处理器11可以是多处理器。处理器11可以是例如以下中的任意一种:中央处理单元(CPU)、微处理单元(MPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑器件(PLD)和现场可编程门阵列(FPGA)。此外,处理器11可以是CPU、MPU、DSP、ASIC、PLD、FPGA中的两种以上元件的组合。
然后,可以通过由处理器11执行控制程序(信息处理程序:未示出)来实现作为图1所示的迁移源数据集选择单元100和滤波器设置单元200的功能。
注意,信息处理装置1例如通过执行计算机可读非暂时记录介质中记录的程序(信息处理程序,OS程序)来实现迁移源数据集选择单元100和滤波器设置单元200的功能。
描述了信息处理装置1要执行的处理内容的程序可以记录在各种记录介质中。例如,信息处理装置1要执行的程序可以存储在储存装置13中。处理器11将储存装置13中的至少一部分程序加载到存储器12上并执行加载的程序。
此外,信息处理装置1(处理器11)要执行的程序可以记录在诸如光盘16a、存储装置17a或存储卡17c之类的非暂时性便携式记录介质上。例如通过来自处理器11的控制,存储在便携式记录介质中的程序可以在安装在储存装置13中之后执行。此外,处理器11可以直接从便携式记录介质中读取和执行程序。
存储器12是包括只读存储器(ROM)和随机存取存储器(RAM)的储存存储器。存储器12的RAM用作信息处理装置1的主储存装置。RAM临时存储处理器11要执行的至少一部分程序。此外,存储器12存储处理器11进行处理所需的各种类型的数据。
储存装置13是诸如硬盘驱动器(HDD)、固态驱动器(SSD)或储存类存储器(SCM)之类的储存装置,并且存储各种类型的数据。储存装置13用作信息处理装置1的辅助储存装置。储存装置13存储OS程序、控制程序和各种类型的数据。控制程序包括信息处理程序。
注意,可以使用诸如SCM或闪存之类的半导体储存装置作为辅助储存装置。此外,可以通过使用多个储存装置13来形成廉价磁盘冗余阵列(RAID)。
此外,储存装置13可以存储当上述迁移源数据集选择单元100和滤波器设置单元200执行每个处理时生成的各种类型的数据。
例如,储存装置13可以存储由第一傅立叶变换处理单元101、类平均序列计算单元102、类间距离计算单元103、第二傅立叶变换处理单元201和平均谱强度计算单元202计算的计算结果。此外,储存装置13可以存储由迁移源数据集设置单元104设置的迁移源数据集Dsrc和由滤波器确定单元203确定的滤波器尺寸和滤波器的数量。
图形处理装置14连接至监视器14a。图形处理装置14根据来自处理器11的命令在监视器14a的屏幕上显示图像。监视器14a的示例包括使用阴极射线管(CRT)的显示装置、液晶显示装置等。
输入接口15连接至键盘15a和鼠标15b。输入接口15将从键盘15a和鼠标15b发送的信号传输给处理器11。注意,鼠标15b是指点装置的一个示例,并且也可以使用另一指点装置。另一指点装置的示例包括触摸面板、平板电脑、触摸板、轨迹球等。
光驱装置16通过使用激光等读取光盘16a上记录的数据。光盘16a是具有通过光反射以可读方式记录的数据的非暂时性便携式记录介质。光盘16a的示例包括数字通用盘(DVD)、DVD-RAM、压缩盘只读存储器(CD-ROM)、可记录(R)/可重写(RW)CD等。
装置连接接口17是用于将外围装置连接至信息处理装置1的通信接口。例如,装置连接接口17可以连接到存储装置17a和存储读取器/写入器17b。存储装置17a是具有与装置连接接口17的通信功能的非暂时性记录介质,并且例如是通用串行总线(USB)存储器。存储器读取器/写入器17b向存储卡17c写入数据或从存储卡17c读取数据。存储卡17c是卡型非暂时性记录介质。
网络接口18连接至网络。网络接口18经由网络发送和接收数据。其它信息处理装置、通信装置等可以连接至网络。
(B)操作
图4是用于说明作为实施方式的示例的信息处理装置1的迁移学习的图。
迁移源数据集选择单元100从迁移源数据存储库(迁移源数据集)(参见标号P1)中所存储的多个数据集当中选择迁移源数据集Dsrc。
滤波器设置单元200设置CNN中的卷积滤波器(参见标号P2)。在CNN中,使用所设置的卷积滤波器提取迁移源数据集Dsrc(序列)的特征,并用于学习机器学习模型f(x;w^)。
注意,标号w^指示迁移目的地模型参数的初始值并且假设表示带有帽子(阁楼)的w。
以此方式学习的机器学习模型f(x;w^)被迁移(参见标号P3),并使用迁移目的地数据集Dtar进行重新学习(参考标号P4)。以此方式学习的机器学习模型f(x;w^)用于商业预测等中。
接下来,将参照图5所示的流程图(步骤A1至A5)描述作为实施方式的示例的信息处理装置1中的迁移源数据集选择单元100的处理。
在迁移源数据集选择单元100中,第一傅立叶变换处理单元101通过FFT将所有数据集中的所有序列傅立叶变换成频谱(步骤A1)。
类平均序列计算单元102获得包括于所有数据集中的每个类的平均序列作为频谱强度的平均值(步骤A2)。
类间距离计算单元103基于谱强度之间的内积,计算由类平均序列计算单元102计算出的平均序列之间的距离(步骤A3)。
迁移源数据集设置单元104计算迁移目的地数据集的每个类与每个迁移源数据集的每个类之间的每个相似度(步骤A4)。
此外,迁移源数据集设置单元104针对迁移目的地的每个类,选择具有最短类间距离的类(也就是说,例如最相似迁移源数据集的类(最相似迁移源类))。然后,迁移源数据集设置单元104将针对迁移目的地数据集的每个类所选择的最相似迁移源类全部组合在一起,并生成迁移源数据集(步骤A5)。此后,处理结束。
接下来,将参照图6所示的流程图(步骤B1至B3)描述作为实施方式的示例的信息处理装置1中的滤波器设置单元200的处理。
第二傅立叶变换处理单元201通过FFT将迁移源数据集选择单元100所选择的迁移源数据集中的全部序列傅立叶变换为频谱(谱强度)(步骤B1)。
平均谱强度计算单元202基于由第二傅立叶变换处理单元201计算出的谱强度,计算每个频率的谱强度的平均值(步骤B2)。
此后,滤波器确定单元203确定滤波器尺寸和滤波器的数量(步骤B3)并终止处理。
(C)效果
如上所述,根据作为实施方式的示例的信息处理装置1,第一傅立叶变换处理单元101通过FFT将全部数据集中的全部序列傅立叶变换成频谱。然后,类平均序列计算单元102通过计算频谱强度的平均值来获得包括包括于全部数据集中的每个类的平均序列。
因此,无需计算需要高计算成本的DBA,就能够以低成本计算每个类的平均序列。
此外,类间距离计算单元103基于谱强度之间的内积计算由类平均序列计算单元102计算出的平均序列之间的距离。因此,无需计算需要高计算成本的DTW,就能够以低成本计算每个类间距离。
也就是说,例如,信息处理装置1能够缩短选择迁移源数据集所需的时间。此外,这使得可以高效地执行迁移学习。
在此,仿真结果显示为通过准备10个数据集作为迁移目的地数据集来执行。
每条数据具有300个样本、三个类并且序列长度为256。在这种条件下执行的仿真中,使用典型方法选择迁移源数据集的处理需要726秒,而利用信息处理装置1处理需要0.085秒。该处理能够在典型方法的时间的大约0.01%的时间内完成。
此外,迁移源数据集设置单元104计算迁移目的地数据集的每个类与每个迁移源数据集的每个类之间的每个相似度,并针对迁移目的地数据集的每个类选择具有高相似度的迁移源数据集的类。然后,迁移源数据集设置单元104将这些类组合在一起并生成迁移源数据集。
结果,由于与迁移目的地数据集的每个类相似的类被设置为迁移源,因此能够提高迁移学习后的分析精度。此外,这使得可以高效地执行迁移学习。
图7是例示了作为实施方式的示例的信息处理装置1进行的迁移学习的效果的图。
在图7中,例示了使用UCR数据存储库中的60个数据集验证迁移效果的结果。如图7所示,根据信息处理装置1,与没有迁移学习(无迁移)和典型的迁移学习方法的情况相比,提高了中间准确度的分析准确度。
此外,第二傅立叶变换处理单元201通过FFT将迁移源数据集选择单元100所选择的迁移源数据集中的全部序列傅立叶变换为频谱(谱强度)。此外,平均谱强度计算单元202基于计算出的谱强度计算每个频率的谱强度的平均值。
然后,滤波器确定单元203基于上述公式(5)确定与序列长度T成正比并且与频率fi成反比的滤波器尺寸S。以此方式,能够根据频谱信息(序列长度T和频率fi)确定合适的滤波器尺寸。此外,滤波器确定单元203根据频率的强度确定滤波器的数量。
以此方式,滤波器确定单元203确定滤波器尺寸和滤波器的数量,以生成适当地捕获包括多个频率的序列的特征的卷积滤波器。此外,这使得可以高效地执行迁移学习。
图8是例示了作为实施方式的示例的信息处理装置1进行的迁移学习的效果的图。
在图8中,例示了使用UCR数据存储库中的60个数据集的仿真结果。在8图中,例示了使用由信息处理装置1所设置的滤波器尺寸“混合”的卷积滤波器的结果。
例示了神经网络(NN)架构使用三层CNN的示例,并且仅调整对精度影响较大的CNN的第一层中的卷积滤波器的尺寸。
此外,在信息处理装置1所设置的混合中,为了方便起见,一半滤波器的尺寸被设置为T/2fd,并且另一半被设置为16。注意,标号T指示序列长度,并且标号fd指示具有最大强度的频率。
在图7所示的示例中,与典型迁移学习方法中的每个滤波器尺寸(T/f、T/2f、16、8、3)相比,准确度平均值和中间准确度的分析准确度得到提高。
(D)其它
所公开的技术不限于上述实施方式,并且在不脱离本实施方式的要旨的情况下可以进行各种修改。可以根据需要选择或省略本实施方式的每个配置和每个处理,或者可以适当地组合本实施方式的每个配置和每个处理。
例如,在上述实施方式中,信息处理装置1包括迁移源数据集选择单元100和滤波器设置单元200。然而,实施方式不限于此。
除了迁移源数据集选择单元100和滤波器设置单元200之外,信息处理装置1可以实现例如使用通过迁移学习已经学习的机器学习模型的预测计算处理。
此外,本实施方式可以由本领域技术人员根据上述公开内容实现和制造。
本文中提供的所有示例和条件语言旨在帮助读者理解本发明和发明人为推动本领域所贡献的概念的示教目的,不应被解释为对这些具体引用的示例和条件的限制,说明书中这些示例的组织也不涉及对本发明优劣的展示。尽管已经详细描述了本发明的一个或更多个实施方式,但是应当理解,在不脱离本发明的精神和范围的情况下,可以对所述实施方式进行各种改变、替换和变更。
Claims (15)
1.一种存储信息处理程序的非暂时性计算机可读记录介质,该信息处理程序用于使计算机执行处理,该处理包括:
将迁移目的地数据集的多个类中的每个类内所包括的每个数据和多个迁移源数据集候选的多个类中的每个类内所包括的每个数据转换为频谱;
计算所述迁移目的地数据集的每个类中所包括的数据的谱强度的平均值以及所述多个迁移源数据集候选的所述多个类中所包括的数据的谱强度的每个平均值;
针对所述多个迁移源数据集候选的所述多个类中的每个类,通过使用所述迁移目的地数据集的每个类中所包括的数据的谱强度与所述多个迁移源数据集候选的所述多个类中所包括的数据的谱强度的内积来计算与所述迁移目的地数据集的所述多个类的相似度;以及
基于计算出的相似度,从所述多个迁移源数据集候选当中确定与所述迁移目的地数据集的每个类最相似的迁移源数据集。
2.根据权利要求1所述的存储信息处理程序的非暂时性计算机可读记录介质,所述处理还包括:
通过使用与所述频谱有关的信息来确定卷积神经网络中的滤波器尺寸和滤波器的数量。
3.根据权利要求2所述的存储信息处理程序的非暂时性计算机可读记录介质,其中,
确定所述滤波器尺寸的处理被配置为通过所述数据的数据长度和频率来确定滤波器尺寸。
4.根据权利要求3所述的存储信息处理程序的非暂时性计算机可读记录介质,其中,
确定所述滤波器尺寸的处理被配置为确定与所述数据的数据长度成正比并且与所述频率成反比的滤波器尺寸。
5.根据权利要求2所述的存储信息处理程序的非暂时性计算机可读记录介质,其中,
确定所述滤波器的数量的处理被配置为通过使用频率的强度来确定所述滤波器的数量。
6.一种信息处理装置,该信息处理装置包括:
存储器;
硬件处理器,该硬件处理器联接至所述存储器,该硬件处理器被配置为执行处理,该处理包括:
将迁移目的地数据集的多个类中的每个类内所包括的每个数据和多个迁移源数据集候选的多个类中的每个类内所包括的每个数据转换为频谱;
计算所述迁移目的地数据集的每个类中所包括的数据的谱强度的平均值以及所述多个迁移源数据集候选的所述多个类中所包括的数据的谱强度的每个平均值;
针对所述多个迁移源数据集候选的所述多个类中的每个类,通过使用所述迁移目的地数据集的每个类中所包括的数据的谱强度与所述多个迁移源数据集候选的所述多个类中所包括的数据的谱强度的内积来计算与所述迁移目的地数据集的所述多个类的相似度;以及
基于计算出的相似度,从所述多个迁移源数据集候选当中确定与所述迁移目的地数据集的每个类最相似的迁移源数据集。
7.根据权利要求6所述的信息处理装置,所述处理还包括:
基于与所述频谱有关的信息来确定卷积神经网络中的滤波器尺寸和滤波器的数量。
8.根据权利要求7所述的信息处理装置,其中,
确定所述滤波器尺寸的处理被配置为通过所述数据的数据长度和频率来确定滤波器尺寸。
9.根据权利要求8所述的信息处理装置,其中,
确定所述滤波器尺寸的处理被配置为确定与所述数据的数据长度成正比并且与所述频率成反比的滤波器尺寸。
10.根据权利要求7所述的信息处理装置,其中,
确定所述滤波器的数量的处理被配置为通过使用频率的强度来确定所述滤波器的数量。
11.一种基于计算机的信息处理方法,该信息处理方法包括以下步骤:
将迁移目的地数据集的多个类中的每个类内所包括的每个数据和多个迁移源数据集候选的多个类中的每个类内所包括的每个数据转换为频谱;
计算所述迁移目的地数据集的每个类中所包括的数据的谱强度的平均值以及所述多个迁移源数据集候选的所述多个类中所包括的数据的谱强度的每个平均值;
针对所述多个迁移源数据集候选的所述多个类中的每个类,通过使用所述迁移目的地数据集的每个类中所包括的数据的谱强度与所述多个迁移源数据集候选的所述多个类中所包括的数据的谱强度的内积来计算与所述迁移目的地数据集的所述多个类的相似度;以及
基于计算出的相似度,从所述多个迁移源数据集候选当中确定与所述迁移目的地数据集的每个类最相似的迁移源数据集。
12.根据权利要求11所述的基于计算机的信息处理方法,该方法还包括以下步骤:
通过使用与所述频谱有关的信息来确定卷积神经网络中的滤波器尺寸和滤波器的数量。
13.根据权利要求12所述的基于计算机的信息处理方法,其中,
确定所述滤波器尺寸的步骤被配置为通过所述数据的数据长度和频率来确定滤波器尺寸。
14.根据权利要求13所述的基于计算机的信息处理方法,其中,
确定所述滤波器尺寸的步骤被配置为确定与所述数据的数据长度成正比并且与所述频率成反比的滤波器尺寸。
15.根据权利要求12所述的基于计算机的信息处理方法,其中,
确定所述滤波器的数量的步骤被配置为通过使用频率的强度来确定所述滤波器的数量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020170322A JP2022062362A (ja) | 2020-10-08 | 2020-10-08 | 情報処理プログラム,情報処理装置および情報処理方法 |
JP2020-170322 | 2020-10-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114298266A true CN114298266A (zh) | 2022-04-08 |
Family
ID=76829309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110853825.8A Pending CN114298266A (zh) | 2020-10-08 | 2021-07-27 | 计算机可读记录介质、信息处理装置及信息处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220114443A1 (zh) |
EP (1) | EP3992860A1 (zh) |
JP (1) | JP2022062362A (zh) |
CN (1) | CN114298266A (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7353215B2 (en) | 2001-05-07 | 2008-04-01 | Health Discovery Corporation | Kernels and methods for selecting kernels for use in learning machines |
JP6543066B2 (ja) | 2015-03-30 | 2019-07-10 | 株式会社メガチップス | 機械学習装置 |
US11699522B2 (en) | 2018-04-27 | 2023-07-11 | Tata Consultancy Services Limited | Unified platform for domain adaptable human behaviour inference |
-
2020
- 2020-10-08 JP JP2020170322A patent/JP2022062362A/ja not_active Withdrawn
-
2021
- 2021-07-06 EP EP21183954.3A patent/EP3992860A1/en not_active Withdrawn
- 2021-07-12 US US17/372,730 patent/US20220114443A1/en active Pending
- 2021-07-27 CN CN202110853825.8A patent/CN114298266A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220114443A1 (en) | 2022-04-14 |
EP3992860A1 (en) | 2022-05-04 |
JP2022062362A (ja) | 2022-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10839315B2 (en) | Method and system of selecting training features for a machine learning algorithm | |
US11366999B2 (en) | Information processing device and information processing method | |
JP2019008778A (ja) | 画像の領域のキャプション付加 | |
US20130232097A1 (en) | Continuous-weight neural networks | |
WO2016170965A1 (ja) | オブジェクト検出方法及び画像検索システム | |
JP7461699B2 (ja) | 人工知能の透明性 | |
US20190362226A1 (en) | Facilitate Transfer Learning Through Image Transformation | |
US20210304364A1 (en) | Method and system for removing noise in documents for image processing | |
US11880411B2 (en) | Named entity recognition in search queries | |
CN112668607A (zh) | 一种用于目标物体触觉属性识别的多标签学习方法 | |
US11164658B2 (en) | Identifying salient features for instances of data | |
US20200257999A1 (en) | Storage medium, model output method, and model output device | |
CN114298266A (zh) | 计算机可读记录介质、信息处理装置及信息处理方法 | |
US11575589B2 (en) | Network traffic rule identification | |
JP5396977B2 (ja) | データ処理装置、データ処理方法およびプログラム | |
US20220138598A1 (en) | Reducing computational overhead involved with processing received service requests | |
CN114743187A (zh) | 银行安全控件自动登录方法、系统、设备及存储介质 | |
Lin et al. | Efficient shape classification using region descriptors | |
US11334607B2 (en) | Identifying key words within a plurality of documents | |
WO2019155579A1 (ja) | 特徴変換装置と方法及び記録媒体 | |
US20230012430A1 (en) | Storage medium, model generation method, and information processing apparatus | |
US20240231771A9 (en) | Method and apparatus for information processing | |
JP7505555B2 (ja) | 学習装置、学習方法及びプログラム | |
JP7075011B2 (ja) | 情報処理装置、パッチ適用確認システム、パッチ適用確認方法、およびパッチ適用確認プログラム | |
US20240119276A1 (en) | Explainable prediction models based on concepts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |