CN117597697A - 数据处理装置以及数据处理方法 - Google Patents

数据处理装置以及数据处理方法 Download PDF

Info

Publication number
CN117597697A
CN117597697A CN202180100032.7A CN202180100032A CN117597697A CN 117597697 A CN117597697 A CN 117597697A CN 202180100032 A CN202180100032 A CN 202180100032A CN 117597697 A CN117597697 A CN 117597697A
Authority
CN
China
Prior art keywords
intermediate data
learned
data
candidate
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180100032.7A
Other languages
English (en)
Inventor
峯泽彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN117597697A publication Critical patent/CN117597697A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

数据处理装置(10)包含：第1生成部(11A)，其生成由多个已学习输入数据(GND)和多个未学习输入数据(MND)构成的多个候选输入数据(KND)；第2生成部(11B)，其生成由已学习中间数据(GCD)和未学习中间数据构成的多个候选中间数据(KCD)；第1选择部(12A)，其选择多个候选中间数据(KCD)中的一个候选中间数据(KCD)，并且与选择中间数据(SCD)相比，更优先选择在第1学习之后的第2学习中使用时为异质的程度更大的一个候选中间数据(KCD)；以及第2选择部(12B)，其选择多个候选输入数据(KND)中的、与选择出的一个候选中间数据(KCD)对应的一个候选输入数据(KND)，以在第2学习时使用。

Description

数据处理装置以及数据处理方法
技术领域
本发明涉及数据处理装置以及数据处理方法。
背景技术
在作为上述的数据处理装置之一的专利文献1中记载的声音模型学习辅助装置中，在学习之后追加地进行再学习。
现有技术文献
专利文献
专利文献1：日本特开2016-161823号公报
发明内容
发明要解决的课题
但是，在上述的声音模型学习辅助装置中，在所述再学习时，使用在所述学习中使用的全部已学习数据。由此，存在如下课题：尽管是在已经进行了所述学习的范围内且不需要新进行所述再学习的范围内，但是有时仍进行所述再学习。
此外，在上述的声音模型学习辅助装置中，在所述再学习时，除了所述多个已学习数据以外，还新使用要追加到所述多个已学习数据中使用的多个候选数据中的、根据与所述多个已学习数据的关系(例如所述多个候选数据的中间特征量与所述多个已学习数据的中间特征量的关系)选择的候选数据。由此，还存在如下课题：尽管是在已经进行了所述学习的范围外且希望新进行所述再学习的范围内，但是有时仍不进行所述再学习。
本发明的目的在于，抑制在进行了所述学习的范围内且不需要进行所述再学习的范围内进行所述再学习、以及促进在进行了所述学习的范围外且希望进行所述再学习的范围内进行所述再学习中的至少一个。
用于解决课题的手段
为了解决上述的课题，本发明的数据处理装置包含：第1生成部，其将机器学习模型的第1学习中使用的多个已学习输入数据和所述第1学习中未使用的多个未学习输入数据汇总，由此生成多个候选输入数据；第2生成部，其将通过向所述机器学习模型输入所述多个已学习输入数据而被给予的已学习中间数据和通过向所述机器学习模型输入所述多个未学习输入数据而被给予的未学习中间数据汇总，由此生成多个候选中间数据；第1选择部，其选择所述多个候选中间数据中的一个候选中间数据，并且，与由已经选择出的已学习中间数据即选择已学习中间数据和已经选择出的未学习中间数据即选择未学习中间数据构成的选择中间数据相比，更优先选择在所述第1学习之后的第2学习中使用时为异质的程度更大的所述一个候选中间数据；以及第2选择部，其选择所述多个候选输入数据中的、与所述选择出的一个候选中间数据对应的一个候选输入数据，以在所述第2学习时使用。
发明效果
根据本发明的数据处理装置，能够抑制在进行了所述学习的范围内且不需要进行所述再学习的范围内进行所述再学习，此外，能够促进在进行了所述学习的范围外且希望进行所述再学习的范围内进行所述再学习。
附图说明
图1是实施方式的数据处理装置10的功能框图。
图2示出实施方式的机器学习模型KGM的结构。
图3示出实施方式的已学习输入数据GND和已学习中间数据GCD。
图4示出实施方式的未学习输入数据MND和未学习中间数据MCD。
图5示出实施方式的数据处理装置10的结构。
图6是示出实施方式的数据处理装置10的动作的流程图。
图7是实施方式的候选输入数据KND的状态转变图。
图8是实施方式的候选中间数据KCD的状态转变图(其一)。
图9是实施方式的候选中间数据KCD的状态转变图(其二)。
图10是实施方式的候选中间数据KCD的状态转变图(其三)。
图11是实施方式的候选中间数据KCD的状态转变图(其四)。
图12是实施方式的候选中间数据KCD的状态转变图(其五)。
图13是实施方式的候选中间数据KCD的状态转变图(其六)。
图14是实施方式的候选中间数据KCD的状态转变图(其七)。
图15是实施方式的候选中间数据KCD的状态转变图(其八)。
图16是示出变形例的数据处理装置10的动作的流程图。
具体实施方式
实施方式
〈实施方式〉
对本发明的数据处理装置的实施方式进行说明。
〈实施方式的结构〉
〈数据处理装置10的功能〉
图1是实施方式的数据处理装置10的功能框图。参照图1，说明实施方式的数据处理装置10的功能。
实施方式的数据处理装置10的目的在于，接受已学习输入数据GND、未学习输入数据MND、已学习中间数据GCD和未学习中间数据MCD的输入，输出机器学习模型KGM(图2中示出)的学习之后的再学习中使用的选择输入数据SND。为了该目的，数据处理装置10包含第1生成部11A、第2生成部11B、第1选择部12A、第2选择部12B和控制部13。
数据处理装置10与“数据处理装置10”对应，第1生成部11A与“第1生成部”对应，第2生成部11B与“第2生成部”对应，第1选择部12A与“第1选择部”对应，第2选择部12B与“第2选择部”对应。
已学习输入数据GND与“已学习输入数据”对应，未学习输入数据MND与“未学习输入数据”对应，已学习中间数据GCD与“已学习中间数据”对应，未学习中间数据MCD与“未学习中间数据”对应。
学习与“第1学习”对应，再学习与“第2学习”对应。
〈机器学习模型KGM的结构〉
图2示出实施方式的机器学习模型KGM的结构。
如图2所示，机器学习模型KGM包含众所周知的输入层NS、中间层CS和输出层SS。在机器学习模型KGM中，如以往已知的那样进行如下学习：输入层NS接受输入数据ND的输入，中间层CS根据所述输入数据ND生成中间数据CD，输出层SS根据所述中间数据CD生成输出数据SD。此时，在输入层NS、中间层CS、输出层SS由神经网络构成的情况下，分别由1个以上的神经网络层构成，具有各自独立的层数。
〈已学习输入数据GND和已学习中间数据GCD〉
图3示出实施方式的已学习输入数据GND和已学习中间数据GCD。
“已学习输入数据GND”(图1中也示出)是指为了使机器学习模型KGM学习而已经使用的输入数据ND(图2中示出)。
“已学习中间数据GCD”(图1中也示出)是指中间层CS响应于上述的已学习输入数据GND而生成的中间数据CD(图2中图示)。
另外，“已学习输出数据GSD”是指输出层SS响应于上述的已学习中间数据GCD而生成的输出数据SD(图2中示出)。
〈未学习输入数据MND和未学习中间数据MCD〉
图4示出实施方式的未学习输入数据MND和未学习中间数据MCD。
“未学习输入数据MND”是指虽然尚未为了使机器学习模型KGM学习而使用但是以试验性地得到未学习中间数据MCD为目的使用的输入数据ND(图2中示出)。
“未学习中间数据MCD”是指中间层CS响应于上述的未学习输入数据MND而生成的中间数据CD(图2中示出)。
另外，由于试验性地得到未学习中间数据MCD，因此，输出层SS不生成相当于已学习输出数据GSD(图3中示出)的输出数据SD(图2中示出)。
〈各部的功能〉
返回图1，对数据处理装置10的功能进行说明。
第1生成部11A将多个已学习输入数据GND和多个未学习输入数据MND汇总，由此生成多个候选输入数据KND。
第2生成部11B将多个已学习中间数据GCD和多个未学习中间数据MCD汇总，由此生成多个候选中间数据KCD。
第1选择部12A选择多个候选中间数据KCD中的一个候选中间数据KCD。详细而言，第1选择部12A与多个候选中间数据KCD中的多个选择中间数据SCD相比，更优先选择在上述的再学习中使用时为异质的程度更大的一个候选中间数据KCD。
“选择中间数据SCD”由选择已学习中间数据SGCD和选择未学习中间数据SMCD构成。
“选择已学习中间数据SGCD”是多个已学习中间数据GCD(图1中示出)中的、由第1选择部12A已经选择出的已学习中间数据GCD。
“选择未学习中间数据SMCD”是多个未学习中间数据MCD(图1中示出)中的、由第1选择部12A已经选择出的未学习中间数据MCD。
“在再学习中使用时为异质”例如是指在上述的再学习中使用时通过再学习获得的知识与在上述的学习中使用时通过学习获得的知识不同。
第2选择部12B选择由第1生成部11A生成的多个候选输入数据KND中的、与由第1选择部12A选择出的一个候选中间数据KCD对应的一个候选输入数据KND，作为选择输入数据SND，以在再学习中使用。
候选输入数据KND与“候选输入数据”对应，候选中间数据KCD与“候选中间数据”对应，选择中间数据SCD与“选择中间数据”对应，选择已学习中间数据SGCD与“选择已学习中间数据”对应，选择未学习中间数据SMCD与“选择未学习中间数据”对应。
控制部13进行数据处理装置10整体的动作的监视和控制。
〈数据处理装置10的结构〉
图5示出实施方式的数据处理装置10的结构。
为了实现上述的功能，如图5所示，数据处理装置10包含输入部N、处理器P、输出部S、存储介质K和存储器M。
输入部N例如由键盘、鼠标、触摸面板、摄像头、麦克风、扫描仪构成。处理器P是根据软件使硬件动作的众所周知的计算机的核心。输出部S例如由液晶监视器、打印机、触摸面板构成。存储器M例如由DRAM(Dynamic Random Access Memory：动态随机存取存储器)、SRAM(Static Random Access Memory：静态随机存取存储器)构成。存储介质K例如由硬盘驱动器(HDD：Hard Disk Drive)、固态驱动器(SSD：Solid State Drive)、ROM(Read OnlyMemory：只读存储器)构成。
存储介质K存储程序PR和数据库DB。程序PR是规定处理器P应该执行的处理的内容的命令组。数据库DB例如用于临时或永久地存储多个候选输入数据KND和多个候选中间数据KCD。
关于数据处理装置10中的功能与结构的关系，通过在硬件上，处理器P在存储器M上执行存储介质K中存储的程序PR，并且根据需要控制输入部N和输出部S的动作，且操作存储介质K中的数据库DB，实现第1生成部11A～控制部13的各部的功能。
〈实施方式的动作〉
图6是示出实施方式的数据处理装置10的动作的流程图。
图7是实施方式的候选输入数据KND的状态转变图。
图8～图15是实施方式的候选中间数据KCD的状态转变图。
参照图6的流程图、图7的候选输入数据KND的状态转变图和图8～图15的候选中间数据KCD的状态转变图，说明实施方式的数据处理装置10的动作。
〈第1次的处理〉
为了便于说明和理解，假设以下内容。但是，在本说明中，为了能够图示，对将中间数据CD的维度设为3的情况进行说明(图8～图15)。
(1A)预先准备有多个已学习输入数据GND、多个未学习输入数据MND、多个已学习中间数据GCD和多个未学习中间数据MCD。
(1B)多个已学习中间数据GCD和多个未学习中间数据MCD分布于图8所示的空间中。
(1C)预先存在3个选择中间数据SCD。更具体而言，如图9所示，选择多个候选中间数据KCD(图8中示出)中的已学习中间数据GCD(9)、GCD(12)、GCD(15)，作为选择中间数据SCD(9)、SCD(12)、SCD(15)而存在。
步骤ST11：作为第1生成部11A(图1中示出)，如图7所示，作为初始设定，处理器P(图5中示出)将多个已学习输入数据GND(1)～GND(15)和未学习输入数据MND(1)～MND(3)汇总，由此生成多个候选输入数据KND。
步骤ST12：作为第2生成部11B(图1中示出)，如图8所示，作为初始设定，处理器P将多个已学习中间数据GCD(1)～GCD(15)和多个未学习中间数据MCD(1)～MCD(3)汇总，由此生成多个候选中间数据KCD。
步骤ST13：作为第1选择部12A(图1中示出)，处理器P在除了选择中间数据SCD(9)、SCD(12)、SCD(15)以外的候选中间数据KCD中，分别计算距选择中间数据SCD的K附近距离。在此，K附近距离定义为对象数据与元近的K个选择中间数据SCD的距离(欧几里得距离、马氏距离等)之和或平均值。在本实施方式中，使用K附近距离，作为用于比较以数据筛选为目的的各数据的大小关系的尺度，因此，可以将K附近距离定义为与K个数据的距离之和，也可以定义为与K个数据的距离的平均值。以下，在本例子中，对距离为欧几里得距离且K＝3的情况进行说明。
如图10所示，第1选择部12A例如针对已学习中间数据GCD(8)计算以下距离。
(1-1-1)已学习中间数据GCD(8)与选择中间数据SCD(9)的距离KY(G8-S9)
(1-1-2)已学习中间数据GCD(8)与选择中间数据SCD(12)的距离KY(G8-S12)
(1-1-3)已学习中间数据GCD(8)与选择中间数据SCD(15)的距离KY(G8-S15)
(1-1-4)距离KY(G8-S9)、KY(G8-S12)和KY(G8-S15)的K附近距离KYav(G8)(未图示)
与上述同样地，如图10所示，第1选择部12A例如针对未学习中间数据MCD(2)计算以下距离。
(1-2-1)未学习中间数据MCD(2)与选择中间数据SCD(9)的距离KY(M2-S9)
(1-2-2)未学习中间数据MCD(2)与选择中间数据SCD(12)的距离KY(M2-S12)
(1-2-3)未学习中间数据MCD(2)与选择中间数据SCD(15)的距离KY(M2-S15)
(1-2-4)距离KY(M2-S9)、KY(M2-S12)和KY(M2-S15)的K附近距离KYav(M2)(未图示)
与上述同样地，如图10所示，第1选择部12A例如针对已学习中间数据GCD(6)计算以下距离。
(1-3-1)已学习中间数据GCD(6)与选择中间数据SCD(9)的距离KY(G6-S9)
(1-3-2)已学习中间数据GCD(6)与选择中间数据SCD(12)的距离KY(G6-S12)
(1-3-3)已学习中间数据GCD(6)与选择中间数据SCD(15)的距离KY(G6-S15)
(1-3-4)距离KY(G6-S9)、KY(G6-S12)和KY(G6-S15)的K附近距离KYav(G6)(未图示)
第1选择部12A同样地针对剩余的候选中间数据KCD，计算距选择中间数据SCD的K附近距离。然后，选择具有候选中间数据KCD各自的K附近距离KYav中的最大的K附近距离KYav的候选中间数据KCD。
在此，如图11所示，例如假设第1选择部12A选择了已学习中间数据GCD(6)。
步骤ST14：如图7所示，作为第1次，第2选择部12B选择多个候选输入数据KND中的、与由第1选择部12A选择出的已学习中间数据GCD(6)即选择已学习中间数据SGCD(6)对应的已学习输入数据GND(6)，作为选择输入数据SND(图1中示出)。
步骤ST15：作为控制部13(图1中示出)，处理器P判断是否满足条件。“条件”例如是指完成准备预先确定的个数的选择输入数据SND、或者完成选择具有超过针对K附近距离KYav预先确定的阈值的K附近距离KYav的全部候选中间数据KCD。
在满足条件时，处理经过“是”而结束，另一方面，在不满足条件时，处理经过“否”而返回步骤ST13。
在此，假设不满足条件。
〈第2次的处理〉
步骤ST13：第1选择部12A计算除了4个选择中间数据SCD(6)、SCD(9)、SCD(12)、SCD(15)以外的候选中间数据KCD各自与4个选择中间数据SCD的K附近距离。
以下，如图12所示，例如针对已学习中间数据GCD(2)、未学习中间数据MCD(2)和已学习中间数据GCD(1)，假设以下内容。
(2A)在已学习中间数据GCD(2)中，3个选择中间数据SCD(6)、SCD(12)、SCD(15)的距离最近。
(2B)在未学习中间数据MCD(2)中，3个选择中间数据SCD(9)、SCD(12)、SCD(15)的距离最近。
(2C)在已学习中间数据GCD(1)中，3个选择中间数据SCD(6)、SCD(9)、SCD(12)的距离最近。
与上述同样地，如图12所示，第1选择部12A例如针对已学习中间数据GCD(2)计算以下距离。针对在第1次的处理中计算出的距离，也可以预先存储第1次的处理结果并直接使用，以代替该计算。
(2-3-1)已学习中间数据GCD(2)与选择中间数据SCD(6)的距离KY(G2-S6)
(2-3-2)已学习中间数据GCD(2)与选择中间数据SCD(12)的距离KY(G2-S12)
(2-3-3)已学习中间数据GCD(2)与选择中间数据SCD(15)的距离KY(G2-S15)
(2-3-4)距离KY(G2-S6)、KY(G2-S12)和KY(G2-S15)的K附近距离KYav(G2)(未图示)
与上述同样地，如图12所示，第1选择部12A例如针对未学习中间数据MCD(2)计算以下距离。针对在第1次的处理中计算出的距离，也可以预先存储第1次的处理结果并直接使用，以代替该计算。
(2-2-1)未学习中间数据MCD(2)与选择中间数据SCD(9)的距离KY(M2-S9)
(2-2-2)未学习中间数据MCD(2)与选择中间数据SCD(12)的距离KY(M2-S12)
(2-2-3)未学习中间数据MCD(2)与选择中间数据SCD(15)的距离KY(M2-S15)
(2-2-4)距离KY(M2-S9)、KY(M2-S12)和KY(M2-S15)的K附近距离KYav(M2)(未图示)
与上述同样地，如图12所示，第1选择部12A例如针对已学习中间数据GCD(1)计算以下距离。针对在第1次的处理中计算出的距离，也可以预先存储第1次的处理结果并直接使用，以代替该计算。
(2-1-1)已学习中间数据GCD(1)与选择中间数据SCD(6)的距离KY(G1-S6)
(2-1-2)已学习中间数据GCD(1)与选择中间数据SCD(9)的距离KY(G1-S9)
(2-1-3)已学习中间数据GCD(1)与选择中间数据SCD(12)的距离KY(G1-S12)
(2-1-4)距离KY(G1-S6)、KY(G1-S9)和KY(G1-S12)的K附近距离KYav(G1)(未图示)
第1选择部12A同样地针对剩余的候选中间数据KCD，计算距选择中间数据SCD的K附近距离。然后，选择具有候选中间数据KCD各自的K附近中的最大的K附近距离KYav的候选中间数据KCD。
在此，如图13所示，例如假设第1选择部12A选择了未学习中间数据MCD(2)。
步骤ST14：如图7所示，第2选择部12B选择多个候选输入数据KND中的、与由第1选择部12A选择出的未学习中间数据MCD(2)即选择未学习中间数据SMCD(2)对应的未学习输入数据MND(2)，作为选择输入数据SND(图1中示出)。
步骤ST15：控制部13判断是否满足条件。
在此，假设不满足条件。处理经过“否”，再次返回步骤ST13。
〈第3次的处理〉
步骤ST13：第1选择部12A计算除了5个选择中间数据SCD(2)、SCD(6)、SCD(9)、SCD(12)、SCD(15)以外的全部候选中间数据KCD各自与5个选择中间数据SCD的K附近距离。
以下，如图14所示，例如针对已学习中间数据GCD(2)、GCD(3)、GCD(1)，假设以下内容。
(3A)在已学习中间数据GCD(2)中，3个选择中间数据SCD(6)、SCD(12)、SCD(15)的距离最近。
(3B)在已学习中间数据GCD(3)中，3个选择中间数据SCD(2)、SCD(9)、SCD(15)的距离最近。
(3C)在已学习中间数据GCD(1)中，3个选择中间数据SCD(6)、SCD(9)、SCD(12)的距离最近。
如图14所示，第1选择部12A例如针对已学习中间数据GCD(2)计算以下距离。针对在第1次～第2次的处理中计算出的距离，也可以预先存储第1次～第2次的处理结果并直接使用，以代替该计算。
(3-3-1)已学习中间数据GCD(2)与选择中间数据SCD(6)的距离KY(G2-S6)
(3-3-2)已学习中间数据GCD(2)与选择中间数据SCD(12)的距离KY(G2-S12)
(3-3-3)已学习中间数据GCD(2)与选择中间数据SCD(15)的距离KY(G2-S15)
(3-3-4)距离KY(G2-S6)、KY(G2-S12)和KY(G2-S15)的K附近距离KYav(G2)(未图示)
与上述同样地，如图1所示，第1选择部12A例如针对已学习中间数据GCD(3)计算以下距离。针对在第1次～第2次的处理中计算出的距离，也可以预先存储第1次～第2次的处理结果并直接使用，以代替该计算。
(3-2-1)已学习中间数据GCD(3)与选择中间数据SCD(2)的距离KY(G3-S2)
(3-2-2)已学习中间数据GCD(3)与选择中间数据SCD(9)的距离KY(G3-S9)
(3-2-3)已学习中间数据GCD(3)与选择中间数据SCD(15)的距离KY(G3-S15)
(3-2-4)距离KY(G3-S2)、KY(G3-S9)和KY(G3-S15)的K附近距离KYav(G3)(未图示)
与上述同样地，如图14所示，第1选择部12A例如针对已学习中间数据GCD(1)计算以下距离。针对在第1次～第2次的处理中计算出的距离，也可以预先存储第1次～第2次的处理结果并直接使用，以代替该计算。
(3-1-1)已学习中间数据GCD(1)与选择中间数据SCD(6)的距离KY(G1-S6)
(3-1-2)已学习中间数据GCD(1)与选择中间数据SCD(9)的距离KY(G1-S9)
(3-1-3)已学习中间数据GCD(1)与选择中间数据SCD(12)的距离KY(G1-S12)
(3-1-4)距离KY(G1-S6)、KY(G1-S9)和KY(G1-S12)的K附近距离KYav(G1)(未图示)
第1选择部12A同样地针对剩余的候选中间数据KCD，计算距选择中间数据SCD的K附近距离。然后，选择具有候选中间数据KCD各自的K附近距离KYav的候选中间数据KCD。
在此，如图15所示，例如假设第1选择部12A选择了已学习中间数据GCD(14)。
步骤ST14：如图7所示，第2选择部12B选择多个候选输入数据KND中的、与由第1选择部12A选择出的已学习中间数据GCD(14)即选择已学习中间数据SGCD(14)对应的已学习输入数据GND(14)，作为选择输入数据SND(图1中示出)。
数据处理装置10与上述同样地进行第4次处理、第5次处理、……。
〈实施方式的效果〉
如上所述，在实施方式的数据处理装置10中，第1选择部12A选择距最近的3个选择中间数据SCD的K附近距离KYav最大的候选中间数据KCD，换言之，选择在再学习中使用时为异质的程度更大的候选中间数据KCD。
在所述选择之后，第2选择部12B选择包含已学习输入数据GND和未学习输入数据MND在内的候选输入数据KND中的、与所述选择出的候选中间数据KCD对应的候选输入数据KND，作为选择输入数据SND，以用于再学习。
由此，能够抑制在进行了学习的范围内且不需要进行再学习的范围内进行再学习，此外，能够促进在进行了学习的范围外且希望进行再学习的范围内进行再学习。
关于第2选择部12B对候选中间数据KCD的选择，例如优选多个选择已学习中间数据SGCD的个数与多个选择未学习中间数据SMCD的个数的比率和多个已学习中间数据GCD的个数与多个未学习中间数据MCD的个数的比率大致相等。
变形例.
〈变形例〉
对实施方式的数据处理装置10的变形例进行说明。
变形例的数据处理装置10与使用4种数据即已学习输入数据GND、已学习中间数据GCD、未学习输入数据MND和未学习中间数据MCD的实施方式的数据处理装置10不同，仅使用后半部分的2种数据即未学习输入数据MND和未学习中间数据MCD。
因此，在变形例的数据处理装置10中，与实施方式的数据处理装置10不同，仅多个未学习输入数据MND构成多个候选输入数据KND，同样地，仅多个未学习中间数据MCD构成多个候选中间数据KCD。换言之，与实施方式的数据处理装置10不同，不需要生成多个候选输入数据KND，此外，也不需要生成多个候选中间数据KCD。
〈变形例的动作〉
图16是示出变形例的数据处理装置10的动作的流程图。
参照图16的流程图，说明变形例的数据处理装置10的动作。
〈第1次的处理〉
步骤ST21：作为第1选择部12A(图1中示出)，处理器P(图5中示出)进行与实施方式的步骤ST13(第1次)相同的处理，但是，与实施方式的步骤ST13(第1次)不同，选择仅由多个未学习中间数据MCD构成的多个候选中间数据KCD中的例如未学习中间数据MCD(2)(图8中图示)。在该情况下，其目的在于，以较少的数据数量的学习获得与通过使用全部未学习输入数据MND学习而获得的知识接近的知识。另一方面，针对为了选择未学习中间数据而计算的K附近距离，也可以设为距除了选择中间数据SCD以外还加上已学习中间数据GCD而得到的数据的K附近距离。在该情况下，其目的在于，优先选择具有与通过已学习输入数据GND的学习而获得的知识不同的知识的未学习中间数据MCD，作为再学习数据。
步骤ST22：作为第2选择部12B(图1中示出)，处理器P选择仅由多个未学习输入数据MND构成的多个候选输入数据KND中的、与所述选择出的未学习中间数据MCD(2)对应的未学习输入数据MND(2)。
步骤ST23：作为控制部13(图1中示出)，处理器P判断是否满足条件。
在此，假设不满足条件。处理经过“否”，再次返回步骤ST21。
〈第2次的处理〉
步骤ST21：第1选择部12A进行与实施方式的步骤ST13(第2次)相同的处理，但是，与实施方式的步骤ST13(第2次)不同，选择仅由多个未学习中间数据MCD构成的多个候选中间数据KCD中的例如未学习中间数据MCD(1)(图8中图示)。
步骤ST22：第2选择部12B选择仅由多个未学习输入数据MND构成的多个候选输入数据KND中的、与所述选择出的未学习中间数据MCD(1)对应的未学习输入数据MND(1)。
步骤ST23：控制部13判断是否满足条件。
在此，假设不满足条件，处理再次返回步骤ST21。
〈第3次的处理〉
步骤ST21：第1选择部12A进行与实施方式的步骤ST13(第3次)相同的处理，但是，与实施方式的步骤ST13(第3次)不同，选择仅由多个未学习中间数据MCD构成的多个候选中间数据KCD中的例如未学习中间数据MCD(3)(图8中图示)。
步骤ST22：第2选择部12B选择仅由多个未学习输入数据MND构成的多个候选输入数据KND中的、与所述选择出的未学习中间数据MCD(1)对应的未学习输入数据MND(3)。
步骤ST23：控制部13判断是否满足条件。
在此，假设不满足条件，处理再次返回步骤ST21。
变形例的数据处理装置10与上述同样地进行第4次处理、第5次处理、……。
〈变形例的效果〉
在变形例的数据处理装置10中，也与实施方式的数据处理装置10大致同样地，能够抑制在不需要进行再学习的范围内进行再学习，此外，能够促进在希望进行再学习的范围内进行再学习。
也可以在不脱离本发明主旨的范围内，适当地删除、变更实施方式中的结构要素，或者追加其他结构要素。
本发明的数据处理装置例如能够用于选择在使机器学习模型再学习时使用的输入数据。
标号说明
10：数据处理装置；11A：第1生成部；11B：第2生成部；12A：第1选择部；12B：第2选择部；13：控制部；CD：中间数据；CS：中间层；DB：数据库；GCD：已学习中间数据；GND：已学习输入数据；GSD：已学习输出数据；K：存储介质；KCD：候选中间数据；KGM：机器学习模型；KND：候选输入数据；KY：距离；KYav：K附近距离；M：存储器；MCD：未学习中间数据；MND：未学习输入数据；N：输入部；ND：输入数据；NS：输入层；P：处理器；PR：程序；S：输出部；SCD：选择中间数据；SD：输出数据；SGCD：选择已学习中间数据；SMCD：选择未学习中间数据；SND：选择输入数据；SS：输出层。

Claims (6)

1.一种数据处理装置，其中，该数据处理装置包含：
第1生成部，其将机器学习模型的第1学习中使用的多个已学习输入数据和所述第1学习中未使用的多个未学习输入数据汇总，由此生成多个候选输入数据；
第2生成部，其将通过向所述机器学习模型输入所述多个已学习输入数据而被给予的已学习中间数据和通过向所述机器学习模型输入所述多个未学习输入数据而被给予的未学习中间数据汇总，由此生成多个候选中间数据；
第1选择部，其选择所述多个候选中间数据中的一个候选中间数据，并且，与由已经选择出的已学习中间数据即选择已学习中间数据和已经选择出的未学习中间数据即选择未学习中间数据构成的选择中间数据相比，更优先选择在所述第1学习之后的第2学习中使用时为异质的程度更大的所述一个候选中间数据；以及
第2选择部，其选择所述多个候选输入数据中的、与所述选择出的一个候选中间数据对应的一个候选输入数据，以在所述第2学习时使用。
2.一种数据处理装置，其中，该数据处理装置包含：
第1选择部，其选择通过向机器学习模型输入该机器学习模型的第1学习中未使用的多个未学习输入数据而被给予的未学习中间数据即多个候选中间数据中的一个候选中间数据，并且，与作为已经选择出的未学习中间数据的选择未学习中间数据即选择中间数据相比，更优先选择在所述第1学习之后的第2学习中使用时为异质的程度更大的所述一个候选中间数据；以及
第2选择部，其选择所述多个未学习输入数据即多个候选输入数据中的、与所述选择出的一个候选中间数据对应的一个候选输入数据，以在所述第2学习时使用。
3.一种数据处理装置，其中，该数据处理装置包含：
第1选择部，其选择通过向机器学习模型输入该机器学习模型的第1学习中未使用的多个未学习输入数据而被给予的未学习中间数据即多个候选中间数据中的一个候选中间数据，并且，与已学习中间数据和作为已经选择出的未学习中间数据的选择未学习中间数据即选择中间数据相比，更优先选择在所述第1学习之后的第2学习中使用时为异质的程度更大的所述一个候选中间数据；以及
第2选择部，其选择所述多个未学习输入数据即多个候选输入数据中的、与所述选择出的一个候选中间数据对应的一个候选输入数据，以在所述第2学习时使用。
4.一种数据处理方法，其中，
第1生成部将机器学习模型的第1学习中使用的多个已学习输入数据和所述第1学习中未使用的多个未学习输入数据汇总，由此生成多个候选输入数据，
第2生成部将通过向所述机器学习模型输入所述多个已学习输入数据而被给予的已学习中间数据和通过向所述机器学习模型输入所述多个未学习输入数据而被给予的未学习中间数据汇总，由此生成多个候选中间数据，
第1选择部选择所述多个候选中间数据中的一个候选中间数据，与由已经选择出的已学习中间数据即选择已学习中间数据和已经选择出的未学习中间数据即选择未学习中间数据构成的选择中间数据相比，更优先选择在所述第1学习之后的第2学习中使用时为异质的程度更大的所述一个候选中间数据，
第2选择部选择所述多个候选输入数据中的、与所述选择出的一个候选中间数据对应的一个候选输入数据，以在所述第2学习时使用。
5.一种数据处理方法，其中，
第1选择部选择通过向机器学习模型输入该机器学习模型的第1学习中未使用的多个未学习输入数据而被给予的未学习中间数据即多个候选中间数据中的一个候选中间数据，与作为已经选择出的未学习中间数据的选择未学习中间数据即选择中间数据相比，更优先选择在所述第1学习之后的第2学习中使用时为异质的程度更大的所述一个候选中间数据，
第2选择部选择所述多个未学习输入数据即多个候选输入数据中的、与所述选择出的一个候选中间数据对应的一个候选输入数据，以在所述第2学习时使用。
6.一种数据处理方法，其中，
第1选择部选择通过向机器学习模型输入该机器学习模型的第1学习中未使用的多个未学习输入数据而被给予的未学习中间数据即多个候选中间数据中的一个候选中间数据，与已学习中间数据和作为已经选择出的未学习中间数据的选择未学习中间数据即选择中间数据相比，更优先选择在所述第1学习之后的第2学习中使用时为异质的程度更大的所述一个候选中间数据，
第2选择部选择所述多个未学习输入数据即多个候选输入数据中的、与所述选择出的一个候选中间数据对应的一个候选输入数据，以在所述第2学习时使用。
CN202180100032.7A 2021-07-07 2021-07-07 数据处理装置以及数据处理方法 Pending CN117597697A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/025545 WO2023281640A1 (ja) 2021-07-07 2021-07-07 データ処理装置及びデータ処理方法

Publications (1)

Publication Number Publication Date
CN117597697A true CN117597697A (zh) 2024-02-23

Family

ID=84800454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180100032.7A Pending CN117597697A (zh) 2021-07-07 2021-07-07 数据处理装置以及数据处理方法

Country Status (7)

Country Link
US (1) US20240161010A1 (zh)
EP (1) EP4345694A1 (zh)
JP (1) JP7337307B2 (zh)
KR (1) KR20240001332A (zh)
CN (1) CN117597697A (zh)
TW (1) TW202303586A (zh)
WO (1) WO2023281640A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6306528B2 (ja) 2015-03-03 2018-04-04 株式会社日立製作所 音響モデル学習支援装置、音響モデル学習支援方法
US11334789B2 (en) 2015-03-17 2022-05-17 Qualcomm Incorporated Feature selection for retraining classifiers
US10867246B1 (en) 2017-08-24 2020-12-15 Arimo, LLC Training a neural network using small training datasets
JP7298825B2 (ja) 2019-12-24 2023-06-27 株式会社 東京ウエルズ 学習支援装置、学習装置、学習支援方法及び学習支援プログラム

Also Published As

Publication number Publication date
KR20240001332A (ko) 2024-01-03
WO2023281640A1 (ja) 2023-01-12
US20240161010A1 (en) 2024-05-16
JP7337307B2 (ja) 2023-09-01
TW202303586A (zh) 2023-01-16
JPWO2023281640A1 (zh) 2023-01-12
EP4345694A1 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
US11481637B2 (en) Configuring computational elements for performing a training operation for a generative adversarial network
JP7246392B2 (ja) ニューラルネットワークの関数サブネットワークの同時トレーニング
US9875737B2 (en) Pre-training apparatus and method for speech recognition
JP6831347B2 (ja) 学習装置、学習方法および学習プログラム
JP2019159823A (ja) 学習プログラム、学習方法および学習装置
CN111340177A (zh) 基于嵌套位表示的神经网络处理方法和设备
JP2020123270A (ja) 演算装置
CN117597697A (zh) 数据处理装置以及数据处理方法
WO2018167885A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN112308227B (zh) 神经网络架构搜索方法、装置、终端设备以及存储介质
WO2020039790A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20200134813A (ko) 기계 학습을 위한 이미지 처리 장치 및 방법
KR20190118766A (ko) 추론을 위한 제한된 볼츠만 머신 구축 방법 및 추론을 위한 제한된 볼츠만 머신을 탑재한 컴퓨터 장치
JP2907486B2 (ja) ニューラルネットワーク装置
KR102417967B1 (ko) 다중 출력 아키텍처를 통한 점진적 초해상도 영상 변환 장치 및 방법
CN114758191A (zh) 一种图像识别方法、装置及电子设备和存储介质
JP7360595B2 (ja) 情報処理装置
JP7279507B2 (ja) 情報処理装置、情報処理プログラム及び制御方法
WO2009147794A1 (ja) 有限オートマトン生成システム
JPWO2019026703A1 (ja) 学習済モデル統合方法、装置、プログラム、ｉｃチップ、及びシステム
JP7491622B1 (ja) パターン認識装置、学習方法、及びプログラム
US20210125059A1 (en) Method for training neural network and device thereof
US20240233357A1 (en) Learning apparatus and learning method
WO2024023892A1 (ja) コード変換装置、コード変換方法、及びコンピュータ読み取り可能な記録媒体
US20220391674A1 (en) Method for optimizing execution time of an artificial neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination