CN111967617A - 一种基于难样本学习与神经网络融合的机器学习方法 - Google Patents

一种基于难样本学习与神经网络融合的机器学习方法 Download PDF

Info

Publication number
CN111967617A
CN111967617A CN202010819771.9A CN202010819771A CN111967617A CN 111967617 A CN111967617 A CN 111967617A CN 202010819771 A CN202010819771 A CN 202010819771A CN 111967617 A CN111967617 A CN 111967617A
Authority
CN
China
Prior art keywords
neural network
learning
network
samples
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010819771.9A
Other languages
English (en)
Other versions
CN111967617B (zh
Inventor
刘峡壁
许肖汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Schen Industrial Investment Co ltd
Beijing Deep Ai Intelligent Technology Co ltd
Original Assignee
Guangdong Schen Industrial Investment Co ltd
Beijing Deep Ai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Schen Industrial Investment Co ltd, Beijing Deep Ai Intelligent Technology Co ltd filed Critical Guangdong Schen Industrial Investment Co ltd
Priority to CN202010819771.9A priority Critical patent/CN111967617B/zh
Publication of CN111967617A publication Critical patent/CN111967617A/zh
Application granted granted Critical
Publication of CN111967617B publication Critical patent/CN111967617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于难样本学习与神经网络融合的机器学习方法,属于人工智能技术领域。所述方法在全部训练样本集和困难训练样本集上学习得到两个神经网络,再融合这两个神经网络得到一个性能更好的新的神经网络;难样本学习和网络融合过程可反复多次进行,直到神经网络的性能不能提高为止,从而在保持容易样本计算精度的前提下有效提高难样本计算精度;所述方法亦可适用于通过其他任意方式得到的网络,比如在递增学习中将在新增训练样本上学习得到的网络与原有网络进行融合,或者将用两种不同学习方法得到的网络进行融合。所述方法将两个或以上不同神经网络融合成一个性能更好的网络,整体计算更可靠、精度更高。

Description

一种基于难样本学习与神经网络融合的机器学习方法
技术领域
本发明涉及一种基于难样本学习与神经网络融合的机器学习方法,属于人工智能技术领域。
背景技术
神经网络学习,特别是深度网络学习,通常需要大数据来获得好的学习效果。但大量数据总体上学习较好,并不意味着所有数据结果都好,可能有少量难以学习的样本被淹没在大量数据中得不到充分的学习,导致整体学习效果不能得到进一步的提升。通过在少量难样本上单独学习可以凸显出这部分样本的特性,再与整体学习结果融合,应可有效地提高神经网络的学习效果。此外,这种学习手段不仅可用于解决难样本问题,还可用于在新增样本时,仅对新增样本进行学习,再与原始学习结果融合,从而实现递增学习。
目前机器学习通常是在给定的全部数据集上进行,专门针对难样本进行学习并与全部数据集上学习结果进行融合的手段尚未见到,导致学习结果虽然在总体上较好,但进一步提高学习精度却比较困难。
目前神经网络的已有学习技术中尚无与本发明所提出的技术相同的思路,与之存在一定关联的学习方法为迁移学习以及困难样本学习。迁移学习的基本思路是以在某一数据集(该数据集通常较大)下的学习结果为基础,继续在另一数据集(该数据集通常较小)下进行学习,所要解决的是训练数据集不足的问题。困难样本学习的两种现有手段是:1)对困难样本进行数据增强;2)设计对困难样本有效的损失函数,与本发明中通过单独学习难样本再将其与全部样本上的学习结果融合起来的思路是完全不同的。
发明内容
本发明的目的是基于现有神经网络计算精度有待进一步提高的技术现状,提出了一种基于难样本学习与神经网络融合的机器学习方法,分别在全部训练样本集和困难训练样本集上学习得到两个神经网络,然后对这两个神经网络的参数进行融合后得到一个新的神经网络,作为求精后的学习结果。这一难样本学习和网络融合过程可反复多次进行,直到神经网络的性能不能再得到提高为止。另外,本发明虽然是对全部训练样本集和困难训练样本集上学习得到的网络进行融合,但所述网络融合方法亦可适用于通过其他任意方式得到的网络,比如在递增学习中将在新增训练样本上学习得到的网络与原有网络进行融合或将用两种不同学习方法得到的网络进行融合。
所述基于难样本学习与神经网络融合的学习方法,包括如下步骤:
步骤1:基于训练数据集的全部样本对神经网络进行训练,得出训练好的神经网络A1
步骤2:利用训练好的神经网络A1对全部训练样本进行测试,将其中测试精度低于给定值的样本取出,用于训练新的神经网络,得出训练好的神经网络B1
其中,测试精度低于给定值的样本,称为困难样本或难样本;
步骤3:将神经网络A1和神经网络B1组合成为一个神经网络AB1
其中,组合方式是对于神经网络A1和神经网络B1中所有需要组合在一起的对应神经元,再增加一个神经元,该新增神经元以这两个对应神经元的输出值作为输入,经新增神经元计算后产生输出;
步骤4:在全部训练数据上,仅对神经网络AB1中新增神经元的参数进行学习,形成训练好的神经网络AB1
步骤5:获得神经网络C1,其结构与神经网络A1及神经网络B1的结构相同,其参数为利用步骤4中学习得到的神经网络AB1中新增神经元的参数,将对应位置处神经网络A1的参数与神经网络B1的参数组合成为一个参数所得到的结果;
至此,从步骤1到步骤5,完成了神经网络的第1次难样本学习与融合求精,得到神经网络C1
步骤6:利用神经网络C1对全部训练样本进行测试,将其中测试精度低于给定值的样本取出,用于训练新的神经网络,得出训练好的神经网络B2
步骤7:将神经网络C1和神经网络B2组合成为一个神经网络CB1,组合方式同以上步骤3;
步骤8:在全部训练数据上,仅对神经网络CB1中新增神经元的参数进行学习,形成训练好的神经网络CB1
步骤9:获得神经网络C2,其结构与神经网络C1及神经网络B2的结构相同,其参数为利用步骤8中学习得到的神经网络CB1中新增神经元的参数,将对应位置处神经网络C1的参数与神经网络B2的参数组合成为一个参数所得到的结果;
至此,从步骤6到步骤9,完成了神经网络的第2次难样本学习与融合求精,得到神经网络C2
其中,神经网络C1称为1次求精网络,神经网络C2称为2次求精网络;
步骤10:依据上述步骤1到步骤5以及步骤6到步骤9的规则以及具体实施场景要求,继续进行难样本学习与网络融合,直至n次求精网络Cn的性能收敛为止;
至此,从步骤1到步骤10,实现了一种基于难样本学习与神经网络融合的机器学习方法。
有益效果
本发明提出的一种基于难样本学习与神经网络融合的机器学习方法,与现有技术相比,具有如下有益效果:
1.所述方法可将两个及以上不同神经网络融合成一个性能更好的网络,使其整体计算精度高于参与融合的各个网络;
2.所述方法采用机器学习方式对两个及以上不同神经网络进行融合,融合参数在训练数据上学习得到,非手工设定,融合结果准确、可靠;
3.所述方法可解决在难样本上已有机器学习方法效果不理想的问题,在全部训练数据集合以及难样本训练集合上分别学习得到两个神经网络,利用所述方法对这两个神经网络融合后获得新的神经网络,从而既能使学习专注于难样本,在难样本上获得好的计算精度,又能保持在容易样本上的计算精度,从而获得理想的整体计算精度;
4.上述难样本学习与融合求精过程可反复多次,从而能够不断通过难样本的筛选学习和与已有网络的融合来使得神经网络的计算精度不断得到求精;
5.所述方法还可应用于解决神经网络的递增学习问题,在已有训练样本上学习得到神经网络后,当训练样本增加时,可仅在新增样本上学习得到新的神经网络,然后采用所述神经网络融合方法将该新的神经网络与已有神经网络融合得到求精后的神经网络,既能适应新增数据,又能保持对原有数据的计算精度。
附图说明
图1是本发明实施例中的图像协同分割网络结构;
图2是本发明一种基于难样本学习与神经网络融合的机器学习方法中通过不断进行难样本筛选学习并将难样本学习结果与已有学习结果融合来不断提高神经网络计算精度的学习过程;
图3是本发明实施例中的两个图像协同分割网络对应神经元的组合方式;
图4是本发明实施例中应用本发明后的图像分割效果示例。
具体实施方式
下面结合附图及具体实施例对本发明所述的一种基于难样本学习与神经网络融合的机器学习方法进行详细阐述。
实施例1
本发明所述方法在具体实施时,将神经网络融合,并不限于步骤1和步骤2所述的,即神经网络B1不必须基于难样本训练得出;神经网络A1与神经网络B1可以是通过其他方式获得的两个独立的的网络;
进一步地,具体实施时,网络数量可增加为大于两个,参与融合的网络结构也可以不同,例如:"在递增学习中将在新增训练样本上学习得到的网络与原有网络进行融合,或者将用两种不同学习方法得到的网络进行融合"的情况,也是本发明所述方法衍生出来的具体实施。
本实施例描述了将本发明所述机器学习方法用于图像协同分割的孪生U-型神经网络(以下简称协同分割网络)进行学习的具体实施。如图1所示,协同分割网络结构由三部分构成:
(1)第一部分是孪生网络编码器,它是一对特征编码器网络,每个网络分别从图像中提取语义特征。这两个编码器共享彼此的权重。编码器由ResNet卷积网络构成;
(2)第二部分是协同注意力模块,用于计算两个语义特征图中的协同注意力特征图;
(3)第三部分是孪生网络译码器,每个译码器实施对应的编码器的相反操作,即反卷积操作;译码器每操作一次,就和编码器中对应的相同尺度的特征进行拼接。
至此,便实现了将协同注意力特征与图像特征连接起来进行解码从而完成图像分割的操作。总体上说,该网络利用物体的语义与视觉特征和物体之间的协同注意力来检测出两幅图像中所包含的共同物体。比如在图1中,该网络读入两幅图像,分别从中分割出其中包含的公共物体“马”。
本发明所述方法中的一个实施例具体实施时,如图2所示,通过反复进行难样本学习和网络融合,使协同分割网络的计算精度不断得到优化,具体步骤为:
步骤1):利用原始样本对协同分割网络进行训练,得出训练好的协同分割网络
Figure BDA0002634039750000071
步骤2):利用训练好的协同分割网络
Figure BDA0002634039750000072
对全部原始样本进行测试,将其中图像分割准确率低于平均值的样本取出,作为困难样本1,用于训练新的协同分割网络,得出训练好的协同分割网络
Figure BDA0002634039750000073
步骤3):将协同分割网络
Figure BDA0002634039750000074
和协同分割网络
Figure BDA0002634039750000075
融合成为一个协同分割网络
Figure BDA0002634039750000076
组合方式是对于协同分割网络
Figure BDA0002634039750000077
和协同分割网络
Figure BDA0002634039750000078
中相同位置处的一组对应神经元,再增加一个神经元。该新增神经元以这两个对应神经元的输出值作为输入,将其加权组合后形成输出,加权组合的权重体现在该新增神经元的两个输入边的权值上。图3显示了这种将两个对应神经元通过新增神经元组合在一起的方式,其中神经网络A对应于上述协同分割网络
Figure BDA0002634039750000079
神经网络B对应于上述协同分割网络
Figure BDA00026340397500000710
WA与WB是对两个神经元的输出进行加权组合的权值;
图2在全部训练数据集合以及难样本训练集合上分别学习得到两个神经网络,对两个神经网络融合获得新的神经网络,从而既能使学习专注于难样本,在难样本上获得好的计算精度,又能保持在容易样本上的计算精度,进而获得理想的整体计算精度;该方法解决了在难样本上已有机器学习方法效果不理想的问题。
实施例1中两个神经网络进行融合,融合参数在训练数据上学习得到,非手工设定,融合结果准确、可靠。
进一步地,上述难样本学习与融合求精过程可反复多次,从而能不断通过难样本的筛选学习和与已有网络的融合来使得神经网络的计算精度不断得到求精。
实施例2
应指出的是图3只是神经网络组合方式的一种,将两个神经元的输出结果组合成为一个的其他方式也可适用于本发明所述方法,包括如下子步骤:
步骤4):在全部原始样本上,仅对协同分割网络
Figure BDA0002634039750000081
中所有新增神经元的权值进行学习,形成训练好的协同分割网络
Figure BDA0002634039750000082
步骤5):获得协同分割网络
Figure BDA0002634039750000083
其结构与协同分割网络
Figure BDA0002634039750000084
及协同分割网络
Figure BDA0002634039750000085
的结构相同,其参数为利用步骤4中学习得到的协同分割网络
Figure BDA0002634039750000086
中新增神经元的权值,将由该新增神经元连接的协同分割网络
Figure BDA0002634039750000087
与协同分割网络
Figure BDA0002634039750000088
的对应神经元的参数进行加权组合后的结果。
至此,从步骤1)到步骤5),完成了协同分割网络的第1次难样本学习与融合求精;
步骤6):利用协同分割网络
Figure BDA0002634039750000089
对全部原始样本进行测试,将其中图像分割准确率低于平均值的样本取出,作为困难样本2用于训练新的协同分割网络,得出训练好的协同分割网络
Figure BDA00026340397500000810
步骤7):将协同分割网络
Figure BDA00026340397500000811
和协同分割网络
Figure BDA00026340397500000812
组合成为一个协同分割网络
Figure BDA00026340397500000813
组合方式同以上步骤3);
步骤8):在全部训练数据上,仅对协同分割网络
Figure BDA0002634039750000091
中所有新增神经元的权值进行学习,形成训练好的协同分割网络
Figure BDA0002634039750000092
步骤9):获得协同分割网络
Figure BDA0002634039750000093
其结构与协同分割网络
Figure BDA0002634039750000094
及协同分割网络
Figure BDA0002634039750000095
的结构相同,其参数为利用步骤8)中学习得到的协同分割网络
Figure BDA0002634039750000096
中新增神经元的权值,将由该新增神经元连接的协同分割网络
Figure BDA0002634039750000097
与协同分割网络
Figure BDA0002634039750000098
的对应神经元的参数进行加权组合后的结果。
至此,从步骤6)到步骤9),完成了协同网络的第2次难样本学习与融合求精;
其中,训练好的协同分割网络
Figure BDA0002634039750000099
称为1次求精协同分割网络,训练好的协同分割网络
Figure BDA00026340397500000910
称为2次求精协同分割网络;
步骤10):依据上述规则以及具体实施场景要求,继续进行难样本学习与网络融合求精,直至求精网络的性能收敛为止。
通过本发明的上述具体实施,得到了图像协同分割网络计算精度不断优化的训练效果。在原始样本上训练得到的原始协同分割网络
Figure BDA00026340397500000911
的分割准确率为96.71%;经过第一次难样本学习后得到的协同分割网络
Figure BDA00026340397500000912
的分割准确率为98.37%,而将
Figure BDA00026340397500000913
Figure BDA00026340397500000914
网络融合后得到的协同分割网络
Figure BDA00026340397500000915
的分割准确率为99.15%,相比
Figure BDA00026340397500000916
提高了2.44%,相比
Figure BDA00026340397500000917
提高了0.78%;经过第二次难样本学习后得到的协同分割网络
Figure BDA00026340397500000918
的分割准确率为96.85%,而将
Figure BDA00026340397500000919
Figure BDA00026340397500000920
网络融合后得到的协同分割网络
Figure BDA00026340397500000921
的分割准确率为99.22%,相比
Figure BDA00026340397500000922
提高了2.51%,相比
Figure BDA00026340397500000923
提高了2.37%,相比
Figure BDA00026340397500000924
提高了0.07%。
以上所述分割准确率用图像分割中常用的Jaccard系数来计算,其公式为:
Figure BDA0002634039750000101
其中Segmentation表示通过协同分割网络输出的分割结果,Groundtruth表示人为标注的理想分割结果。
图4显示了原始协同分割网络
Figure BDA0002634039750000102
与2次求精协同分割网络
Figure BDA0002634039750000103
在图像分割效果上的一个对比例,从中可以看出通过实施本发明,图像分割效果得到了明显提升。
上述准确率对比和效果图对比表明,本发明所述方法可将两个以上不同神经网络融合成一个性能更好的网络,使其整体计算精度高于参与融合的各个网络,而且所述方法采用机器学习方式对两个以上不同神经网络进行融合,融合参数在训练数据上学习得到,非手工设定,融合结果准确、可靠。在此基础上,本发明所述方法解决了在难样本上已有机器学习方法效果不理想的问题,在全部训练数据集合以及难样本训练集合上分别学习得到两个神经网络,利用所述方法对这两个神经网络融合后获得新的神经网络,既能使学习专注于难样本,在难样本上获得好的计算精度,又能保持在容易样本上的计算精度,从而获得了更理想的整体计算精度。同时,上述难样本学习与融合求精过程可反复多次,从而能够不断通过难样本的筛选学习和与已有网络的融合来使得神经网络的计算精度不断得到优化。
实施例3
所述方法还可应用于解决神经网络的递增学习问题,在已有训练样本上学习得到神经网络后,当训练样本增加时,可仅在新增样本上学习得到新的神经网络,然后采用所述神经网络融合方法将该新的神经网络与已有神经网络融合得到求精后的神经网络,既能适应新增数据,又能保持对原有数据的计算精度。
以上所述为本发明的较佳实施例而已,本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改,都落入本发明保护的范围。

Claims (7)

1.一种基于难样本学习与神经网络融合的机器学习方法,其特征在于:包括如下步骤:
步骤1:基于训练数据集的全部样本对神经网络进行训练,得出训练好的神经网络A1
步骤2:利用训练好的神经网络A1对全部训练样本进行测试,将其中测试精度低于给定值的样本即难样本取出,用于训练新的神经网络,得出训练好的神经网络B1
步骤3:将神经网络A1和神经网络B1组合成为一个神经网络AB1
步骤4:在全部训练数据上,仅对神经网络AB1中新增神经元的参数进行学习,形成训练好的神经网络AB1
步骤5:获得神经网络C1,其结构与神经网络A1及神经网络B1的结构相同,其参数为利用步骤4中学习得到的神经网络AB1中新增神经元的参数,将对应位置处神经网络A1的参数与神经网络B1的参数组合成为一个参数所得到的结果;
步骤6:利用神经网络C1对全部训练样本进行测试,将其中测试精度低于给定值的样本取出,用于训练新的神经网络,得出训练好的神经网络B2
步骤7:将神经网络C1和神经网络B2组合成为一个神经网络CB1
步骤8:在全部训练数据上,仅对神经网络CB1中新增神经元的参数进行学习,形成训练好的神经网络CB1
步骤9:获得神经网络C2,其结构与神经网络C1及神经网络B2的结构相同,其参数为利用步骤8中学习得到的神经网络CB1中新增神经元的参数,将对应位置处神经网络C1的参数与神经网络B2的参数组合成为一个参数所得到的结果;
步骤10:依据上述步骤1到步骤5以及步骤6到步骤9的规则以及具体实施场景要求,继续进行难样本学习与网络融合,直至n次求精网络Cn的性能收敛为止。
2.根据权利要求1所述的一种基于难样本学习与神经网络融合的机器学习方法,其特征在于:步骤2中,难样本也称为困难样本,是测试精度低于给定值的样本。
3.根据权利要求2所述的一种基于难样本学习与神经网络融合的机器学习方法,其特征在于:步骤3中的组合方式是对于神经网络A1和神经网络B1中所有需要组合在一起的对应神经元,再增加一个神经元,该新增神经元以这两个对应神经元的输出值作为输入,经新增神经元计算后产生输出。
4.根据权利要求3所述的一种基于难样本学习与神经网络融合的机器学习方法,其特征在于:步骤7中的组合方式同以上步骤3。
5.根据权利要求4所述的一种基于难样本学习与神经网络融合的机器学习方法,其特征在于:从步骤1到步骤5,完成了神经网络的第1次难样本学习与融合求精,得到神经网络C1
6.根据权利要求5所述的一种基于难样本学习与神经网络融合的机器学习方法,其特征在于:从步骤6到步骤9,完成了神经网络的第2次难样本学习与融合求精,得到神经网络C2
7.根据权利要求6所述的一种基于难样本学习与神经网络融合的机器学习方法,其特征在于:神经网络C1称为1次求精网络,神经网络C2称为2次求精网络。
CN202010819771.9A 2020-08-14 2020-08-14 一种基于难样本学习与神经网络融合的机器学习方法 Active CN111967617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010819771.9A CN111967617B (zh) 2020-08-14 2020-08-14 一种基于难样本学习与神经网络融合的机器学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010819771.9A CN111967617B (zh) 2020-08-14 2020-08-14 一种基于难样本学习与神经网络融合的机器学习方法

Publications (2)

Publication Number Publication Date
CN111967617A true CN111967617A (zh) 2020-11-20
CN111967617B CN111967617B (zh) 2023-11-21

Family

ID=73387698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010819771.9A Active CN111967617B (zh) 2020-08-14 2020-08-14 一种基于难样本学习与神经网络融合的机器学习方法

Country Status (1)

Country Link
CN (1) CN111967617B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678328A (zh) * 2016-01-04 2016-06-15 南京信息工程大学 一种基于svm技术的离散前向神经网络分类器的优化方法
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN108764462A (zh) * 2018-05-29 2018-11-06 成都视观天下科技有限公司 一种基于知识蒸馏的卷积神经网络优化方法
CN109829541A (zh) * 2019-01-18 2019-05-31 上海交通大学 基于学习自动机的深度神经网络增量式训练方法及系统
CN110163236A (zh) * 2018-10-15 2019-08-23 腾讯科技(深圳)有限公司 模型的训练方法和装置、存储介质、电子装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678328A (zh) * 2016-01-04 2016-06-15 南京信息工程大学 一种基于svm技术的离散前向神经网络分类器的优化方法
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN108764462A (zh) * 2018-05-29 2018-11-06 成都视观天下科技有限公司 一种基于知识蒸馏的卷积神经网络优化方法
CN110163236A (zh) * 2018-10-15 2019-08-23 腾讯科技(深圳)有限公司 模型的训练方法和装置、存储介质、电子装置
CN109829541A (zh) * 2019-01-18 2019-05-31 上海交通大学 基于学习自动机的深度神经网络增量式训练方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOPENG GONG 等: "a novel co-attention computation block for deep learning based image co-segmentation", 《IMAGE AND VISION COMPUTING》, pages 1 - 11 *

Also Published As

Publication number Publication date
CN111967617B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN112488241B (zh) 一种基于多粒度融合网络的零样本图片识别方法
CN113807222B (zh) 基于稀疏采样进行端到端训练的视频问答方法与系统
CN112464004A (zh) 一种多视角深度生成图像聚类方法
CN112991493A (zh) 基于vae-gan和混合密度网络的灰度图像着色方法
CN114299130A (zh) 一种基于无监督自适应网络的水下双目深度估计方法
CN114006870A (zh) 一种基于自监督卷积子空间聚类网络的网络流量识别方法
CN114550308B (zh) 基于时空图的人体骨骼动作识别方法
CN112508181A (zh) 一种基于多通道机制的图池化方法
CN113140023A (zh) 一种基于空间注意力的文本到图像生成方法及系统
CN113836319B (zh) 融合实体邻居的知识补全方法及系统
CN114519107A (zh) 一种联合实体关系表示的知识图谱融合方法
CN114330654A (zh) 推荐模型训练方法、装置、设备及存储介质
CN111914600A (zh) 一种基于空间注意力模型的群组情绪识别方法
CN116433800B (zh) 基于社交场景用户偏好与文本联合指导的图像生成方法
CN113076806A (zh) 一种结构增强的半监督在线地图生成方法
CN111967617A (zh) 一种基于难样本学习与神经网络融合的机器学习方法
CN110136226B (zh) 一种基于图像组协同描述生成的新闻自动配图方法
CN116756391A (zh) 一种基于图数据增强的不平衡图节点神经网络分类方法
CN113436094A (zh) 一种基于多视角注意力机制的灰度图像自动上色方法
CN115858943A (zh) 一种基于Transformer的社交关系识别方法
CN112598662A (zh) 一种基于隐藏信息学习的图像美学描述生成方法
CN112184846A (zh) 图像生成方法、装置、计算机设备和可读存储介质
CN116187446B (zh) 基于自适应注意力机制的知识图谱补全方法、装置和设备
CN117094381B (zh) 一种兼顾高效通信和个性化的多模态联邦协同方法
CN116778233B (zh) 一种基于图神经网络的不完全深度多视图半监督分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant