CN110348572A - 神经网络模型的处理方法及装置、电子设备、存储介质 - Google Patents

神经网络模型的处理方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN110348572A
CN110348572A CN201910616195.5A CN201910616195A CN110348572A CN 110348572 A CN110348572 A CN 110348572A CN 201910616195 A CN201910616195 A CN 201910616195A CN 110348572 A CN110348572 A CN 110348572A
Authority
CN
China
Prior art keywords
network model
sample image
trained
visual angle
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910616195.5A
Other languages
English (en)
Other versions
CN110348572B (zh
Inventor
张军伟
李�诚
梁逸清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN201910616195.5A priority Critical patent/CN110348572B/zh
Publication of CN110348572A publication Critical patent/CN110348572A/zh
Application granted granted Critical
Publication of CN110348572B publication Critical patent/CN110348572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种神经网络模型的处理方法及装置、电子设备,所述方法包括:获取第一神经网络模型;获取第一样本图像,所述第一样本图像的采集视角为第一视角;基于所述第一样本图像,对所述第一神经网络模型进行训练,得到训练好的所述第一神经网络模型。

Description

神经网络模型的处理方法及装置、电子设备、存储介质
技术领域
本申请涉及计算机视觉技术,尤其涉及一种神经网络模型的处理方法及装置、电子设备、存储介质。
背景技术
近年来,计算机视觉技术发展迅速,现在人们已经可以使用训练好的神经网络模型完成各种视觉任务,如图像分类、物体追踪、人脸识别等。
依靠技术的发展,训练和使用这些神经网络模型的成本越来越低,支持深度学习框架与一些特殊硬件的平台可以加载以及使用这样的神经网络模型,如机器人。机器人可搭载视觉传感器获取视觉信号输入,并且支持深度学习框架。但是,机器人的视角为仰视视角,使得传感器的输入有视角限制,神经网络模型不能直接迁移到机器人上。
发明内容
本申请实施例提供了一种神经网络模型的处理方法及装置、电子设备、计算机程序及存储介质。
本申请实施例提供的神经网络模型的处理方法,包括:
获取第一神经网络模型;
获取第一样本图像,所述第一样本图像的采集视角为第一视角;
基于所述第一样本图像,对所述第一神经网络模型进行训练,得到训练好的所述第一神经网络模型。
上述技术方案,采用具有第一视角的第一样本图像来训练第一神经网络模型,训练好的所述第一神经网络模型可以适用于具有第一视角的图像的标签预测。
在本申请一可选实施方式中,所述方法还包括:
获取所述第一样本图像后,对所述第一样本图像进行以下至少一种处理操作:翻转、旋转、剪裁、平移、亮度调节,得到至少一张处理后的第一样本图像;
所述基于所述第一样本图像,对所述第一神经网络模型进行训练,包括:
基于所述第一样本图像和所述至少一张处理后的第一样本图像,对所述第一神经网络模型进行训练。
上述技术方案,获取到具有第一视角的第一样本图像后,对该第一样本图像采用翻转、旋转、剪裁、平移、亮度调节等任意一种或多种操作进行处理,可以实现数据扩充,增加数据丰富性,有利于提高对第一神经网络模型的训练效果。
在本申请一可选实施方式中,所述获取第一神经网络模型,包括:
获取待处理模型;
获取第二样本图像,所述第二样本图像的采集视角为第二视角;
基于所述第二样本图像,对所述待处理模型进行训练,得到所述第一神经网络模型。
上述技术方案,具有第二视角的第二样本图像和具有第一视角的第一样本图像在视角上有差别,在特征上基本一致,通过具有第二视角的第二样本图像对待处理模型进行训练,得到的第一神经网络模型在特征提取部分预先达到了优化,有利于提高第一神经网络模型的训练效率。
在本申请一可选实施方式中,所述方法还包括:
获取所要执行的视觉任务;
根据所要执行的视觉任务,选择所述视觉任务对应的待处理模型。
上述技术方案,不同的视觉任务对应不同的处理模型,获取所要执行的视觉任务;根据所要执行的视觉任务,选择所述视觉任务对应的待处理模型,使得待处理模型符合电子设备的任务需求。
在本申请一可选实施方式中,所述方法还包括:
对训练好的所述第一神经网络模型进行压缩,得到第二神经网络模型。
上述技术方案,通过对训练好的所述第一神经网络模型进行压缩,得到简化的第二神经网络模型在处理速度上得到大大提高,另一方面,简化的第二神经网络模型能够适用于处理能力较低的电子设备,降低了电子设备的硬件要求。
在本申请一可选实施方式中,所述对训练好的所述第一神经网络模型进行压缩,得到第二神经网络模型,包括:
对训练好的所述第一神经网络模型进行剪裁,或者对训练好的所述第一神经网络模型进行剪裁并重训练,得到第二神经网络模型。
在本申请一可选实施方式中,所述对训练好的所述第一神经网络模型进行剪裁,包括:
从训练好的所述第一神经网络模型中确定出待剪裁的目标对象,所述目标对象至少包括网络层和神经元中的一种;
从训练好的所述第一神经网络模型中删除所述目标对象。
上述技术方案,通过剪裁,或者剪裁加重训练的方式来压缩训练好的所述第一神经网络模型,得到的第二神经网络模型中的参数被大大压缩,简化的第二神经网络模型在处理速度上得到大大提高,另一方面,简化的第二神经网络模型能够适用于处理能力较低的电子设备,降低了电子设备的硬件要求。
在本申请一可选实施方式中,所述对训练好的所述第一神经网络模型进行压缩,得到第二神经网络模型,包括:
获取目标神经网络模型,所述目标神经网络模型为训练好的所述第一神经网络模型的简化模型;
利用训练好的所述第一神经网络模型,计算第三样本图像的第一预测标签;所述第三样本图像标注有第三真实标签;
基于所述第三样本图像,所述第一预测标签以及所述第三真实标签,训练所述目标神经网络模型;其中,训练好的所述目标神经网络模型为所述第二神经网络。
在本申请一可选实施方式中,所述基于所述第三样本图像,所述第一预测标签以及所述第三真实标签,训练所述目标神经网络,包括:
利用所述目标神经网络,计算所述第三样本图像的第二预测标签和第三预测标签;
计算所述第一预测标签和所述第二预测标签的第一损失值,以及所述第三预测标签和所述第三真实标签的第二损失值;
基于所述第一损失值和所述第二损失值,计算目标损失值;
基于所述目标损失值,更新所述目标神经网络的参数。
在本申请一可选实施方式中,所述基于所述第一损失值和所述第二损失值,计算目标损失值,包括:
基于第一加权系数和第二加权系数,计算所述第一损失值和所述第二损失值的加权平均值,得到目标损失值;
其中,所述第一加权系数是所述第一损失值对应的加权系数,所述第二加权系数是所述第二损失值对应的加权系数。
上述技术方案,通过知识蒸馏的方式来压缩训练好的所述第一神经网络模型,具体地,将训练好的所述第一神经网络模型作为大模型,将目标神经网络模型作为小模型,通过大模型的预测结果来辅助小模型的训练,有利于提高小模型的训练效率。训练好的小模型即为简化的第二神经网络模型,简化的第二神经网络模型在处理速度上得到大大提高,另一方面,简化的第二神经网络模型能够适用于处理能力较低的电子设备,降低了电子设备的硬件要求。
在本申请一可选实施方式中,所述第三样本图像的采集视角为所述第一视角。
在本申请一可选实施方式中,所述方法还包括:
将所述第二神经网络模型加载到电子设备上,所述电子设备具有图像采集设备,所述图像采集设备的采集视角为所述第一视角。
上述技术方案,将第二神经网络模型加载在电子设备中,电子设备的采集视角为第一视角的情况下,该第二神经网络模型可以适用于处理第一视角的图像,从而拓展了电子设备所支持的神经网络模型,丰富了电子设备的视觉处理功能。
在本申请一可选实施方式中,所述方法还包括:
控制所述电子设备对所述第二神经网络模型进行模型测试。
上述技术方案,将第二神经网络模型在电子设备上试运行(即测试),测试结果满足要求后,即可将第二神经网络模型在电子设备上正式使用。测试结果不满足要求的情况下,可以根据测试结果重新训练第二神经网络模型,从而保障电子设备上正式使用的第二神经网络模型满足电子设备的需求。
本申请实施例提供的神经网络模型的处理装置,包括:
第一获取单元,用于获取第一神经网络模型;
第二获取单元,用于获取第一样本图像,所述第一样本图像的采集视角为第一视角;
训练单元,用于基于所述第一样本图像,对所述第一神经网络模型进行训练,得到训练好的所述第一神经网络模型。
上述技术方案,采用具有第一视角的第一样本图像来训练第一神经网络模型,训练好的所述第一神经网络模型可以适用于具有第一视角的图像的标签预测。
在本申请一可选实施方式中,所述装置还包括:
图像处理单元,用于获取所述第一样本图像后,对所述第一样本图像进行以下至少一种处理操作:翻转、旋转、剪裁、平移、亮度调节,得到至少一张处理后的第一样本图像;
所述训练单元,用于基于所述第一样本图像和所述至少一张处理后的第一样本图像,对所述第一神经网络模型进行训练。
上述技术方案,获取到具有第一视角的第一样本图像后,对该第一样本图像采用翻转、旋转、剪裁、平移、亮度调节等任意一种或多种操作进行处理,可以实现数据扩充,增加数据丰富性,有利于提高对第一神经网络模型的训练效果。
在本申请一可选实施方式中,所述第一获取单元包括:
第一获取子单元,用于获取待处理模型;
第二获取子单元,用于获取第二样本图像,所述第二样本图像的采集视角为第二视角;
第一训练子单元,用于基于所述第二样本图像,对所述待处理模型进行训练,得到所述第一神经网络模型。
上述技术方案,具有第二视角的第二样本图像和具有第一视角的第一样本图像在视角上有差别,在特征上基本一致,通过具有第二视角的第二样本图像对待处理模型进行训练,得到的第一神经网络模型在特征提取部分预先达到了优化,有利于提高第一神经网络模型的训练效率。
在本申请一可选实施方式中,所述第一获取单元还包括:
选择子单元,用于获取所要执行的视觉任务;根据所要执行的视觉任务,选择所述视觉任务对应的待处理模型。
上述技术方案,不同的视觉任务对应不同的处理模型,获取所要执行的视觉任务;根据所要执行的视觉任务,选择所述视觉任务对应的待处理模型,使得待处理模型符合电子设备的任务需求。
在本申请一可选实施方式中,所述装置还包括:
压缩单元,用于对训练好的所述第一神经网络模型进行压缩,得到第二神经网络模型。
上述技术方案,通过对训练好的所述第一神经网络模型进行压缩,得到简化的第二神经网络模型在处理速度上得到大大提高,另一方面,简化的第二神经网络模型能够适用于处理能力较低的电子设备,降低了电子设备的硬件要求。
在本申请一可选实施方式中,所述压缩单元,用于对训练好的所述第一神经网络模型进行剪裁,或者对训练好的所述第一神经网络模型进行剪裁并重训练,得到第二神经网络模型。
在本申请一可选实施方式中,所述压缩单元包括:
确定子单元,用于从训练好的所述第一神经网络模型中确定出待剪裁的目标对象,所述目标对象至少包括网络层和神经元中的一种;
删除子单元,用于从训练好的所述第一神经网络模型中删除所述目标对象。
上述技术方案,通过剪裁,或者剪裁加重训练的方式来压缩训练好的所述第一神经网络模型,得到的第二神经网络模型中的参数被大大压缩,简化的第二神经网络模型在处理速度上得到大大提高,另一方面,简化的第二神经网络模型能够适用于处理能力较低的电子设备,降低了电子设备的硬件要求。
在本申请一可选实施方式中,所述压缩单元,包括:
第三获取子单元,用于获取目标神经网络模型,所述目标神经网络模型为训练好的所述第一神经网络模型的简化模型;
第二训练子单元,用于利用训练好的所述第一神经网络模型,计算第三样本图像的第一预测标签;所述第三样本图像标注有第三真实标签;基于所述第三样本图像,所述第一预测标签以及所述第三真实标签,训练所述目标神经网络模型;其中,训练好的所述目标神经网络模型为所述第二神经网络。
在本申请一可选实施方式中,所述第二训练子单元,用于利用所述目标神经网络,计算所述第三样本图像的第二预测标签和第三预测标签;计算所述第一预测标签和所述第二预测标签的第一损失值,以及所述第三预测标签和所述第三真实标签的第二损失值;基于所述第一损失值和所述第二损失值,计算目标损失值;基于所述目标损失值,更新所述目标神经网络的参数。
在本申请一可选实施方式中,所述第二训练子单元,用于基于第一加权系数和第二加权系数,计算所述第一损失值和所述第二损失值的加权平均值,得到目标损失值;其中,所述第一加权系数是所述第一损失值对应的加权系数,所述第二加权系数是所述第二损失值对应的加权系数。
上述技术方案,通过知识蒸馏的方式来压缩训练好的所述第一神经网络模型,具体地,将训练好的所述第一神经网络模型作为大模型,将目标神经网络模型作为小模型,通过大模型的预测结果来辅助小模型的训练,有利于提高小模型的训练效率。训练好的小模型即为简化的第二神经网络模型,简化的第二神经网络模型在处理速度上得到大大提高,另一方面,简化的第二神经网络模型能够适用于处理能力较低的电子设备,降低了电子设备的硬件要求。
在本申请一可选实施方式中,所述第三样本图像的采集视角为所述第一视角。
在本申请一可选实施方式中,所述装置还包括:
加载单元,用于将所述第二神经网络模型加载到电子设备上,所述电子设备具有图像采集设备,所述图像采集设备的采集视角为所述第一视角。
上述技术方案,将第二神经网络模型加载在电子设备中,电子设备的采集视角为第一视角的情况下,该第二神经网络模型可以适用于处理第一视角的图像,从而拓展了电子设备所支持的神经网络模型,丰富了电子设备的视觉处理功能。
在本申请一可选实施方式中,所述装置还包括:
测试单元,用于控制所述电子设备对所述第二神经网络模型进行模型测试。
上述技术方案,将第二神经网络模型在电子设备上试运行(即测试),测试结果满足要求后,即可将第二神经网络模型在电子设备上正式使用。测试结果不满足要求的情况下,可以根据测试结果重新训练第二神经网络模型,从而保障电子设备上正式使用的第二神经网络模型满足电子设备的需求。
本申请实施例提供的电子设备包括:
存储器,用于存储可执行指令;以及
处理器,用于执行所述可执行指令从而完成上述的神经网络模型的处理方法。
本申请实施例提供的计算机程序,包括计算机可读代码,当所述计算机可读代码在设备上运行时,所述设备中的处理器执行用于实现上述的神经网络模型的处理方法。
本申请实施例提供的计算机存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时实现上述的神经网络模型的处理方法。
基于本申请上述实施例提供的神经网络模型的处理方法及装置、电子设备、计算机程序及存储介质,通过具有第一视角的第一样本图像对第一神经网络模型进行训练,得到的训练好的第一神经网络模型可以适用于具有第一视角的图像的标签预测。训练好的第一神经网络模型可以加载并使用在机器人中,机器人的采集视角为仰视视角的情况下,该训练好的第一神经网络模型可以使用仰视视角作为第一视角图像进行训练,从而使得该训练好的第一神经网络模型适用于处理仰视视角的图像,从而拓展了机器人所支持的神经网络模型,丰富了机器人的视觉处理功能。
附图说明
图1是本申请实施例提供的神经网络模型的处理方法的流程图一;
图2是本申请实施例提供的图片分类任务的示意图;
图3是本申请实施例提供的第一视角的示意图;
图4是本申请实施例提供的第一视角的原理图;
图5是本申请实施例提供的神经网络模型的处理方法的流程图二;
图6-1是本申请实施例提供的压缩的原理图一;
图6-2是本申请实施例提供的压缩的原理图二;
图7为本申请实施例提供的神经网络模型的处理装置的结构组成示意图一;
图8为本申请实施例提供的神经网络模型的处理装置的结构组成示意图二;
图9是本申请实施例提供的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于计算机系统/服务器,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本申请实施例提供的神经网络模型的处理方法的执行主体是电子设备,该电子设备可以是终端、服务器等具有计算处理能力的电子设备,其中,终端例如是个人计算机、智能终端、车载终端等。图1是本申请实施例提供的神经网络模型的处理方法的流程图一,如图1所示,所述神经网络模型的处理方法包括以下步骤:
步骤101:获取第一神经网络模型。
本实施例中,所述第一神经网络模型是待处理的神经网络模型,本实施例可对所述第一神经网络模型进行视角调整处理,使得调整后的神经网络模型适用于如机器人小车等具有特定视角需求的设备。
所述第一神经网络模型可以是任意一种视觉任务的神经网络模型。在一些可能的实施方式中,可以根据设备需要执行的视觉任务,如分类任务或回归任务等,选择合适的神经网络模型。如图2所示,所述第一神经网络模型可以是用于图片分类任务的神经网络模型,或者是用于图片分割任务的神经网络模型,或者是用于人脸识别任务的神经网络模型,或者是用于图片理解任务的神经网络模型,或者是用于物体识别任务的神经网络模型。本实施例对第一神经网络模型不进行限制。
所述第一神经网络模型可以由用户指定,也可以预先根据所需执行的视觉任务从模型库中自行选择。可选地,在一实施方式中,所述第一神经网络模型是基于第二样本图像和第二真实标签训练好的神经网络模型,其中,所述第二真实标签是指所述第二样本图像的真实标签,所述第二样本图像的采集视角为第二视角。需要说明的是,这种方式需要第二样本图像标注有真实标签。
可选地,在另一实施方式中,所述第一神经网络模型是基于第二样本图像训练好的神经网络模型,所述第二样本图像的采集视角为第二视角。需要说明的是,这种方式无需第二样本图像标注有真实标签。此时,可以采用无监督学习方式进行训练。
可选地,在又一实施方式中,也可以对选取的模型进行预训练,得到所需的第一神经网络模型。
具体地,获取待处理的第一神经网络模型的过程,可以通过如下方式实现:
获取待处理模型;
获取第二样本图像,所述第二样本图像的采集视角为第二视角;
基于所述第二样本图像,对所述待处理模型进行训练,得到所述第一神经网络模型。
这里,所述待处理模型是任意一种未训练的神经网络模型。在一些可能的实施方式中,可以根据所要执行的视觉任务,选择所述视觉任务对应的待处理模型。例如,未训练的用于图片分类任务的神经网络模型,或者是未训练的用于图片分割任务的神经网络模型,或者是未训练的用于人脸识别任务的神经网络模型,或者是未训练的用于图片理解任务的神经网络模型,或者是未训练的用于物体识别任务的神经网络模型。上述技术方案,不同的视觉任务对应不同的处理模型,根据最终使用该模型的设备所要执行的视觉任务,选择所述视觉任务对应的待处理模型,使得待处理模型符合设备的任务需求。其中,用户可以通过输入指令输入设备所要执行的视觉任务,或者可以预先设置该视觉任务,电子设备获取到该视觉任务后,即可以根据该视觉任务从预存模型集中选择对应的待处理模型,其中该预存模型集中可以包括VGG、MobileNet、InceptionV4、ResNet101等模型。当然,在其他实施例中,该待处理模型也可以直接由用户指定,即电子设备根据用户输入的指令,选择对应的待处理模型。
这里,用户可以通过指令指定该第二样本图像,电子设备也可以根据该待处理模型获取关联的第二样本图像。所述第二样本图像的采集视角为第二视角,在一个例子中,第二视角可以是主流的视角(也可以理解为没有视角,或者多种视角,又或者平视或正视视角)。所述第二样本图像可以是通过从图像采集设备直接获取的图像,该图像采集设备的采集视角为第二视角。所述第二样本图像还可以是从预训练数据集中获取的样本图像集,例如预训练数据集可以包括ImageNet、COCO等样本图像集,一般,预训练数据集中的图像的采集视角都是第二视角。本申请实施例对第二样本图像的来源不做限制。通过上述方式获取具有第二视角的第二样本图像后,可以利用该第二样本图像对待处理模型进行训练,得到所述第一神经网络模型。
可选地,在一实施方式中,所述第二样本图像标注有真实标签,将标注有真实标签的所述第二样本图像输入选取的待处理模型,利用所述待处理模型计算所述第二样本图像的预测标签;计算所述第二样本图像的预测标签和真实标签的损失值;基于所述损失值,更新所述待处理模型的参数。这里,基于所述损失值,更新所述待处理模型的参数,具体包括:判断所述损失值是否满足预设条件(例如小于等于预设的目标值),所述损失值未满足预设条件的情况下,基于所述损失值更新所述待处理模型的参数,直到所述损失值满足预设条件为止。通过上述过程对所述待处理模型进行训练后,即可得到所述第一神经网络模型。
可选地,在又一实施方式中,所述第二样本图像未标注有真实标签,将所述第二样本图像输入选取的待处理模型,采用无监督学习的方法训练所述待处理模型,对所述待处理模型进行训练后,即可得到所述第一神经网络模型。
上述技术方案,具有第二视角的第二样本图像和具有第一视角的第一样本图像在视角上有差别,在特征上基本一致,通过具有第二视角的第二样本图像对待处理模型进行训练,得到的第一神经网络模型在特征提取部分预先达到了优化,有利于提高第一神经网络模型的训练效率。
步骤102:获取第一样本图像,所述第一样本图像的采集视角为第一视角。
本实施例中,所述第一样本图像可以是从图像采集设备直接获取的图像,例如:图像采集设备为摄像机等,也可以是从存储设备获取的预先存储的图像,例如:存储设备为U盘等,还可以是通过网络从网站服务器获取的图像,本实施例对第一样本图像的获取方式不作限定。
在一个例子中,参照图3,机器人上具有图像采集设备,所述图像采集设备的采集视角为所述第一视角(如仰视视角),机器人按照第一视角拍摄得到第一样本图像。
本公开的一些实施例中,所述第一样本图像的采集视角为第一视角,可以理解为所述第一样本图像为带第一视角的数据。该第一视角区别于第二视角,例如,该第一视角通常为图像采集设备的固定采集视角或视角范围,第二视角通常为正视视角。参照图4,本实施例将带第一视角的因素考虑进来,通过用带第一视角的数据对所述第一神经网络模型进行训练,使得训练好的第一神经网络模型可以适用于具有第一视角的图像(如仰视视角)的标签预测。
可选地,在采集到具有第一视角的第一样本图像后,需要对采集的第一样本图像进行数据扩充,具体地,可以对所述第一样本图像进行以下至少一种处理操作:翻转、旋转、剪裁、平移、亮度调节,得到至少一张处理后的第一样本图像;基于所述第一样本图像和所述至少一张处理后的第一样本图像,对所述第一神经网络模型进行训练。
上述技术方案,获取第一样本图像时,由于实际采集的图像可能会有不完整、旋转等情况发生,所以在对所述第一神经网络模型进行训练前可以先对所述第一样本图像做一些处理,从而实现数据的扩充,增加数据的丰富性,有利于降低模型过拟合,有利于提高对第一神经网络模型的训练效果。
步骤103:基于所述第一样本图像,对所述第一神经网络模型进行训练,得到训练好的所述第一神经网络模型。
可选地,在一实施方式中,所述第一样本图像标注有第一真实标签,将所述第一样本图像和所述第一真实标签输入所述第一神经网络模型,对所述第一神经网络模型进行训练。具体地,利用所述第一神经网络模型计算所述第一样本图像的预测标签;计算所述第一样本图像的预测标签和真实标签的损失值;基于所述损失值,更新所述第一神经网络模型的参数。这里,基于所述损失值,更新所述第一神经网络模型的参数,具体包括:判断所述损失值是否满足预设条件(例如小于等于预设的目标值),所述损失值未满足预设条件的情况下,基于所述损失值更新所述第一神经网络模型的参数,直到所述损失值满足预设条件为止。
可选地,在另一实施方式中,所述第一样本图像未标注有真实标签,将所述第一样本图像输入所述第一神经网络模型,采用无监督学习的方法训练所述第一神经网络模型。
本实施例中,训练好的第一神经网络模型可以加载并使用在机器人中,机器人(如机器小车)的采集视角为仰视视角的情况下,使用采集视角为仰视视角的第一样本图像对第一神经网络模型进行训练,可以使得训练好的第一神经网络模型可以适用于处理仰视视角的图像,从而拓展了机器人所支持的神经网络模型,丰富了机器人的视觉处理功能。
图5是本申请实施例提供的神经网络模型的处理方法的流程图二,如图5所示,所述神经网络模型的处理方法包括以下步骤:
步骤501:获取第一神经网络模型。
本实施例中,所述第一神经网络模型是待处理的神经网络模型,本实施例可使用具有第一视角的第一样本图像对所述第一神经网络模型进行视角调整处理,使得调整后的神经网络模型适用于如机器人小车等具有特定视角需求的设备。
可选地,在一实施方式中,所述第一神经网络模型可以是训练好的神经网络模型。
可选地,在另一实施方式中,也可以对选取的模型进行预训练,得到所需的第一神经网络模型。
步骤502:获取第一样本图像,所述第一样本图像的采集视角为第一视角。
在一个例子中,参照图3,机器人上具有图像采集设备,所述图像采集设备的采集视角为所述第一视角(即仰视视角),机器人按照第一视角拍摄得到第一样本图像。
可选地,在采集到具有第一视角的第一样本图像后,需要对采集的第一样本图像进行数据扩充,具体地,可以对所述第一样本图像进行以下至少一种处理操作:翻转、旋转、剪裁、平移、亮度调节,得到至少一张处理后的第一样本图像;基于所述第一样本图像和所述至少一张处理后的第一样本图像,对所述第一神经网络模型进行训练。
步骤503:基于所述第一样本图像,对所述第一神经网络模型进行训练,得到训练好的所述第一神经网络模型。
可选地,在一实施方式中,所述第一样本图像标注有第一真实标签,将所述第一样本图像和所述第一真实标签输入所述第一神经网络模型,对所述第一神经网络模型进行训练。
可选地,在另一实施方式中,所述第一样本图像未标注有真实标签,将所述第一样本图像输入所述第一神经网络模型,采用无监督学习的方法训练所述第一神经网络模型。
上述步骤501至步骤503的具体执行过程可以参考步骤101至步骤103,此处不再重复。
步骤504:对训练好的所述第一神经网络模型进行压缩,得到第二神经网络模型。
本实施例中,考虑到机器人允许搭载的神经网络模型的大小和计算资源受限,需要对训练好的所述第一神经网络模型进行压缩,以适应较低的计算性能。
可选地,在一实施方式中,采用核的稀疏化方式对训练好的所述第一神经网络模型进行压缩。具体地,在对所述第一神经网络模型训练过程中,对参数的更新进行诱导,使其更加稀疏,对于稀疏矩阵,可以使用更加紧致的存储方式,如稀疏列格式(CompressedSparse Columns format,CSC)、稀疏行格式(Compressed Sparse Row format,CSR)。
可选地,在另一实施方式中,采用模型裁剪,或者模型裁剪后重训练(retraining)的方法对训练好的所述第一神经网络模型进行压缩。
具体地,对训练好的所述第一神经网络模型进行剪裁,或者对训练好的所述第一神经网络模型进行剪裁并重训练,得到第二神经网络模型。
这里,对训练好的所述第一神经网络模型进行剪裁,可以通过以下过程实现:从训练好的所述第一神经网络模型中确定出待剪裁的目标对象,所述目标对象至少包括网络层和神经元中的一种;从训练好的所述第一神经网络模型中删除所述目标对象。在一可选的实施方式中,目标对象的确定可以采用如下方式:针对提取特征效果不明显的网络层,可以作为目标对象被删除;针对连接少的神经元或权重小的神经元,可以作为目标对象被删除,例如可以将模型可视化后,查看模型中各层及各神经元的连接关系和权重,还可以可视化各层特征提取效果等,根据可视化后的模型确定目标对象。此外,还可以通过判断参数的重要性,将不重要的连接作为目标对象进行删除。通过上述方式对训练好的所述第一神经网络模型进行剪裁后,可以减少神经网络模型的冗余部分,从而实现对训练好的所述第一神经网络模型的压缩。
通过上述方式裁剪后,还可以利用样本图像(如第一样本图像)对裁剪后的模型进行重训练,可以减少神经网络模型的冗余部分,同时可以提高裁剪后的模型的准确性。
可选地,在又一实施方式中,采用知识蒸馏的方法对训练好的所述第一神经网络模型进行压缩。具体地,获取目标神经网络模型,所述目标神经网络模型为训练好的所述第一神经网络模型的简化模型;利用训练好的所述第一神经网络模型,计算第三样本图像的第一预测标签;所述第三样本图像标注有第三真实标签;基于所述第三样本图像,所述第一预测标签以及所述第三真实标签,训练所述目标神经网络模型;其中,训练好的所述目标神经网络模型为所述第二神经网络。
这里,所述第三样本图像的采集视角为所述第一视角。
这里,所述第一预测标签是通过训练好的所述第一神经网络模型对第三样本图像进行标签预测得到的预测标签。以分类任务为例,第三样本图像标签的第三真实标签为{0,1,0,0,0},代表第三样本图像分别属于五类图像的概率为0%,100%,0%,0%,0%,通过训练好的所述第一神经网络模型预测第三样本图像的第一预测标签为{0.02,0.94,0.02,0.01,0.01},代表第三样本图像分别属于五类图像的概率为2%,94%,2%,1%,1%。
这里,将训练好的所述第一神经网络模型作为大模型,将目标神经网络模型作为小模型,通过大模型的预测结果来辅助小模型的训练,有利于提高小模型的训练效率。其中,目标神经网络模型为训练好的所述第一神经网络模型的简化模型,所述目标神经网络模型可以通过对所述第一神经网络模型进行剪裁的方式得到,也可以通过对所述第一神经网络模型进行整体重新构造得到,重新构造的所述目标神经网络模型与所述第一神经网络模型的区别在于结构上更加简化(比如网络模型变的更浅、更瘦等)。
这里,第一预测标签也称为软目标(soft target),第三真实标签也称为硬目标(hard target),目标神经网络模型基于soft target和hard target作为输入进行训练,具体地,目标神经网络模型的训练过程包括如下步骤:
1)利用所述目标神经网络,计算所述第三样本图像的第二预测标签和第三预测标签;
2)计算所述第一预测标签和所述第二预测标签的第一损失值,以及所述第三预测标签和所述第三真实标签的第二损失值;
3)基于所述第一损失值和所述第二损失值,计算目标损失值;
4)基于所述目标损失值,更新所述目标神经网络的参数。
而后,迭代执行上述1)至4)所述的步骤,直到目标损失值收敛为止。
在一实施方中,所述第一预测标签和所述第二预测标签经第一数值软化。这里,第一数值假设为T,T是一个调节参数,T的数值越大则预测标签的概率分布越软(即越平缓),假设所述第一预测标签和所述第二预测标签分布为Z1和Z2,所述第一预测标签和所述第二预测标签经第一数值软化后分布为Z1/T,Z2/T。需要说明的是,对于大模型来说往往能够得到很好的预测效果(即错误的概率比正确的概率会小很多),但是对于一个小模型来说是无法学习到这个预测效果的,为了帮助小模型学习,就在小模型的预测标签后加一个T参数。
在一实施方中,上述3)中的目标损失值,可以通过以下方式计算:基于第一加权系数和第二加权系数,计算所述第一损失值和所述第二损失值的加权平均值,得到目标损失值;其中,所述第一加权系数是所述第一损失值对应的加权系数,所述第二加权系数是所述第二损失值对应的加权系数。
上述方案中,第一加权系数和第二加权系数为预先设置的常数,可以根据经验来设置第一加权系数和第二加权系数的取值,一般,第一加权系数大于第二加权系数。
举个例子:参照图6-1,训练好的第一神经网络模型为大模型,目标神经网络模型为小模型,训练好的第一神经网络模型和目标神经网络模型均用于图片分类任务。在大模型中,输入为Xl,输出经软化层(即divided by T层)后,再经过归一化层输出soft target,soft target例如为Sl[0.1,0.6,…,0.1],这里,假设输出为Zl,输出经软化层(即dividedby T层)后为Zl/T。在小模型中,输入为Xl,输出有两路,一路经软化层(即divided by T层)后,再经过归一化层输出第二预测标签,soft target和第二预测标签输入第一交叉熵损失(cross entropy loss)层,得到第一损失值,这里,第一交叉熵损失层对soft target和第二预测标签的处理采用如下公式:其中,L(soft)代表第一损失值,y代表soft target,代表第二预测标签;另一路经过归一化层输出第三预测标签,hard target(例如yl[0,1,…,0])和第三预测标签输入第二交叉熵损失层,得到第二损失值,这里,第二交叉熵损失层对hard target和第三预测标签的处理采用如下公式:其中,L(hard)代表第二损失值,z代表hard target,代表第三预测标签。第一损失值的加权系数为λ,第二损失值的加权系数为1-λ,将第一损失值和第二损失值按照各自的加权系数加权平均后得到目标损失值。具体地,目标损失值可以采用如下公式得到:L=λL(soft)+(1-λ)L(hard),其中,L代表目标损失值,L(soft)代表第一损失值,L(hard)代表第二损失值。基于目标损失值对小模型进行训练,具体地,判断所述目标损失值是否满足预设条件(例如小于等于预设的目标值),所述目标损失值未满足预设条件的情况下,基于所述目标损失值更新所述小模型的参数,如以使得目标损失值最小的参数更新小模型参数,直到所述目标损失值满足预设条件为止。图6-2为训练好的小模型的示意图,利用图6-2所示的小模型可以对输入X进行分类任务的预测。
上述技术方案,通过知识蒸馏的方式来压缩训练好的所述第一神经网络模型,具体地,将训练好的所述第一神经网络模型作为大模型,将目标神经网络模型作为小模型,通过大模型的预测结果来辅助小模型的训练,有利于提高小模型的训练效率。训练好的小模型即为简化的第二神经网络模型,简化的第二神经网络模型在处理速度上得到大大提高,另一方面,简化的第二神经网络模型能够适用于处理能力较低的电子设备,降低了电子设备的硬件要求。
经过上述步骤压缩后得到的所述第二神经网络模型,既可以适用于处理仰视视角的图像,也可以适用于处理性能有限的电子设备(如机器人),本申请实施例可以将所述第二神经网络模型加载到电子设备上,所述电子设备具有图像采集设备,所述图像采集设备的采集视角为所述第一视角,如此,电子设备可以实现较高性能来处理具有仰视视角的图像。
可选地,在将所述第二神经网络模型加载到电子设备后,还可以控制该电子设备对所述第二神经网络模型进行模型测试。具体实现时,将所述第二神经网络模型在电子设备(如机器小车)上试运行,测试可以使用(如测试结果满足要求)后,可以在电子设备上正式使用第二神经网络模型,否则可以根据测试结果重新对第二神经网络模型进行训练。其中,所述第二神经网络模型的模型测试过程要先进行单张图像的测试,包括不同视角的图像的测试,重点测试仰视角下不同姿态下的分类和识别效果。测试时不仅需要考虑测试结果的准确性,还要考虑如运行时间的测试,其中,可以包括CPU版本和GPU版本测试,从而满足机器小车的精度和时间的效果需求。当然,在其他实施例中,该电子设备也可以自行进行如上测试过程。
本申请实施的技术方案,采用视角调整加模型压缩的方法,用户可以将很多高级计算机视觉应用移植到机器人上,从而带来丰富的应用实例。此外,在机器人上搭载的简化模型可以帮助研究人员在实践中学习相关前沿技术。再者,经视角调整加压缩后的模型可以扩展应用到其他工业机器人领域,可以明显提升检测效果。另一方面,本申请实施中对于数据扩充策略以及视角调整的方案,可以为其他迁移学习案例提供参考。
图7为本申请实施例提供的神经网络模型的处理装置的结构组成示意图一,如图7所示,所述神经网络模型的处理装置包括:
第一获取单元701,用于获取第一神经网络模型;
第二获取单元702,用于获取第一样本图像,所述第一样本图像的采集视角为第一视角;
训练单元703,用于基于所述第一样本图像,对所述第一神经网络模型进行训练,得到训练好的所述第一神经网络模型。
上述技术方案,采用具有第一视角的第一样本图像来训练第一神经网络模型,训练好的所述第一神经网络模型可以适用于具有第一视角的图像的标签预测。
在本申请一可选实施方式中,所述装置还包括:
图像处理单元704,用于获取所述第一样本图像后,对所述第一样本图像进行以下至少一种处理操作:翻转、旋转、剪裁、平移、亮度调节,得到至少一张处理后的第一样本图像;
所述训练单元703,用于基于所述第一样本图像和所述至少一张处理后的第一样本图像,对所述第一神经网络模型进行训练。
上述技术方案,获取到具有第一视角的第一样本图像后,对该第一样本图像采用翻转、旋转、剪裁、平移、亮度调节等任意一种或多种操作进行处理,可以实现数据扩充,增加数据丰富性,有利于提高对第一神经网络模型的训练效果。
在本申请一可选实施方式中,所述第一获取单元701包括:
第一获取子单元,用于获取待处理模型;
第二获取子单元,用于获取第二样本图像,所述第二样本图像的采集视角为第二视角;
第一训练子单元,用于基于所述第二样本图像,对所述待处理模型进行训练,得到所述第一神经网络模型。
上述技术方案,具有第二视角的第二样本图像和具有第一视角的第一样本图像在视角上有差别,在特征上基本一致,通过具有第二视角的第二样本图像对待处理模型进行训练,得到的第一神经网络模型在特征提取部分预先达到了优化,有利于提高第一神经网络模型的训练效率。
在本申请一可选实施方式中,所述第一获取单元701还包括:
选择子单元,用于获取所要执行的视觉任务;根据所要执行的视觉任务,选择所述视觉任务对应的待处理模型。
上述技术方案,不同的视觉任务对应不同的处理模型,获取所要执行的视觉任务;根据所要执行的视觉任务,选择所述视觉任务对应的待处理模型,使得待处理模型符合电子设备的任务需求。
本领域技术人员应当理解,图7所示的神经网络模型的处理装置中的各单元的实现功能可参照前述神经网络模型的处理方法的相关描述而理解。图7所示的神经网络模型的处理装置中的各单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
图8为本申请实施例提供的神经网络模型的处理装置的结构组成示意图二,如图8所示,所述神经网络模型的处理装置包括:
第一获取单元801,用于获取第一神经网络模型;
第二获取单元802,用于获取第一样本图像,所述第一样本图像的采集视角为第一视角;
训练单元803,用于基于所述第一样本图像,对所述第一神经网络模型进行训练,得到训练好的所述第一神经网络模型。
上述技术方案,采用具有第一视角的第一样本图像来训练第一神经网络模型,训练好的所述第一神经网络模型可以适用于具有第一视角的图像的标签预测。
在本申请一可选实施方式中,所述装置还包括:
图像处理单元804,用于获取所述第一样本图像后,对所述第一样本图像进行以下至少一种处理操作:翻转、旋转、剪裁、平移、亮度调节,得到至少一张处理后的第一样本图像;
所述训练单元803,用于基于所述第一样本图像和所述至少一张处理后的第一样本图像,对所述第一神经网络模型进行训练。
上述技术方案,获取到具有第一视角的第一样本图像后,对该第一样本图像采用翻转、旋转、剪裁、平移、亮度调节等任意一种或多种操作进行处理,可以实现数据扩充,增加数据丰富性,有利于提高对第一神经网络模型的训练效果。
在本申请一可选实施方式中,所述第一获取单元801包括:
第一获取子单元,用于获取待处理模型;
第二获取子单元,用于获取第二样本图像,所述第二样本图像的采集视角为第二视角;
第一训练子单元,用于基于所述第二样本图像,对所述待处理模型进行训练,得到所述第一神经网络模型。
上述技术方案,具有第二视角的第二样本图像和具有第一视角的第一样本图像在视角上有差别,在特征上基本一致,通过具有第二视角的第二样本图像对待处理模型进行训练,得到的第一神经网络模型在特征提取部分预先达到了优化,有利于提高第一神经网络模型的训练效率。
在本申请一可选实施方式中,所述第一获取单元801还包括:
选择子单元,用于获取所要执行的视觉任务;根据所要执行的视觉任务,选择所述视觉任务对应的待处理模型。
上述技术方案,不同的视觉任务对应不同的处理模型,获取所要执行的视觉任务;根据所要执行的视觉任务,选择所述视觉任务对应的待处理模型,使得待处理模型符合电子设备的任务需求。
在本申请一可选实施方式中,所述装置还包括:
压缩单元805,用于对训练好的所述第一神经网络模型进行压缩,得到第二神经网络模型。
上述技术方案,通过对训练好的所述第一神经网络模型进行压缩,得到简化的第二神经网络模型在处理速度上得到大大提高,另一方面,简化的第二神经网络模型能够适用于处理能力较低的电子设备,降低了电子设备的硬件要求。
在本申请一可选实施方式中,所述压缩单元805,用于对训练好的所述第一神经网络模型进行剪裁,或者对训练好的所述第一神经网络模型进行剪裁并重训练,得到第二神经网络模型。
在本申请一可选实施方式中,所述压缩单元805包括:
确定子单元,用于从训练好的所述第一神经网络模型中确定出待剪裁的目标对象,所述目标对象至少包括网络层和神经元中的一种;
删除子单元,用于从训练好的所述第一神经网络模型中删除所述目标对象。
上述技术方案,通过剪裁,或者剪裁加重训练的方式来压缩训练好的所述第一神经网络模型,得到的第二神经网络模型中的参数被大大压缩,简化的第二神经网络模型在处理速度上得到大大提高,另一方面,简化的第二神经网络模型能够适用于处理能力较低的电子设备,降低了电子设备的硬件要求。
在本申请一可选实施方式中,所述压缩单元805,包括:
第三获取子单元,用于获取目标神经网络模型,所述目标神经网络模型为训练好的所述第一神经网络模型的简化模型;
第二训练子单元,用于利用训练好的所述第一神经网络模型,计算第三样本图像的第一预测标签;所述第三样本图像标注有第三真实标签;基于所述第三样本图像,所述第一预测标签以及所述第三真实标签,训练所述目标神经网络模型;其中,训练好的所述目标神经网络模型为所述第二神经网络。
在本申请一可选实施方式中,所述第二训练子单元,用于利用所述目标神经网络,计算所述第三样本图像的第二预测标签和第三预测标签;计算所述第一预测标签和所述第二预测标签的第一损失值,以及所述第三预测标签和所述第三真实标签的第二损失值;基于所述第一损失值和所述第二损失值,计算目标损失值;基于所述目标损失值,更新所述目标神经网络的参数。
在本申请一可选实施方式中,所述第二训练子单元,用于基于第一加权系数和第二加权系数,计算所述第一损失值和所述第二损失值的加权平均值,得到目标损失值;其中,所述第一加权系数是所述第一损失值对应的加权系数,所述第二加权系数是所述第二损失值对应的加权系数。
上述技术方案,通过知识蒸馏的方式来压缩训练好的所述第一神经网络模型,具体地,将训练好的所述第一神经网络模型作为大模型,将目标神经网络模型作为小模型,通过大模型的预测结果来辅助小模型的训练,有利于提高小模型的训练效率。训练好的小模型即为简化的第二神经网络模型,简化的第二神经网络模型在处理速度上得到大大提高,另一方面,简化的第二神经网络模型能够适用于处理能力较低的电子设备,降低了电子设备的硬件要求。
在本申请一可选实施方式中,所述第三样本图像的采集视角为所述第一视角。
在本申请一可选实施方式中,所述装置还包括:
加载单元,用于将所述第二神经网络模型加载到电子设备上,所述电子设备具有图像采集设备,所述图像采集设备的采集视角为所述第一视角。
上述技术方案,将第二神经网络模型加载在电子设备中,电子设备的采集视角为第一视角的情况下,该第二神经网络模型可以适用于处理第一视角的图像,从而拓展了电子设备所支持的神经网络模型,丰富了电子设备的视觉处理功能。
在本申请一可选实施方式中,所述装置还包括:
测试单元,用于控制所述电子设备对所述第二神经网络模型进行模型测试。
上述技术方案,将第二神经网络模型在电子设备上试运行(即测试),测试结果满足要求后,即可将第二神经网络模型在电子设备上正式使用。测试结果不满足要求的情况下,可以根据测试结果重新训练第二神经网络模型,从而保障电子设备上正式使用的第二神经网络模型满足电子设备的需求。
本领域技术人员应当理解,图8所示的神经网络模型的处理装置中的各单元的实现功能可参照前述神经网络模型的处理方法的相关描述而理解。图8所示的神经网络模型的处理装置中的各单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
本申请实施例上述的神经网络模型的处理装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
相应地,本申请实施例还提供一种计算机程序,其中包括计算机可读代码,当所述计算机可读代码在设备上运行时,所述设备中的处理器执行用于实现本申请实施例的上述的神经网络模型的处理方法。
图9为本申请实施例的电子设备的结构组成示意图,如图9所示,电子设备100可以包括一个或多个(图中仅示出一个)处理器1002(处理器1002可以包括但不限于微处理器(MCU,Micro Controller Unit)或可编程逻辑器件(FPGA,Field Programmable GateArray)等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。本领域普通技术人员可以理解,图9所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,电子设备100还可包括比图9中所示更多或者更少的组件,或者具有与图9所示不同的配置。
存储器1004可用于存储应用软件的软件程序以及模块,如本申请实施例中的方法对应的程序指令/模块,处理器1002通过运行存储在存储器1004内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器1004可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1004可进一步包括相对于处理器1002远程设置的存储器,这些远程存储器可以通过网络连接至电子设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备100的通信供应商提供的无线网络。在一个实例中,传输装置1006包括一个网络适配器(NIC,Network Interface Controller),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置1006可以为射频(RF,Radio Frequency)模块,其用于通过无线方式与互联网进行通讯。
本申请实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个第二处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种神经网络模型的处理方法,其特征在于,所述方法包括:
获取第一神经网络模型;
获取第一样本图像,所述第一样本图像的采集视角为第一视角;
基于所述第一样本图像,对所述第一神经网络模型进行训练,得到训练好的所述第一神经网络模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述第一样本图像后,对所述第一样本图像进行以下至少一种处理操作:翻转、旋转、剪裁、平移、亮度调节,得到至少一张处理后的第一样本图像;
所述基于所述第一样本图像,对所述第一神经网络模型进行训练,包括:
基于所述第一样本图像和所述至少一张处理后的第一样本图像,对所述第一神经网络模型进行训练。
3.根据权利要求1或2所述的方法,其特征在于,所述获取第一神经网络模型,包括:
获取待处理模型;
获取第二样本图像,所述第二样本图像的采集视角为第二视角;
基于所述第二样本图像,对所述待处理模型进行训练,得到所述第一神经网络模型。
4.根据权利要求3所述的方法,其特征在于,所述获取待处理模型包括:
获取所要执行的视觉任务;
根据所要执行的视觉任务,选择所述视觉任务对应的待处理模型。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:
对训练好的所述第一神经网络模型进行压缩,得到第二神经网络模型。
6.一种神经网络模型的处理装置,其特征在于,所述装置包括:
第一获取单元,用于获取第一神经网络模型;
第二获取单元,用于获取第一样本图像,所述第一样本图像的采集视角为第一视角;
训练单元,用于基于所述第一样本图像,对所述第一神经网络模型进行训练,得到训练好的所述第一神经网络模型。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
图像处理单元,用于获取所述第一样本图像后,对所述第一样本图像进行以下至少一种处理操作:翻转、旋转、剪裁、平移、亮度调节,得到至少一张处理后的第一样本图像;
所述训练单元,用于基于所述第一样本图像和所述至少一张处理后的第一样本图像,对所述第一神经网络模型进行训练。
8.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;以及
处理器,用于执行所述可执行指令从而完成权利要求1至5中任意一项所述的方法。
9.一种计算机程序,包括计算机可读代码,其特征在于,当所述计算机可读代码在设备上运行时,所述设备中的处理器执行用于实现权利要求1至5中任意一项所述方法的指令。
10.一种计算机存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时实现权利要求1至5中任意一项所述的方法。
CN201910616195.5A 2019-07-09 2019-07-09 神经网络模型的处理方法及装置、电子设备、存储介质 Active CN110348572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910616195.5A CN110348572B (zh) 2019-07-09 2019-07-09 神经网络模型的处理方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910616195.5A CN110348572B (zh) 2019-07-09 2019-07-09 神经网络模型的处理方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN110348572A true CN110348572A (zh) 2019-10-18
CN110348572B CN110348572B (zh) 2022-09-30

Family

ID=68178581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910616195.5A Active CN110348572B (zh) 2019-07-09 2019-07-09 神经网络模型的处理方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN110348572B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991496A (zh) * 2019-11-15 2020-04-10 北京三快在线科技有限公司 一种训练模型的方法及装置
CN111104482A (zh) * 2019-12-18 2020-05-05 北京百度网讯科技有限公司 数据处理方法和装置
CN111311571A (zh) * 2020-02-13 2020-06-19 上海小萌科技有限公司 一种目标信息获取方法、系统、装置及可读存储介质
CN112150494A (zh) * 2020-09-23 2020-12-29 博微太赫兹信息科技有限公司 一种太赫兹人体安检图像显示增强方法及系统
CN112749779A (zh) * 2019-10-30 2021-05-04 北京市商汤科技开发有限公司 神经网络的处理方法及装置、电子设备和计算机存储介质
CN112749782A (zh) * 2019-10-31 2021-05-04 上海商汤智能科技有限公司 数据处理方法及相关产品
CN112836801A (zh) * 2021-02-03 2021-05-25 上海商汤智能科技有限公司 深度学习网络确定方法、装置、电子设备及存储介质
WO2022117096A1 (zh) * 2020-12-03 2022-06-09 影石创新科技股份有限公司 第一人称视角图像识别方法、装置及计算机可读存储介质
CN115331077A (zh) * 2022-08-22 2022-11-11 北京百度网讯科技有限公司 特征提取模型的训练方法、目标分类方法、装置、设备
WO2023272431A1 (zh) * 2021-06-28 2023-01-05 华为技术有限公司 图像处理方法及装置
WO2023137908A1 (zh) * 2022-01-18 2023-07-27 小米汽车科技有限公司 声音识别方法、装置、介质、设备、程序产品及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334934A (zh) * 2017-06-07 2018-07-27 北京深鉴智能科技有限公司 基于剪枝和蒸馏的卷积神经网络压缩方法
CN108764050A (zh) * 2018-04-28 2018-11-06 中国科学院自动化研究所 基于角度无关性的骨架行为识别方法、系统及设备
CN109711544A (zh) * 2018-12-04 2019-05-03 北京市商汤科技开发有限公司 模型压缩的方法、装置、电子设备及计算机存储介质
CN109784490A (zh) * 2019-02-02 2019-05-21 北京地平线机器人技术研发有限公司 神经网络的训练方法、装置和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334934A (zh) * 2017-06-07 2018-07-27 北京深鉴智能科技有限公司 基于剪枝和蒸馏的卷积神经网络压缩方法
CN108764050A (zh) * 2018-04-28 2018-11-06 中国科学院自动化研究所 基于角度无关性的骨架行为识别方法、系统及设备
CN109711544A (zh) * 2018-12-04 2019-05-03 北京市商汤科技开发有限公司 模型压缩的方法、装置、电子设备及计算机存储介质
CN109784490A (zh) * 2019-02-02 2019-05-21 北京地平线机器人技术研发有限公司 神经网络的训练方法、装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GEOFFREY HINTON等: "Distilling the Knowledge in a Neural Network", 《ARXIV:HTTPS://ARXIV.ORG/ABS/1503.02531》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749779A (zh) * 2019-10-30 2021-05-04 北京市商汤科技开发有限公司 神经网络的处理方法及装置、电子设备和计算机存储介质
CN112749782A (zh) * 2019-10-31 2021-05-04 上海商汤智能科技有限公司 数据处理方法及相关产品
CN110991496A (zh) * 2019-11-15 2020-04-10 北京三快在线科技有限公司 一种训练模型的方法及装置
CN111104482A (zh) * 2019-12-18 2020-05-05 北京百度网讯科技有限公司 数据处理方法和装置
CN111311571A (zh) * 2020-02-13 2020-06-19 上海小萌科技有限公司 一种目标信息获取方法、系统、装置及可读存储介质
CN112150494B (zh) * 2020-09-23 2022-10-25 博微太赫兹信息科技有限公司 一种太赫兹人体安检图像显示增强方法及系统
CN112150494A (zh) * 2020-09-23 2020-12-29 博微太赫兹信息科技有限公司 一种太赫兹人体安检图像显示增强方法及系统
WO2022117096A1 (zh) * 2020-12-03 2022-06-09 影石创新科技股份有限公司 第一人称视角图像识别方法、装置及计算机可读存储介质
CN112836801A (zh) * 2021-02-03 2021-05-25 上海商汤智能科技有限公司 深度学习网络确定方法、装置、电子设备及存储介质
WO2023272431A1 (zh) * 2021-06-28 2023-01-05 华为技术有限公司 图像处理方法及装置
WO2023137908A1 (zh) * 2022-01-18 2023-07-27 小米汽车科技有限公司 声音识别方法、装置、介质、设备、程序产品及车辆
CN115331077A (zh) * 2022-08-22 2022-11-11 北京百度网讯科技有限公司 特征提取模型的训练方法、目标分类方法、装置、设备
CN115331077B (zh) * 2022-08-22 2024-04-26 北京百度网讯科技有限公司 特征提取模型的训练方法、目标分类方法、装置、设备

Also Published As

Publication number Publication date
CN110348572B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN110348572A (zh) 神经网络模型的处理方法及装置、电子设备、存储介质
CN112232425B (zh) 图像处理方法、装置、存储介质及电子设备
KR102698958B1 (ko) 이미지 분류 모델 훈련 방법, 및 이미지 처리 방법 및 디바이스
US20210390653A1 (en) Learning robotic tasks using one or more neural networks
US10083523B2 (en) Methods and apparatus for autonomous robotic control
Kasaei et al. Towards lifelong assistive robotics: A tight coupling between object perception and manipulation
CN111797589B (zh) 一种文本处理网络、神经网络训练的方法以及相关设备
KR101882704B1 (ko) 전자 장치 및 그 제어 방법
WO2021129181A1 (en) Portrait segmentation method, model training method and electronic device
CN112070207A (zh) 一种模型训练方法及装置
WO2021203865A9 (zh) 分子结合位点检测方法、装置、电子设备及存储介质
EP3757817A1 (en) Electronic device and control method therefor
US20210279589A1 (en) Electronic device and control method thereof
WO2023165361A1 (zh) 一种数据处理方法及相关设备
WO2022126529A1 (zh) 定位的方法、设备、无人机和存储介质
CN114241597A (zh) 一种姿态识别方法及其相关设备
CN112257840A (zh) 一种神经网络处理方法以及相关设备
CN116563660A (zh) 一种基于预训练大模型的图像处理方法及相关装置
CN115712828A (zh) 一种图像分类方法及其相关设备
CN117056589A (zh) 一种物品推荐方法及其相关设备
CN117746047A (zh) 一种图像处理方法及其相关设备
CN116309226A (zh) 一种图像处理方法及其相关设备
CN115623242A (zh) 一种视频处理方法及其相关设备
Seo et al. Learning similarity metric for comparing RGB-D image patches by CNN
Fan et al. PointNet-Based channel attention VLAD network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant