CN114282663A - 模型保存方法、装置、电子设备、路侧设备及云控平台 - Google Patents
模型保存方法、装置、电子设备、路侧设备及云控平台 Download PDFInfo
- Publication number
- CN114282663A CN114282663A CN202110456107.7A CN202110456107A CN114282663A CN 114282663 A CN114282663 A CN 114282663A CN 202110456107 A CN202110456107 A CN 202110456107A CN 114282663 A CN114282663 A CN 114282663A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- neural network
- loss
- trained target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 101
- 238000003062 neural network model Methods 0.000 claims abstract description 68
- 230000006870 function Effects 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000003709 image segmentation Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004321 preservation Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 description 20
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供了一种用于图像处理的模型保存方法、装置、电子设备及存储介质,涉及智能交通、计算机视觉和深度学习技术领域。具体实现方案为:将样本图像数据输入神经网络模型进行前向传播,得到目标输出结果;根据所述目标输出结果与标签数据计算损失,得到损失函数;根据所述损失函数的反向传播对所述神经网络模型进行训练;达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型。采用本公开,可以实现动态的模型保存,提高模型性能且减少耗时。
Description
技术领域
本公开涉及人工智能领域。本公开尤其涉及智能交通、计算机视觉和深度学习技术领域。
背景技术
随着技术的发展,可以通过人工智能改善硬件性能,所适用的应用场景多种多样,比如涉及图文处理、图像处理、视频处理、人脸识别、目标定位等应用场景的硬件设计中都可以采用人工智能技术,即将训练好的模型部署于硬件中,以提高硬件的处理速度及处理准确率。
然而,模型训练到一定阶段,认为训练完善则可以进行模型保存,模型保存的时机各种各样,对应保存的模型性能会影响硬件性能的优劣,如影响到硬件的处理速度及处理准确率等,何时保存模型以提高模型性能是要解决问题。对此,相关技术未存在有效的解决方案。
发明内容
本公开提供了一种用于图像处理的模型保存方法、装置、电子设备及存储介质。
根据本公开的一方面,提供了一种用于图像处理的模型保存方法,包括:
将样本图像数据输入神经网络模型进行前向传播,得到目标输出结果;
根据所述目标输出结果与标签数据计算损失,得到损失函数;
根据所述损失函数的反向传播对所述神经网络模型进行训练;
达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型。
根据本公开的另一方面,提供了一种图像处理方法,包括:
将待处理图像输入训练后的目标模型,所述训练后的目标模型根据本公开任意一实施例所提供的训练方法训练获得;
根据所述训练后的目标模型,对所述待处理图像执行包括图像分类、图像识别、图像分割中的至少一种图像处理。
根据本公开的另一方面,提供了一种视频处理方法,包括:
从待处理视频数据流中提取出多个图像帧;
将所述多个图像帧输入训练后的目标模型,所述训练后的目标模型根据本公开任意一实施例所提供的训练方法训练获得;
根据所述训练后的目标模型,对所述多个图像帧执行包括图像分类、图像识别、图像分割中的至少一种图像处理,得到图像处理结果;
根据所述图像处理结果,对所述待处理视频数据流中的目标对象执行包括识别、定位中的至少一种视频处理。
根据本公开的另一方面,提供了一种用于图像处理的模型保存装置,包括:
前向处理模块,用于将样本图像数据输入神经网络模型进行前向传播,得到目标输出结果;
损失运算模块,用于根据所述目标输出结果与标签数据计算损失,得到损失函数;
训练模块,用于根据所述损失函数的反向传播对所述神经网络模型进行训练;
保存模块,用于达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型。
根据本公开的另一方面,提供了一种图像处理装置,包括:
第一输入模块,用于将待处理图像输入训练后的目标模型,所述训练后的目标模型根据本公开任意一实施例所提供的训练方法训练获得;
图像处理模块,用于根据所述训练后的目标模型,对所述待处理图像执行包括图像分类、图像识别、图像分割中的至少一种图像处理。
根据本公开的另一方面,提供了一种视频处理装置,包括:
图像帧提取模块,用于从待处理视频数据流中提取出多个图像帧;
第一输入模块,用于将所述多个图像帧输入训练后的目标模型,所述训练后的目标模型根据本公开任意一实施例所提供的训练方法训练获得;
图像处理模块,用于根据所述训练后的目标模型,对所述多个图像帧执行包括图像分类、图像识别、图像分割中的至少一种图像处理,得到图像处理结果;
视频处理模块,用于根据所述图像处理结果,对所述待处理视频数据流中的目标对象执行包括识别、定位中的至少一种视频处理。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开任意一实施例所提供的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使该计算机执行本公开任意一项实施例所提供的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现本公开任意一项实施例所提供的方法。
根据本公开的另一方面,提供了一种路侧设备,包括上述电子设备。
根据本公开的另一方面,提供了一种云控平台,包括上述电子设备。
采用本公开,可以将样本图像数据输入神经网络模型进行前向传播,得到目标输出结果;根据所述目标输出结果与标签数据计算损失,得到损失函数;根据所述损失函数的反向传播对所述神经网络模型进行训练;达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型,从而,可以实现动态的模型保存,提高模型性能且减少耗时。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例的模型保存方法的流程示意图;
图2是根据本公开实施例的图像处理方法的流程示意图;
图3是根据本公开实施例的视频处理方法的流程示意图;
图4是根据本公开实施例的模型保存装置的组成结构示意图;
图5是根据本公开实施例的图像处理装置的组成结构示意图;
图6是根据本公开实施例的视频处理装置的组成结构示意图;
图7是用来实现本公开实施例的模型保存方法、图像处理及视频处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分,并不是限定顺序的意思,或者限定只有两个的意思,例如,第一特征和第二特征,是指代有两类/两个特征,第一特征可以为一个或多个,第二特征也可以为一个或多个。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
得益于科技的发展,以神经网络为核心的人工智能技术大量被应用在计算机视觉的相关场景中,如人脸识别、图像分类、文字识别(OCR,optical character recognition)识别、目标检测、图像分割、目标追踪、事件检测、无人驾驶等等。然而,计算机视觉的技术研究更多集中在模型架构的设计、数据的预处理、损失函数的设计及优化等方面,对于模型如何保存的技术内容却很少有人研究。
目前模型保存的方法主要包括:1)直接保存最后一次迭代的模型,这种方法随机性比较大,一般来说模型性能处于可获得最优结果的附近;2)按照一定的固定间隔保存模型,该方法的缺点很明显,模型的结果受限于保存间隔的设置(如间隔阈值的设计大小),如果设置太大,模型不一定可以保存到效果最好的模型;如果设置太小,需要测试的模型太多,浪费时间;3)针对方案1)进行改进,在模型训练的同时在验证集上测试模型的性能,将该验证结果作为模型保存的参考,对于模型的验证集要求较高,成本高。综上所述,目前模型保存的方法都无法实现动态的模型保存,优化模型的保存方法,可以提高模型训练的成功率,缩减模型的开发时间,使得保存模型的性能更加优越及稳定,如此一来,通过优化模型的保存方法所得到的训练后目标模型,部署在上述计算机视觉的相关场景中才可以提高硬件性能。
根据本公开的实施例,提供了一种用于图像处理的模型保存方法,图1是根据本公开实施例的模型保存方法的流程示意图,该方法可以应用于模型保存装置,例如,该装置可以部署于终端或服务器或其它处理设备执行的情况下,可以执行图像处理、视频处理等等。其中,终端可以为用户设备(UE,User Equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(PDA,Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示,包括:
S101、将样本图像数据输入神经网络模型进行前向传播,得到目标输出结果。
S102、根据所述目标输出结果与标签数据计算损失,得到损失函数。
S103、根据所述损失函数的反向传播对所述神经网络模型进行训练。
S104、达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型。
S101-S104的一示例中,神经网络模型不限于现有的基础模型(如卷积神经网络模型、递归神经网络等)及在基础模型情况下的轻量型模型,还可以针对该基础模型及轻量型模型增加自反馈支路,得到自反馈神经网络模型等等。以卷积神经网络为例,将样本图像数据输入卷积神经网络模型(包括至少一个卷积层)进行前向传播,得到目标输出结果。之后根据该目标输出结果与标签数据计算损失,得到损失函数,根据该损失函数的反向传播对该卷积神经网络模型进行训练,达到神经网络模型动态保存条件的情况下可以结束模型训练,并执行模型保存操作,以将所保存的模型作为训练后的目标模型。
采用本公开,可以将样本图像数据输入神经网络模型进行前向传播,得到目标输出结果;根据所述目标输出结果与标签数据计算损失,得到损失函数;根据所述损失函数的反向传播对所述神经网络模型进行训练;达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型,从而,可以实现动态的模型保存,提高模型性能且减少耗时。
一实施方式中,将所述神经网络模型的模型迭代次数、所述神经网络模型的损失值中的至少一种作为所述动态保存条件。采用本实施方式,考虑到迭代次数及损失运算对模型性能的影响,将神经网络模型的模型迭代次数、神经网络模型的损失值中的至少一种作为动态保存条件,则所保存的模型性能更佳,且不需要人工干预,可以实现动态的调整。
一实施方式中,将所述神经网络模型的模型迭代次数和所述神经网络模型的损失值作为所述动态保存条件。采用本实施方式,考虑到迭代次数及损失运算对模型性能的影响,可以将神经网络模型的模型迭代次数和神经网络模型的损失值同时作为动态保存条件,比如,神经网络模型的模型迭代次数大于预设迭代阈值(如预设迭代阈值为0.75),且神经网络模型的损失值大于预设属性损失值(如预设属性损失值设置lossthresh,该lossthresh为常量)的情况下执行模型保存操作,则所保存的模型性能更佳,且不需要人工干预,可以实现动态的调整。
一实施方式中,所述达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型,包括:所述神经网络模型的模型迭代次数大于预设迭代阈值的情况下执行所述模型保存操作,将所保存的模型作为所述训练后的目标模型。采用本实施方式,神经网络模型的模型迭代次数大于预设迭代阈值(如预设迭代阈值为0.75)的情况下执行模型保存操作,则所保存的模型性能更佳,且不需要人工干预,可以实现动态的调整,将所保存的模型作为训练后的目标模型部署到硬件中,可以得到更好的硬件性能(如识别准确率、识别处理速度等)。
一实施方式中,所述达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型,包括:所述神经网络模型的损失值大于预设属性损失值的情况下执行所述模型保存操作,将所保存的模型作为所述训练后的目标模型。采用本实施方式,神经网络模型的损失值大于预设属性损失值(如预设属性损失值设置lossthresh,该lossthresh为常量)的情况下执行模型保存操作,则所保存的模型性能更佳,且不需要人工干预,可以实现动态的调整,将所保存的模型作为训练后的目标模型部署到硬件中,可以得到更好的硬件性能(如识别准确率、识别处理速度等)。
一实施方式中,所述神经网络模型的损失值大于预设属性损失值的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型,包括:获取历史累计的损失函数平均值与当前累计的损失函数平均值之间的损失差值;所述神经网络模型的损失值为所述损失差值的情况下,所述损失差值大于所述预设属性损失值则执行所述模型保存操作,将所保存的模型作为所述训练后的目标模型。采用本实施方式,可以将历史累计的损失函数平均值记为losspre,将当前累计的损失函数平均值记为lossave,将二者的差值做为该损失差值,损失差值大于预设属性损失值(如预设属性损失值设置lossthresh,该lossthresh为常量)的情况下执行模型保存操作,则所保存的模型性能更佳,且不需要人工干预,可以实现动态的调整,将所保存的模型作为训练后的目标模型部署到硬件中,可以得到更好的硬件性能(如识别准确率、识别处理速度等)。
根据本公开的实施例,提供了一种图像处理方法,图2是根据本公开实施例的图像处理方法的流程示意图,所述方法包括:
S201、将待处理图像输入训练后的目标模型,所述训练后的目标模型根据自反馈模型训练方法训练获得。
S202、根据所述训练后的目标模型,对所述待处理图像执行包括图像分类、图像识别、图像分割中的至少一种图像处理。
采用本公开,由于训练后的目标模型,是基于动态保存条件所实现的模型动态保存获得的,将该训练后的目标模型部署于图像处理的硬件设备中运行,可以提取到更多更精确的图像特征,因此,在图像处理场景中,可以实现更精确的图像分类、图像识别、图像分割等。
根据本公开的实施例,提供了一种视频处理方法,图3是根据本公开实施例的视频处理方法的流程示意图,所述方法包括:
S301、从待处理视频数据流中提取出多个图像帧。
S302、将所述多个图像帧输入训练后的目标模型,所述训练后的目标模型根据自反馈模型训练方法训练获得。
S303、根据所述训练后的目标模型,对所述多个图像帧执行包括图像分类、图像识别、图像分割中的至少一种图像处理,得到图像处理结果。
S304、根据所述图像处理结果,对所述待处理视频数据流中的目标对象执行包括识别、定位中的至少一种视频处理。
采用本公开,由于训练后的目标模型,是基于动态保存条件所实现的模型动态保存获得的,将该训练后的目标模型部署于视频处理的硬件设备中运行,可以提取到更多更精确的图像特征,因此,在视频处理场景中,可以实现更精确的目标对象识别、定位等。
应用示例:
本应用示例基于动态保存条件来实现动态的模型保存过程,可以是依据模型训练的迭代次数和属性损失值来判断是否保存神经网络模型,以卷积神经网络模型为例,具体阐述如下:
一、准备数据和初始化参数,比如“当前迭代次数(Iter)/最大迭代次数(maxiter)是否大于迭代阈值(iter_thresh)”,iter_thresh默认可以取0.75,若模型训练的迭代次数大于0.75,则判断出:需要执行模型保存操作,并保存该卷积神经网络模型。
二、将历史累计的损失函数平均值记为losspre,将当前累计损失函数的平均值记为lossave,将属性损失值记为lossthresh,若losspre与lossave二者之差大于lossthresh,则判断出:需要执行模型保存操作,并保存该卷积神经网络模型。
lossave的计算如公式(1)所示:
公式(1)中,K为总的属性损失函数对应的属性个数(卷积神经模型会有多个属性,总的属性损失函数是指:比如,存在分类属性的损失函数、中心值属性的损失函数、长宽属性的损失函数、IOU属性的损失函数等,将这些属性损失函数的叠加值记为该总的属性损失函数);βi为第i种属性损失函数的系数;iter为当前迭代次数;n为所取的历史损失函数的总的范围,比如从iter-n次迭代损失到第iter次迭代损失之和;lj为第j次迭代时的损失函数。
losspre的计算如公式(2)所示:
公式(2)中,lossthresh为一个常量,根据实际任务设置,可以默认为1;NAN值通常指在初始化阶段设置损失函数时,给losspre一个很大的数值,以便模型训练起来后可以很快的给losspre赋一个新值;iter为当前迭代次数。
以卷积神经网络模型为例,在模型保存过程中,输入待训练的样本图像数据和标签数据(label),对卷积神经网络模型的训练,满足动态保存条件情况下保存卷积神经网络模型,包括如下内容:
步骤一:搭建卷积神经网络模型,初始化参数,比如字符串“For iter in range(maxiters)”。
步骤二:批量输入该样本图像数据到卷积神经网络模型,进行前向传播。
步骤三:计算由步骤二得到的输出与label之间的误差,得到损失函数。
步骤四:根据损失函数的反向传播,即反传误差梯度来更新该自反馈模型的权重。
步骤五:判断动态保存条件是否满足,满足则保存当前训练得到的卷积神经网络模型并作为训练后的目标模型。
步骤六:更新历史累计的损失函数平均值losspre。
基于上述卷积神经网络模型,在卷积神经网络模型测试过程中,包括如下内容:
步骤一:依次加载训练后所保存的目标模型。
步骤二:输入待处理数据(如图像处理中的图像数据、或视频处理中提取的图像帧数据等)至该目标模型。
步骤三:输出该目标模型的处理结果。
步骤四:如果是第一次预测或者目标模型的结果优于现有保存的结果,则将最后结果替换为本次的测试模型及处理结果。
采用本应用示例,基于动态保存条件来实现动态的模型保存过程,得到训练后的目标模型后,将该训练后的目标模型部署于图像处理及视频处理的硬件设备中运行,可以提取到更多更精确的图像特征,因此,提高了图像处理及视频处理硬件性能(如识别准确率及识别处理速度等)。
根据本公开的实施例,提供了一种用于图像处理的模型保存装置,图4是根据本公开实施例的模型保存装置的组成结构示意图,如图4所示,模型保存装置400包括:前向处理模块401,用于将样本图像数据输入神经网络模型进行前向传播,得到目标输出结果;损失运算模块402,用于根据所述目标输出结果与标签数据计算损失,得到损失函数;训练模块403,用于根据所述损失函数的反向传播对所述神经网络模型进行训练;保存模块404,用于达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型。
一实施方式中,所述保存模块,用于将所述神经网络模型的模型迭代次数、所述神经网络模型的损失值中的至少一种作为所述动态保存条件。
一实施方式中,所述保存模块,用于所述神经网络模型的模型迭代次数大于预设迭代阈值的情况下执行所述模型保存操作,将所保存的模型作为所述训练后的目标模型。
一实施方式中,所述保存模块,用于所述神经网络模型的损失值大于预设属性损失值的情况下执行所述模型保存操作,将所保存的模型作为所述训练后的目标模型。
一实施方式中,所述保存模块,用于获取历史累计的损失函数平均值与当前累计的损失函数平均值之间的损失差值;所述神经网络模型的损失值为所述损失差值的情况下,所述损失差值大于所述预设属性损失值则执行所述模型保存操作,将所保存的模型作为所述训练后的目标模型。
根据本公开的实施例,提供了一种图像处理装置,图5是根据本公开实施例的图像处理装置的组成结构示意图,如图5所示,图像处理装置500包括:第一输入模块501,用于将待处理图像输入训练后的目标模型,所述训练后的目标模型根据自反馈模型训练方法训练获得;图像处理模块502,用于根据所述训练后的目标模型,对所述待处理图像执行包括图像分类、图像识别、图像分割中的至少一种图像处理。
根据本公开的实施例,提供了一种视频处理装置,图6是根据本公开实施例的视频处理装置的组成结构示意图,如图6所示,视频处理装置600包括:图像帧提取模块601,用于从待处理视频数据流中提取出多个图像帧;第一输入模块602,用于将所述多个图像帧输入训练后的目标模型,所述训练后的目标模型根据自反馈模型训练方法训练获得;图像处理模块603,用于根据所述训练后的目标模型,对所述多个图像帧执行包括图像分类、图像识别、图像分割中的至少一种图像处理,得到图像处理结果;视频处理模块904,用于根据所述图像处理结果,对所述待处理视频数据流中的目标对象执行包括识别、定位中的至少一种视频处理。
本公开实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,本公开还提供了一种路侧设备,包括上述电子设备。
可选的,该路侧设备除了包括电子设备,还可以包括通信部件等,电子设备可以和通信部件一体集成,也可以分体设置。电子设备可以获取感知设备(如路侧相机)的数据,例如图片和视频等,从而进行图像视频处理和数据计算。可选的,电子设备自身也可以具备感知数据获取功能和通信功能,例如是AI相机,电子设备可以直接基于获取的感知数据进行图像视频处理和数据计算。
根据本公开的实施例,本公开还提供了一种云控平台,包括上述电子设备。
可选的,该云控平台可以在云端执行处理,云控平台包括的电子设备可以获取感知设备(如路侧相机)的数据,例如图片和视频等,从而进行图像视频处理和数据计算;云控平台也可以称为车路协同管理平台、边缘计算平台、云计算平台、中心系统、云端服务器等。
图7是用来实现本公开实施例的用于图像处理的模型保存方法、图像处理方法及视频处理方法的电子设备的框图。该电子设备可以为前述部署设备或代理设备。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或要求的本公开的实现。
如图7所示,电子设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序来执行各种适当的动作和处理。在RAM 703中,还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM702以及RAM 703通过总线704彼此相连。输入输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如模型保存方法、图像处理方法及视频处理方法。例如,在一些实施例中,模型保存方法、图像处理方法及视频处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的模型保存方法、图像处理方法及视频处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行模型保存方法、图像处理方法及视频处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (19)
1.一种用于图像处理的模型保存方法,所述方法包括:
将样本图像数据输入神经网络模型进行前向传播,得到目标输出结果;
根据所述目标输出结果与标签数据计算损失,得到损失函数;
根据所述损失函数的反向传播对所述神经网络模型进行训练;
达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型。
2.根据权利要求1所述的方法,还包括:
将所述神经网络模型的模型迭代次数、所述神经网络模型的损失值中的至少一种作为所述动态保存条件。
3.根据权利要求2所述的方法,其中,所述达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型,包括:
所述神经网络模型的模型迭代次数大于预设迭代阈值的情况下执行所述模型保存操作,将所保存的模型作为所述训练后的目标模型。
4.根据权利要求2所述的方法,其中,所述达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型,包括:
所述神经网络模型的损失值大于预设属性损失值的情况下执行所述模型保存操作,将所保存的模型作为所述训练后的目标模型。
5.根据权利要求4所述的方法,其中,所述神经网络模型的损失值大于预设属性损失值的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型,包括:
获取历史累计的损失函数平均值与当前累计的损失函数平均值之间的损失差值;
所述神经网络模型的损失值为所述损失差值的情况下,所述损失差值大于所述预设属性损失值则执行所述模型保存操作,将所保存的模型作为所述训练后的目标模型。
6.一种图像处理方法,所述方法包括:
将待处理图像输入训练后的目标模型,所述训练后的目标模型根据权利要求1-5的训练方法训练获得;
根据所述训练后的目标模型,对所述待处理图像执行包括图像分类、图像识别、图像分割中的至少一种图像处理。
7.一种视频处理方法,所述方法包括:
从待处理视频数据流中提取出多个图像帧;
将所述多个图像帧输入训练后的目标模型,所述训练后的目标模型根据权利要求1-5的训练方法训练获得;
根据所述训练后的目标模型,对所述多个图像帧执行包括图像分类、图像识别、图像分割中的至少一种图像处理,得到图像处理结果;
根据所述图像处理结果,对所述待处理视频数据流中的目标对象执行包括识别、定位中的至少一种视频处理。
8.一种用于图像处理的模型保存装置,所述装置包括:
前向处理模块,用于将样本图像数据输入神经网络模型进行前向传播,得到目标输出结果;
损失运算模块,用于根据所述目标输出结果与标签数据计算损失,得到损失函数;
训练模块,用于根据所述损失函数的反向传播对所述神经网络模型进行训练;
保存模块,用于达到所述神经网络模型动态保存条件的情况下执行模型保存操作,将所保存的模型作为训练后的目标模型。
9.根据权利要求8所述的装置,其中,所述保存模块,用于:
将所述神经网络模型的模型迭代次数、所述神经网络模型的损失值中的至少一种作为所述动态保存条件。
10.根据权利要求9所述的装置,其中,所述保存模块,用于:
所述神经网络模型的模型迭代次数大于预设迭代阈值的情况下执行所述模型保存操作,将所保存的模型作为所述训练后的目标模型。
11.根据权利要求9所述的装置,其中,所述保存模块,用于:
所述神经网络模型的损失值大于预设属性损失值的情况下执行所述模型保存操作,将所保存的模型作为所述训练后的目标模型。
12.根据权利要求11所述的装置,其中,所述保存模块,用于:
获取历史累计的损失函数平均值与当前累计的损失函数平均值之间的损失差值;
所述神经网络模型的损失值为所述损失差值的情况下,所述损失差值大于所述预设属性损失值则执行所述模型保存操作,将所保存的模型作为所述训练后的目标模型。
13.一种图像处理装置,所述装置包括:
第一输入模块,用于将待处理图像输入训练后的目标模型,所述训练后的目标模型根据权利要求1-5的训练方法训练获得;
图像处理模块,用于根据所述训练后的目标模型,对所述待处理图像执行包括图像分类、图像识别、图像分割中的至少一种图像处理。
14.一种视频处理装置,所述装置包括:
图像帧提取模块,用于从待处理视频数据流中提取出多个图像帧;
第一输入模块,用于将所述多个图像帧输入训练后的目标模型,所述训练后的目标模型根据权利要求1-5的训练方法训练获得;
图像处理模块,用于根据所述训练后的目标模型,对所述多个图像帧执行包括图像分类、图像识别、图像分割中的至少一种图像处理,得到图像处理结果;
视频处理模块,用于根据所述图像处理结果,对所述待处理视频数据流中的目标对象执行包括识别、定位中的至少一种视频处理。
15.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行权利要求1-5中任一项所述的方法。
17.一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现权利要求1-5中任一项所述的方法。
18.一种路侧设备,包括如权利要求15所述的电子设备。
19.一种云控平台,包括如权利要求15所述的电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110456107.7A CN114282663A (zh) | 2021-04-26 | 2021-04-26 | 模型保存方法、装置、电子设备、路侧设备及云控平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110456107.7A CN114282663A (zh) | 2021-04-26 | 2021-04-26 | 模型保存方法、装置、电子设备、路侧设备及云控平台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114282663A true CN114282663A (zh) | 2022-04-05 |
Family
ID=80868272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110456107.7A Pending CN114282663A (zh) | 2021-04-26 | 2021-04-26 | 模型保存方法、装置、电子设备、路侧设备及云控平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114282663A (zh) |
-
2021
- 2021-04-26 CN CN202110456107.7A patent/CN114282663A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3882820A1 (en) | Node classification method, model training method, device, apparatus, and storage medium | |
CN113870334B (zh) | 深度检测方法、装置、设备以及存储介质 | |
CN112562069A (zh) | 三维模型的构造方法、装置、设备和存储介质 | |
CN113657483A (zh) | 模型训练方法、目标检测方法、装置、设备以及存储介质 | |
CN113469025A (zh) | 应用于车路协同的目标检测方法、装置、路侧设备和车辆 | |
CN112949818A (zh) | 模型蒸馏方法、装置、设备以及存储介质 | |
CN114549904B (zh) | 视觉处理及模型训练方法、设备、存储介质及程序产品 | |
CN114715145B (zh) | 一种轨迹预测方法、装置、设备及自动驾驶车辆 | |
CN115456167A (zh) | 轻量级模型训练方法、图像处理方法、装置及电子设备 | |
CN114463551A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN114781650A (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
CN114120454A (zh) | 活体检测模型的训练方法、装置、电子设备及存储介质 | |
CN113361574A (zh) | 数据处理模型的训练方法、装置、电子设备及存储介质 | |
CN113033408A (zh) | 数据队列动态更新方法、装置、电子设备及存储介质 | |
CN113377998A (zh) | 数据加载的方法、装置、电子设备及存储介质 | |
CN115759209B (zh) | 神经网络模型的量化方法、装置、电子设备及介质 | |
CN115273148B (zh) | 行人重识别模型训练方法、装置、电子设备及存储介质 | |
CN116452861A (zh) | 目标模型训练方法、装置及电子设备 | |
CN114282663A (zh) | 模型保存方法、装置、电子设备、路侧设备及云控平台 | |
CN114330576A (zh) | 模型处理方法、装置、图像识别方法及装置 | |
CN114445668A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN114282664A (zh) | 自反馈模型训练方法、装置、路侧设备及云控平台 | |
CN114119972A (zh) | 模型获取及对象处理方法、装置、电子设备及存储介质 | |
CN113361575A (zh) | 模型训练方法、装置和电子设备 | |
CN113139483A (zh) | 人体行为识别方法、装置、设备、存储介质以及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |