CN110738212A - 一种卷积网络模型的获取方法、装置及处理设备 - Google Patents

一种卷积网络模型的获取方法、装置及处理设备 Download PDF

Info

Publication number
CN110738212A
CN110738212A CN201810798928.7A CN201810798928A CN110738212A CN 110738212 A CN110738212 A CN 110738212A CN 201810798928 A CN201810798928 A CN 201810798928A CN 110738212 A CN110738212 A CN 110738212A
Authority
CN
China
Prior art keywords
picture
initial
preset format
network model
convolutional network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810798928.7A
Other languages
English (en)
Other versions
CN110738212B (zh
Inventor
康勇
田文善
王鹏
秦暕
葛逸盛
刘树明
俞鸿魁
郭艳民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navinfo Co Ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN201810798928.7A priority Critical patent/CN110738212B/zh
Publication of CN110738212A publication Critical patent/CN110738212A/zh
Application granted granted Critical
Publication of CN110738212B publication Critical patent/CN110738212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

本披露提供一种卷积网络模型的获取方法、装置及处理设备,该方法包括:分别获取第一预设格式的初始图片和第一预设格式的标注图片;对第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片;并将其输入至初始卷积网络模型中,得到第二预设格式的初始图片对应的预测标注图片;计算预测标注图片对应的第一向量和第一预设格式的标注图片对应的第二向量的差异值;根据差异值对初始卷积网络模型进行迭代处理,以调整初始卷积网络模型中参数的权重值,直至调整后的初始卷积网络模型输出的期望标注图片对应的第一向量和第二向量的差异值满足预设条件,在保证图像效果的前提下,提高了卷积网络模型的准确度,且提高了图像的处理效率。

Description

一种卷积网络模型的获取方法、装置及处理设备
技术领域
本披露涉及图像处理技术领域,尤其涉及一种卷积网络模型的获取方法、装置及处理设备。
背景技术
在大数据时代,越来越多的设备需要对于真实世界的实时输入进行越来越复杂的处理,如工业机器人、自动驾驶无人汽车以及移动设备等等。这些任务大多数偏向于机器学习领域,其中大部分运算为向量运算或者矩阵运算,具有极高的并行度。卷积神经网络作为最常见的神经网络算法之一,在机器学习领域起着重要的作用。
目前卷积神经网络的优化采取的较为常规的方法包括float转int算法和卷积神经网络权重的剪枝算法。float转int是通过用int替代float类型的计算来降低运算是占用的时钟周期,从而达到加速的效果。卷积神经网络权重的剪枝即对训练好的网络参数进行修剪,舍弃那些权重比较小,及对网络结果影响较小的权重。减少参数量,达到加速的效果。
然而,float转int受限于底层的基础硬件运算方式,卷积神经网络权重的剪枝的优化方式,虽然不依赖于底层硬件的运算方式,但过程复杂,且得到的卷积神经网络的准确度不高。
发明内容
本披露提供一种卷积网络模型的获取方法、装置及处理设备,在保证图像效果的前提下,提高了卷积网络模型的准确度,且提高了图像的处理效率。
本披露实施例提供一种卷积网络模型的获取方法,该卷积网络模型的获取方法可以包括:
分别获取第一预设格式的初始图片和所述第一预设格式的标注图片;
对所述第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片;
将所述第二预设格式的初始图片输入至初始卷积网络模型中,得到所述第二预设格式的初始图片对应的预测标注图片,所述预测标注图片对应第一向量;
计算所述第一向量和所述第一预设格式的标注图片对应的第二向量的差异值;
根据所述差异值对所述初始卷积网络模型进行迭代处理,以调整所述初始卷积网络模型中参数的权重值,直至所述调整后的初始卷积网络模型输出的期望标注图片对应的第一向量和所述第二向量的差异值满足预设条件。
本披露实施例还提供一种图片分割方法,该图片分割方法可以包括:
接收输入的第一预设格式的待处理图片;
对所述第一预设格式的待处理图片进行缩小处理,得到第二预设格式的待处理图片;
根据卷积网络模型对所述第二预设格式的待处理图片进行分割处理,输出分割处理后的目标标注图片;所述卷积网络模型为上述权利要求1-3任一项所述的调整后的卷积网络模型。
本披露实施例还提供一种卷积网络模型的获取装置,该卷积网络模型的获取装置可以包括:
获取单元,用于分别获取第一预设格式的初始图片和所述第一预设格式的标注图片;
处理单元,用于对所述第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片;
确定单元,用于将所述第二预设格式的初始图片输入至初始卷积网络模型中,得到所述第二预设格式的初始图片对应的预测标注图片,所述预测标注图片对应第一向量;
所述处理单元,还用于计算所述第一向量和所述第一预设格式的标注图片对应的第二向量的差异值;
所述处理单元,还用于根据所述差异值对所述初始卷积网络模型进行迭代处理,以调整所述初始卷积网络模型中参数的权重值,直至所述调整后的初始卷积网络模型输出的期望标注图片对应的第一向量和所述第二向量的差异值满足预设条件。
本披露实施例还提供一种图片分割装置,该图片分割装置可以包括:
接收单元,用于接收输入的第一预设格式的待处理图片;
处理单元,用于对所述第一预设格式的待处理图片进行缩小处理,得到第二预设格式的待处理图片;
所述处理单元,还用于根据卷积网络模型对所述第二预设格式的待处理图片进行分割处理,输出分割处理后的目标标注图片;所述卷积网络模型为上述调整后的卷积网络模型。
本披露实施例还提供一种处理设备,该处理设备可以包括处理器及存储器;
其中,所述存储器,用于存储程序指令;
所述处理器,用于调用并执行所述存储器中存储的程序指令,执行上述所示的卷积网络模型的获取方法;或者,所述处理器,用于调用并执行所述存储器中存储的程序指令,执行上述所示的图片分割方法。
本披露实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,在计算机程序被处理器执行时,执行上述所示的卷积网络模型的获取方法;或者,在计算机程序被处理器执行时,执行上述所示的图片分割方法。
本披露实施例提供的卷积网络模型的获取方法、装置及处理设备,通过分别获取第一预设格式的初始图片和第一预设格式的标注图片;对第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片;将第二预设格式的初始图片输入至初始卷积网络模型中,得到第二预设格式的初始图片对应的预测标注图片,预测标注图片对应第一向量;计算第一向量和第一预设格式的标注图片对应的第二向量的差异值;根据差异值对初始卷积网络模型进行迭代处理,以调整初始卷积网络模型中参数的权重值,直至调整后的初始卷积网络模型输出的期望标注图片对应的第一向量和第二向量的差异值满足预设条件,从而实现在保证图片效果的情况下,提高了卷积网络模型的准确度,同时减少数据的处理量,提高了图像的处理效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本披露实施例提供的一种应用场景图;
图2为本披露实施例提供的一种卷积网络模型的获取方法的示意图;
图3为本披露实施例提供的另一种卷积网络模型的获取方法的示意图;
图4为本披露实施例提供的一种图片分割方法的示意图;
图5为本披露实施例提供的一种根据调整后的卷积网络模型对待处理图片进行分割处理的示意图;
图6为本披露实施例提供的另一种根据调整后的卷积网络模型对待处理图片进行分割处理的示意图;
图7为本披露实施例提供的一种卷积网络模型的获取装置的结构示意图;
图8为本披露实施例提供的一种图片分割装置的结构示意图;
图9为本披露实施例提供的一种处理设备的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本披露的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本披露的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1为本披露实施例提供的一种应用场景图,请参见图1所示,在获取到卷积网络模型之后,可以通过该卷积网络模型对输入的图片进行分割,从而输出分割后的图片,该过程可以应用于有人驾驶,辅助驾驶或者自动驾驶技术领域。具体的,在通过摄像头获取到初始图片之后,通过视觉感知模块中的卷积网络模型对采集到的初始图片进行分割处理,可以获取当前车辆所处的环境具体有哪些物体,如车道线、行人或可行驶区域等,并与GPS模块及雷达传输至多传感器数据融合模块,再由多传感器数据融合模块传输至轨迹规划与决策模块,从而实现自动驾驶。当然,前提是需要先获取到卷积网络模型。
下面以具体的实施例对本披露的技术方案以及本披露的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程在某些实施例中不再赘述。下面将结合附图,对本披露的实施例进行描述。
图2为本披露实施例提供的一种卷积网络模型的获取方法的示意图,该卷积网络模型的获取方法可以由卷积网络模型的获取装置执行,该卷积网络模型的获取装置可以独立设置,也可以集成在处理器中。请参见图2所示,该卷积网络模型的获取方法可以包括:
S201、分别获取第一预设格式的初始图片和第一预设格式的标注图片。
其中,标注图片中的图像可以为初始图片中的部分图像或是全部图像,其区分出不同的实例对象。
示例的,在获取第一预设格式的初始图片时,可以先通过摄像头采集初始图片,在采集到初始图片之后,可以对该初始图片进行缩小处理,从而得到缩小处理后的第一预设格式的初始图片。例如,若摄像头采集到的初始图片的宽度为M,高度为N,则对采集到的初始图片进行缩小处理之后,得到的第一预设格式的初始图片的宽度为m,高度为n,且m<M,n<N。
在获取第一预设格式的标注图片时,可以通过人工处理的方式或机器处理的方式对第一预设格式中的初始图片进行分割处理,得到第一预设格式的标注图片。示例的,当第一预设格式的初始图片的宽度为m,高度为n时,对应的第一预设格式的标注图片的宽度也为m,高度也为n。
S202、对第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片。
为了减少数据的处理量,以提高图像的处理效率,在发明实施例中,在将第一预设格式的初始图片输入至初始卷积网络模型之前,先对该第一预设格式的初始图片进行缩小处理,得到缩小后的第二预设格式的初始图片。需要说明的是,在对第一预设格式的初始图片进行缩小处理时,不能无限制的对初始图片进行缩小,而是在保证结果图片效果的前提下,对该第一预设格式的初始图片进行缩小。此处,对第一预设格式的标注图片不做缩小处理。
示例的,当第一预设格式的初始图片的宽度为m,高度为n时,对该第一预设格式的初始图片进行缩小处理之后,可以得到第二预设格式的初始图片,该第二预设格式的初始图片的宽度为0.5m,高度为0.5n;当然,也可以该第二预设格式的初始图片的宽度为0.6m,高度为0.6n,具体可以根据实际需要进行设置。
S203、将第二预设格式的初始图片输入至初始卷积网络模型中,得到第二预设格式的初始图片对应的预测标注图片。
其中,预测标注图片对应第一向量。
在通过上述S202得到第二预设格式的初始图片之后,就可以将该第二预设格式的初始图片输入至初始卷积网络模型中进行计算,初始卷积网络模型的前半部分通过一系列的卷积函数和激活函数分别进行线性运算和非线性运算,后半部分主要通过反卷积函数和激活函数分别进行线性运算和非线性运算,形成前向的非线性运算过程,从而得到第二预设格式的初始图片对应的预测标注图片,预测标注图片即初始卷积网络模型对第二预设格式的初始图片的分割的结果,该预测标注图片对应第一向量。
S204、计算第一向量和第一预设格式的标注图片对应的第二向量的差异值。
S205、根据差异值对初始卷积网络模型进行迭代处理,以调整初始卷积网络模型中参数的权重值,直至调整后的初始卷积网络模型输出的期望标注图片对应的第一向量和第二向量的差异值满足预设条件。
其中,期望标注图片可以理解为准确度较高的调整后的初始卷积网络模型输出的标注图片。
其中,预设条件可以理解为第一向量和第二向量的差异值较小,例如,第一向量和第二向量的差异值小于或等于5%,当然,也可以小于或等于6%,具体可以根据实际需要进行设置,在此,对于第一向量和第二向量的差异值具体设置为多少,本披露实施例不作具体限制。
需要说明的是,在本披露实施例中,根据差异值对初始卷积网络模型进行迭代处理,以调整初始卷积网络模型中参数的权重值,可以包括:若所述差异值大于第一阈值,则根据所述差异值调整所述初始卷积网络模型中参数的权重值,得到调整后的卷积网络模型;并重复执行下述步骤A和步骤B,直至所述调整后的初始卷积网络模型输出的期望标注图片对应的第一向量和所述第二向量的差异值满足预设条件。A:将所述第二预设格式的初始图片输入至所述调整后的卷积网络模型中,得到所述第二预设格式的初始图片对应的预测标注图片;B:计算所述预测标注图片对应的第一向量和所述第一预设格式的标注图片对应的第二向量的差异值,用该差异值调整初始卷积网络模型中参数的权重值,从而得到调整后的初始卷积网络模型。
本披露实施例提供的卷积网络模型的获取方法,通过分别获取第一预设格式的初始图片和第一预设格式的标注图片;对第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片;将第二预设格式的初始图片输入至初始卷积网络模型中,得到第二预设格式的初始图片对应的预测标注图片,预测标注图片对应第一向量;计算第一向量和第一预设格式的标注图片对应的第二向量的差异值;根据差异值对初始卷积网络模型进行迭代处理,以调整初始卷积网络模型中参数的权重值,直至调整后的初始卷积网络模型输出的期望标注图片对应的第一向量和第二向量的差异值满足预设条件,从而实现在保证图片效果的情况下,提高了卷积网络模型的准确度,同时减少数据的处理量,提高了图像的处理效率。
基于图2所示的实施例,进一步地,请参见图3所示,图3为本披露实施例提供的另一种卷积网络模型的获取方法的示意图,该卷积网络模型的获取方法还可以包括:
S301、分别获取第一预设格式的初始图片和第一预设格式的标注图片。
同样的,在获取第一预设格式的初始图片时,可以先通过摄像头采集初始图片,在采集到初始图片之后,可以对该初始图片进行缩小处理,从而得到缩小处理后的第一预设格式的初始图片。例如,若摄像头采集到的初始图片的宽度为M,高度为N,则对采集到的初始图片进行缩小处理之后,得到的第一预设格式的初始图片的宽度为m,高度为n,且m<M,n<N。
在获取第一预设格式的标注图片时,可以通过人工处理的方式或机器处理的方式对第一预设格式中的初始图片进行分割处理,得到第一预设格式的标注图片。示例的,当第一预设格式的初始图片的宽度为m,高度为n时,对应的第一预设格式的标注图片的宽度也为m,高度也为n。
S302、根据期望标注图片与第一预设格式的标注图片的差异值确定缩小比例。
需要说明的是,在对第一预设格式的初始图片进行缩小处理时,不能无限制的对初始图片进行缩小,即在确定缩放比例时,需要在保证图片效果的前提下,对该第一预设格式的初始图片进行缩小。可选的,在本披露实施例中,是根据期望标注图片与第一预设格式的标注图片的差异值确定缩小比例。
其中,期望标注图片可以理解为得到的准确度较高的调整后的初始卷积网络模型输出的标注图片。
示例的,若期望标注图片与第一预设格式的标注图片的差异值为5%,即通过期望标注图片与第一预设格式的标注图片的匹配率为95%,则对应的缩小比例可以为80%,并根据80%的缩小比例不断迭代训练网络,将训练好的网络参数(输出模型),在预先准备好的测试样本中进行量化测试,如果按照80%的缩小比例输出的结果,其匹配率不能达到95%,则继续调整缩小比例,直至根据该缩小比例输出的期望标注图片与第一预设格式的标注图片的匹配率为95%为止。
S303、根据缩小比例对第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片。
在通过上述S302确定缩小比例之后,就可以根据该缩小比例对第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片,并将该缩小处理后的第二预设格式的初始图片输入至初始卷积网络模型中进行计算,从而实现在保证图片效果的情况下,减少数据的处理量,进而提高了图像的处理效率。
示例的,当第一预设格式的初始图片的宽度为m,高度为n,根据调整后的卷积网络模型输出的预测标注图片与第一预设格式的标注图片的差异值确定缩小比例为50%时,则根据该缩小比例对第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片,该第二预设格式的初始图片的宽度为0.5m,高度为0.5n。需要说明的是,在本披露实施例中,只是根据缩小比例对第一预设格式的初始图片进行缩小处理,而对第一预设格式的标注图片,不做缩小处理。
S304、将第二预设格式的初始图片输入至初始卷积网络模型中,得到第二预设格式的初始图片对应的多个特征图。
在获取到第二预设格式的初始图片之后,就可以将该第二预设格式的初始图片输入至初始卷积网络模型中进行计算,初始卷积网络模型的前半部分通过一系列的卷积函数和激活函数分别进行线性运算和非线性运算,形成前向的非线性运算过程,从而得到该第二预设格式的初始图片对应的多个特征图。
示例的,当第二预设格式的初始图片的宽度为0.5m,高度为0.5n时,根据初始卷积网络模型得到的该第二预设格式的初始图片对应的每一个特征图的向量的维度小于或等于0.5m*0.5n。
S305、对多个特征图进行反卷积处理,得到第二预设格式的初始图片对应的预测标注图片。
其中,预测标注图片对应的第一向量的维度与第一预设格式的标注图片对应的第二向量的维度相同。
由于只对第一预设格式的初始图片进行缩小处理得到第二预设格式的初始图片,而对第一预设格式的标注图片不进行缩小处理,因此,将第二预设格式的初始图片通过卷积计算过程得到多个特征图,而每一个特征图对应的向量的维度小于第一预设格式的标注图片对应的第二向量的维度,为了将卷积网络最终输出的预测标注图片对应的第一向量和第二向量进行比较,需要对S302中得到的所有特征图进行反卷积处理,使得卷积网络最终输出的预测标注图片对应的第一向量的维度与第一预设格式的标注图片对应的第二向量的维度相同,从而将具有相同维度的第一向量和第二向量进行比较。
示例的,当第一预设格式的标注图片对应第二向量为m*n,第二预设格式的初始图片对应的向量的维度为0.5m*0.5n时,可以对该维度为0.5m*0.5n的向量进行卷积和反卷积处理,使得预测标注图片对应的向量的维度变为m*n,从而使得预测标注图片对应的第一向量的维度与第二向量的维度相同。
S306、将具有相同维度的第一向量和第二向量进行比较,计算第一向量和第二向量的差异值。
示例的,在计算预测标注图片对应的第一向量和第二向量的差异值时,是将具有相同维度的预测标注图片对应的第一向量和第二向量进行比较,在处理此类问题的过程中,采用SoftmaxWithLoss函数来计算预测标注图片的第一向量和第二向量的差异(即loss值),将预测标注图片对应的第一向量和第二向量作为SoftmaxWithLoss函数的输入,从而确定预测标注图片对应的第一向量和第二向量的差异值。
S307、根据差异值对初始卷积网络模型进行迭代处理,以调整初始卷积网络模型中参数的权重值,直至调整后的初始卷积网络模型输出的期望标注图片对应的第一向量和第二向量的差异值满足预设条件。
同样的,预设条件可以理解为第一向量和第二向量的差异值较小,例如,第一向量和第二向量的差异值小于或等于5%,当然,也可以小于或等于6%,具体可以根据实际需要进行设置,在此,对于第一向量和第二向量的差异值具体设置为多少,本披露实施例不作具体限制。
需要说明的是,在本披露实施例中,根据差异值对初始卷积网络模型进行迭代处理,以调整初始卷积网络模型中参数的权重值,可以包括:若差异值大于第一阈值,则根据差异值调整初始卷积网络模型中参数的权重值,得到调整后的卷积网络模型;并重复执行下述步骤A和步骤B,直至调整后的初始卷积网络模型输出的期望标注图片对应的第一向量和第二向量的差异值满足预设条件。A:将第二预设格式的初始图片输入至调整后的卷积网络模型中,得到第二预设格式的初始图片对应的预测标注图片;B:计算预测标注图片对应的第一向量和第一预设格式的标注图片对应的第二向量的差异值,得到调整后的初始卷积网络模型,从而实现在保证图片效果的情况下,提高了卷积网络模型的准确度,同时减少数据的处理量,提高了图像的处理效率。
此外,在本披露实施例中,在得到调整后的卷积网络模型之后,还可以根据该调整后的卷积网络模型对待处理图片进行分割处理,得到处理后的图片,请参见图4所示,图4为本披露实施例提供的一种图片分割方法的示意图,该图片分割方法还可以包括:
S401、接收输入的第一预设格式的待处理图片。
S402、对第一预设格式的待处理图片进行缩小处理,得到第二预设格式的待处理图片。
需要说明的是,该步骤中对第一预设格式的待处理图片进行缩小处理,得到第二预设格式的待处理图片的相关描述,可以参见上述实施例S303中的相关描述,在此,本披露实施例不再进行赘述。
S403、根据卷积网络模型对第二预设格式的待处理图片进行分割处理,输出分割处理后的目标标注图片。
其中,卷积网络模型为上述任一实施例所示的调整后的卷积网络模型。
在得到调整后的卷积网络模型之后,就可以根据调整后的卷积网络模型对第二预设格式的待处理图片进行分割处理,从而得到分割处理后的目标标注图片。示例的,请参见图5和图6所示,图5为本披露实施例提供的一种根据调整后的卷积网络模型对待处理图片进行分割处理的示意图,图6为本披露实施例提供的另一种根据调整后的卷积网络模型对待处理图片进行分割处理的示意图。
请结合图5所示,图5中第一行分别给出三个初始图片,第二行中的三个图片为第一行中三个初始图片对应的三个标注图片,以标注图片为初始图片中的可行驶区域(FreeSpace)为例,第三行中的三个图片即为采用本披露实施例训练得到的卷积网络模型进行分割处理后得到的目标标注图片,可以看出,采用本披露实施例训练得到的卷积网络模型进行分割处理后得到的目标标注图片与第二行中的三个标注图片的匹配率较高,进而可以确定通过本披露实施例训练得到的卷积网络模型的准确率较高。
同样的,请结合图6所示,图6中第一行分别给出三个初始图片,第二行中的三个图片为第一行中三个初始图片对应的三个标注图片,以标注图片为初始图片中的车道线为例,第三行中的三个图片即为采用本披露实施例训练得到的卷积网络模型进行分割处理后得到的车道线图片,可以看出,采用本披露实施例训练得到的卷积网络模型进行分割处理后得到的车道线图片与第二行中的三个标注图片的匹配率较高,进而可以确定通过本披露实施例训练得到的卷积网络模型的准确率较高。
在本披露实施例中,在获取卷积网络模型的过程可以分为训练数据的生成过程和卷积网络模型的训练过程,具体的:
训练数据生成过程可以包括:(1)采集原始图片,对初始图片进行缩小处理,得到第一预设格式的初始图片,且该第一预设格式的初始图片最少只能降低到m x n(在没有使用本披露的方法能到达的最小图像尺度,即Min_Width x Min_Height)的尺度,对应的标注图片也是m x n大小;(本实例中将网络输入图片像素降低到25%,其他具体应用或是实例可根据需求做调整);(2)对第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片,该第二预设格式的初始图片的长宽分别缩放到50%,将此图片作为卷积网络模型的输入图片,即长宽为0.5m x 0.5n;(3).将标注图片m x n保持不变,形成大小为m x n的向量,对应位置分割物体类别的编号作为向量的值;(4)设计卷积网络模型,保证该初始卷积网络模型输出第二预设格式的初始图片对应的预测标注图片为m x n维度的向量,从而和标注图片的m x n维度的向量进行loss值的计算,示例的,通常可采取SoftmaxWithLoss做为loss值的计算方式。至此训练数据的准备完成。
之后,再执行卷积网络模型的训练过程,该卷积模型的训练过程可以包括:(1)将第二预设格式为0.5m x 0.5n的的初始图片,批量输入卷积网络模型中;(2)根据初始卷积网络模型进行前向计算,输出第二预设格式对应的m x n维的向量V;(3)将此向量V的值,与标注图片的真实类别值进行loss值计算;(4)根据计算的loss值,反向更新网络中的权重值;并迭代上述2-4步骤,直到loss值降低到一个很小合理的数值以下,停止迭代,并保存网络学习到的参数权重,从而训练得到更新后的卷积网络模型。
在获取到更新后的卷积网络模型之后,即可以通过该卷积网络模型进行图像分割,该过程可以包括:(1)将待测试的初始图片长宽缩放到0.5m x0.5n,输入初始卷积网络模型中;(2)经过初始卷积网络模型进行前向计算,输出第二预设格式对应的m x n维的向量V;(3)将此向量V的值经过argmax操作,即可对应到对应的像素类别编号中;(4)根据不同编号对应的类别信息,输出可视化分割图像。由于输入网络的图片尺度在常规方法能得到最小的输入尺度mxn的基础上,又进行了缩放,且在训练阶段loss的计算是在mxn的维度上进行的,从而实现在保证图片效果的情况下,减少数据的处理量,进而提高了图像的处理效率。
图7为本披露实施例提供的一种卷积网络模型的获取装置70的结构示意图,请参见图7所示,该卷积网络模型的获取装置70可以包括:
获取单元701,用于分别获取第一预设格式的初始图片和第一预设格式的标注图片。
处理单元702,用于对第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片。
确定单元703,用于将第二预设格式的初始图片输入至初始卷积网络模型中,得到第二预设格式的初始图片对应的预测标注图片,预测标注图片对应第一向量。
处理单元702,还用于计算第一向量和第一预设格式的标注图片对应的第二向量的差异值。
处理单元702,还用于根据差异值对初始卷积网络模型进行迭代处理,以调整初始卷积网络模型中参数的权重值,直至调整后的初始卷积网络模型输出的期望标注图片对应的第一向量和第二向量的差异值满足预设条件。
可选的,确定单元703,具体用于将第二预设格式的初始图片输入至初始卷积网络模型中,得到第二预设格式的初始图片对应的多个特征图;并对多个特征图进行反卷积处理,得到第二预设格式的初始图片对应的预测标注图片;其中,预测标注图片对应的第一向量的维度与第一预设格式的标注图片对应的第二向量的维度相同。
可选的,处理单元702,具体用于根据期望标注图片与第一预设格式的标注图片的差异值确定缩小比例;并根据缩小比例对第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片。
本披露实施例所示的卷积网络模型的获取装置70,可以执行上述任一实施例所示的卷积网络模型的获取方法的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
图8为本披露实施例提供的一种图片分割装置80的结构示意图,请参见图8所示,该图片分割装置80可以包括:
接收单元801,用于接收输入的第一预设格式的待处理图片。
处理单元802,用于对第一预设格式的待处理图片进行缩小处理,得到第二预设格式的待处理图片。
处理单元802,还用于根据卷积网络模型对待处理图片进行分割处理,输出分割处理后的目标标注图片;卷积网络模型为上述任一实施例所示的调整后的卷积网络模型。
本披露实施例所示的图片分割装置80,可以执行上述实施例所示的图片分割方法的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
图9为本披露实施例提供的一种处理设备90的结构示意图,请参见图9所示,该处理设备90可以包括处理器901及存储器902;
其中,存储器902,用于存储程序指令。
处理器901,用于调用并执行存储器902中存储的程序指令,执行上述任一实施例所示的卷积网络模型的获取方法。
或者,处理器901,用于调用并执行存储器902中存储的程序指令,执行上述实施例所示的图片分割方法,其实现原理以及有益效果类似,此处不再进行赘述。
本披露实施例还提供一种计算机可读存储介质,其特征在于,计算机可读存储介质上存储有计算机程序,在计算机程序被处理器执行时,执行上述任一实施例所示的卷积网络模型的获取方法;
或者,在计算机程序被处理器执行时,执行上述实施例所示的图片分割方法,其实现原理以及有益效果类似,此处不再进行赘述。
上述各个实施例中处理器可以是通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本披露实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本披露实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(random access memory,RAM)、闪存、只读存储器(read-only memory,ROM)、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的指令,结合其硬件完成上述方法的步骤。
在本披露所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本披露各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本披露旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种卷积网络模型的获取方法,其特征在于,包括:
分别获取第一预设格式的初始图片和所述第一预设格式的标注图片;
对所述第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片;
将所述第二预设格式的初始图片输入至初始卷积网络模型中,得到所述第二预设格式的初始图片对应的预测标注图片,所述预测标注图片对应第一向量;
计算所述第一向量和所述第一预设格式的标注图片对应的第二向量的差异值;
根据所述差异值对所述初始卷积网络模型进行迭代处理,以调整所述初始卷积网络模型中参数的权重值,直至所述调整后的初始卷积网络模型输出的期望标注图片对应的第一向量和所述第二向量的差异值满足预设条件。
2.根据权利要求1所述的方法,其特征在于,所述将所述第二预设格式的初始图片输入至初始卷积网络模型中,得到所述第二预设格式的初始图片对应的预测标注图片,包括:
将所述第二预设格式的初始图片输入至初始卷积网络模型中,得到所述第二预设格式的初始图片对应的多个特征图;
对所述多个特征图进行反卷积处理,得到所述第二预设格式的初始图片对应的预测标注图片;其中,所述预测标注图片对应的第一向量的维度与第一预设格式的标注图片对应的第二向量的维度相同。
3.根据权利要求1所述的方法,其特征在于,所述对所述第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片,包括:
根据所述期望标注图片与所述第一预设格式的标注图片的差异值确定缩小比例;
根据所述缩小比例对所述第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片。
4.一种图片分割方法,其特征在于,包括:
接收输入的第一预设格式的待处理图片;
对所述第一预设格式的待处理图片进行缩小处理,得到第二预设格式的待处理图片;
根据卷积网络模型对所述第二预设格式的待处理图片进行分割处理,输出分割处理后的目标标注图片;所述卷积网络模型为上述权利要求1-3任一项所述的调整后的卷积网络模型。
5.一种卷积网络模型的获取装置,其特征在于,包括:
获取单元,用于分别获取第一预设格式的初始图片和所述第一预设格式的标注图片;
处理单元,用于对所述第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片;
确定单元,用于将所述第二预设格式的初始图片输入至初始卷积网络模型中,得到所述第二预设格式的初始图片对应的预测标注图片,所述预测标注图片对应第一向量;
所述处理单元,还用于计算所述第一向量和所述第一预设格式的标注图片对应的第二向量的差异值;
所述处理单元,还用于根据所述差异值对所述初始卷积网络模型进行迭代处理,以调整所述初始卷积网络模型中参数的权重值,直至所述调整后的初始卷积网络模型输出的期望标注图片对应的第一向量和所述第二向量的差异值满足预设条件。
6.根据权利要求5所述的装置,其特征在于,
所述确定单元,具体用于将所述第二预设格式的初始图片输入至初始卷积网络模型中,得到所述第二预设格式的初始图片对应的多个特征图;并对所述多个特征图进行反卷积处理,得到所述第二预设格式的初始图片对应的预测标注图片;其中,所述预测标注图片对应的第一向量的维度与第一预设格式的标注图片对应的第二向量的维度相同。
7.根据权利要求5所述的装置,其特征在于,
所述处理单元,具体用于根据期望标注图片与所述第一预设格式的标注图片的差异值确定缩小比例;并根据所述缩小比例对所述第一预设格式的初始图片进行缩小处理,得到第二预设格式的初始图片。
8.一种图片分割装置,其特征在于,包括:
接收单元,用于接收输入的第一预设格式的待处理图片;
处理单元,用于对所述第一预设格式的待处理图片进行缩小处理,得到第二预设格式的待处理图片;
所述处理单元,还用于根据卷积网络模型对所述第二预设格式的待处理图片进行分割处理,输出分割处理后的目标标注图片;所述卷积网络模型为上述权利要求1-3任一项所述的调整后的卷积网络模型。
9.一种处理设备,其特征在于,包括处理器及存储器;
其中,所述存储器,用于存储程序指令;
所述处理器,用于调用并执行所述存储器中存储的程序指令,执行上述权利要求1-3任一项所示的卷积网络模型的获取方法;
或者,所述处理器,用于调用并执行所述存储器中存储的程序指令,执行上述权利要求4所示的图片分割方法。
10.一种计算机可读存储介质,其特征在于,计算机可读存储介质上存储有计算机程序,在计算机程序被处理器执行时,执行上述权利要求1-3任一项所示的卷积网络模型的获取方法;
或者,在计算机程序被处理器执行时,执行上述权利要求4所示的图片分割方法。
CN201810798928.7A 2018-07-19 2018-07-19 一种卷积网络模型的获取方法、装置及处理设备 Active CN110738212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810798928.7A CN110738212B (zh) 2018-07-19 2018-07-19 一种卷积网络模型的获取方法、装置及处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810798928.7A CN110738212B (zh) 2018-07-19 2018-07-19 一种卷积网络模型的获取方法、装置及处理设备

Publications (2)

Publication Number Publication Date
CN110738212A true CN110738212A (zh) 2020-01-31
CN110738212B CN110738212B (zh) 2022-11-08

Family

ID=69235483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810798928.7A Active CN110738212B (zh) 2018-07-19 2018-07-19 一种卷积网络模型的获取方法、装置及处理设备

Country Status (1)

Country Link
CN (1) CN110738212B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530320A (zh) * 2016-09-30 2017-03-22 深圳大学 一种端到端的图像分割处理方法及系统
CN106778664A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种虹膜图像中虹膜区域的分割方法及其装置
CN106780727A (zh) * 2016-12-27 2017-05-31 深圳市捷顺科技实业股份有限公司 一种车头检测模型重建方法及装置
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530320A (zh) * 2016-09-30 2017-03-22 深圳大学 一种端到端的图像分割处理方法及系统
CN106780727A (zh) * 2016-12-27 2017-05-31 深圳市捷顺科技实业股份有限公司 一种车头检测模型重建方法及装置
CN106778664A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种虹膜图像中虹膜区域的分割方法及其装置
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法

Also Published As

Publication number Publication date
CN110738212B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
EP3979200A1 (en) Video target tracking method and apparatus, computer device and storage medium
CN108986161B (zh) 一种三维空间坐标估计方法、装置、终端和存储介质
CN109325972B (zh) 激光雷达稀疏深度图的处理方法、装置、设备及介质
CN109388093B (zh) 基于线特征识别的机器人姿态控制方法、系统及机器人
US20200218948A1 (en) Thundernet: a turbo unified network for real-time semantic segmentation
WO2019096902A1 (en) System and method for real-time large image homography processing
US20230169677A1 (en) Pose Estimation Method and Apparatus
CN111369550A (zh) 图像配准与缺陷检测方法、模型、训练方法、装置及设备
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110378250B (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN110688928A (zh) 模型训练方法、装置、电子设备及计算机可读存储介质
CN113112542A (zh) 一种视觉定位方法、装置、电子设备及存储介质
CN112435223B (zh) 目标检测方法、装置及存储介质
CN112465909A (zh) 基于卷积神经网络的类激活映射目标定位方法及系统
CN113439227B (zh) 放大图像的捕获和存储
CN113172636B (zh) 一种自动手眼标定方法、装置及存储介质
CN108734712B (zh) 背景分割的方法、装置及计算机存储介质
CN109800793B (zh) 一种基于深度学习的目标检测方法和系统
CN110738212A (zh) 一种卷积网络模型的获取方法、装置及处理设备
CN109118539B (zh) 一种基于多尺度特征的点云与图片融合方法、装置及其设备
CN110874814A (zh) 一种图像处理方法、图像处理装置及终端设备
CN112529943A (zh) 一种物体检测方法、物体检测装置及智能设备
CN109035338B (zh) 一种基于单尺度特征的点云与图片融合方法、装置及其设备
CN112183563A (zh) 一种图像识别模型的生成方法、存储介质及应用服务器
CN114155298B (zh) 一种基于主动感知的机器人堵漏方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant