CN110880182A - 图像分割模型训练方法、图像分割方法、装置及电子设备 - Google Patents
图像分割模型训练方法、图像分割方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110880182A CN110880182A CN201911125145.3A CN201911125145A CN110880182A CN 110880182 A CN110880182 A CN 110880182A CN 201911125145 A CN201911125145 A CN 201911125145A CN 110880182 A CN110880182 A CN 110880182A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- network model
- neural network
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像分割模型训练方法、图像分割方法、装置及电子设备,其中,图像分割模型训练方法包括:获取训练图像集中的各图像的兴趣区域图像,以得到训练图像集对应的兴趣图像集;将训练图像集与兴趣图像集输入初始神经网络模型进行模型训练,以得到图像分割模型。
Description
技术领域
本申请涉及计算机技术领域,具体而言,涉及一种图像分割模型训练方法、图像分割方法、装置及电子设备。
背景技术
图像分割是指把图像分成若干个特定的、具有独特性质的区域然后提取出感兴趣目标的技术和过程,也就是在一幅图像中,把目标从背景中分离出来。由于图像中包括背景、缺陷、目标图像等信息,导致图像中的信息复杂、干扰因素多等因素,导致目前的图像的分割的精准度较低。
发明内容
有鉴于此,本申请实施例的目的在于提供一种图像分割模型训练方法、图像分割方法、装置及电子设备。能够达到提高图像分割的准确率的效果。
第一方面,实施例提供一种图像分割模型训练方法,包括:
获取训练图像集中的各图像的兴趣区域图像,以得到所述训练图像集对应的兴趣图像集;
将所述训练图像集与所述兴趣图像集输入初始神经网络模型进行模型训练,以得到图像分割模型。
在可选的实施方式中,所述获取训练图像集中的各图像的兴趣区域图像,以得到所述训练图像集对应的兴趣图像集的步骤,包括:
接收对所述训练图像集中的各图像中的选择操作,所述选择操作用于选择各图像中的兴趣区域;
根据所述选择操作截取各图像中的兴趣区域图像,以得到所述训练图像集对应的兴趣图像集。
在可选的实施方式中,所述将所述训练图像集与所述兴趣图像集输入初始神经网络模型进行模型训练,以得到图像分割模型的步骤,包括:
根据所述训练图像集和所述兴趣图像集中的图像数据计算当前神经网络模型的当前损失值,所述当前神经网络模型为所述初始神经网络模型或更新待确定参数后得到的当前神经网络模型;
当所述损失值大于设定值时,更新所述当前神经网络模型的待确定参数得到更新的当前神经网络模型;
当所述损失值小于设定值,或更新所述待确定参数的次数达到指定次数时,将当前神经网络模型作为图像分割模型。
本申请实施例提供的图像分割模型训练方法,还可以循环训练模型,使模型能够达到设定的要求,从而使训练出来的图像分割模型的分割准确率更高。
在可选的实施方式中,所述当所述损失值大于设定值时,更新所述当前神经网络模型的待确定参数得到更新的当前神经网络模型的步骤,包括:
当所述损失值大于设定值时,使用逐层反向调节的方式更新所述当前神经网络模型的待确定参数得到更新的当前神经网络模型。
本申请实施例提供的图像分割模型训练方法,还可以使用逐层反向调节的方式对参数进行调整,从而可以使模型训练的速度相对更快。
在可选的实施方式中,所述初始神经网络模型为DenseNet网络模型,所述DenseNet网络模型包括一个卷积层、一个池化层、多个密集块、多个过渡层、一个全局池化层和一个全连接层。
在可选的实施方式中,所述多个密集块包括四个密集块,其中,第三个密集块和第四个密集块为空洞卷积;所述全连接层为多孔空间金字塔池化模块;每个密集块的各层特征使用跳跃连接进行连接,各个密集块的输出特征也使用跳跃连接进行连接。
本申请实施例提供的图像分割模型训练方法,本实施例中的初始神经网络模型是以DenseNet网络为基础的模型,并对DenseNet网络进行了改进将第三个密集块和第四个密集块中的卷积改为空洞卷积,且将全连接层设置为多孔空间金字塔池化模块使得任意两层网络都可以直接沟通,实现了多层级特征复用,提高图像分割模型分割准确率。
第二方面,实施例提供一种图像分割方法,包括:
获取待分割图像;
将所述待分割图像输入前述实施方式任意一项所述的方法得到的图像分割模型中进行分割,得到图像分割结果。
第三方面,实施例提供一种图像分割模型训练装置,包括:
第一获取模块,用于获取训练图像集中的各图像的兴趣区域图像,以得到所述训练图像集对应的兴趣图像集;
训练模块,用于将所述训练图像集与所述兴趣图像集输入初始神经网络模型进行模型训练,以得到图像分割模型。
第四方面,实施例提供一种图像分割装置,包括:
第二获取模块,用于获取待分割图像;
分割模块,用于将所述待分割图像输入前述实施方式任意一项所述的方法得到的图像分割模型进行分割,得到图像分割结果。
第五方面,实施例提供一种电子设备,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述机器可读指令被所述处理器执行时执行如前述实施方式任一所述的方法的步骤。
第六方面,实施例提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如前述实施方式任一所述的方法的步骤。
本申请实施例提供的图像分割模型训练方法、图像分割方法、装置及电子设备,将兴趣图像集和训练图像集作为训练数据均输入神经网络模型中,可以能够提高对图像中的信息复杂、干扰因素多等因素的容错率,从而可以提高图像分割模型精准度。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的方框示意图。
图2为本申请实施例提供的图像分割模型训练方法的流程图。
图3为本申请实施例提供的图像分割模型训练方法的步骤202的详细流程图。
图4为本申请实施例提供的图像分割模型训练方法的初始神经网络模型示意图。
图5为本申请实施例提供的图像分割模型训练装置的功能模块示意图。
图6为本申请实施例提供的图像分割方法的流程图。
图7为本申请实施例提供的图像分割装置的功能模块示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例一
为便于对本实施例进行理解,首先对执行本申请实施例所公开的图像分割模型训练方法或图像分割方法的电子设备进行详细介绍。
如图1所示,是电子设备的方框示意图。电子设备100可以包括存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对电子设备100的结构造成限定。例如,电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
上述的存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。
其中,存储器111可以是,但不限于,随机存取存储器(Random Access Memory,简称RAM),只读存储器(Read Only Memory,简称ROM),可编程只读存储器(ProgrammableRead-Only Memory,简称PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,简称EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,简称EEPROM)等。其中,存储器111用于存储程序,所述处理器113在接收到执行指令后,执行所述程序,本申请实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中,或者由处理器113实现。
上述的处理器113可能是一种集成电路芯片,具有信号的处理能力。上述的处理器113可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(digital signalprocessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述的外设接口114将各种输入/输出装置耦合至处理器113以及存储器111。在一些实施例中,外设接口114,处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
上述的输入输出单元115用于提供给用户输入数据。所述输入输出单元115可以是,但不限于,鼠标和键盘等。
上述的显示单元116在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器进行计算和处理。
本实施例中的电子设备100可以用于执行本申请实施例提供的各个方法中的各个步骤。下面通过几个实施例详细描述图像分割模型训练方法和图像分割方法的实现过程。
实施例二
请参阅图2,是本申请实施例提供的图像分割模型训练方法的流程图。下面将对图2所示的具体流程进行详细阐述。
步骤201,获取训练图像集中的各图像的兴趣区域图像,以得到所述训练图像集对应的兴趣图像集。
步骤201可以包括:接收对所述训练图像集中的各图像中的选择操作,根据所述选择操作截取各图像中的兴趣区域图像,以得到所述训练图像集对应的兴趣图像集。
其中,选择操作用于选择各图像中的兴趣区域。可选地,该选择操作在输入兴趣区域的边界值的操作。可选地,该选择操作还可以是框选操作。
可选地,可以对收集到的图像集使用增强的方式进行数据扩充,以得到训练所需的训练图像集。上述收集到的图像集可以是任意途径得到的图像。例如,本申请实施例中的方法用于训练分割电芯图像中的缺陷的图像分割模型,则上述收集的图像集中的图像可以是接收电芯问题的反馈时所收集到的图像。例如,本申请实施例中的方法用于训练分割图像中的人脸部分的图像分割模型,则上述收集的图像集中的图像可以是监控摄像头采集到的图像。
示例性地,还是对收集到的图像集使用增强的方式进行数据扩充,以得到对训练得到的模型进行测试的测试图像集。
步骤202,将所述训练图像集与所述兴趣图像集输入初始神经网络模型进行模型训练,以得到图像分割模型。
请参阅图3,步骤202可以包括以下步骤。
步骤2021,根据所述训练图像集和所述兴趣图像集中的图像数据计算当前神经网络模型的当前损失值。
当前神经网络模型为所述初始神经网络模型或更新待确定参数后得到的当前神经网络模型。
示例性地,上述的初始神经网络模型中可以包括待确定参数和因变量。通过步骤202的循环训练的方式确定出待确定参数对应的目标值。
示例性地,步骤2021至步骤2023可以是一循环的过程。在第一次执行步骤2021时,上述当前神经网络模型为初始神经网络模型。在第N次执行步骤2021时,上述的当前神经网络模型为第N-1次更新待确定参数后得到的当前神经网络模型。
步骤2022,当所述损失值大于设定值时,更新所述当前神经网络模型的待确定参数得到更新的当前神经网络模型。
示例性地,在执行完步骤2022后,可以返回至步骤2021循环执行,从而实现对待确定参数的不断调整。
步骤2022可以包括:当所述损失值大于设定值时,使用逐层反向调节的方式更新所述当前神经网络模型的待确定参数得到更新的当前神经网络模型。
步骤2023,当所述损失值小于设定值,或更新所述待确定参数的次数达到指定次数时,将当前神经网络模型作为图像分割模型。
示例性地,上述的设定值可以是一个较小的值,例如,可以是0.1、0.05、0.08等值。上述的指定次数可以是十万次、一百万次、五万次等。
可选地,上述的使用逐层反向调节的方式更新所述当前神经网络模型的待确定参数可表示为使用反向传播算法计算当前神经网络模型的待确定参数的当前值。
示例性地,反向传播算法确定待确定参数可以包括以下步骤:
1)将训练图像集或兴趣图像集中的图像数据输入当前神经网络模型以得到该当前神经网络模型的各层网络层的激活值;
2)根据各网络层的激活值计算各网络层的残差;
3)基于上述的网络层的残差计算损失函数关于各个待确定参数的导数;
4)根据上述的导数计算出待确定参数。
通过上述的方式确定的参数可以更快地确定出能够确定出图像分割模型。
如图4所示,所述初始神经网络模型为DenseNet网络模型,所述DenseNet网络模型包括一个卷积层N1、一个池化层N2、多个密集块(图中示出四个密集块,分别为:密集块N3、密集块N5、密集块N7、密集块N9)、多个过渡层(图中示出三个过渡层,分别为:过渡层N4、过渡层N6、过渡层N8)、一个全局池化层N10和一个全连接层。
可选地,上述的卷积层N1可以是以2为步长的7*7的卷积核,以二为步长的7*7的卷积核可以用于对输入的图像进行特征提取。可选地,上述的7*7的卷积核可以是以二为步长。上述的池化层N2可以是以2为步长的3*3的MaxPool函数,以2为步长的3*3的MaxPool函数可以用于对输入的图像进行池化操作。示例性地,然后利用多个密集块和多个过渡层进行下采样,提取图像的抽象特征。
示例性地,若输入DenseNet网络模型的输入图像大小为3*H*W(其中,H表示图像高度,W表示图像宽度),输出图像则为C*(H/8)*(W/8)(其中,C为类别数量)的概率值图像。然后,可以上采样至C*H*W的概率值图像,从而分析每个像素在各类别的概率值,对比得到该像素最大可能的类别。最后,根据各个像素的类别可以得到需要分割出的目标对象。示例性地,DenseNet网络模型用于分割出图像中的目标对象,则上述的类别C可以为2。可以知道的是,上述的具体数值是为了方便介绍方案所提供的实例,并不对本实施例造成任何限制。例如,若图像中包括多类对象,上述的类别C的值可以为大于2的值。示例性地,DenseNet网络模型可以包括四个密集块,其中,第三个密集块和第四个密集块为空洞卷积。由于空洞卷积不同影响输出的图像的分辨率,因此,本实例中的DenseNet网络模型输出图像则为C*(H/8)*(W/8)的概率值图像。示例性地,上述的输出图像的大小也可能由于卷积层的数量的不同输出的图像的分辨率也不同,例如,将DenseNet网络模型增加一卷积层,则输出的图像的分辨率可能为C*(H/16)*(W/16)等。
如图4所示,本实施例中的DenseNet网络模型的全连接层为多孔空间金字塔池化模块,也称为ASPP(Atrous Spatial Pyramid Pooling)模块N11。
示例性地,如图4所示,每个密集块的各层特征使用跳跃连接(skip-connection)进行连接。各个密集块的输出特征也可以使用跳跃连接进行连接,从而可以实现多层级特征复用。
示例性地,跳跃连接是指神经网络模型在向下卷积采样过程中,将采样后的结果与前面几层卷积的采样结果进行级联,然后进入下一个卷积继续进行下采样。
在本实施例中,如图4所示,可以将一包含“小鸡”图像的图像输入的当前神经网络模型中则可以输出一分割出小鸡区域的图像。此时,该当前神经网络模型可以是初始神经网络模型,还可以是训练过程中更新了待确定参数的当前神经网络模型,还可以是训练结束后得到的图像分割模型。
在本实施例中,初始神经网络模型为DenseNet网络模型,并且将训练图像集和兴趣图像集作为模型输入实现训练,使DenseNet网络模型模型具有更高效的特征区分能力,提升分割精度;训练引用DenseNet结构生成卷积神经网络模型,可以减轻梯度消失问题,增强特征的传播和利用率,减小网络参数量。
进一步地,由于普通卷积只能提取图像细节信息,无法理解高层语义,需要配合使用池化层来扩大感受野来理解图像全局语义,但使用池化层会降低图像精度,从而导致检测精度损失。因此,本申请实施例中的第三个密集块和第四个密集块采用空洞卷积,空洞卷积可以实现无需使用池化层,就能得到同样大小的感受野,能够在不降低图像精度的情况下理解图像全局语义,从而提高检测精度。因此,通过前两个密集块使用普通卷积提取图像细节信息能够更准确地获知图片的细节信息,后面两个密集块使用空洞卷积能够了解图像全局语义,从而能够更准确地了解图像中的完整信息,提高训练出的图像分割模型的分析精准率。
进一步地,由于在训练模型时输入了兴趣区域图像,从而可以有针对性地训练模型可能存在的漏检问题,从而可以使训练得到的图像分割模型的漏检情况减少。
下面通过一个实例描述本实施例中的图像分割模型训练方法的使用。
在一实例中,图像分割模型训练方法训练得到的图像分割模型可以用于训练出分割某一类型的手机的内部元件的缺陷区域的图像分割模型。
示例性地,手机的内部元件尺寸可以为157.5*77.4mm。可选地,可以由高分辨率相机搭配双远心镜头并配合工业光源照明成像,得到手机图像训练集。图像分割模型需要检测手机内部是否存在多余的螺丝、是否少装配螺丝、是否存在多余的垫片、是否存在多余的离型纸片、是否有弹片形变和是否存在螺丝松动等。针对手机的内部元件的检测要求为:漏检率低于1%,过检率低于5%。
手机的内部元件检测难点在于难以做到稳定地检出随机产生的缺陷,人工目检效率低下,无法满足产能需求。例如,由于手机内部元件缺陷可能会有多螺丝与少螺丝同时存在的情况,导致常规的卷积神经网络图像分割方法漏检问题严重,模型难以权衡多螺丝和少螺丝这两种相悖的缺陷。再例如,可能由于采集到的图像集中具备少螺丝特征的图像数量较多,具备多螺丝特征的图像数量较少,造成多螺丝缺陷的漏检率较高,最终的准确率可能达不到需求。
在本实例中,本实施例中的图像分割模型训练方法可以用于训练分割手机内部元件图像中的缺陷的图像分割模型。
在本实例中,手机内部元件的图像可以包括:手机训练图像集、手机测试图像集。其中,手机训练图像集中的兴趣区域进行标记。可选地,手机训练图像集中的图像中包含多螺丝区域图像进行切割,得到多螺丝兴趣图像集。由于手机内部元件多螺丝的情况,多螺丝的位置一般是确定的位置,因此,可以对手机训练图像集中存在多螺丝缺陷的部分图像集统一添加相同的ROI(region of interest,中文称:感兴趣区域),即多螺丝区域,并将多螺丝区域切割出来,得到多螺丝兴趣图像集。
示例性地,可以将手机训练图像集和多螺丝兴趣图像集作为初始神经网络模型的训练数据对该初始神经网络模型进行训练,当计算得到的损失函数的值小于设定值时,得到最终的分割手机内部元件图像中的缺陷的图像分割模型。该设定值可以是一较小的值,例如,0.1、0.05等。
进一步地,还可以使用手机测试图像集输入分割手机内部元件图像中的缺陷的图像分割模型进行分割。在一个实例中,测试的准确度达漏检率0.5%以下,过检率0.5%以下,总准确率达99%。
通过上述实例,可以了解到通过增加兴趣图像集,可以能够提高训练得到的图像分割模型的分割准确率。
实施例三
基于同一申请构思,本申请实施例中还提供了与图像分割模型训练方法对应的图像分割模型训练装置,由于本申请实施例中的装置解决问题的原理与前述的图像分割模型训练方法实施例相似,因此本实施例中的装置的实施可以参见上述方法的实施例中的描述,重复之处不再赘述。
请参阅图5,是本申请实施例提供的图像分割模型训练装置的功能模块示意图。本实施例中的图像分割模型训练装置中的各个模块用于执行上述方法实施例中的各个步骤。图像分割模型训练装置包括第一获取模块301、训练模块302;其中,
第一获取模块301,用于获取训练图像集中的各图像的兴趣区域图像,以得到所述训练图像集对应的兴趣图像集;
训练模块,用于将所述训练图像集与所述兴趣图像集输入初始神经网络模型进行模型训练,以得到图像分割模型。
一种可能的实施方式中,所述第一获取模块301,用于:
接收对所述训练图像集中的各图像中的选择操作,所述选择操作用于选择各图像中的兴趣区域;
根据所述选择操作截取各图像中的兴趣区域图像,以得到所述训练图像集对应的兴趣图像集。
一种可能的实施方式中,所述训练模块302,包括计算单元和更新单元:
所述计算单元,用于根据所述训练图像集和所述兴趣图像集中的图像数据计算当前神经网络模型的当前损失值,所述当前神经网络模型为所述初始神经网络模型或更新待确定参数后得到的当前神经网络模型;
所述更新单元,用于当所述损失值大于设定值时,更新所述当前神经网络模型的待确定参数得到更新的当前神经网络模型;
当所述损失值小于设定值,或更新所述待确定参数的次数达到指定次数时,将当前神经网络模型作为图像分割模型。
一种可能的实施方式中,所述更新单元,用于:
当所述损失值大于设定值时,使用逐层反向调节的方式更新所述当前神经网络模型的待确定参数得到更新的当前神经网络模型。
一种可能的实施方式中,所述初始神经网络模型为DenseNet网络模型,所述DenseNet网络模型包括一个卷积层、一个池化层、多个密集块、多个过渡层、一个全局池化层和一个全连接层。
一种可能的实施方式中,所述多个密集块包括四个密集块,其中,第三个密集块和第四个密集块为空洞卷积;所述全连接层为多孔空间金字塔池化模块;每个密集块的各层特征使用跳跃连接进行连接,各个密集块的输出特征也使用跳跃连接进行连接。
实施例四
请参阅图6,是本申请实施例提供的图像分割模型训练方法的流程图。下面将对图6所示的具体流程进行详细阐述。
步骤401,获取待分割图像。
示例性地,上述的待分割图像可以是任意需要被识别图像中包括的兴趣区域的图像。可选地,该兴趣区域可以是图像中的物品的缺陷区域,例如,缺陷区域可以是电芯图像中的电芯缺陷区域,也可以是皮革图像中的皮革缺陷区域。
可选地,该兴趣区域可以是图像中的目标对象,例如,目标对象可以是监控摄像头采集的图像中的人脸区域,也可以是任意图像中的动物区域。示例性地,如图4所示,待分割图像可以是图4所示的包含小鸡的图像。
可选地,执行本实施例中的方法的电子设备内可以存储有多张包含需要分割的目标对象的图像,则步骤401可以从本地获取待分割图像。
可选地,执行本实施例中的方法的电子设备可以与多个通信设备通信连接,则步骤401则可以接收通信设备发送的需要分割的图像。
步骤402,将待分割图像输入图像分割模型中进行分割,得到图像分割结果。
示例性地,如图4所示,图像分割结果可以是分割出图像中的小鸡区域。
可选地,上述的图像分割模型可以是实施例二中训练得到的图像分割模型。关于图像分割模型的结构在本实施例中不再赘述。
实施例五
基于同一申请构思,本申请实施例中还提供了与图像分割方法对应的图像分割装置,由于本申请实施例中的装置解决问题的原理与前述的图像分割方法实施例相似,因此本实施例中的装置的实施可以参见上述方法的实施例中的描述,重复之处不再赘述。
请参阅图7,是本申请实施例提供的图像分割装置的功能模块示意图。本实施例中的图像分割装置中的各个模块用于执行上述方法实施例中的各个步骤。图像分割装置包括:第二获取模块501、分割模块502;其中,
第二获取模块501,用于获取待分割图像;
分割模块502,用于将所述待分割图像输入图像分割模型进行分割,得到图像分割结果。
可选地,上述的图像分割模型可以是实施例二中训练得到的图像分割模型。关于图像分割模型的结构在本实施例中不再赘述。
此外,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的图像分割模型训练方法或图像分割方法的步骤。
本申请实施例所提供的图像分割模型训练方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的图像分割模型训练方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本申请实施例所提供的图像分割方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的图像分割方法的步骤,具体可参见上述方法实施例,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种图像分割模型训练方法,其特征在于,包括:
获取训练图像集中的各图像的兴趣区域图像,以得到所述训练图像集对应的兴趣图像集;
将所述训练图像集与所述兴趣图像集输入初始神经网络模型进行模型训练,以得到图像分割模型。
2.根据权利要求1所述的方法,其特征在于,所述获取训练图像集中的各图像的兴趣区域图像,以得到所述训练图像集对应的兴趣图像集的步骤,包括:
接收对所述训练图像集中的各图像中的选择操作,所述选择操作用于选择各图像中的兴趣区域;
根据所述选择操作截取各图像中的兴趣区域图像,以得到所述训练图像集对应的兴趣图像集。
3.根据权利要求1所述的方法,其特征在于,所述将所述训练图像集与所述兴趣图像集输入初始神经网络模型进行模型训练,以得到图像分割模型的步骤,包括:
根据所述训练图像集和所述兴趣图像集中的图像数据计算当前神经网络模型的当前损失值,所述当前神经网络模型为所述初始神经网络模型或更新待确定参数后得到的当前神经网络模型;
当所述损失值大于设定值时,更新所述当前神经网络模型的待确定参数得到更新的当前神经网络模型;
当所述损失值小于设定值,或更新所述待确定参数的次数达到指定次数时,将当前神经网络模型作为图像分割模型。
4.根据权利要求3所述的方法,其特征在于,所述当所述损失值大于设定值时,更新所述当前神经网络模型的待确定参数得到更新的当前神经网络模型的步骤,包括:
当所述损失值大于设定值时,使用逐层反向调节的方式更新所述当前神经网络模型的待确定参数得到更新的当前神经网络模型。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述初始神经网络模型为DenseNet网络模型,所述DenseNet网络模型包括一个卷积层、一个池化层、多个密集块、多个过渡层、一个全局池化层和一个全连接层。
6.根据权利要求5所述的方法,其特征在于,所述多个密集块包括四个密集块,其中,第三个密集块和第四个密集块为空洞卷积;所述全连接层为多孔空间金字塔池化模块;每个密集块的各层特征使用跳跃连接进行连接,各个密集块的输出特征也使用跳跃连接进行连接。
7.一种图像分割方法,其特征在于,包括:
获取待分割图像;
将所述待分割图像输入权利要求1-6任意一项所述的方法得到的图像分割模型中进行分割,得到图像分割结果。
8.一种图像分割模型训练装置,其特征在于,包括:
第一获取模块,用于获取训练图像集中的各图像的兴趣区域图像,以得到所述训练图像集对应的兴趣图像集;
训练模块,用于将所述训练图像集与所述兴趣图像集输入初始神经网络模型进行模型训练,以得到图像分割模型。
9.一种图像分割装置,其特征在于,包括:
第二获取模块,用于获取待分割图像;
分割模块,用于将所述待分割图像输入权利要求1-6任意一项所述的方法得到的图像分割模型进行分割,得到图像分割结果。
10.一种电子设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法的步骤。
11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911125145.3A CN110880182B (zh) | 2019-11-18 | 2019-11-18 | 图像分割模型训练方法、图像分割方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911125145.3A CN110880182B (zh) | 2019-11-18 | 2019-11-18 | 图像分割模型训练方法、图像分割方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110880182A true CN110880182A (zh) | 2020-03-13 |
CN110880182B CN110880182B (zh) | 2022-08-26 |
Family
ID=69730500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911125145.3A Active CN110880182B (zh) | 2019-11-18 | 2019-11-18 | 图像分割模型训练方法、图像分割方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110880182B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085696A (zh) * | 2020-07-24 | 2020-12-15 | 中国科学院深圳先进技术研究院 | 医学图像分割网络模型的训练方法、分割方法及相关设备 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909585A (zh) * | 2017-11-14 | 2018-04-13 | 华南理工大学 | 一种血管内超声影像的血管中内膜分割方法 |
CN107966447A (zh) * | 2017-11-14 | 2018-04-27 | 浙江大学 | 一种基于卷积神经网络的工件表面缺陷检测方法 |
CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
CN108596915A (zh) * | 2018-04-13 | 2018-09-28 | 深圳市未来媒体技术研究院 | 一种基于无标注数据的医疗图像分割方法 |
CN109410185A (zh) * | 2018-10-10 | 2019-03-01 | 腾讯科技(深圳)有限公司 | 一种图像分割方法、装置和存储介质 |
US20190108641A1 (en) * | 2017-03-10 | 2019-04-11 | TuSimple | System and method for semantic segmentation using hybrid dilated convolution (hdc) |
CN109712111A (zh) * | 2018-11-22 | 2019-05-03 | 平安科技(深圳)有限公司 | 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 |
CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
CN109858539A (zh) * | 2019-01-24 | 2019-06-07 | 武汉精立电子技术有限公司 | 一种基于深度学习图像语义分割模型的roi区域提取方法 |
CN110044964A (zh) * | 2019-04-25 | 2019-07-23 | 湖南科技大学 | 基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法 |
CN110059538A (zh) * | 2019-02-27 | 2019-07-26 | 成都数之联科技有限公司 | 一种基于深度密集神经网络的水体识别方法 |
CN110148142A (zh) * | 2019-05-27 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、装置、设备和存储介质 |
CN110298298A (zh) * | 2019-06-26 | 2019-10-01 | 北京市商汤科技开发有限公司 | 目标检测及目标检测网络的训练方法、装置及设备 |
-
2019
- 2019-11-18 CN CN201911125145.3A patent/CN110880182B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190108641A1 (en) * | 2017-03-10 | 2019-04-11 | TuSimple | System and method for semantic segmentation using hybrid dilated convolution (hdc) |
CN107909585A (zh) * | 2017-11-14 | 2018-04-13 | 华南理工大学 | 一种血管内超声影像的血管中内膜分割方法 |
CN107966447A (zh) * | 2017-11-14 | 2018-04-27 | 浙江大学 | 一种基于卷积神经网络的工件表面缺陷检测方法 |
CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
CN108596915A (zh) * | 2018-04-13 | 2018-09-28 | 深圳市未来媒体技术研究院 | 一种基于无标注数据的医疗图像分割方法 |
CN109410185A (zh) * | 2018-10-10 | 2019-03-01 | 腾讯科技(深圳)有限公司 | 一种图像分割方法、装置和存储介质 |
CN109712111A (zh) * | 2018-11-22 | 2019-05-03 | 平安科技(深圳)有限公司 | 一种皮肤癌种类识别方法、系统、计算机设备和存储介质 |
CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
CN109858539A (zh) * | 2019-01-24 | 2019-06-07 | 武汉精立电子技术有限公司 | 一种基于深度学习图像语义分割模型的roi区域提取方法 |
CN110059538A (zh) * | 2019-02-27 | 2019-07-26 | 成都数之联科技有限公司 | 一种基于深度密集神经网络的水体识别方法 |
CN110044964A (zh) * | 2019-04-25 | 2019-07-23 | 湖南科技大学 | 基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法 |
CN110148142A (zh) * | 2019-05-27 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、装置、设备和存储介质 |
CN110298298A (zh) * | 2019-06-26 | 2019-10-01 | 北京市商汤科技开发有限公司 | 目标检测及目标检测网络的训练方法、装置及设备 |
Non-Patent Citations (5)
Title |
---|
GAO HUANG ET AL: "Densely Connected Convolutional Networks", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
LIANG-CHIEH CHEN 等: "Rethinking Atrous Convolution for Semantic Image Segmentation", 《ARXIV》 * |
LIANG-CHIEH CHEN等: "DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs", 《IEEE》 * |
MAOKE YANG ET AL: "DenseASPP for Semantic Segmentation in Street Scenes", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
唐明轩: "基于DenseNet的医学图像分割研究与应用", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085696A (zh) * | 2020-07-24 | 2020-12-15 | 中国科学院深圳先进技术研究院 | 医学图像分割网络模型的训练方法、分割方法及相关设备 |
CN112085696B (zh) * | 2020-07-24 | 2024-02-23 | 中国科学院深圳先进技术研究院 | 医学图像分割网络模型的训练方法、分割方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110880182B (zh) | 2022-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6868119B2 (ja) | ホログラフィック偽造防止コードの検査方法及び装置 | |
JP6545728B2 (ja) | 異常検知装置、異常検知方法、および異常検知プログラム | |
US8549478B2 (en) | Graphical user interface input element identification | |
CN106650662B (zh) | 目标对象遮挡检测方法及装置 | |
TWI660277B (zh) | 資訊處理裝置及資訊處理方法 | |
US11189019B2 (en) | Method for detecting defects, electronic device, and computer readable medium | |
CN108389195B (zh) | 图像检测方法及装置 | |
US20200402221A1 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
CN111507362B (zh) | 神经网络的训练方法、基于神经网络的分类方法及其装置 | |
CN110490237B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
JP2019003396A (ja) | 目的物体検出装置、該方法およびプログラム | |
CN109284700B (zh) | 图像中多个人脸检测的方法、存储介质、设备及系统 | |
CN110428394B (zh) | 用于目标移动侦测的方法、装置及计算机存储介质 | |
CN112036426A (zh) | 利用高维传感器数据的多数表决进行无监督异常检测和责任的方法和系统 | |
KR20210038303A (ko) | 제품 분류 시스템 및 방법 | |
JP2020085583A (ja) | 検査装置及び検査方法 | |
CN110362481A (zh) | 自动测试方法及终端设备 | |
CN110880182B (zh) | 图像分割模型训练方法、图像分割方法、装置及电子设备 | |
WO2023029491A1 (zh) | 面板阵列短路检测方法、装置、电子设备及存储介质 | |
CN109426674A (zh) | 一种印刷电路板检测方法和系统 | |
CN116205881A (zh) | 一种基于轻量级语义分割的数码喷印图像缺陷检测方法 | |
Makhlouf et al. | O’TRAIN: A robust and flexible ‘real or bogus’ classifier for the study of the optical transient sky | |
CN110647826B (zh) | 商品训练图片的获取方法、装置、计算机设备和存储介质 | |
JP7489784B2 (ja) | トレースデータセットのデータ拡張のためのシステムおよび分類方法 | |
CN109947816A (zh) | 模型参数计算方法、数据类型识别方法、装置和服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |