一种X光图像的分割方法及装置
技术领域
本发明涉及图像分割技术领域,尤其涉及一种X光图像的分割方法及装置。
背景技术
如今,公共交通安全领域、交通运输、邮递快递行业、检验检疫和海关监管等诸多领域,大量采用X光机设备对行李或货物进行检查。在对行李或货物进行检查时,X光机设备获取行李或货物的X光图像,通过对X光图像进行分割,识别行李或货物中是否包括特定物品。
目前常用的X光图像分割方法包括:模糊c均值聚类方法,这种分割方法首先确定目标对象的分类数目以及聚类的初始中心,进而聚类分割出目标对象。这种分割方法存在的问题是,确定的初始聚类中心不同,聚类结果也不同,确定初始聚类中心缺乏可靠性,而且需要先指定目标对象的分类数目,指定目标对象的分类数目不准确,也会使得图像分割准确性差。
发明内容
本发明实施例提供了一种X光图像的分割方法及装置,用以解决现有技术中对X光图像分割准确性差的问题。
本发明实施例提供了一种X光图像的分割方法,所述方法包括:
将获取到的待分割的第一X光图像输入预先训练完成的分割模型中;
基于所述分割模型,对所述待分割的第一X光图像进行图像处理,确定所述待分割的第一X光图像对应的分割图像,其中所述分割图像中每个像素点填充有其所属物品对应类别的颜色信息。
进一步地,预先对分割模型进行训练的过程包括:
获取训练集合中的第二X光图像;
根据所述第二X光图像,并根据所述第二X光图像对应的标注图像中,每个像素点对应的颜色信息,对基于卷积神经网络CNN的分割模型进行训练。
进一步地,对基于CNN的分割模型进行训练的过程,具体包括:
根据所述训练集合中的每个第二X光图像对应的标注图像,以及所述每个第二X光图像对应的经过分割模型输出的初始分割图像,确定分割模型的分割程度参数值;
判断所述分割模型的分割程度参数值是否满足预设的阈值,如果是,确定分割模型训练完成,如果否,对模型配置参数进行调整,使用调整后的模型配置参数进行分割模型的训练。
进一步地,所述确定分割模型的分割程度参数值包括:
基于对抗学习网络,确定分割模型的分割程度参数值。
进一步地,所述方法还包括:
根据所述待分割的第一X光图像对应的分割图像中的颜色信息,确定分割图像中是否包含预设类别的物品,如果是,则输出提示信息。
另一方面,本发明实施例提供了一种X光图像的分割装置,所述装置包括:
输入模块,用于将获取到的待分割的第一X光图像输入预先训练完成的分割模型中;
确定模块,用于基于所述分割模型,对所述待分割的第一X光图像进行图像处理,确定所述待分割的第一X光图像对应的分割图像,其中所述分割图像中每个像素点填充有其所属物品对应类别的颜色信息。
进一步地,所述装置还包括:
训练模块,用于获取训练集合中的第二X光图像;根据所述第二X光图像,并根据所述第二X光图像对应的标注图像中,每个像素点对应的颜色信息,对基于卷积神经网络CNN的分割模型进行训练。
进一步地,所述训练模块,具体用于根据所述训练集合中的每个第二X光图像对应的标注图像,以及所述每个第二X光图像对应的经过分割模型输出的初始分割图像,确定分割模型的分割程度参数值;判断所述分割模型的分割程度参数值是否满足预设的阈值,如果是,确定分割模型训练完成,如果否,对模型配置参数进行调整,使用调整后的模型配置参数进行分割模型的训练。
进一步地,所述训练模块,具体用于基于对抗学习网络,确定分割模型的分割程度参数值。
进一步地,所述装置还包括:
输出模块,用于根据所述待分割的第一X光图像对应的分割图像中的颜色信息,确定分割图像中是否包含预设类别的物品,如果是,则输出提示信息。
本发明实施例提供了一种X光图像的分割方法及装置,所述方法包括:将获取到的待分割的第一X光图像输入预先训练完成的分割模型中;基于所述分割模型,对所述待分割的第一X光图像进行图像处理,确定所述待分割的第一X光图像对应的分割图像,其中所述分割图像中每个像素点填充有其所属物品对应类别的颜色信息。由于在本发明实施例中,将获取到的待分割的第一X光图像输入分割模型中,基于所述分割模型,对所述待分割的第一X光图像进行图像处理,得到所述待分割的第一X光图像对应的分割图像。由于本发明实施例提供的X光图像的分割方法,基于分割模型实现X光图像分割,无需确定目标对象的分类数目以及聚类的初始中心,通过分割模型可以直接输出分割图像,避免了确定目标对象的分类数目或者聚类的初始中心不准确导致的X光图像分割不准确的问题,提高了X光图像分割的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种X光图像的分割过程示意图;
图2为本发明实施例3提供的基于对抗学习网络,确定分割模型的分割程度参数值的示意图;
图3为本发明实施例提供的一种X光图像的分割装置结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例1:
图1为本发明实施例提供的一种X光图像的分割过程示意图,该过程包括以下步骤:
S101:将获取到的待分割的第一X光图像输入预先训练完成的分割模型中。
本发明实施例提供的X光图像的分割方法应用于电子设备,该电子设备可以为PC、平板电脑等设备,也可以是X光机设备。
X光机设备可以进行X光图像的采集,电子设备可以获取X光机设备采集的X光图像。在本发明实施例中预先对分割模型进行了训练,电子设备获取到待分割的第一X光图像之后,将待分割的第一X光图像输入到预先训练完成的分割模型中。
S102:基于所述分割模型,对所述待分割的第一X光图像进行图像处理,确定所述待分割的第一X光图像对应的分割图像,其中所述分割图像中每个像素点填充有其所属物品对应类别的颜色信息。
在对分割模型进行训练时,是根据训练集合中每个第二X光图像,以及每个第二X光图像对应的标注图像中,每个像素点对应的颜色信息,对分割模型训练完成的。分割模型可以根据输入的待分割的第一X光图像,对该待分割的第一X光图像进行图像处理,确定待分割的第一X光图像对应的分割图像,分割图像中每个像素点填充有其所属物品对应类别的颜色信息。其中,在训练分割模型时,预先根据每类物品对应的颜色信息,对训练集合中每个第二X光图像中的属于每类物品的像素点填充对应的颜色,得到与每个第二X光图像对应的标注图像。每类物品对应的颜色信息,例如可以是管制刀具类物品对应的颜色信息为红色;瓶装液体类物品对应的颜色信息为橙色;衣服鞋帽类物品对应的颜色信息为黄色等等。这样基于训练完成的分割模型,确定的分割图像中,属于管制刀具类物品的像素点显示为红色;属于瓶装液体类物品的像素点显示为橙色;属于衣服鞋帽类物品的像素点显示为黄色等等。
由于在本发明实施例中,将获取到的待分割的第一X光图像输入分割模型中,基于所述分割模型,对所述待分割的第一X光图像进行图像处理,得到所述待分割的第一X光图像对应的分割图像。由于本发明实施例提供的X光图像的分割方法,基于分割模型实现X光图像分割,无需确定目标对象的分类数目以及聚类的初始中心,通过分割模型可以直接输出分割图像,避免了确定目标对象的分类数目或者聚类的初始中心不准确导致的X光图像分割不准确的问题,提高了X光图像分割的准确性。
实施例2:
在上述实施例的基础上,在本发明实施例中,预先对分割模型进行训练的过程包括:
获取训练集合中的第二X光图像;
根据所述第二X光图像,并根据所述第二X光图像对应的标注图像中,每个像素点对应的颜色信息,对基于卷积神经网络(Convolutional Neural Network,CNN)的分割模型进行训练。
训练集合中包含大量的第二X光图像,针对训练集合中的每个第二X光图像,保存有与第二X光图像对应的标注图像,具体的,针对训练集合中的每个第二X光图像,识别该第二X光图像中包含的每类物品,并且,根据预先保存的每类物品对应的颜色信息,对属于每类物品的像素点填充对应的颜色信息,得到该第二X光图像对应的标注图像并保存。例如预先保存的管制道具类物品对应的颜色信息为红色,则把训练集合中的第二X光图像中包含的属于管制道具类物品的像素点填充为红色,如果预先保存的瓶装液体类物品对应的颜色信息为橙色,则把训练集合中的第二X光图像中包含的属于瓶装液体类物品的像素点填充为橙色。这样,可以把训练集合中的每个第二X光图像中包含的属于每类物品的像素点填充上对应的颜色信息。将填充了对应的颜色信息的每个X光图像作为训练集合中的每个第二X光图像对应的标注图像并保存。
之后将该颜色与类别的信息保存到待训练的分割模型中,这样,在对分割模型进行训练的过程中,当分割模型在确定某一像素点为某一类别的物体后,根据上述颜色与类别的信息,将该像素点标注为该类别对应的颜色,之后针对每个像素点对应的颜色信息,对基于CNN的分割模型进行训练。其中,对基于CNN的分割模型进行训练的过程属于现有技术,在此不再对该过程进行赘述。
在本发明实施例中,对CNN的分割模型进行训练的过程,具体包括:
根据所述训练集合中的第二X光图像对应的标注图像,以及所述第二X光图像对应的经过分割模型输出的初始分割图像,确定分割模型的分割程度参数值;
判断所述分割模型的分割程度参数值是否满足预设的阈值,如果是,确定分割模型训练完成,如果否,对模型配置参数进行调整,使用调整后的模型配置参数进行分割模型的训练。
在对分割模型进行训练时,将训练集合中的每个第二X光图像输入到基于CNN的分割模型中,分割模型根据输入的第二X光图像,会输出与第二X光图像对应的初始分割图像,其中,初始分割图像中每个像素点填充有其所属物品对应类别的颜色信息。根据训练集合中的每个第二X光图像对应的标注图像,以及每个第二X光图像对应的初始分割图像,可以确定分割模型的分割程度参数值。其中,标注图像为预先对第二X光图像中每个像素点填充有其所属物品对应类别的颜色信息的图像。
其中,可以将每个第二X光图像对应的标注图像和每个第二X光图像对应的初始分割图像进行匹配,通过比较初始分割图像中属于每类物品的每个像素点的颜色信息与标注图像中属于每类物品的每个像素点的颜色信息是否相同,来确定每个标注图像和对应的初始分割图像的匹配度。针对每个第二X光图像,都可以确定出一个匹配度。可以将确定的匹配度作为分割模型的分割程度参数值。当分割模型的分割程度参数值满足预设的阈值时,确定分割模型训练完成。例如,针对一张第二X光图像,经过匹配,该第二X光图像对应的标注图像和对应的初始分割图像的匹配度为90%,预设的阈值为85%,则说明分割模型训练完成。而如果确定出的匹配度为70%,则说明分割模型还未训练完成。此时需要对模型配置参数进行调整,使用调整后的模型配置参数进行分割模型的训练。其中,对模型配置参数进行调整的过程属于现有技术,在此不再对该过程进行赘述。
另外,为了提高分割模型的泛化能力,可以确定训练集合中每个第二X光图像对应的匹配度,进而,判断满足预设的阈值的匹配度所占的比例,电子设备可以预设一个比例阈值,当满足预设的阈值的匹配度所占的比例达到预设的比例阈值时,则说明分割模型训练完成。例如训练集合中包括1000张第二X光图像,确定出其中950张第二X光图像对应的匹配度满足预设的阈值,则确定满足预设的阈值的匹配度所占的比例为950/1000=95%。例如预设的比例阈值为90%,则说明满足预设的阈值的匹配度所占的比例达到预设的比例阈值,确定分割模型训练完成。
实施例3:
为了使确定的分割模型的分割程度参数值更准确,在上述各实施例的基础上,在本发明实施例中,所述确定分割模型的分割程度参数值包括:
基于对抗学习网络,确定分割模型的分割程度参数值。
图2为基于对抗学习网络,确定分割模型的分割程度参数值的示意图,如图2所示,图2中的左侧为基于CNN的分割模型,右侧为对抗模型。分割模型可以对输入的图像进行处理,得到对应的初始分割图像。
如图2所示,对抗学习网络有两种输入,一种是第二X光图像和对应的标注图像,另一种是第二X光图像和对应的初始分割图像。若输入的是第二X光图像和对应的标注图像,则对应的标签值为1,若输入的是第二X光图像和对应的初始分割图像,则对应的标签值为0,对抗学习网络输出为一个0到1之间的数值,用于表示输入的图像为第二X光图像和对应的标注图像的概率,对抗学习网络是交替训练分割模型和对抗模型,当分割模型和对抗模型达到稳态时,输出值接近1/2,表示对抗模型很难判断输入是标注图像或者初始分割图像,此时对抗学习网络收敛,说明分割模型训练完成。
对抗学习网络的输出是一个0到1之间的数值,在本发明实施例中,对抗学习网络的输出的数值即为分割模型的分割程度参数值。
对抗学习网络公式如下:
式中θs和θa分别是分割模型的参数和对抗模型的参数。yn是标注图像,s(xn)是初始分割图像,l(θs,θa)是对抗学习网络输出数值。上式第一项lmce(s(xn),yn)是经典的训练分割模型参数的代价函数,第二项lbce(a(xn,yn),1)和第三项lbce(a(xn,s(xn)),0)是训练对抗模型参数的代价函数,由于希望对抗模型尽可能难以判别yn和s(xn),因此,第二项的权重是-λ。训练过程中,交替训练分割模型的参数和对抗模型的参数。
训练对抗模型参数的公式如下:
为了使得到的对抗模型参数更准确,需要使该函数最小化。
训练分割模型参数的公式如下:
为了使得到的训练分割模型参数更准确,一方面使yn和s(xn)在像素级别尽可能接近,另一方面尽可能使对抗模型无法区分输入的是第二X光图像和对应的标注图像,还是第二X光图像和对应的初始分割图像。
其中,基于对抗学习网络,确定分割模型的分割程度参数值的过程属于现有技术,在此对该过程不再赘述。
根据上述描述,基于对抗学习网络,根据训练集合中的每个第二X光图像、每个第二X光图像对应的标注图像、以及每个第二X光图像对应的初始分割图像,可以确定分割模型的分割程度参数值。分割模型的分割程度参数值越接近1/2,则说明训练的分割模型的性能越好,对X光图像分割也就越准确。因此,电子设备中预设有阈值范围,在确定分割模型的分割程度参数值之后,判断分割模型的分割程度参数值是否满足预设的阈值范围。如果是,则说明训练的分割模型的性能较好,确定分割模型训练完成,否则,确定分割模型还未训练完成。预设的阈值范围可以为0.4-0.6,也可以是0.45-0.55等等。
在上述各实施例中,分割图像中每个像素点填充的其所属物品对应类别的颜色信息,与进行模型训练时,标注图像中每个像素点填充的其所属物品对应类别的颜色信息是对应的。在本发明实施例中,每类物品和颜色的对应关系可以设定为管制刀具类物品对应的颜色信息为红色;瓶装液体类物品对应的颜色信息为橙色;衣服鞋帽类物品对应的颜色信息为黄色;食物类物品对应的颜色信息为绿色;电器类物品对应的颜色信息为青色,这样,确定的分割图像中的每类物品也会以对应的颜色显示。
实施例4:
在上述各实施例的基础上,在本发明实施例中,所述方法还包括:
根据所述待分割的第一X光图像对应的分割图像中的颜色信息,确定分割图像中是否包含预设类别的物品,如果是,则输出提示信息。
电子设备中保存有每类物品和颜色信息的对应关系,根据待分割的第一X光图像对应的分割图像中的颜色信息,可以确定分割图像中包含的每类物品。电子设备中预设有物品的类别,其中预设类别的物品可以是有安全隐患的物品,例如管制刀具类物品、瓶装液体类物品等等。电子设备确定分割图像中包含的每类物品之后,判断分割图像中包含的每类物品中是否有预设类别的物品,如果是,则输出提示信息。其中,输出的提示信息可以是文字信息、语音信息或者声光报警信息等等。
例如,预设类别的物品为管制刀具类物品,当判断分割图像中包含管制刀具类物品时,在电子设备的显示屏上显示“有管制刀具类物品”这样的文字信息,或者发出“有管制刀具类物品”的语音信息,或者发出声光报警信息等等。
图3为本发明实施例提供的一种X光图像的分割装置结构示意图,所述装置包括:
输入模块31,用于将获取到的待分割的第一X光图像输入预先训练完成的分割模型中;
确定模块32,用于基于所述分割模型,对所述待分割的第一X光图像进行图像处理,确定所述待分割的第一X光图像对应的分割图像,其中所述分割图像中每个像素点填充有其所属物品对应类别的颜色信息。
所述装置还包括:
训练模块33,用于获取训练集合中的第二X光图像;根据所述第二X光图像,并根据所述第二X光图像对应的标注图像中,每个像素点对应的颜色信息,对基于卷积神经网络CNN的分割模型进行训练。
所述训练模块33,具体用于根据所述训练集合中的第二X光图像对应的标注图像,以及所述第二X光图像对应的经过分割模型输出的初始分割图像,确定分割模型的分割程度参数值;判断所述分割模型的分割程度参数值是否满足预设的阈值,如果是,确定分割模型训练完成,如果否,对模型配置参数进行调整,使用调整后的模型配置参数进行分割模型的训练。
所述训练模块33,具体用于基于对抗学习网络,确定分割模型的分割程度参数值。
所述装置还包括:
输出模块34,用于根据所述待分割的第一X光图像对应的分割图像中的颜色信息,确定分割图像中是否包含预设类别的物品,如果是,则输出提示信息。
本发明实施例提供了一种X光图像的分割方法及装置,所述方法包括:将获取到的待分割的第一X光图像输入预先训练完成的分割模型中;基于所述分割模型,对所述待分割的第一X光图像进行图像处理,确定所述待分割的第一X光图像对应的分割图像,其中所述分割图像中每个像素点填充有其所属物品对应类别的颜色信息。由于在本发明实施例中,将获取到的待分割的第一X光图像输入分割模型中,基于所述分割模型,对所述待分割的第一X光图像进行图像处理,得到所述待分割的第一X光图像对应的分割图像。由于本发明实施例提供的X光图像的分割方法,基于分割模型实现X光图像分割,无需确定目标对象的分类数目以及聚类的初始中心,通过分割模型可以直接输出分割图像,避免了确定目标对象的分类数目或者聚类的初始中心不准确导致的X光图像分割不准确的问题,提高了X光图像分割的准确性。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。