图像分割的方法、装置、电子设备和存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种图像分割的方法、装置、电子设备和存储介质。
背景技术
图像分割已经成为应用于各个领域的一项重要技术。随着计算机技术的不断发展,图像分割的方法也越来越多,目前基于深度学习算法的图像分割成为图像分割研究的热门方向。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:虽然基于深度学习算法的图像分割相较于传统算法,取得了很好的效果,但是在一些复杂场景中,这种方式图像分割的边缘噪声较大,准确度不高,并不能满足用户的需求。
发明内容
有鉴于此,本发明实施例提供一种图像分割的方法、装置、系统和存储介质,能够提高图像分割的准确度。
为实现上述目的,根据本发明实施例的一个方面,提供了一种图像分割的方法。
本发明实施例的一种图像分割的方法包括:基于深度学习算法对待分割图像进行处理,得到第一分割图,所述第一分割图包括第一目标区域和第一背景区域;基于图像阈值分割算法对所述待分割图像进行处理,得到第二分割图,所述第二分割图包括第二目标区域和第二背景区域;将所述第一分割图和所述第二分割图融合为第三分割图,所述第三分割图包括目标区域和背景区域;根据所述第三分割图的目标区域,从所述待分割图像中分割出目标图像。
在又一个实施例中,所述将所述第一分割图和所述第二分割图融合为第三分割图,包括:确定所述第一目标区域和所述第二目标区域之间的目标重合区域,以及所述第一背景区域和所述第二背景区域之间的背景重合区域;基于所述目标重合区域确定目标图像的图像特征,以及基于所述背景重合区域确定背景图像的图像特征;基于所述目标图像的图像特征和所述背景图像的图像特征,将待定区域分割为第三目标区域和第三背景区域,所述待定区域表示所述待分割图像中除所述目标重合区域和所述背景重合区域外的区域;将所述目标重合区域和所述第三目标区域确定为第三分割图的目标区域,以及将所述背景重合区域和所述第三背景区域确定为第三分割图的背景区域。
在又一个实施例中,所述第一目标区域和所述第二目标区中各像素点的像素值为第一像素值,所述第一背景区域和所述第二背景区中各像素点的像素值为第二像素值;所述确定所述第一目标区域和所述第二目标区域之间的目标重合区域,以及所述第一背景区域和所述第二背景区域之间的背景重合区域,包括:将所述第一分割图中像素点的像素值与所述第二分割图中相同位置像素点的像素值相减,得到各像素点对应的像素差值;将所述第一目标区域中对应像素差值不为零的像素点所在区域确定为目标重合区域;将所述第一背景区域中对应像素差值不为零的像素点所在区域确定为背景重合区域。
在又一个实施例中,所述图像特征包括像素;基于所述目标图像的图像特征和所述背景图像的图像特征,将待定区域分割为第三目标区域和第三背景区域,包括:基于所述目标图像的像素和所述背景图像的像素计算所述待定区域中各像素点的透明度,所述透明度表示对应像素点的像素包括所述目标图像的像素的权重;当所述透明度大于预设值时,所述透明度对应像素点属于第三目标区域;当所述透明度不大于所述预设值时,所述透明度对应像素点属于第三背景区域。
在又一个实施例中,在所述基于深度学习算法对待分割图像进行处理之前,还包括:检测所述待分割图像中待分割区域,所述待分割区域包括所述目标图像所在区域,以及与所述目标图像的距离处于预设范围内的区域;去除所述待分割图像中除所述待分割区域外其他区域的图像。
在又一个实施例中,所述深度学习算法包括语义分割算法,所述图像阈值分割算法包括二值化分割算法。
根据本发明实施例的另一个方面,提供了一种电力设备温度检测的方法。
本发明实施例的一种电力设备温度检测的方法包括:获取包括待测电力设备的原红外图像;基于深度学习算法对所述原红外图像进行处理,得到第一分割图,所述第一分割图包括第一目标区域和第一背景区域;基于图像阈值分割算法对所述原红外图像进行处理,得到第二分割图,所述第二分割图包括第二目标区域和第二背景区域;将所述第一分割图和所述第二分割图融合为第三分割图,所述第三分割图包括目标区域和背景区域;根据所述第三分割图的目标区域,从所述原红外图像中分割出待测电力设备图像;识别所述待测电力设备图像的颜色;基于所述待测电力设备图像的颜色检测所述待测电力设备的温度。
为实现上述目的,根据本发明的另一方面,提供了一种图像分割的装置。
本发明的一种图像分割的装置包括:处理单元,用于基于深度学习算法对待分割图像进行处理,得到第一分割图,所述第一分割图包括第一目标区域和第一背景区域;基于图像阈值分割算法对所述待分割图像进行处理,得到第二分割图,所述第二分割图包括第二目标区域和第二背景区域;融合单元,用于将所述第一分割图和所述第二分割图融合为第三分割图,所述第三分割图包括目标区域和背景区域;分割单元,用于根据所述第三分割图的目标区域,从所述待分割图像中分割出目标图像。
在一个实施例中,所述融合单元具体用于:确定所述第一目标区域和所述第二目标区域之间的目标重合区域,以及所述第一背景区域和所述第二背景区域之间的背景重合区域;基于所述目标重合区域确定目标图像的图像特征,以及基于所述背景重合区域确定背景图像的图像特征;基于所述目标图像的图像特征和所述背景图像的图像特征,将待定区域分割为第三目标区域和第三背景区域,所述待定区域表示所述待分割图像中除所述目标重合区域和所述背景重合区域外的区域;将所述目标重合区域和所述第三目标区域确定为第三分割图的目标区域,以及将所述背景重合区域和所述第三背景区域确定为第三分割图的背景区域。
在又一个实施例中,所述第一目标区域和所述第二目标区中各像素点的像素值为第一像素值,所述第一背景区域和所述第二背景区中各像素点的像素值为第二像素值;所述融合单元具体用于:将所述第一分割图中像素点的像素值与所述第二分割图中相同位置像素点的像素值相减,得到各像素点对应的像素差值;将所述第一目标区域中对应像素差值不为零的像素点所在区域确定为目标重合区域;将所述第一背景区域中对应像素差值不为零的像素点所在区域确定为背景重合区域。
在又一个实施例中,所述图像特征包括像素;所述融合单元具体用于:基于所述目标图像的像素和所述背景图像的像素计算所述待定区域中各像素点的透明度,所述透明度表示对应像素点的像素包括所述目标图像的像素的权重;当所述透明度大于预设值时,所述透明度对应像素点属于所述第三目标区域;当所述透明度不大于所述预设值时,所述透明度对应像素点属于所述第三背景区域。
在又一个实施例中,所述装置还包括:检测单元,用于检测所述待分割图像中待分割区域,所述待分割区域包括所述目标图像所在区域,以及与所述目标图像的距离处于预设范围内的区域;去除单元,用于去除所述待分割图像中除所述待分割区域外其他区域的图像。
在又一个实施例中,所述深度学习算法包括语义分割算法,所述图像阈值分割算法包括二值化分割算法。
根据本发明实施例的另一个方面,提供了一种电力设备温度检测的装置。
本发明的一种电力设备温度检测的装置包括:获取单元,用于获取包括待测电力设备的原红外图像;处理单元,用于基于深度学习算法对所述原红外图像进行处理,得到第一分割图,所述第一分割图包括第一目标区域和第一背景区域;基于图像阈值分割算法对所述原红外图像进行处理,得到第二分割图,所述第二分割图包括第二目标区域和第二背景区域;融合单元,用于将所述第一分割图和所述第二分割图融合为第三分割图,所述第三分割图包括目标区域和背景区域;分割单元,用于根据所述第三分割图的目标区域,从所述原红外图像中分割出待测电力设备图像;识别单元,用于识别所述待测电力设备图像的颜色;检测单元,用于基于所述待测电力设备图像的颜色检测所述待测电力设备的温度。
为实现上述目的,根据本发明实施例的再一个方面,提供了一种电子设备。
本发明实施例的一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例提供的图像分割的方法。
为实现上述目的,根据本发明实施例的又一个方面,提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例提供的图像分割的方法。
上述发明中的一个实施例具有如下优点或有益效果:本发明实施例中,分别通过深度学习算法和图像阈值分割算法对待分割图像进行处理,得到包括第一颜色和第二颜色的两张图像分割图,再将两张图像分割图融合得到第三图像分割图,相当于将两种算法的结果进行融合。图像阈值分割算法可以使图像分割的边缘较光滑、噪声较小,所以在深度学习算法进行图像分割的基础上,结合图像阈值分割算法对待分割图像的处理结果,从而提高图像分割的精确度,满足复杂场景中用户对图像分割的需求。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的图像分割的方法的一种主要流程的示意图;
图2是根据本发明实施例的图像分割的方法的又一种主要流程的示意图;
图3是根据本发明实施例的绝缘子的红外图像的灰度示意图;
图4是根据本发明实施例的检测模型检测并标识绝缘子的灰度示意图;
图5是根据本发明实施例的FasterRcnn网络模型的结构示意图;
图6是根据本发明实施例的红外图像去除检测结果以外区域后的灰度示意图;
图7(a)是根据本发明实施例的另一个绝缘子的红外图像的灰度示意图;
图7(b)是根据本发明实施例的根据图7(a)所示红外图像中得出的黑白灰三色示意图;
图8是根据本发明实施例的从红外图像中分割出的绝缘子图像的灰度示意图;
图9(a)是根据本发明实施例的另一个绝缘子的红外图像的灰度示意图;
图9(b)是根据本发明实施例的从图9(a)所示红外图像中分割出的绝缘子图像的灰度示意图;
图10(a)是根据本发明实施例的又一个绝缘子的红外图像的灰度示意图;
图10(b)是根据本发明实施例的从图10(a)所示红外图像中分割出的绝缘子图像的灰度示意图;
图11是根据本发明实施例的电力设备温度检测的方法的一种主要流程的示意图;
图12是根据本发明实施例的基本颜色对应的HSV(hue saturation value,色调饱和度亮度)范围的示意图;
图13是根据本发明实施例的HSV值与各颜色的RGB(red green blue,红绿蓝)值对应关系的示意图;
图14(a)是根据本发明实施例的一种HSV颜色空间模型的示意图;
图14(b)是根据本发明实施例的又一种HSV颜色空间模型的示意图;
图15是根据本发明实施例的一种颜色-温度对比的灰度示意图;
图16是根据本发明实施例的图像分割的装置的主要单元的示意图;
图17是根据本发明实施例的电力设备温度检测的装置的主要单元的示意图;
图18是本发明实施例可以应用于其中的一种示例性系统架构图;
图19是适于用来实现本发明实施例的计算机系统的结构示意图。
附图标号说明如下:
21-绝缘子;22-标识框。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要指出的是,在不冲突的情况下,本发明中的实施例以及实施例中的特征可以互相组合。
本发明实施例提供了一种图像分割的方法,该方法可由计算机等设备执行,如图1所示,该方法包括以下步骤。
S101:基于深度学习算法对待分割图像进行处理,得到第一分割图。
其中,第一分割图包括第一目标区域和第一背景区域。
需要说明的是,待分割图像表示需要进行分割的图像,通常待分割图像可以分为目标图像和背景图像两部分。目标图像为待分割图像分割后要保留的图像,背景图像为待分割图像中除目标图像外的其他部分,即待分割图像分割后要去除的图像。本发明实施例中的图像分割的方法即为实现从待分割图像中分割出目标图像的方法。
本步骤中将待分割图像分割成两部分,即第一目标区域和第一背景区域。第一目标区域表示基于深度学习算法对待分割图像进行处理后,得出的目标图像所在的区域;第一背景区域表示基于深度学习算法对待分割图像进行处理后,得出的背景图像所在的区域。
S102:基于图像阈值分割算法对待分割图像进行处理,得到第二分割图。
其中,第二分割图包括第二目标区域和第二背景区域。
本步骤中将待分割图像分割成两部分,即第二目标区域和第二背景区域。第二目标区域表示基于图像阈值分割算法深度学习算法对待分割图像进行处理后,得出的目标图像所在的区域;第二背景区域表示基于图像阈值分割算法深度学习算法对待分割图像进行处理后,得出的背景图像所在的区域。
步骤S101中深度学习算法和步骤S102中图像阈值分割算法可以不做限定。例如,深度学习算法可以为图像语义分割算法,具体可以为deeplabv3plus算法,图像阈值分割算法具体可以为二值化算法。
S103:将第一分割图和第二分割图融合,得到第三分割图。
其中,第三分割图也包括目标区域和背景区域。
步骤S101和步骤S102中分别通过不同的算法对待分割图像进行分割,得出两个分割结果,即第一分割图和第二分割图,然后本步骤中将第一分割图和第二分割图进行融合,得出包括最终的分割结果,即第三分割图。第三分割图包括目标区域和背景区域,目标区域表示待分割图像中目标图像所在的区域,背景区域表示待分割图像中背景图像所在的区域。
需要说明的是,第一分割图、第二分割图和第三分割图表示了待分割图像的不同分割方式,各分割图与待分割图的大小相同,彼此之间相同位置的像素点可以一一对应。将第一分割图和第二分割图融合,也就是将第一分割图和第二分割图合成一张图(第三分割图),即将步骤S101和步骤S102得出的两种分割结果融合得到最终的分割结果。
将第一分割图和第二分割图融合的方式有多种,本发明实施例的一种实现方式中,可以通过以下过程实现:确定第一目标区域和第二目标区域之间的目标重合区域,以及第一背景区域和第二背景区域之间的背景重合区域;基于目标重合区域确定目标图像的图像特征,以及基于背景重合区域确定背景图像的图像特征;基于目标图像的图像特征和背景图像的图像特征,将待定区域分割为第三目标区域和第三背景区域,待定区域表示待分割图像中除目标重合区域和背景重合区域外的;将目标重合区域和第三目标区域确定为第三分割图的目标区域,以及将背景重合区域和第三背景区域确定为第三分割图的背景区域。
将步骤S101和步骤S102得出的两种分割结果融合,首先要确定出两种分割结果的相同部分和不同部分,即第一分割图和第二分割图中分割结果相同的区域和分割结果不同的区域。两种分割结果的相同部分即为通过深度学习算法和图像阈值分割算法确定为同一结果,则可以认为此部分确定的结果准确。两种分割结果的不同部分即为通过深度学习算法和图像阈值分割算法确定为不同结果,则可以认为此部分确定的结果准确,需要重新确定分割结果。
第一目标区域和第二目标区域之间的目标重合区域,以及第一背景区域和第二背景区域之间的背景重合区域,即为第一分割图与第二分割图之间分割结果相同的区域,所以可以认为此部分的结果准确。也就是说,可以确定待分割图像中目标重合区域对应的图像属于目标图像,即目标重合区域为对待分割图像分割时要保留的部分,待分割图像中背景重合区域对应的图像属于背景图像,即背景重合区域为对待分割图像分割时要去除的部分。
对应的,第一分割图与第二分割图之间分割结果不同的区域为待分割图像中除目标重合区域和背景重合区域外的其他区域,即待定区域,此时需要重新确定待定区域的分割结果,即重新确定待定区域中图像哪些属于目标图像哪些属于背景图像。
当前可以确定目标重合区域为对待分割图像分割时要保留的区域,而背景重合区域为对待分割图像分割时要去除的区域,所以可以基于目标重合区域确定待分割图像中要保留图像的图像特征,即目标图像的图像特征,以及可以根据背景重合区域确定待分割图像中要去除图像的图像特征,即背景图像的图像特征。进而可以根据目标图像的图像特征和背景图像的图像特征对待定区域进行分析,来判断待定区域中图像哪些属于要保留的图像、哪些属于要去除的图像,也就是确定出待定区域中哪些是属于第三目标区域、哪些是属于第三背景区域,从而将待将待定区域分割为第三目标区域和第三背景区域。
在将待定区域中分割为第三目标区域和第三背景区域后,可以得出待定区域中在图像分割时要保留和去除的区域,结合目标重合区域的区域和目标重合区域,则可以得出第三分割图,即将目标重合区域和第三目标区域确定为第三分割图的目标区域,将背景重合区域和第三背景区域确定为第三分割图的背景区域。
本发明实施例的又一种实现方式中,图像特征可以包括像素,则目标图像的图像特征表示目标图像的像素,背景图像的图像特征表示和背景图像的像素。则本发明实施例中基于目标图像的图像特征和背景图像的图像特征,确定待定区域中属于目标重合区域的区域和属于背景重合区域的区域可以具体为:基于目标图像的像素和背景图像的像素计算待定区域中各像素点的透明度,透明度表示对应像素点的像素包括目标图像的像素的权重;当透明度大于预设值时,透明度对应像素点属于第三目标区域;当透明度不大于预设值时,透明度对应像素点属于第三背景区域。
由于可以确定目标重合区域为对待分割图像分割时要保留的部分,而背景重合区域为对待分割图像分割时要去除的部分,所以可以确定出对待分割图像分割时要保留的部分的像素和对待分割图像分割时要去除的部分的像素,即目标图像的像素和背景图像的像素。由于待定区域中各像素点可以视为由目标图像的像素和背景图像的像素组合而成,所以基于目标图像的像素和背景图像的像素,可以计算出待定区域中各像素点包括目标图像的像素的权重,即待定区域中各像素点的透明度。
需要说明的是,待定区域中各像素点的透明度还可以表示包括背景图像的像素的权重,对于同一个像素点,其包括背景图像的像素的权重和包括目标图像的像素的权重之和为1。本发明实施例以透明度表示对应像素点的像素包括目标图像的像素的权重为例进行说明。
在计算出待定区域中各像素点的透明度后,可以根据透明度的大小来确定像素点是属于第三目标区域还是属于第三背景区域。即当透明度大于预设值时,透明度对应像素点属于第三目标区域;当透明度不大于预设值时,透明度对应像素点属于第三背景区域。预设值可以根据场景具体设置,例如设置为0.5。在确定出待定区域中各像素点所属的区域后,也即确定出待定区域分割后的第三目标区域和第三背景区域。
需要说明的是,本发明实施例中计算出待定区域中各像素点的透明度的方式不做限定,例如可以通过KNN算法进行计算。
为了便于计算,可以将第一目标区域和第二目标区中各像素点的像素值设置为相同的值,而第一背景区域和第二背景区中各像素点的像素值设置为另一个相同的值,如此可以通过像素值的差直接确定出目标重合区域和背景重合区域。
本发明实施例的又一种实现方式中,第一目标区域和第二目标区中各像素点的像素值为第一像素值,第一背景区域和第二背景区中各像素点的像素值为第二像素值。则确定目标重合区域和背景重合区域可以具体执行为:将第一分割图中像素点的像素值与第二分割图中相同位置像素点的像素值相减,得到各像素点对应的像素差值;将第一目标区域中对应像素差值不为零的像素点所在区域确定为不同区域目标重合区域;将第一背景区域中对应像素差值不为零的像素点所在区域确定为不同区域背景重合区域。
具体的,将第一分割图中像素点的像素值与第二分割图中相同位置像素点的像素值相减,得到各像素点对应的像素差值。由于第一目标区域内和第二目标区域内像素点的像素值相同,第一背景区域内和第二背景区域内像素点的像素值相同,所以,第一目标区域和第二目标区域之间重合的区域内像素点对应的像素差值为零,第一背景区域和第二背景区域之间重合的区域内像素点对应的像素差值也为零,即第一分割图和第二分割图中分割结果相同的区域内像素点对应的像素差值为零。所以基于像素点对应的像素差值可以得出,第一目标区域中对应像素差值不为零的像素点组成目标重合区域,第一背景区域中对应像素差值不为零的像素点组成背景重合区域。也可以理解为,基于像素点对应的像素差值可以得出,第二目标区域中对应像素差值不为零的像素点组成目标重合区域,第二背景区域中对应像素差值不为零的像素点组成背景重合区域。
需要说明的是,第一像素值和第二像素值的具体值不做限定。例如第一像素值可以为255,第二像素值可以为0。在第一像素值为255,第二像素值为0时,像素值为255对应黑色,像素值为0对应白色,所以在执行本发明实施例时第一目标区域和第二目标区域为黑色,第一背景区域和第二背景区域为白色。第三分割图为第一分割图和第二分割图的融合,也可以设置目标区域内像素的像素值为255,背景区域内像素的像素值为0,即目标区域为黑色,背景区域为白色。
S104:根据第三分割图的目标区域,从待分割图像中分割出目标图像。
在得出第三分割图后,通过第三分割图中目标区域和背景区域,可以确定出对待分割图像在分割时要保留的区域和要去除的区域,所以将与第三分割图的目标区域所对应区域从待分割图像中分割,即可得到目标图像。
在本步执行步骤S101之前,还可以包括对待分割图像进行的预处理。本发明实施例的一种实现方式中,在步骤S101之前还可以包括:检测待分割图像中待分割区域,待分割区域包括目标图像所在区域,以及与目标图像的距离处于预设范围内的区域;去除待分割图像中除待分割区域外其他区域的图像。
待分割图像中包括了目标图像,但是有可能分割目标在整个待分割图像中所占比重并没有很大,所以此时可以先粗略的进行图像分割。首先检测待分割图像中的待分割区域,即包括目标图像以及与目标图像的距离处于预设范围内的区域,相当于粗略的将目标图像识别出来。然后,去除待分割图像中除包括待分割区域外的其他区域,在待分割图像中只保留待分割区域,即保留目标图像以及距离目标图像一定范围内的图像。如此通过上述过程可以将待分割图像中部分远离目标图像的部分预先去除,从而简化了后续分割过程的难度,同时也提高图像分割的准确度。
需要说明的是,本步骤中预设范围的大小可以根据实际应用场景进行设置。
本发明实施例中,分别通过深度学习算法和图像阈值分割算法对待分割图像进行处理,得到包括第一颜色和第二颜色的两张图像分割图,再将两张图像分割图融合得到第三图像分割图,相当于将两种算法的结果进行融合。图像阈值分割算法可以使图像分割的边缘较光滑、噪声较小,所以在深度学习算法进行图像分割的基础上,结合图像阈值分割算法对待分割图像的处理结果,从而提高图像分割的精确度,满足复杂场景中用户对图像分割的需求。
本发明实施例的图像分割的方法,可以应用于各种需要进行图像分割的场景中。例如,用于对电力设备的温度进行检测的场景。在检测电力设备温度的场景中,一般为通过人工去查看电力设备(如绝缘子)表面的颜色,再根据颜色-温度值表判断出电力设备的温度。但是,这种人工方式并不能准确的确定出电力设备的颜色,同时还极大地消耗了人力成本。所以随着技术的发展,可以采用人工智能的方式来进行电力设备的温度检测。在人工智能的方式来进行电力设备的温度检测时,需要先获取电力设备的红外图像,再确定电力设备的红外图像的颜色,然后根据颜色-温度值表判断出电力设备的温度。由于在获取的电力设备的红外图像中,势必会包括除电力设备外其他设备(如电线等)的图像,所以识别出电力设备红外图像的颜色时,为了保证颜色识别的准确性,则需要先将电力设备的图像从整个红外图像中分割出来,所以本发明实施例可以用于对电力设备的温度进行检测的场景中。本发明实施例中以电力设备为绝缘子为例,对电力设备的温度检测过程进行说明。
本发明实施例提供了一种图像分割的方法,该方法可由计算机等设备执行,如图2所示,该方法包括以下步骤。
S201:通过检测模型检测红外图像中包括绝缘子的待分割区域。
绝缘子的红外图像为预先获取。如图3所示,为一张绝缘子的红外图像的灰度图,图3中共包括三组绝缘子。
由图3中可以看出,红外图像中包括了三组绝缘子,以及绝缘子以外的其他图像,为了提高对绝缘子图像分割的准确性,可以先对红外图像进行预处理,即对红外图像进行粗略的图像切割,预先去除红外图像中与绝缘子距离较远的区域的图像,得出包括绝缘子的待分割区域,后续再对待分割区域进行处理。由于本步骤是对红外图像进行粗略的图像切割,所以待分割区域包括绝缘子和与绝缘子的距离处于预设范围内的区域。对红外图像进行粗略的图像切割需要首先对红外图像中包括绝缘子的待分割区域进行检测,还可以将待分割区域标识出来,以便后续处理。例如,检测模型预设通过矩形框检测和标识待分割区域,服务端通过检测模型先对红外图像进行检测,检测出包括绝缘子的待分割区域,得到待分割区域的位置坐标,然后通过标识框(矩形框)的方式标识出包括绝缘子的待分割区域。如图4所示,图4为在图3基础上检测模型检测并标识出包括绝缘子的待分割区域的灰度图。
本步骤中,检测模型为预先训练完成的,具体的可以通过tensorflow模型训练检测模型。
检测模型可以具体为Faster RCNN网络模型,图5为Faster RCNN网络模型的结构图。Faster RCNN网络模型中的输入为红外图像,并将红外图像大小固定为600×600像素,以保证红外图像不发生形变。然后经过通过已完成训练的网络(如VGG或ZF)得到该红外图像的特征图,并一方面将特征图输入RPN(RegionProposal Network,区域生成网络)网络,一方面输入roi pooling。RPN网络中,特征图先通过3×3的卷积网络进行简单分类,然后再通过两方面处理,两方面的结果输入proposal。两方面处理分别为:一方面经过一个1×1的卷积网络对预设的各候选框进行回归;另一方面通过1×1的二分类卷积网络和sigmoid,得出预设的各候选框中包含目标(绝缘子)的概率。RPN网络中两方面的结果输入proposal,通过proposal得出目标(绝缘子)的候选框。Proposal输出候选框到roi poling,roi poling结合初始得到的特征图将Proposal输出候选框里的图像统一大小,得到大小一致的图像输入FC(全连接层),然后进行分类和回归得到检测结果。
S202:去除红外图像中除待分割区域以外其他区域的图像,得到预处理后的红外图像。
其中,在步骤S202检测出包括绝缘子的待分割区域后,除待分割区域外其他的区域无需再进行处理,所以可以直接去除。如图6所示,图6为在图5基础上去除待分割区域以外其他区域后的结果的灰度图。
本步骤中去除图像的方式不做限定,例如可以通过opencv实现。
通过cv2.grabCut(img,mask,rect,bgdModle,fgdModle,0,cv2.GC_INIT_WITH_RECT)调用opencv的库函数将标识出的绝缘子抠取出来。如图5所示,图中包括三组绝缘子,所以在分别抠出三组绝缘子,去除红外图像中除三组绝缘子以外的图像后,还需要将三组绝缘子按照原有的位置关系组合与原图大小位置对应的红外图像,所以还可以通过cv2.add函数将抠出的三组绝缘子组合,得到预处理后的红外图像。本步骤中在将三组绝缘子组合时可以基于三组绝缘子的坐标实现。
其中,cv2.grabCut函数中,img表示输入图像,mask表示掩码图像,rect表示包括前景的矩形,bgdModle和fgdModle表示算法内使用的数组,0表示算法迭代的次数,cv2.GC_INIT_WITH_RECT表示标识的模式为巨型,即本发明实施例用于标识检测结果的矩形标识框。
S203:通过深度学习算法分割预处理后的红外图像,得到第一黑白图。
本发明实施例中,预处理后的红外图像为待分割图像,其在分割后被分割成两部分,即为目标图像和背景图像,目标图像为待分割图像分割后要保留的图像,背景图像为待分割图像中除目标图像外的其他部分,即待分割图像分割后要去除的图像。本步骤中通过深度学习算法分割预处理后的红外图像后,会将预处理后的红外图像分割为两部分,本发明实施例中通过不同的颜色来区分。本发明实施例以黑白两种颜色为例来区分被分割的两部分,即黑白图包括黑色区域和白色区域,黑色区域表示分割后的背景图像所在区域,即表示红外图像中除绝缘子外的其他区域,白色区域表示分割后的目标图像所在区域,表示红外图像中的绝缘子所在区域。第一黑白图为本步骤中分割的结果。本步骤中第一黑白图的黑色区域相当于为图1所示实施例中第一背景区域,第一黑白图的白色区域相当于图1所示实施例中第一目标区域。
图像分割中深度学习算法包括多种,如图像语义分割等等,具体算法中,本发明实施例以deeplabv3plus图像分割为例进行说明。
图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。
DeepLab是结合了DCNNs(深度卷积神经网络)和DenseCRFs(概率图模型)的方法,deeplabv3plus比较了多种捕获多尺度信息的方式,为了融合多尺度信息,引入语义分割常用的Encoder-Decoder(编码器-解码器)。在Encoder-Decoder架构中,引入可任意控制编码器提取特征的分辨率,通过Atrous convolution(空洞卷积)平衡精度和耗时。包括空洞卷积的Encoder-Decoder能够通过深度卷积神经网络控制特征的像素,调节卷积核的视觉域以获取多尺度的信息。Encoder-Decoder架构中,在语义分割任务中采用Xception模型,在ASPP(AtrousSpatial Pyramid Pooling,暗黑空洞金字塔池化)和解码模块使用depthwiseseparable convolution(深度可分离卷积),来提高编码器-解码器网络的运行速率和健壮性。深度可分离卷积是depthwise conv(每个输入通道的单独的空间卷积)加上pointwise(结合depthwise的输出)。ASPP由四个平行的不同的空洞卷积相连获取不同尺度的信息。ASPP包括两个部分:多尺度空洞卷积和图像级特征。多尺度空洞卷积包括:1×1的普通卷积,3×3空洞率为6的空洞卷积,3×3空洞率为12的空洞卷积,3×3空洞率为18的空洞卷积;图像级特征对输入在[1,2]维上求均值后,经过1×1的普通卷积,再使用线性差值resize到输入图像的大小,最后将4个卷积和image level feature(图像水平特征)连接起来,最后再经过一个1×1的卷积得到网络的输出。
S204:通过图像阈值分割算法分割预处理后的红外图像,得到第二黑白图。
其中,与步骤S203原理相同,本步骤中通过图像阈值分割算法对预处理后的红外图像进行分割,分割后以黑白两色为例来区分被分割的两部分,即黑白图包括黑色区域和白色区域,黑色区域表示分割后的背景图像所在区域,即表示红外图像中除绝缘子外的其他区域,白色区域表示分割后的目标图像所在区域,表示红外图像中的绝缘子所在区域。第二黑白图为本步骤中分割的结果。本步骤中第二黑白图的黑色区域相当于为图1所示实施例中第二背景区域,第二黑白图的白色区域相当于图1所示实施例中第二目标区域。
需要说明的是,为了便于后续步骤的计算,步骤S203和步骤S204均以黑白色为例来表示分割的结果,即步骤S203和步骤S204中分别得出的红外图像中绝缘子所在区域中像素的像素值相同,步骤S203和步骤S204中分别得出的红外图像中除绝缘子外其他区域中像素的像素值也相同,如此可以通过像素值的差简单、直接的确定出步骤S203和步骤S204得出分割结果的不同。
图像阈值分割算法为图像分割中传统的分割方法。其分割图像可以使分割后的图像边缘较光滑、噪声较小。图像阈值分割算法包括多种,具体可以包括二值化算法,本发明实施例以二值化算法进行说明。
二值化算法在图像分割时,通常会设定一个全局的阈值T,用T将图像的数据分成两部分:大于T的像素群和小于T的像素群。将大于T的像素群的像素值设定为白色(或者黑色),小于T的像素群的像素值设定为黑色(或者白色)。所以得到包括黑白两色的第二黑白图。阈值T的选取会影响到图像分割是否准确,为了提高图像分割的准确性,本发明实施例中统计了大量的样本数据,得出准确性较高的阈值T,从而可以提高图像分割的准确性。本发明实施例中在选取阈值T时还可以结合kmeans聚类算法,kmeans一般在样本数据分析前期使用,先选取适当的k,再将数据分类,然后分类研究不同聚类下样本数据的特点,从而可以选取较准确的阈值T。通过进行Kmeans处理使二化值图像分割时边缘区域是分割更准确,去除黑边噪声。
需要说明的是,步骤S203和步骤S204在执行时可以没有时间先后顺序,本发明实施例以先执行步骤S203再执行步骤S204为例进行说明。
S205:将第一黑白图和第二黑白图中相同位置像素的像素值相减,得到第三黑白图。
在通过执行步骤S203得出深度学习算法分割后的第一黑白图,通过执行步骤S204得出图像阈值分割算法分割后的第二黑白图,即得出了执行两种算法后的结果后,需要将执行两种算法后的结果进行融合。本发明实施例中,融合两种算法的结果时,首先确定出两种结果的差异,即两种分割算法执行后分割结果相同的部分和不同的部分。其中相同的部分可以认为是准确的结果,而不同的部分可以认为是不准确的结果,然后需要对不准确的部分再进一步处理。通过本步骤可以得出两种分割结果中相同的部分和不同的部分。
其中,由于第一黑白图和第二黑白图均只包括黑白两种颜色,所以第一黑白图和第二黑白中只包括两种像素值,黑色对应像素点的像素值为255,白色对应像素点的像素值为0。第一黑白图和第二黑白图均对用同一个红外图像,所以二者大小相同,即第一黑白图中和第二黑白图中位置相同的像素点可以一一对应。本步骤中将第一黑白图和第二黑白图中相同位置像素的像素值相减,如果相同位置像素的像素值相同,则相减后的像素差值为0;如果相同位置像素的像素值,则相减后的像素差值为255。基于第一黑白图和第二黑白图中相同位置像素的像素值相减后的像素差值,可以得到第三黑白图。也就是说,第三黑白图中的白色区域为第一黑白图和第二黑白图中相同位置像素的像素值相同的区域,即第一黑白图和第二黑白图中颜色相同的区域,第三黑白图中的黑色区域为第一黑白图和第二黑白图中相同位置像素的像素值不相同的区域,即第一黑白图和第二黑白图中颜色不相同的区域。所以通过本步骤中得到的第三黑白图可以确定出第一黑白图和第二黑白图中颜色相同的部分和颜色不同的部分,也即确定出了两种分割算法执行后分割结果相同的部分和不同的部分。
S206:将第三黑白图中各像素点的像素值除2后,与第一黑白图中相同位置像素点的像素值相加,得到黑白灰三色图。
在通过步骤S205得出第三黑白图后,即得出第一黑白图和第二黑白图之间颜色的不同区域,然后需要将得到的不同区域标识在第一黑白图或第二黑白图上,以便于根据标识后的结果,以及步骤S202中得到的预处理后的红外图对不同区域进一步处理。本发明实施中以将得到的不同区域标识在第一黑白图上为例进行说明。
第一黑白图中只包括黑白两种颜色,所以可以通过引入第三种颜色的方式将不同区域标识在第一黑白图上,而引入第三种颜色的方式可以具体通过调整像素值实现。本发明实施例中,以灰色作为第三种颜色为例,通过本步骤调整不同区域像素值的方式来从第一黑白图中标识不同区域。
具体的,先将第三黑白图中各像素点的像素值除2,第三黑白图中各像素点的像素值包括0或255,除2后结果为0或127.5,即第三黑白图中黑色转换为像素值为127.5的灰色,即不同区域中像素点的像素值为127.5。然后第三黑白图与第一黑白图中相同位置像素点的像素值相加,则将改变第一黑白图中位置与不同区域中像素相同的像素点的像素值。如果第一黑白图中位置与不同区域中像素相同的像素点的像素值为0,则相加后第一黑白图中位置与不同区域中像素相同的像素点的像素值调整为127.5,第一黑白图中位置与不同区域中像素相同的像素点的像素值为可能为0或255,则相加后第一黑白图中位置与不同区域中像素相同的像素点的像素值调整为127.5,从而将第一黑白图中位置与不同区域对应的区域颜色调整为灰色,进而得到黑白灰三色图。
图7(a)、图7(b)是通过本发明实施例的图像分割方法对又一种绝缘子红外图像的分割的场景,图7(a)为获取的绝缘子初始红外图像的灰度图,图7(b)为通过本发明实施例的图像分割方法得到的黑白灰三色图。
需要说明的是,本步骤得到黑白灰三色图,其中黑色区域和白色区域表示步骤S203和步骤S204的分割结果中相同的部分,灰色区域表示步骤S203和步骤S204的分割结果中不相同的部分。黑色区域表示步骤S203和步骤S204均确定的属于背景图像的区域,相当于为图1所示实施例中背景重合区域,白色区域表示步骤S203和步骤S204均确定的属于目标图像的区域,相当于图1所示实施例中目标重合区域。
S207:调整黑白灰三色图中灰色区域的颜色,得到第四黑白图。
由于第一黑白图和第二黑白图之间颜色的不同区域可以认为是分割结果不准确的区域,需要对其进一步处理。通过步骤S206将不同区域标识在第一黑白图上得到黑白灰三色图,可以确定出红外图像中与白色区域对应的区域在图像分割时要保留,红外图像中与黑色区域对应的区域在图像分割时要去除,本步骤中需要对红外图像中与灰色区域对应的区域进一步处理,也就是说需要重新确定红外图像中灰色区域对应的区域在图像分割时哪些要保留,哪些要去除,即重新确定黑白灰三色图中灰色区域哪些属于黑色区域,哪些属于还是白色区域。
本发明实施例中对本步骤的实现方式不做限定。具体的,由于黑白灰三色图中白色区域为红外图像中保留的区域,黑色区域为红外图像中去除的区域,则可以对红外图像中要保留和要去除的区域的图像进行分析,分别确定要保留图像的特征和要去除图像的特征,进而结合这些特征对灰色区域进行分析,进而确定灰色区域在图像分割时哪些要保留,哪些要去除。
例如,图像的特征可以包括像素,则根据黑白灰三色图中白色区域和黑色区域可以确定出要保留图像的像素和要去除图像的像素。而灰色区域对应红外图像中各像素点可以视为要保留图像的像素和要去除图像的像素组合而成,所以基于要保留图像的像素和要去除图像的像素,可以计算出灰色区域对应红外图像中各像素点包括要保留图像的像素的权重,即灰色区域对应红外图像中各像素点的透明度。
在计算出灰色区域对应红外图像中各像素点的透明度后,可以根据透明度的大小来确定灰色区域对应红外图像中像素点是属于要保留图像的像素还是属于要去除图像的像素。本发明实施例中,当透明度大于预设值时,透明度对应像素点属于要保留图像的像素;当透明度不大于预设值时,透明度对应像素点属于要去除图像的像素。预设值可以根据场景具体设置,例如设置为0.5。在确定出灰色区域对应红外图像中各像素点所属后,也即确定出灰色区域对应红外图像中属于要保留图像的像素和属于要去除图像的像素。对于灰色区域对应红外图像中属于要保留图像的像素,将其在灰色区域相同位置像素的像素值调整为0,即颜色调整为白色,对于灰色区域对应红外图像中属于要去除图像的像素,将其在灰色区域相同位置像素的像素值调整为255,即颜色调整为黑色,从而得到第四黑白图。
需要说明的是,本发明实施例中计算出各像素点的透明度的方式不做限定,例如可以通过KNN算法进行计算。
S208:将红外图像中与第四黑白图的白色所对应区域从红外图像中分割,得到图像分割后的绝缘子图像。
其中,在得出第四黑白图后,通过红外图像中与第四黑白图中黑色和白色对应的区域,可以确定出对红外图像在分割时要保留的区域和要去掉的区域。将红外图像中与第四黑白图的白色所对应区域从红外图像中分割,即可得到分割后的绝缘子图像。
如图8所示为通过本发明实施例中方法从图1所示红外图像中分割出的绝缘子的灰度示意图。
需要说明的是,由图3所示红外图像,绝缘子的红外图像边缘又很多弧度,这种场景中深度学习算法的图像分割方法可以识别出哪些是绝缘子,但是很难对绝缘子的边缘进行准确的分割,所以本发明实施例中结合了图像阈值分割算法,减小图像分割时边缘的噪声,提高图像分割的精确度,满足了复杂场景中用户对图像分割的需求。
图9(a)、图9(b)是通过本发明实施例的图像分割方法对另一种绝缘子红外图像的分割场景,图9(a)为获取的初始红外图像的灰度图,图9(b)为通过本发明实施例的图像分割方法分割后得到的绝缘子图像,具体过程不再赘述。
图10(a)、图10(b)是通过本发明实施例的图像分割方法对又一种绝缘子红外图像的分割场景,图10(a)为获取的初始红外图像的灰度图,图10(b)为通过本发明实施例的图像分割方法分割后得到的绝缘子图像,具体过程不再赘述。
本发明实施例中,分别通过深度学习算法和图像阈值分割算法对待分割图像进行处理,将两种算法的结果进行融合,图像阈值分割算法可以使图像分割的边缘较光滑、噪声较小,所以在深度学习算法进行图像分割的基础上,结合图像阈值分割算法对待分割图像的处理结果,从而提高图像分割的精确度,满足复杂场景中用户对图像分割的需求。
本发明实施例的图像分割的方法,可以应用于对电力设备的温度进行检测的场景。
本发明实施例提供了一种电力设备温度检测的方法,该方法可由计算机等设备执行,如图11所示,该方法包括以下步骤。
S301:获取待测电力设备的红外图像。
其中,红外图像可以通过红外摄像头来采集,红外摄像头可以采集包括待测电力设备的红外图像视频。服务器可以通过接口与红外摄像头连接,接收红外摄像头拍摄的红外视频,然后服务器可以将红外视频转换为一帧帧的红外图像,并进行后续处理。或者,红外摄像头采集的红外视频后,还可以直接转化为一帧帧的红外图像,再传输给服务器,以便服务器进行后续的处理。
需要说明的是,将红外视频转换为图像的方式不做限定,例如可以通过Opencv实现。
S302:基于深度学习算法对原红外图像进行处理,得到第四分割图。
其中,第四分割图包括第四目标区域和第四背景区域。
本步骤的数据处理原理与图1所示实施例中步骤S101的数据处理原理相同,本步骤中原红外图像相当于图1所示实施例中待分割图像,第四分割图相当于图1所示实施例中第一分割图,第四目标区域相当于图1所示实施例中第一目标区域,第四背景区域相当于图1所示实施例中第一背景区域。详细内容可以参考图1所示实施例,在此不再赘述。
S303:基于图像阈值分割算法对原红外图像进行处理,得到第五分割图。
其中,第五分割图包括第五目标区域和第五背景区域。
本步骤的数据处理原理与图1所示实施例中步骤S102的数据处理原理相同,本步骤中原红外图像相当于图1所示实施例中待分割图像,第五分割图相当于图1所示实施例中第二分割图,第五目标区域相当于图1所示实施例中第二目标区域,第五背景区域相当于图1所示实施例中第二背景区域。详细内容可以参考图1所示实施例,在此不再赘述。
需要说明的是,步骤S302和步骤S303在执行时可以没有时间先后顺序,本发明实施例以先执行步骤S302再执行步骤S303为例进行说明。
S304:将第四分割图和第五分割图融合为第六分割图。
其中,第六分割图包括目标区域和背景区域。
本步骤的数据处理原理与图1所示实施例中步骤S103的数据处理原理相同,第六分割图包括的目标区域相当于图1所示实施例中第三分割图包括的目标区域,第六分割图包括的背景区域相当于图1所示实施例中第三分割图包括的背景区域。具体内容可以参考图1所示实施例,在此不再赘述。
S305:根据第六分割图的目标区域,从原红外图像中分割出待测电力设备图像。
本步骤的数据处理原理与图1所示实施例中步骤S104的数据处理原理相同,本步骤中的目标区域相当于图1所示实施例中第三分割图包括的目标区域,待测电力设备图像相当于图1所示实施例中目标图像。具体内容可以参考图1所示实施例,在此不再赘述。
S306:识别待测电力设备图像的颜色。
步骤S306中将待测电力设备图像从红外图像中分割出来,则可以准确的对待测电力设备图像的颜色进行识别。本发明实施例中对识别的方式不做限定。
例如,可以通过HSV对图像分割后待测电力设备图像进行颜色识别。具体的,可以对待测电力设备图像转换成HSV颜色空间,然后每一个像素点计算出HSV值,然后计算出HSV值的平均值,再查询如图12和图13所示的颜色范围值表,通过对比平均值,得到待测电力设备图像的颜色值RGB。对于待测电力设备图像中个别像素点的HSV值偏差较大时,可以将该像素点的记录下来单独进行识别出其HSV值,以便于后续判断该像素点的是否损坏。
图12表示基本颜色对应的HSV范围的示意图。图13表示HSV值与各颜色的RGB值对应关系的示意图。
HSV模型中颜色的参数分别是:色调、饱和度和亮度。色调用角度度量,取值范围为0°~360°,从红色开始按逆时针方向计算,红色为0°,绿色为120°,蓝色为240°,它们的补色是黄色为60°,青色为180°,品红为300°。饱和度S的取值范围为0.0~1.0。亮度V的取值范围为0.0(黑色)~1.0(白色)。HSV颜色模型是面向用户的,HSV颜色模型的三维表示从RGB立方体演化而来,从RGB沿立方体对角线的白色顶点向黑色顶点观察,可以看到立方体的六边形外形。六边形边界表示色彩,水平轴表示纯度,明度沿垂直轴测量。
本发明实施例中可以通过计算待测电力设备图像中每个像素的HSV值判断颜色的分量范围,然后计算待测电力设备图像整体平均的HSV值以及特殊的HSV值,根据平均的HSV值计算RGB值来判待测电力设备图像的颜色。
HSV颜色模型对应于圆柱坐标系中的一个圆锥形子集,如图14(a)所示表示一种HSV颜色空间模型的示意图,圆锥的顶面对应于V=1。它包含RGB模型中的R=1,G=1,B=1三个面,所代表的颜色较亮。色调H由绕V轴的旋转角给定,红色对应于角度0°,绿色对应于角度120°,蓝色对应于角度240°。在HSV颜色模型中,每一种颜色和它的补色相差180°。饱和度S取值从0到1,所以圆锥顶面的半径为1。HSV颜色模型所代表的颜色域是CIE色度图的一个子集,模型中饱和度为百分之百的颜色,其纯度一般小于百分之百。在圆锥的顶点(即原点)处,V=0,H和S无定义,代表黑色。圆锥的顶面中心处S=0,V=1,H无定义,代表白色。从该点到原点代表亮度渐暗的灰色,即具有不同灰度的灰色。对于这些点,S=0,H的值无定义。HSV模型中的V轴对应于RGB颜色空间中的主对角线。在圆锥顶面的圆周上的颜色,V=1,S=1这种颜色是纯色。如图14(b)所示表示又一种HSV颜色空间模型的示意图。
S307:基于待测电力设备图像的颜色检测待测电力设备的温度。
在通过步骤S306识别出红外图像中待测电力设备的温度后,即可查询颜色-温度表,进而确定出待测电力设备的温度。如图15所示,为一种颜色-温度表的灰度示意图。对于步骤S306中HSV值偏差较大的个别像素点,可以将其HSV值转换为温度值后,通过与预设的温度损坏值相比较,来判断该像素点是否达到温度损坏值,如果达到温度损坏值,则可以进一步判断待测电力设备是否故障。
在确定出待测电力设备的温度后,还可以通过显示器等设备对待测电力设备的温度进行显示,以便于工作人员能够及时方便的查看。
需要说明的是,在本发明实施例中,在步骤S307确定出待测电力设备的温度后,还可以对温度进行判断。当温度达到一定高度时,可以通过语音等方式进行报警,以便于提醒工作人员及时处理。
本发明实施例中准确的从红外图像中分割待测电力设备图像,减少了分割边缘的误差,从而避免因待测电力设备图像边缘分割准确度差导致待测电力设备图像的颜色识别不准确,进而导致温度检测不准确的问题,提高温度检测的准确性。同时,基于本发明实施例的电力设备温度检测方法,实现了人工智能的方式对电力设备的温度检测,不仅减少人力成本,还可以快速、精准、实时的监控电力设备的温度,以及进行高温报警,从而可以在节省成本的情况下及时的了解电力设备的情况,并能及时进行相应的处理。
为了解决现有技术存在的问题,本发明实施例提供了一种图像分割的装置400,如图16所示,该装置400包括:
处理单元401,用于基于深度学习算法对待分割图像进行处理,得到第一分割图,所述第一分割图包括第一目标区域和第一背景区域;基于图像阈值分割算法对所述待分割图像进行处理,得到第二分割图,所述第二分割图包括第二目标区域和第二背景区域;
融合单元402,用于将所述第一分割图和所述第二分割图融合为第三分割图,所述第三分割图包括目标区域和背景区域;
分割单元403,用于根据所述第三分割图的目标区域,从所述待分割图像中分割出目标图像。
应理解的是,实施本发明实施例的方式与实施图1所示实施例的方式相同,在此不再赘述。
本发明实施例的一种实现方式中,所述融合单元402具体用于:
确定所述第一目标区域和所述第二目标区域之间的目标重合区域,以及所述第一背景区域和所述第二背景区域之间的背景重合区域;
基于所述目标重合区域确定目标图像的图像特征,以及基于所述背景重合区域确定背景图像的图像特征;
基于所述目标图像的图像特征和所述背景图像的图像特征,将待定区域分割为第三目标区域和第三目标区域,所述待定区域表示所述待分割图像中除所述目标重合区域和所述背景重合区域外的区域;
将所述目标重合区域和所述第三目标区域确定为第三分割图的目标区域,以及将所述背景重合区域和所述第三背景区域确定为第三分割图的背景区域。
本发明实施例的又一种实现方式中,所述第一目标区域和所述第二目标区中各像素点的像素值为第一像素值,所述第一背景区域和所述第二背景区中各像素点的像素值为第二像素值;所述融合单元402具体用于:
将所述第一分割图中像素点的像素值与所述第二分割图中相同位置像素点的像素值相减,得到各像素点对应的像素差值;
将所述第一目标区域中对应像素差值不为零的像素点所在区域确定为目标重合区域;
将所述第一背景区域中对应像素差值不为零的像素点所在区域确定为背景重合区域。
本发明实施例的又一种实现方式中,所述图像特征包括像素;所述融合单元402具体用于:
基于所述目标图像的像素和所述背景图像的像素计算所述待定区域中各像素点的透明度,所述透明度表示对应像素点的像素包括所述目标图像的像素的权重;
当所述透明度大于预设值时,所述透明度对应像素点属于第三目标区域;当所述透明度不大于所述预设值时,所述透明度对应像素点属于第三背景区域。
本发明实施例的又一种实现方式中,所述装置400还包括:
检测单元,用于检测所述待分割图像中待分割区域,所述待分割区域包括所述目标图像所在区域,以及与所述目标图像的距离处于预设范围内的区域;
去除单元,用于去除所述待分割图像中除所述待分割区域外其他区域的图像。
本发明实施例的又一种实现方式中,所述深度学习算法包括语义分割算法,所述图像阈值分割算法包括二值化分割算法。
应理解的是,实施本发明实施例的方式与实施图1所示实施例的方式相同,在此不再赘述。
本发明实施例中,分别通过深度学习算法和图像阈值分割算法对待分割图像进行处理,得到包括第一颜色和第二颜色的两张图像分割图,再将两张图像分割图融合得到第三图像分割图,相当于将两种算法的结果进行融合。图像阈值分割算法可以使图像分割的边缘较光滑、噪声较小,所以在深度学习算法进行图像分割的基础上,结合图像阈值分割算法对待分割图像的处理结果,从而提高图像分割的精确度,满足复杂场景中用户对图像分割的需求。
本发明实施例提供了一种电力设备温度检测的装置500,如图17所示,该装置500包括:
获取单元501,用于获取包括待测电力设备的原红外图像;
处理单元502,用于基于深度学习算法对所述原红外图像进行处理,得到第一分割图,所述第一分割图包括第一目标区域和第一背景区域;
处理单元502,还用于基于图像阈值分割算法对所述原红外图像进行处理,得到第二分割图,所述第二分割图包括第二目标区域和第二背景区域;
融合单元503,用于将所述第一分割图和所述第二分割图融合为第三分割图,所述第三分割图包括目标区域和背景区域;
分割单元504,用于根据所述第三分割图的目标区域,从所述原红外图像中分割出待测电力设备图像;
识别单元505,用于识别所述待测电力设备图像的颜色;
检测单元506,用于基于所述待测电力设备图像的颜色检测所述待测电力设备的温度。
应理解的是,实施本发明实施例的方式与实施图14所示实施例的方式相同,在此不再赘述。
本发明实施例中准确的从红外图像中分割待测电力设备图像,减少了分割边缘的误差,从而避免因待测电力设备图像边缘分割准确度差导致待测电力设备图像的颜色识别不准确,进而导致温度检测不准确的问题,提高温度检测的准确性。同时,基于本发明实施例的电力设备温度检测方法,实现了人工智能的方式对电力设备的温度检测,不仅减少人力成本,还可以快速、精准、实时的监控电力设备的温度,以及进行高温报警,从而可以在节省成本的情况下及时的了解电力设备的情况,并能及时进行相应的处理。
根据本发明的实施例,本发明还提供了一种电子设备和一种可读存储介质。
本发明的电子设备包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行本发明实施例所提供的图像分割的方法。
图18示出了可以应用本发明实施例的图像分割的方法或图像分割的装置的示例性系统架构600。
如图18所示,系统架构600可以包括终端设备601、602、603,网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互,以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器,例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的图像分割的方法一般由服务器605执行,相应地,图像分割的装置一般设置于服务器605中。
应该理解,图18中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图19,其示出了适于用来实现本发明实施例的计算机系统700的结构示意图。图19示出的计算机系统仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图19所示,计算机系统700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分,上述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括处理单元、融合单元和分割单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,处理单元还可以被描述为“处理单元的功能的单元”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行本发明所提供的图像分割的方法。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。