发明内容
基于此,针对上述技术问题,提供一种基于融合图像的矿废识别方法、装置、设备及存储介质。
本发明采用的技术方案如下:
作为本发明的第一方面,提供一种基于融合图像的矿废识别方法,包括:
S101、获取待测矿石颗粒组的红外图像和三维点云深度图像;
S102、对所述红外图像和三维点云深度图像进行融合处理,得到融合图像,所述融合处理包括:
将红外图像的各像素点与三维点云深度图像的各像素点进行一一对应;
将所述红外图像和三维点云深度图像的对应像素点进行叠加,叠加后的像素点的像素值=Q*XA+q*Xa,其中,A代表红外图像的像素点,a代表与A对应的三维点云深度图像的像素点,XA代表A的像素值,Xa代表a的像素值,Q代表红外图像的像素点的权重,q代表三维点云深度图像的像素点的权重;
S103、通过目标检测模型识别所述融合图像中的废矿颗粒。
作为本发明的第二方面,提供一种基于融合图像的矿废识别装置,包括:
图像获取模块,用于获取待测矿石颗粒组的红外图像和三维点云深度图像;
图像融合模块,用于对所述红外图像和三维点云深度图像进行融合处理,得到融合图像,所述融合处理包括:
将红外图像的各像素点与三维点云深度图像的各像素点进行一一对应;
将所述红外图像和三维点云深度图像的对应像素点进行叠加,叠加后的像素点的像素值=Q*XA+q*Xa,其中,A代表红外图像的像素点,a代表与A对应的三维点云深度图像的像素点,XA代表A的像素值,Xa代表a的像素值,Q代表红外图像的像素点的权重,q代表三维点云深度图像的像素点的权重;
识别模块,用于通过目标检测模型识别所述融合图像中的废矿颗粒。
作为本发明的第三方面,提供一种电子设备,包括存储模块,所述存储模块包括由处理器加载并执行的指令,所述指令在被执行时使所述处理器执行上述第一方面的一种基于融合图像的矿废识别方法。
作为本发明的第四方面,提供一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现上述第一方面的一种基于融合图像的矿废识别方法。
本发明先获取待测矿石颗粒组的红外图像和三维点云深度图像,然后对红外图像和三维点云深度图像进行融合,融合后的图像集中了红外图像的特征和三维点云深度图像的特征,提升了废矿和好矿之间的辨识度,最后基于融合后的图像,由目标检测模型进行识别,提高了识别废矿颗粒的准确度。
具体实施方式
以下将结合说明书附图对本发明的实施方式予以说明。需要说明的是,本说明书中所涉及的实施方式不是穷尽的,不代表本发明的唯一实施方式。以下相应的实施例只是为了清楚的说明本发明专利的发明内容,并非对其实施方式的限定。对于该领域的普通技术人员来说,在该实施例说明的基础上还可以做出不同形式的变化和改动,凡是属于本发明的技术构思和发明内容并且显而易见的变化或变动也在本发明的保护范围之内。
如图1所示,本发明实施例提供一种基于融合图像的矿废识别方法,其具体流程如下:
S101、获取待测矿石颗粒组的红外图像和三维点云深度图像。
其中,红外图像可以通过红外线阵相机获取,对于三维点云深度图像,则可以利用三维数据采集设备,如深度相机、激光雷达等,先获取深度信息,再由深度信息进行转换获得。
S102、对红外图像和三维点云深度图像进行融合处理,得到融合图像,融合处理包括:
a、将红外图像和三维点云深度图像处理成相同的尺寸。
b、将红外图像的各像素点与三维点云深度图像的各像素点进行一一对应。
需要指出的是,将红外图像和三维点云深度图像处理成相同的尺寸的目的是对像素点进行一一对应,若获取的红外图像和三维点云深度图像本身的尺寸就相同,则步骤a可以省略。
c、将红外图像和三维点云深度图像的对应像素点进行叠加,叠加后的像素点的像素值=Q*XA+q*Xa,其中,A代表红外图像的像素点,a代表与A对应的三维点云深度图像的像素点,XA代表A的像素值,Xa代表a的像素值,Q代表红外图像的像素点的权重,q代表三维点云深度图像的像素点的权重。
融合处理后的图像集中了红外图像的特征和三维点云深度图像的特征,提升了废矿和好矿之间的辨识度,有助于提高目标检测模型的识别准确度。
其中,Q和q可以根据实际需要进行预先设定,如在本实施例中,将Q和q均设置为0.5。
图4示出了矿石颗粒组的红外图像,图5示出了相应的三维点云深度图像,图6示出了相应的融合图像,从图4可以看出,矿粒K6很难辨析到底是好矿颗粒还是废矿颗粒,但是,矿粒K6在融合后的图6中,可以明显辨析出是发亮的,即其是好矿颗粒。
S103、通过目标检测模型识别融合图像中的废矿颗粒。
在本实施例中,目标检测模型采用深度学习目标检测模型,深度学习目标监测模型包括但不限于以下模型:R-CNN模型、Fast R-CNN模型、Faster R-CNN模型、YOLO模型、SSD模型,目标检测模型的训练过程包括:
a、收集含有废矿颗粒的矿石颗粒组的红外图像和三维点云深度图像,收集不含废矿颗粒的矿石颗粒组的红外图像和三维点云深度图像。
b、将对应相同矿石颗粒组的红外图像和三维点云深度图像进行融合处理,得到样本图片,其中,融合处理的过程参见S102。
c、在样本图片中对废矿颗粒和好矿颗粒进行标注。
d、通过标注后的样本图片对目标检测模型进行训练。
由上可知,本实施例方法先获取待测矿石颗粒组的红外图像和三维点云深度图像,然后对红外图像和三维点云深度图像进行融合,融合后的图像集中了红外图像的特征和三维点云深度图像的特征,提升了废矿和好矿之间的辨识度,最后基于融合后的图像,由目标检测模型进行识别,提高了识别废矿颗粒的准确度。
以下将详细描述本发明的一个或多个实施例的基于融合图像的矿废识别装置。本领域技术人员可以理解,这些矿废识别装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。图2示出了本发明实施例提供的一种基于融合图像的矿废识别装置,如图2所示,该矿废识别装置包括图像获取模块11、图像融合模块12以及识别模块13。
图像获取模块11,用于获取待测矿石颗粒组的红外图像和三维点云深度图像。
其中,红外图像可以通过红外线阵相机获取,对于三维点云深度图像,则可以利用三维数据采集设备,如深度相机、激光雷达等,先获取深度信息,再由深度信息进行转换获得。
图像融合模块12,用于对红外图像和三维点云深度图像进行融合处理,得到融合图像,融合处理包括:
a、将红外图像和三维点云深度图像处理成相同的尺寸。
b、将红外图像的各像素点与三维点云深度图像的各像素点进行一一对应。
需要指出的是,将红外图像和三维点云深度图像处理成相同的尺寸的目的是对像素点进行一一对应,若获取的红外图像和三维点云深度图像本身的尺寸就相同,则步骤a可以省略。
c、将红外图像和三维点云深度图像的对应像素点进行叠加,叠加后的像素点的像素值=Q*XA+q*Xa,其中,A代表红外图像的像素点,a代表与A对应的三维点云深度图像的像素点,XA代表A的像素值,Xa代表a的像素值,Q代表红外图像的像素点的权重,q代表三维点云深度图像的像素点的权重。
融合处理后的图像集中了红外图像的特征和三维点云深度图像的特征,提升了废矿和好矿之间的辨识度,有助于提高目标检测模型的识别准确度。
其中,Q和q可以根据实际需要进行预先设定,如在本实施例中,将Q和q均设置为0.5。
图4示出了矿石颗粒组的红外图像,图5示出了相应的三维点云深度图像,图6示出了相应的融合图像,从图4可以看出,矿粒K6很难辨析到底是好矿颗粒还是废矿颗粒,但是,矿粒K6在融合后的图6中,可以明显辨析出是发亮的,即其是好矿颗粒。
识别模块13,用于通过目标检测模型识别融合图像中的废矿颗粒。
在本实施例中,目标检测模型采用深度学习目标检测模型,深度学习目标监测模型包括但不限于以下模型:R-CNN模型、Fast R-CNN模型、Faster R-CNN模型、YOLO模型、SSD模型,目标检测模型的训练过程包括:
a、收集含有废矿颗粒的矿石颗粒组的红外图像和三维点云深度图像,收集不含废矿颗粒的矿石颗粒组的红外图像和三维点云深度图像。
b、将对应相同矿石颗粒组的红外图像和三维点云深度图像进行融合处理,得到样本图片,其中,融合处理的过程参见S102。
c、在样本图片中对废矿颗粒和好矿颗粒进行标注。
d、通过标注后的样本图片对目标检测模型进行训练。
综上,上述实施例提供的矿废识别装置可以执行前述各实施例中提供的基于融合图像的矿废识别方法。
与上述构思相同,上述图2所示的矿废识别装置的结构可实现为一电子设备,图3示出了本发明实施例提供的一种电子设备的结构示意性框图。
示例性的,电子设备包括存储模块21以及处理器22,存储模块21包括由处理器22加载并执行的指令,指令在被执行时使处理器22执行本说明书上述一种基于融合图像的矿废识别方法部分中描述的根据本发明各种示例性实施方式的步骤。
应当理解的是,处理器22可以是中央处理单元(CentralProcessingUnit,CPU),该处理器22还可以是其它通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明实施例中还提供一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,一个或多个程序当被处理器执行时,实现上述一种基于融合图像的矿废识别方法部分中描述的根据本发明各种示例性实施方式的步骤。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读存储介质上,计算机可读存储介质可以包括计算机可读存储介质(或非暂时性介质)和通信介质(或暂时性介质)。
如本领域普通技术人员公知的,术语计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机可读存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
示例性的,计算机可读存储介质可以是前述实施例的电子设备的内部存储单元,例如电子设备的硬盘或内存。计算机可读存储介质也可以是电子设备的外部存储设备,例如电子设备上配备的插接式硬盘,智能存储卡(SmartMediaCard,SMC),安全数字(SecureDigital,SD)卡,闪存卡(FlashCard)等。
前述各实施例提供的电子设备和计算机可读存储介质,先获取待测矿石颗粒组的红外图像和三维点云深度图像,然后对红外图像和三维点云深度图像进行融合,融合后的图像集中了红外图像的特征和三维点云深度图像的特征,提升了废矿和好矿之间的辨识度,最后基于融合后的图像,由目标检测模型进行识别,提高了识别废矿颗粒的准确度。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。