CN116109893B - 一种矿井场景图像分类方法、系统及存储介质 - Google Patents

一种矿井场景图像分类方法、系统及存储介质 Download PDF

Info

Publication number
CN116109893B
CN116109893B CN202310376408.8A CN202310376408A CN116109893B CN 116109893 B CN116109893 B CN 116109893B CN 202310376408 A CN202310376408 A CN 202310376408A CN 116109893 B CN116109893 B CN 116109893B
Authority
CN
China
Prior art keywords
partial images
mine scene
images
scene image
mine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310376408.8A
Other languages
English (en)
Other versions
CN116109893A (zh
Inventor
应永华
俞明明
张宏权
黄顺权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Long Wall Fluid Kinetic Sci Tech Co Ltd
Original Assignee
Ningbo Long Wall Fluid Kinetic Sci Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Long Wall Fluid Kinetic Sci Tech Co Ltd filed Critical Ningbo Long Wall Fluid Kinetic Sci Tech Co Ltd
Priority to CN202310376408.8A priority Critical patent/CN116109893B/zh
Publication of CN116109893A publication Critical patent/CN116109893A/zh
Application granted granted Critical
Publication of CN116109893B publication Critical patent/CN116109893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像分类技术领域,具体涉及一种矿井场景图像分类方法、系统及存储介质,方法包括:将多个矿井场景图像随机划分到若干个矿井场景图像组中,针对不同的矿井场景图像组中的各个矿井场景图像,分别将各个矿井场景图像划分为多个部分图像,并且分别计算各个矿井场景图像的每个部分图像的特征值;从不同的矿井场景图像组中的各个矿井场景图像的多个部分图像中,选择若干个部分图像作为代表部分图像,并且根据矿井场景图像是否存在代表部分图像的检测结果针对多个矿井场景图像进行自动分类。本发明解决了需要依靠人工获取训练样本才能对矿井场景图像进行分类的问题。

Description

一种矿井场景图像分类方法、系统及存储介质
技术领域
本发明属于图像分类技术领域,具体涉及一种矿井场景图像分类方法、系统及存储介质。
背景技术
由于矿井作业环境的特殊性,要求必须对矿井作业环境进行严格的安全检查,传统的依靠人工检查矿井作业环境的方式不仅人工成本高,而且检查效率也低,因而现有技术中诞生了获取矿井场景图像,通过对矿井场景图像进行分类,进而实现对矿井作业环境进行安全检查的方法,公开号为CN110674702B的中国发明专利提供一种矿井图像场景分类方法、装置及设备、系统,方法包括获取矿井场景图像训练样本;利用矿井场景图像训练样本训练分类算法模型,得到矿井场景分类模型;利用矿井场景分类模型对待分类矿井场景图像进行分类,得到分类结果,然而,上述发明专利需要提前获取大量的矿井场景图像训练样本,矿井场景图像训练样本通常需要通过人工对矿井场景图像进行标注来得到,也就是说在矿井场景图像训练样本的生成过程中需要人工区分矿井场景图像的类别,仍然需要花费大量的人工和时间成本,由此,本发明提供一种矿井场景图像分类方法、系统及存储介质来解决该技术问题。
发明内容
本发明获取多个矿井场景图像,把每个矿井场景图像分割成不同的部分图像,并且从多个矿井场景图像的全部部分图像中挑选出代表部分图像,进而根据各个矿井场景图像是否存在代表部分图像的检测结果针对多个矿井场景图像进行自动分类,旨在提供一种无需依靠人工事先准备的大量训练样本也能实现对于多个矿井场景图像的自动分类的方法。
为了达到上述的发明目的,本发明给出如下所述的一种矿井场景图像分类方法,主要包括以下的步骤:
获取多个矿井场景图像,并且将多个所述矿井场景图像随机划分到若干个矿井场景图像组中,针对不同的所述矿井场景图像组中的各个所述矿井场景图像,分别又将各个所述矿井场景图像划分为多个部分图像,所述部分图像包括多个像素点,并且分别计算各个所述矿井场景图像的每个所述部分图像的特征值;
从不同的所述矿井场景图像组中的各个所述矿井场景图像的多个所述部分图像中,选择若干个所述部分图像作为代表部分图像,并且分别检测所述矿井场景图像是否存在所述代表部分图像,根据所述矿井场景图像是否存在所述代表部分图像的检测结果针对多个所述矿井场景图像进行自动分类。
作为本发明的一种优选技术方案,从不同的所述矿井场景图像组中的各个所述矿井场景图像的多个所述部分图像中,选择若干个所述部分图像作为代表部分图像,包括如下的步骤:
基于任意一个所述矿井场景图像组中的各个所述矿井场景图像的多个所述部分图像,通过多个所述部分图像的所述特征值将多个所述部分图像分为不同的类别;按照不同类别的所述部分图像分别包含的所述部分图像的个数从大到小的顺序,对于不同类别的所述部分图像进行排序;
根据不同类别的所述部分图像的排序结果,删除排序最靠后的预先设定数量的类别的所述部分图像;
对于留下的不同类别的所述部分图像,分别为每个类别的所述部分图像训练一个第一机器学习模型,所述第一机器学习模型输出将全部所述矿井场景图像组中的各个所述矿井场景图像的多个所述部分图像识别为所述类别时的第一得分;针对全部所述矿井场景图像组中的各个所述矿井场景图像的多个所述部分图像分别使用不同的所述第一机器学习模型,按照不同的所述第一机器学习模型输出的所述第一得分,将所述部分图像归类为与最高的所述第一得分相对应的所述第一机器学习模型的所述类别;
判断是否满足生成所述代表部分图像的条件,若满足生成所述代表部分图像的条件,则针对此时的每个类别的所述部分图像,从中选择对应的所述第一得分最高的所述部分图像作为所述代表部分图像,若不满足生成所述代表部分图像的条件,则跳转根据不同类别的所述部分图像的排序结果,删除排序最靠后的预先设定数量的类别的所述部分图像的步骤继续执行。
作为本发明的一种优选技术方案,生成所述代表部分图像的条件指的是,执行预先设定次数的针对全部所述矿井场景图像组中的各个所述矿井场景图像的多个所述部分图像分别使用不同的所述第一机器学习模型,按照不同的所述第一机器学习模型输出的所述第一得分,将所述部分图像归类为与最高的所述第一得分相对应的所述第一机器学习模型的所述类别,每次得到的不同类别中的与最高的所述第一得分相对应的所述部分图像未发生变化。
作为本发明的一种优选技术方案,根据所述矿井场景图像是否存在所述代表部分图像的检测结果针对多个所述矿井场景图像进行自动分类之前,还包括删除那些在超过预先设定的数量的所述矿井场景图像中出现过的所述代表部分图像。
作为本发明的一种优选技术方案,根据所述矿井场景图像是否存在所述代表部分图像的检测结果针对多个所述矿井场景图像进行自动分类的过程为,将存在相同的若干个所述代表部分图像的多个所述矿井场景图像自动划分为一个类别。
作为本发明的一种优选技术方案,将各个所述矿井场景图像划分为多个部分图像,包括如下的步骤:
将所述矿井场景图像中的所述部分图像的总个数的初始值设为0;
获取所述矿井场景图像中的当前要处理的一个像素点的色彩值,并且判断所述矿井场景图像中的所述部分图像的总个数是否为0,若所述部分图像的总个数为0,则跳转使用这个像素点形成一个新的所述部分图像,并且更新所述矿井场景图像中的所述部分图像的总个数的步骤,若所述部分图像的总个数不为0,继续下个步骤;
基于所述矿井场景图像中的当前要处理的一个像素点的色彩值,在所述矿井场景图像的多个所述部分图像中查找与这个像素点的色彩值最相似的像素点,同时记录这个像素点的色彩值与最相似的像素点的色彩值之间的相似度,并且判断所述相似度是否大于等于预先设定的相似度阈值,若所述相似度大于等于所述相似度阈值,则将这个像素点划分到最相似的像素点所在的所述部分图像,若所述相似度小于所述相似度阈值,继续下个步骤;
使用这个像素点形成一个新的所述部分图像,并且更新所述矿井场景图像中的所述部分图像的总个数;
判断已经处理过的所述矿井场景图像中的像素点的总个数是否大于等于预先设定的总个数阈值,若像素点的总个数大于等于总个数阈值,则针对所述矿井场景图像中的所述部分图像进行二次处理,并且继续下个步骤,若像素点的总个数小于总个数阈值,直接继续下个步骤;
判断是否对于所述矿井场景图像中的全部像素点都已经进行过处理,若是的话,结束全部步骤,若不是的话,确定所述矿井场景图像中的下一个要处理的像素点,跳转将所述矿井场景图像中的所述部分图像的总个数的初始值设为0的下一个步骤。
作为本发明的一种优选技术方案,针对所述矿井场景图像中的所述部分图像进行二次处理,包括如下的步骤:
对于所述矿井场景图像中的一个所述部分图像,判断所述部分图像中的像素点的总个数是否小于等于总个数阈值,在像素点的总个数大于总个数阈值的情况下,继续下个步骤,在像素点的总个数小于等于总个数阈值的情况下,计算这个所述部分图像中的全部像素点的色彩值的平均值,以及分别计算其他所述部分图像中的全部像素点的色彩值的平均值,还查找与这个所述部分图像的色彩值的平均值最相似的色彩值的平均值,同时将这个所述部分图像与最相似的色彩值的平均值所在的所述部分图像进行归并;
判断是否所述矿井场景图像中的全部所述部分图像都已经过处理,若全部所述部分图像都已经过处理,结束全部步骤,若存在所述部分图像还没有经过处理,则确定所述矿井场景图像中的下一个要处理的所述部分图像,并且跳转上个步骤。
本发明还提供一种矿井场景图像分类系统,包括如下的模块:
预处理模块,用于获取多个矿井场景图像,并且将多个矿井场景图像随机划分到若干个矿井场景图像组中,针对不同的矿井场景图像组中的各个矿井场景图像,分别又将各个矿井场景图像划分为多个部分图像,部分图像包括多个像素点,并且分别计算各个矿井场景图像的每个部分图像的特征值;
分类模块,用于从不同的矿井场景图像组中的各个矿井场景图像的多个部分图像中,选择若干个部分图像作为代表部分图像,并且分别检测矿井场景图像是否存在代表部分图像,根据矿井场景图像是否存在代表部分图像的检测结果针对多个矿井场景图像进行自动分类。
本发明还提供一种存储介质,所述存储介质存储有程序指令,其中,在所述程序指令运行时控制所述存储介质所在设备执行上述中任意一项所述的方法。
与现有技术相比,本发明的有益效果至少如下所述:
在本发明中,首先将多个矿井场景图像随机划分到若干个矿井场景图像组中,针对不同的矿井场景图像组中的各个矿井场景图像,分别将各个矿井场景图像划分为多个部分图像,并且分别计算各个矿井场景图像的每个部分图像的特征值;其次从不同的矿井场景图像组中的各个矿井场景图像的多个部分图像中,选择若干个部分图像作为代表部分图像,并且根据矿井场景图像是否存在代表部分图像的检测结果针对多个矿井场景图像进行自动分类。本发明解决了需要依靠人工获取训练样本才能对矿井场景图像进行分类的问题,本发明能够不依靠人工获取训练样本,对于矿井场景图像进行自动分类,提升自动分类的效率,避免花费大量的人工和时间成本。
附图说明
图1为本发明的一种矿井场景图像分类方法的步骤流程图;
图2为本发明的一种矿井场景图像分类系统的组成结构图。
实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但除非特别说明,这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一xx脚本称为第二xx脚本,且类似地,可将第二xx脚本称为第一xx脚本。
本发明提供了如图1所示的一种矿井场景图像分类方法,主要通过执行如下的步骤过程来实现:
步骤一、获取多个矿井场景图像,并且将多个上述矿井场景图像随机划分到若干个矿井场景图像组中,针对不同的上述矿井场景图像组中的各个上述矿井场景图像,分别又将各个上述矿井场景图像划分为多个部分图像,上述部分图像包括多个像素点,并且分别计算各个上述矿井场景图像的每个上述部分图像的特征值;
步骤二、从不同的上述矿井场景图像组中的各个上述矿井场景图像的多个上述部分图像中,选择若干个上述部分图像作为代表部分图像,并且分别检测上述矿井场景图像是否存在上述代表部分图像,根据上述矿井场景图像是否存在上述代表部分图像的检测结果针对多个上述矿井场景图像进行自动分类。
具体的,为了解决现有技术在对矿井场景图像进行分类时,需要提前依靠人工获取大量的矿井场景图像训练样本,从而花费大量的人工和时间成本的技术问题,提出了上述步骤一和上述步骤二,在上述步骤一中,将需要分类的多个矿井场景图像分成不同的组,分组方式是随机的,又将每个组中的各个矿井场景图像都分割成不同的部分图像,计算这些部分图像的特征值,该特征值用于在后续描述的步骤中区分多个部分图像的类别,该特征值可以是部分图像的hog特征值等,在上述步骤二中,从全部的部分图像中挑选出代表部分图像,代表部分图像为多个,这些代表部分图像能够代表一个矿井场景图像与其他矿井场景图像不同的地方,并且检测各个矿井场景图像中是否存在这些代表部分图像,根据各个矿井场景图像中是否存在这些代表部分图像的检测结果实现对于多个矿井场景图像的分类,具体的分类方法将在下文中进行描述。通过以上方法,无需提前依靠人工获取大量的矿井场景图像训练样本,也能够实现对多个矿井场景图像的自动分类,避免花费大量的人工和时间成本,提升自动分类的效率。
进一步的,从不同的上述矿井场景图像组中的各个上述矿井场景图像的多个上述部分图像中,选择若干个上述部分图像作为代表部分图像,包括如下的步骤:
步骤一、基于任意一个上述矿井场景图像组中的各个上述矿井场景图像的多个上述部分图像,通过多个上述部分图像的上述特征值将多个上述部分图像分为不同的类别;按照不同类别的上述部分图像分别包含的上述部分图像的个数从大到小的顺序,对于不同类别的上述部分图像进行排序;
步骤二、根据不同类别的上述部分图像的排序结果,删除排序最靠后的预先设定数量的类别的上述部分图像;
步骤三、对于留下的不同类别的上述部分图像,分别为每个类别的上述部分图像训练一个第一机器学习模型,上述第一机器学习模型输出将全部上述矿井场景图像组中的各个上述矿井场景图像的多个上述部分图像识别为上述类别时的第一得分;针对全部上述矿井场景图像组中的各个上述矿井场景图像的多个上述部分图像分别使用不同的上述第一机器学习模型,按照不同的上述第一机器学习模型输出的上述第一得分,将上述部分图像归类为与最高的上述第一得分相对应的上述第一机器学习模型的上述类别;
步骤四、判断是否满足生成上述代表部分图像的条件,若满足生成上述代表部分图像的条件,则针对此时的每个类别的上述部分图像,从中选择对应的上述第一得分最高的上述部分图像作为上述代表部分图像,若不满足生成上述代表部分图像的条件,则跳转根据不同类别的上述部分图像的排序结果,删除排序最靠后的预先设定数量的类别的上述部分图像的步骤继续执行。
进一步的,生成上述代表部分图像的条件指的是,执行预先设定次数的针对全部上述矿井场景图像组中的各个上述矿井场景图像的多个上述部分图像分别使用不同的上述第一机器学习模型,按照不同的上述第一机器学习模型输出的上述第一得分,将上述部分图像归类为与最高的上述第一得分相对应的上述第一机器学习模型的上述类别,每次得到的不同类别中的与最高的上述第一得分相对应的上述部分图像未发生变化,也可以是与较高的上述第一得分相对应的多个上述部分图像都未发生变化。
具体的,通过上述步骤一到上述步骤四实现了从全部的部分图像中挑选出多个代表部分图像,首先随机选择一个矿井场景图像组,根据这个矿井场景图像组中的各个矿井场景图像的全部部分图像的特征值,把这个矿井场景图像组中的各个矿井场景图像的全部部分图像分成不同的类别,每个类别包含一定数量的部分图像,按照不同类别包含的部分图像的数量对不同类别的部分图像进行排序,排序越靠后的类别包含的部分图像的数量越少,其次基于这个矿井场景图像组中的不同类别的部分图像的排序结果,删除若干个排序最靠后的类别的部分图像,举例如可以删除排序最靠后的1个类别的部分图像,再次针对留下的不同类别的部分图像,分别为每个类别的部分图像生成一个第一机器学习模型,第一机器学习模型的训练数据由相应类别的部分图像,以及其他类别的部分图像组成,训练得到多个第一机器学习模型之后,将各个部分图像输入不同的第一机器学习模型,各个部分图像指的是全部矿井场景图像组中的各个部分图像,不同的第一机器学习模型能够输出将各个部分图像判定为相应类别时的第一得分,把各个部分图像的类别判定为与最高的第一得分相对应的类别,最高的第一得分还必须大于预先设定的第一得分阈值,同时把各个部分图像加入该类别中,最后判断是否能够满足生成代表部分图像的条件,如果能够满足的话,那么就从当前的不同类别的部分图像中分别选择第一得分最高的部分图像当作代表部分图像,也可以选择第一得分较高的若干个部分图像当作代表部分图像,如果不能够满足的话,那么就跳转步骤二,在上次删除后的不同类别的部分图像的排序结果中继续进行删除,并且重复执行后续的步骤。通过以上方法,能够从全部矿井场景图像组中的所有部分图像中挑选出多个代表部分图像,代表部分图像能够代表一个矿井场景图像与其他矿井场景图像的区别部分。
进一步的,根据上述矿井场景图像是否存在上述代表部分图像的检测结果针对多个上述矿井场景图像进行自动分类之前,还包括删除那些在超过预先设定的数量的上述矿井场景图像中出现过的上述代表部分图像。
进一步的,根据上述矿井场景图像是否存在上述代表部分图像的检测结果针对多个上述矿井场景图像进行自动分类的过程为,将存在相同的若干个上述代表部分图像的多个上述矿井场景图像自动划分为一个类别。
具体的,在取得了不同类别的部分图像中的代表部分图像之后,需要分别为不同类别的部分图像中的代表部分图像训练一个第二机器学习模型,当不同类别的部分图像中的代表部分图像为多个时,第二机器学习模型的训练数据由相应类别的部分图像中的多个代表部分图像,以及其他类别的部分图像中的多个代表部分图像组成,由此将矿井场景图像的全部部分图像输入不同的第二机器学习模型,不同的第二机器学习模型能够检测出全部部分图像中是否存在相应的代表部分图像,之后还需要删除那些在超过一定数量的矿井场景图像中出现过的代表部分图像,一定数量占矿井场景图像的总数量的大多数,因为这些代表部分图像在很多矿井场景图像中都存在,那么这些代表部分图像就不能很好的将不同的矿井场景图像区分开,由此能够把存在相同的若干个代表部分图像的多个矿井场景图像自动划分为一个类别。
进一步的,将各个所述矿井场景图像划分为多个部分图像,包括如下的步骤:
步骤一、将所述矿井场景图像中的所述部分图像的总个数的初始值设为0;
步骤二、获取所述矿井场景图像中的当前要处理的一个像素点的色彩值,并且判断所述矿井场景图像中的所述部分图像的总个数是否为0,若所述部分图像的总个数为0,则跳转使用这个像素点形成一个新的所述部分图像,并且更新所述矿井场景图像中的所述部分图像的总个数的步骤,若所述部分图像的总个数不为0,继续下个步骤;
步骤三、基于所述矿井场景图像中的当前要处理的一个像素点的色彩值,在所述矿井场景图像的多个所述部分图像中查找与这个像素点的色彩值最相似的像素点,同时记录这个像素点的色彩值与最相似的像素点的色彩值之间的相似度,并且判断所述相似度是否大于等于预先设定的相似度阈值,若所述相似度大于等于所述相似度阈值,则将这个像素点划分到最相似的像素点所在的所述部分图像,若所述相似度小于所述相似度阈值,继续下个步骤;
步骤四、使用这个像素点形成一个新的所述部分图像,并且更新所述矿井场景图像中的所述部分图像的总个数;
步骤五、判断已经处理过的所述矿井场景图像中的像素点的总个数是否大于等于预先设定的总个数阈值,若像素点的总个数大于等于总个数阈值,则针对所述矿井场景图像中的所述部分图像进行二次处理,并且继续下个步骤,若像素点的总个数小于总个数阈值,直接继续下个步骤;
步骤六、判断是否对于所述矿井场景图像中的全部像素点都已经进行过处理,若是的话,结束全部步骤,若不是的话,确定所述矿井场景图像中的下一个要处理的像素点,跳转将所述矿井场景图像中的所述部分图像的总个数的初始值设为0的下一个步骤。
具体的,上述步骤一到上述步骤六用于将各个矿井场景图像划分为多个部分图像,在上述步骤一中,设置矿井场景图像中的部分图像的总个数的初始值是0,在上述步骤二中,取得矿井场景图像中的当前要处理的一个像素点的色彩值,色彩值即为像素点的rgb值,本实施例对于一个矿井场景图像,从矿井场景图像左上角的像素点开始向右依次处理像素点,当一行像素点都处理完成时,接着处理下一行最左边的像素点,并且判断矿井场景图像中的部分图像的总个数是否为0,如果不是0的话,继续下个步骤,否则的话,跳转上述步骤四,在上述步骤三中,在矿井场景图像的多个部分图像中查找与当前要处理的这个像素点的色彩值最相似的像素点,并且判断相似度是否大于等于相似度阈值,如果大于等于相似度阈值的话,那么就将当前要处理的这个像素点添加到最相似的像素点所在的部分图像,否则的话,继续下个步骤,在上述步骤四中,将当前要处理的这个像素点组成一个新的部分图像,同时更新矿井场景图像中的部分图像的总个数,在上述步骤五中,如果已经处理过的矿井场景图像中的像素点的总个数大于等于总个数阈值的话,那么就对矿井场景图像中的部分图像进行二次处理,该总个数阈值可以为矿井场景图像中的一定行数的像素点总个数,在上述步骤六中,检查是否对于矿井场景图像中的全部像素点都已经进行过处理,如果是的话,那么就结束全部步骤,反之,就确定矿井场景图像中的下一个要处理的像素点,并且跳转步骤二继续执行。
进一步的,针对上述矿井场景图像中的上述部分图像进行二次处理,包括如下的步骤:
步骤一、对于上述矿井场景图像中的一个上述部分图像,判断上述部分图像中的像素点的总个数是否小于等于总个数阈值,在像素点的总个数大于总个数阈值的情况下,继续下个步骤,在像素点的总个数小于等于总个数阈值的情况下,计算这个上述部分图像中的全部像素点的色彩值的平均值,以及分别计算其他上述部分图像中的全部像素点的色彩值的平均值,还查找与这个上述部分图像的色彩值的平均值最相似的色彩值的平均值,同时将这个上述部分图像与最相似的色彩值的平均值所在的上述部分图像进行归并;
步骤二、判断是否上述矿井场景图像中的全部上述部分图像都已经过处理,若全部上述部分图像都已经过处理,结束全部步骤,若存在上述部分图像还没有经过处理,则确定上述矿井场景图像中的下一个要处理的上述部分图像,并且跳转上个步骤。
具体的,在上述步骤四中,如果当前要处理的一个像素点的色彩值与任何部分图像中的像素点的色彩值都不相似时,会产生一个新的部分图像,那么随着处理的像素点越来越多,同时会积累越来越多的部分图像,从而会降低将各个矿井场景图像划分为多个部分图像的执行效率,为了解决这个技术问题,又提出了上述步骤一到上述步骤二,在上述步骤一中,针对矿井场景图像中的一个部分图像,检查其中的像素点的总个数与总个数阈值的大小关系,如果像素点的总个数大于总个数阈值,执行上述步骤二,如果像素点的总个数小于等于总个数阈值,先计算这个部分图像中的全部像素点的色彩值的平均值,以及分别计算其他部分图像中的全部像素点的色彩值的平均值,再查找与这个部分图像的色彩值的平均值最相似的色彩值的平均值,并且归并这个部分图像和最相似的色彩值的平均值所在的部分图像,在上述步骤二中,如果全部部分图像都已经过处理,那么就结束全部步骤,如果还存在部分图像没有经过处理,那么就确定矿井场景图像中的下一个要处理的部分图像,跳转上述步骤一继续执行。
根据本发明实施例的另一个方面,参考如图2所示,还提供一种矿井场景图像分类系统,包括预处理模块100,以及分类模块200,用来实现如以上内容所描述的一种矿井场景图像分类方法,各个模块的功能如下所述:
预处理模块100,用于获取多个矿井场景图像,并且将多个矿井场景图像随机划分到若干个矿井场景图像组中,针对不同的矿井场景图像组中的各个矿井场景图像,分别又将各个矿井场景图像划分为多个部分图像,部分图像包括多个像素点,并且分别计算各个矿井场景图像的每个部分图像的特征值;
分类模块200,用于从不同的矿井场景图像组中的各个矿井场景图像的多个部分图像中,选择若干个部分图像作为代表部分图像,并且分别检测矿井场景图像是否存在代表部分图像,根据矿井场景图像是否存在代表部分图像的检测结果针对多个矿井场景图像进行自动分类。
根据本发明实施例的另一个方面,提供了一种存储介质,存储介质存储有程序指令,其中,在程序指令运行时控制存储介质所在设备执行上述中任意一项的方法。
应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一个非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上上述的实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上上述的实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
以上上述的仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种矿井场景图像分类方法,其特征在于,包括如下的步骤:
获取多个矿井场景图像,并且将多个所述矿井场景图像随机划分到若干个矿井场景图像组中,针对不同的所述矿井场景图像组中的各个所述矿井场景图像,分别又将各个所述矿井场景图像划分为多个部分图像,所述部分图像包括多个像素点,并且分别计算各个所述矿井场景图像的每个所述部分图像的特征值;
从不同的所述矿井场景图像组中的各个所述矿井场景图像的多个所述部分图像中,选择若干个所述部分图像作为代表部分图像,并且分别检测所述矿井场景图像是否存在所述代表部分图像,根据所述矿井场景图像是否存在所述代表部分图像的检测结果针对多个所述矿井场景图像进行自动分类;
从不同的所述矿井场景图像组中的各个所述矿井场景图像的多个所述部分图像中,选择若干个所述部分图像作为代表部分图像,包括如下的步骤:
基于任意一个所述矿井场景图像组中的各个所述矿井场景图像的多个所述部分图像,通过多个所述部分图像的所述特征值将多个所述部分图像分为不同的类别;按照不同类别的所述部分图像分别包含的所述部分图像的个数从大到小的顺序,对于不同类别的所述部分图像进行排序;
根据不同类别的所述部分图像的排序结果,删除排序最靠后的预先设定数量的类别的所述部分图像;
对于留下的不同类别的所述部分图像,分别为每个类别的所述部分图像训练一个第一机器学习模型,所述第一机器学习模型输出将全部所述矿井场景图像组中的各个所述矿井场景图像的多个所述部分图像识别为所述类别时的第一得分;针对全部所述矿井场景图像组中的各个所述矿井场景图像的多个所述部分图像分别使用不同的所述第一机器学习模型,按照不同的所述第一机器学习模型输出的所述第一得分,将所述部分图像归类为与最高的所述第一得分相对应的所述第一机器学习模型的所述类别;
判断是否满足生成所述代表部分图像的条件,若满足生成所述代表部分图像的条件,则针对此时的每个类别的所述部分图像,从中选择对应的所述第一得分最高的所述部分图像作为所述代表部分图像,若不满足生成所述代表部分图像的条件,则跳转根据不同类别的所述部分图像的排序结果,删除排序最靠后的预先设定数量的类别的所述部分图像的步骤继续执行;
其中,生成所述代表部分图像的条件指的是,执行预先设定次数的针对全部所述矿井场景图像组中的各个所述矿井场景图像的多个所述部分图像分别使用不同的所述第一机器学习模型,按照不同的所述第一机器学习模型输出的所述第一得分,将所述部分图像归类为与最高的所述第一得分相对应的所述第一机器学习模型的所述类别,每次得到的不同类别中的与最高的所述第一得分相对应的所述部分图像未发生变化。
2.根据权利要求1所述的一种矿井场景图像分类方法,其特征在于,根据所述矿井场景图像是否存在所述代表部分图像的检测结果针对多个所述矿井场景图像进行自动分类之前,还包括删除那些在超过预先设定的数量的所述矿井场景图像中出现过的所述代表部分图像。
3.根据权利要求2所述的一种矿井场景图像分类方法,其特征在于,根据所述矿井场景图像是否存在所述代表部分图像的检测结果针对多个所述矿井场景图像进行自动分类的过程为,将存在相同的若干个所述代表部分图像的多个所述矿井场景图像自动划分为一个类别。
4.根据权利要求1所述的一种矿井场景图像分类方法,其特征在于,将各个所述矿井场景图像划分为多个部分图像,包括如下的步骤:
将所述矿井场景图像中的所述部分图像的总个数的初始值设为0;
获取所述矿井场景图像中的当前要处理的一个像素点的色彩值,并且判断所述矿井场景图像中的所述部分图像的总个数是否为0,若所述部分图像的总个数为0,则跳转使用这个像素点形成一个新的所述部分图像,并且更新所述矿井场景图像中的所述部分图像的总个数的步骤,若所述部分图像的总个数不为0,继续下个步骤;
基于所述矿井场景图像中的当前要处理的一个像素点的色彩值,在所述矿井场景图像的多个所述部分图像中查找与这个像素点的色彩值最相似的像素点,同时记录这个像素点的色彩值与最相似的像素点的色彩值之间的相似度,并且判断所述相似度是否大于等于预先设定的相似度阈值,若所述相似度大于等于所述相似度阈值,则将这个像素点划分到最相似的像素点所在的所述部分图像,若所述相似度小于所述相似度阈值,继续下个步骤;
使用这个像素点形成一个新的所述部分图像,并且更新所述矿井场景图像中的所述部分图像的总个数;
判断已经处理过的所述矿井场景图像中的像素点的总个数是否大于等于预先设定的总个数阈值,若像素点的总个数大于等于总个数阈值,则针对所述矿井场景图像中的所述部分图像进行二次处理,并且继续下个步骤,若像素点的总个数小于总个数阈值,直接继续下个步骤;
判断是否对于所述矿井场景图像中的全部像素点都已经进行过处理,若是的话,结束全部步骤,若不是的话,确定所述矿井场景图像中的下一个要处理的像素点,跳转将所述矿井场景图像中的所述部分图像的总个数的初始值设为0的下一个步骤。
5.根据权利要求4所述的一种矿井场景图像分类方法,其特征在于,针对所述矿井场景图像中的所述部分图像进行二次处理,包括如下的步骤:
对于所述矿井场景图像中的一个所述部分图像,判断所述部分图像中的像素点的总个数是否小于等于总个数阈值,在像素点的总个数大于总个数阈值的情况下,继续下个步骤,在像素点的总个数小于等于总个数阈值的情况下,计算这个所述部分图像中的全部像素点的色彩值的平均值,以及分别计算其他所述部分图像中的全部像素点的色彩值的平均值,还查找与这个所述部分图像的色彩值的平均值最相似的色彩值的平均值,同时将这个所述部分图像与最相似的色彩值的平均值所在的所述部分图像进行归并;
判断是否所述矿井场景图像中的全部所述部分图像都已经过处理,若全部所述部分图像都已经过处理,结束全部步骤,若存在所述部分图像还没有经过处理,则确定所述矿井场景图像中的下一个要处理的所述部分图像,并且跳转上个步骤。
6.一种矿井场景图像分类系统,用于实现如权利要求1-5中任意一项所述的方法,其特征在于,包括如下的模块:
预处理模块,用于获取多个矿井场景图像,并且将多个矿井场景图像随机划分到若干个矿井场景图像组中,针对不同的矿井场景图像组中的各个矿井场景图像,分别又将各个矿井场景图像划分为多个部分图像,部分图像包括多个像素点,并且分别计算各个矿井场景图像的每个部分图像的特征值;
分类模块,用于从不同的矿井场景图像组中的各个矿井场景图像的多个部分图像中,选择若干个部分图像作为代表部分图像,并且分别检测矿井场景图像是否存在代表部分图像,根据矿井场景图像是否存在代表部分图像的检测结果针对多个矿井场景图像进行自动分类。
7.一种存储介质,其特征在于,所述存储介质存储有程序指令,其中,在所述程序指令运行时控制所述存储介质所在设备执行权利要求1-5中任意一项所述的方法。
CN202310376408.8A 2023-04-11 2023-04-11 一种矿井场景图像分类方法、系统及存储介质 Active CN116109893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310376408.8A CN116109893B (zh) 2023-04-11 2023-04-11 一种矿井场景图像分类方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310376408.8A CN116109893B (zh) 2023-04-11 2023-04-11 一种矿井场景图像分类方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN116109893A CN116109893A (zh) 2023-05-12
CN116109893B true CN116109893B (zh) 2023-09-15

Family

ID=86256433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310376408.8A Active CN116109893B (zh) 2023-04-11 2023-04-11 一种矿井场景图像分类方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116109893B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244424A (ja) * 2005-03-07 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> 映像シーン分類方法及び装置及びプログラム
CN104268580A (zh) * 2014-10-15 2015-01-07 南京大学 一种基于场景分类的类漫画布局图像管理方法
CN110490225A (zh) * 2019-07-09 2019-11-22 北京迈格威科技有限公司 基于场景的图像分类方法、装置、系统和存储介质
CN110674702A (zh) * 2019-09-04 2020-01-10 精英数智科技股份有限公司 一种矿井图像场景分类方法、装置及设备、系统
CN111161410A (zh) * 2019-12-30 2020-05-15 中国矿业大学(北京) 一种矿井数字孪生模型及其构建方法
CN112381828A (zh) * 2020-11-09 2021-02-19 Oppo广东移动通信有限公司 基于语义和深度信息的定位方法、装置、介质与设备
CN113496208A (zh) * 2021-05-20 2021-10-12 华院计算技术(上海)股份有限公司 视频的场景分类方法及装置、存储介质、终端
CN115689305A (zh) * 2022-10-27 2023-02-03 江苏未来智慧信息科技有限公司 一种用于矿井建设智能化程度的评估方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461168B (zh) * 2018-10-15 2021-03-16 腾讯科技(深圳)有限公司 目标对象的识别方法和装置、存储介质、电子装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244424A (ja) * 2005-03-07 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> 映像シーン分類方法及び装置及びプログラム
CN104268580A (zh) * 2014-10-15 2015-01-07 南京大学 一种基于场景分类的类漫画布局图像管理方法
CN110490225A (zh) * 2019-07-09 2019-11-22 北京迈格威科技有限公司 基于场景的图像分类方法、装置、系统和存储介质
CN110674702A (zh) * 2019-09-04 2020-01-10 精英数智科技股份有限公司 一种矿井图像场景分类方法、装置及设备、系统
CN111161410A (zh) * 2019-12-30 2020-05-15 中国矿业大学(北京) 一种矿井数字孪生模型及其构建方法
CN112381828A (zh) * 2020-11-09 2021-02-19 Oppo广东移动通信有限公司 基于语义和深度信息的定位方法、装置、介质与设备
CN113496208A (zh) * 2021-05-20 2021-10-12 华院计算技术(上海)股份有限公司 视频的场景分类方法及装置、存储介质、终端
CN115689305A (zh) * 2022-10-27 2023-02-03 江苏未来智慧信息科技有限公司 一种用于矿井建设智能化程度的评估方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Learning Parts-Based and Global Representation for Image Classification;Yuwu Lu et al.;《IEEE Transactions on Circuits and Systems for Video Technology 》;第28卷(第12期);第3345 - 3360页 *
基于模糊模式识别的场景图像分类方法;王艳玲等;《微计算机信息》(第34期);第220-221页 *
基于目标识别与显著性检测的图像场景多对象分割;李青等;《计算机科学》;第44卷(第05期);第308-313页 *

Also Published As

Publication number Publication date
CN116109893A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
EP3483767B1 (en) Device for detecting variant malicious code on basis of neural network learning, method therefor, and computer-readable recording medium in which program for executing same method is recorded
CN109801260B (zh) 牲畜个数的识别方法、装置、控制装置及可读存储介质
CN109543627B (zh) 一种判断驾驶行为类别的方法、装置、及计算机设备
CN110175609B (zh) 界面元素检测方法、装置及设备
CN111353549B (zh) 图像标签的核验方法及装置、电子设备、存储介质
US10380459B2 (en) System and method for image classification
KR20220093187A (ko) 포지셔닝 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체
CN111666990A (zh) 车辆损伤特征检测方法、装置、计算机设备及存储介质
CN112700408A (zh) 模型训练方法、图像质量评估方法及装置
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN113516661A (zh) 基于特征融合的缺陷检测方法及装置
CN112861917A (zh) 基于图像属性学习的弱监督目标检测方法
CA3166088A1 (en) Training method and pedestrian re-identification method of multi-task classification network
CN112766246A (zh) 基于深度学习的文档标题识别方法、系统、终端及介质
CN115953612A (zh) 一种基于ConvNeXt的遥感影像植被分类方法和装置
US10311338B1 (en) Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
CN109086938B (zh) 产品sku识别方法、装置及计算机可读存储介质
CN105654095A (zh) 一种特征的选择方法和装置
CN116109893B (zh) 一种矿井场景图像分类方法、系统及存储介质
CN110781887A (zh) 车牌螺丝检测方法、装置和计算机设备
CN116612498A (zh) 一种鸟类识别模型训练方法、鸟类识别方法、装置及设备
CN112015966A (zh) 一种图像搜索方法、装置、电子设备及存储介质
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
CN113766308A (zh) 视频封面推荐方法、装置、计算机设备和存储介质
US11055578B2 (en) Method for classifying images and electronic device employing the method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant