CN111178220A - 检测客车内的安全设施的方法、设备和存储介质 - Google Patents

检测客车内的安全设施的方法、设备和存储介质 Download PDF

Info

Publication number
CN111178220A
CN111178220A CN201911349070.7A CN201911349070A CN111178220A CN 111178220 A CN111178220 A CN 111178220A CN 201911349070 A CN201911349070 A CN 201911349070A CN 111178220 A CN111178220 A CN 111178220A
Authority
CN
China
Prior art keywords
positioning
subgraphs
pictures
facility
clusters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911349070.7A
Other languages
English (en)
Inventor
周康明
李俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201911349070.7A priority Critical patent/CN111178220A/zh
Publication of CN111178220A publication Critical patent/CN111178220A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于检测客车内的安全设施的方法和设备及存储介质。该方法包括：获取客车内的多张原始图片；检测多张原始图片以从多张原始图片中获取包括该安全设施的多个定位子图；对获取的多个定位子图进行分类，以从定位子图中分类出属于目标安全设施的第一集合；利用分割模型对该第一集合中的每张定位子图进行分割以得到每张定位子图的灰度图并确定该灰度图中构成该目标安全设施的像素，并且将该定位子图中构成该目标安全设施的像素置为预定值以得到背景图片的第二集合；以及利用谱聚类的方法将第二集合的背景图片聚类为多个簇，其中簇的数量指示客车内的目标安全设施的数量。

Description

检测客车内的安全设施的方法、设备和存储介质
技术领域
本发明涉及智能检测领域，更具体地，涉及一种用于检测客车内的安全设施的方法、实现这种方法的设备以及计算机可读存储介质。
背景技术
由于与乘客的生命安全紧密相关，国家汽车行业已经强制性规定客车出厂时需要自带一定数量的安全设施，如安全锤(也称应急锤)之类的逃生工具以及灭火器之类的消防工具。例如，《营运客车类型划分及等级评定》中明确要求，应随车配备大容量灭火器2只、安全锤不少于4只，否则一律不予办理登记和核发检验合格标志。
然而，在客车出厂之后的营运过程中，由于各种原因，经常会出现客车内的应急锤或灭火器小于上述规定的安全数量的情况。因此，检查大客车内部的应急锤和灭火器成为大客车道路安全检查的一项重要内容。
在当前的检查中，通常由检查人员登上客车肉眼检查或者拍摄多张照片以提供给后台的检查设备进行检测。对于前者来说，存在着检查人员疏漏的可能性，而对于后者来说，当前的检查设备无法做到去重，有可能会将同一个应急锤的两张图片判断成有两个应急锤。
发明内容
针对上述问题，本发明提供了一种用于检测客车内的安全设施的方案，能够自动实现对客车内的安全设施的定位、分类和计数。
根据本发明的一个方面，提供了一种用于检测客车内的安全设施的方法。该方法包括：获取客车内的多张原始图片；检测多张原始图片以从多张原始图片中获取包括该安全设施的多个定位子图；对获取的多个定位子图进行分类，以从定位子图中分类出属于目标安全设施的第一集合；利用分割模型对该第一集合中的每张定位子图进行分割以得到每张定位子图的灰度图并确定该灰度图中构成该目标安全设施的像素，并且将该定位子图中构成该目标安全设施的像素置为预定值以得到背景图片的第二集合；以及利用谱聚类的方法将第二集合的背景图片聚类为多个簇，其中簇的数量指示客车内的目标安全设施的数量。
根据本发明的另一个方面，提供了一种用于检测客车内的安全设施的设备。该设备包括：存储器，其上存储有计算机程序代码；以及处理器，其被配置为运行该计算机程序代码，以执行如上所述的方法。
根据本发明的再一个方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序代码，该计算机程序代码在被运行时执行如上所述的方法。
利用本发明的方案，通过联合使用基于深度学习的定位、分类和分割模型，使得根据本发明的安全设施检测方案更具有鲁棒性，能够适应各种情形。此外，基于深度学习的分割模型的使用能够得到待检测的安全设施的最细致的特征，从而使得检测更加准确。
附图说明
图1示出了根据本发明的客车内的安全设施的原始图片的示意图；
图2示出了根据本发明的实施例的用于检测客车内的安全设施的方法的流程图；以及
图3示出了可以用来实施本发明的实施例的示例设备的示意性框图。
具体实施方式
以下将结合附图对本发明的各实施例进行详细说明，以便更清楚理解本发明的目的、特点和优点。应理解的是，附图所示的实施例并不是对本发明范围的限制，而只是为了说明本发明技术方案的实质精神。
在下文的描述中，出于说明各种发明的实施例的目的阐述了某些具体细节以提供对各种发明实施例的透彻理解。但是，相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下，与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。
除非语境有其它需要，在整个说明书和权利要求中，词语“包括”和其变型，诸如“包含”和“具有”应被理解为开放的、包含的含义，即应解释为“包括，但不限于”。
在整个说明书中对“一个实施例”或“一实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此，在整个说明书的各个位置“在一个实施例中”或“在一实施例”中的出现不一定全都指相同实施例。另外，特定特点、结构或特征可在一个或多个实施例中以任何方式组合。
说明书和所附权利要求中所用的单数形式“一”和“所述”包括复数指代物，除非文中清楚地另外规定。应当指出的是术语“或”通常以其包括“和/或”的含义使用，除非文中清楚地另外规定。
图1示出了根据本发明的客车内的安全设施的原始图片的示意图。图1中以应急锤12为例示出了客车内的安全设施。如图1所示，原始图片10包括应急锤12、窗框14、窗户16和17。其中，应急锤12例如借助卡扣或支架安装在两扇窗户16和17之间的窗框14上。此外，虽然图中未示出，但是在实际的客车中，窗户16或17上通常悬挂有窗帘或者粘贴有贴膜、标语等，或者，由于原装应急锤与后装的应急锤形状大小不完全相同等原因，使得所获取的一辆客车内的多个应急锤的多张原始图片各不相同。虽然各种应急锤的具体样式有可能不同，但是诸如汽车行业标准QC/T1048-2016之类的行业标准对于应急锤的规格进行了强制性规定，这使得有可能通过对模型进行训练的方式来利用训练好的模型检测出各种应急锤。
图2示出了根据本发明的实施例的用于检测客车内的安全设施的方法200的流程图。以下将结合图1和图2来详细描述方法200。
首先，在步骤210，获取客车内的多张原始图片。每张原始图片可以是如图1中所示的原始图片10的形式或者其他形式。这里，多张原始图片10可以是由安全检查人员在客车内部连续拍摄得到的，或者由车载摄像头在客车内部拍摄并传送给客车外的安全检查设备(如下面所述的设备300)的。
接下来，在步骤220，检测所获取的多张原始图片10以从多张原始图片10中获取包括安全设施12的多个定位子图。图1中所示的虚线框18示出了一个定位子图的实例。在一些实施例中，在步骤220可以获取多种类型的安全设施的定位子图并且从中筛选出待检测的安全设施(以下称为目标安全设施)的定位子图。在另一些实施例中，在步骤220中可以直接获取目标安全设施的定位子图。
在一些实施例中，在步骤220可以利用SSD(Single Shot MultiBox Detector)检测模型、YOLO(You Only Look Once)检测模型和RefineDet检测模型中的任一种来检测多张原始图片10。这些检测模型是本领域公知的一些检测模型，例如，SSD检测模型是一种基于深度学习的目标检测算法，其基于Faster-R-Cnn模型优化得到，本文中不再对这些检测模型的原理和训练过程进行赘述。
具体的，以SSD检测模型为例，可以先在SSD检测模型中设定分数阈值Score和个数阈值Number，例如，可设置Score＝0.7，Number＝K＝3。将步骤210得到的多张原始图片10输入SSD检测模型，以计算满足分数阈值(Score)的定位子图18的个数。如果满足分数阈值Score的定位子图的个数小于个数阈值Number，则返回所有满足分数阈值Score的定位子图作为多个定位子图。另一方面，如果满足分数阈值Score的定位子图的个数大于或等于个数阈值Number，则从所有满足分数阈值Score的定位子图中选择K个定位子图作为多个定位子图。
接下来，在步骤230，对获取的多个定位子图18进行分类，以从这些定位子图18中分类出属于目标安全设施12的第一集合A。
在一种实施例中，可以利用ResNet(Residual Network，残差网络)分类模型来对定位子图18进行分类。这里，ResNet是一种深度学习的分类模型，其在神经网络中引入残差块来进行训练以构建更深度的神经网络。当然，本领域技术人员可以理解，本发明并不局限于ResNet分类模型，而是可以扩展到能够对定位子图进行分类的任何分类模型，本文中不再对这些分类模型的原理和训练过程进行赘述。
具体地，可以将每个定位子图18分别输入ResNet分类模型，以得到该定位子图18属于目标安全设施12的类别的得分和不属于目标安全设施12的类别的得分。如果属于目标安全设施12的类别的得分高于不属于目标安全设施12的类别的得分，则将该定位子图放入第一集合A。例如，在如图1所示的原始图片10中，该定位子图18在输入ResNet分类模型之后被放入第一集合A中。反之，如果一个定位子图的属于目标安全设施12的类别的得分低于或等于不属于目标安全设施12的类别的得分，则丢弃该定位子图。
接下来，在步骤240，利用分割模型对第一集合A中的每张定位子图进行分割以得到每张定位子图的灰度图并确定该灰度图中构成目标安全设施12的像素，并且将对应的定位子图中构成目标安全设施12的像素置为预定值以得到背景图片的第二集合B。
在一种实施例中，分割模型可以是Segnet分割模型。SegNet分割模型是剑桥大学提出的旨在解决自动驾驶或者智能机器人的图像语义分割的深度网络，开放源码并且基于caffe框架。SegNet分割模型基于FCN(Fully Convolutional Network，全卷积网络)，是修改VGG(Visual Geometry Group)-16网络得到的语义分割网络，有两种版本的SegNet，分别为SegNet与Bayesian SegNet。当然，本领域技术人员可以理解，本发明并不局限于SegNet分割模型，而是可以扩展到能够对图像中的特定对象进行分割的任何分割模型，本文中不再对这些分割模型的原理和训练过程进行赘述。
具体地，首先通过诸如SegNet分割模型的分割模型将集合A中的每张定位子图18进行分割以得到对应的掩膜(mask)灰度图。这里，假设通过提前对分割模型进行训练得到构成(或对应于)目标安全设施12的像素的灰度值为特定灰度值，如g1，不构成目标安全设施12的像素的灰度值为其他灰度值，如g2。因此，通过分割模型对定位子图18进行分割得到的掩膜灰度图是一张所有像素均为g1或g2的灰度图。
在步骤240中，遍历如上所得的灰度图中的每个像素以确定该像素的灰度值是否为预定灰度值g1。如果确定该像素的灰度值是预定灰度值g1，则确定该像素是构成目标安全设施12的像素。将灰度图中所有灰度值为预定灰度值g1的像素在对应的定位子图(原图)中的对应像素设置为一个预定值以得到更新的定位子图。该预定值可以是例如0或255等。例如，可以将该定位子图中的对应像素的YUV分量都设置为预定值0或255等。通过这种方式，可以将定位子图18中属于目标安全设施12的像素和背景部分的像素区分开来，从而消除目标安全设施12本身对于检测的影响。
每个更新后的定位子图可以作为一个背景图片放入集合B中。
在步骤250，利用谱聚类的方法将集合B中的背景图片聚类为多个簇，其中簇的数量指示客车内的目标安全设施12的数量。
在一种实施例中，步骤250可以包括子步骤251至256(图中未示出)。其中在子步骤251，将集合B中的每张背景图片分别输入到孪生神经网络中以得到每张背景图片的特征向量xi。在本领域中，孪生神经网络用于处理两个输入“比较类似”的情况。在对孪生神经网络进行训练时，可以用完全相同的两个分支分别提取训练数据的特征训练参数。这种方法能被应用于那些类别数过多或者整个训练样本无法使用之前的方法训练的分类问题。这里，获取背景图片的特征向量的目的是为了把所有的特征向量看做空间中的点，这些点之间可以用边连接起来。距离较远(或者相似度较低)的两个点之间的边权重值较低，而距离较近(或者相似度较高)的两个点之间的边权重值较高。因此，可以通过谱聚类的方法将同一辆车上取的照片分为多个簇，每个簇代表包括同一目标安全设施的所有照片，从而达到去重的目的。在子步骤251之后，对第二集合的所有背景图片的特征向量进行矩阵变换，并基于谱聚类的方法将变换后产生的样本点聚类为多个簇。
具体地，在一种实现中，在子步骤252，计算所有特征向量的相似矩阵W，其中sij是相似矩阵W中第i行第j列的元素；
Figure BDA0002334207230000061
其中，σ是高斯核函数的宽度参数，用于控制函数的径向作用范围，在根据本发明的方案中其由经验决定。
在子步骤253，计算度矩阵D，其中D＝diag(d1,d2...,dn)，di是相似矩阵W的第i行元素之和：
Figure BDA0002334207230000062
在子步骤254，计算拉普拉斯矩阵L：L＝D-W。
在子步骤255，计算拉普拉斯矩阵L的所有特征值，并且将所有特征值从小到大排序，取前k个特征值，并计算前k个特征值的特征向量u1,u2,...,uk。这里，k可以是客车内的安全设施的标准数量，其可以被提前设置在执行方法200的安全检查设备(如下面所述的设备300)中。例如，对于载客量大于50人的大型客车而言，国家强制安全标准要求其应至少配备4个安全锤，在这种情况下，安全检查设备中提前将k的值设置为4。
在子步骤256，令yi是ui的第i行的向量，其中i＝1,2,...,n，使用聚类方法(例如k-means(k均值)聚类算法)将所产生的样本点Y＝{y1,y2,...,yn}聚类成簇C1,C2,...,Ck，输出多个簇A1,A2,...,Ak，其中每个簇Ai＝{j|yj∈Ci}。
至此，方法200将获取的多张原始图片10聚类成了多个簇，簇的数量指示原始图片10中包括的目标安全设施12的数量，达到了去重的效果。
进一步地，方法200还可以包括步骤260(图中未示出)，其中从步骤250获取的多个簇的每个簇中任意选择一个背景图片，并将与该背景图片相对应的原始图片作为该簇的代表图片。这样，可以可视化地将客车内的所有目标安全设施12显示出来，以供安全检查人员查看。
图3示出了可以用来实施本发明的实施例的示例设备300的示意性框图。设备300例如可以是安全检查站的计算机或者安全检查人员的手持设备。如图所示，设备300可以包括一个或多个中央处理单元(CPU)310(图中仅示意性地示出了一个)，其可以根据存储在只读存储器(ROM)320中的计算机程序指令或者从存储单元380加载到随机访问存储器(RAM)330中的计算机程序指令，来执行各种适当的动作和处理。在RAM 330中，还可存储设备300操作所需的各种程序和数据。CPU 310、ROM 320以及RAM 330通过总线340彼此相连。输入/输出(I/O)接口350也连接至总线340。
设备300中的多个部件连接至I/O接口350，包括：输入单元360，例如键盘、鼠标等；输出单元370，例如各种类型的显示器、扬声器等；存储单元380，例如磁盘、光盘等；以及通信单元390，例如网卡、调制解调器、无线通信收发机等。通信单元390允许设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的方法200例如可由设备300的处理单元310执行。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被有形地包括于机器可读介质，例如存储单元380。在一些实施例中，计算机程序的部分或者全部可以经由ROM 320和/或通信单元390而被载入和/或安装到设备300上。当计算机程序被加载到RAM 330并由CPU 310执行时，可以执行上文描述的方法200的一个或多个操作。此外，通信单元390可以支持有线或无线通信功能。在通信单元390支持无线通信的情况下，例如可以在每辆客车进入检查站时自动从客车的摄像头或者车载处理器获取所拍摄的客车内的原始图片。
以上结合附图对根据本发明的用于检测客车内的安全设施的方法200和设备300进行了描述。然而本领域技术人员可以理解，方法200的步骤的执行并不局限于图中所示和以上所述的顺序，而是可以以任何其他合理的顺序来执行。此外，设备300也不必须包括图3中所示的所有组件，其可以仅仅包括执行本发明中所述的功能所必须的其中一些组件，并且这些组件的连接方式也不局限于图中所示的形式。例如，在设备300是诸如手机之类的便携式设备的情况下，设备300可以具有与图3中相比不同的结构。
利用本发明的方案，通过联合使用基于深度学习的定位、分类和分割模型，使得根据本发明的安全设施检测方案更具有鲁棒性，能够适应各种情形。此外，基于深度学习的分割模型的使用能够得到待检测的安全设施的最细致的特征，从而使得检测更加准确。
例如，可以利用SSD模型定位安全设施，利用ResNet模型对安全设施进行分类，利用Segnet模型分割图像以得到背景，最后利用孪生网络判断背景是否相似。通过这些算法的组合操作，提高了检测的准确度而且可以充分考虑到图片中的所有信息，从而利用背景信息来判断不同图片是否属于同一个安全设施，以实现去重的目的。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等，以及常规的过程式编程语言-诸如"C"语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种用于检测客车内的安全设施的方法，包括：
获取客车内的多张原始图片；
检测所述多张原始图片以从所述多张原始图片中获取包括所述安全设施的多个定位子图；
对获取的多个定位子图进行分类，以从所述定位子图中分类出属于目标安全设施的第一集合；
利用分割模型对所述第一集合中的每张定位子图进行分割以得到每张定位子图的灰度图并确定所述灰度图中构成所述目标安全设施的像素，并且将所述定位子图中构成所述目标安全设施的像素置为预定值以得到背景图片的第二集合；以及
利用谱聚类的方法将所述第二集合的背景图片聚类为多个簇，其中所述簇的数量指示所述客车内的目标安全设施的数量。
2.如权利要求1所述的方法，其中检测所述多张原始图片包括：：
在SSD检测模型中设定分数阈值和个数阈值；
将所述多张原始图片输入所述SSD检测模型，以计算满足所述分数阈值的定位子图的个数；
如果满足所述分数阈值的定位子图的个数小于所述个数阈值，则返回所有满足所述分数阈值的定位子图作为所述多个定位子图；以及
如果满足所述分数阈值的定位子图的个数大于或等于所述个数阈值，则从所有满足所述分数阈值的定位子图中选择所述个数阈值个定位子图作为所述多个定位子图。
3.如权利要求1所述的方法，其中对获取的多个定位子图进行分类，以从所述定位子图中分类出属于所述目标安全设施的定位子图的第一集合包括：
将所述多个定位子图中的每个定位子图输入ResNet分类模型，以得到所述定位子图属于所述目标安全设施的类别的得分和不属于所述目标安全设施的类别的得分，以及
如果属于所述目标安全设施的类别的得分高于不属于所述目标安全设施的类别的得分，则将所述定位子图放入所述第一集合。
4.如权利要求1所述的方法，其中将所述定位子图中构成所述目标安全设施的像素置为预定值以得到背景图片的第二集合包括：
确定所述灰度图中的每个像素的灰度值是否为预定灰度值，其中所述预定灰度值通过对所述分割模型进行训练所确定；
如果确定所述像素的灰度值是预定灰度值，则确定所述像素是构成所述目标安全设施的像素；
将所述定位子图中构成所述目标安全设施的所有像素设置为所述预定值以得到更新的定位子图；
将所述更新的定位子图作为背景图片放入所述第二集合。
5.如权利要求4所述的方法，其中所述预定值包括0或255。
6.如权利要求1所述的方法，其中利用谱聚类的方法将所述第二集合的背景图片聚类为多个簇包括：
将所述第二集合的每张背景图片分别输入到孪生神经网络中以得到每张背景图片的特征向量xi；以及
对第二集合的所有背景图片的特征向量xi进行矩阵变换，并基于谱聚类的方法将变换后产生的样本点聚类为多个簇。
7.如权利要求6所述的方法，其中对第二集合的所有背景图片的特征向量xi进行矩阵变换，并基于谱聚类的方法将变换后产生的样本点聚类为多个簇包括：
计算所有特征向量的相似矩阵W，其中sij是相似矩阵W中第i行第j列的元素；
Figure FDA0002334207220000021
计算度矩阵D，其中D＝diag(d1,d2...,dn)，di是相似矩阵W的第i行元素之和
Figure FDA0002334207220000031
计算拉普拉斯矩阵L＝D-W；
计算拉普拉斯矩阵L的所有特征值，并且将所有特征值从小到大排序，取前k个特征值，并计算前k个特征值的特征向量u1,u2,...,uk；
令yi是ui的第i行的向量，其中i＝1,2,...,n，使用谱聚类方法将所产生的样本点Y＝{y1,y2,...,yn}聚类成簇C1,C2,...,Ck，输出多个簇A1,A2,...,Ak，其中每个簇Ai＝{j|yj∈Ci}。
8.如权利要求1所述的方法，还包括：
从所述多个簇中的每个簇中任意选择一个背景图片；以及
获取与该背景图片相对应的原始图片作为所述簇的代表图片。
9.一种用于检测客车内的安全设施的设备，包括：
存储器，其上存储有计算机程序代码；以及
处理器，其被配置为运行所述计算机程序代码，以执行如权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序代码，所述计算机程序代码在被运行时执行如权利要求1至8中任一项所述的方法。
CN201911349070.7A 2019-12-24 2019-12-24 检测客车内的安全设施的方法、设备和存储介质 Pending CN111178220A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911349070.7A CN111178220A (zh) 2019-12-24 2019-12-24 检测客车内的安全设施的方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911349070.7A CN111178220A (zh) 2019-12-24 2019-12-24 检测客车内的安全设施的方法、设备和存储介质

Publications (1)

Publication Number Publication Date
CN111178220A true CN111178220A (zh) 2020-05-19

Family

ID=70657930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911349070.7A Pending CN111178220A (zh) 2019-12-24 2019-12-24 检测客车内的安全设施的方法、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111178220A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818743A (zh) * 2020-12-29 2021-05-18 腾讯科技（深圳）有限公司 图像识别的方法、装置、电子设备及计算机存储介质
CN116681660A (zh) * 2023-05-18 2023-09-01 中国长江三峡集团有限公司 一种目标对象缺陷检测方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104426906A (zh) * 2013-08-30 2015-03-18 瞻博网络公司 识别计算机网络内的恶意设备
US20160292978A1 (en) * 2015-03-31 2016-10-06 Young W. Lee Fire extinguisher tracking and navigation system
CN109146850A (zh) * 2018-07-26 2019-01-04 上海电气集团股份有限公司 一种多色球形目标检测定位方法及执行该方法的存储介质
CN109376631A (zh) * 2018-10-12 2019-02-22 中国人民公安大学 一种基于神经网络的回环检测方法及装置
CN109597320A (zh) * 2017-09-30 2019-04-09 石敏 一种基于rfid的消防柜监控系统
CN109784636A (zh) * 2018-12-13 2019-05-21 中国平安财产保险股份有限公司 欺诈用户识别方法、装置、计算机设备及存储介质
CN110059734A (zh) * 2019-04-02 2019-07-26 唯思科技（北京）有限公司 一种目标识别分类模型的训练方法、物体识别方法、装置、机器人和介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104426906A (zh) * 2013-08-30 2015-03-18 瞻博网络公司 识别计算机网络内的恶意设备
US20160292978A1 (en) * 2015-03-31 2016-10-06 Young W. Lee Fire extinguisher tracking and navigation system
CN109597320A (zh) * 2017-09-30 2019-04-09 石敏 一种基于rfid的消防柜监控系统
CN109146850A (zh) * 2018-07-26 2019-01-04 上海电气集团股份有限公司 一种多色球形目标检测定位方法及执行该方法的存储介质
CN109376631A (zh) * 2018-10-12 2019-02-22 中国人民公安大学 一种基于神经网络的回环检测方法及装置
CN109784636A (zh) * 2018-12-13 2019-05-21 中国平安财产保险股份有限公司 欺诈用户识别方法、装置、计算机设备及存储介质
CN110059734A (zh) * 2019-04-02 2019-07-26 唯思科技（北京）有限公司 一种目标识别分类模型的训练方法、物体识别方法、装置、机器人和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEIFENG GE ET AL: "Multi-evidence Filtering and Fusion for Multi-label Classification, Object Detection and Semantic Segmentation Based on Weakly Supervised Learning", pages 1277 - 1286 *
张润杰等: "基于NB-IOT的物联网消防检测系统", pages 98 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818743A (zh) * 2020-12-29 2021-05-18 腾讯科技（深圳）有限公司 图像识别的方法、装置、电子设备及计算机存储介质
CN112818743B (zh) * 2020-12-29 2022-09-23 腾讯科技（深圳）有限公司 图像识别的方法、装置、电子设备及计算机存储介质
CN116681660A (zh) * 2023-05-18 2023-09-01 中国长江三峡集团有限公司 一种目标对象缺陷检测方法、装置、电子设备及存储介质
CN116681660B (zh) * 2023-05-18 2024-04-19 中国长江三峡集团有限公司 一种目标对象缺陷检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP6873237B2 (ja) 画像ベースの車両損害評価方法、装置、およびシステム、ならびに電子デバイス
JP7447932B2 (ja) 画像処理システム、画像処理方法及びプログラム
US20190220673A1 (en) People flow estimation device, people flow estimation method, and recording medium
US20090080774A1 (en) Hybrid Graph Model For Unsupervised Object Segmentation
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
US20170316262A1 (en) System, Method And Apparatus For Occupancy Detection
CN111275060A (zh) 识别模型更新处理方法、装置、电子设备及存储介质
JP6352512B1 (ja) 信号処理装置、信号処理方法、信号処理プログラム、及びデータ構造
CN111178220A (zh) 检测客车内的安全设施的方法、设备和存储介质
Kaushik et al. Leveraging computer vision for emergency vehicle detection-implementation and analysis
CN114708555A (zh) 基于数据处理的森林防火监控方法及电子设备
US20180204082A1 (en) Ensemble based labeling
CN115019209A (zh) 一种基于深度学习的电力杆塔状态检测的方法及系统
CN115512387A (zh) 基于改进yolov5模型的工地安全帽佩戴检测方法
CN114373162B (zh) 用于变电站视频监控的危险区域人员入侵检测方法及系统
CN106651803B (zh) 户型数据的识别方法及装置
CN117668737B (zh) 一种管道检测数据故障预警查验方法以及相关装置
Valencia et al. Overhead view bus passenger detection and counter using DeepSORT and tiny-yolo v4
CN117710904A (zh) 一种视觉关系检测方法、装置、设备及存储介质
CN111127503A (zh) 检测车辆轮胎的花纹的方法、设备和存储介质
CN110728229A (zh) 图像处理方法、装置、设备和存储介质
CN114360055A (zh) 基于人工智能的行为检测方法、设备及存储介质
CN115063739A (zh) 异常行为的检测方法、装置、设备及计算机存储介质
CN111881833A (zh) 一种车辆检测方法、装置、设备及存储介质
CN113963322B (zh) 一种检测模型训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination