CN111372042B - 故障检测方法、装置、计算机设备和存储介质 - Google Patents
故障检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111372042B CN111372042B CN202010049298.0A CN202010049298A CN111372042B CN 111372042 B CN111372042 B CN 111372042B CN 202010049298 A CN202010049298 A CN 202010049298A CN 111372042 B CN111372042 B CN 111372042B
- Authority
- CN
- China
- Prior art keywords
- teller machine
- correction
- scale
- frame
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 197
- 238000012544 monitoring process Methods 0.000 claims abstract description 106
- 238000013145 classification model Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims description 142
- 238000012549 training Methods 0.000 claims description 53
- 238000012360 testing method Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 40
- 238000013139 quantization Methods 0.000 claims description 37
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 14
- 230000001629 suppression Effects 0.000 claims description 12
- 238000007689 inspection Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
- G07F19/20—Automatic teller machines [ATMs]
- G07F19/209—Monitoring, auditing or diagnose of functioning of ATMs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Finance (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种故障检测方法、装置、计算机设备和存储介质。所述方法包括：获取监控图像并输入柜员机检测模型，得到柜员机界面图像；将所述柜员机界面图像输入分类模型，得到所述柜员机界面图像对应的分类结果；所述分类结果用于指示所述柜员机界面图像是否为故障界面；若所述分类结果指示所述柜员机界面图像为故障界面，则发送报警信息。相对于传统的故障检测方法，采用本方法能够在节省人力资源的同时，提升故障检测效率及检测准确性。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种故障检测方法、装置、计算机设备和存储介质。
背景技术
自动柜员机(Automatic Teller Machine，ATM)，因大部分用于取款，又称自动取款机。它是一种高度精密的机电一体化装置，利用磁性代码卡或智能卡实现金融交易的自助服务，代替银行柜面人员的工作。
在ATM机为用户提供服务的同时，由于硬件因素、网络因素及外界人为因素，经常会发生故障，导致当前ATM机暂停服务，影响用户使用。传统的故障检测方式为，银行工作人员每隔一段时间人工检测各ATM机是否出现故障，在发现暂停服务的ATM机时，通知相应人员排除故障。
可以看出，为保证及时发现ATM机的故障，传统的ATM机故障检测方法需要银行工作人员不停的检查各ATM机的显示状态，不仅耗费人力，而且检测效率差。
发明内容
基于此，有必要针对上述技术问题，提供一种检测效率高且检测准确度高的故障检测方法、装置、计算机设备和存储介质。
第一方面，本发明实施例提供一种故障检测方法，所述方法包括：
获取监控图像并输入柜员机检测模型，得到柜员机界面图像；
将所述柜员机界面图像输入分类模型，得到所述柜员机界面图像对应的分类结果；所述分类结果用于指示所述柜员机界面图像是否为故障界面；
若所述分类结果指示所述柜员机界面图像为故障界面，则发送报警信息。
在本申请的一个实施例中，所述获取监控图像并输入柜员机检测模型，得到柜员机界面图像，包括：
获取所述监控图像；
对所述监控图像进行归一化处理；
将归一化处理后的监控图像输入至所述柜员机检测模型，得到预测标记框；所述预测标记框用于标记柜员机界面图像在所述归一化处理后的监控图像中的位置；
根据所述预测标记框在所述监控图像中截取所述柜员机界面图像。
在本申请的一个实施例中，所述将归一化处理后的监控图像输入至所述柜员机检测模型，得到预测标记框，包括：
将所述归一化处理后的监控图像依次经过两个3×3的卷积、一个残差块、两个3×3的卷积和八个残差块处理后，得到第一尺度的特征图；
将所述第一尺度的特征图经过一个3×3的卷积和八个残差块处理后，得到第二尺度的特征图；
将所述第二尺度的特征图经过一个3×3的卷积和四个残差块处理后，得到第三尺度的特征图；
将所述第一尺度对应的特征图、所述第二尺度对应的特征图及所述第三尺度对应的特征图进行上采样和特征融合，得到所述第一尺度对应的第一张量数据、所述第二尺度对应的第二张量数据及所述第三尺度对应的第三张量数据；所述第一张量数据包括多个第一修正框及各所述第一修正框对应的修正框参数，所述第二张量数据包括多个第二修正框及各所述第二修正框对应的修正框参数，所述第三张量数据包括多个第三修正框及各所述第三修正框对应的修正框参数；所述修正框参数包括类别量化值、置信度量化值、修正框中心坐标、宽度及高度；
对各所述第一修正框、各所述第二修正框及各所述第三修正框进行置信度阈值过滤及非极大值抑制过滤，得到所述预测标记框。
在本申请的一个实施例中，所述对各所述第一修正框、各所述第二修正框及各所述第三修正框进行置信度阈值过滤及非极大值抑制过滤，包括：
将置信度量化值低于预设的置信度阈值的第一修正框、第二修正框及第三修正框去除，得到至少一个可信修正框；
根据各所述可信修正框的类别量化值对各所述可信修正框进行非极大值抑制过滤。
在本申请的一个实施例中，所述柜员机检测模型的训练方法，包括：
建立样本集；所述样本集包括多张携带标准标记框的样本监控图片；
将所述样本集划分为训练集及测试集；
根据所述训练集对预设的初始柜员机检测模型进行训练，将所述初始柜员机检测模型输出的预测标记框与所述标准标记框输入至预设的损失函数，根据所述损失函数的值对所述初始柜员机模型的参数进行调整，直至所述损失函数的值满足预设标准值时，得到中间柜员机检测模型；
根据所述测试集对所述中间柜员机检测模型进行检验，确定检验结果；
若所述检验结果为通过检验，则将所述中间柜员机检测模型作为所述柜员机检测模型。
在本申请的一个实施例中，所述根据所述测试集对所述中间柜员机检测模型进行检验，确定检验结果，包括：
将所述测试集中多个样本监控图片输入所述中间柜员机检测模型，得到所述测试集中各柜员机样本图片对应的预测标记框；
根据所述测试集中各柜员机样本图片对应的预测标记框，及所述测试集中各柜员机样本图片对应的标准标记框，确定预测精度；
若所述预测精度大于或等于预设的精度阈值，判定所述检验结果为通过检验；
若所述预测精度小于所述精度阈值，判定所述检验结果为未通过检验，返回执行所述根据所述训练集对预设的初始柜员机检测模型进行训练的步骤。
在本申请的一个实施例中，所述分类模型的训练方法，包括：
建立图片类别样本集；所述图片类别样本集包括多个柜员机显示样本图片及各所述柜员机显示样本图片对应的标准分类结果；
将所述图片类别样本集划分为图片类别训练集及图片类别检测集；
根据所述图片类别训练集对预设的分类模型进行训练，得到初始分类模型；
利用所述图片类别检测集对所述初始分类模型进行检验；
将通过检验的初始分类模型确定为所述分类模型。
第二方面，本发明实施例提供一种故障检测装置，所述装置包括：
柜员机界面图像获取模块，用于获取监控图像并输入柜员机检测模型，并得到柜员机界面图像；
分类模块，用于将所述柜员机界面图像输入分类模型，得到所述柜员机界面图像对应的分类结果；所述分类结果用于指示所述柜员机界面图像是否为故障界面；
告警模块，用于若所述柜员机界面图像的分类结果为故障类别，判定柜员机处于故障状态，并执行所述故障状态对应的操作。
第三方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取监控图像并输入柜员机检测模型，得到柜员机界面图像；
将所述柜员机界面图像输入分类模型，得到所述柜员机界面图像对应的分类结果；所述分类结果用于指示所述柜员机界面图像是否为故障界面；
若所述分类结果指示所述柜员机界面图像为故障界面，则发送报警信息。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取监控图像并输入柜员机检测模型，得到柜员机界面图像；
将所述柜员机界面图像输入分类模型，得到所述柜员机界面图像对应的分类结果；所述分类结果用于指示所述柜员机界面图像是否为故障界面；
若所述分类结果指示所述柜员机界面图像为故障界面，则发送报警信息。
上述故障检测方法、装置、计算机设备和存储介质，通过获取监控图像并输入柜员机检测模型，得到柜员机界面图像；将柜员机界面图像输入分类模型，得到柜员机界面图像对应的分类结果；分类结果用于指示柜员机界面图像是否为故障界面；若分类结果指示柜员机界面图像为故障界面，则发送报警信息。根据本申请实施例提供的故障检测方法，由于通过柜员机检测模型确定柜员机界面图像，可以提供准确的柜员机界面图像，保证了后续的分类步骤的准确性；由于通过分类模型确定该柜员机界面图像的分类结果，在节省人力的同时，还提升了故障检测效率及检测准确性。
附图说明
图1为本申请实施例提供的故障检测方法的实施环境图；
图2为本申请实施例提供的一种故障检测方法的流程图；
图3为本申请实施例提供的另一种故障检测方法的流程图；
图4为本申请实施例提供的另一种故障检测方法的流程图；
图5为本申请实施例提供的另一种故障检测方法的流程图；
图6为本申请实施例提供的另一种故障检测方法的流程图；
图7为本申请实施例提供的另一种故障检测方法的流程图；
图8为本申请实施例提供的另一种故障检测方法的流程图；
图9为本申请实施例提供的一种故障检测装置的框图；
图10为本申请实施例提供的另一种故障检测装置的框图；
图11为本申请实施例提供的一种计算机设备的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的故障检测方法，可以应用于如图1所示的应用环境中。其中，图像获取设备102与服务器104进行通信。其中，图像获取设备102可以但不限于是各种监控设备、相机、摄像机和包含摄像模块的电子装置，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。柜员机106与服务器104进行通信，柜员机106可以但不限于是各种型号的自动取款机、自动存款机及存取一体机。其中，服务器104可以通过图像获取设备102获取包含柜员机106的监控图像。
请参考图2，其示出了本实施例提供的一种故障检测方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤202，获取监控图像并输入柜员机检测模型，得到柜员机界面图像。
在本申请的一个实施例中，图像获取设备会采集当前的监控视频流，并将该监控视频流传输至服务器，服务器在接收到该监控视频流之后，会根据预设的采样间隔抽取监控图像，并将得到的监控图像输入值该柜员机检测模型。
在本申请的一个实施例中，图像获取设备采集当前的监控图像，并将该监控图像发送至服务器，可选的，服务器会发送监控图像获取请求至图像获取设备，并接收图像获取设备反馈的携带监控图像的响应消息。当服务器接收到该监控图像时，会将其输入至柜员机检测模型。
在本申请的一个实施例中，该柜员机检测模型用于根据输入的监控图像，输出该柜员机界面图像在该监控图像中的预测标记框，并根据该预设标记框在该监控图像中截取该柜员机界面图像。
在本申请的一个实施例中，该柜员机检测模型可以为卷积神经网络(Convolutional Neural Networks，CNN)模型、深度神经网络(Deep Neural Networks，DNN)模型、循环神经网络(Recurrent Neural Network，RNN)模型、深信度网络(DeepBelief Networks，DBF)模型，限制波尔兹曼机(Restricted Boltzmann Machine，RBM)模型及自动编码器(AutoEncoder)中的一种。例如，当该目标检测模型为卷积神经网络模型，其内部主要包括特征提取子模块和检测子模块。特征提取子模块由若干卷积层，归一化层，激活层，池化层等堆叠而成，检测子模块在特征提取子模块的基础上继续构造若干特征层，在构造的每个特征层上设置若干预设框用于获取检测结果。在一个较优的实施例中，该柜员机检测模型为基于深度神经网络的YOLO(You Only Look Once)V3网络。
步骤204，将柜员机界面图像输入分类模型，得到柜员机界面图像对应的分类结果；分类结果用于指示柜员机界面图像是否为故障界面。
在本申请的一个实施例中，该分类模型可以为卷积神经网络(ConvolutionalNeural Networks，CNN)模型、随机森林(Random Forest)、KNN(K-Nearest Neighbour)、支持向量机(support vector machine，SVM)，人工神经网络(Artificial Neural Network，ANN)等模型中至少一个分类模型。在一个较优的实施例中，该分类模型为Resnet-10分类模型。
在本申请的一个实施例中，通过将该柜员机界面图像输入至预设的已训练好的分类模型中，可以得到该柜员机界面图像对应的分类结果。其中，该分类结果可以用于指示该柜员机界面图像为故障界面；该分类结果还可以用于指示该柜员机界面图像为正常界面；该分类结果还可以用于指示该柜员机界面图像中并未出现该柜员机的显示界面。
步骤206，若分类结果指示柜员机界面图像为故障界面，则发送报警信息。
在本申请的一个实施例中，若该分类结果指示柜员机界面图像为故障界面，则表示当前场景中，该监控图像中的柜员机的显示界面为故障界面，其中，该故障界面可以为暂停服务界面及各种故障类别对应的故障界面。
在本申请的一个实施例中，该服务器在确定所述柜员机界面图像为故障界面后，会获取柜员机界面图像对应的柜员机标识；发出携带柜员机标识的报警信息至预设的终端设备，以使终端设备展示所述报警信息至设备管理人员，该设备管理人员可以及时根据该柜员机标识维护对应的柜员机。其中，服务器中可以预设有柜员机界面图像与柜员机标识的对应关系，可选的，每个图像获取设备均设置在对应的柜员机前面，即服务器可以根据图像获取设备确定对应的柜员机标识及柜员机界面图像。
在本申请实施例提供的故障检测方法中，通过获取监控图像并输入柜员机检测模型，得到柜员机界面图像；将柜员机界面图像输入分类模型，得到柜员机界面图像对应的分类结果；分类结果用于指示柜员机界面图像是否为故障界面；若分类结果指示柜员机界面图像为故障界面，则发送报警信息。根据本申请实施例提供的故障检测方法，由于通过柜员机检测模型确定柜员机界面图像，可以提供准确的柜员机界面图像，保证了后续的分类步骤的准确性；由于通过分类模型确定该柜员机界面图像的分类结果，在节省人力的同时，还提升了故障检测效率及检测准确性。
请参考图3，其示出了本实施例提供的另一种故障检测方法的流程图，该故障检测方法可以应用于上文所述的实施环境中的服务器104中。在上述图2所示实施例的基础上，上述步骤202具体可以包括以下步骤：
步骤302，获取监控图像。
在本申请的一个实施例中，图像获取设备会采集当前的监控视频流，并将该监控视频流传输至服务器，服务器在接收到该监控视频流之后，会根据预设的采样间隔抽取监控图像，并将得到的监控图像输入值该柜员机检测模型。
步骤304，对监控图像进行归一化处理。
在本申请的一个实施例中，根据该柜员机检测模型对应的输入尺寸，对该监控图像进行归一化处理，即将该监控图像归一化至该输入尺寸。在一个具体的实施例中，若该柜员机检测模型为YOLO V3模型时，可以将该输入尺寸设置为608×608×3，服务器在将该监控图像输入至该柜员机检测模型之前，会将该监控图像的尺寸归一化至608×608×3。
步骤306，将归一化处理后的监控图像输入至柜员机检测模型，得到预测标记框；预测标记框用于标记柜员机界面图像在归一化处理后的监控图像中的位置。
在本申请的一个实施例中，该柜员机检测模型用于检测归一化处理后的监控图像中的柜员机界面图像，并在归一化处理后的监控图像中添加该柜员机界面图像对应的预测标记框。其中，该预测标记框标记了柜员机界面图像在该归一化处理后的监控图像中的相对位置及范围，具体的，该预测标记框可以由中心坐标，宽度及高度确定。可选的，在该柜员机检测模型输出预测标记框的同时，还会输出该预测标记框对应的类别量化值及置信度量化值。
步骤308，根据预测标记框在监控图像中截取柜员机界面图像。
在本申请的一个实施例中，根据该预测标记框的中心坐标，宽度及高度，可以在监控图像中截取对应的部分图像，将其作为所述柜员机界面图像。
在本申请实施例提供的故障检测方法中，通过获取监控图像；对监控图像进行归一化处理；将归一化处理后的监控图像输入至柜员机检测模型，得到预测标记框；预测标记框用于标记柜员机界面图像在归一化处理后的监控图像中的位置；根据预测标记框在监控图像中截取柜员机界面图像。根据本申请实施例提供的故障检测方法，相比于传统技术，可以自动获取监控区域内柜员机显示的柜员机界面图像，进而可以根据该柜员机界面图像确定该柜员机是否为故障界面，提升了本申请对于故障界面判定的准确性。
请参考图4，其示出了本实施例提供的另一种故障检测方法的流程图，该故障检测方法可以应用于上文所述的实施环境中的服务器104中。在上述图3所示实施例的基础上，上述步骤306具体可以包括以下步骤：
步骤402，将归一化处理后的监控图像依次经过两个3×3的卷积、一个残差块、两个3×3的卷积和八个残差块处理后，得到第一尺度的特征图。
在本申请的一个实施例中，以归一化处理后的监控图像的尺寸为608×608×3时为例，服务器会将该归一化处理后的监控图像经过两个3×3的卷积处理后尺度减半，得到304×304×64的特征图，再经过一个残差块处理后尺度不变，再经过一个3×3卷积处理后，尺度缩小一半，通道数增大一倍，即得到152×152×128的特征图，再经过3×3卷积处理后，尺度变为76×76×256，再经过一个残差块处理后，最终得到76×76×256的特征图。将该76×76×256的特征图作为第一尺度的特征图，该第一尺度的特征图负责检测小目标。
在本申请的一个实施例中，该残差块是指依次经过一个1×1卷积、一个3×3的卷积和残差操作的处理过程。
步骤404，将第一尺度的特征图经过一个3×3的卷积和八个残差块处理后，得到第二尺度的特征图。
在本申请的一个实施例中，以第一尺度的特征图为76×76×256的特征图为例，第一尺度的特征图经过一个3×3卷积和八个残差块处理后，得到38×38×512的特征图。将该38×38×512的特征图作为第二尺度的特征图，该第二尺度的特征图负责检测中等大小的目标。
步骤406，将第二尺度的特征图经过一个3×3的卷积和四个残差块处理后，得到第三尺度的特征图。
在本申请的一个实施例中，以第二尺度的特征图为38×38×512的特征图为例，第二尺度的特征图经过一个3×3的卷积和四个残差块处理后，得到19×19×1024的特征图。将该19×19×1024的特征图作为第三尺度的特征图，该第三尺度的特征图负责检测大目标。
步骤408，将第一尺度对应的特征图、第二尺度对应的特征图及第三尺度对应的特征图进行上采样和特征融合，得到第一尺度对应的第一张量数据、第二尺度对应的第二张量数据及第三尺度对应的第三张量数据；第一张量数据包括多个第一修正框及各第一修正框对应的修正框参数，第二张量数据包括多个第二修正框及各第二修正框对应的修正框参数，第三张量数据包括多个第三修正框及各第三修正框对应的修正框参数；修正框参数包括类别量化值、置信度量化值、修正框中心坐标、宽度及高度。
在本申请的一个实施例中，在第三尺度19×19×1024的特征图上初始生成三种不同尺度的锚点框，大小为：116×90、156×198、373×326，每种尺度的锚点框个数为19×19，随后按顺序经过一个3×3卷积、一个conv模块处理后得到19×19×512的特征图，然后该19×19×512的特征图依次经过一个3×3卷积、一个1×1卷积处理，用以修正锚点框以及对锚点框内所包含的目标进行分类，输出第三尺度对应的第三张量数据，第三张量数据包括多个第三修正框及各第三修正框对应的类别量化值、置信度量化值、修正框中心坐标、宽度及高度的得分、置信度得分、中心坐标、宽度及高度。
在本申请的一个实施例中，将第三尺度19×19×1024的特征图依次经过一个3×3卷积、一个conv模块处理后得到19×19×512的特征图，再经过一个1×1卷积处理后得到19×19×256的特征图，对此特征图进行上采样得到38×38×256的特征图，与第二尺度的38×38×512特征图进行concat特征融合，得到38×38×768的特征图，生成三种不同尺度的锚点框，大小为：30×61、62×45、59×119，每种锚点框个数为38×3一个，再经过一个conv模块、一个3×3卷积及一个1×1卷积处理后，对各锚点框进行修正以及目标分类，输出第二尺度对应的第二张量数据，第二张量数据包括多个第二修正框及各第二修正框对应的类别量化值、置信度量化值、修正框中心坐标、宽度及高度的得分、置信度得分、中心坐标、宽度及高度。
在本申请的一个实施例中，将第二尺度38×38×768的特征图经过一个conv模块处理后得到38×38×256的特征图，再经过1×1卷积处理后得到38×38×128的特征图，对该特征图进行上采样得到76×76×128的特征图，再与第一尺度的76×76×256特征图进行concat特征融合，得到76×76×384的特征图，随后生成3种锚点框，大小为：10×11,16×30,33×23，每种锚点框的个数为76×76个，再依次经过一个conv模块、一个3×3卷积、一个1×1卷积处理后，对各锚点框进行修正以及目标分类，输出第一尺度对应的第一张量数据，第一张量数据包括多个第一修正框及各第一修正框对应的类别量化值、置信度量化值、修正框中心坐标、宽度及高度的得分、置信度得分、中心坐标、宽度及高度。
在本申请的一个实施例中，该conv模块是指依次经过1×1卷积、3×3卷积、1×1卷积、3×3卷积和1×1卷积的处理过程。
步骤410，对各第一修正框、各第二修正框及各第三修正框进行置信度阈值过滤及非极大值抑制过滤，得到预测标记框。
在本申请的一个实施例中，根据修正框的置信度量化值级置信度阈值，对各第一修正框、各第二修正框及各第三修正框进行第一次过滤，对进行第一过滤后得到的至少一个可信修正框采用非极大值抑制过滤算法进行第二次过滤，并得到该预测标记框。
根据本申请实施例提供的故障检测方法，通过获取不同尺度的张量数据，并对各不同尺度的张量数据进行置信度阈值过滤及非极大值抑制过滤，进而得到预测标记框，提升了预测标记框的获取效率，也提升了该预测标记框的标记准确度。
请参考图5，其示出了本实施例提供的另一种故障检测方法的流程图，该故障检测方法可以应用于上文所述的实施环境中的服务器104中。在上述图4所示实施例的基础上，上述步骤410具体可以包括以下步骤：
步骤502，将置信度量化值低于预设的置信度阈值的第一修正框、第二修正框及第三修正框去除，得到至少一个可信修正框。
在本申请的一个实施例中，分别获取各第一修正框、第二修正框及第三修正框对应的置信度量化值，将置信度量化值低于该置信度阈值的修正框去除，剩余的第一修正框和/或第二修正框和/或第三修正框作为该至少一个可信修正框。
步骤504，根据各可信修正框的类别量化值对各可信修正框进行非极大值抑制过滤。
在本申请的一个实施例中，按照类别量化值从高到低的顺序对得到的各可信修正框进行排序，并放入待过滤集合中；将类别量化值最高的修正框从该待过滤集合中取出，放入输出集合，并计算该类别量化值最高的修正框分别与该待过滤集合中各可信修正框的交并比(Interection over union，IoU)，若交并比高于预设交并比阈值，则认为该可信修正框与该类别量化值最高的修正框重叠，将该可信修正框从待过滤集合中去除，返回执行将类别量化值最高的修正框从该待过滤集合中取出，放入输出集合的步骤，直至该待过滤集合为空，最终的输出集合内的检测框为预测标记框。
在本申请实施例提供的故障检测方法中，通过将置信度量化值低于预设的置信度阈值的第一修正框、第二修正框及第三修正框去除，得到至少一个可信修正框；根据各可信修正框的类别量化值对各可信修正框进行非极大值抑制过滤。根据本申请实施例提供的故障检测方法，可以对大量修正框进行快速过滤，并得到准确度高的预测标记框。
本申请还提供了该柜员机检测模型的训练方法，请参考图6，其示出了本实施例提供的另一种故障检测方法的流程图，该故障检测方法可以应用于上文所述的实施环境中的服务器104中。该柜员机检测模型的训练方法，具体可以包括以下步骤：
步骤602，建立样本集；样本集包括多张携带标准标记框的样本监控图片，标记信息包括柜员机样本图片对应的标记框及标记类别。
在本申请的一个实施例中，该样本集包括了不同拍摄角度，不同光照强度，不同柜员机类型的样本监控图片，每一样本监控图片中已经标注了各柜员机样本图片对应的标记框及标记类别。
步骤604，将样本集划分为训练集及测试集。
在本申请的一个实施例中，可以采用3:1的比例，将该样本集中的多张样本监控图片按照数量为3:1的比例划分为训练集及测试集。
步骤606，根据训练集对预设的初始柜员机检测模型进行训练，将初始柜员机检测模型输出的预测标记框与标准标记框输入至预设的损失函数，根据损失函数的值对初始柜员机模型的参数进行调整，直至损失函数的值满足预设标准值时，得到中间柜员机检测模型。
在本申请的一个实施例中，通过预设的损失函数计算各预测标记框相对于标准标记框的损失函数的值，经过反向传播后求取梯度对初始柜员机模型的参数进行调整，在损失函数的值满足预设标准值时，得到中间柜员机检测模型。
在本申请的一个实施例中，可以设置学习率为：当迭代次数为0-1000次时设置为0.1，当迭代次数为1000-5000次时设置为0.01，当迭代次数为5000-15000次时设置为0.001，当迭代次数为15000-20000次时设置为0.0001。
步骤608，根据测试集对中间柜员机检测模型进行检验，确定检验结果。
步骤610，若检验结果为通过检验，则将中间柜员机检测模型作为柜员机检测模型。
在本申请的一个实施例中，可以根据测试集对该中间柜员机检测模型进行检验，统计预测准确率作为检验结果，当该预测准确率高于预设的检验阈值时，将中间柜员机检测模型作为柜员机检测模型。
在本申请实施例提供的故障检测方法中，通过建立样本集；样本集包括多张携带标准标记框的样本监控图片，标记信息包括柜员机样本图片对应的标记框及标记类别；将样本集划分为训练集及测试集；根据训练集对预设的初始柜员机检测模型进行训练，将初始柜员机检测模型输出的预测标记框与标准标记框输入至预设的损失函数，根据损失函数的值对初始柜员机模型的参数进行调整，直至损失函数的值满足预设标准值时，得到中间柜员机检测模型；根据测试集对中间柜员机检测模型进行检验，确定检验结果；若检验结果为通过检验，则将中间柜员机检测模型作为柜员机检测模型。根据本申请实施例提供的故障检测方法得到的柜员机检测模型可以准确的预测监控图片中柜员机界面图像对应的标记框。
请参考图7，其示出了本实施例提供的另一种故障检测方法的流程图，该故障检测方法可以应用于上文所述的实施环境中的服务器104中。在上述图6所示实施例的基础上，上述步骤608具体可以包括以下步骤：
步骤702，将测试集中多个样本监控图片输入中间柜员机检测模型，得到测试集中各柜员机样本图片对应的预测标记框。
步骤704，根据测试集中各柜员机样本图片对应的预测标记框，及测试集中各柜员机样本图片对应的标准标记框，确定预测精度。
在本申请的一个实施例中，对于一张柜员机样本图片，可以通过计算该柜员机样本图片对应的预测标记框，与柜员机样本图片对应的标准标记框之间的面积交并比，当该面积交并比大于0.5时，判定该柜员机样本图片预测正确，统计测试集中各柜员机样本图片的预测正确率作为所述预测精度。
步骤706，若预测精度大于或等于预设的精度阈值，判定检验结果为通过检验。
步骤708，若预测精度小于精度阈值，判定检验结果为未通过检验，返回执行根据训练集对预设的初始柜员机检测模型进行训练的步骤。
在本申请实施例提供的故障检测方法中，通过将测试集中多个样本监控图片输入中间柜员机检测模型，得到测试集中各柜员机样本图片对应的预测标记框；根据测试集中各柜员机样本图片对应的预测标记框，及测试集中各柜员机样本图片对应的标准标记框，确定预测精度；若预测精度大于或等于预设的精度阈值，判定检验结果为通过检验；若预测精度小于精度阈值，判定检验结果为未通过检验，返回执行根据训练集对预设的初始柜员机检测模型进行训练的步骤。根据本申请实施例提供的故障检测方法，由于在训练该柜员机检测模型时，计算预测精度以对该中间柜员机检测模型进行检验，可以提升柜员机检测模型的预测准确度。
请参考图8，其示出了本实施例提供的另一种故障检测方法的流程图，该故障检测方法可以应用于上文所述的实施环境中的服务器104中。在上述图2所示实施例的基础上，该分类模型的训练方法，具体可以包括以下步骤：
步骤802，建立图片类别样本集；图片类别样本集包括多个柜员机显示样本图片及各柜员机显示样本图片对应的标准分类结果。
步骤804，将图片类别样本集划分为图片类别训练集及图片类别检测集。
步骤806，根据图片类别训练集对预设的分类模型进行训练，得到初始分类模型。
步骤808，利用图片类别检测集对初始分类模型进行检验。
在本申请的一个实施例中，将检测集中各柜员机显示样本输入该初始分类模型，得到各样本数据对应的预测分类结果，比对各柜员机显示样本对应的预测分类结果与各柜员机显示样本对应的标准分类结果，统计比对结果，若预测正确率高于或等于预设的检验阈值，则判定该初始分类模型通过检验，若预测正确率低于预设的检验阈值，则判定该初始分类模型未通过检验，返回步骤806，继续训练该初始分类模型。
步骤810，将通过检验的初始分类模型确定为分类模型。
在本申请的一个实施例中，当判定该初始分类模型通过检验时，将通过检验的初始分类模型确定为所述分类模型。
根据本申请实施例提供的能见度检测方法得到的分类模型可以准确的根据输入的柜员机显示样本确定该柜员机显示样本图片对应的分类结果，进而也提升了本申请中柜员机故障检测的准确度。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
请参考图9，其示出了本申请实施例提供的一种故障检测装置900的框图。如图9所示，所述故障检测装置900可以包括：柜员机界面图像获取模块901、分类模块902及告警模块903，其中：
柜员机界面图像获取模块901，用于获取监控图像并输入柜员机检测模型，并得到柜员机界面图像；
分类模块902，用于将所述柜员机界面图像输入分类模型，得到所述柜员机界面图像对应的分类结果；所述分类结果用于指示所述柜员机界面图像是否为故障界面；
告警模块903，用于若所述柜员机界面图像的分类结果为故障类别，判定柜员机处于故障状态，并执行所述故障状态对应的操作。
在本申请的一个实施例中，所述柜员机界面图像获取模块901，具体用于：获取监控图像；对监控图像进行归一化处理；将归一化处理后的监控图像输入至柜员机检测模型，得到预测标记框；预测标记框用于标记柜员机界面图像在归一化处理后的监控图像中的位置；根据预测标记框在监控图像中截取柜员机界面图像。
在本申请的一个实施例中，所述柜员机界面图像获取模块901，还具体用于：将归一化处理后的监控图像依次经过两个3×3的卷积、一个残差块、两个3×3的卷积和八个残差块处理后，得到第一尺度的特征图；将第一尺度的特征图经过一个3×3的卷积和八个残差块处理后，得到第二尺度的特征图；将第二尺度的特征图经过一个3×3的卷积和四个残差块处理后，得到第三尺度的特征图；将第一尺度对应的特征图、第二尺度对应的特征图及第三尺度对应的特征图进行上采样和特征融合，得到第一尺度对应的第一张量数据、第二尺度对应的第二张量数据及第三尺度对应的第三张量数据；第一张量数据包括多个第一修正框及各第一修正框对应的修正框参数，第二张量数据包括多个第二修正框及各第二修正框对应的修正框参数，第三张量数据包括多个第三修正框及各第三修正框对应的修正框参数；修正框参数包括类别量化值、置信度量化值、修正框中心坐标、宽度及高度；对各第一修正框、各第二修正框及各第三修正框进行置信度阈值过滤及非极大值抑制过滤，得到预测标记框。
在本申请的一个实施例中，所述柜员机界面图像获取模块901，还具体用于：将置信度量化值低于预设的置信度阈值的第一修正框、第二修正框及第三修正框去除，得到至少一个可信修正框；根据各可信修正框的类别量化值对各可信修正框进行非极大值抑制过滤。
请参考图10，其示出了本申请实施例提供的一种故障检测装置1000的框图。如图10所示，所述故障检测装置1000除了包括故障检测装置900包括的各模块外，可选的，还可以包括：柜员机检测模型训练模块904和分类模型训练模块905。其中：
柜员机检测模型训练模块904，用于建立样本集；样本集包括多张携带标准标记框的样本监控图片，标记信息包括柜员机样本图片对应的标记框及标记类别；将样本集划分为训练集及测试集；根据训练集对预设的初始柜员机检测模型进行训练，将初始柜员机检测模型输出的预测标记框与标准标记框输入至预设的损失函数，根据损失函数的值对初始柜员机模型的参数进行调整，直至损失函数的值满足预设标准值时，得到中间柜员机检测模型；根据测试集对中间柜员机检测模型进行检验，确定检验结果；若检验结果为通过检验，则将中间柜员机检测模型作为柜员机检测模型。
在本申请的一个实施例中，柜员机检测模型训练模块904，还用于将测试集中多个样本监控图片输入中间柜员机检测模型，得到测试集中各柜员机样本图片对应的预测标记框；根据测试集中各柜员机样本图片对应的预测标记框，及测试集中各柜员机样本图片对应的标准标记框，确定预测精度；若预测精度大于或等于预设的精度阈值，判定检验结果为通过检验；若预测精度小于精度阈值，判定检验结果为未通过检验，返回执行根据训练集对预设的初始柜员机检测模型进行训练的步骤。
分类模型训练模块905，用于建立图片类别样本集；图片类别样本集包括多个柜员机显示样本图片及各柜员机显示样本图片对应的标准分类结果；将图片类别样本集划分为图片类别训练集及图片类别检测集；根据图片类别训练集对预设的分类模型进行训练，得到初始分类模型；利用图片类别检测集对初始分类模型进行检验；将通过检验的初始分类模型确定为分类模型。
关于故障检测装置的具体限定可以参见上文中对于故障检测方法的限定，在此不再赘述。上述故障检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种故障检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取监控图像并输入柜员机检测模型，得到柜员机界面图像；
将柜员机界面图像输入分类模型，得到柜员机界面图像对应的分类结果；分类结果用于指示柜员机界面图像是否为故障界面；
若分类结果指示柜员机界面图像为故障界面，则发送报警信息。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取监控图像并输入柜员机检测模型，得到柜员机界面图像；
将柜员机界面图像输入分类模型，得到柜员机界面图像对应的分类结果；分类结果用于指示柜员机界面图像是否为故障界面；
若分类结果指示柜员机界面图像为故障界面，则发送报警信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种故障检测方法，其特征在于，所述方法包括：
获取监控图像并输入柜员机检测模型，得到柜员机界面图像，包括：获取所述监控图像；对所述监控图像进行归一化处理；将所述归一化处理后的监控图像依次经过两个3×3的卷积、一个残差块、两个3×3的卷积和八个残差块处理后，得到第一尺度的特征图；将所述第一尺度的特征图经过一个3×3的卷积和八个残差块处理后，得到第二尺度的特征图；将所述第二尺度的特征图经过一个3×3的卷积和四个残差块处理后，得到第三尺度的特征图；将所述第一尺度对应的特征图、所述第二尺度对应的特征图及所述第三尺度对应的特征图进行上采样和特征融合，得到所述第一尺度对应的第一张量数据、所述第二尺度对应的第二张量数据及所述第三尺度对应的第三张量数据；所述第一张量数据包括多个第一修正框及各所述第一修正框对应的修正框参数，所述第二张量数据包括多个第二修正框及各所述第二修正框对应的修正框参数，所述第三张量数据包括多个第三修正框及各所述第三修正框对应的修正框参数；所述修正框参数包括类别量化值、置信度量化值、修正框中心坐标、宽度及高度；对各所述第一修正框、各所述第二修正框及各所述第三修正框进行置信度阈值过滤及非极大值抑制过滤，得到预测标记框，所述预测标记框用于标记柜员机界面图像在所述归一化处理后的监控图像中的位置；根据所述预测标记框在所述监控图像中截取所述柜员机界面图像；
将所述柜员机界面图像输入分类模型，得到所述柜员机界面图像对应的分类结果；所述分类结果用于指示所述柜员机界面图像是否为故障界面；
若所述分类结果指示所述柜员机界面图像为故障界面，则发送报警信息。
2.根据权利要求1所述的方法，其特征在于，所述对各所述第一修正框、各所述第二修正框及各所述第三修正框进行置信度阈值过滤及非极大值抑制过滤，包括：
将置信度量化值低于预设的置信度阈值的第一修正框、第二修正框及第三修正框去除，得到至少一个可信修正框；
根据各所述可信修正框的类别量化值对各所述可信修正框进行非极大值抑制过滤。
3.根据权利要求1所述的方法，其特征在于，所述柜员机检测模型的训练方法，包括：
建立样本集；所述样本集包括多张携带标准标记框的样本监控图片；
将所述样本集划分为训练集及测试集；
根据所述训练集对预设的初始柜员机检测模型进行训练，将所述初始柜员机检测模型输出的预测标记框与所述标准标记框输入至预设的损失函数，根据所述损失函数的值对所述初始柜员机检测模型的参数进行调整，直至所述损失函数的值满足预设标准值时，得到中间柜员机检测模型；
根据所述测试集对所述中间柜员机检测模型进行检验，确定检验结果；
若所述检验结果为通过检验，则将所述中间柜员机检测模型作为所述柜员机检测模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述测试集对所述中间柜员机检测模型进行检验，确定检验结果，包括：
将所述测试集中多个样本监控图片输入所述中间柜员机检测模型，得到所述测试集中各柜员机样本图片对应的预测标记框；
根据所述测试集中各柜员机样本图片对应的预测标记框，及所述测试集中各柜员机样本图片对应的标准标记框，确定预测精度；
若所述预测精度大于或等于预设的精度阈值，判定所述检验结果为通过检验；
若所述预测精度小于所述精度阈值，判定所述检验结果为未通过检验，返回执行所述根据所述训练集对预设的初始柜员机检测模型进行训练的步骤。
5.根据权利要求1所述的方法，其特征在于，所述分类模型的训练方法，包括：
建立图片类别样本集；所述图片类别样本集包括多个柜员机显示样本图片及各所述柜员机显示样本图片对应的标准分类结果；
将所述图片类别样本集划分为图片类别训练集及图片类别检测集；
根据所述图片类别训练集对预设的分类模型进行训练，得到初始分类模型；
利用所述图片类别检测集对所述初始分类模型进行检验；
将通过检验的初始分类模型确定为所述分类模型。
6.一种故障检测装置，其特征在于，所述装置包括：
柜员机界面图像获取模块，用于获取监控图像并输入柜员机检测模型，并得到柜员机界面图像，包括：获取所述监控图像；对所述监控图像进行归一化处理；将所述归一化处理后的监控图像依次经过两个3×3的卷积、一个残差块、两个3×3的卷积和八个残差块处理后，得到第一尺度的特征图；将所述第一尺度的特征图经过一个3×3的卷积和八个残差块处理后，得到第二尺度的特征图；将所述第二尺度的特征图经过一个3×3的卷积和四个残差块处理后，得到第三尺度的特征图；将所述第一尺度对应的特征图、所述第二尺度对应的特征图及所述第三尺度对应的特征图进行上采样和特征融合，得到所述第一尺度对应的第一张量数据、所述第二尺度对应的第二张量数据及所述第三尺度对应的第三张量数据；所述第一张量数据包括多个第一修正框及各所述第一修正框对应的修正框参数，所述第二张量数据包括多个第二修正框及各所述第二修正框对应的修正框参数，所述第三张量数据包括多个第三修正框及各所述第三修正框对应的修正框参数；所述修正框参数包括类别量化值、置信度量化值、修正框中心坐标、宽度及高度；对各所述第一修正框、各所述第二修正框及各所述第三修正框进行置信度阈值过滤及非极大值抑制过滤，得到预测标记框，所述预测标记框用于标记柜员机界面图像在所述归一化处理后的监控图像中的位置；根据所述预测标记框在所述监控图像中截取所述柜员机界面图像；
分类模块，用于将所述柜员机界面图像输入分类模型，得到所述柜员机界面图像对应的分类结果；所述分类结果用于指示所述柜员机界面图像是否为故障界面；
告警模块，用于若所述柜员机界面图像的分类结果为故障类别，判定柜员机处于故障状态，并执行所述故障状态对应的操作。
7.根据权利要求6所述的装置，其特征在于，所述柜员机界面图像获取模块用于将置信度量化值低于预设的置信度阈值的第一修正框、第二修正框及第三修正框去除，得到至少一个可信修正框；根据各所述可信修正框的类别量化值对各所述可信修正框进行非极大值抑制过滤。
8.根据权利要求6所述的装置，其特征在于，上述装置还包括：
柜员机检测模型训练模块，用于建立样本集；所述样本集包括多张携带标准标记框的样本监控图片；将所述样本集划分为训练集及测试集；根据所述训练集对预设的初始柜员机检测模型进行训练，将所述初始柜员机检测模型输出的预测标记框与所述标准标记框输入至预设的损失函数，根据所述损失函数的值对所述初始柜员机检测模型的参数进行调整，直至所述损失函数的值满足预设标准值时，得到中间柜员机检测模型；根据所述测试集对所述中间柜员机检测模型进行检验，确定检验结果；若所述检验结果为通过检验，则将所述中间柜员机检测模型作为所述柜员机检测模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010049298.0A CN111372042B (zh) | 2020-01-16 | 2020-01-16 | 故障检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010049298.0A CN111372042B (zh) | 2020-01-16 | 2020-01-16 | 故障检测方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111372042A CN111372042A (zh) | 2020-07-03 |
| CN111372042B true CN111372042B (zh) | 2021-09-03 |
Family
ID=71212484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010049298.0A Expired - Fee Related CN111372042B (zh) | 2020-01-16 | 2020-01-16 | 故障检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111372042B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815623B (zh) * | 2020-07-28 | 2024-02-23 | 南方电网数字电网研究院有限公司 | 输电线路开口销缺失识别方法 |
| CN113593142A (zh) * | 2021-07-26 | 2021-11-02 | 中国工商银行股份有限公司 | 一种自动柜员机巡查方法及装置 |
| CN114333180B (zh) * | 2021-12-29 | 2023-09-08 | 尹学松 | 一种基于区块链技术的金融自助设备检修方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622818A (zh) * | 2011-01-26 | 2012-08-01 | 北京海鑫智圣技术有限公司 | 一种银行atm机全方位智能监控方法 |
| CN104426990A (zh) * | 2013-09-09 | 2015-03-18 | 联想(北京)有限公司 | 一种控制方法和装置 |
| CN105100732A (zh) * | 2015-08-26 | 2015-11-25 | 深圳市银之杰科技股份有限公司 | 一种机房服务器远程监控方法及系统 |
| CN107609653A (zh) * | 2017-08-07 | 2018-01-19 | 深圳益强信息科技有限公司 | 一种基于物联网的机房报修方法及系统 |
| CN108132887A (zh) * | 2018-01-10 | 2018-06-08 | 百度在线网络技术（北京）有限公司 | 用户界面校验方法、装置、软件测试系统、终端及介质 |
| CN108898078A (zh) * | 2018-06-15 | 2018-11-27 | 上海理工大学 | 一种多尺度反卷积神经网络的交通标志实时检测识别方法 |
| WO2019099321A1 (en) * | 2017-11-14 | 2019-05-23 | Honeywell International, Inc. | Collaborative media collection analysis |
| CN110009003A (zh) * | 2019-03-14 | 2019-07-12 | 北京旷视科技有限公司 | 图像处理与图像比对模型的训练方法、装置和系统 |
| CN110336810A (zh) * | 2019-06-28 | 2019-10-15 | 华为技术有限公司 | 信息分享方法、平台及计算设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9723271B2 (en) * | 2012-06-29 | 2017-08-01 | Omni Ai, Inc. | Anomalous stationary object detection and reporting |
| CN106156777B (zh) * | 2015-04-23 | 2020-06-02 | 华中科技大学 | 文本图片检测方法及装置 |
| CN109765462A (zh) * | 2019-03-05 | 2019-05-17 | 国家电网有限公司 | 输电线路的故障检测方法、装置和终端设备 |
-
2020
- 2020-01-16 CN CN202010049298.0A patent/CN111372042B/zh not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622818A (zh) * | 2011-01-26 | 2012-08-01 | 北京海鑫智圣技术有限公司 | 一种银行atm机全方位智能监控方法 |
| CN104426990A (zh) * | 2013-09-09 | 2015-03-18 | 联想(北京)有限公司 | 一种控制方法和装置 |
| CN105100732A (zh) * | 2015-08-26 | 2015-11-25 | 深圳市银之杰科技股份有限公司 | 一种机房服务器远程监控方法及系统 |
| CN107609653A (zh) * | 2017-08-07 | 2018-01-19 | 深圳益强信息科技有限公司 | 一种基于物联网的机房报修方法及系统 |
| WO2019099321A1 (en) * | 2017-11-14 | 2019-05-23 | Honeywell International, Inc. | Collaborative media collection analysis |
| CN108132887A (zh) * | 2018-01-10 | 2018-06-08 | 百度在线网络技术（北京）有限公司 | 用户界面校验方法、装置、软件测试系统、终端及介质 |
| CN108898078A (zh) * | 2018-06-15 | 2018-11-27 | 上海理工大学 | 一种多尺度反卷积神经网络的交通标志实时检测识别方法 |
| CN110009003A (zh) * | 2019-03-14 | 2019-07-12 | 北京旷视科技有限公司 | 图像处理与图像比对模型的训练方法、装置和系统 |
| CN110336810A (zh) * | 2019-06-28 | 2019-10-15 | 华为技术有限公司 | 信息分享方法、平台及计算设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多尺度形变特征卷积网络的高分辨率遥感影像目标检测;邓志鹏 等;《测绘学报》;20180915(第9期);第1216-1227页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111372042A (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102138082B1 (ko) | 다수의 이미지 일치성을 바탕으로 보험클레임 사기 방지를 실현하는 방법, 시스템, 기기 및 판독 가능 저장매체 | |
| CN111372042B (zh) | 故障检测方法、装置、计算机设备和存储介质 | |
| CN111667011B (zh) | 损伤检测模型训练、车损检测方法、装置、设备及介质 | |
| CN111950329A (zh) | 目标检测及模型训练方法、装置、计算机设备和存储介质 | |
| CN111753643B (zh) | 人物姿态识别方法、装置、计算机设备和存储介质 | |
| CN111898486B (zh) | 监控画面异常的检测方法、装置及存储介质 | |
| CN111325128A (zh) | 违规操作检测方法、装置、计算机设备和存储介质 | |
| CN111144398A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN112668462B (zh) | 车损检测模型训练、车损检测方法、装置、设备及介质 | |
| CN111753702A (zh) | 目标检测方法、装置及设备 | |
| CN111428572A (zh) | 信息处理方法、装置、电子设备和介质 | |
| CN111144372A (zh) | 车辆检测方法、装置、计算机设备和存储介质 | |
| CN111767192B (zh) | 基于人工智能的业务数据检测方法、装置、设备和介质 | |
| CN111814776B (zh) | 一种图像处理方法、设备、服务器及存储介质 | |
| CN114897872A (zh) | 一种适用于细胞团中细胞的识别方法、装置及电子设备 | |
| CN111259971A (zh) | 车辆信息检测方法、装置、计算机设备及可读存储介质 | |
| CN114429826A (zh) | 抗原检测结果的处理方法、系统、电子设备及存储介质 | |
| CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
| CN111126376B (zh) | 基于面部特征点检测的图片纠正方法、装置和计算机设备 | |
| CN112308061B (zh) | 一种车牌字符识别方法及装置 | |
| CN115116119A (zh) | 一种基于数字图像处理技术的人脸识别系统 | |
| CN113537407A (zh) | 基于机器学习的图像数据评价处理方法及装置 | |
| CN110956102A (zh) | 银行柜台监控方法、装置、计算机设备和存储介质 | |
| CN112950568A (zh) | 比例尺长度计算方法、装置、计算机设备及存储介质 | |
| CN111105590A (zh) | 一种报警方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Fault detection method, device, computer equipment and storage medium Effective date of registration: 20220211 Granted publication date: 20210903 Pledgee: Shanghai Bianwei Network Technology Co.,Ltd. Pledgor: SHANGHAI EYE CONTROL TECHNOLOGY Co.,Ltd. Registration number: Y2022310000023 |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210903 |