CN111325128A - 违规操作检测方法、装置、计算机设备和存储介质 - Google Patents
违规操作检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111325128A CN111325128A CN202010089900.3A CN202010089900A CN111325128A CN 111325128 A CN111325128 A CN 111325128A CN 202010089900 A CN202010089900 A CN 202010089900A CN 111325128 A CN111325128 A CN 111325128A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- area
- detected
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Burglar Alarm Systems (AREA)
Abstract
本申请涉及一种违规操作检测方法、装置、计算机设备和存储介质。所述方法包括：获取待检测图像，其中，所述待检测图像包括设置有可操作部的目标设备；对所述待检测图像进行识别，若识别到所述待检测图像中包括目标类型的人员，则在所述待检测图像中确定所述人员的目标身体部位所在的第一区域以及所述目标设备的可操作部所在的第二区域；根据所述第一区域和所述第二区域的交叠状况，确定所述人员对所述目标设备进行的操作是否为违规操作。采用本方法能够节省人力成本。
Description
技术领域
本申请涉及图像检测技术领域，特别是涉及一种违规操作检测方法、装置、计算机设备和存储介质。
背景技术
随着现代金融业与互联网技术的不断融合，新兴金融服务模式和新金融业态也得到了快速发展，结合了人工智能技术的智慧柜员机也已经逐步走入银行，其给银行网点客户分流、业务的转型和发展带来了极大的便利和机遇，然而在其带来便利的同时也带了来了一些风险，比如大堂工作人员代客操作，造成工作不合规的风险等。
相关技术中，为了检测大堂工作人员的操作是否合规，一般是通过银行大堂的摄像头采集智慧柜员机周围的图像，然后后台工作人员通过观察该采集的图像，判断大堂工作人员是否存在不合规的操作。
然而上述技术存在耗费人力的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种违规操作检测方法、装置、计算机设备和存储介质。
一种违规操作检测方法，该方法包括：
获取待检测图像，其中，待检测图像包括设置有可操作部的目标设备；
对待检测图像进行识别，若识别到待检测图像中包括目标类型的人员，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域；
根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。
在其中一个实施例中，上述在待检测图像中确定人员的目标身体部位所在的第一区域，包括：
从待检测图像中截取包括人员的框图像；
将框图像输入至预设的姿态识别模型中，得到姿态识别模型输出的目标身体部位上的至少一个关键点；
根据各关键点在待检测图像的位置确定第一区域。
在其中一个实施例中，在上述根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作之前，上述方法还包括：
在至少一个关键点中确定位于第二区域内的目标关键点；
根据目标关键点的数量确定第一区域和第二区域的交叠状况。
在其中一个实施例中，上述根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作，包括：
将目标关键点的数量和预设的数量阈值进行对比；
若目标关键点的数量大于预设的数量阈值，则确定人员对目标设备进行的操作为违规操作。
在其中一个实施例中，在上述在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域之前，上述方法还包括：
确定人员和目标设备之间的距离；
对应地，上述在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域，包括：
若距离小于预设的距离阈值，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域。
在其中一个实施例中，上述在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域之后，上述方法还包括：
根据待检测图像对目标设备进行故障检测，确定目标设备是否存在故障；
对应地，上述根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作，包括：
若目标设备不存在故障，则根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。
在其中一个实施例中，上述方法还包括：
若目标设备存在故障，则输出故障报警消息；该故障报警消息用于指示对目标设备进行检修。
一种违规操作检测装置，该装置包括：
获取模块，用于获取待检测图像，其中，待检测图像包括设置有可操作部的目标设备；
第一确定模块，用于对待检测图像进行识别，若识别到待检测图像中包括目标类型的人员，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域；
第二确定模块，用于根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测图像，其中，待检测图像包括设置有可操作部的目标设备；
对待检测图像进行识别，若识别到待检测图像中包括目标类型的人员，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域；
根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待检测图像，其中，待检测图像包括设置有可操作部的目标设备；
对待检测图像进行识别，若识别到待检测图像中包括目标类型的人员，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域；
根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。
上述违规操作检测方法、装置、计算机设备和存储介质，通过获取包括设置有可操作部的目标设备的待检测图像，并对待检测图像进行识别，若识别到待检测图像中包括目标类型的人员时，可以从待检测图像中得到人员的目标身体部位所在的第一区域和可操作部所在的第二区域，并根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。在该方法中，由于可以通过基于人员的目标身体部位所在的区域和可操作部所在的区域的交叠状况来检测目标类型的人员是否违规操作，即可以基于行为识别目标类型的人员是否违规操作，而不需要人工去检测工作人员是否违规操作，因此，该方法可以节省人力成本；另外，该方法可以实时对工作人员是否违规操作进行检测，因此也可以提高对工作人员违规操作检测的实时性，同时也可以通过违规操作检测对目标设备的利用率进行统计和分析；进一步地，利用该方法可以尽可能地规避掉工作人员代客操作的风险。
附图说明
图1为一个实施例中违规操作检测方法的应用环境图；
图2为一个实施例中违规操作检测方法的流程示意图；
图3a为另一个实施例中违规操作检测方法的流程示意图；
图3b为另一个实施例中手部关键点的位置示意图；
图4为另一个实施例中违规操作检测方法的流程示意图；
图5为一个实施例中违规操作检测装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的违规操作检测方法，可以应用于如图1所示的应用环境中。其中，图像获取设备102可以与计算机设备104进行通信。其中，图像获取设备102可以但不限于是各种监控设备、相机、摄像机、抓拍机和包含摄像模块的电子装置，计算机设备104可以是终端、智能手机、可穿戴设备等等。可选的，在特定情况下，图像获取设备102可以是设置在计算机设备104里面的部件，与计算机设备104作为一个整体来对操作设备进行监控。其中，计算机设备104可以通过图像获取设备102获取操作设备的监控图像，该操作设备可以是柜员机、数字图书馆服务机器、数控机床等等。
需要说明的是，本实施例的执行主体可以是计算机设备，也可以是违规操作检测装置，本申请下述实施例将以计算机设备为执行主体进行说明。
在一个实施例中，提供了一种违规操作检测方法，本实施例涉及的是如何得到人员的目标身体部位所在的第一区域和目标设备的可操作部所在的第二区域，并根据这两个区域的交叠状况确定人员对目标设备进行的操作是否为违规操作的具体过程。如图2所示，该方法可以包括以下步骤：
S202，获取待检测图像，其中，待检测图像包括设置有可操作部的目标设备。
在本步骤中，可以通过场所内部设置的摄像机、抓拍机等图像获取设备对场所的内部进行拍摄，就可以得到场所的内部图像，并将该内部图像作为待检测图像，可选的，该场所可以为银行、图书馆、工厂等等，该场所的内部一般会包括目标设备，该目标设备设置有可操作部，示例地，目标设备可以是柜员机、数字图书馆服务机器、数控机床等等，可操作部可以是可操作的屏幕、可操作的按键等等。
具体的，可以通过场所内部的摄像机等图像获取设备来对场所内部进行拍摄，就可以得到场所内部的图像，并将该图像作为待检测图像，传输给与摄像机等图像获取设备相连的计算机设备，计算机设备就可以得到该待检测图像。
S204，对待检测图像进行识别，若识别到待检测图像中包括目标类型的人员，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域。
其中，在对待检测对象识别时，可以采用目标检测算法对待检测图像中的人员进行识别，目标检测算法可以是yolo(You Only Look Once)算法、SSD(Single ShotMultiBox Detector，单发多盒探测器)算法等等。以上述检测场所为银行来说，目标类型的人员可以是银行的工作人员，例如大堂经理等，目标身体部位可以是大堂经理的手部、例如大堂经理的左手或右手。
具体的，计算机设备可以采用目标检测算法等对待检测图像进行目标识别，得到待检测图像中是否有目标类型的人员的结果，在这里可以是先识别出待检测图像中是否有人员，然后根据待检测图像中人员的着装等识别出是否是目标类型的人员，若待检测图像中包括目标类型的人员，一般目标检测算法可以给出该人员所在的检测框，然后利用该检测框在待检测图像上进行截取，就可以得到目标类型的人员所在的图像，在得到目标类型的人员所在的图像之后，可以对该图像继续进行检测，得到该图像上人员的目标部位所在的图像，并将该目标部位所在的图像作为第一区域。另外，图像获取设备与目标设备的位置在预先设置时是固定好不变的，目标设备以及目标设备的可操作部在拍摄的图像上的相对位置也就为已知量，那么就可以根据目标设备的可操作部在图像上的相对位置，从图像上截取到目标设备的可操作部所在的图像，记为第二区域。以场所为银行为例，那么目标设备可以为银行的智慧柜员机，可操作部可以是智慧柜员机的操作屏幕，目标身体部位可以是大堂经理的手部，那么这里就可以截取大堂经理的手部所在的区域，以及智慧柜员机的操作屏幕所在的区域。
S206，根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。
其中，交叠状况可以包括第一区域和第二区域的交叠面积为0的情况，也可以包括第一区域和第二区域交叠面积部位0的情况。另外，违规操作在这里可以是目标类型的人员没有按照规定进行操作，例如，以银行大堂经理操作智慧柜员机为例，一般客户在银行的智慧机上办理业务时，大堂经理可以帮忙引导，但是不能代替客户操作办业务，那么这里的违规操作就可以是大堂经理代替客户在智慧柜员机上办理业务。
具体的，在得到第一区域和第二区域之后，计算机设备可以计算第一区域和第二区域的重叠区域的面积，在一种可能的实施方式中，可以是直接将重叠区域的面积和重叠阈值进行比较，根据比较结果确定目标类型的人员是否违规操作，若重叠区域的面积大于重叠阈值，确定目标类型的人员存在违规操作，若重叠区域的面积不大于重叠阈值，确定目标类型的人员不存在违规操作；在另一种可能的实施方式中，也可以是将重叠面积中的点的数量和数量阈值进行对比，若点的数量大于数量阈值，确定目标类型的人员存在违规操作，若点的数量不大于数量阈值，确定目标类型的人员不存在违规操作；当然也可以是其他形式的违规确定方法，本实施例在此不作具体限定。
上述违规操作检测方法，通过获取包括设置有可操作部的目标设备的待检测图像，并对待检测图像进行识别，若识别到待检测图像中包括目标类型的人员时，可以从待检测图像中得到人员的目标身体部位所在的第一区域和可操作部所在的第二区域，并根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。在该方法中，由于可以通过基于人员的目标身体部位所在的区域和可操作部所在的区域的交叠状况来检测目标类型的人员是否违规操作，即可以基于行为识别目标类型的人员是否违规操作，而不需要人工去检测工作人员是否违规操作，因此，该方法可以节省人力成本；另外，该方法可以实时对工作人员是否违规操作进行检测，因此也可以提高对工作人员违规操作检测的实时性，同时也可以通过违规操作检测对目标设备的利用率进行统计和分析；进一步地，利用该方法可以尽可能地规避掉工作人员代客操作的风险。
在另一个实施例中，提供了另一种违规操作检测方法，本实施例涉及的是如何在待检测图像中确定目标类型的人员的目标身体部位所在的第一区域的具体过程。在上述实施例的基础上，如图3a所示，上述S204中在待检测图像中确定人员的目标身体部位所在的第一区域可以包括以下步骤：
S302，从待检测图像中截取包括人员的框图像。
S304，将框图像输入至预设的姿态识别模型中，得到姿态识别模型输出的目标身体部位上的至少一个关键点。
S306，根据各关键点在待检测图像的位置确定第一区域。
在本实施例中，在确定第一区域之前，可选的，还可以先确定人员和目标设备之间的距离，若距离小于预设的距离阈值，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域。也就是说，计算机设备可以先采用目标检测算法等对待检测图像进行目标识别，待检测图像中包括目标设备，若检测到待检测图像中有目标类型的人员时，就可以得到该目标类型的人员所在的检测框，在这里目标类型的人员可以是银行的大堂经理和客户，因此在这里可以得到大堂经理的检测框和客户的检测框，然后计算大堂经理和目标设备之间的距离，以及计算客户和目标设备之间的距离，计算距离时，可以是计算大堂经理的检测框以及客户的检测框上的任意一个或多个点与目标设备之间的距离，得到大堂经理和目标设备的距离，以及客户和目标设备的距离；然后将大堂经理和目标设备的距离以及客户和目标设备的距离分别与距离阈值进行对比，在大堂经理和目标设备的距离小于距离阈值时，则可以在待检测图像上确定第一区域和第二区域，或者，也可以是在大堂经理和目标设备的距离小于距离阈值，且客户和目标设备的距离小于距离阈值时，则在待检测图像上确定第一区域和第二区域。
在确定第一区域和第二区域时，上述通过目标检测算法可以得到人员的检测框，同时可以得到检测框的位置信息，之后就可以基于该检测框的位置信息，在待检测图像上截取检测框的位置信息所在的图像，记为包括人员的框图像。然后将该包括人员的框图像输入至姿态识别模型中进行检测，得到人员的目标身体部位上的关键点，该关键点的数量可以为一个或多个，本实施例主要以得到多个关键点为例进行说明，在得到多个关键点之后，就可以将该多个关键点在待检测图像上的位置构成的区域作为第一区域，另外，姿态识别模型可以是openpose模型，当然还可以是其他模型。
另外，上述在利用目标检测算法得到大堂经理和客户的检测框时，可以是采用目标检测算法对应的检测模型对待检测图像进行检测，得到大堂经理和客户的检测框，在使用该检测模型检测之前，也可以训练该检测模型，训练过程如下：获取样本大堂图像，并在每张样本大堂图像上标注大堂经理所在的框位置信息和客户所在的框位置信息，然后利用样本大堂图像对初始检测模型进行训练，得到训练好的检测模型。
进一步地，上述在利用姿态识别模型对人员进行检测时，可以预先训练该姿态识别模型，训练过程如下：获取不同人员的手部图像，并在每个人员的手部图像中标注手部对应的21个关键点的位置，21个关键点的位置如图3b所示，然后利用不同人员的手部图像对初始姿态识别模型进行训练，得到姿态识别模型。
本实施例提供的违规操作检测方法，可以从待检测图像中截取包括人员的框图像，并将框图像输入至预设的姿态识别模型中，得到姿态识别模型输出的目标身体部位上的至少一个关键点，最后根据各关键点在待检测图像的位置确定第一区域。在本实施例中，由于可以通过姿态识别模型检测得到人员的目标身体部位的关键点，并用该关键点得到第一区域，因此，该方法得到的第一区域是比较准确的，从而在利用该第一区域去确定人员是否违规操作时，得到的是否违规的结果也是比较准确的。
在另一个实施例中，提供了另一种违规操作检测方法，本实施例涉及的是如何基于第一区域和第二区域确定第一区域和第二区域的交叠状况的具体过程。在上述实施例的基础上，如图4所示，在上述S206之前，上述方法还可以包括以下步骤：
S402，在至少一个关键点中确定位于第二区域内的目标关键点。
S404，根据目标关键点的数量确定第一区域和第二区域的交叠状况。
具体的，第二区域为目标设备的可操作部所在的区域，上述在利用姿态识别模型中对人员的目标身体部位进行检测时，得到人员的目标身体部位上的多个关键点的同时，还可以得到该多个关键点在待检测图像上的坐标，另外，由于预先已知目标设备的可操作部在待检测图像上的位置，该位置包括可操作部的边框上各个点的坐标，那么通过将该多个关键点在待检测图像上的坐标和可操作部的边框上各个点的坐标进行对比，得到落入可操作部的边框内的点，即得到位于第二区域内的关键点，记为目标关键点，该目标关键点的数量可以是一个或多个，这里目标关键点即为第一区域和第二区域的交叠点，在得到目标关键点的数量后，即可以通过目标关键点的数量表征第一区域和第二区域的交叠状况，然后根据交叠状况确定人员是否违规操作，可选的，可以通过以下步骤A1和步骤A2确定是否违规操作，如下：
步骤A1，将目标关键点的数量和预设的数量阈值进行对比。
步骤A2，若目标关键点的数量大于预设的数量阈值，则确定人员对目标设备进行的操作为违规操作。
其中，数量阈值可以是根据实际情况而定的一个值，例如可以是3、4、5等等，优选地，本申请实施例中数量阈值可以为3。
在得到目标关键点的数量之后，将该目标关键点的数量和数量阈值进行对比，若目标关键点的数量不大于(即小于等于)数量阈值，那么就可以确定目标类型的人员没有对目标设备进行违规操作，否则，就确定目标类型的人员对目标设备进行的操作为违规操作。在确定目标类型的人员对目标设备进行的操作为违规操作后，可以将待检测图像传送给后台，并在后台中触发报警，那么后台的工作人员可以根据报警对该带检测图像进行再次审核，确定目标类型的人员是否违规操作，如果是误判，那么后台工作人员可以进行改判，重新确定该目标类型的人员没有对目标设备进行违规操作，以此来确保发生误判的情况，提高检测的准确性。
本实施例提供的违规操作检测方法，可以在至少一个关键点中确定位于第二区域内的目标关键点，根据目标关键点的数量确定第一区域和第二区域的交叠状况。在本实施例中，由于可以通过位于第二区域内的关键点数量确定第一区域和第二区域的交叠状况，从而可以定性确定两个区域的交叠状况，保证得到的两个区域的交叠状况是比较准确的。
在另一个实施例中，提供了另一种违规操作检测方法，本实施例涉及的是在待检测图像中得到第一区域和第二区域后，还可以对目标设备进行故障检测，并在目标设备不存在故障时确定人员是否违规的具体过程。在上述实施例的基础上，上述方法还可以包括以下步骤B：
步骤B，根据待检测图像对目标设备进行故障检测，确定目标设备是否存在故障。
其中，在对目标设备进行故障检测时，可以采用故障分类模型对目标进行故障检测，故障检测之前，可以先训练该故障分类模型，训练过程如下，利用预设的目标设备的可操作部的位置在拍摄的多个样本图像上截取可操作部的图像，得到多个可操作部的图像，并在该多个可操作部的图像标注可操作部的故障类别(即标注目标设备的故障类别)，包括没有故障和有故障，然后基于该多个可操作部的图像，采用残差网络结构对初始故障分类模型进行训练，得到训练好的故障分类模型。
在得到训练好的故障分类模型之后，可以基于预设的目标设备的可操作部的位置在待检测图像上截取可操作部的图像，然后将截取的可操作部的图像输入至训练好的故障分类模型中，得到可操作部的故障类别，若故障类别是可操作部有故障，那就说明目标设备存在故障，如果故障类别是可操作部没有故障，那就说明目标设备不存在故障。可选的，若目标设备不存在故障，则根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。可选的，若目标设备存在故障，则输出故障报警消息；该故障报警消息用于指示对目标设备进行检修。
本实施例提供的违规操作检测方法，可以根据待检测图像对目标设备进行故障检测，确定目标设备是否存在故障，并在目标设备不存在故障时，根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作，以及在目标设备存在故障时，输出故障报警消息。在本实施例中，由于在确定人员对目标设备进行的操作是否为违规操作之前，还可以对目标设备进行故障检测，并在目标设备存在故障时输出报警消息，因此该方法在目标设备出现故障时，可以及时报警使工作人员对目标设备进行检修，避免目标设备出现故障但是无人检修的情况。
应该理解的是，虽然图2、3a、4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3a、4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种违规操作检测装置，包括：获取模块10、第一确定模块11和第二确定模块12，其中：
获取模块10，用于获取待检测图像，其中，待检测图像包括设置有可操作部的目标设备；
第一确定模块11，用于对待检测图像进行识别，若识别到待检测图像中包括目标类型的人员，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域；
第二确定模块12，用于根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。
关于违规操作检测装置的具体限定可以参见上文中对于违规操作检测方法的限定，在此不再赘述。
在另一个实施例中，上述第一确定模块11包括截取单元、识别单元和第一确定单元，其中：
截取单元，用于从待检测图像中截取包括人员的框图像；
识别单元，用于将框图像输入至预设的姿态识别模型中，得到姿态识别模型输出的目标身体部位上的至少一个关键点；
第一确定单元，用于根据各关键点在待检测图像的位置确定第一区域。
可选的，在上述第一确定模块11中在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域之前，上述装置还可以包括第三确定模块，该第三确定模块，用于确定人员和目标设备之间的距离；若距离小于预设的距离阈值，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域。
在另一个实施例中，在上述第二确定模块12之前，上述装置还可以包括第四确定模块，该第四确定模块，用于在至少一个关键点中确定位于第二区域内的目标关键点；根据目标关键点的数量确定第一区域和第二区域的交叠状况。
可选的，上述第二确定模块12可以包括：对比单元和第二确定单元，其中：
对比单元，用于将目标关键点的数量和预设的数量阈值进行对比；
第二确定单元，用于若目标关键点的数量大于预设的数量阈值，则确定人员对目标设备进行的操作为违规操作。
在另一个实施例中，在上述第一确定模块11中在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域之后，上述装置还可以包括故障检测模块，该故障检测模块，用于根据待检测图像对目标设备进行故障检测，确定目标设备是否存在故障；若目标设备不存在故障，则根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。
可选的，上述故障检测模块，还用于若目标设备存在故障，则输出故障报警消息；该故障报警消息用于指示对目标设备进行检修。
关于违规操作检测装置的具体限定可以参见上文中对于违规操作检测方法的限定，在此不再赘述。
上述违规操作检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种违规操作检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待检测图像，其中，待检测图像包括设置有可操作部的目标设备；
对待检测图像进行识别，若识别到待检测图像中包括目标类型的人员，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域；
根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
从待检测图像中截取包括人员的框图像；
将框图像输入至预设的姿态识别模型中，得到姿态识别模型输出的目标身体部位上的至少一个关键点；
根据各关键点在待检测图像的位置确定第一区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在至少一个关键点中确定位于第二区域内的目标关键点；
根据目标关键点的数量确定第一区域和第二区域的交叠状况。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将目标关键点的数量和预设的数量阈值进行对比；
若目标关键点的数量大于预设的数量阈值，则确定人员对目标设备进行的操作为违规操作。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定人员和目标设备之间的距离；
若距离小于预设的距离阈值，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据待检测图像对目标设备进行故障检测，确定目标设备是否存在故障；
若目标设备不存在故障，则根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若目标设备存在故障，则输出故障报警消息；该故障报警消息用于指示对目标设备进行检修。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待检测图像，其中，待检测图像包括设置有可操作部的目标设备；
对待检测图像进行识别，若识别到待检测图像中包括目标类型的人员，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域；
根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
从待检测图像中截取包括人员的框图像；
将框图像输入至预设的姿态识别模型中，得到姿态识别模型输出的目标身体部位上的至少一个关键点；
根据各关键点在待检测图像的位置确定第一区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在至少一个关键点中确定位于第二区域内的目标关键点；
根据目标关键点的数量确定第一区域和第二区域的交叠状况。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将目标关键点的数量和预设的数量阈值进行对比；
若目标关键点的数量大于预设的数量阈值，则确定人员对目标设备进行的操作为违规操作。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定人员和目标设备之间的距离；
若距离小于预设的距离阈值，则在待检测图像中确定人员的目标身体部位所在的第一区域以及目标设备的可操作部所在的第二区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据待检测图像对目标设备进行故障检测，确定目标设备是否存在故障；
若目标设备不存在故障，则根据第一区域和第二区域的交叠状况，确定人员对目标设备进行的操作是否为违规操作。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若目标设备存在故障，则输出故障报警消息；该故障报警消息用于指示对目标设备进行检修。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种违规操作检测方法，其特征在于，所述方法包括：
获取待检测图像，其中，所述待检测图像包括设置有可操作部的目标设备；
对所述待检测图像进行识别，若识别到所述待检测图像中包括目标类型的人员，则在所述待检测图像中确定所述人员的目标身体部位所在的第一区域以及所述目标设备的可操作部所在的第二区域；
根据所述第一区域和所述第二区域的交叠状况，确定所述人员对所述目标设备进行的操作是否为违规操作。
2.根据权利要求1所述的方法，其特征在于，所述在所述待检测图像中确定所述人员的目标身体部位所在的第一区域，包括：
从所述待检测图像中截取包括所述人员的框图像；
将所述框图像输入至预设的姿态识别模型中，得到所述姿态识别模型输出的所述目标身体部位上的至少一个关键点；
根据各所述关键点在所述待检测图像的位置确定所述第一区域。
3.根据权利要求2所述的方法，其特征在于，在所述根据所述第一区域和所述第二区域的交叠状况，确定所述人员对所述目标设备进行的操作是否为违规操作之前，所述方法还包括：
在所述至少一个关键点中确定位于所述第二区域内的目标关键点；
根据所述目标关键点的数量确定所述第一区域和所述第二区域的交叠状况。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一区域和所述第二区域的交叠状况，确定所述人员对所述目标设备进行的操作是否为违规操作，包括：
将所述目标关键点的数量和预设的数量阈值进行对比；
若所述目标关键点的数量大于所述预设的数量阈值，则确定所述人员对所述目标设备进行的操作为违规操作。
5.根据权利要求1所述的方法，其特征在于，在所述在所述待检测图像中确定所述人员的目标身体部位所在的第一区域以及所述目标设备的可操作部所在的第二区域之前，所述方法还包括：
确定所述人员和所述目标设备之间的距离；
对应地，所述在所述待检测图像中确定所述人员的目标身体部位所在的第一区域以及所述目标设备的可操作部所在的第二区域，包括：
若所述距离小于预设的距离阈值，则在所述待检测图像中确定所述人员的目标身体部位所在的第一区域以及所述目标设备的可操作部所在的第二区域。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述在所述待检测图像中确定所述人员的目标身体部位所在的第一区域以及所述目标设备的可操作部所在的第二区域之后，所述方法还包括：
根据所述待检测图像对所述目标设备进行故障检测，确定所述目标设备是否存在故障；
对应地，所述根据所述第一区域和所述第二区域的交叠状况，确定所述人员对所述目标设备进行的操作是否为违规操作，包括：
若所述目标设备不存在故障，则根据所述第一区域和所述第二区域的交叠状况，确定所述人员对所述目标设备进行的操作是否为违规操作。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述目标设备存在故障，则输出故障报警消息；所述故障报警消息用于指示对所述目标设备进行检修。
8.一种违规操作检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测图像，其中，所述待检测图像包括设置有可操作部的目标设备；
第一确定模块，用于对所述待检测图像进行识别，若识别到所述待检测图像中包括目标类型的人员，则在所述待检测图像中确定所述人员的目标身体部位所在的第一区域以及所述目标设备的可操作部所在的第二区域；
第二确定模块，用于根据所述第一区域和所述第二区域的交叠状况，确定所述人员对所述目标设备进行的操作是否为违规操作。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010089900.3A CN111325128A (zh) | 2020-02-13 | 2020-02-13 | 违规操作检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010089900.3A CN111325128A (zh) | 2020-02-13 | 2020-02-13 | 违规操作检测方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111325128A true CN111325128A (zh) | 2020-06-23 |
Family
ID=71167095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010089900.3A Withdrawn CN111325128A (zh) | 2020-02-13 | 2020-02-13 | 违规操作检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325128A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860419A (zh) * | 2020-07-29 | 2020-10-30 | 广东智媒云图科技股份有限公司 | 电力检修过程中合规检测的方法、电子设备及存储介质 |
| CN112132020A (zh) * | 2020-09-22 | 2020-12-25 | 深兰科技（上海）有限公司 | 手部紧握判断方法和装置 |
| CN112216073A (zh) * | 2020-10-12 | 2021-01-12 | 浙江大华技术股份有限公司 | 一种梯子违规操作告警方法及装置 |
| CN113469132A (zh) * | 2021-07-26 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种违规行为检测方法、装置、电子设备及存储介质 |
| CN113469378A (zh) * | 2021-05-31 | 2021-10-01 | 烟台杰瑞石油服务集团股份有限公司 | 检修方法及检修设备 |
| CN115171222A (zh) * | 2022-09-06 | 2022-10-11 | 平安银行股份有限公司 | 一种行为检测方法、装置、计算机设备及存储介质 |
| CN116434296A (zh) * | 2023-03-02 | 2023-07-14 | 深圳市华方信息产业有限公司 | 一种实时人脸识别监控行为方法、装置、设备和介质 |
-
2020
- 2020-02-13 CN CN202010089900.3A patent/CN111325128A/zh not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860419A (zh) * | 2020-07-29 | 2020-10-30 | 广东智媒云图科技股份有限公司 | 电力检修过程中合规检测的方法、电子设备及存储介质 |
| CN112132020A (zh) * | 2020-09-22 | 2020-12-25 | 深兰科技（上海）有限公司 | 手部紧握判断方法和装置 |
| CN112216073A (zh) * | 2020-10-12 | 2021-01-12 | 浙江大华技术股份有限公司 | 一种梯子违规操作告警方法及装置 |
| CN113469378A (zh) * | 2021-05-31 | 2021-10-01 | 烟台杰瑞石油服务集团股份有限公司 | 检修方法及检修设备 |
| CN113469378B (zh) * | 2021-05-31 | 2023-11-24 | 烟台杰瑞石油服务集团股份有限公司 | 检修方法及检修设备 |
| CN113469132A (zh) * | 2021-07-26 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种违规行为检测方法、装置、电子设备及存储介质 |
| CN115171222A (zh) * | 2022-09-06 | 2022-10-11 | 平安银行股份有限公司 | 一种行为检测方法、装置、计算机设备及存储介质 |
| CN115171222B (zh) * | 2022-09-06 | 2022-12-27 | 平安银行股份有限公司 | 一种行为检测方法、装置、计算机设备及存储介质 |
| CN116434296A (zh) * | 2023-03-02 | 2023-07-14 | 深圳市华方信息产业有限公司 | 一种实时人脸识别监控行为方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325128A (zh) | 违规操作检测方法、装置、计算机设备和存储介质 | |
| Fang et al. | A deep learning-based method for detecting non-certified work on construction sites | |
| CN110738135B (zh) | 一种工人作业工步规范视觉识别判定与指导方法及系统 | |
| CN110807429A (zh) | 基于tiny-YOLOv3的施工安全检测方法及系统 | |
| CN111126153B (zh) | 基于深度学习的安全监测方法、系统、服务器及存储介质 | |
| CN107145816A (zh) | 对象识别跟踪方法及装置 | |
| CN112990870A (zh) | 基于核电设备的巡检文件生成方法、装置和计算机设备 | |
| CN111325069B (zh) | 产线数据处理方法、装置、计算机设备和存储介质 | |
| CN111401131A (zh) | 隧道管廊的图像处理方法、装置、计算机设备和存储介质 | |
| CN113989503A (zh) | 一种生产线巡检系统、方法、电子设备及存储介质 | |
| CN110717449A (zh) | 车辆年检人员的行为检测方法、装置和计算机设备 | |
| CN111372042B (zh) | 故障检测方法、装置、计算机设备和存储介质 | |
| CN113220537A (zh) | 一种软件监控方法、装置、设备及可读存储介质 | |
| CN110516656A (zh) | 视频监控方法、装置、计算机设备和可读存储介质 | |
| CN113900392A (zh) | 变电站环境监控方法、装置、计算机设备和存储介质 | |
| CN112001963A (zh) | 消防通道的排查的方法、系统和计算机设备 | |
| CN116758493B (zh) | 基于图像处理的隧道施工监测方法、装置及可读存储介质 | |
| CN106980919A (zh) | 一种工程信息管理方法及系统 | |
| CN111352990A (zh) | 报告的生成管理方法、装置、计算机设备和存储介质 | |
| CN116645530A (zh) | 基于图像比对的施工检测方法、装置、设备及存储介质 | |
| CN114048346B (zh) | 一种基于gis的安全生产一体化管控平台及方法 | |
| CN115346170A (zh) | 一种燃气设施区域的智能监控方法及装置 | |
| CN115294373A (zh) | 一种设备参数信息更新方法和更新系统 | |
| CN114581949A (zh) | 一种机房人员监控方法、装置、计算机设备以及存储介质 | |
| CN112541410B (zh) | 一种金库人员行为规范检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200623 |