CN115063739B - 异常行为的检测方法、装置、设备及计算机存储介质 - Google Patents

异常行为的检测方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN115063739B
CN115063739B CN202210654653.6A CN202210654653A CN115063739B CN 115063739 B CN115063739 B CN 115063739B CN 202210654653 A CN202210654653 A CN 202210654653A CN 115063739 B CN115063739 B CN 115063739B
Authority
CN
China
Prior art keywords
target
labeling
vertex
line segment
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210654653.6A
Other languages
English (en)
Other versions
CN115063739A (zh
Inventor
吴新涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiayang Smart Security Technology Beijing Co ltd
Original Assignee
Jiayang Smart Security Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiayang Smart Security Technology Beijing Co ltd filed Critical Jiayang Smart Security Technology Beijing Co ltd
Priority to CN202210654653.6A priority Critical patent/CN115063739B/zh
Publication of CN115063739A publication Critical patent/CN115063739A/zh
Application granted granted Critical
Publication of CN115063739B publication Critical patent/CN115063739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种异常行为的检测方法、装置、设备及计算机存储介质，涉及人工智能领域。该方法包括：获取图像序列，图像序列包括多张待测图像，待测图像至少包括作业设备；根据识别模型识别图像序列中的作业设备以及目标对象，得到识别结果；在识别结果包括作业设备的第一检测框和目标对象的第二检测框的情况下，确定第一检测框和第二检测框之间的重叠度；根据重叠度，确定图像序列中是否存在所述异常行为。根据本申请实施例，能够及时发现安全隐患，提高安全隐患的排查效率。

Description

异常行为的检测方法、装置、设备及计算机存储介质
技术领域
本申请属于人工智能领域，尤其涉及一种异常行为的检测方法、装置、设备及计算机存储介质。
背景技术
石油行业中，在油管排等作业设备运行时，禁止人员或动物等目标对象出现在作业设备附近的预设范围内或者对作业设备进行操作等异常行为，避免出现安全隐患。
目前，主要通过人工查看监控视频或管理人员现场查看的方式来确定是否存在异常行为。这种方式存在安全隐患的排查效率低，不能及时发现安全隐患的问题。
发明内容
本申请实施例提供一种异常行为的检测方法、装置、设备及计算机存储介质，能够及时发现安全隐患，提高安全隐患的排查效率。
第一方面，本申请实施例提供一种异常行为的检测方法，方法包括：
获取图像序列，图像序列包括多张待测图像，待测图像至少包括作业设备；
根据识别模型识别图像序列中的作业设备以及目标对象，得到识别结果；
在识别结果包括作业设备的第一检测框和目标对象的第二检测框的情况下，确定第一检测框和第二检测框之间的重叠度；
根据重叠度，确定图像序列中是否存在异常行为。
第二方面，本申请实施例提供了一种异常行为的检测装置，装置包括：
获取模块，用于获取图像序列，图像序列包括多张待测图像，待测图像至少包括作业设备；
得到模块，用于根据识别模型识别图像序列中的作业设备以及目标对象，得到识别结果；
第一确定模块，用于在识别结果包括作业设备的第一检测框和目标对象的第二检测框的情况下，确定第一检测框和第二检测框之间的重叠度；
第二确定模块，用于根据重叠度，确定图像序列中是否存在异常行为。
第三方面，本申请实施例提供了一种电子设备，设备包括：
处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现如第一方面的异常行为的检测方法。
第四方面，本申请实施例提供了一种计算机存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面的异常行为的检测方法。
第五方面，本申请实施例提供了一种计算机程序产品，计算机程序产品中的指令由电子设备的处理器执行时，电子设备执行如第一方面的异常行为的检测方法。
本申请实施例提供的异常行为的检测方法，首先获取包括多张待测图像的图像序列，待测图像至少包括作业设备。由于图像序列中相邻前后两张待测图像存在信息冗余，且相邻前后两张待测图像之间间隔的采集时间非常短，因此，通过多张待测图像的图像序列能够实时检测作业设备，进而能够及时发现安全隐患。然后根据识别模型识别图像序列中的作业设备以及目标对象，得到识别结果，在识别结果包括作业设备的第一检测框和目标对象的第二检测框的情况下，确定第一检测框和第二检测框之间的重叠度，最后根据重叠度，确定图像序列中是否存在异常行为。即，通过识别模型识别出第一检测框和第二检测框，并通过第一检测框和第二检测框之间的重叠度，自动确定图像序列中是否存在异常行为，整个过程无需人工干预，相对于通过人工查看监控视频或管理人员现场查看的方式来确定是否存在异常行为，能够提高安全隐患的排查效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的异常行为的检测方法的实施例的流程示意图；
图2至图5是本申请提供的标注坐标的排序的实施例的示意图；
图6是本申请提供的异常行为的检测装置的实施例的结构示意图；
图7是本申请提供的电子设备的实施例的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本申请实施例提供了一种异常行为的检测方法、装置、设备及计算机存储介质。下面首先对本申请实施例所提供的异常行为的检测方法进行介绍。
图1示出了本申请提供的异常行为的检测方法的实施例的流程示意图。
如图1所示，本申请实施例提供的异常行为的检测方法，可以应用于电子设备，上述方法可以包括以下步骤S101至步骤S104。
S101、获取图像序列，上述图像序列包括多张待测图像，上述待测图像至少包括作业设备。
S102、根据识别模型识别上述图像序列中的作业设备以及目标对象，得到识别结果。
S103、在上述识别结果包括上述作业设备的第一检测框和上述目标对象的第二检测框的情况下，确定上述第一检测框和上述第二检测框之间的重叠度。
S104、根据上述重叠度，确定上述图像序列中是否存在上述异常行为。
本申请实施例提供的异常行为的检测方法，首先获取包括多张待测图像的图像序列，待测图像至少包括作业设备。由于图像序列中相邻前后两张待测图像存在信息冗余，且相邻前后两张待测图像之间间隔的采集时间非常短，因此，通过多张待测图像的图像序列能够实时检测作业设备，进而能够及时发现安全隐患。然后根据识别模型识别图像序列中的作业设备以及目标对象，得到识别结果，在识别结果包括作业设备的第一检测框和目标对象的第二检测框的情况下，确定第一检测框和第二检测框之间的重叠度，最后根据重叠度，确定图像序列中是否存在异常行为。即，通过识别模型识别出第一检测框和第二检测框，并通过第一检测框和第二检测框之间的重叠度，自动确定图像序列中是否存在异常行为，整个过程无需人工干预，相对于通过人工查看监控视频或管理人员现场查看的方式来确定是否存在异常行为，能够提高安全隐患的排查效率。
下面介绍上述各个步骤的具体实现方式。
在S101中，上述图像序列可以是包括多张连续待测图像的图像序列，也可以是包括多张不连续的待测图像的图像序列。上述连续与不连续分别可以理解为时间上的连续和时间上的不连续。例如，上述图像序列可以包括每隔预设时间获取的多张上述待测图像。
上述作业设备可以是能够作业的设备，例如油管排等。
作为一个示例，上述图像序列可以包括45张待测图像。
上述获取图像序列，可以是获取监控设备采集的作业设备的待测视频；根据预设间隔时间对上述待测视频进行切帧，得到多张待测图像；按照采集时间的先后顺序，对上述多张待测图像进行排序，得到图像序列；还可以是获取上述监控设备采集的作业设备的多张待测图像；按照采集时间的先后顺序，对上述多张待测图像进行排序，得到图像序列。即，上述图像序列可以是通过采集的待测视频间接获取，也可以通过采集的待测图像直接获取，在此不做限定。
上述监控设备可以是摄像头等。上述监控设备可以安装在上述作业设备附近的建筑物上，用于采集上述作业设备的待测视频或待测图像。可选地，上述监控设备与上述作业设备的距离小于预设距离。例如，上述监控设备与上述作业设备的距离小于100米。
在S102中，上述电子设备在获取上述图像序列之后，根据识别模型识别上述图像序列中的作业设备以及目标对象，得到识别结果。
上述识别模块可以是能够识别上述图像序列中的作业设备以及目标对象的模型。
上述目标对象可以是能够影响上述作业设备正常工作的对象，例如人员和动物等。
上述识别结果可以仅包括上述作业设备的第一检测框，也可以包括上述作业设备的第一检测框和上述目标对象的第二检测框。
为了方便传输图像序列中的信息，上述根据识别模型识别上述图像序列中的作业设备以及目标对象，得到识别结果之前，还可以包括：
将上述图像序列中的待测图像转换为字节流图像；
将上述字节流图像转换为图像矩阵；
上述根据识别模型识别上述图像序列中的作业设备以及目标对象，得到识别结果，可以包括：
根据识别模型识别上述图像矩阵中的作业设备以及目标对象，得到识别结果。
本实施方式中，通过将图像序列中的待测图像转换为字节流图像，利用字节流图像进行传输，能够方便传输图像序列中的信息。
上述字节流图像可以理解为由字节组成的图像。
上述根据识别模型识别上述图像序列中的作业设备以及目标对象，得到识别结果之前，还可以包括：
获取多张样本图像，上述样本图像至少包括上述作业设备和目标对象；
针对每张样本图像，响应于用户对样本图像的操作，用标注框对上述样本图像中的上述作业设备和上述目标对象进行标注，得到标注样本；
针对每个上述标注样本中的标注框，根据预设坐标顺序协议对上述标注框的特征点在预设坐标系中的标注坐标进行排序，得到标注坐标序列；上述预设坐标系为沿第一方向延伸的第一坐标轴和沿第二方向延伸的第二坐标轴构建成的直角坐标系；
将上述标注坐标序列添加至对应的上述标注样本中；
根据每张上述样本图像及每张上述样本图像对应的上述标注样本，构建训练样本；
利用多个上述训练样本对预设模型进行训练，得到识别模型。
上述获取多张样本图像的过程与上述获取图像序列的过程相似，在此不再赘述。
在一些实施方式中，上述第一坐标轴可以为X轴，上述第二坐标轴可以为Y轴；在另一些实施方式中，上述第一坐标轴可以为Y轴，上述第二坐标轴可以为X轴，在此不做限定。
在上述将上述标注坐标序列添加至对应的上述标注样本中之前，上述标注样本可以包括上述样本图像中作业设备的标注框和上述目标对象的标注框。在上述将上述标注坐标序列添加至对应的上述标注样本中之后，上述标注样本可以包括上述样本图像中作业设备的标注框、上述目标对象的标注框和上述标注坐标序列。
可选的，上述预设模型可以为YOLOv5网络模型，上述YOLOv5网络模型可以采用8倍、16倍、32倍下采样特征图。
在一些实施方式中，上述标注框的特征点至少可以包括标注框的顶点坐标。
在另一些实施方式中，在上述标注框不是矩形框的情况下，上述标注框的特征点还可以包括上述标注框的最小外接矩形的中心坐标。
经发明人研究发现，上述作业设备在上述样本图像中的形状为任意多边形，常用的标准水平矩形标注框会引入背景信息，对上述作业设备的空间位置信息引入干扰，从而进一步影响异常行为检测的准确性。为了提高异常行为检测的准确性，上述标注框的形状可以为多边形。
本实施方式中，通过形状为多边形的标注框对上述样本图像中的上述作业设备进行标注，能够提高上述工作设备空间位置信息，从而提高异常行为检测的准确性。
可选的，上述标注框的形状为凸多边形。
在一些实施方式中，上述标注框的形状为四边形，上述针对每个上述标注样本中的标注框，根据预设坐标顺序协议对上述标注框的特征点在预设坐标系中的标注坐标进行排序，得到标注坐标序列，可以包括：
步骤B1：针对每个上述标注样本中的标注框，确定上述标注框中在上述第一坐标轴上的坐标最小的顶点为第一目标顶点；
步骤B2：将上述第一目标顶点与除上述第一目标顶点以外的其他顶点连接，得到第一线段、第二线段和第三线段；将上述第一线段、上述第二线段和上述第三线段中最长线段对应的其他顶点作为第三目标顶点；将除上述第一目标顶点以及上述第三目标顶点之外，沿上述第二方向靠近原点的顶点作为第二目标顶点；将除上述第一目标顶点、上述第二目标顶点和上述第三目标顶点以外的顶点作为第四目标顶点；
步骤B3：将上述第二目标顶点与上述第四目标顶点连接，得到第四线段；在目标线段的斜率不为无穷大的情况下，将上述目标线段上上述第一坐标轴上的坐标最小的顶点更新上述第一目标顶点，循环步骤B2，直至确定上述第二目标顶点、上述第三目标顶点以及上述第四目标顶点；在上述目标线段的斜率为无穷大的情况下，将上述目标线段上上述第二坐标轴上的坐标最小的顶点作为上述第一目标顶点，循环步骤B2，直至确定上述第二目标顶点、上述第三目标顶点以及上述第四目标顶点；上述目标线段为上述第三线段和上述最长线段中斜率最大的线段；
步骤B4：根据上述第一目标顶点、上述第二目标顶点、上述第三目标顶点、上述第四目标顶点和上述标注框的最小外接矩形的中心坐标，确定标注坐标序列。
请一并参阅图2至图5，图2至图5是本申请提供的标注坐标的排序的实施例的示意图。
如图2所示，以标注样本中的标注框包括C1、C2、C3和C4四个顶点，第一坐标轴为X轴，第二坐标轴为Y轴为例，首先，比较上述四个顶点的横坐标，确定上述标注框中在横坐标最小的顶点C1为第一目标顶点。
然后，如图3所示，将顶点C2、顶点C3和顶点C4分别与第一目标顶点C1连接，得到第一线段C1C2、第二线段C1C3和第三C1C3。比较第一线段C1C2、第二线段C1C3和第三线段C1C4的线段长度，确定最长线段为第二线段C1C3，将第二线段C1C3对应的顶点C3作为第三目标顶点；将除上述第一目标顶点C1以及上述第三目标顶点C3之外，沿y轴方向靠近原点的顶点C2作为第二目标顶点；将除上述第一目标顶点C1、上述第二目标顶点C2以及上述第三目标顶点C3以外的顶点C4作为第四目标顶点。
第三，如图4所示，将上述第二目标顶点C2与上述第四目标顶点C4连接，得到第四线段C2C4。因为第四线段C2C4的斜率大于线段C1C3的斜率，所以将第四线段C2C4确定为目标线段。目标线段C2C4的斜率不为无穷大，将上述目标线段C2C4上横坐标最小的顶点C2作为上述第一目标顶点。
第四，如图5所示，将上述第一目标顶点C2与除上述第一目标顶点C2以外的其他顶点连接，得到第一线段C2C1、第二线段C2C3和第三线段C2C4。比较第一线段C2C1、第二线段C2C3和第三线段C2C4的线段长度，确定最长线段为第三线段C2C4，将第三线段C2C4对应的顶点C4作为第三目标顶点；将除上述第一目标顶点C2以及上述第三目标顶点C4之外，沿y轴方向靠近原点的顶点C3作为第二目标顶点；将除上述第一目标顶点C2、上述第二目标顶点C3以及上述第三目标顶点C4以外的顶点C1作为第四目标顶点，结束循环。
第五，根据上述第一目标顶点C2、上述第二目标顶点C3、上述第三目标顶点C4、上述第四目标顶点C1和上述标注框的最小外接矩形的中心坐标，确定标注坐标序列为（x0，y0，x1，y1，x2，y2，x3，y3，x4，y4）。其中，（x0，y0）为上述标注框的最小外接矩形的中心坐标；（x1，y1）为上述第一目标顶点C2的坐标；（x2，y2）为上述第二目标顶点C3的坐标；（x3，y3）为上述第三目标顶点C3的坐标；（x4，y4）为上述第四目标顶点C1的坐标。
在一些实施方式中，在存在至少两个上述第一坐标轴上的坐标最小的顶点的情况下，确定上述第一坐标轴上的坐标最小且上述第二坐标轴上的坐标最小的顶点为第一目标顶点。以上述第一坐标轴为X轴，上述第二坐标轴为y轴为例，在存在至少两个顶点的横坐标最小的情况下，确定横坐标最小且纵坐标最小的顶点为第一目标顶点。
上述利用多个上述训练样本对预设模型进行训练，得到识别模块，可以包括：
步骤A1：利用预设模型识别上述训练样本中的作业设备以及目标对象，得到预测识别结果；上述预测识别结果包括上述作业设备的预测检测框的特征点在预设坐标系中的预测坐标，以及上述目标对象的预测检测框的特征点在预设坐标系中的预测坐标；
步骤A2：根据上述预设坐标顺序协议对上述预测坐标进行排序，得到预测坐标序列；
步骤A3：根据上述预测坐标序列以及标注坐标序列，确定上述预设模型的损失函数；
步骤A4：在上述损失函数满足预设训练停止条件的情况下，停止训练，得到识别模型；
步骤A5：在上述损失函数不满足预设训练停止条件的情况下，调整上述预设模型的模型参数，并返回所述步骤A1，直至所述损失函数满足预设训练停止条件，得到识别模型。
上述“根据上述预设坐标顺序协议对上述预测坐标进行排序，得到预测坐标序列”的过程与上述“根据预设坐标顺序协议对上述标注框的特征点在预设坐标系中的标注坐标进行排序，得到标注坐标序列”的过程类似，在此不再赘述。
上述损失函数可以是均方误差损失函数、交叉熵损失函数和合页损失函数等。
上述预设训练停止条件可以根据实际需求设置，在此不做限定。
上述模型参数可以是能够体现上述模型性能的参数。
为了提高训练样本的多样性，在一些实施方式中，上述根据每张上述样本图像以及每张上述样本图像对应的上述标注样本，构建训练样本之后，还可以包括：
利用自动数据增强算法，对上述训练样本进行处理，得到处理后的训练样本，上述自动数据增强算法包括平移、缩放、旋转、掩码、亮度对比调整中的至少一种；
上述利用多个上述训练样本对预设模型进行训练，得到识别模型，可以包括：
利用多个处理后的训练样本对预设模型进行训练，得到识别模型。
本实施方式中，利用自动数据增强算法，对训练样本进行处理，得到处理后的训练样本，能够提高训练样本的多样性；在此基础上，利用多个处理后的训练样本对预设模型进行训练，得到识别模型，能够提高识别模型的检测性能。
在一些实施方式中，上述自动数据增强算法可以包括五个子策略，每个子策略可以包括两种增强方式以及两种增强方式对应的概率和强度，具体如下表表1所示。
Figure SMS_1
其中，TranslateX_BBox表示沿X轴对标注框和训练样本进行平移；Equalize表示对各个通道进行直方图均衡化；TranslateY_Only_BBoxes表示沿Y轴对标注框进行随机平移；Cutout表示将训练样本中部分矩形区域删除；Sharpness表示进行图像锐化；ShearX_BBox表示沿X轴对标注框和训练样本进行错切；ShearY_BBox表示沿Y轴对标注框和训练样本进行错切；Rotate_BBox表示对训练样本和标注框进行旋转；Color表示对训练样本进行色彩变换。
可选的，上述利用自动数据增强算法，对上述训练样本进行处理，得到处理后的训练样本，可以包括针对每个训练样本，根据任意一个子策略进行增强，得到增强后的训练样本。
在S103中，上述电子设备在根据识别模型识别上述图像序列中的作业设备以及目标对象，得到识别结果之后，在上述识别结果包括上述作业设备的第一检测框和上述目标对象的第二检测框的情况下，确定上述第一检测框和上述第二检测框之间的重叠度。
上述在上述识别结果包括上述作业设备的第一检测框和上述目标对象的第二检测框的情况下，确定上述第一检测框和上述第二检测框之间的重叠度，可以包括：
在上述识别结果包括上述作业设备的第一检测框和目标对象的第二检测框的情况下，确定上述第一检测框和上述第二检测框之间的重叠面积，以及上述第一检测框和上述第二检测框之间的非重叠面积；
根据上述重叠面积和上述非重叠面积，确定上述第一检测框和上述第二检测框之间的重叠度。
上述根据上述重叠面积和上述非重叠面积，确定上述第一检测框和上述第二检测框之间的重叠度，可以是将上述重叠面积与上述非重叠面积的比值确定为上述第一检测框和上述第二检测框之间的重叠度。
或者，在一些实施方式中，上述根据上述重叠面积和上述非重叠面积，确定上述第一检测框和上述第二检测框之间的重叠度，可以包括：
计算上述重叠面积与上述非重叠面积之间的面积和；
将上述重叠面积与上述面积和的比值确定为上述第一检测框和上述第二检测框之间的重叠度。
在一些实施方式中，在上述识别结果仅包括上述作业设备的第一检测框的情况下，确定上述图像序列中不存在上述异常行为。
在S104中，上述电子设备在上述识别结果包括上述作业设备的第一检测框和上述目标对象的第二检测框的情况下，确定上述第一检测框和上述第二检测框之间的重叠度之后，根据上述重叠度，确定上述图像序列中是否存在上述异常行为。
上述根据上述重叠度，确定上述图像序列中是否存在上述异常行为，可以包括：
在上述重叠度大于预设重叠度的情况下，确定上述图像序列中存在上述异常行为；
在上述重叠度小于上述预设重叠度的情况下，确定上述图像序列中不存在上述异常行为。
上述预设重叠度可以根据实际情况设定，例如，上述预设重叠度为0.7。
在一些实施方式中，为了便于及时处理异常行为，上述重叠度大于预设重叠度的情况下，确定上述图像序列中存在上述异常行为之后，还可以包括：
输出报警信息，上述报警信息用于指示上述图像序列中存在上述异常行为。
本实施方式中，在确定图像序列中存在异常行为之后，输出报警信息，以便及时处理异常行为。
上述输出报警信息可以是以语音和/或文字的形式输出上述报警信息。
基于上述实施例提供的异常行为的检测方法，本申请还提供了异常行为的检测装置。以下将对上述页面生成装置进行具体说明。
图6是本申请提供的异常行为的检测装置的实施例的结构示意图。如图6所示，上述异常行为的检测装置600可以应用于电子设备，可以包括：
获取模块610，用于获取图像序列，上述图像序列包括多张待测图像，上述待测图像至少包括作业设备；
得到模块620，用于根据识别模型识别上述图像序列中的作业设备以及目标对象，得到识别结果；
第一确定模块630，用于在上述识别结果包括上述作业设备的第一检测框和目标对象的第二检测框的情况下，确定上述第一检测框和上述第二检测框之间的重叠度；
第二确定模块640，用于根据上述重叠度，确定上述图像序列中是否存在上述异常行为。
在一些实施方式中，上述第一确定模块630，可以具体用于：
在上述识别结果包括上述作业设备的第一检测框和目标对象的第二检测框的情况下，确定上述第一检测框和上述第二检测框之间的重叠面积，以及上述第一检测框和上述第二检测框之间的非重叠面积；
根据上述重叠面积和上述非重叠面积，确定上述第一检测框和所述上述第二检测框之间的重叠度。
在一些实施方式中，上述第二确定模块640，可以具体用于：
在上述重叠度大于预设重叠度的情况下，确定上述图像序列中存在上述异常行为；
在上述重叠度小于上述预设重叠度的情况下，确定上述图像序列中不存在上述异常行为。
在一些实施方式中，上述异常行为的检测装置600，还可以包括：
输出模块，用于输出报警信息，上述报警信息用于指示上述图像序列中存在上述异常行为。
在一些实施方式中，上述异常行为的检测装置600，还可以包括：
第一转换模块，用于将上述图像序列中的待测图像转换为字节流图像；
第二转换模块，用于将上述字节流图像转换为图像矩阵；
上述得到模块630，可以具体用于：
根据识别模型识别上述图像矩阵中的作业设备以及目标对象，得到识别结果。
在一些实施方式中，上述异常行为的检测装置600，还可以包括：
上述获取模块610，还用于获取多张样本图像，上述样本图像至少包括上述作业设备和目标对象；
标注模块，用于针对每张样本图像，响应于用户对样本图像的操作，用标注框对上述样本图像中的上述作业设备和上述目标对象进行标注，得到标注样本；
排序模块，用于针对每个上述标注样本中的标注框，根据预设坐标顺序协议对上述标注框的特征点在预设坐标系中的标注坐标进行排序，得到标注坐标序列；上述预设坐标系为沿第一方向延伸的第一坐标轴和沿第二方向延伸的第二坐标轴构建成的直角坐标系；将上述标注坐标序列添加至对应的上述标注样本中；
构建模块，用于根据每张上述样本图像及每张上述样本图像对应的上述标注样本，构建训练样本；
训练模块，用于利用多个上述训练样本对预设模型进行训练，得到识别模型。
在一些实施方式中，上述标注框的形状为多边形。
在一些实施方式中，上述异常行为的检测装置600，还可以包括：
处理模块，用于利用自动数据增强算法，对上述训练样本进行处理，得到处理后的训练样本，上述自动数据增强算法包括平移、缩放、旋转、掩码、亮度对比度调整中的至少一种；
上述训练模块，可以具体用于：
利用多个处理后的训练样本对预设模型进行训练，得到识别模型。
在一些实施方式中，上述训练模块，可以具体用于：
步骤A1：利用预设模型识别上述训练样本中的作业设备以及目标对象，得到预测识别结果；上述预测识别结果包括上述作业设备的预测检测框的特征点在预设坐标系中的预测坐标，以及上述目标对象的预测检测框的特征点在预设坐标系中的预测坐标；
步骤A2：根据上述预设坐标顺序协议对上述预测坐标进行排序，得到预测坐标序列；
步骤A3：根据上述预测坐标序列以及标注坐标序列，确定上述预设模型的损失函数；
步骤A4：在上述损失函数满足预设训练停止条件的情况下，停止训练，得到识别模型；
步骤A5：在上述损失函数不满足预设训练停止条件的情况下，调整上述预设模型的模型参数，并返回上述步骤A1，直至上述损失函数满足预设训练停止条件，得到识别模型。
在一些实施方式中，上述标注框的特征点至少可以包括：标注框的顶点坐标。
在一些实施方式中，在上述标注框不是矩形框的情况下，上述标注框的特征点还可以包括上述标注框的最小外接矩形的中心坐标。
在一些实施方式中，上述排序模块，可以具体用于：
步骤B1：针对每个上述标注样本中的标注框，确定上述标注框中在上述第一坐标轴上的坐标最小的顶点为第一目标顶点；
步骤B2：将上述第一目标顶点与除上述第一目标顶点以外的其他顶点连接，得到第一线段、第二线段和第三线段；将上述第一线段、上述第二线段和上述第三线段中最长线段对应的其他顶点作为第三目标顶点；将除上述第一目标顶点以及上述第三目标顶点之外，沿上述第二方向靠近原点的顶点作为第二目标顶点；将除上述第一目标顶点、上述第二目标顶点和上述第三目标顶点以外的顶点作为第四目标顶点；
步骤B3：将上述第二目标顶点与上述第四目标顶点连接，得到第四线段；在目标线段的斜率不为无穷大的情况下，将上述目标线段上上述第一坐标轴上的坐标最小的顶点作为上述第一目标顶点，循环步骤B2，直至确定上述第二目标顶点、上述第三目标顶点以及上述第四目标顶点；在上述目标线段的斜率为无穷大的情况下，将上述目标线段上上述第二坐标轴上的坐标最小的顶点作为上述第一目标顶点，循环步骤B2I，直至确定上述第二目标顶点、上述第三目标顶点以及上述第四目标顶点；上述目标线段为上述第四线段和上述最长线段中斜率最大的线段；
步骤B4：根据上述第一目标顶点、上述第二目标顶点、上述第三目标顶点、上述第四目标顶点和上述标注框的最小外接矩形的中心坐标，确定标注坐标序列。
在一些实施方式中，上述排序模块，还可以具体用于：
在存在至少两个上述第一坐标轴上的坐标最小的顶点的情况下，确定上述第一坐标轴上的坐标最小且上述第二坐标轴上的坐标最小的顶点为第一目标顶点。
关于上述实施例中的装置，其中各个模块执行操作的具体方式以及有益效果已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于上述实施例提供的异常行为的检测方法和异常行为的检测装置，还提供了一种电子设备。以下将对上述电子设备进行具体说明。
图7示出了本申请提供的电子设备的实施例的结构示意图。
在电子设备可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地，上述处理器701可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在综合网关容灾设备的内部或外部。在特定实施例中，存储器702是非易失性固态存储器。
存储器可包括只读存储器（ROM），随机存取存储器（RAM），磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形（非暂态）计算机可读存储介质（例如，存储器设备），并且当该软件被执行（例如，由一个或多个处理器）时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。
处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现上述实施例中的任意一种异常行为的检测方法。
在一个示例中，电子设备还可包括通信接口703和总线710。其中，如图7所示，处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。
通信接口703，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线710包括硬件、软件或两者，将异常行为的检测设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（AGP）或其他图形总线、增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、外围组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线710可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的异常行为的检测方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种异常行为的检测方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (14)

1.一种异常行为的检测方法，其特征在于，包括：
获取图像序列，所述图像序列包括多张待测图像，所述待测图像至少包括作业设备；
根据识别模型识别所述图像序列中的作业设备以及目标对象，得到识别结果；
在所述识别结果包括所述作业设备的第一检测框和所述目标对象的第二检测框的情况下，确定所述第一检测框和所述第二检测框之间的重叠度；
根据所述重叠度，确定所述图像序列中是否存在所述异常行为；
所述根据识别模型识别所述图像序列中的作业设备以及目标对象，得到识别结果之前，还包括：
获取多张样本图像，所述样本图像至少包括所述作业设备和目标对象；
针对每张样本图像，响应于用户对样本图像的操作，用标注框对所述样本图像中的所述作业设备和所述目标对象进行标注，得到标注样本；
针对每个所述标注样本中的标注框，根据预设坐标顺序协议对所述标注框的特征点在预设坐标系中的标注坐标进行排序，得到标注坐标序列；所述预设坐标系为沿第一方向延伸的第一坐标轴和沿第二方向延伸的第二坐标轴构建成的直角坐标系；将所述标注坐标序列添加至对应的所述标注样本中；
根据每张所述样本图像及每张所述样本图像对应的所述标注样本，构建训练样本；
利用多个所述训练样本对预设模型进行训练，得到识别模型；
所述标注框的形状为四边形，所述针对每个所述标注样本中的标注框，根据预设坐标顺序协议对所述标注框的特征点在预设坐标系中的标注坐标进行排序，得到标注坐标序列，包括：
步骤B1：针对每个所述标注样本中的标注框，确定所述标注框中在所述第一坐标轴上的坐标最小的顶点为第一目标顶点；
步骤B2：将所述第一目标顶点与除所述第一目标顶点以外的其他顶点连接，得到第一线段、第二线段和第三线段；将所述第一线段、所述第二线段和所述第三线段中最长线段对应的其他顶点作为第三目标顶点；将除所述第一目标顶点以及所述第三目标顶点之外，沿所述第二方向靠近原点的顶点作为第二目标顶点；将除所述第一目标顶点、所述第二目标顶点和所述第三目标顶点以外的顶点作为第四目标顶点；
步骤B3：将所述第二目标顶点与所述第四目标顶点连接，得到第四线段；在目标线段的斜率不为无穷大的情况下，将所述目标线段上所述第一坐标轴上的坐标最小的顶点作为所述第一目标顶点，循环步骤B2，直至确定所述第二目标顶点、所述第三目标顶点以及所述第四目标顶点；在所述目标线段的斜率为无穷大的情况下，将所述目标线段上所述第二坐标轴上的坐标最小的顶点作为所述第一目标顶点，循环步骤B2I，直至确定所述第二目标顶点、所述第三目标顶点以及所述第四目标顶点；所述目标线段为所述第四线段和所述最长线段中斜率最大的线段；
步骤B4：根据所述第一目标顶点、所述第二目标顶点、所述第三目标顶点、所述第四目标顶点和所述标注框的最小外接矩形的中心坐标，确定标注坐标序列。
2.根据权利要求1所述的异常行为的检测方法，其特征在于，所述在所述识别结果包括所述作业设备的第一检测框和目标对象的第二检测框的情况下，确定所述第一检测框和所述第二检测框之间的重叠度，包括：
在所述识别结果包括所述作业设备的第一检测框和目标对象的第二检测框的情况下，确定所述第一检测框和所述第二检测框之间的重叠面积，以及所述第一检测框和所述第二检测框之间的非重叠面积；
根据所述重叠面积和所述非重叠面积，确定所述第一检测框和所述第二检测框之间的重叠度。
3.根据权利要求2所述的异常行为的检测方法，其特征在于，所述根据所述重叠度，确定所述图像序列中是否存在所述异常行为，包括：
在所述重叠度大于预设重叠度的情况下，确定所述图像序列中存在所述异常行为；
在所述重叠度小于所述预设重叠度的情况下，确定所述图像序列中不存在所述异常行为。
4.根据权利要求3所述的异常行为的检测方法，其特征在于，所述在所述重叠度大于预设重叠度的情况下，确定所述图像序列中存在所述异常行为之后，还包括：
输出报警信息，所述报警信息用于指示所述图像序列中存在所述异常行为。
5.根据权利要求1-4中任一项所述的异常行为的检测方法，其特征在于，所述根据识别模型识别所述图像序列中的作业设备以及目标对象，得到识别结果之前，还包括：
将所述图像序列中的待测图像转换为字节流图像；
将所述字节流图像转换为图像矩阵；
所述根据识别模型识别所述图像序列中的作业设备以及目标对象，得到识别结果，包括：
根据识别模型识别所述图像矩阵中的作业设备以及目标对象，得到识别结果。
6.根据权利要求1所述的异常行为的检测方法，其特征在于，所述标注框的形状为多边形。
7.根据权利要求1所述的异常行为的检测方法，其特征在于，所述根据每张所述样本图像及每张所述样本图像对应的所述标注样本，构建训练样本之后，还包括：
利用自动数据增强算法，对所述训练样本进行处理，得到处理后的训练样本，所述自动数据增强算法包括平移、缩放、旋转、掩码、亮度对比度调整中的至少一种；
所述利用多个所述训练样本对预设模型进行训练，得到识别模型，包括：
利用多个处理后的训练样本对预设模型进行训练，得到识别模型。
8.根据权利要求1所述的异常行为的检测方法，其特征在于，所述利用多个所述训练样本对预设模型进行训练，得到识别模型，包括：
步骤A1：利用预设模型识别所述训练样本中的作业设备以及目标对象，得到预测识别结果；所述预测识别结果包括所述作业设备的预测检测框的特征点在预设坐标系中的预测坐标，以及所述目标对象的预测检测框的特征点在预设坐标系中的预测坐标；
步骤A2：根据所述预设坐标顺序协议对所述预测坐标进行排序，得到预测坐标序列；
步骤A3：根据所述预测坐标序列以及标注坐标序列，确定所述预设模型的损失函数；
步骤A4：在所述损失函数满足预设训练停止条件的情况下，停止训练，得到识别模型；
步骤A5：在所述损失函数不满足预设训练停止条件的情况下，调整所述预设模型的模型参数，并返回所述步骤A1，直至所述损失函数满足预设训练停止条件，得到识别模型。
9.根据权利要求8所述的异常行为的检测方法，其特征在于，所述标注框的特征点至少包括：标注框的顶点坐标。
10.根据权利要求9所述的异常行为的检测方法，其特征在于，在所述标注框不是矩形框的情况下，所述标注框的特征点还包括所述标注框的最小外接矩形的中心坐标。
11.根据权利要求1所述的异常行为的检测方法，其特征在于，所述步骤B1，包括：
在存在至少两个所述第一坐标轴上的坐标最小的顶点的情况下，确定所述第一坐标轴上的坐标最小且所述第二坐标轴上的坐标最小的顶点为第一目标顶点。
12.一种异常行为的检测装置，其特征在于，包括：
获取模块，用于获取图像序列，所述图像序列包括多张待测图像，所述待测图像至少包括作业设备；
得到模块，用于根据识别模型识别所述图像序列中的作业设备以及目标对象，得到识别结果；
第一确定模块，用于在所述识别结果包括所述作业设备的第一检测框和目标对象的第二检测框的情况下，确定所述第一检测框和所述第二检测框之间的重叠度；
第二确定模块，用于根据所述重叠度，确定所述图像序列中是否存在所述异常行为；
所述获取模块，还用于获取多张样本图像，所述样本图像至少包括所述作业设备和目标对象；
标注模块，用于针对每张样本图像，响应于用户对样本图像的操作，用标注框对所述样本图像中的所述作业设备和所述目标对象进行标注，得到标注样本；
排序模块，用于针对每个所述标注样本中的标注框，根据预设坐标顺序协议对所述标注框的特征点在预设坐标系中的标注坐标进行排序，得到标注坐标序列；所述预设坐标系为沿第一方向延伸的第一坐标轴和沿第二方向延伸的第二坐标轴构建成的直角坐标系；将所述标注坐标序列添加至对应的所述标注样本中；
构建模块，用于根据每张所述样本图像及每张所述样本图像对应的所述标注样本，构建训练样本；
训练模块，用于利用多个所述训练样本对预设模型进行训练，得到识别模型；
所述标注框的形状为四边形，所述排序模块，具体用于：
步骤B1：针对每个所述标注样本中的标注框，确定所述标注框中在所述第一坐标轴上的坐标最小的顶点为第一目标顶点；
步骤B2：将所述第一目标顶点与除所述第一目标顶点以外的其他顶点连接，得到第一线段、第二线段和第三线段；将所述第一线段、所述第二线段和所述第三线段中最长线段对应的其他顶点作为第三目标顶点；将除所述第一目标顶点以及所述第三目标顶点之外，沿所述第二方向靠近原点的顶点作为第二目标顶点；将除所述第一目标顶点、所述第二目标顶点和所述第三目标顶点以外的顶点作为第四目标顶点；
步骤B3：将所述第二目标顶点与所述第四目标顶点连接，得到第四线段；在目标线段的斜率不为无穷大的情况下，将所述目标线段上所述第一坐标轴上的坐标最小的顶点作为所述第一目标顶点，循环步骤B2，直至确定所述第二目标顶点、所述第三目标顶点以及所述第四目标顶点；在所述目标线段的斜率为无穷大的情况下，将所述目标线段上所述第二坐标轴上的坐标最小的顶点作为所述第一目标顶点，循环步骤B2I，直至确定所述第二目标顶点、所述第三目标顶点以及所述第四目标顶点；所述目标线段为所述第四线段和所述最长线段中斜率最大的线段；
步骤B4：根据所述第一目标顶点、所述第二目标顶点、所述第三目标顶点、所述第四目标顶点和所述标注框的最小外接矩形的中心坐标，确定标注坐标序列。
13.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-11中任意一项所述的异常行为的检测方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-11任意一项所述的异常行为的检测方法。
CN202210654653.6A 2022-06-10 2022-06-10 异常行为的检测方法、装置、设备及计算机存储介质 Active CN115063739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210654653.6A CN115063739B (zh) 2022-06-10 2022-06-10 异常行为的检测方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210654653.6A CN115063739B (zh) 2022-06-10 2022-06-10 异常行为的检测方法、装置、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN115063739A CN115063739A (zh) 2022-09-16
CN115063739B true CN115063739B (zh) 2023-06-16

Family

ID=83199812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210654653.6A Active CN115063739B (zh) 2022-06-10 2022-06-10 异常行为的检测方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115063739B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908895A (zh) * 2022-10-28 2023-04-04 清华大学 工业场景中安全隐患排查方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010039680A (ja) * 2008-08-04 2010-02-18 Fujitsu Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
WO2012161431A2 (ko) * 2011-05-23 2012-11-29 아진산업(주) 차량 어라운드 뷰 영상 생성 방법
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN113313751A (zh) * 2021-04-30 2021-08-27 中国人民解放军军事科学院国防科技创新研究院 图像数据目标检测倾斜框自动标注方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3075433B1 (fr) * 2017-12-20 2019-11-15 Airbus Defence And Space Sas Procede de determination des bords saillants d'une cible sur une image
CN108154509B (zh) * 2018-01-12 2022-11-11 平安科技（深圳）有限公司 癌症识别方法、装置及存储介质
CN109086662B (zh) * 2018-06-19 2021-06-15 浙江大华技术股份有限公司 一种异常行为检测方法及装置
CN109299274B (zh) * 2018-11-07 2021-12-17 南京大学 一种基于全卷积神经网络的自然场景文本检测方法
CN111626279B (zh) * 2019-10-15 2023-06-02 西安网算数据科技有限公司 一种负样本标注训练方法及高度自动化的票据识别方法
CN111626295B (zh) * 2020-07-27 2021-02-09 杭州雄迈集成电路技术股份有限公司 车牌检测模型的训练方法和装置
CN112016413B (zh) * 2020-08-13 2022-06-07 南京领行科技股份有限公司 对象间异常行为的检测方法及装置
CN112149561B (zh) * 2020-09-23 2024-04-16 杭州睿琪软件有限公司 图像处理方法和装置、电子设备和存储介质
CN112734699A (zh) * 2020-12-24 2021-04-30 浙江大华技术股份有限公司 物品状态告警方法、装置、存储介质及电子装置
CN112633277B (zh) * 2020-12-30 2024-04-05 杭州电子科技大学 基于深度学习的航道船牌检测、定位及识别方法
CN112818844A (zh) * 2021-01-29 2021-05-18 成都商汤科技有限公司 安检异常事件检测方法及装置、电子设备和存储介质
CN113901871A (zh) * 2021-09-07 2022-01-07 武汉未来幻影科技有限公司 一种驾驶员危险动作识别方法、装置以及设备
CN113537158B (zh) * 2021-09-09 2022-03-08 科大讯飞(苏州)科技有限公司 一种图像目标检测方法、装置、设备及存储介质
CN114008673A (zh) * 2021-09-13 2022-02-01 商汤国际私人有限公司 游戏标识物的检测方法、装置、设备、系统及存储介质
CN113901906A (zh) * 2021-09-30 2022-01-07 正星科技股份有限公司 加油枪的移动风险预警方法、装置、电子设备及介质
CN113762232A (zh) * 2021-11-11 2021-12-07 长沙海信智能系统研究院有限公司 行为检测方法、装置、设备及计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010039680A (ja) * 2008-08-04 2010-02-18 Fujitsu Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
WO2012161431A2 (ko) * 2011-05-23 2012-11-29 아진산업(주) 차량 어라운드 뷰 영상 생성 방법
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN113313751A (zh) * 2021-04-30 2021-08-27 中国人民解放军军事科学院国防科技创新研究院 图像数据目标检测倾斜框自动标注方法及系统

Also Published As

Publication number Publication date
CN115063739A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN110569899B (zh) 坝面缺陷分类模型训练方法及装置
CN109657564B (zh) 一种人员在岗检测方法、装置、存储介质及终端设备
CN111340787A (zh) 输电线路的导线缺陷检测识别方法、装置及计算机设备
CN113095438A (zh) 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质
CN113592886B (zh) 建筑图纸的审图方法、装置、电子设备及介质
CN115063739B (zh) 异常行为的检测方法、装置、设备及计算机存储介质
CN113435452A (zh) 一种基于改进ctpn算法的电气设备铭牌文本检测方法
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
CN114494990A (zh) 一种目标检测方法、系统、终端设备及存储介质
CN113553876A (zh) 条形码识别方法、装置、设备及存储介质
CN111860687A (zh) 一种图像识别方法、装置、电子设备和存储介质
CN115187563A (zh) 一种用于电力仪表检验的骑缝章检测识别方法及系统
CN113643234B (zh) 一种复合绝缘子破损检测方法、终端设备及可读存储介质
CN113449745B (zh) 标定物图像中标记物的识别方法、装置、设备及可读介质
CN112861701B (zh) 违章停车识别方法、装置、电子设备以及计算机可读介质
CN115272262A (zh) 室外绝缘子表面缺陷识别方法、装置及电子设备
CN114913233A (zh) 图像处理方法、装置、设备、介质及产品
CN113780492A (zh) 一种二维码二值化方法、装置、设备及可读存储介质
CN112967224A (zh) 一种基于人工智能的电子电路板检测系统、方法及介质
CN111612836A (zh) 一种镂空圆形指针式仪表识别方法和系统
CN115063741B (zh) 目标检测方法、装置、设备、介质及产品
CN115861321B (zh) 应用于工业互联网的生产环境检测方法及系统
CN114913232B (zh) 图像处理方法、装置、设备、介质及产品
CN113516161B (zh) 一种隧道施工人员风险预警方法
CN114581890B (zh) 确定车道线的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 1707, Building 2, East Ring Road, Yanqingyuan, Zhongguancun, Yanqing District, Beijing, 102199

Applicant after: Jiayang Smart Security Technology (Beijing) Co.,Ltd.

Address before: Room 1707, Building 2, East Ring Road, Yanqingyuan, Zhongguancun, Yanqing District, Beijing, 102199

Applicant before: PETROMENTOR INTERNATIONAL EDUCATION (BEIJING) CO.,LTD.

GR01 Patent grant
GR01 Patent grant