CN113283849B - 基于视频上下文联系的物流异常智能检测方法 - Google Patents

基于视频上下文联系的物流异常智能检测方法 Download PDF

Info

Publication number
CN113283849B
CN113283849B CN202110840803.8A CN202110840803A CN113283849B CN 113283849 B CN113283849 B CN 113283849B CN 202110840803 A CN202110840803 A CN 202110840803A CN 113283849 B CN113283849 B CN 113283849B
Authority
CN
China
Prior art keywords
video
frame
video frame
calculating
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110840803.8A
Other languages
English (en)
Other versions
CN113283849A (zh
Inventor
聂秀山
李道恒
王春涛
陶鹏
郭杰
李晓峰
王少华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong New Beiyang Information Technology Co Ltd
Shandong Jianzhu University
Original Assignee
Shandong New Beiyang Information Technology Co Ltd
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong New Beiyang Information Technology Co Ltd, Shandong Jianzhu University filed Critical Shandong New Beiyang Information Technology Co Ltd
Priority to CN202110840803.8A priority Critical patent/CN113283849B/zh
Publication of CN113283849A publication Critical patent/CN113283849A/zh
Application granted granted Critical
Publication of CN113283849B publication Critical patent/CN113283849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0832—Special goods or special handling procedures, e.g. handling of hazardous or fragile goods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种基于视频上下文联系的物流异常智能检测方法，通过两个时序方向得到的预测帧综合判断当前视频帧是否是异常事件。避免了人工检测方法存在的异常定义模糊、特征提取繁琐的问题。通过联系上下文语义的方法可以解决物流异常智能检测方法及系统上缺乏视频上下文信息的问题，完善视频上下文的概念能全面地判断视频帧发生的事件是否为异常事件。此外，生成对抗网络中两个生成器的分支不仅用于预测与回溯，因为两个生成器在时序上生成的是同一个视频帧，所以两个生成器的结果对比使得生成的视频帧更加相同，增加生成器的约束。

Description

基于视频上下文联系的物流异常智能检测方法
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于视频上下文联系的物流异常智能检测方法。
背景技术
人工智能被运用到物流中做分拣、运送、识别等领域，实现识别流程监控，商品仓储、配送流程监控等环节中的多种功能，随着生产、物流或仓储配送过程中的物品、设备、人物等目标物流量的数量的不断增多，难免在进行以上流程中会发生异常事件。例如，在物流进行分拣时，若物流的处理方式出现不同于其他正常的事件则发生异常，出现如机器停顿，故障失控，以及部件损坏等异常事件。在工业生产流程中，出现操作人员错误操作等异常行为。这些异常事件或行为仅靠人工的识别和查看，显然费事费力，效率低下。因此，人工智能技术的应用是非常必要的，但是现有技术中，上下文语境的技术还没有应用到视频异常检测中使用。现有基于深度学习的方法，在单一时序上预测未来的视频帧，这样的视频异常检测技术由于没有考虑到当前视频帧的上下文语境，缺少可解释性，所以还不能够精确的判断与检测。
发明内容
本发明为了克服以上技术的不足，提供了一种综合物流对象的前后行为判断是否发生异常事件，提高物流异常智能检测的精确度的基于视频上下文联系的物流异常智能检测方法。
本发明克服其技术问题所采用的技术方案是：
一种基于视频上下文联系的物流异常智能检测方法，包括如下步骤：
a)将N条监控视频作为训练集，每条监控视频划分为K张视频帧，从K张视频帧中取9张视频帧构成视频帧集合I，
Figure 100002_DEST_PATH_IMAGE001
，
Figure 100002_DEST_PATH_IMAGE002
为时刻
Figure 100002_DEST_PATH_IMAGE003
的视频帧；
b)对视频帧集合
Figure 100002_DEST_PATH_IMAGE004
做调换视频帧顺序处理，形成正向输入视频帧片段
Figure 100002_DEST_PATH_IMAGE005
、逆向输入视频片段
Figure 100002_DEST_PATH_IMAGE006
以及作为与生成帧做误差分析的视频帧
Figure 26501DEST_PATH_IMAGE002
；
c)将正向输入视频帧片段
Figure 100002_DEST_PATH_IMAGE007
和逆向输入视频片段
Figure 100002_DEST_PATH_IMAGE008
分别输入到GAN网络的生成器中，分别得到在
Figure 126044DEST_PATH_IMAGE003
时刻富含多等级特征的预测帧
Figure 100002_DEST_PATH_IMAGE009
和
Figure 100002_DEST_PATH_IMAGE010
；
d)计算损失函数；
e)利用损失函数优化GAN网络判别器，得到优化的生成器模型；
f)重复步骤c)至步骤e)M次，得到迭代后的生成器模型；
g)将一监控视频输入至步骤f)中迭代后的生成器模型中，分别计算时刻
Figure 545524DEST_PATH_IMAGE003
的视频帧
Figure 83822DEST_PATH_IMAGE002
与预测帧
Figure 967464DEST_PATH_IMAGE009
的PSNR值
Figure 100002_DEST_PATH_IMAGE011
和视频帧
Figure 769067DEST_PATH_IMAGE002
与预测帧
Figure 738160DEST_PATH_IMAGE010
的PSNR值
Figure 100002_DEST_PATH_IMAGE012
；
h)通过公式
Figure 100002_DEST_PATH_IMAGE013
将两个PSNR值加权计算，得到当前视频帧的总和正常事件得分
Figure 100002_DEST_PATH_IMAGE014
；
i)如果
Figure 100002_DEST_PATH_IMAGE015
，则表明当前视频帧发生异常事件，如果
Figure 100002_DEST_PATH_IMAGE016
，则表明当前视频帧没有发生异常事件，
Figure 100002_DEST_PATH_IMAGE017
为人为 设定的正常事件得分阈值。
进一步的，步骤d)包括如下步骤：
d-1)通过公式
Figure 100002_DEST_PATH_IMAGE018
计算梯度损失值
Figure 100002_DEST_PATH_IMAGE019
，式中
Figure 100002_DEST_PATH_IMAGE020
为二维图像的横坐标，
Figure 100002_DEST_PATH_IMAGE021
为二维图像的纵坐标 ，
Figure 100002_DEST_PATH_IMAGE022
为计算二维图像中沿
Figure 100002_DEST_PATH_IMAGE023
轴的梯度，
Figure 204782DEST_PATH_IMAGE023
轴为横坐标轴
Figure 333144DEST_PATH_IMAGE020
和纵坐标轴
Figure 977752DEST_PATH_IMAGE021
的集合；
d-2)通过公式
Figure 100002_DEST_PATH_IMAGE024
计算得到强度损失值
Figure 100002_DEST_PATH_IMAGE025
，式中
Figure 100002_DEST_PATH_IMAGE026
为将视频帧转换为数值矩阵的函数；
d-3)通过公式
Figure 100002_DEST_PATH_IMAGE027
计算得到光流损失值
Figure 100002_DEST_PATH_IMAGE028
，式中
Figure 100002_DEST_PATH_IMAGE029
为时刻
Figure 621092DEST_PATH_IMAGE003
的视频帧
Figure 376558DEST_PATH_IMAGE002
与前一帧的光流向量，
Figure DEST_PATH_IMAGE030
为时刻
Figure 375738DEST_PATH_IMAGE003
的预测帧
Figure 136057DEST_PATH_IMAGE009
与前一帧的光流向量，
Figure 100002_DEST_PATH_IMAGE031
为时刻
Figure 486266DEST_PATH_IMAGE003
的预测帧
Figure 248686DEST_PATH_IMAGE010
与前一帧的光流向量，
Figure 100002_DEST_PATH_IMAGE032
为光流向量转化为浮点数值的函数；
d-4)视频帧被分为
Figure 100002_DEST_PATH_IMAGE033
个块，通过公式
Figure 100002_DEST_PATH_IMAGE034
计算对抗损失值
Figure 100002_DEST_PATH_IMAGE035
，
Figure 100002_DEST_PATH_IMAGE036
为GAN网络中判别器在图像空间的特征提取函数；
d-5)通过公式
Figure 100002_DEST_PATH_IMAGE038
计算判别器损失函数
Figure 100002_DEST_PATH_IMAGE039
。
进一步的，步骤e)中：将梯度损失值
Figure 132066DEST_PATH_IMAGE019
、强度损失值
Figure 728264DEST_PATH_IMAGE025
、光流损失值
Figure 100002_DEST_PATH_IMAGE040
、对抗损失值
Figure 549458DEST_PATH_IMAGE035
、判别器损失函数
Figure 646727DEST_PATH_IMAGE039
加和计算，将加和后的损失函数优化GAN网络生成器，得到优化后的生成器模型。
优选的，步骤f)中M的取值大于10000。
进一步的，步骤i)中判定的发生异常事件的视频帧以高亮的形式在视频中显示。
本发明的有益效果是：通过两个时序方向得到的预测帧综合判断当前视频帧是否是异常事件。避免了人工检测方法存在的异常定义模糊、特征提取繁琐的问题。通过联系上下文语义的方法可以解决物流异常智能检测方法及系统上缺乏视频上下文信息的问题，完善视频上下文的概念能全面地判断视频帧发生的事件是否为异常事件。此外，生成对抗网络中两个生成器的分支不仅用于预测与回溯，因为两个生成器在时序上生成的是同一个视频帧，所以两个生成器的结果对比使得生成的视频帧更加相同，增加生成器的约束。
具体实施方式
下面对本发明做进一步说明。
一种基于视频上下文联系的物流异常智能检测方法，包括如下步骤：
a)将N条监控视频作为训练集，每条监控视频划分为K张视频帧。将视频划分为多个连续9张视频帧作为检测的输入单位，具体的从K张视频帧中取9张视频帧构成视频帧集合I，
Figure 354920DEST_PATH_IMAGE001
，
Figure 246653DEST_PATH_IMAGE002
为时刻
Figure 289564DEST_PATH_IMAGE003
的视频帧。
b)训练数据中，需要逆置输入视频帧的顺序，即正向输入视频帧片段和逆向输入视频帧片段，具体的对视频帧集合
Figure 190524DEST_PATH_IMAGE004
做调换视频帧顺序处理，形成正向输入视频帧片段
Figure 487644DEST_PATH_IMAGE005
、逆向输入视频片段
Figure 815857DEST_PATH_IMAGE006
以及作为与生成帧做误差分析的视频帧
Figure 80485DEST_PATH_IMAGE002
（真实帧）。
c)将正向输入视频帧片段
Figure 785136DEST_PATH_IMAGE007
和逆向输入视频片段
Figure 202342DEST_PATH_IMAGE008
分别输入到GAN网络的生成器中，分别得到在
Figure 701457DEST_PATH_IMAGE003
时刻富含多等级特征的预测帧
Figure 453381DEST_PATH_IMAGE009
和
Figure 696143DEST_PATH_IMAGE010
。具体的生成器的卷积神经网络学习正常事件视频帧的不同等级的特征信息，包括高级特征
Figure DEST_PATH_IMAGE041
、中级特征
Figure DEST_PATH_IMAGE042
和低级特征
Figure DEST_PATH_IMAGE043
，通过四张连续的视频帧的多等级特征“预测”未来视频帧。由高级特征
Figure 358069DEST_PATH_IMAGE041
开始进行逆卷积操作，得到的特征图尺寸到达中级特征
Figure 28085DEST_PATH_IMAGE042
时将其进行叠操作，即同时运用中级特征
Figure 345933DEST_PATH_IMAGE042
完成下一步逆卷积操作；得到的特征图尺寸到达低级特征
Figure 251441DEST_PATH_IMAGE043
时将其进行叠操作，即同时运用低级特征
Figure 767873DEST_PATH_IMAGE043
完成下一步逆卷积操作，最终前向和逆向预测生成器分别得到在
Figure 484157DEST_PATH_IMAGE003
时刻富含多等级特征的预测帧
Figure 86039DEST_PATH_IMAGE009
和
Figure 795238DEST_PATH_IMAGE010
。
d)生成的预测帧
Figure 838281DEST_PATH_IMAGE009
和
Figure 850099DEST_PATH_IMAGE010
需要与视频帧
Figure 798332DEST_PATH_IMAGE002
作对比得到误差，误差由多项约束条件组成，以不断生成更加真实的视频帧。由于两个生成器同时预测同一视频帧，所有在以下部分约束条件中生成得到的未来帧
Figure 186588DEST_PATH_IMAGE009
和
Figure 287399DEST_PATH_IMAGE010
之间同样存在对应的约束条件，各个约束条件为损失函数。
e)利用损失函数优化GAN网络判别器，得到优化的生成器模型；
f)重复步骤c)至步骤e)M次，得到迭代后的生成器模型；
g)将一监控视频输入至步骤f)中迭代后的生成器模型中，分别计算时刻
Figure 470119DEST_PATH_IMAGE003
的视频帧
Figure 171228DEST_PATH_IMAGE002
与预测帧
Figure 97595DEST_PATH_IMAGE009
的PSNR值
Figure 52913DEST_PATH_IMAGE011
和视频帧
Figure 672113DEST_PATH_IMAGE002
与预测帧
Figure 673567DEST_PATH_IMAGE010
的PSNR值
Figure 324997DEST_PATH_IMAGE012
；
h)通过公式
Figure 134822DEST_PATH_IMAGE013
将两个PSNR值加权计算，得到当前视频帧的总和正常事件得分
Figure 924923DEST_PATH_IMAGE014
；
i)如果
Figure 335045DEST_PATH_IMAGE015
，则表明当前视频帧发生异常事件，如果
Figure 603215DEST_PATH_IMAGE016
，则表明当前视频帧没有发生异常事件，
Figure 861021DEST_PATH_IMAGE017
为人为 设定的正常事件得分阈值。
通过生成对抗网络进行上下文联系的物流异常智能检测方法及系统建立在人工智能的技术的基础上实现，采用深度学习的框架完成。利用深度学习的框架结合视频的上下文信息实现对当前视频的预测帧与回溯帧进行预测，基于U-Net网络使用两个生成器，分别得到预测帧和回溯帧，通过两个时序方向得到的预测帧综合判断当前视频帧是否是异常事件。避免了人工检测方法存在的异常定义模糊、特征提取繁琐的问题。同时，基于深度学习的方法，物流异常智能检测方法及系统的训练阶段不需要做复杂的标注，只需要在训练集中放入正常事件供网络学习即可。除此之外，该技术的网络模型结构直观，容易部署实现。在物流异常智能检测中可以无错误的完成检测工作，以设定的综合正常得分阈值为准判断当前视频帧是否发生异常事件。而且，通过联系上下文语义的方法可以解决物流异常智能检测方法及系统上缺乏视频上下文信息的问题，完善视频上下文的概念能全面地判断视频帧发生的事件是否为异常事件。此外，生成对抗网络中两个生成器的分支不仅用于预测与回溯，因为两个生成器在时序上生成的是同一个视频帧，所以两个生成器的结果对比使得生成的视频帧更加相同，增加生成器的约束。
进一步的，步骤d)包括如下步骤：
d-1)生成的帧的大小和真实帧应该是一样的，所以增加一个梯度损失可以帮助保持所有帧的大小，具体的，通过公式
Figure 494128DEST_PATH_IMAGE018
计算梯度损失值
Figure 125966DEST_PATH_IMAGE019
，式中
Figure 197827DEST_PATH_IMAGE020
为二维图像的横坐标，
Figure 247823DEST_PATH_IMAGE021
为二维图像的纵坐标 ，
Figure 114148DEST_PATH_IMAGE022
为计算二维图像中沿
Figure 498862DEST_PATH_IMAGE023
轴的梯度，
Figure 108835DEST_PATH_IMAGE023
轴为横坐标轴
Figure 747757DEST_PATH_IMAGE020
和纵坐标轴
Figure 784984DEST_PATH_IMAGE021
的集合。以该公式计算，比简单的长宽像素值比做差更加精确，并且能够同时约束前向和逆向两张视频帧的生成效果。
d-2)因为生成帧的图像应该接近真实帧的颜色，所以需要对其进行约束，使所有像素分布在同一个RGB空间中，因此通过公式
Figure 656993DEST_PATH_IMAGE024
计算得到强度损失值
Figure 336236DEST_PATH_IMAGE025
，式中
Figure 95245DEST_PATH_IMAGE026
为将视频帧转换为数值矩阵的函数。以该公式计算，能够同时约束前向和逆向两张视频帧的生成效果。
d-3) 视频异常检测中对象的动作是非常重要的，在此技术中，使用光流信息表示对象的动作，具体的：
通过公式
Figure 303373DEST_PATH_IMAGE027
计算得到光流损失值
Figure 662679DEST_PATH_IMAGE028
，式中
Figure 348875DEST_PATH_IMAGE029
为时刻
Figure 493548DEST_PATH_IMAGE003
的视频帧
Figure 606998DEST_PATH_IMAGE002
与前一帧的光流向量，
Figure 188021DEST_PATH_IMAGE030
为时刻
Figure 943487DEST_PATH_IMAGE003
的预测帧
Figure 942667DEST_PATH_IMAGE009
与前一帧的光流向量，
Figure 758176DEST_PATH_IMAGE031
为时刻
Figure 826495DEST_PATH_IMAGE003
的预测帧
Figure 120074DEST_PATH_IMAGE010
与前一帧的光流向量，
Figure 708181DEST_PATH_IMAGE032
为光流向量转化为浮点数值的函数。
d-4) 为了向生成器添加约束，我们的技术中考虑了对抗性损失，使用鉴别器对生成的视频帧进行判断，如果鉴别器认为生成器得到的生成帧不是真实帧，则视频帧被分为
Figure 694591DEST_PATH_IMAGE033
个块，通过公式
Figure 250207DEST_PATH_IMAGE034
计算对抗损失值
Figure 347476DEST_PATH_IMAGE035
，
Figure 790089DEST_PATH_IMAGE036
为GAN网络中判别器在图像空间的特征提取函数。前向和逆向预测视频帧的特征作乘积后和全为1的特征向量作对比，以此约束生成的视频帧与真实帧之间的误差。
d-5)GAN网络的判别器对视频帧进行判断，判别器在图像空间中需要不断训练以提高其鉴别视频帧真伪的能力，具体的通过公式
Figure 947401DEST_PATH_IMAGE038
计算判别器损失函数
Figure 990312DEST_PATH_IMAGE039
。前向和逆向预测视频帧的特征作乘积后和全为1的特征向量作对比，以此约束生成的视频帧与真实帧之间的损失计算。同时两张生成的视频帧应该尽可能的相同，所以将两张生成的视频帧也做损失计算，以此提高鉴别器对时刻
Figure 625693DEST_PATH_IMAGE003
的生成帧
Figure 188393DEST_PATH_IMAGE009
和
Figure 516606DEST_PATH_IMAGE010
的判断能力。
进一步的，步骤e)中：将梯度损失值
Figure 781234DEST_PATH_IMAGE019
、强度损失值
Figure 485885DEST_PATH_IMAGE025
、光流损失值
Figure 230987DEST_PATH_IMAGE040
、对抗损失值
Figure 605467DEST_PATH_IMAGE035
、判别器损失函数
Figure 232758DEST_PATH_IMAGE039
加和计算，将加和后的损失函数优化GAN网络生成器，得到优化后的生成器模型。
优选的，步骤f)中M的取值大于10000。
优选的，步骤i)中判定的发生异常事件的视频帧以高亮的形式在视频中显示。通过高亮显示异常的视频帧可以起到警示作用。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于视频上下文联系的物流异常智能检测方法，其特征在于，包括如下步骤：
a)将N条监控视频作为训练集，每条监控视频划分为K张视频帧，从K张视频帧中取9张视频帧构成视频帧集合I，
Figure DEST_PATH_IMAGE001
，
Figure DEST_PATH_IMAGE002
为时刻
Figure DEST_PATH_IMAGE003
的视频帧；
b)对视频帧集合
Figure DEST_PATH_IMAGE004
做调换视频帧顺序处理，形成正向输入视频帧片段
Figure DEST_PATH_IMAGE005
、逆向输入视频片段
Figure DEST_PATH_IMAGE006
以及作为与生成帧做误差分析的视频帧
Figure 736294DEST_PATH_IMAGE002
；
c)将正向输入视频帧片段
Figure DEST_PATH_IMAGE007
和逆向输入视频片段
Figure DEST_PATH_IMAGE008
分别输入到GAN网络的生成器中，分别得到在
Figure 246910DEST_PATH_IMAGE003
时刻富含多等级特征的预测帧
Figure DEST_PATH_IMAGE009
和
Figure DEST_PATH_IMAGE010
；
d)通过步骤d-1)至d-5)计算损失函数：
d-1)通过公式
Figure DEST_PATH_IMAGE011
计算梯度损失值
Figure DEST_PATH_IMAGE012
，式中
Figure DEST_PATH_IMAGE013
为二维图像的横坐标，
Figure DEST_PATH_IMAGE014
为二维图像的纵坐标 ，
Figure DEST_PATH_IMAGE015
为计算二维图像中沿
Figure DEST_PATH_IMAGE016
轴的梯度，
Figure 197286DEST_PATH_IMAGE016
轴为横坐标轴
Figure 123654DEST_PATH_IMAGE013
和纵坐标轴
Figure 344551DEST_PATH_IMAGE014
的集合；
d-2)通过公式
Figure DEST_PATH_IMAGE017
计算得到强度损失值
Figure DEST_PATH_IMAGE018
，式中
Figure DEST_PATH_IMAGE019
为将视频帧转换为数值矩阵的函数；
d-3)通过公式
Figure DEST_PATH_IMAGE020
计算得到光流损失值
Figure DEST_PATH_IMAGE021
，式中
Figure DEST_PATH_IMAGE022
为时刻
Figure 681860DEST_PATH_IMAGE003
的视频帧
Figure 480052DEST_PATH_IMAGE002
与前一帧的光流向量，
Figure DEST_PATH_IMAGE023
为时刻
Figure 865902DEST_PATH_IMAGE003
的预测帧
Figure 941306DEST_PATH_IMAGE009
与前一帧的光流向量，
Figure DEST_PATH_IMAGE024
为时刻
Figure 121620DEST_PATH_IMAGE003
的预测帧
Figure 407108DEST_PATH_IMAGE010
与前一帧的光流向量，
Figure DEST_PATH_IMAGE025
为光流向量转化为浮点数值的函数；
d-4)视频帧被分为
Figure DEST_PATH_IMAGE026
个块，通过公式
Figure DEST_PATH_IMAGE027
计算对抗损失值
Figure DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE029
为GAN网络中判别器在图像空间的特征提取函数；
d-5)通过公式
Figure DEST_PATH_IMAGE031
计算判别器损失函数
Figure DEST_PATH_IMAGE032
；
e)利用损失函数优化GAN网络判别器，得到优化的生成器模型；
f)重复步骤c)至步骤e)M次，得到迭代后的生成器模型；
g)将一监控视频输入至步骤f)中迭代后的生成器模型中，分别计算时刻
Figure 127808DEST_PATH_IMAGE003
的视频帧
Figure 57718DEST_PATH_IMAGE002
与预测帧
Figure 18721DEST_PATH_IMAGE009
的PSNR值
Figure DEST_PATH_IMAGE033
和视频帧
Figure 853822DEST_PATH_IMAGE002
与预测帧
Figure 581475DEST_PATH_IMAGE010
的PSNR值
Figure DEST_PATH_IMAGE034
；
h)通过公式
Figure DEST_PATH_IMAGE035
将两个PSNR值加权计算，得到当前视频帧的总和正常事件得分
Figure DEST_PATH_IMAGE036
；
i)如果
Figure DEST_PATH_IMAGE037
，则表明当前视频帧发生异常事件，如果
Figure DEST_PATH_IMAGE038
，则表明当前视频帧没有发生异常事件，
Figure DEST_PATH_IMAGE039
为人为 设定的正常事件得分阈值。
2.根据权利要求1所述的基于视频上下文联系的物流异常智能检测方法，其特征在于，步骤e)中：将梯度损失值
Figure 818422DEST_PATH_IMAGE012
、强度损失值
Figure 809380DEST_PATH_IMAGE018
、光流损失值
Figure DEST_PATH_IMAGE040
、对抗损失值
Figure 475985DEST_PATH_IMAGE028
、判别器损失函数
Figure 85958DEST_PATH_IMAGE032
加和计算，将加和后的损失函数优化GAN网络生成器，得到优化后的生成器模型。
3.根据权利要求1所述的基于视频上下文联系的物流异常智能检测方法，其特征在于：步骤f)中M的取值大于10000。
4.根据权利要求1所述的基于视频上下文联系的物流异常智能检测方法，其特征在于：步骤i)中判定的发生异常事件的视频帧以高亮的形式在视频中显示。
CN202110840803.8A 2021-07-26 2021-07-26 基于视频上下文联系的物流异常智能检测方法 Active CN113283849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110840803.8A CN113283849B (zh) 2021-07-26 2021-07-26 基于视频上下文联系的物流异常智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110840803.8A CN113283849B (zh) 2021-07-26 2021-07-26 基于视频上下文联系的物流异常智能检测方法

Publications (2)

Publication Number Publication Date
CN113283849A CN113283849A (zh) 2021-08-20
CN113283849B true CN113283849B (zh) 2021-11-02

Family

ID=77287209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110840803.8A Active CN113283849B (zh) 2021-07-26 2021-07-26 基于视频上下文联系的物流异常智能检测方法

Country Status (1)

Country Link
CN (1) CN113283849B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358195A (zh) * 2017-07-11 2017-11-17 成都考拉悠然科技有限公司 基于重建误差的非特定异常事件检测及定位方法、计算机
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别系统
EP3582143A1 (en) * 2018-06-13 2019-12-18 Cosmo Artificial Intelligence - AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
CN110705376A (zh) * 2019-09-11 2020-01-17 南京邮电大学 一种基于生成式对抗网络的异常行为检测方法
CN111881750A (zh) * 2020-06-24 2020-11-03 北京工业大学 基于生成对抗网络的人群异常检测方法
CN112052763A (zh) * 2020-08-27 2020-12-08 西安电子科技大学 基于双向回顾生成对抗网络的视频异常事件检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358195A (zh) * 2017-07-11 2017-11-17 成都考拉悠然科技有限公司 基于重建误差的非特定异常事件检测及定位方法、计算机
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别系统
EP3582143A1 (en) * 2018-06-13 2019-12-18 Cosmo Artificial Intelligence - AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
CN110705376A (zh) * 2019-09-11 2020-01-17 南京邮电大学 一种基于生成式对抗网络的异常行为检测方法
CN111881750A (zh) * 2020-06-24 2020-11-03 北京工业大学 基于生成对抗网络的人群异常检测方法
CN112052763A (zh) * 2020-08-27 2020-12-08 西安电子科技大学 基于双向回顾生成对抗网络的视频异常事件检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视频的公共场所人群异常行为检测系统的设计与实现;朱弈霖;《中国优秀硕士学位论文全文数据库（社会科学I辑）》;20200615(第6期);正文第25,27-38页 *

Also Published As

Publication number Publication date
CN113283849A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN109063723B (zh) 基于迭代挖掘物体共同特征的弱监督图像语义分割方法
Ahmad et al. Deep learning methods for object detection in smart manufacturing: A survey
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN112561910A (zh) 一种基于多尺度特征融合的工业表面缺陷检测方法
CN109919032A (zh) 一种基于动作预测的视频异常行为检测方法
CN110895814B (zh) 基于上下文编码网络的航空发动机孔探图像损伤分割方法
CN111652225A (zh) 基于深度学习的非侵入式摄像读取方法及系统
Zhao et al. Large scale autonomous driving scenarios clustering with self-supervised feature extraction
CN113362277A (zh) 一种基于深度学习的工件表面缺陷检测和分割方法
CN111079348B (zh) 一种缓变信号检测方法和装置
CN115761881A (zh) 一种基于改进yolov5-SFF的检测方法及系统
Jiang et al. Attention M-net for automatic pixel-level micro-crack detection of photovoltaic module cells in electroluminescence images
CN114943840A (zh) 机器学习模型的训练方法、图像的处理方法和电子设备
CN111079645A (zh) 一种基于AlexNet网络的绝缘子自爆识别方法
CN113128412B (zh) 一种基于深度学习及火灾监控视频的火灾趋势预测方法
Manninen et al. Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images
CN114240908A (zh) 一种仅采用良品图像的产品外观缺陷检测方法
CN113283849B (zh) 基于视频上下文联系的物流异常智能检测方法
CN113723553A (zh) 一种基于选择性密集注意力的违禁物品检测方法
US11210775B1 (en) Gradient-embedded video anomaly detection
CN111028245B (zh) 一种多模态复合的高清高速视频背景建模方法
Bayram et al. Anomaly detection of multivariate image time series based on Gramian angular field using convolutional autoencoder
CN115700737A (zh) 一种基于视频监控的溢油检测方法
Wang et al. Strawberry ripeness classification method in facility environment based on red color ratio of fruit rind
Huang et al. Quality control on manufacturing computer keyboards using multilevel deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 250101 1000, Feng Ming Road, Lingang Development Zone, Licheng District, Ji'nan, Shandong

Applicant after: SHANDONG JIANZHU University

Applicant after: SHANDONG NEW BEIYANG INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 264203 No. 126, Kunlun Road, Weihai City, Shandong Province (Science and Technology Park)

Applicant before: SHANDONG NEW BEIYANG INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: SHANDONG JIANZHU University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant