CN110070003B - 异常行为检测与光流自相关性确定的方法、及相关装置 - Google Patents

异常行为检测与光流自相关性确定的方法、及相关装置 Download PDF

Info

Publication number
CN110070003B
CN110070003B CN201910258346.4A CN201910258346A CN110070003B CN 110070003 B CN110070003 B CN 110070003B CN 201910258346 A CN201910258346 A CN 201910258346A CN 110070003 B CN110070003 B CN 110070003B
Authority
CN
China
Prior art keywords
optical flow
pedestrian
target
target pedestrian
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910258346.4A
Other languages
English (en)
Other versions
CN110070003A (zh
Inventor
库浩华
潘华东
郑佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910258346.4A priority Critical patent/CN110070003B/zh
Publication of CN110070003A publication Critical patent/CN110070003A/zh
Application granted granted Critical
Publication of CN110070003B publication Critical patent/CN110070003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种异常行为检测与光流自相关性确定的方法、及相关装置。其中，异常行为检测方法包括：获取摄像器件依时序拍摄得到的多帧图像，其中，每帧图像包括至少一个与行人对应的检测区域；分别对多帧图像的检测区域进行光流检测，得到多帧图像中目标行人的检测区域的光流信息；利用光流信息，获得目标行人的检测区域中至少一个光流点的自相关参数；基于目标行人的检测区域中至少一个光流点的自相关参数，检测目标行人是否存在异常行为。上述方案，能够实现检测行人是否存在异常行为。

Description

异常行为检测与光流自相关性确定的方法、及相关装置
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种异常行为检测与光流自相关性确定的方法、及相关装置。
背景技术
伴随着越来越多的监控摄像头不断地布控在城市的各个角落，智能监控系统在业务上的需求也在快速扩充，以期代替监控人员完成大量重复而繁重的工作。
为了满足业务上的需求，产生了各种各样的技术。其中，在监狱、街道、车站等人流密集的场所，针对行人检测是否存在异常行为，例如斗殴、抢劫等等，对于有关部门提前预防或及时介入，以减少生命、财产损失，从而维护社会、治安稳定具有非同一般的重要意义，因此有着重大的应用价值与广阔的应用前景。有鉴于此，如何检测行人是否存在异常行为成为智能监控业务中亟待解决的问题之一。
发明内容
本申请主要解决的技术问题是提供一种异常行为检测与光流自相关性确定的方法、及相关装置，能够实现检测行人是否存在异常行为。
为了解决上述问题，本申请第一方面提供了一种行人异常行为的检测方法，包括：获取摄像器件依时序拍摄得到的多帧图像，其中，每帧图像包括至少一个与行人对应的检测区域；分别对多帧图像的检测区域进行光流检测，得到多帧图像中目标行人的检测区域的光流信息；利用光流信息，获得目标行人的检测区域中至少一个光流点的自相关参数；基于目标行人的检测区域中至少一个光流点的自相关参数，检测目标行人是否存在异常行为。
为了解决上述问题，本申请第二方面提供了一种目标的光流自相关性确定方法，包括：对多帧图像中目标所在的检测区域进行光流检测，得到目标所在的检测区域中的至少一个光流点在多维坐标轴上的坐标信息；利用坐标信息，获得目标所在的检测区域中至少一个光流点的自相关参数。
为了解决上述问题，本申请第三方面提供了一种图像处理装置，包括相互耦接的存储器和处理器；处理器用于执行存储器存储的程序指令，以实现上述第一方面所述的行人异常行为的检测方法，或实现上述第二方面所述的目标的光流自相关性确定方法。
为了解决上述问题，本申请第四方面提供了一种存储装置，其上存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面所述的行人异常行为的检测方法，或实现上述第二方面所述的目标的光流自相关性确定方法。
上述方案中，通过对多帧图像中目标的检测区域进行光流检测，从而获得目标所在的检测区域中至少一个光流点的自相关参数，在数学意义上，自相关参数可以反映出光流点在时间序列上的相关性，而目标所在区域的光流在时间序列上的相关性可以反映出该目标的行为是有规律的正常行为或是较杂乱无章的异常行为，进而实现检测行人是否存在异常行为。
另外，该目标所在区域的光流点的自相关参数可直接采用该光流点的坐标信息计算得到，可降低光流点自相关参数的计算复杂度，进而在使用该光流点的自相关参数进行检测目标是否存在异常行为时，可提高检测效率。
附图说明
图1是本申请行人异常行为的检测方法一实施例的流程示意图；
图2是图1中步骤S14一实施例的流程示意图；
图3是图1中步骤S13在一实施场景中的部分流程示意图；
图4是图2中步骤S142一实施例的流程示意图；
图5是图2中步骤S142在一实施场景中的部分流程示意图；
图6是本申请行人异常行为的检测方法另一实施例的流程示意图；
图7是图6中步骤S62一实施例的流程示意图；
图8是本申请目标的光流自相关性确定方法一实施例的流程示意图；
图9是本申请图像处理装置一实施例的框架示意图；
图10是本申请图像处理装置另一实施例的框架示意图；
图11是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1为本申请行人异常行为的检测方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取摄像器件依时序拍摄得到的多帧图像，其中，每帧图像包括至少一个与行人对应的检测区域。
摄像器材可以为夜视摄像头、红外摄像头等等。根据应用场景的不同可以选择不同类型的摄像器材。例如，针对环境幽暗、采光不佳的场所，摄像器材可以为夜视摄像头、红外摄像头；针对光线明亮的室内场所，摄像器材可以为一般的数字摄像头、网络摄像头；而针对室外无遮挡的场景，摄像器材可以防水摄像头，本实施例不做具体限制。
获取的多帧图像可以为摄像器材实时采集的。具体地，获取的多帧图像可以是USB(Universal Serial Bus，通用串行总线)摄像头或网络摄像头基于RSTP(Real-TimeStream Protocol，实时流传输协议)协议流而实时拍摄采集的，RSTP协议是一个基于文本的多媒体播放控制协议，属于应用层，RSTP以客户端方式工作，对流媒体提供播放、暂停、后退、前进等操作。当然，获取的多帧图像也可以是摄像器材已经拍摄并保存好的，通过本地存储器或者如U盘、硬盘等外部存储设备获取。或者，多帧图像也可以是从网络上调取的，在此不一一详述。
多帧图像可以为2帧图像、3帧图像、4帧图像等等，本实施例对在此不一一详述。
检测区域可以为一矩形，且该矩形包围每帧图像中的行人。或者，检测区域还可以为不规则图形，在一个实施场景中，为了后续对多帧图像的检测区域进行的光流检测更加精确，从而更加准确地得到多帧图像中目标行人的光流信息，检测区域可以为行人的轮廓区域。
检测区域的确定可以通过行人检测(Pedestrian Detection)技术来实现，行人检测技术是利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位。现有行人检测方法主要有三种，分别为基于全局特征的方法、基于人体部位的方法、基于立体视觉的方法，例如基于全局特征的方法中具有代表性的基于Haar小波特征方法、基于HOG(Histogram of Oriented Gradients，梯度方向直方图)特征方法、基于轮廓模板的方法等等。行人检测技术为计算机视觉技术领域的现有技术，本实施例在此不再赘述。
步骤S12：分别对多帧图像的检测区域进行光流检测，得到多帧图像中目标行人的检测区域的光流信息。
光流(Optical flow or optic flow)是关于视觉域中的物体运动检测中的概念，用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。所谓光流就是指图像表面出运动的速度。物体在运动的时候之所以能够被人眼发现，就是因为当物体运动时，会在人的视网膜上形成一系列的连续变化的图像，这些变化信息在不同时间，不断地流过眼镜视网膜，就好像一种光流经过一样，故称之为光流。
光流检测在样型识别、计算机视觉以及其他摄像处理领域中有着重要的作用。具体地，光流检测可用于检测运动、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等等。
关于光流检测的方法目前有基于梯度的方法、基于匹配的方法、基于能量的方法等等。比较典型的有：霍恩-山克方法(Horn-Schunck Method)、卢卡斯-卡纳德方法(Lucas-Kanade Method)等等。光流检测的方法为本领域的现有技术，本实施例在此不再赘述。
在一个实施场景中，为了定量地表征光流点的位置信息，多帧图像中的目标行人的检测区域的光流信息包括检测区域的至少一个光流点在多维坐标轴上的坐标信息，例如前一帧图像中的光流点1的光流信息表示为二维坐标轴上的坐标信息(X1,t，Y1,t)，或者前一帧图像中的光流点2的光流信息表示为二维坐标轴上的坐标信息(X2,t，Y2,t)，或者后一帧图像中的光流点1的光流信息表示为二维坐标轴上的坐标信息(X1,t+1，Y1,t+1)，或者后一帧图像中的光流点2的光流信息表示为二维坐标轴上的坐标信息(X2,t+1，Y2,t+1)等等，本实施例不再赘述。
步骤S13：利用光流信息，获得目标行人的检测区域中至少一个光流点的自相关参数。
自相关关系描述的是某光流点在前一帧图像时和在后一帧图像时之间的依赖关系。自相关参数越小说明某光流点在时序上越不相关，自相关参数越大说明某光流点在时序上越相关。
步骤S14：基于目标行人的检测区域中至少一个光流点的自相关参数，检测目标行人是否存在异常行为。
在数学意义上，自相关参数可以反映出光流点在时间序列上的相关性，其值越大相关性越好，也就是说目标的行为规律平稳，其值越小相关性越差，也就是说目标的行为杂乱无章。可以理解，当获取到的目标行人的检测区域中光流点越多，基于光流点的自相关参数检测目标行人是否存在异常行为越准确。
上述方式，通过对多帧图像中目标的检测区域进行光流检测，从而获得目标所在的检测区域中至少一个光流点的自相关参数，在数学意义上，自相关参数可以反映出光流点在时间序列上的相关性，而目标所在区域的光流在时间序列上的相关性可以反映出该目标的行为是有规律的正常行为或是较杂乱无章的异常行为，进而实现检测行人是否存在异常行为。
其中，在一个实施例中，上述步骤S13利用光流信息，获得目标行人的检测区域中至少一个光流点的自相关参数，可以具体包括：利用下述公式，计算得到目标行人的检测区域中至少一个光流点的自相关参数：
Figure BDA0002014483060000061
其中，R(i)表示多帧图像中的光流点i的自相关参数，Xi,t表示前一帧图像中的光流点i在第一坐标轴的坐标信息；Xi,t+1表示后一帧图像中的光流点i在第一坐标轴的坐标信息；Yi,t表示前一帧图像中的光流点i在第二坐标轴的坐标信息；Yi,t+1表示后一帧图像中的光流点i在第二坐标轴的坐标信息。
在一个实施场景中，结合光流点在前一帧图像和后一帧图像上的坐标信息，光流点的位移可以表示为向量，具体可以用光流点在二维坐标轴X方向、Y方向上的偏移，以及方向角表示。为了更全面地反映光流点的内在联系，针对X、Y和方向角，分别利用求得其自相关参数，即R(x)＝E[x(t)x(t+1)]、R(y)＝E[y(t)y(t+1)]、R(f)＝E[f(t)f(t+1)]，再根据不同的权重，例如0.25、0.25、0.5分别对三个自相关参数加权求和作为最终的光流点的自相关参数，即R＝0.25R(x)+0.25R(y)+0.5R(f)，当然，在另一个实施场景中，在求得X、Y和方向角的自相关参数后，也可以对其采用加权平均求得最终的光流点的自相关参数，在此不再赘述。
上述方式，可以通过光流点在多帧图像中的坐标信息计算得到光流点的自相关参数，从而为后续判断目标行人是否存在异常行为提供数据支持。此外，该目标所在区域的光流点的自相关参数可直接采用该光流点的坐标信息计算得到，可降低光流点自相关参数的计算复杂度，进而在使用该光流点的自相关参数进行检测目标是否存在异常行为时，可提高检测效率。
具体而言，可以通过下述三方面检测目标行人是否存在异常行为。
第一方面：
请参阅图2，图2是图1中步骤S14一实施例的流程示意图，本实施例中，具体可以包括：
步骤S141：对目标行人的检测区域中多个光流点的自相关参数进行加权处理，得到目标行人的行为自相关参数。
计算目标行人的检测区域中多个光流点的自相关参数可以具体参考上一实施例中的计算方式，本实施例在此不再赘述。
本实施例中加权处理可以是加权平均运算、也可以是加权求和运算，在此不做具体限制。具体而言，本实施例中，可以通过下述步骤确定多个光流点的自相关参数进行加权处理的对应权重，即：根据目标行人的检测区域中的多个光流点的光流位移，确定每个光流点的自相关参数的权重，其中，光流点的光流位移越大，对应权重越大。在一个实施场景中，各个光流点对应的权重还可以设置为与其光流位移无关，所有光流点的权重相同。
光流点的位移可以通过光流点在前一帧图像中的坐标信息与后一帧图像中的坐标信息求得，例如光流点1在前一帧图像中的坐标信息为(X1,t，Y1,t)，在后一帧图像中的坐标信息为(X1,t+1，Y1,t+1)，则光流点1的光流位移可以用向量表示为
Figure BDA0002014483060000071
进而光流点1的光流位移的大小可以用向量的模表示为
Figure BDA0002014483060000072
通过对多个光流点的自相关参数进行加权处理，可以得到目标行人的行为自相关参数。在一个实施场景中，请结合参阅图3，在上述实施例步骤S13之前，为了使上述“多个光流点”的选取更能代表目标行人的行为，以使得上述获取到的目标行人的行为自相关参数更能说明目标行人是否存在异常行为，还可以通过下述步骤首先确定后续需要计算自相关参数的“多个光流点”，具体如下：
步骤S31：统计目标行人的检测区域中每个光流点的光流位移。
光流点的位移可以通过光流点在前一帧图像中的坐标信息与后一帧图像中的坐标信息求得，例如光流点1在前一帧图像中的坐标信息为(X1,t，Y1,t)，在后一帧图像中的坐标信息为(X1,t+1，Y1,t+1)，则光流点1的光流位移可以用向量表示为
Figure BDA0002014483060000081
进而光流点1的光流位移的大小可以用向量的模表示为
Figure BDA0002014483060000082
以此类推，可以分别计算得到目标行人的检测区域中每个光流点的光流位移
Figure BDA0002014483060000083
其中i∈[1,N]，N为目标行人的检测区域中光流点的总个数。
步骤S32：选择光流位移大于预设位移的多个光流点作为后续需获得自相关参数的光流点。
在统计得到的目标行人的检测区域中每个光流点的光流位移
Figure BDA0002014483060000084
中选择光流位移大于预设位移的光流点，例如，可以设置预设位移为2，则选取光流位移大于2的光流点作为后续需要获取自相关参数的光流点。
上述方式，选择光流位移大于预设位移的多个光流点作为后续需要获得自相关参数的光流点，可以使得后续需要获得自相关参数的光流点更能表征行人是否存在异常行为的关键光流点，从而排除了一些光流位移比较小、对判断行人是否存在异常行为无影响或影响较小的光流点，将这些光流点对判断行人是否存在异常行为的干扰尽可能地降低，另一方面也减小了计算多个光流点的自相关参数的计算量。
步骤S142：基于目标行人的行为自相关参数，检测目标行人是否存在异常行为。
将多个光流点的自相关参数进行加权处理后得到的目标行人的行为自相关参数作为检测目标行人是否存在异常行为的依据，从而检测目标行人是否存在异常行为。具体而言，可以结合参阅图4，上述步骤S142可以通过如下步骤实现：
步骤S1421：判断目标行人的行为自相关参数是否小于预设阈值。若是，则执行步骤S1422。
通过判断基于检测区域光流点中的光流位移大于预设位移的“多个光流点”的自相关参数而获得的目标行人的行为自相关参数是否小于预设阈值，判断目标行人是否存在异常行为。
数学意义上，行为自相关参数越小，说明目标行人在前一帧图像中的行为和在后一帧图像中的行为的相关性越小，即行为越不相关，越杂乱无章，也就是说行为异常；反之，行为自相关参数越大，说明目标行人在前一帧图像中的行为和在后一帧图像中的行为相关性越大，即行为越相关，越规则平稳，也就是说行为正常。举例来说，行人在参与斗殴时，从前一帧图像中的行为，无法预测其后一帧图像中的行为，两者之间的相关性很小，甚至无相关性；而行人在正常行走时，前一帧图像中的行为可能是轻微摆臂，后一帧图像中的行为可能还是轻微摆臂，两者之间的相关性很大。因此，根据行为自相关参数的数学意义，可以基于行人自相关参数判断行人是否存在异常行为。
本实施例中，预设阈值可以为0.2、0.3、0.4等等，可以根据实际情况设置。
步骤S1422：直接确定目标行人存在异常行为。
如果目标行人的行为自相关参数小于预设阈值，例如小于0.2，则说明目标行人的行为自相关性很小，表现为行人的行为杂乱无章，说明目标行人存在异常行为。
在一个实施场景中，当执行上述步骤S1421，判断目标行人的行为自相关参数是否小于预设阈值时，若目标行人的行为自相关参数大于预设阈值时，则可以执行下述步骤S1423。
步骤S1423：直接确定目标行人无异常行为。
如果目标行人的行为自相关参数大于预设阈值，例如小于0.2，则说明目标行人的行为自相关性很大，表现为行人的行为规律平稳，说明目标行人无异常行为。
在一个实施场景中，预设阈值还可以根据需要设置为多个区间值从而对应目标行人的行为异常度，例如设置3个区间：[0,0.3]，(0.3，0.6]，(0.6，1]分别对应于行为异常度：十分异常、轻微异常、无异常。当然，可以理解，预设阈值还可以划分为更多的区间值，从而对行人的行为异常度进行更精细的划分，本实施例在此不做限制。
第二方面：
在第一方面的实施例中，当目标行人的行为自相关参数小于预设阈值时，可以进一步判断图像中是否存在与目标行人对向的其他行人，并在存在与目标行人对向的其他行人时，确定目标行人存在异常行为。在本实施例中，可以通过一帧图像判断是否存在与目标行人对向的其他行人，也可以通过多帧图像判断是否存在与目标行人对向的其他行人，例如通过2帧图像、3帧图像等等判断是否存在与目标行人对向的其他行人。可以理解，本实施例中，所指的“对向”特指面对面方向。当然，在一些实施场景中，“对向”也可以指面对背方向，或背对背方向，根据实际需要可以具体设置，本实施例在此不做具体限制。具体而言，请参阅图5，判断图像中是否存在与目标行人对向的其他行人可以包括如下步骤：
步骤51：基于图像中每个行人的多个预设特征点的位置信息，得到每个行人的由多个预设特征点组成的向量。
本实施例中，预设特征点表示行人的预设关节点，例如左肩、右肩、左脚、右脚等等，本实施例在此不做具体限制。预设特征点的位置信息可以具体包括预设特征点在多维坐标轴上的坐标信息，例如在二维坐标轴上的坐标信息。举例来说，比如左肩的位置信息可以用其在二维坐标轴上的坐标信息(Xlsh，Ylsh)表示，右肩的位置信息可以用其在二维坐标轴上的坐标信息(Xrsh，Yrsh)表示，左脚的位置信息可以用其在二维坐标轴上的坐标信息(Xlf，Ylf)表示，右脚的位置信息可以用其在二维坐标轴上的坐标信息(Xrf，Yrf)表示，本实施例不再一一赘述。
通过预设特征点的位置信息，进而可以得到多个预设特征点组成的向量，例如左、右肩组成的向量，左、右脚组成的向量。举例来说，若左、右肩的位置信息分别为(Xlsh，Ylsh)、(Xrsh，Yrsh)，则左、右肩组成的向量可以表示为
Figure BDA0002014483060000101
或者，若左、右脚的位置信息分别为(Xlf，Ylf)、(Xrf，Yrf)，则左、右脚组成的向量可以表示为
Figure BDA0002014483060000102
在一个实施场景中，确定图像中行人的预设特征点可以通过如下步骤实现：
(1)准备多个图像样本，图像样本中标注有行人的预设特征点，具体可以是行人的预设关节点，比如左肩、右肩、左脚、右脚、左臂、右臂、左手、右手、左手手肘、右手手肘等等。
(2)对上述图像样本进行学习、训练，得到深度网络模型。
(3)利用深度网络模型对图像进行处理，得到N个部位的响应图。
(3)利用深度网络模型对上述响应图进行处理，得到的极值点即得到图像中的行人的预设特征点的位置信息。
可以理解，在其他实施场景中，还可以通过其他实施方式确定图像中行人的预设特征点，本实施例不再一一说明。
步骤S52：获取图像中每个其他行人与目标行人之间的向量夹角。
图像中的行人可能有多个，通过前述方式再获取目标行人之外的其他行人的多个预设特征点组成的向量。
例如，图像中除目标行人以外还有两个行人，行人A其左、右肩组成的向量为
Figure BDA0002014483060000111
行人B其左、右肩组成的向量为
Figure BDA0002014483060000112
目标行人的左、右肩组成的向量为
Figure BDA0002014483060000113
则可以由此计算行人A与目标行人之间的向量夹角为
Figure BDA0002014483060000114
由此计算行人B与目标行人之间的向量夹角为
Figure BDA0002014483060000115
当图像中除目标行人之外还有大于两个的行人时，其他行人与目标行人之间的向量夹角可以参照上述计算方式计算得到。
步骤S53：若存在位于预设角度范围的向量夹角，则确定图像中存在与目标行人对向的其他行人。
预设角度范围可以预先设置，例如若要检测是否存在与目标行人面对面的其他行人，则设置预设角度范围为140度至220度之间；例如若要检测是否存在与目标行人面对背的其他行人，则设置预设角度范围为0度至90度之间，或0度至140度之间，或其他角度范围。本实施例在此不做具体限制。
若存在位于预设角度范围内的向量夹角，则确定图像中存在与目标行人对向的其他行人，并且将向量夹角位于预设角度范围内的其他行人标注出来，以实现警示作用。
在一个实施场景中，在确定图像中存在与目标行人对向的其他行人之后，还可以进一步包括：记录目标行人的检测区域。通过上述方式，可以进一步标示出存在异常行为的检测区域。
第二方面的实施例基于在第一方面通过目标行人的行为自相关参数确定目标行人存在异常行为后，进一步判断目标行人对向是否存在其他行人，并在确定存在与目标行人对向的其他行人后，进一步确定目标行人存在异常行为。可以理解，通过这种方式，结合目标行人本身存在异常行为以及目标行人对向还有其他行人，可以更加精确地判定目标行人存在异常行为，可以进一步排除一些特殊场景，例如公园晨练打太极拳、跳广场舞等，由于虽然目标行人可能存在行为自相关参数小于预设阈值的情况，但是在目标行人面对面位置无其他行人，则可以排除目标行人存在异常行为，上述方式使得对于目标行人是否存在异常行为的检测更加精确。
第三方面：
在上述步骤S12分别对多帧图像的检测区域进行光流检测，得到多帧图像中目标行人的检测区域的光流信息之前，请结合参阅图6，还可以包括：
步骤S61：确定至少一帧图像中对应目标行人的若干特征点。
其中，特征点表示行人的关节点，例如左、右肩，左、右手，左、右臂，左、右脚，左、右手肘等等。
在一个实施场景中，可以基于一帧图像确定目标行人的若干特征点，在另一个实施场景中，还可以基于多帧图像确定目标行人的若干特征点，本实施例在此不做具体限制。
具体而言，可以利用深度网络对至少一帧图像进行处理，得到至少一帧图像中对应目标行人的若干特征点。在一个实施场景中，确定至少一帧图像中对应目标行人的若干特征点可以通过如下步骤实现：
(1)准备多个图像样本，图像样本中标注有行人的若干特征点，具体可以是行人的预设关节点，比如左肩、右肩、左脚、右脚、左臂、右臂、左手、右手、左手手肘、右手手肘等等。
(2)对上述图像样本进行学习、训练，得到深度网络模型。
(3)利用深度网络模型对图像进行处理，得到N个部位的响应图。
(3)利用深度网络模型对上述响应图进行处理，得到的极值点即为图像中的行人的特征点的位置信息。
可以理解，在其他实施场景中，还可以通过其他实施方式确定图像中行人的特征点，本实施例不再一一说明。
步骤S62：基于若干特征点连接形成的至少一条特征线，预估目标行人是否存在异常行为，若是，则执行步骤S63。
基于若干特征点连接形成的至少一条特征线，例如基于左手、左手肘、左臂连接形成一条左手臂特征线，或者基于右臂、右手肘、右臂连接形成一条右手臂特征线，或者基于左脚、左膝、左腿连接形成一条左腿脚特征线，或者基于右脚、右膝、右腿连接形成一条右腿脚特征线。
在一个实施场景中，若检测到左手臂特征线呈锐角，或检测到右手臂特征线呈锐角则预估目标行人存在异常行为。当然，在另一个实施场景中，还可以检测右腿脚特征线，或者左腿脚特征线。
请结合参阅图7，具体而言，可以参考下述步骤实施：
步骤S621：由若干特征点的位置信息，得到若干特征点连接形成的至少一条特征线的方位信息。
位置信息可以为特征点在多维坐标轴上的坐标信息，具体地，可以是在二维坐标轴上的坐标信息，例如左肩的位置信息可以用其在二维坐标轴上的坐标信息(Xlsh，Ylsh)表示，右肩的位置信息可以用其在二维坐标轴上的坐标信息(Xrsh，Yrsh)表示，左脚的位置信息可以用其在二维坐标轴上的坐标信息(Xlf，Ylf)表示，右脚的位置信息可以用其在二维坐标轴上的坐标信息(Xrf，Yrf)表示等等、左手肘的位置信息可以用其在二维坐标轴上的坐标信息(Xlel，Ylel)表示，右手肘的位置信息可以用其在二维坐标轴上的坐标信息(Xrel，Yrel)表示，左膝的位置信息可以用其在二维坐标轴上的坐标信息(Xlkn，Ylkn)表示，右膝的位置信息可以用其在二维坐标轴上的坐标信息(Xrkn，Yrkn)表示，左手的位置信息可以用其在二维坐标轴上的坐标信息(Xlha，Ylha)表示，右手的位置信息可以用其在二维坐标轴上的坐标信息(Xrha，Yrha)表示。
进一步地，通过若干特征点的位置信息，得到若干特征点连接形成的至少一条特征线，例如连接左手、左手肘、左肩形成的左手臂特征线，连接右手、右手肘、右肩形成的右手臂特征线。左手臂特征线的方位信息可以用连接左手与左手肘形成的向量
Figure BDA0002014483060000141
以及连接左手肘与左臂形成的向量
Figure BDA0002014483060000142
之间的向量夹角表示，类似地，右手臂特征线的方位信息可以用连接右手与右手肘形成的向量
Figure BDA0002014483060000143
以及连接右手肘与右臂形成的向量
Figure BDA0002014483060000144
之间的向量夹角表示。
步骤S622：基于至少一条特征线的方位信息，判断至少一条特征线是否为预设角度。若是，则执行步骤S623。
基于至少一条特征线的方位信息，判断至少一条特征线是否为预设角度。预设角度可以为锐角，例如45度、60度等等。举例来说，若基于右手臂特征线的方位信息，判断右手臂特征线呈预设角度，则可以预估目标行人存在异常行为，否则若基于所有特征线的方位信息，判断所有特征线均不是预设角度，则可以预估目标行人不存在异常行为。
在一个实施场景中，为了更加准确地预估目标行人是否存在异常行为，还可以设置为基于多条特征线的方位信息，判断多条特征线是否为预设角度，例如基于左手臂特征线的方位信息和右手臂特征线的方位信息共同判断左手臂特征线和右手臂特征线是否为预设角度，若左手臂特征线和右手臂特征线均为预设角度，则可以预估目标行人存在异常行为。
步骤S623：预估目标行人存在异常行为。
例如，基于手臂特征线的方位信息，判断手臂特征线为预设角度，则预估目标行人存在异常行为。
在一个实施场景中，若上述步骤S622中基于至少一条特征线的方位信息，判断所有特征线均不为预设角度，则可以进一步执行步骤S624。
步骤S624：预估目标行人不存在异常行为。
若基于至少一条特征线的方位信息，判断所有特征线均不是预设角度，则可以预估目标行人不存在异常行为。
步骤S63：分别对多帧图像的检测区域进行光流检测，得到多帧图像中目标行人的检测区域的光流信息。
若预估目标行人是否存在异常行为，则进一步执行分别对多帧图像的检测区域进行光流检测，得到多帧图像中目标行人的检测区域的光流信息的步骤，即前述实施例中步骤S12的步骤及后续步骤，以进一步通过目标行人检测区域中的至少一个光流点的自相关参数，检测目标行人是否存在异常行为。
在一个实施场景中，若在上述步骤S62中，基于若干特征点连接形成的至少一条特征线，预估目标行人不存在异常行为，则可以执行下述步骤S64。
步骤S64：输出目标行人不存在异常行为。
当然，在另一个实施场景中，若在上述步骤S62中，基于若干特征点连接形成的至少一条特征线，预估目标行人不存在异常行为，则还可以进一步执行上述步骤S63，以进一步通过目标行人检测区域中的至少一个光流点的自相关参数，检测目标行人是否存在异常行为，甚至，在其他实施场景中，在通过目标行人检测区域中的至少一个光流点的自相关参数，检测目标行人是否存在异常行为之后，还可以进一步执行上述第二方面中的实施例，以通过检测目标行人对向是否存在其他行人，以进一步判断目标行人是否存在异常行为。
上述方式，通过确定目标行人的若干个特征点所连接形成的特征线，基于特征线的方位信息，判断特征线是否为预设角度，从而可以预估目标行人是否存在异常行为。
请参阅图8，图8为本申请目标的光流自相关性确定方法一实施例的流程示意图。具体而言，可以包括：
步骤S81：对多帧图像中目标所在的检测区域进行光流检测，得到目标所在的检测区域中的至少一个光流点在多维坐标轴上的坐标信息。
光流(Optical flow or optic flow)是关于视觉域中的物体运动检测中的概念，用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。所谓光流就是指图像表面出运动的速度。物体在运动的时候之所以能够被人眼发现，就是因为当物体运动时，会在人的视网膜上形成一系列的连续变化的图像，这些变化信息在不同时间，不断地流过眼镜视网膜，就好像一种光流经过一样，故称之为光流。
光流检测在样型识别、计算机视觉以及其他摄像处理领域中有着重要的作用。具体地，光流检测可用于检测运动、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等等。
关于光流检测的方法目前有基于梯度的方法、基于匹配的方法、基于能量的方法等等。比较典型的有：霍恩-山克方法(Horn-Schunck Method)、卢卡斯-卡纳德方法(Lucas-Kanade Method)等等。光流检测的方法为本领域的现有技术，本实施例在此不再赘述。
在一个实施场景中，为了定量地表征光流点的位置信息，多帧图像中的目标行人的检测区域的光流信息包括检测区域的至少一个光流点在多维坐标轴上的坐标信息，例如前一帧图像中的光流点1的光流信息表示为二维坐标轴上的坐标信息(X1,t，Y1,t)，或者前一帧图像中的光流点2的光流信息表示为二维坐标轴上的坐标信息(X2,t，Y2,t)，或者后一帧图像中的光流点1的光流信息表示为二维坐标轴上的坐标信息(X1,t+1，Y1,t+1)，或者后一帧图像中的光流点2的光流信息表示为二维坐标轴上的坐标信息(X2,t+1，Y2,t+1)等等，本实施例不再赘述。
步骤S82：利用坐标信息，获得目标所在的检测区域中至少一个光流点的自相关参数。
自相关关系描述的是某光流点在前一帧图像时和在后一帧图像时之间的依赖关系。自相关参数越小说明某光流点在时序上越不相关，自相关参数越大说明某光流点在时序上越相关。
在数学意义上，自相关参数可以反映出光流点在时间序列上的相关性，其值越大相关性越好，也就是说目标的行为规律平稳，其值越小相关性越差，也就是说目标的行为杂乱无章。可以理解，当获取到的目标行人的检测区域中光流点越多，基于光流点的自相关参数检测目标行人是否存在异常行为越准确。当然，在一个实施场景中，本实施例所指的目标可以不仅仅指行人，还可以是其他目标，例如道路上的机动车、非机动车等等，通过上述方式判断道路上的机动车、非机动车是否存在异常行为，例如利用存在酒驾、醉驾、毒驾等行为时，车辆的行为往往无规律可循、杂乱无章，因此光流的自相关参数较小的特点，检测车辆是否存在酒驾、醉驾、毒驾等异常行为，为交警及时出警、干预提供了有力的支持。可以理解，此处所描述的检测车辆是否存在酒驾、醉驾、毒驾等异常行为，仅仅是其中一种可能的实施场景，在其他实施场景中，还可以检测车辆是否存在逆向行驶等行为，或者恶意超车、飙车等行为，本实施例在此不再一一列举。
上述方式，基于光流检测获得的位于目标所在的检测区域内的至少一个光流点的坐标信息，可以进一步获得至少一个光流点的自相关参数，从而为后续对目标是否存在异常行为做检测、判断，即在数学意义上，自相关参数可以反映出光流点在时间序列上的相关性，而目标所在区域的光流在时间序列上的相关性可以反映出该目标的行为是有规律的正常行为或是较杂乱无章的异常行为，进而实现检测行人是否存在异常行为。此外，该目标所在区域的光流点的自相关参数可直接采用该光流点的坐标信息计算得到，可降低光流点自相关参数的计算复杂度，进而在使用该光流点的自相关参数进行检测目标是否存在异常行为时，可提高检测效率。
其中，在一个实施例中，上述步骤S82利用坐标信息，获得目标所在的检测区域中至少一个光流点的自相关参数，可以具体包括：利用下述公式，计算得到目标所在的检测区域中至少一个光流点的自相关参数：
Figure BDA0002014483060000181
其中，R(i)表示多帧图像中的光流点i的自相关参数，Xi,t表示前一帧图像中的光流点i在第一坐标轴的坐标信息；Xi,t+1表示后一帧图像中的光流点i在第一坐标轴的坐标信息；Yi,t表示前一帧图像中的光流点i在第二坐标轴的坐标信息；Yi,t+1表示后一帧图像中的光流点i在第二坐标轴的坐标信息。
在一个实施场景中，结合光流点在前一帧图像和后一帧图像上的坐标信息，光流点的位移可以表示为向量，具体可以用光流点在二维坐标轴X方向、Y方向上的偏移，以及方向角表示。为了更全面地反映光流点的内在联系，针对X、Y和方向角，分别利用求得其自相关参数，即R(x)＝E[x(t)x(t+1)]、R(y)＝E[y(t)y(t+1)]、R(f)＝E[f(t)f(t+1)]，再根据不同的权重，例如0.25、0.25、0.5分别对三个自相关参数加权求和作为最终的光流点的自相关参数，即R＝0.25R(x)+0.25R(y)+0.5R(f)，当然，在另一个实施场景中，在求得X、Y和方向角的自相关参数后，也可以对其采用加权平均求得最终的光流点的自相关参数，在此不再赘述。
上述方式，可以通过光流点在多帧图像中的坐标信息计算得到光流点的自相关参数，从而为后续判断目标行人是否存在异常行为提供数据支持。
请参阅图9，图9为本申请图像处理装置一实施例的框架示意图。图像处理装置包括相互耦接的存储器91和处理器92，处理器用于执行存储器存储的程序指令，以实现上述任一实施例中的行人异常行为的检测方法，或实现上述任一实施例中的目标的光流自相关性确定方法。
具体而言，处理器92用于控制其自身以及存储器91以实现上述任一实施例中的行人异常行为的检测方法，处理器92还用于控制其自身以及存储器91以实现上述任一实施例中的目标的光流自相关性确定方法。处理器92还可以称为CPU(Central Processing Unit，中央处理单元)。处理器92可能是一种集成电路芯片，具有信号的处理能力。处理器92还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器92可以由多个成电路芯片共同实现。
下面对处理器92所实现的功能进行举例说明，其中处理器92至少可以实现以下至少一方面的功能。
第一方面：
处理器92用于控制其自身获取摄像器件依时序拍摄得到的多帧图像，其中，每帧图像包括至少一个与行人对应的检测区域；处理器92还用于分别对多帧图像的检测区域进行光流检测，得到多帧图像中目标行人的检测区域的光流信息；处理器92还用于利用光流信息，获得目标行人的检测区域中至少一个光流点的自相关参数；处理器92还用于基于目标行人的检测区域中至少一个光流点的自相关参数，检测目标行人是否存在异常行为。
在一个实施场景中，为了定量地表征光流点的位置信息，多帧图像中的目标行人的检测区域的光流信息包括检测区域的至少一个光流点在多维坐标轴上的坐标信息，例如前一帧图像中的光流点的光流信息表示为二维坐标轴上的坐标信息。在一个实施场景中，为了后续对多帧图像的检测区域进行的光流检测更加精确，从而更加准确地得到多帧图像中目标行人的光流信息，检测区域可以为行人的轮廓区域。
上述方式，通过对多帧图像中目标的检测区域进行光流检测，从而获得目标所在的检测区域中至少一个光流点的自相关参数，在数学意义上，自相关参数可以反映出光流点在时间序列上的相关性，而目标所在区域的光流在时间序列上的相关性可以反映出该目标的行为是有规律的正常行为或是较杂乱无章的异常行为，进而实现检测行人是否存在异常行为。
其中，在一个实施例中，处理器92还用于利用下述公式，计算得到目标行人的检测区域中至少一个光流点的自相关参数：
Figure BDA0002014483060000201
其中，R(i)表示多帧图像中的光流点i的自相关参数，Xi,t表示前一帧图像中的光流点i在第一坐标轴的坐标信息；Xi,t+1表示后一帧图像中的光流点i在第一坐标轴的坐标信息；Yi,t表示前一帧图像中的光流点i在第二坐标轴的坐标信息；Yi,t+1表示后一帧图像中的光流点i在第二坐标轴的坐标信息。
其中，在又一个实施例中，处理器92还用于对目标行人的检测区域中多个光流点的自相关参数进行加权处理，得到目标行人的行为自相关参数；处理器92还用于基于目标行人的行为自相关参数，检测目标行人是否存在异常行为。
其中，在又一个实施例中，上一实施例中的加权处理为加权求和或加权平均，处理器92还用于根据目标行人的检测区域中的多个光流点的光流位移，确定每个光流点的自相关参数的权重，其中，光流点的光流位移越大，对应权重越大。
其中，在又一个实施例中，处理器92还用于统计目标行人的检测区域中每个光流点的光流位移，处理器92还用于选择光流位移大于预设位移的多个光流点作为后续需获得自相关参数的光流点。
其中，在又一个实施例中，处理器92还用于判断目标行人的行为自相关参数是否小于预设阈值；处理器92还用于若判断目标行人的行为自相关参数小于预设阈值，则处理器92直接确定目标行人存在异常行为，或者处理器92还用于判断图像中是否存在与目标行人对向的其他行人，并在存在与目标行人对向的其他行人时，确定目标行人存在异常行为。
其中，在又一个实施例中，处理器92还用于基于图像中每个行人的多个预设特征点的位置信息，得到每个行人的由多个预设特征点组成的向量，其中，预设特征点表示行人的预设关节点；处理器92还用于获取图像中每个其他行人与目标行人之间的向量夹角；处理器92还用于控制其自身判断若存在位于预设角度范围的向量夹角，则处理器92确定图像中存在与目标行人对向的其他行人。处理器92还用于在确定目标行人存在异常行为之后，记录目标行人的检测区域。
其中，在又一个实施例中，处理器92还用于确定至少一帧图像中对应目标行人的若干特征点，其中，特征点表示行人的关节点；处理器92还用于基于若干特征点连接形成的至少一条特征线，预估目标行人是否存在异常行为；处理器92还用于控制其自身判断若预估目标行人存在异常行为，则处理器92执行分别对多帧图像的检测区域进行光流检测，得到多帧图像中目标行人的检测区域的光流信息。
其中，在又一个实施例中，处理器92还用于利用深度网络对至少一帧图像进行处理，得到至少一帧图像中对应目标行人的若干特征点；处理器92还用于由若干特征点的位置信息，得到若干特征点连接形成的至少一条特征线的方位信息；处理器92还用于基于至少一条特征线的方位信息，判断至少一条特征线是否为预设角度；处理器92还用于控制其自身若判断至少一条特征线为预设角度，则处理器92预估目标行人存在异常行为。
第二方面：
处理器92用于对多帧图像中目标所在的检测区域进行光流检测，得到目标所在的检测区域中的至少一个光流点在多维坐标轴上的坐标信息；处理器92还用于利用坐标信息，获得目标所在的检测区域中至少一个光流点的自相关参数。
在一个实施场景中，为了定量地表征光流点的位置信息，多帧图像中的目标行人的检测区域的光流信息包括检测区域的至少一个光流点在多维坐标轴上的坐标信息，例如前一帧图像中的光流点的光流信息表示为二维坐标轴上的坐标信息。在一个实施场景中，为了后续对多帧图像的检测区域进行的光流检测更加精确，从而更加准确地得到多帧图像中目标行人的光流信息，检测区域可以为行人的轮廓区域。
上述方式，基于光流检测获得的位于目标所在的检测区域内的至少一个光流点的坐标信息，可以进一步获得至少一个光流点的自相关参数，从而为后续对目标是否存在异常行为做检测、判断，即在数学意义上，自相关参数可以反映出光流点在时间序列上的相关性，而目标所在区域的光流在时间序列上的相关性可以反映出该目标的行为是有规律的正常行为或是较杂乱无章的异常行为，进而实现检测行人是否存在异常行为。此外，该目标所在区域的光流点的自相关参数可直接采用该光流点的坐标信息计算得到，可降低光流点自相关参数的计算复杂度，进而在使用该光流点的自相关参数进行检测目标是否存在异常行为时，可提高检测效率。
其中，在一个实施例中，处理器92还用于利用下述公式，计算得到目标所在的检测区域中至少一个光流点的自相关参数：
Figure BDA0002014483060000221
其中，R(i)表示多帧图像中的光流点i的自相关参数，Xi,t表示前一帧图像中的光流点i在第一坐标轴的坐标信息；Xi,t+1表示后一帧图像中的光流点i在第一坐标轴的坐标信息；Yi,t表示前一帧图像中的光流点i在第二坐标轴的坐标信息；Yi,t+1表示后一帧图像中的光流点i在第二坐标轴的坐标信息。
请参阅图10，图10为本申请图像处理装置另一实施例的框架示意图。图像处理装置包括相互耦接的存储器1010和处理器1020，处理器1020用于执行存储器1010存储的程序指令，以实现上述任一实施例中的行人异常行为的检测方法，或实现上述任一实施例中的目标的光流自相关性确定方法。图像处理装置还包括摄像器件1030，用于依时序拍摄得到多帧图像。在一个实施场景中，摄像器件1030耦接于处理器1020。
请参阅图11，图11为本申请存储装置1100一实施例的框架示意图。存储装置1100存储有能够被处理器运行的程序指令1110，程序指令1110用于实现上述任一实施例中的行人异常行为的检测方法，或实现上述任一实施例中的目标的光流自相关性确定方法。
上述方案中，通过对多帧图像中目标的检测区域进行光流检测，从而获得目标所在的检测区域中至少一个光流点的自相关参数，在数学意义上，自相关参数可以反映出光流点在时间序列上的相关性，而目标所在区域的光流在时间序列上的相关性可以反映出该目标的行为是有规律的正常行为或是较杂乱无章的异常行为，进而实现检测行人是否存在异常行为。
另外，该目标所在区域的光流点的自相关参数可直接采用该光流点的坐标信息计算得到，可降低光流点自相关参数的计算复杂度，进而在使用该光流点的自相关参数进行检测目标是否存在异常行为时，可提高检测效率。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (11)

1.一种行人异常行为的检测方法，其特征在于，包括：
获取摄像器件依时序拍摄得到的多帧图像，其中，每帧所述图像包括至少一个与行人对应的检测区域；
分别对所述多帧图像的检测区域进行光流检测，得到所述多帧图像中目标行人的检测区域的光流信息，其中，所述多帧图像中目标行人的检测区域的光流信息包括所述检测区域的至少一个光流点在多维坐标轴上的坐标信息，所述检测区域为所述行人的轮廓区域；
利用所述光流信息，获得所述目标行人的检测区域中至少一个光流点的自相关参数；其中，所述光流点的自相关参数用于反映所述光流点在不同帧所述图像之间的相关性；
基于所述目标行人的检测区域中至少一个光流点的自相关参数，检测所述目标行人是否存在异常行为；
其中，所述利用所述光流信息，获得所述目标行人的检测区域中至少一个光流点的自相关参数，包括：利用下述公式，计算得到所述目标行人的检测区域中至少一个光流点的自相关参数；
Figure FDA0002995379810000011
其中，所述R(i)表示所述多帧图像中的光流点i的自相关参数，所述Xi,t表示前一帧所述图像中的光流点i在第一坐标轴的坐标信息；所述Xi,t+1表示后一帧所述图像中的光流点i在第一坐标轴的坐标信息；所述Yi,t表示前一帧所述图像中的光流点i在第二坐标轴的坐标信息；所述Yi,t+1表示后一帧所述图像中的光流点i在第二坐标轴的坐标信息；
和/或，所述基于所述目标行人的检测区域中的至少一个光流点的自相关参数，检测所述目标行人是否存在异常行为，包括：
根据所述目标行人的检测区域中的多个光流点的光流位移，确定每个所述光流点的自相关参数的权重，其中，所述光流点的光流位移越大，对应所述权重越大；
利用所述权重，对所述目标行人的检测区域中多个光流点的自相关参数进行加权处理，得到所述目标行人的行为自相关参数；
基于所述目标行人的行为自相关参数，检测所述目标行人是否存在异常行为。
2.根据权利要求1所述的方法，其特征在于，所述加权处理为加权求和或加权平均。
3.根据权利要求1所述的方法，其特征在于，在所述利用所述光流信息，获得所述目标行人的检测区域中至少一个光流点的自相关参数之前，所述方法还包括：
统计所述目标行人的检测区域中每个光流点的光流位移；
选择光流位移大于预设位移的多个光流点作为后续需获得自相关参数的光流点。
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标行人的行为自相关参数，检测所述目标行人是否存在异常行为，包括：
判断所述目标行人的行为自相关参数是否小于预设阈值；
若是，则直接确定所述目标行人存在异常行为，或者判断所述图像中是否存在与所述目标行人对向的其他行人，并在存在与所述目标行人对向的所述其他行人时，确定所述目标行人存在异常行为。
5.根据权利要求4所述的方法，其特征在于，所述判断所述图像中是否存在与所述目标行人对向的其他行人，包括：
基于所述图像中每个行人的多个预设特征点的位置信息，得到每个行人的由所述多个预设特征点组成的向量，其中，所述预设特征点表示行人的预设关节点；
获取所述图像中每个其他行人与所述目标行人之间的向量夹角；
若存在位于预设角度范围的所述向量夹角，则确定所述图像中存在与所述目标行人对向的其他行人；
在所述确定所述目标行人存在异常行为之后，还包括：
记录所述目标行人的检测区域。
6.根据权利要求1所述的方法，其特征在于，在分别对所述多帧图像的检测区域进行光流检测，得到所述多帧图像中目标行人的检测区域的光流信息之前，还包括：
确定至少一帧所述图像中对应所述目标行人的若干特征点，其中，所述特征点表示行人的关节点；
基于所述若干特征点连接形成的至少一条特征线，预估所述目标行人是否存在异常行为；
若是，则执行所述分别对所述多帧图像的检测区域进行光流检测，得到所述多帧图像中目标行人的检测区域的光流信息。
7.根据权利要求6所述的方法，其特征在于，所述确定至少一帧所述图像中对应所述目标行人的若干特征点，包括：
利用深度网络对所述至少一帧图像进行处理，得到所述至少一帧图像中对应所述目标行人的若干特征点；
所述基于所述若干特征点连接形成的至少一条特征线，预估所述目标行人是否存在异常行为，包括：
由所述若干特征点的位置信息，得到所述若干特征点连接形成的至少一条特征线的方位信息；
基于所述至少一条特征线的方位信息，判断所述至少一条特征线是否为预设角度；
若是，则预估所述目标行人存在异常行为。
8.一种目标的光流自相关性确定方法，其特征在于，包括：
对多帧图像中目标所在的检测区域进行光流检测，得到所述目标所在的检测区域中的至少一个光流点在多维坐标轴上的坐标信息；
利用所述坐标信息，获得所述目标所在的检测区域中至少一个光流点的自相关参数；其中，所述光流点的自相关参数用于反映所述光流点在不同帧所述图像之间的相关性；
其中，所述多维坐标轴上的坐标信息为二维坐标轴的坐标信息；
所述利用所述坐标信息，获得所述目标所在的检测区域中至少一个光流点的自相关参数，包括：
利用下述公式，计算得到所述目标所在的检测区域中至少一个光流点的自相关参数；
Figure FDA0002995379810000041
其中，所述R(i)表示所述多帧图像中的光流点i的自相关参数，所述Xi,t表示前一帧所述图像中的光流点i在第一坐标轴的坐标信息；所述Xi,t+1表示后一帧所述图像中的光流点i在第一坐标轴的坐标信息；所述Yi,t表示前一帧所述图像中的光流点i在第二坐标轴的坐标信息；所述Yi,t+1表示后一帧所述图像中的光流点i在第二坐标轴的坐标信息。
9.一种图像处理装置，其特征在于，包括相互耦接的存储器和处理器；
所述处理器用于执行所述存储器存储的程序指令，以实现权利要求1至7任一项所述的方法，或实现权利要求8所述的方法。
10.根据权利要求9所述的装置，其特征在于，还包括摄像器件，用于依时序拍摄得到多帧图像。
11.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至7任一项所述的方法，或实现权利要求8所述的方法。
CN201910258346.4A 2019-04-01 2019-04-01 异常行为检测与光流自相关性确定的方法、及相关装置 Active CN110070003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910258346.4A CN110070003B (zh) 2019-04-01 2019-04-01 异常行为检测与光流自相关性确定的方法、及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910258346.4A CN110070003B (zh) 2019-04-01 2019-04-01 异常行为检测与光流自相关性确定的方法、及相关装置

Publications (2)

Publication Number Publication Date
CN110070003A CN110070003A (zh) 2019-07-30
CN110070003B true CN110070003B (zh) 2021-07-30

Family

ID=67366886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910258346.4A Active CN110070003B (zh) 2019-04-01 2019-04-01 异常行为检测与光流自相关性确定的方法、及相关装置

Country Status (1)

Country Link
CN (1) CN110070003B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532966A (zh) * 2019-08-30 2019-12-03 深兰科技（上海）有限公司 一种基于分类模型进行跌倒识别的方法及设备
CN110718067A (zh) * 2019-09-23 2020-01-21 浙江大华技术股份有限公司 违规行为告警方法及相关装置
CN111401296B (zh) * 2020-04-02 2023-09-29 浙江大华技术股份有限公司 一种行为分析方法、设备及装置
CN114202804A (zh) * 2022-02-15 2022-03-18 深圳艾灵网络有限公司 行为动作识别方法、装置、处理设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN108288021A (zh) * 2017-12-12 2018-07-17 深圳市深网视界科技有限公司 一种人群异常事件检测方法、电子设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101180887B1 (ko) * 2010-09-08 2012-09-07 중앙대학교 산학협력단 이상행위 검출장치 및 방법
CN103793920B (zh) * 2012-10-26 2017-10-13 杭州海康威视数字技术股份有限公司 基于视频的逆行检测方法及其系统
CN106571014A (zh) * 2016-10-24 2017-04-19 上海伟赛智能科技有限公司 一种在视频中识别异常动作的方法和系统
CN107330372B (zh) * 2017-06-05 2021-05-28 四川大学 一种基于视频的人群密度与异常行为检测系统的分析方法
CN107832688B (zh) * 2017-10-27 2020-08-11 浙江农林大学 一种交通路口视频监控的交通模式和异常行为的检测方法
CN108052859B (zh) * 2017-10-31 2022-02-25 深圳大学 一种基于聚类光流特征的异常行为检测方法、系统及装置
CN108062349B (zh) * 2017-10-31 2022-03-08 深圳大学 基于视频结构化数据及深度学习的视频监控方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN108288021A (zh) * 2017-12-12 2018-07-17 深圳市深网视界科技有限公司 一种人群异常事件检测方法、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的人流量双向统计技术研究;王瑞;《中国优秀硕士学位论文全文数据库信息科技辑》;20131215;40-41 *

Also Published As

Publication number Publication date
CN110070003A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110070003B (zh) 异常行为检测与光流自相关性确定的方法、及相关装置
CN105678288B (zh) 目标跟踪方法和装置
EP2895986B1 (en) Methods, devices and systems for detecting objects in a video
CN110222616B (zh) 行人异常行为检测方法、图像处理装置及存储装置
CN106605154B (zh) 一种运动目标的监测方法、穿戴式装置及服务器
JP2009064410A (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
US11348338B2 (en) Methods and systems for crowd motion summarization via tracklet based human localization
Naik et al. Violence detection in surveillance video-a survey
CN110458017B (zh) 目标跟踪的尺度估计方法以及相关装置
Kanhere et al. Vehicle segmentation and tracking in the presence of occlusions
Poostchi et al. Spatial pyramid context-aware moving vehicle detection and tracking in urban aerial imagery
Rahim et al. An adapted point based tracking for vehicle speed estimation in linear spacing
Rabie et al. Mobile vision-based vehicle tracking and traffic control
KR20150081797A (ko) 객체 추적 장치 및 방법
Tsai et al. Multi-lane detection and road traffic congestion classification for intelligent transportation system
Lee et al. Modeling crowd motions for abnormal activity detection
Vasu An effective step to real-time implementation of accident detection system using image processing
CN114913470A (zh) 一种事件检测方法及装置
CN113962338A (zh) 一种rfid辅助多摄像头检测跟踪的室内监控方法及系统
Chen et al. Exploiting Acceleration of the Target for Visual Object Tracking
Mishra et al. Occlusion handling strategies for multiple moving object classification
Bo et al. Freeway auto-surveillance from traffic video
CN112257485A (zh) 一种对象检测的方法、装置、存储介质及电子设备
Rabie et al. Active-vision-based traffic surveillance and control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant