CN110059668B - 行为预测处理方法、装置及电子设备 - Google Patents

行为预测处理方法、装置及电子设备 Download PDF

Info

Publication number
CN110059668B
CN110059668B CN201910353909.8A CN201910353909A CN110059668B CN 110059668 B CN110059668 B CN 110059668B CN 201910353909 A CN201910353909 A CN 201910353909A CN 110059668 B CN110059668 B CN 110059668B
Authority
CN
China
Prior art keywords
information
people
monitoring
scene model
preset scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910353909.8A
Other languages
English (en)
Other versions
CN110059668A (zh
Inventor
罗谦
党婉丽
邓锐
邓睿
耿龙
陈肇欣
杜雨弦
周杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Priority to CN201910353909.8A priority Critical patent/CN110059668B/zh
Publication of CN110059668A publication Critical patent/CN110059668A/zh
Application granted granted Critical
Publication of CN110059668B publication Critical patent/CN110059668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本申请提供一种行为预测处理方法、装置及电子设备，涉及计算机数据处理技术领域。该方法包括：从监控视频中获取不同时刻对应的多个监控图像，以及与监控视频的时段对应的航班信息；从多个监控图像中采集并确定多个监控图像中的人物在预设场景模型中的宏观特征及微观特征，其中，宏观特征包括人物在预设场景模型中的位置信息、预设场景模型中人物的数量、人密度、人物的运动速度及运动方向，微观特征包括监控图像中的纹理信息；基于航班信息将分布信息输入预设概率转移模型，得到预设概率转移模型输出的预测结果，实现旅客行为状态的预测，能够改善现有技术中无法通过监控视频对异常状况进行预防与及时处理的技术问题。

Description

行为预测处理方法、装置及电子设备
技术领域
本发明涉及计算机数据处理技术领域，具体而言，涉及一种行为预测处理方法、装置及电子设备。
背景技术
在机场中的航站楼这类公共场合下，人口密度大、流动快。目前的视频监控中，通常是由监控的工作人员利用监控器历史采集或实时采集的监控画面发现异常状况，在异常状况发生且被发现后，才进行处理，不便于对异常状况进行预防与及时处理。
发明内容
本申请提供一种行为预测处理方法、装置及电子设备，能够改善现有技术中无法通过监控视频对异常状况及时处理与预防的技术问题。
为了实现上述目的，本申请实施例所提供的技术方案如下所示：
第一方面，本申请实施例提供一种行为预测处理方法，所述方法包括：
从监控视频中获取不同时刻对应的多个监控图像，以及与所述监控视频的时段对应的航班信息；建立所述监控视频中关键区域场景物品的拓扑图，划定前景人物位置；从所述多个监控图像中采集并确定所述多个监控图像中的人物在预设场景模型中的时空特征集，所述时空特征集包括在同一监控图像中各个人物在所述预设场景模型中的宏观特征及微观特征，其中，所述宏观特征包括人物在所述预设场景模型中的位置信息、所述预设场景模型中人物的数量、人密度、人物的运动速度及运动方向，所述微观特征包括监控图像中的纹理信息；确定所述时空特征集中的各特征在时间维度、空间维度上的分布信息；基于所述航班信息将所述分布信息输入预设概率转移模型，得到所述预设概率转移模型输出的预测结果，所述预设概率转移模型用于根据所述分布信息预测在当前时刻之后的各个人物在所述预设场景模型中的行为状态，所述预测结果包括表征至少部分人物群体的行为状态的第一描述信息。
基于此，因为是基于当前的监控视频与航班信息相结合来对预测各人物在后期的人物的群体行为，所以预测的结果能够根据航班信息的变化而灵活变动，可以根据航班信息进行修正，一方面能够改善现有技术中无法通过监控视频对异常状况进行预防与及时处理的技术问题，另一方面还有助于提高预测结果的准确性及时效性。
结合第一方面，在一些可选的实施方式中，从所述多个监控图像中采集并确定所述多个监控图像中的人物在预设场景模型中的时空特征集，包括：基于所述多个监控图像中固定物体的拓扑结构确定人物在所述监控视频对应的环境中的活动区域；在所述活动区域中采集并确定所述多个监控图像中的人物在所述预设场景模型中的所述时空特征集，其中，所述预设场景模型与所述活动区域相对应。基于此，通过对人物群体活动区域对应的图像进行识别与特征的提取，而无需对人物群体非活动区域进行识别处理，有助于减少需要识别处理的图像面积，从而降低数据处理的计算量，并提高特征提取精度。
结合第一方面，在一些可选的实施方式中，在所述活动区域中采集所述多个监控图像的人物在所述预设场景模型中的所述时空特征集，包括：
基于每个监控图像，利用卷积神经网络识别关键区域物品，建立相应物品之间拓扑图，提取人物活动区域；根据人物的位置信息，利用前景连通区域、光流法、密度图确定所述预设场景中人物的形状、面积、速度、方向、密度、数量；采集所述监控图像中的纹理信息；将所确定的人物形状信息、人密度、人物的数量、平均运动速度、运动方向及纹理信息等确定为时空特征集所包括的特征。基于此，利用人物在预设场景模型中的位置，能够将人物在实际环境中的相对位置在预设场景模型中数据化，方便时空特征集的提取，以实现结果的预测。
结合第一方面，在一些可选的实施方式中，所述方法还包括：
根据所述形状及人物在所述形状对应的区域中的人密度、平均运动速度及运动方向，确定表征所述形状内对应的人物群体的行为状态的第二描述信息。基于此，通过对时空特征集中的特征进行聚类拟合，将具有相似的特征聚类分析，从而能够根据人群的形状、密度、平均运动速率确定人群的行为。基于此，通过自动识别监控视频中的监控图像所反映的人群的行为，方便管理人员掌握人群的行为状态信息。
结合第一方面，在一些可选的实施方式中，确定所述时空特征集中的各特征在时间维度、空间维度上的分布信息，包括：
根据最近邻比率的设置，挖掘不同粒度的空间的近邻模式及共现模式信息，判断各个特征在空间维度上的分布信息；利用时间内聚性强度，挖掘特征点在时间维度上的周期性；定义各个要素在时间和空间上的相似度，利用相似度对提取的时空特征数据进行聚类拟合，得到所述时空特征集的各个特征在时间维度、空间维度上的分布信息。基于此，通过在空间维度及时间维度上的聚类拟合，能够更全面地表述特征的分布信息，有助于提高预测结果的准确性。
结合第一方面，在一些可选的实施方式中，所述方法还包括：
根据监控图像确定的周边环境的类型、当前的人物的数量、所述第二描述信息，或者根据监控图像确定的周边环境的类型、预测结果中的人物的数量、所述第一描述信息，确定所述周边环境内是否存在异常状况，所述类型包括表征周边环境为值机区域的第一类型，或表征周边环境为安检区域的第二类型，或表征周边环境为候机区域的第三类型；在存在异常状况时发出警示信号。基于此，通过在监控存在异常状况时发出警示信号，有助于管理人员及时发现当前的异常状况、预测的异常状况，并及时进行处理，从而降低或避免因异常状况导致的损失。
第二方面，本申请实施例还提供一种行为预测处理装置，所述装置包括：
获取单元，从监控视频中获取不同时刻对应的多个监控图像，以及与所述监控视频的时段对应的航班信息；特征采集单元，从所述多个监控图像中采集并确定所述多个监控图像中的人物在预设场景模型中的时空特征集，所述时空特征集包括在同一监控图像中各个人物在所述预设场景模型中的宏观特征及微观特征，其中，所述宏观特征包括人物在所述预设场景模型中的位置信息、所述预设场景模型中人物的数量、人密度、人物的运动速度及运动方向，所述微观特征包括监控图像中的纹理信息；分布确定单元，用于确定所述时空特征集中的各特征在时间维度、空间维度上的分布信息；预测处理单元，用于基于所述航班信息将所述分布信息输入预设概率转移模型，得到所述预设概率转移模型输出的预测结果，所述预设概率转移模型用于根据所述分布信息预测在当前时刻之后的各个人物在所述预设场景模型中的行为状态，所述预测结果包括表征至少部分人物群体的行为状态的第一描述信息。
结合第二方面，在一些可选的实施方式中，所述特征采集单元还用于：基于所述多个监控图像中固定物体的拓扑结构确定人物在所述监控视频对应的环境中的活动区域；在所述活动区域中采集并确定所述多个监控图像中的人物在所述预设场景模型中的所述时空特征集，其中，所述预设场景模型与所述活动区域相对应。
结合第二方面，在一些可选的实施方式中，所述特征采集单元还用于：
基于每个监控图像，基于每个监控图像，利用卷积神经网络识别关键区域的物品，建立相应物品之间拓扑图，提取人物的活动区域；根据人物的位置信息，利用前景连通区域、光流法、密度图确定所述预设场景中人物的形状、面积、速度、方向、密度、数量；采集所述监控图像中的纹理信息；将所确定的人物形状信息、人密度、人物的数量、平均运动速度、运动方向及纹理信息确定为时空特征集所包括的特征。
第三方面，本申请实施例还提供一种电子设备，包括相互耦合的存储器和处理器，所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行上述的方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行上述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备与监控设备的通信示意图。
图2为本申请实施例提供的电子设备的方框示意图。
图3为本申请实施例提供的行为预测处理方法的流程示意图。
图4为本申请实施例提供的预设场景模型为航站楼的示意图。
图5为本申请实施例提供的行为预测处理装置的方框示意图。
图标：10-电子设备；11-处理器；12-存储器；13-通信模块；20-监控设备；100-行为预测处理装置；110-获取单元；120-特征采集单元；130-分布确定单元；140-预测处理单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请结合参照图1至图3，本申请实施例提供一种电子设备10，该电子设备10通过网络可以与至少一个监控设备20建立通信连接，以进行数据交互。例如，电子设备10可以通过网络从监控设备20获取到监控设备20 采集的监控视频。该网络可以是有线网络、无线网络等，这里不作具体限定。
在本实施例中，与电子设备10通信连接的监控设备20的数量可以根据实际情况进行设置。例如，该数量可以为一个、两个、多个等。电子设备10包括但不限于本地计算机、服务器等。监控设备20包括有用于采集视频数据的摄像头，例如，监控设备20为监控摄像头或具有摄像头的其他设备等。监控设备20可以设置在航站楼中，用于采集航站楼的视频数据，所采集的视频数据可以作为监控视频。该监控视频可以发送至电子设备10，以供电子设备10进行识别处理，例如电子设备10可以从监控视频中提取出不同时刻的监控图像。
请参照图2，在本实施例中，电子设备10可以包括处理器11、存储器 12、通信模块13以及行为预测处理装置100，处理器11、存储器12、通信模块13以及行为预测处理装置100各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
请参照图3，本申请实施例还提供一种行为预测处理方法，可以应用于上述的电子设备10，由电子设备10执行或实现行为预测处理方法的各步骤。该行为预处理方法可以适用于飞机航站楼这类公共场所，用于预测人物群体的位置分布及行为。下面将对图3中所示的行为预测处理方法的各步骤进行详细阐述：
步骤S210，从监控视频中获取不同时刻对应的多个监控图像，以及与所述监控视频的时段对应的航班信息。
在本实施例中，电子设备10可以从监控设备20获取到监控视频，航班信息可以从用于存储航班信息的机场系统中获取到。其中，机场系统预先存储有历史的航班信息、当前的航班信息及未来一段时间内的航班信息。可理解地，当前航班信息与未来的航班信息可以根据实际情况进行调整或更改。比如出现飞机延误不能在预定的时刻起飞时，可以对该航班信息进行调整或更改。
航班信息通常可以包括多个航班的信息表，每个航班的信息表中包括但不限于检票口检票的时段、检票口的类型、航班号等。航班信息与监控视频的时段相对应。可理解地，不同时段的监控视频所对应的航班信息可以不相同。与所述监控视频的时段对应的航班信息可理解为：在同一个机场航站楼中，在当前的监控视频中当前画面所在时刻机场系统所公布/显示的航班信息。该航班信息可以实时进行更新，以保障获取的航班信息的准确性及时效性。
步骤S220，从所述多个监控图像中采集并确定所述多个监控图像中的人物在预设场景模型中的时空特征集，所述时空特征集包括在同一监控图像中各个人物在所述预设场景模型中的宏观特征及微观特征，其中，所述宏观特征包括人物在所述预设场景模型中的位置信息、所述预设场景模型中人物的数量、人密度、人物的运动速度及运动方向，所述微观特征包括监控图像中的纹理信息。
在本实施例中，电子设备10可以基于预设场景模型提取出监控图像中的时空特征集。预设场景模型可以为与监控图像所监控的场景的二维空间模型或三维空间模型。例如，若预设场景模型为二维空间模型，该二维空间模型构建的原理可以为：电子设备10可以利用透视模型将监控图像对应的场景转换为二维空间模型。其中，透视模型实现图像转换的原理类似于小孔成像，也就是将三维空间的图像通过类似于投影的方式转换为二维空间中的图像。
在步骤S220之前，方法还可以包括：建立所述监控视频中关键区域场景物品的拓扑图，划定前景人物位置。
其中，关键区域场景物品可以为环境中位置固定的物体，比如值机岛、座椅、安检口等。拓扑图可理解为在机场航站楼关键区域的多个固定物体所在区域形成的拓扑图。
作为一种可选的实施方式，步骤S220可以包括：基于所述多个监控图像中固定物体的拓扑结构确定人物在所述监控视频对应的环境中的活动区域；在所述活动区域中采集并确定所述多个监控图像中的人物在所述预设场景模型中的所述时空特征集，其中，所述预设场景模型与所述活动区域相对应。
在本实施例中，活动区域可以通过深度学习模型进行确定。例如，先对深度学习模型进行训练，然后利用训练后的模型对视频进行识别，以从监控视频中确定出监控视频所监控的场景中的活动区域。在进行模型训练时，可以利用样本标记机场航站楼关键区域的固定物体(例如：值机柜台、安检柜台、隔离带等)的拓扑结构、人物，输入VGG模型(VGG模型为一种深度学习模型，VGG英文全称为Visual Geometry Group，指视频几何组)中进行训练、学习，识别视频中的物体的类型及人物，以得到训练后的深度学习模型；然后利用训练后的深度学习模型从监控图像中识别出上述的固定物体、活动区域及活动区域中的人物。其中，固定物体的拓扑结构可理解为在机场航站楼关键区域的多个固定物体所在区域形成的拓扑图。另外，在进行训练学习及利用训练后的模型进行识别时，可以利用图像的方向梯度直方图(Histogram of Oriented Gradient,HOG)特征以及边缘特征，提取得到人物对应的图像、活动区域对应的图像、固定物体对应的图像等。
可理解地，同一个监控视频文件中，多个监控图像所对应的场景通常是同一个固定的环境，不同之处在于该环境中的人物会流动，提取的不同的监控图像中的人物的位置可能有所不同。因此，在利用同一个监控视频文件中的多个监控图像来确定该监控视频中人群的活动区域时，可以对其中一个或部分的监控图像进行识别，以降低运算量。其中，活动区域可理解为为人物在监控设备20的监控区域中的运动区域。
作为一种可选的实施方式，在所述活动区域中采集所述多个监控图像的人物在所述预设场景模型中的所述时空特征集，可以包括：基于每个监控图像，利用卷积神经网络识别关键区域的物品，建立相应物品之间拓扑图，提取人物的活动区域；根据人物的位置信息，利用前景连通区域、光流法、密度图确定预设场景中人物的形状、面积、速度、方向、密度、数量；采集所述监控图像中的纹理信息；将所确定的人物形状信息、人密度、人物的数量、平均运动速度、运动方向及纹理信息确定为时空特征集所包括的特征。其中，相应物品之间的拓扑图可以为场景中的位置通常处于固定不移动的物体的拓扑图。例如，航站楼中的建筑设施(比如值机岛)或其他公共设施等，通常为处于固定不移动的物体。
在本实施例中，人物在预设场景模型中的位置可以间接地反映出人物在三维空间中的相对位置。因此，人物在三维空间中的相对位置也可以反映在预设场景模型(比如为二维空间模型)中。例如，在三维图像中的人物的坐标为(ui，vi，wi)，可以使用下述的公式将此人物映射到二维空间模型中的(xi,yi)点。其中，三维图像中的坐标系与二维空间模型中的坐标系相对应。
Figure GDA0002761464670000091
Figure GDA0002761464670000092
然后可以从二维空间模型中提取各个目标的坐标，可以分别表示为:X1＝ObjectNode(x1,y1),X2＝ObjectNode(x2,y2),……,Xn＝ObjectNode(xn,yn),其中1,2……n代表不同的物体主体，n为大于0的整数。
若目标为人物时，在计算人物之间的距离时，连接各个人物的坐标，可以采用欧氏距离公式进行各个目标节点的计算，公式如下：
Figure GDA0002761464670000101
其中，d(i,j)表示人物i与人物、j之间的距离，i、j代表的为不同的人物。 x指人物在坐标系中的横坐标位置，y指人物在坐标系中的纵坐标位置，计算出来的人物在二维空间中的坐标、人物之间的距离以及各个监控图像在所述监控视频中的时间序列便可以作为一部分的时空特征集。
作为一种可选的实施方式，在提取时空特征集时，包括提取监控图像(记为Z)的宏观特征：包括人物聚集的形状(记为s)、在形状对应的区域中的人物的平均速度(记为v)、在形状对应的区域中的人物的人数(记为n)、在形状对应的区域中的人物的人群密度(记为p)，将上述特征用向量表示 (记为C)，则监控图像Z的宏观特征可以表示为：
C：(s,v,n,p)
其中：形状s，包括但不限于包括环形(记为c)，矩形(记为r)，不规则形(记为i)。其组合可表示为：
Z＝{c1,c2,……,cn}∪{r1,r2,……,rn}∪{i1,i2,……,in}
在本实施例中，方法可以通过对人物聚集的形状进行识别判断，然后将识别出的形状作为确定人群行为的一项依据数据。比如，人群在排队时，人群的密度大，人群聚集的形状通常类似于矩形，且形状内人群的运动表现为朝固定方向移动。人群在候车区域中的座椅上坐候等待时，人群聚集的形状通常也为矩形，且形状内人群的运动表现为不移动。对于处于游离的离散人群，人群的密度较小，其形状通常为不规则形状。另外，方法可以通过对上述的距离进行聚类，并结合人群的密度，可以将监控的周边环境中的人群对应的区域进行划分。
比如，对距离在同一预设距离范围内的人群构造闭合包络线，该闭合包络线内包括了距离在同一预设距离范围内的人群。然后基于包络线内人群的密度进行划分，将密度在同一预设范围(该预设范围可根据实际情况进行设置)内的人群作为一个目标群体，并识别该目标群体的形状。其识别的方式可以通过训练后的深度学习模型进行识别。
在本实施例中，上述的平均速率可以通过光流法进行提取，人密度(人群的拥挤程度)主要通过密度图进行输出表示，并计算人数(人数可以通过对输出的密度图进行积分得到)。密度图主要通过几何适应的高斯核进行计算得出，比如，可以由下述公式(4)进行计算得出：
Figure GDA0002761464670000113
其中，G代表高斯核，δi＝βdi。
Figure GDA0002761464670000111
在上述公式中(4)、(5)，xi表示图像中人头的中心像素位置；x表示人头中心相邻位置；δ(x-xi)表示图像中人头位置的冲击函数；δi为定义的用于计算密度F(x)的中间函数，表示β与di的乘积；N为图像中的人头总数；
Figure GDA0002761464670000112
为距离xi人头最近m个人头与该人头的平均距离；为个预设的定值，在不同场景取不同值，可根据实际情况进行设置。可选地，在机场航站楼的图像中，β＝0.5。
可选地，提取时空特征集时，包括提取监控图像Z的微观特征。例如，通过灰度共生矩阵进行计算人群的能量(记为E)、熵(记为H)、惯性矩(记为G)、相关性(记为L)、逆差距(记为N)以组成向量(记为M)。该微观特征可以用下面的向量表示：
M：(E，H，G，L，N)
其中，能量用于表征图像灰度分布均匀程度以及图像纹理的粗细度；熵用于表征图像所具有信息量的度量(例如图像中的人物、环境等信息的信息量，比如，通常来讲，图像中的人物数量越多，复杂度也就越大，信息量的度量也越大，熵也就越大)，逆差距用于表征图像纹理的同质性，度量图像纹理局部变化的情况；相关性用于表征图像纹理的一致性；惯性矩用于表征图像灰度空间分布的复杂程度。
对于机场航站楼来说，不同的人群行为(聚集、分散、排队等)展现不同的时空特性，其在空间和时间上具有一定的周期、规律性。基于上述的微观特征，可以用于判断人群的行为是否异常。例如，若人群中出现聚众斗殴，那么计算得到的人群的能量、熵、惯性矩会较大。即，电子设备 10在计算得到的人群的能量、熵、惯性矩超过设定值时(该设定值可根据实际情况进行设置)，便认定监控中存在异常状况，此时，电子设备10可以发出警示信号，以提示工作人员，使得工作人员能够及时发现问题，并及时进行处理，从而降低损失。
步骤S230，确定所述时空特征集中的各特征在时间维度、空间维度上的分布信息。
在本实施例中，方法可以通过对时空特征集中的特征进行建模，以得到相应的分布信息。
其中，分布信息可理解为特征在时间维度、空间维度上的分布情况。例如，在同一个监控区域中，人物数量这一特征在不同时刻会不尽相同，在同一时刻时，监控区域中的不同子区域的人物数量的分布也有所不同；此时，不同时刻的人物数量便为在时间维度上的分布；在同一时刻时，不同子区域中的人物数量的分布便为人物数量在空间维度上的分布。其中，分布信息可以包括特征呈正态分布、F分布、t分布、二项分布等，这里对特征的分布信息不作具体限定。
例如，作为一种可选的实施方式，步骤S230可以包括：根据最近邻比率的设置，挖掘不同粒度的空间的近邻模式及共现模式信息，判断各个特征在空间维度上的分布信息；利用时间内聚性强度，挖掘特征点在时间维度上的周期性；定义各个要素在时间和空间上的相似度，利用相似度对提取的时空特征数据进行聚类拟合，得到时空特征集的各个特征在时间维度、空间维度上的分布信息。可理解地，一个特征点可以为时空特征集中的一个特征。方法可以根据不同的预设距离范围、预设时段对所述宏观特征及所述微观特征在空间维度及时间维度上进行聚类拟合，以得到所述时空特征集中的各特征在时间维度、空间维度上的分布信息。
在本实施例中，预设距离范围及预设时段可以根据实际情况进行设置，这里不作具体限定。例如，方法可以对同一视频场景中的物体之间的距离 d(i,j)进行聚类分类，设置拓扑容限及拓扑等级。拓扑容限可以为人物之间的不同的预设距离范围，拓扑等级可以为不同的预设距离范围的数量，比如，若有三个不同的预设距离范围，则拓扑等级便为三。在对人物之间的距离进行聚类拟合时，通过聚类拟合可以反映出人群的聚集状态或人密度的分布。例如，若在一区域内，存在较多数量的短距离，也就意味着该区域中人物群体属于聚集状态(该短距离可理解为两人之间的距离较短，可根据实际情况进行设置，其数量可以理解为任意两人之间的间距可以作为一组距离，监控区域中的多人之间可以通过排列组合得到多组距离)；存在较少数量的短距离，也就意味着该区域中的人物群体属于离散状态。
基于此，方法可以通过人群的聚集程度构造包络线，以对人物聚集的区域进行划分，以便于确定人物聚集的形状。
请参照图4，在进行特征的聚类拟合时，方法可以通过建立时空模型，实现多粒度时空特征的有序表示。例如，航站楼的空间可以分为两个空间粒度，比如，可划分为相同区域之间的模式(例如：值机区域与值机区域之间，安检区域A、B之间等)，不同区域之间的模式(例如：值机区域、安检区域、候机区域等)。然后，根据时空特征集构建航站楼人物群体行为的表示模型，然后基于预先构建的概率转移模型，确定旅客行为状态由当前行为状态变化至未来的另一个行为状态的概率，以实现人物数量、密度、行为状态的预测。
可选地，方法可以根据不同的预设距离范围对时空特征集中的距离进行聚类拟合，另外，还可以对时空特征集中的其他特征(其他特征可以指人数、密度、平均移动速率等特征)进行聚类拟合，其聚类拟合的原理可以如下：
例如，假设航站楼有5个安检区(A，B，C，D，E)，将5个安检区域作为5个要素；
计算每个要素质心与最邻近要素的质心位置之间的距离di；
计算实测要素与最邻近要素质心距离的平均值
Figure GDA0002761464670000141
Figure GDA0002761464670000142
计算最近邻比率：
Figure GDA0002761464670000143
其中
Figure GDA0002761464670000144
为各个要素随机分布的平均距离，且
Figure GDA0002761464670000145
的计算依据下述公式：
Figure GDA0002761464670000146
在上述公式中，n为区域要素数量，A为所有要素包络线面积。
若ANN>1,则时空特征集中的特征之间成随机分布，若ANN<1,则时空特征集中的特征之间成聚集分布。
在本实施例中，由于航站楼的人员分布与航班信息具有一定的关联性，航班计划直接影响着人流在时间上的分布特征。比如，机场可以按照季度安排航班，此时，对于航站楼的各种人群分布或者人群的行为特征在时间维度上具有一定周期性。
在本实施例中，方法可以划分d维数据(分布)空间，量化向量记作Q，用于对具有相似行为的时空特征进行聚类。
Q＝{q1,q2,…,qn},
则数据相似性的极小值为：
Figure GDA0002761464670000151
即，将提取的时空数据在在空间时间维度上进行聚类，利用相似度进行描述，把具有相似行为的时空特征划分到同一组中。例如，在识别出排队等候行为对应的人群时，可以将这类人群归为表征排队行为的第一类，在识别出分散行为对应的人群时，可以将这类人物归为表征分散行为的第二类；在识别出聚集行为对应的人群(不包括排队行为)时，可以将这类人物归为表征分聚集行为的第三类，从而描述各种人群(排队、分散、聚集等)行为。
可理解地，方法通过对时空特征集中的特征进行聚类拟合，将具有相似的特征聚类分析，以便于够根据人群的聚集形状、密度、平均运动速率等确定人群的行为。
可选地，在步骤S230之前，方法还可以可以包括：根据所述形状及人物在所述形状对应的区域中的人密度、平均运动速度及运动方向，确定表征所述形状内对应的人物群体的行为状态的第二描述信息。
可理解地，第二描述信息表示监控视频所反映的当前的人群的行为状态，而第一描述信息为表示预测得到的人群的行为状态。第二描述信息可以包括但不限于表示人群排队检票的状态、表示人群游离分布的状态、表示人群坐候聚集的状态等信息。
步骤S240，基于所述航班信息将所述分布信息输入预设概率转移模型，得到所述预设概率转移模型输出的预测结果，所述预设概率转移模型用于根据所述分布信息预测在当前时刻之后的各个人物在所述预设场景模型中的行为状态，所述预测结果包括表征至少部分人物群体的行为状态的第一描述信息。
可理解地，若监控视频为当前监控视频，那么所得到的分布信息也就为当前分布信息，其中，当前分布信息中包括基于人群的聚集形状、密度、平均运动速率等确定人群的当前行为状态。此时，预设概率转移模型可以根据当前行为状态确定在下一时刻的人群行为状态的概率，然后选取概率最大所对应的行为状态作为预测的行为。其中，第一描述信息用于表示基于该监控视频所所预测出的人群的行为状态，第一描述信息可以包括但不限于表示人群排队检票的状态、表示人群游离分布的状态、表示人群坐候聚集的状态等信息。
其中，时空特征集中的人数、密度、平均移动速率、移动方向等特征可以为通过多个监控图像在所述监控视频中的时间序列、上述位置信息、距离计算得到的。
在本实施例中，因为是基于当前的监控视频与航班信息相结合来对预测各人物在后期的位置分布及人物的群体行为，所以预测的结果能够根据航班信息的变化而灵活变动，基于此，一方面能够改善现有技术中无法通过监控视频对异常状况进行预防与及时处理的技术问题，另一方面还有助于提高预测结果的准确性及时效性。另外，该方法能够提前预知即将发生的事件，得到的预测结果能够对机场资源的提前调配、安全预警起到数据支撑的作用。
预设概率转移模型包括下述的公式：
Figure GDA0002761464670000161
其中，yt为旅客流时间序列，d为差分的次数；B为后移算子；S和D 分别为季节周期的长度和季节差分的次数，Bs为季节后移算子。
Figure GDA0002761464670000162
上式(10)为季节平稳可逆模型的自回归系数多项式，
Figure GDA0002761464670000163
为定义的用于计算转移概率的中间函数。
θ(Bs)＝1-θ1Bs-…-θpBs,p (11)
上式(11)为季节平稳可逆模型的移动平滑系数多项式，P为模型SAR 项(SAR指自回归)的滞后阶数；θ为模型中SMA项(SMA指线回归)的滞后阶数；C为常数，εt为模型残差项，服从均值为0且方差为常数的正态分布。
在本实施例中，方法可以通过上述公式将多种特征进行结合，建立其联合分布，利用条件随机过程分析方法，构建不同时间段人群状态的转移概率模型，从而预测未来时间段内的人群状态(人群状态包含了预测的人流量、人流密度，聚集、分散等群体行为)。其中，预测得到的人群状态可以用于分析未来一段时间(这里的未来一段时间可以根据实际情况进行设置，例如10分钟、30分钟、60分钟等)内监控区域中是否存在异常状况，若存在异常状况，则可以及时进行预防。
作为一种可选的实施方式，方法还可以包括：根据监控图像确定的周边环境的类型、当前的人物的数量、所述第二描述信息，或者根据监控图像确定的周边环境的类型、预测结果中的人物的数量、所述第一描述信息，确定所述周边环境内是否存在异常状况，所述类型包括表征周边环境为值机区域的第一类型，或表征周边环境为安检区域的第二类型，或表征周边环境为候机区域的第三类型；在存在异常状况时发出警示信号。
在本实施例中，电子设备10可以结合公共资源的使用状况、人物的位置分布状况或密度来判断监控区域内是否存在异常状况，并在存在异常状况时发出警示信号。其中，发出的警示信号可以提示管理人员及时对异常状况进行处理或预防。
例如，安检口本来有5个可以使用，但实际只有3个在运行，若此时电子设备10确定(或预测)出安检排队的人数超过预设值(预设值可以根据实际情况进行设置，通常表征排队的人数较多)，则可确定为异常状况。此时，电子设备10可以发出警示信号，以使管理人员将剩余的安检口投入运行，以缓解排队压力。基于此，本实施例提供的方法能够促进机场资源优化，提升旅客服务体验。
请参照图5，本申请实施例还提供一种行为预测处理装置100，该装置可以用于执行或实现上述的行为预测处理方法。行为预测处理装置100还可以包括获取单元110、特征采集单元120、分布确定单元130及预测处理单元140。
获取单元110，从监控视频中获取不同时刻对应的多个监控图像，以及与所述监控视频的时段对应的航班信息。
特征采集单元120，从所述多个监控图像中采集并确定所述多个监控图像中的人物在预设场景模型中的时空特征集，所述时空特征集包括在同一监控图像中各个人物在所述预设场景模型中的宏观特征及微观特征，其中，所述宏观特征包括人物在所述预设场景模型中的位置信息、所述预设场景模型中人物的数量、人密度、人物的运动速度及运动方向，所述微观特征包括监控图像中的纹理信息。
分布确定单元130，用于确定所述时空特征集中的各特征在时间维度、空间维度上的分布信息。
可选地，分布确定单元130，还用于根据最近邻比率的设置，挖掘不同粒度的空间的近邻模式及共现模式信息，判断各个特征在空间维度上的分布信息；利用时间内聚性强度，挖掘特征点在时间维度上的周期性；定义各个要素在时间和空间上的相似度，利用相似度对提取的时空特征数据进行聚类拟合，得到所述时空特征集的各个特征在时间维度、空间维度上的分布信息。
预测处理单元140，用于基于所述航班信息将所述分布信息输入预设概率转移模型，得到所述预设概率转移模型输出的预测结果，所述预设概率转移模型用于根据所述分布信息预测在当前时刻之后的各个人物在所述预设场景模型中的行为状态，所述预测结果包括表征至少部分人物群体的行为状态的第一描述信息。
可选地，所述特征采集单元120还用于：
基于所述多个监控图像中固定物体的拓扑结构确定人物在所述监控视频对应的环境中的活动区域；在所述活动区域中采集并确定所述多个监控图像中的人物在所述预设场景模型中的所述时空特征集，其中，所述预设场景模型与所述活动区域相对应。
可选地，所述特征采集单元120还用于：
基于每个监控图像，利用卷积神经网络识别关键区域的物品，建立相应物品之间拓扑图，提取人物的活动区域；根据人物的位置信息，利用前景连通区域、光流法、密度图确定所述预设场景中人物的形状、面积、速度、方向、密度、数量；采集所述监控图像中的纹理信息；将所确定的人物形状信息、人密度、人物的数量、平均运动速度、运动方向及纹理信息确定为时空特征集所包括的特征。
可选地，行为预测处理装置100还可以包括行为确定单元，用于根据所述形状及人物在所述形状对应的区域中的人密度、平均运动速度及运动方向，确定表征所述形状内对应的人物群体的行为状态的第二描述信息。
可选地，行为预测处理装置100还可以包括异常判断单元及警示单元，异常判断单元用于根据监控图像确定的周边环境的类型、当前的人物的数量、所述第二描述信息，或者根据监控图像确定的周边环境的类型、预测结果中的人物的数量、所述第一描述信息，确定所述周边环境内是否存在异常状况，所述类型包括表征周边环境为值机区域的第一类型，或表征周边环境为安检区域的第二类型，或表征周边环境为候机区域的第三类型；警示单元用于在存在异常状况时发出警示信号。
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的行为预测处理装置100的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。
另外，在本实施例提供的电子设备10中，处理器11可以是一种集成电路芯片，具有信号的处理能力。上述处理器11可以是通用处理器。例如，该处理器11可以是中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、网络处理器(Network Processor， NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
通信模块13用于通过网络建立电子设备10与监控设备20的通信连接，并通过网络收发数据。
存储器12可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器12等。在本实施例中，存储器12可以用于存储监控视频、预设概率转移模型等。当然，存储器12还可以用于存储程序，处理器11在接收到执行指令后，执行该程序。
进一步地，行为预测处理装置100包括至少一个可以软件或固件 (firmware)的形式存储于存储器12中或固化在电子设备10操作系统 (operating system，OS)中的软件功能模块。处理器11用于执行存储器12 中存储的可执行模块，例如行为预测处理装置100所包括的软件功能模块及计算机程序等。
可以理解的是，图2所示的结构仅为电子设备10的一种结构示意图，电子设备10还可以包括比图2所示更多或更少的组件。图2中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例还提供一种计算机可读存储介质。可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中的行为预测处理方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U 盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。
综上所述，本申请提供一种行为预测处理方法、装置及电子设备。方法包括：从监控视频中获取不同时刻对应的多个监控图像，以及与监控视频的时段对应的航班信息；从多个监控图像中采集并确定多个监控图像中的人物在预设场景模型中的时空特征集，时空特征集包括在同一监控图像中各个人物在预设场景模型中的宏观特征及微观特征，其中，宏观特征包括人物在预设场景模型中的位置信息、预设场景模型中人物的数量、人密度、人物的运动速度及运动方向，微观特征包括监控图像中的纹理信息；确定时空特征集中的各特征在时间维度、空间维度上的分布信息；基于航班信息将分布信息输入预设概率转移模型，得到预设概率转移模型输出的预测结果，预设概率转移模型用于根据分布信息预测在当前时刻之后的各个人物在预设场景模型中的行为状态，预测结果包括表征至少部分人物群体的行为状态的第一描述信息。在本方案中，因为是基于当前的监控视频与航班信息相结合来对预测各人物在后期的位置分布及人物的群体行为，所以预测的结果能够根据航班信息的变化而灵活变动，能够改善现有技术中无法通过监控视频对异常状况及时处理与预防的技术问题。
在本申请所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)) 或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk (SSD))等。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种行为预测处理方法，其特征在于，所述方法包括：
从监控视频中获取不同时刻对应的多个监控图像，以及从用于存储航班信息的机场系统获取与所述监控视频的时段对应的航班信息；
从所述多个监控图像中采集并确定所述多个监控图像中的人物在预设场景模型中的时空特征集，所述时空特征集包括在同一监控图像中各个人物在所述预设场景模型中的宏观特征及微观特征，其中，所述宏观特征包括人物在所述预设场景模型中的位置信息、所述预设场景模型中人物的数量、人密度、人物的运动速度及运动方向，所述微观特征包括监控图像中的纹理信息；
确定所述时空特征集中的各特征在时间维度、空间维度上的分布信息；
基于所述航班信息将所述分布信息输入预设概率转移模型，得到所述预设概率转移模型输出的预测结果，所述预设概率转移模型用于根据所述分布信息预测在当前时刻之后的各个人物在所述预设场景模型中的行为状态，所述预测结果包括表征至少部分人物群体的行为状态的第一描述信息；
其中，从所述多个监控图像中采集并确定所述多个监控图像中的人物在预设场景模型中的时空特征集，包括：
基于所述多个监控图像中固定物体的拓扑结构确定人物在所述监控视频对应的环境中的活动区域；
在所述活动区域中采集并确定所述多个监控图像中的人物在所述预设场景模型中的所述时空特征集，其中，所述预设场景模型与所述活动区域相对应。
2.根据权利要求1所述的方法，其特征在于，在所述活动区域中采集所述多个监控图像的人物在所述预设场景模型中的所述时空特征集，包括：
基于每个监控图像，利用卷积神经网络识别关键区域的物品，建立相应物品之间拓扑图，提取人物的活动区域；
根据人物的位置信息，利用前景连通区域、光流法和密度图确定所述预设场景模型中人物的形状、面积、速度、方向、密度和数量；
采集所述监控图像中的纹理信息；
将所确定的人物形状信息、人密度、人物的数量、平均运动速度、运动方向及纹理信息确定为时空特征集所包括的特征。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述形状及人物在所述形状对应的区域中的人密度、平均运动速度及运动方向，确定表征所述形状内对应的人物群体的行为状态的第二描述信息。
4.根据权利要求1所述的方法，其特征在于，确定所述时空特征集中的各特征在时间维度、空间维度上的分布信息，包括：
根据最近邻比率的设置，挖掘不同粒度的空间的近邻模式及共现模式信息，判断各个特征在空间维度上的分布信息；
利用时间内聚性强度，挖掘特征点在时间维度上的周期性，一个所述特征点为所述时空特征集中的任一特征；
定义各个要素在时间和空间上的相似度，利用相似度对提取的时空特征数据进行聚类拟合，得到所述时空特征集的各个特征在时间维度、空间维度上的分布信息。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据监控图像确定的周边环境的类型、当前的人物的数量、所述第二描述信息，或者根据监控图像确定的周边环境的类型、预测结果中的人物的数量、所述第一描述信息，确定所述周边环境内是否存在异常状况，所述类型包括表征周边环境为值机区域的第一类型，或表征周边环境为安检区域的第二类型，或表征周边环境为候机区域的第三类型；
在存在异常状况时发出警示信号。
6.一种行为预测处理装置，其特征在于，所述装置包括：
获取单元，从监控视频中获取不同时刻对应的多个监控图像，以及从用于存储航班信息的机场系统获取与所述监控视频的时段对应的航班信息；
特征采集单元，从所述多个监控图像中采集并确定所述多个监控图像中的人物在预设场景模型中的时空特征集，所述时空特征集包括在同一监控图像中各个人物在所述预设场景模型中的宏观特征及微观特征，其中，所述宏观特征包括人物在所述预设场景模型中的位置信息、所述预设场景模型中人物的数量、人密度、人物的运动速度及运动方向，所述微观特征包括监控图像中的纹理信息；
分布确定单元，用于确定所述时空特征集中的各特征在时间维度、空间维度上的分布信息；
预测处理单元，用于基于所述航班信息将所述分布信息输入预设概率转移模型，得到所述预设概率转移模型输出的预测结果，所述预设概率转移模型用于根据所述分布信息预测在当前时刻之后的各个人物在所述预设场景模型中的行为状态，所述预测结果包括表征至少部分人物群体的行为状态的第一描述信息；
其中，所述特征采集单元还用于：
基于所述多个监控图像中固定物体的拓扑结构确定人物在所述监控视频对应的环境中的活动区域；
在所述活动区域中采集并确定所述多个监控图像中的人物在所述预设场景模型中的所述时空特征集，其中，所述预设场景模型与所述活动区域相对应。
7.根据权利要求6所述的装置，其特征在于，所述特征采集单元还用于：
基于每个监控图像，利用卷积神经网络识别关键区域的物品，建立相应物品之间拓扑图，提取人物的活动区域；
根据人物的位置信息，利用前景连通区域、光流法和密度图确定所述预设场景模型中人物的形状、面积、速度、方向、密度和数量；
采集所述监控图像中的纹理信息；
将所确定的人物形状信息、人密度、人物的数量、平均运动速度、运动方向及纹理信息确定为时空特征集所包括的特征。
8.一种电子设备，其特征在于，包括相互耦合的存储器、处理器，所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行权利要求1-5中任一项所述的方法。
CN201910353909.8A 2019-04-29 2019-04-29 行为预测处理方法、装置及电子设备 Active CN110059668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910353909.8A CN110059668B (zh) 2019-04-29 2019-04-29 行为预测处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910353909.8A CN110059668B (zh) 2019-04-29 2019-04-29 行为预测处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110059668A CN110059668A (zh) 2019-07-26
CN110059668B true CN110059668B (zh) 2020-12-15

Family

ID=67321447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910353909.8A Active CN110059668B (zh) 2019-04-29 2019-04-29 行为预测处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110059668B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178132B (zh) * 2019-12-02 2023-06-16 阿里巴巴集团控股有限公司 图像识别方法、装置及电子设备
CN111062294B (zh) * 2019-12-10 2024-03-22 北京文安智能技术股份有限公司 一种客流排队时间的检测方法、装置及系统
CN111753888B (zh) * 2020-06-10 2021-06-15 重庆市规划和自然资源信息中心 智能环境下多粒度时空事件相似度匹配工作方法
CN111767432B (zh) * 2020-06-30 2024-04-02 北京百度网讯科技有限公司 共现对象的查找方法和装置
CN111831853A (zh) * 2020-07-16 2020-10-27 深圳市商汤科技有限公司 信息处理方法、装置、设备及系统
CN114201726B (zh) * 2020-09-18 2023-02-10 深圳先进技术研究院 一种卷积运算优化方法、系统、终端以及存储介质
CN111914819B (zh) * 2020-09-30 2021-01-26 杭州未名信科科技有限公司 一种多摄像头融合的人群密度预测方法、装置、存储介质及终端
CN113420601B (zh) * 2021-05-27 2023-07-18 南方电网调峰调频发电有限公司 异常场景的监控方法、装置、计算机设备和存储介质
CN117372946B (zh) * 2023-09-19 2024-04-16 日照市规划设计研究院集团有限公司 一种旅游团游客行为识别方法
CN117252407B (zh) * 2023-11-20 2024-03-29 中国民用航空总局第二研究所 基于数字孪生体的航空机场监控方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254142A (zh) * 2016-09-05 2016-12-21 电子科技大学成都研究院 一种基于移动通信运营数据的城市群体行为监测系统
CN106251011A (zh) * 2016-07-28 2016-12-21 中国民用航空总局第二研究所 用于分析离港值机旅客排队的数据处理方法及装置
CN108460497A (zh) * 2018-03-28 2018-08-28 中国民航大学 一种机场候机楼排队信息提示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509151A (zh) * 2011-11-08 2012-06-20 上海交通大学 一种基于视频处理的人群密度与分布的估计方法
CN106295854A (zh) * 2016-07-28 2017-01-04 中国民用航空总局第二研究所 用于分析机场安检区的旅客到达的数据处理方法及装置
CN107729799A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的人群异常行为视觉检测及分析预警系统
CN108305094B (zh) * 2017-12-18 2021-07-23 北京三快在线科技有限公司 一种用户行为预测方法及装置，电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251011A (zh) * 2016-07-28 2016-12-21 中国民用航空总局第二研究所 用于分析离港值机旅客排队的数据处理方法及装置
CN106254142A (zh) * 2016-09-05 2016-12-21 电子科技大学成都研究院 一种基于移动通信运营数据的城市群体行为监测系统
CN108460497A (zh) * 2018-03-28 2018-08-28 中国民航大学 一种机场候机楼排队信息提示方法

Also Published As

Publication number Publication date
CN110059668A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN110059668B (zh) 行为预测处理方法、装置及电子设备
US10614316B2 (en) Anomalous event retriever
CA3014403C (en) Tracking and/or analyzing facility-related activities
US10002309B2 (en) Real-time object analysis with occlusion handling
US10176443B2 (en) Method and system for dispatching of vehicles in a public transportation network
US9424464B2 (en) Monitoring system, monitoring method, monitoring program, and recording medium in which monitoring program is recorded
US10009579B2 (en) Method and system for counting people using depth sensor
US10102431B2 (en) Visual monitoring of queues using auxillary devices
US20130218823A1 (en) Method and system for analysing flight data recorded during a flight of an aircraft
CN111428572B (zh) 信息处理方法、装置、电子设备和介质
KR20220044828A (ko) 얼굴 속성 인식 방법, 장치, 전자 기기 및 저장 매체
US10984355B2 (en) Employee task verification to video system
Denman et al. Automatic surveillance in transportation hubs: No longer just about catching the bad guy
CN111079827A (zh) 一种铁路数据状态评估方法及系统
KR101529620B1 (ko) 이동 방향별 보행자 계수 방법 및 장치
US20180046767A1 (en) Method and system for patient intake in a healthcare network
Benjdira et al. Parking analytics framework using deep learning
CN116630888A (zh) 无人机监测方法、无人机监测装置、电子设备及存储介质
CN111178220A (zh) 检测客车内的安全设施的方法、设备和存储介质
CN114360055A (zh) 基于人工智能的行为检测方法、设备及存储介质
US11330458B2 (en) Systems and methods for detecting an unauthorized airborne device
US20220413834A1 (en) Software placement system, software placement device, software placement method, base computer and program
KR102342929B1 (ko) 사고 발생패턴 분석을 통한 사고 취약지 분석 장치 및 방법
JP2018142137A (ja) 情報処理装置、情報処理方法、及びプログラム
JP7414660B2 (ja) 異常行動検出システム及び異常行動検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant