CN111476202B - 安防系统的用户行为分析方法及系统 - Google Patents

安防系统的用户行为分析方法及系统 Download PDF

Info

Publication number
CN111476202B
CN111476202B CN202010361680.5A CN202010361680A CN111476202B CN 111476202 B CN111476202 B CN 111476202B CN 202010361680 A CN202010361680 A CN 202010361680A CN 111476202 B CN111476202 B CN 111476202B
Authority
CN
China
Prior art keywords
image
analysis
user
layer
nth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010361680.5A
Other languages
English (en)
Other versions
CN111476202A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shenhui financial service outsourcing Co.,Ltd.
Original Assignee
Zhejiang Shenhui Financial Service Outsourcing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shenhui Financial Service Outsourcing Co ltd filed Critical Zhejiang Shenhui Financial Service Outsourcing Co ltd
Priority to CN202010361680.5A priority Critical patent/CN111476202B/zh
Publication of CN111476202A publication Critical patent/CN111476202A/zh
Application granted granted Critical
Publication of CN111476202B publication Critical patent/CN111476202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种金融机构安防系统的用户行为分析方法、系统及机器人，应用于云计算平台，所述方法包括：接收用户进入预设区域的一段视频，根据所述一段视频中的图像，获得用户的在每张图像中的人体姿态信息和用户的表情信息；根据体姿态信息和表情信息预测出用户需要办理的事项，并从大数据库中获得与所述事项对应的用户流程指引。不需要依赖于用户以往的大量的行为历史数据，节省成本，同时因为是根据用户上一步的姿态信息和表情信息预测下一步的行为情况，预测用户想要做什么，符合人体在做下一步运动之前都有一定的行为准备的规律，因此根据用户上一步的姿态信息和表情信息预测用户行为的准确性高。

Description

安防系统的用户行为分析方法及系统
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种安防系统的用户行为分析方法及系统。
背景技术
现有技术中，对行人、用户的行为分析都是基于该行人大量的历史运动数据进行预测得到。一方面，用户的历史运动数据难以采集得到，需要采集的话需要你耗费的设备、资源多。另一方面，由于人的运动是存在不确定性的，这一步往东走，下一步可能往西或者南或者北走，或者原地停留，因此，根据行人的历史运动数据预测行人的下一步的行为不准确的。
发明内容
本发明的目的在于提供了一种安防系统的用户行为分析方法及系统，用以解决现有技术中存在的上述问题。
第一方面，本发明实施例提供了一种安防系统的用户行为分析方法，应用于云计算平台，所述方法包括：
接收用户进入预设区域的一段视频，其中所述一段视频包括多张图像，图像中含有所述用户的图像信息，所述一段视频是在用户进入预设区域的时间拍摄的；
根据所述一段视频中的图像，获得用户的在每张图像中的人体姿态信息和用户的表情信息；
根据人体姿态信息和表情信息预测出用户需要办理的事项，并从大数据库中获得与所述事项对应的用户流程指引；
其中，所述人体姿态信息表征用户的体态，所述表情信息表征用户的表情，所述用户流程指引存储在大数据库中并与所述事项对应。
可选的，所述根据人体姿态信息和表情信息预测出用户需要办理的事项，包括：
所述人体姿态信息包括步长、步频和人体姿态数据；
根据一段视频中的图像的人体姿态信息，获得用户在一段视频中的每张图像中的步长、用户在一段视频中的每两张相邻的图像之间的步频、用户在一段视频中的每张图像中的人体姿态数据；其中，步长指的是用户两只脚板的距离，步频指的是用户在两张相邻的图像中踏步的频率；人体姿态数据表征用户在图像中的姿势；
将用户在一段视频中的步长按照所述步长所在图像的拍摄时间的先后顺序，构成步长流；将用户在一段视频中的人体姿态数据按照所述人体姿态所在图像的拍摄时间的先后顺序，构成体态流；将用户在一段视频中的步频按照所述步频发生时间的先后顺序，构成步频流；将用户在一段视频中的用户表情信息按照所述用户表情所在图像的拍摄时间的先后顺序，构成表情流；
将步长流、体态流、步频流和表情流输入行为分析网络，行为分析网络包括多层分析层，行为分析网络包括的多层分析层的数量比所述一段视频中的图像的数量多1；
行为分析网络中的每层分析层包括4个分析节点，4个分析节点包括第一分析节点、第二分析节点、第三分析节点和第四分析节点；
第n层分析层的第一分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第一分析节点的输出调整表情信息，得到第n帧图像的调整后的表情信息；其中，n为小于N+1的正整数，N+1表示行为分析网络中的分析层的层数；第n帧图像为所述一段视频中拍摄时间排序为第n的图像；N表示一段视频中的图像的数量；
第n层分析层的第二分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第二分析节点的输出调整步长，得到第n帧图像的调整后的步长；
第n层分析层的第三分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第三分析节点的输出调整人体姿态数据，得到第n帧图像的调整后的人体姿态数据；
第n层分析层的第四分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第四分析节点的输出调整步频，得到第n帧图像与第n+1帧图像之间的调整后的步频；
行为分析网络中，第N+1层分析层对第N层分析层的输出的调整后的步长、调整后的人体姿态数据、调整后的步频和调整后的表情信息进行融合计算，得到用户行为值，用户行为值表征用户需要办理的事项；
从大数据库中获得与所述用户行为值对应的用户需要办理的事项；所述用户需要办理的事项预先存储在大数据库中。
可选的，所述第n层分析层的第一分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第一分析节点的输出，得到调整后的第n帧图像的调整后的表情信息，包括：
所述第n层分析层的第一分析节点按照公式:
d1＝(0.01*a+0.05*b+0.02*c+0.5*d0)d/d0对第n帧图像的表情信息进行调整，获得第n帧图像的调整后的表情信息，其中，d1表示第n帧图像的调整后的表情信息的指数，第n帧图像的调整后的表情信息的指数表征调整后的第n帧图像中用户的表情；a表示第n帧图像的步长、b表示第n帧图像的人体姿态数据的指数；c表示第n帧图像与第n+1帧图像之间的步频、d表示第n帧图像的表情信息的指数，其中，第n帧图像的人体姿态数据的指数由第n帧图像的人体姿态数据的二进制编码转换得到的十进制数字；第n帧图像的表情信息的指数由第n帧图像的表情信息的二进制编码转换得到的十进制数字；第n帧图像的表情信息的指数表征第n帧图像中用户的表情；d0表示第n-1帧图像的调整后的表情信息的指数，即第n-1层分析层的第一分析节点的输出为第n-1帧图像的调整后的表情信息的指数；对于n＝1时，第n-1帧图像的调整后的表情信息的指数为0。
可选的，所述第n层分析层的第二分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第二分析节点的输出，得到调整后的第n帧图像的调整后的步长，包括：
第n层分析层第二分析节点按照公式:
a1＝(0.5*a0+0.05*b+0.1*c+0.01*d)a/a0对第n帧图像的步长进行调整，获得第n帧图像的调整后的步长；其中，a1表示第n帧图像的调整后的步长；a0表示第n-1帧图像的调整后的步长，即第n-1层分析层的第二分析节点的输出为第n-1帧图像的调整后的步长；对于n＝1时，第n-1帧图像的调整后的步长为0。
可选的，所述第n层分析层的第三分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第三分析节点的输出，得到调整后的第n帧图像的调整后的人体姿态数据，包括：
所述第n层分析层的第三分析节点按照公式：
b1＝(0.06*a+0.5*b0+0.05*c+0.05*d)b/b0对人体姿态数据进行调整，获得调整后的人体姿态数据的指数，其中，b1表示调整后的人体姿态数据的指数；b0表示第n-1帧图像的调整后的人体姿态数据的指数，即第n-1层分析层的第三分析节点的输出为第n-1帧图像的调整后的人体姿态数据的指数；对于n＝1时，第n-1帧图像的调整后的人体姿态数据的指数为0。
可选的，所述第n层分析层的第四分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第四分析节点的输出，得到调整后的第n帧图像与第n+1帧图像之间的调整后的步频，包括：
所述第n层分析层的第四分析节点按照公式：
c1＝(0.1*a+0.01*b+0.5*c0+0.06*d)c/c0对步频进行调整，获得调整后的步频，其中，c1表示第n帧图像的调整后的步频；c0表示第n-1帧图像的调整后的步频，即第n-1层分析层的第三分析节点的输出为第n-1帧图像的调整后的步频；对于n＝1时，第n-1帧图像的调整后的步频为0。
可选的，第N+1层分析层对第N层分析层的输出的调整后的步长、调整后的人体姿态数据、调整后的步频和调整后的表情信息进行融合计算，得到用户行为值，用户行为值表征用户需要办理的事项，包括：
第N+1层分析层按照公式f＝0.1*aN+0.5*bN+0.1*cN+0.3*dN计算得到用户行为值，其中，f表示用户行为值，aN表示行为分析网络的第N层分析层的第一个分析节点的输出，bN表示行为分析网络的第N层分析层的第二个分析节点的输出，cN表示行为分析网络的第N层分析层的第三个分析节点的输出，dN表示行为分析网络的第N层分析层的第四个分析节点的输出。
可选的，人体姿态信息包括人体骨架图；根据所述一段视频中的图像，获得用户的在每张图像中的人体姿态信息和用户的表情信息，包括：
在每张图像中检测出人体关键点，人体关键点包括两个胯部点位、一个尾椎点位、两个肩部点位、一个颈部点位、一个头部点位、两个手肘点位、两个手腕点位、两个膝盖点位、两个脚踝点位；
通过线段对一个脚踝点位、一个膝盖点位、一个胯部点位、尾椎点位、另一个胯部点位、另一个膝盖点位、另一个脚踝点位按照顺序进行连线，对尾椎点位、颈部点位、头部点位按照顺序进行连线，对一个手腕点位、一个手肘点位、颈部点位、另一个手腕点位、另一个手肘点位按顺序进行连线，得到人体骨架图；
在每张图像中识别出人脸图像，基于人脸图像获得人脸拓扑图；
基于所述人脸拓扑图获得用户的表情信息。
第二方面，本发明实施例提供了一种安防系统的用户行为分析系统，应用于云计算平台，所述系统包括：
接收模块，用于接收用户进入预设区域的一段视频，其中所述一段视频包括多张图像，图像中含有所述用户的图像信息，所述一段视频是在用户进入预设区域的时间拍摄的；
获得模块，用于根据所述一段视频中的图像，获得用户的在每张图像中的人体姿态信息和用户的表情信息；
预测模块，用于根据人体姿态信息和表情信息预测出用户需要办理的事项，并从大数据库中获得与所述事项对应的用户流程指引；
其中，所述人体姿态信息表征用户的体态，所述表情信息表征用户的表情，所述用户流程指引存储在大数据库中并与所述事项对应。
第二方面，本发明实施例提供了一种机器人，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述方法的步骤。
相对现有技术，本发明达到了以下有益效果：
本发明实施例提供了一种安防系统的用户行为分析方法及系统，应用于云计算平台，所述方法包括：接收用户进入预设区域的一段视频，其中所述一段视频包括多张图像，图像中含有所述用户的图像信息，所述一段视频是在用户进入预设区域的时间拍摄的；根据所述一段视频中的图像，获得用户的在每张图像中的人体姿态信息和用户的表情信息；根据人体姿态信息和表情信息预测出用户需要办理的事项，并从大数据库中获得与所述事项对应的用户流程指引；其中，所述人体姿态信息表征用户的体态，所述表情信息表征用户的表情，所述用户流程指引存储在大数据库中并与所述事项对应。通过采用以上方案，根据用户的姿态信息和表情信息预测出用户需要办理的事项，而不需要依赖于用户以往的大量的行为历史数据，节省成本，同时姿态信息和表情信息预测出用户需要办理的事项，就是根据用户上一步的状态信息(姿态信息和表情信息)预测下一步的行为情况，预测用户想要做什么，符合人体在做下一步运动之前都有一定的行为准备的规律，因此根据用户上一步的状态信息(姿态信息和表情信息)预测下一步的行为的准确性高，预测用户需要办理的事项的准确性高，用户行为分析预测准确性高。
附图说明
图1是本发明实施例提供的一种安防系统的用户行为分析方法流程图。
图2是本发明实施例提供的一种行为分析网络的结构示意图。
图3是本发明实施例提供的一种安防系统的用户行为分析系统200的方框结构示意图。
图4是本发明实施例提供的一种机器人的方框结构示意图。
图中标记：安防系统的用户行为分析系统200；接收模块210；获得模块220；预测模块230；总线500；接收器501；处理器502；发送器503；存储器504；总线接口505。
具体实施方式
下面结合附图，对本发明作详细的说明。
实施例
本发明实施例提供了一种安防系统的用户行为分析方法，应用于云计算平台，如图1所示，所述方法包括：
S101：接收用户进入预设区域的一段视频。
其中，所述一段视频包括多张图像，图像中含有所述用户的图像信息，所述一段视频是在用户进入预设区域的时间拍摄的。即可以在预设区域内设置摄像装置，例如摄像头，一旦用户进入该预设区域，就对拍用户进行拍摄，将拍摄了一段时间(一段时间可以是一分钟)获得的一段视频发送至云计算平台。
S102：根据所述一段视频中的图像，获得用户的在每张图像中的人体姿态信息和用户的表情信息。
S103：根据人体姿态信息和表情信息预测出用户需要办理的事项，并从大数据库中获得与所述事项对应的用户流程指引。
其中，所述人体姿态信息表征用户的体态，所述表情信息表征用户的表情，所述用户流程指引存储在大数据库中并与所述事项对应。用户流程指引用于指引用户办理需要办的事项，或者用户流程指引用于指引机器人进行指引用户办理事项。
通过采用以上方案，根据用户的姿态信息和表情信息预测出用户需要办理的事项，而不需要依赖于用户以往的大量的行为历史数据，节省成本，同时姿态信息和表情信息预测出用户需要办理的事项，就是根据用户上一步的状态信息(姿态信息和表情信息)预测下一步的行为情况，预测用户想要做什么，符合人体在做下一步运动之前都有一定的行为准备的规律，因此根据用户上一步的状态信息(姿态信息和表情信息)预测下一步的行为的准确性高，预测用户需要办理的事项的准确性高。
其中，预设区域可以是银行大厅、政府部门的大厅、地铁、火车站等场所。预先准确预测出用户的行为(需要办理的事项)，一方面提高了银行服务、市政服务等服务的服务效果和服务的效率，提高银行运营、市政工作的有效性和效率，另一方面还可以及时根据预测的行为(需要办理的事项)，防止安全性问题的发生，提高银行大厅、政府部门的大厅、地铁、火车站等场所的安防效果，保证用户的安全。
可选的，对于S102，人体姿态信息包括人体骨架图。根据所述一段视频中的图像，获得用户的在每张图像中的人体姿态信息和用户的表情信息，包括：
在每张图像中检测出人体关键点，人体关键点包括两个胯部点位、一个尾椎点位、两个肩部点位、一个颈部点位、一个头部点位、两个手肘点位、两个手腕点位、两个膝盖点位、两个脚踝点位。然后通过线段对一个脚踝点位、一个膝盖点位、一个胯部点位、尾椎点位、另一个胯部点位、另一个膝盖点位、另一个脚踝点位按照顺序进行连线，对尾椎点位、颈部点位、头部点位按照顺序进行连线，对一个手腕点位、一个手肘点位、颈部点位、另一个手腕点位、另一个手肘点位按顺序进行连线，得到人体骨架图。在每张图像中识别出人脸图像，基于人脸图像获得人脸拓扑图，然后基于所述人脸拓扑图获得用户的表情信息。
其中，在每张图像中检测出人体关键点的方式可以是采用图形结构的关键点检测方法(Pictorial Structure)检测得到人体关键点。
其中，可以根据计算人体骨架图中每个人体关键点的打分，然后综合每个人体关键点的打分得到人体姿态信息，也可以直接以人体骨架图作为人体姿态信息。如此，得到的人体姿态信息可以准确表征用户的体态。
在每张图像中识别出人脸图像的方法可以采用HOG特征人脸图像识别方法在每张图像中识别出人脸图像。
基于人脸图像获得人脸拓扑图的方式，可以是：基于人脸图像中获得人脸轮廓，基于人脸图像中提取人脸特征；将人脸特征和人脸轮廓进行融合，得到人脸信息图；通过Harris角点提取算法在所述人脸信息图中检测出角点，确定角点作为拓扑顶点；若相邻的两个角点之间的距离大于预设值，对相邻的两个角点以及与两个角点相邻的角点进行三次曲线拟合，得到拟合曲线，确定在所述拟合曲线上且处在相邻的两个角点之间的一点作为拓扑顶点；用线段将所有的拓扑顶点两两相连，得到人脸拓扑图。
然后基于所述人脸拓扑图获得用户的表情信息，具体的表情信息可以是对人脸拓扑图中的每个拓扑顶点进行打分得到打分信息，也可以直接人脸拓扑图作为用户的表情信息。如此得到的用户的表情信息可以准确表征用户的表情。
对于S103，所述根据人体姿态信息和表情信息预测出用户需要办理的事项，包括：
根据一段视频中的图像的人体姿态信息，获得用户在一段视频中的每张图像中的步长、用户在一段视频中的每两张相邻的图像之间的步频、用户在一段视频中的每张图像中的人体姿态数据。
其中，步长指的是用户两只脚板的距离，步频指的是用户在两张相邻的图像中踏步的频率；人体姿态数据表征用户在图像中的姿势。
其中，根据一段视频中的图像的人体姿态信息，获得用户在一段视频中的每张图像中的步长具体可以是：以人体骨架图中两个脚踝点位的直线距离作为步长。获得用户在一段视频中的每两张相邻图像之间的步频，具体为：判断在两张相邻的图像中脚踝点位是否有变化，若有变化，则确定该两张相邻的图像之间的步频为1除以该两张相邻的图像之间的拍摄时间间隔，即步频p＝1/t，t表示的是该两张相邻的图像之间的拍摄时间间隔。
其中，获得用户在一段视频中的每张图像中的人体姿态数据具体为：计算每个人体关键点的打分，以人体关键点的打分作为人体姿态数据。其中，计算每个人体关键点的打分的具体方式为：针对其中一个人体关键点，获得其余的人体关键点与该人体关键点的距离，以及获得其余的人体关键点与该人体关键点的连线与该关键点的法线之间的夹角的余弦值，该人体关键点的法线是该关键点指向尾椎点位的射线，如果人体关键点是尾椎点位，那么尾椎点位的法线是尾椎点位指向颈部点位的射线。以余弦值作为权值对其余的人体关键点与该人体关键点的距离进行加权求和，得到该人体关键点的打分。例如，人体骨架图包括3个人体关键点，获得其余两个人体关键点与针对的人体关键点的距离分别是2和3，其余两个人体关键点与该人体关键点的连线与该关键点的法线之间的夹角的余弦值分别是0.5、0.1，那么该人体关键点的打分h＝2*0.5+3*0.1＝1.3。
在获得每张图像的步长、对应的步频、人体姿态数据、用户的表情信息后，将用户在一段视频中的步长按照所述步长所在图像的拍摄时间的先后顺序，构成步长流；将用户在一段视频中的人体姿态数据按照所述人体姿态所在图像的拍摄时间的先后顺序，构成体态流；将用户在一段视频中的步频按照所述步频发生时间的先后顺序，构成步频流；将用户在一段视频中的用户表情信息按照所述用户表情所在图像的拍摄时间的先后顺序，构成表情流。例如，拍摄的一段视频中包括3张图像，按照拍摄时间由早到晚排序，3张图像分别是第1帧图像、第2帧图像、第3帧图像。那么步长流为：第1帧图像的步长、第2帧图像的步长、第3帧图像的步长，体态流为：第1帧图像的人体姿态数据、第2帧图像的人体姿态数据、第3帧图像的人体姿态数据，步频流为：第1帧图像的步频、第2帧图像的步频、第3帧图像的步频，表情流为：第1帧图像的表情信息、第2帧图像的表情信息、第3帧图像的表情信息。
然后，将步长流、体态流、步频流和表情流输入行为分析网络，行为分析网络包括多层分析层，行为分析网络包括的多层分析层的数量比所述一段视频中的图像的数量多1。
其中，行为分析网络中的每一层分析层包括4个分析节点，4个分析节点包括第一分析节点、第二分析节点、第三分析节点和第四分析节点。
第n层分析层的第一分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第一分析节点的输出，得到调整后的第n帧图像的调整后的表情信息；其中，n为小于N+1的正整数，N+1表示行为分析网络中的分析层的层数；第n帧图像为所述一段视频中拍摄时间排序为第n的图像。
第n层分析层的第二分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第二分析节点的输出，得到调整后的第n帧图像的调整后的步长。
第n层分析层的第三分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第三分析节点的输出，得到调整后的第n帧图像的调整后的人体姿态数据。
第n层分析层的第四分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第四分析节点的输出，得到调整后的第n帧图像与第n+1帧图像之间的调整后的步频。
行为分析网络中，第N+1层分析层对第N层分析层的输出的调整后的步长、调整后的人体姿态数据、调整后的步频和调整后的表情信息进行融合计算，得到用户行为值，用户行为值表征用户需要办理的事项。
其中，所述第n层分析层的第一分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第一分析节点的输出，得到调整后的第n帧图像的调整后的表情信息，包括：
所述第n层分析层的第一分析节点按照公式:
d1＝(0.01*a+0.05*b+0.02*c+0.5*d0)d/d0对第n帧图像的表情信息进行调整，获得第n帧图像的调整后的表情信息，其中，d1表示第n帧图像的调整后的表情信息的指数，第n帧图像的调整后的表情信息的指数表征调整后的第n帧图像中用户的表情；a表示第n帧图像的步长、b表示第n帧图像的人体姿态数据的指数；c表示第n帧图像与第n+1帧图像之间的步频、d表示第n帧图像的表情信息的指数，其中，第n帧图像的人体姿态数据的指数由第n帧图像的人体姿态数据的二进制编码转换得到的十进制数字；第n帧图像的表情信息的指数由第n帧图像的表情信息的二进制编码转换得到的十进制数字；第n帧图像的表情信息的指数表征第n帧图像中用户的表情；d0表示第n-1帧图像的调整后的表情信息的指数，即第n-1层分析层的第一分析节点的输出为第n-1帧图像的调整后的表情信息的指数；对于n＝1时，第n-1帧图像的调整后的表情信息的指数为0。
其中，所述第n层分析层的第二分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第二分析节点的输出，得到调整后的第n帧图像的调整后的步长，包括：
第n层分析层第二分析节点按照公式:
a1＝(0.5*a0+0.05*b+0.1*c+0.01*d)a/a0对第n帧图像的步长进行调整，获得第n帧图像的调整后的步长；其中，a1表示第n帧图像的调整后的步长；a0表示第n-1帧图像的调整后的步长，即第n-1层分析层的第二分析节点的输出为第n-1帧图像的调整后的步长；对于n＝1时，第n-1帧图像的调整后的步长为0。
其中，所述第n层分析层的第三分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第三分析节点的输出，得到调整后的第n帧图像的调整后的人体姿态数据，包括：
所述第n层分析层的第三分析节点按照公式：
b1＝(0.06*a+0.5*b0+0.05*c+0.05*d)b/b0对人体姿态数据的指数进行调整，获得调整后的人体姿态数据的指数，其中，b1表示调整后的人体姿态数据的指数；b0表示第n-1帧图像的调整后的人体姿态数据的指数，即第n-1层分析层的第三分析节点的输出为第n-1帧图像的调整后的人体姿态数据的指数；对于n＝1时，第n-1帧图像的调整后的人体姿态数据的指数为0。
其中，所述第n层分析层的第四分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第四分析节点的输出，得到调整后的第n帧图像与第n+1帧图像之间的调整后的步频，包括：
所述第n层分析层的第四分析节点按照公式
c1＝(0.1*a+0.01*b+0.5*c0+0.06*d)c/c0对步长进行调整，获得调整后的步长，其中，c1表示第n帧图像的调整后的步频；c0表示第n-1帧图像的调整后的步频，即第n-1层分析层的第四分析节点的输出为第n-1帧图像的调整后的步频；对于n＝1时，第n-1帧图像的调整后的步频为0。
其中，第N+1层分析层对第N层分析层的输出的调整后的步长、调整后的人体姿态数据、调整后的步频和调整后的表情信息进行融合计算，得到用户行为值，用户行为值表征用户需要办理的事项，包括：
第N+1层分析层按照公式f＝0.1*aN+0.5*bN+0.1*cN+0.3*dN计算得到用户行为值，其中，f表示用户行为值，aN表示行为分析网络的第N层分析层的第一个分析节点的输出，bN表示行为分析网络的第N层分析层的第二个分析节点的输出，cN表示行为分析网络的第N层分析层的第三个分析节点的输出，dN表示行为分析网络的第N层分析层的第四个分析节点的输出。
请结参阅图2所示的一种行为分析网络的结构示意图，示意图中，行为分析网络包括四层分析层。步长流、体态流、步频流和表情流中的步长、人体姿态数据、步频和表情信息分别输入第一层分析层、第二层分析层、第三层分析层中的第一分析节点、第二分析节点、第三分析节点和第四分析节点，第四层分析层按照公式f＝0.1*a3+0.5*b3+0.1*c3+0.3*d3计算得到用户行为值，其中，f表示用户行为值，a3表示行为分析网络的第三层分析层的第一个分析节点的输出，b3表示行为分析网络的第三层分析层的第二个分析节点的输出，c3表示行为分析网络的第三层分析层的第三个分析节点的输出，d3表示行为分析网络的第三层分析层的第四个分析节点的输出。图2中，F1表示表情流、F2表示步长流、F3表示体态流、F4表示步频流。
其中，如果表情信息是对人脸拓扑图中的每个拓扑顶点进行打分得到打分信息，则表情信息的指数为上述的打分。如果是直接人脸拓扑图作为用户的表情信息，那么表情信息的指数是直接将人脸拓扑图的二进制编码转换得到的十进制数字。如果是根据人体骨架图中每个人体关键点的打分，那么综合每个人体关键点的打分得到人体姿态信息，那么以综合每个人体关键点的打分作为人体姿态数据的指数。如果直接以人体骨架图作为人体姿态信息，那么人体姿态数据的指数由人体骨架图的二进制编码转换得到的十进制数字。
如此，行为分析网络综合考虑了时间在前的步长、步频、人体姿态数据和表情信息对时间在后的用户的步长、步频、人体姿态数据和表情信息的影响，同时还考虑到了同一时间内步长、步频、人体姿态数据和表情信息之间的相互影响，通过行为分析网络基于用户的步长、步频、人体姿态数据和表情信息对用户的行为进行分析，提高了用户行为分析的准确性，最后输出的户行为值能够准确表征用户需要办理的事项，如此可以准确预测出用户下一步的意图，即需要办理的事项，可以对该用户的行为进行预先的准备应付或者服务事项，一方面提高了银行服务、市政服务等服务的服务效果和服务的效率，提高银行运营、市政工作的有效性和效率，另一方面还可以及时根据预测的行为(需要办理的事项)，防止安全性问题的发生，提高银行大厅、政府部门的大厅、地铁、火车站等场所的安防效果，保证用户的安全。
需要说明的是，本发明实施例提供的安防系统的用户行为分析方法可以用于行人运动检测检测，还可以用于识别病人、腹中的胎儿的运动情况等，可以广泛应用于安防、医疗、驾驶、化妆、直播、教育、农业、军事、铁路、公路、公共交通等领域中。其可以在人工智能领域起到举足轻重的作用，即本申请提供的安防系统的用户行为分析方法可以广泛应用在人工智能领域中。本申请提供的安防系统的用户行为分析方法其实也是一种数据处理方法。
针对上述实施例提供一种安防系统的用户行为分析方法，本申请实施例还对应提供一种用于执行上述的步骤的执行主体，该执行主体可以为图3中的安防系统的用户行为分析系统200。安防系统的用户行为分析系统200配置在云计算平台中，请参考图3，该系统包括：
接收模块210，用于接收用户进入预设区域的一段视频，其中所述一段视频包括多张图像，图像中含有所述用户的图像信息，所述一段视频是在用户进入预设区域的时间拍摄的；
获得模块220，用于根据所述一段视频中的图像，获得用户的在每张图像中的人体姿态信息和用户的表情信息；
预测模块230，用于根据人体姿态信息和表情信息预测出用户需要办理的事项，并从大数据库中获得与所述事项对应的用户流程指引；
其中，所述人体姿态信息表征用户的体态，所述表情信息表征用户的表情，所述用户流程指引存储在大数据库中并与所述事项对应。
关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例还提供了一种机器人，如图4所示，包括存储器504、处理器502及存储在存储器504上并可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现前文所述安防系统的用户行为分析方法的任一方法的步骤。
其中，在图4中，总线架构(用总线500来代表)，总线500可以包括任意数量的互联的总线和桥，总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进进一步描述。总线接口505在总线500和接收器501和发送器503之间提供接口。接收器501和发送器503可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器502负责管理总线500和通常的处理，而存储器504可以被用于存储处理器502在执行操作时所使用的数据。
可选的，所述机器人还包括通讯模块、摄像模块；
摄像模块与所述存储器、处理器和通讯模块连接；所述处理器与所述通讯模块连接。所述摄像模块用于采集接收用户进入预设区域的一段视频，将所述一段视频发送至所述存储器和\或所述处理器和\或所述通讯模块。所述通讯模块用于将所述人脸图像发送至云计算终端；所述通讯模块还用于从云计算终端获得存储在大数据库中的用户流程指引，并发送给所述处理器。
大数据库可以是存储器中的数据库，也可以是设置在云计算平台的数据库。
安防系统的用户行为分析方法应用于人工智能领域，即通过该机器人执行上述的安防系统的用户行为分析方法，从而进步一为用户提供对应的服务。
在本发明实施例中，安防系统的用户行为分析系统安装在机器人中，具体的可以软件功能模块的形式存储在存储器中并可以被处理器处理运行。作为一个实施例，目标行人(用户)走进金融机构或者公共场所的大厅、区域，则机器启动摄像装置中的摄像头拍摄采集用户一段视频，然后将所述一段视频发送至所述存储器和\或所述处理器和\或所述通讯模块。所述通讯模块用于将所述人脸图像发送至云计算平台；所述通讯模块还用于从云计算平台获得存储在大数据库中的用户流程指引，并发送给所述处理器，然后机器人启动上述的安防系统的用户行为分析系统执行上述的安防系统的用户行为分析方法。从而识别出用户行为分析。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (8)

1.一种安防系统的用户行为分析方法，应用于云计算平台，其特征在于，所述方法包括：
接收用户进入预设区域的一段视频，其中所述一段视频包括多张图像，图像中含有所述用户的图像信息，所述一段视频是在用户进入预设区域的时间拍摄的；
根据所述一段视频中的图像，获得用户的在每张图像中的人体姿态信息和用户的表情信息；
根据人体姿态信息和表情信息预测出用户需要办理的事项，并从大数据库中获得与所述事项对应的用户流程指引；
其中，所述人体姿态信息表征用户的体态，所述表情信息表征用户的表情，所述用户流程指引存储在大数据库中并与所述事项对应；
所述根据人体姿态信息和表情信息预测出用户需要办理的事项，包括：
所述人体姿态信息包括步长、步频和人体姿态数据；
根据一段视频中的图像的人体姿态信息，获得用户在一段视频中的每张图像中的步长、用户在一段视频中的每两张相邻的图像之间的步频、用户在一段视频中的每张图像中的人体姿态数据；其中，步长指的是用户两只脚板的距离，步频指的是用户在两张相邻的图像中踏步的频率；人体姿态数据表征用户在图像中的姿势；
将用户在一段视频中的步长按照所述步长所在图像的拍摄时间的先后顺序，构成步长流；将用户在一段视频中的人体姿态数据按照所述人体姿态所在图像的拍摄时间的先后顺序，构成体态流；将用户在一段视频中的步频按照所述步频发生时间的先后顺序，构成步频流；将用户在一段视频中的用户表情信息按照所述用户表情所在图像的拍摄时间的先后顺序，构成表情流；
将步长流、体态流、步频流和表情流输入行为分析网络，行为分析网络包括多层分析层，行为分析网络包括的多层分析层的数量比所述一段视频中的图像的数量多1；
行为分析网络中的每层分析层包括4个分析节点，4个分析节点包括第一分析节点、第二分析节点、第三分析节点和第四分析节点；
第n层分析层的第一分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第一分析节点的输出调整表情信息，得到第n帧图像的调整后的表情信息；其中，n为小于N+1的正整数，N+1表示行为分析网络中的分析层的层数；第n帧图像为所述一段视频中拍摄时间排序为第n的图像；N表示一段视频中的图像的数量；
第n层分析层的第二分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第二分析节点的输出调整步长，得到第n帧图像的调整后的步长；
第n层分析层的第三分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第三分析节点的输出调整人体姿态数据，得到第n帧图像的调整后的人体姿态数据；
第n层分析层的第四分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第四分析节点的输出调整步频，得到第n帧图像与第n+1帧图像之间的调整后的步频；
行为分析网络中，第N+1层分析层对第N层分析层的输出的调整后的步长、调整后的人体姿态数据、调整后的步频和调整后的表情信息进行融合计算，得到用户行为值，用户行为值表征用户需要办理的事项；
从大数据库中获得与所述用户行为值对应的用户需要办理的事项；所述用户需要办理的事项预先存储在大数据库中。
2.根据权利要求1所述的方法，其特征在于，所述第n层分析层的第一分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第一分析节点的输出调整表情信息，得到第n帧图像的调整后的表情信息，包括：
所述第n层分析层的第一分析节点按照公式:
d1=（0.01*a+0.05*b+0.02*c+0.5*d0）d/ d0对第n帧图像的表情信息进行调整，获得第n帧图像的调整后的表情信息，其中，d1表示第n帧图像的调整后的表情信息的指数，第n帧图像的调整后的表情信息的指数表征调整后的第n帧图像中用户的表情；a表示第n帧图像的步长、b表示第n帧图像的人体姿态数据的指数；c表示第n帧图像与第n+1帧图像之间的步频、d表示第n帧图像的表情信息的指数，其中，第n帧图像的人体姿态数据的指数由第n帧图像的人体姿态数据的二进制编码转换得到的十进制数字；第n帧图像的表情信息的指数由第n帧图像的表情信息的二进制编码转换得到的十进制数字；第n帧图像的表情信息的指数表征第n帧图像中用户的表情；d0表示第n-1帧图像的调整后的表情信息的指数，即第n-1层分析层的第一分析节点的输出为第n-1帧图像的调整后的表情信息的指数；对于n=1时，第n-1帧图像的调整后的表情信息的指数为0。
3.根据权利要求2所述的方法，其特征在于，所述第n层分析层的第二分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第二分析节点的输出调整步长，得到第n帧图像的调整后的步长，包括：
第n层分析层第二分析节点按照公式:
a1=（0.5*a0+0.05*b+0.1*c+0.01*d）a/ a0对第n帧图像的步长进行调整，获得第n帧图像的调整后的步长；其中，a1表示第n帧图像的调整后的步长；a0表示第n-1帧图像的调整后的步长，即第n-1层分析层的第二分析节点的输出为第n-1帧图像的调整后的步长；对于n=1时，第n-1帧图像的调整后的步长为0。
4.根据权利要求3所述的方法，其特征在于，所述第n层分析层的第三分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第三分析节点的输出调整人体姿态数据，得到第n帧图像的调整后的人体姿态数据，包括：
所述第n层分析层的第三分析节点按照公式：
b1=（0.06*a+0.5*b0+0.05*c+0.05*d）b/ b0对人体姿态数据进行调整，获得调整后的人体姿态数据的指数，其中，b1表示调整后的人体姿态数据的指数；b0表示第n-1帧图像的调整后的人体姿态数据的指数，即第n-1层分析层的第三分析节点的输出为第n-1帧图像的调整后的人体姿态数据的指数；对于n=1时，第n-1帧图像的调整后的人体姿态数据的指数为0。
5.根据权利要求4所述的方法，其特征在于，所述第n层分析层的第四分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第四分析节点的输出调整步频，得到第n帧图像与第n+1帧图像之间的调整后的步频，包括：
所述第n层分析层的第四分析节点按照公式
c1=（0.1*a+0.01*b+0.5*c0+0.06*d）c/ c0对步频进行调整，获得调整后的步频，其中，c1表示第n帧图像的调整后的步频；c0表示第n-1帧图像的调整后的步频，即第n-1层分析层的第四分析节点的输出为第n-1帧图像的调整后的步频；对于n=1时，第n-1帧图像的调整后的步频为0。
6.根据权利要求5所述的方法，其特征在于，第N+1层分析层对第N层分析层的输出的调整后的步长、调整后的人体姿态数据、调整后的步频和调整后的表情信息进行融合计算，得到用户行为值，用户行为值表征用户需要办理的事项，包括：
第N+1层分析层按照公式f=0.1*aN+0.5*bN+0.1*cN+0.3*dN计算得到用户行为值，其中，f表示用户行为值，aN表示行为分析网络的第N层分析层的第一个分析节点的输出，bN表示行为分析网络的第N层分析层的第二个分析节点的输出，cN表示行为分析网络的第N层分析层的第三个分析节点的输出，dN表示行为分析网络的第N层分析层的第四个分析节点的输出。
7.一种安防系统的用户行为分析系统，应用于云计算平台，其特征在于，所述系统包括：
接收模块，用于接收用户进入预设区域的一段视频，其中所述一段视频包括多张图像，图像中含有所述用户的图像信息，所述一段视频是在用户进入预设区域的时间拍摄的；
获得模块，用于根据所述一段视频中的图像，获得用户的在每张图像中的人体姿态信息和用户的表情信息；
预测模块，用于根据人体姿态信息和表情信息预测出用户需要办理的事项，并从大数据库中获得与所述事项对应的用户流程指引；
其中，所述人体姿态信息表征用户的体态，所述表情信息表征用户的表情，所述用户流程指引存储在大数据库中并与所述事项对应；
所述根据人体姿态信息和表情信息预测出用户需要办理的事项，包括：
所述人体姿态信息包括步长、步频和人体姿态数据；
根据一段视频中的图像的人体姿态信息，获得用户在一段视频中的每张图像中的步长、用户在一段视频中的每两张相邻的图像之间的步频、用户在一段视频中的每张图像中的人体姿态数据；其中，步长指的是用户两只脚板的距离，步频指的是用户在两张相邻的图像中踏步的频率；人体姿态数据表征用户在图像中的姿势；
将用户在一段视频中的步长按照所述步长所在图像的拍摄时间的先后顺序，构成步长流；将用户在一段视频中的人体姿态数据按照所述人体姿态所在图像的拍摄时间的先后顺序，构成体态流；将用户在一段视频中的步频按照所述步频发生时间的先后顺序，构成步频流；将用户在一段视频中的用户表情信息按照所述用户表情所在图像的拍摄时间的先后顺序，构成表情流；
将步长流、体态流、步频流和表情流输入行为分析网络，行为分析网络包括多层分析层，行为分析网络包括的多层分析层的数量比所述一段视频中的图像的数量多1；
行为分析网络中的每层分析层包括4个分析节点，4个分析节点包括第一分析节点、第二分析节点、第三分析节点和第四分析节点；
第n层分析层的第一分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第一分析节点的输出调整表情信息，得到第n帧图像的调整后的表情信息；其中，n为小于N+1的正整数，N+1表示行为分析网络中的分析层的层数；第n帧图像为所述一段视频中拍摄时间排序为第n的图像；N表示一段视频中的图像的数量；
第n层分析层的第二分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第二分析节点的输出调整步长，得到第n帧图像的调整后的步长；
第n层分析层的第三分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第三分析节点的输出调整人体姿态数据，得到第n帧图像的调整后的人体姿态数据；
第n层分析层的第四分析节点根据第n帧图像的步长、第n帧图像的人体姿态数据、第n帧图像的表情信息、第n帧图像与第n+1帧图像之间的步频以及第n-1层分析层的第四分析节点的输出调整步频，得到第n帧图像与第n+1帧图像之间的调整后的步频；
行为分析网络中，第N+1层分析层对第N层分析层的输出的调整后的步长、调整后的人体姿态数据、调整后的步频和调整后的表情信息进行融合计算，得到用户行为值，用户行为值表征用户需要办理的事项；
从大数据库中获得与所述用户行为值对应的用户需要办理的事项；所述用户需要办理的事项预先存储在大数据库中。
8.一种机器人，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤。
CN202010361680.5A 2020-04-30 2020-04-30 安防系统的用户行为分析方法及系统 Active CN111476202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010361680.5A CN111476202B (zh) 2020-04-30 2020-04-30 安防系统的用户行为分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010361680.5A CN111476202B (zh) 2020-04-30 2020-04-30 安防系统的用户行为分析方法及系统

Publications (2)

Publication Number Publication Date
CN111476202A CN111476202A (zh) 2020-07-31
CN111476202B true CN111476202B (zh) 2021-05-25

Family

ID=71762991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010361680.5A Active CN111476202B (zh) 2020-04-30 2020-04-30 安防系统的用户行为分析方法及系统

Country Status (1)

Country Link
CN (1) CN111476202B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463174A (zh) * 2014-12-16 2015-03-25 广州南方电力集团科技发展有限公司 一种多角度动态人物识别及行为预测系统
CN104715493A (zh) * 2015-03-23 2015-06-17 北京工业大学 一种运动人体姿态估计的方法
CN110147743A (zh) * 2019-05-08 2019-08-20 中国石油大学(华东) 一种复杂场景下的实时在线行人分析与计数系统及方法
US10614344B2 (en) * 2017-07-05 2020-04-07 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060047515A1 (en) * 2004-08-25 2006-03-02 Brenda Connors Analyzing human movement patterns
US20200064444A1 (en) * 2015-07-17 2020-02-27 Origin Wireless, Inc. Method, apparatus, and system for human identification based on human radio biometric information
CN104901981A (zh) * 2014-03-05 2015-09-09 中国移动通信集团安徽有限公司 一种用户行为的分析方法、装置和系统
US20170220799A1 (en) * 2015-05-29 2017-08-03 Kuni Ahi LLC Behavior-Based Network Management Implementations
CN105069556A (zh) * 2015-07-27 2015-11-18 浪潮通用软件有限公司 一种erp管理系统的用户行为分析方法及用户行为分析系统
CN106611100B (zh) * 2015-10-19 2020-03-20 重庆邮电大学 一种用户行为分析方法和装置
CN107871111B (zh) * 2016-09-28 2021-11-26 苏宁易购集团股份有限公司 一种行为分析方法及系统
CN109558785A (zh) * 2017-09-25 2019-04-02 北京缤歌网络科技有限公司 安防监控系统及应用其的无人便利店
CN108460489A (zh) * 2018-03-15 2018-08-28 重庆邮电大学 一种基于大数据技术的用户行为分析与服务推荐框架
CN108573064A (zh) * 2018-04-27 2018-09-25 努比亚技术有限公司 信息推荐方法、移动终端、服务器及计算机可读存储介质
CN109492595B (zh) * 2018-11-19 2020-10-16 浙江传媒学院 适用于固定群体的行为预测方法和系统
CN109711343A (zh) * 2018-12-27 2019-05-03 北京思图场景数据科技服务有限公司 基于表情、姿态识别和眼神追踪的行为结构化方法
CN110119966A (zh) * 2019-05-20 2019-08-13 上海应用技术大学 银行客户异常行为分析方法
CN110796472A (zh) * 2019-09-02 2020-02-14 腾讯科技（深圳）有限公司 信息推送方法、装置、计算机可读存储介质和计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463174A (zh) * 2014-12-16 2015-03-25 广州南方电力集团科技发展有限公司 一种多角度动态人物识别及行为预测系统
CN104715493A (zh) * 2015-03-23 2015-06-17 北京工业大学 一种运动人体姿态估计的方法
US10614344B2 (en) * 2017-07-05 2020-04-07 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
CN110147743A (zh) * 2019-05-08 2019-08-20 中国石油大学(华东) 一种复杂场景下的实时在线行人分析与计数系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Using Automated Facial Expression Analysis for Emotion and Behavior Prediction;Sun Joo-Grace Ahn等;《Handbook of Emotions and Mass Media》;20100131;第349-369页 *
基于视频的人体姿态检测方法及其应用综述;连仁明等;《人工智能与应用》;20190930;第127-129页 *

Also Published As

Publication number Publication date
CN111476202A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
EP3605394B1 (en) Method and apparatus for recognizing body movement
CN110516620B (zh) 目标跟踪方法、装置、存储介质及电子设备
CN107808111B (zh) 用于行人检测和姿态估计的方法和装置
US20220254157A1 (en) Video 2D Multi-Person Pose Estimation Using Multi-Frame Refinement and Optimization
WO2023134071A1 (zh) 行人重识别方法、装置、电子设备及存储介质
CN111488853B (zh) 金融机构安防系统的大数据人脸识别方法、系统及机器人
CN116168350B (zh) 基于物联网实现施工人员违规行为的智能监测方法及装置
Javed et al. Face mask detection and social distance monitoring system for COVID-19 pandemic
CN116597336A (zh) 视频处理方法、电子设备、存储介质及计算机程序产品
CN109784295B (zh) 视频流特征识别方法、装置、设备及存储介质
CN111488858B (zh) 云计算大数据金融安防系统行人行为分析方法及系统
CN111476202B (zh) 安防系统的用户行为分析方法及系统
Montero et al. Multi-camera BEV video-surveillance system for efficient monitoring of social distancing
CN111481208B (zh) 一种应用于关节康复的辅助系统、方法及存储介质
CN114120436A (zh) 动作识别模型的训练方法、动作识别方法及相关装置
WO2023241032A1 (zh) 基于深度学习的智能识别骨关节炎的方法及系统
CN116246343A (zh) 轻量化的人体行为识别方法及装置
CN112102398B (zh) 一种定位方法、装置、设备及存储介质
CN115641581A (zh) 目标检测方法、电子设备及存储介质
CN114913550A (zh) 集伤点场景下基于深度学习的伤员识别方法与系统
CN114550291A (zh) 一种步态特征提取方法、装置及设备
Guidolin et al. Hi-ROS: Open-source multi-camera sensor fusion for real-time people tracking
CN112019723A (zh) 区块链的大数据目标监控方法及系统
Korovin et al. Human pose estimation applying ANN while RGB-D cameras video handling
CN113139415B (zh) 视频关键帧提取方法、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40032441

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20210506

Address after: Room 401-409, 4th floor, building B, 878 Wenzhou Avenue, Puzhou street, Longwan District, Wenzhou City, Zhejiang Province

Applicant after: Zhejiang Shenhui financial service outsourcing Co.,Ltd.

Address before: 15 / F, block a, building 1, Shangding international, hi tech Zone, Chengdu, Sichuan 610000

Applicant before: Yang Jiumei

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant