CN117541953A - 人流量监测方法和多模型联动的视频数据分析方法和系统 - Google Patents

人流量监测方法和多模型联动的视频数据分析方法和系统 Download PDF

Info

Publication number
CN117541953A
CN117541953A CN202311265130.3A CN202311265130A CN117541953A CN 117541953 A CN117541953 A CN 117541953A CN 202311265130 A CN202311265130 A CN 202311265130A CN 117541953 A CN117541953 A CN 117541953A
Authority
CN
China
Prior art keywords
video
analysis
target
model
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311265130.3A
Other languages
English (en)
Inventor
苏洵
马欣雅
孙建涛
王寒凝
胡映波
杨劲
王瑞
秦垚
于莉娜
张馨月
曾创展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
People's Liberation Army 61932 Troops
Original Assignee
People's Liberation Army 61932 Troops
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by People's Liberation Army 61932 Troops filed Critical People's Liberation Army 61932 Troops
Priority to CN202311265130.3A priority Critical patent/CN117541953A/zh
Publication of CN117541953A publication Critical patent/CN117541953A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供人流量监测方法和多模型联动的视频数据分析方法和系统，所述人流量监测方法包括：根据目标人员与目标区域的预设边界之间的位置关系，确定所述目标人员的位置信息；通过统计所述目标人员的位置信息，确定所述目标区域的人流量。能够实时监测目标区域内的人流量信息。所述多模型联动的视频数据分析方法包括：根据应用管理功能的应用规则任务，从本地模型数据库中存储的多个视频分析模型中调用对应的目标视频分析模型对视频数据进行分析，得到视频数据对应的分析结果；基于所述分析结果完成应用管理功能的应用规则任务。能够实现用户的定制化视频数据分析，能够在保证视频数据分析能力的基础上，提升视频数据分析的应用效率。

Description

人流量监测方法和多模型联动的视频数据分析方法和系统
技术领域
本发明涉及视频分析技术领域，尤其涉及人流量监测方法和多模型联动的视频数据分析方法和系统。
背景技术
当前，视频在人们生活中扮演着越来越重要的角色，诸如视频监控、视频会议、在线教育等服务的普及，也使得人们对于视频内容的分析和处理愈发重视。一些特定场所，如车站、学校、军队以及重点机关等单位因其自身的特殊性，一直对安全有着很高的要求，需要对这些场所进行严格有效的监控及管理。然而，现有的视频分析技术或产品对于多种视频分析模型的应用整合效率不足，容易出现单一的视频分析技术或产品难以满足用户的多种实际应用需求的情况。以及，现有的视频分析技术或产品存在着行为和特征识别准确率低，不能很好的即时报警及不能对事件有效分析等诸多不足，常导致管控人员不能及时有效地处理突发时间，不能很好地对不安全因素进行有效地总结分析。因此，需要一种视频智能分析服务平台，以满足用户对视频内容的智能化处理需求。
发明内容
鉴于此，本发明实施例提供了人流量监测方法和多模型联动的视频数据分析方法和系统，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种人流量监测方法，包括：
在预设时段内，根据目标人员与目标区域的预设边界之间的位置关系，确定所述目标人员的位置信息；
通过统计所述目标人员的位置信息，确定在预设时段内所述目标区域的人流量。
在本发明的一些实施例中，所述通过统计所述目标人员的位置信息，确定所述目标区域的人流量，包括：
通过统计单视频画面中位于所述目标区域内的所述目标人员的数量，确定所述目标区域中的瞬时人流量；
通过统计连续帧视频画面中所述目标人员的位置信息的动态记录，确定所述目标区域中的动态人流量。
本发明的另一个方面提供了一种多模型联动的视频数据分析方法，包括：
根据预获取的应用管理功能的需求数据构建该应用管理功能的应用规则任务；
根据所述应用规则任务，从本地模型数据库中存储的多个视频分析模型中调用对应的目标视频分析模型，并利用所述目标视频分析模型对所述应用管理功能对应的视频数据进行分析，以使得所述目标视频分析模型输出所述视频数据对应的分析结果；所述本地模型数据库中存储的视频分析模型包括执行上述人流量分析方法的人流量统计模型；
基于所述目标视频分析模型输出的分析结果完成应用管理功能的所述应用规则任务。
在本发明的一些实施例中，所述根据所述应用规则任务，从本地模型数据库中存储的多个视频分析模型中调用对应的目标视频分析模型，包括：
所述根据用户的所述模型调用任务，通过API接口从本地模型数据库中存储的多个视频分析模型中调用对应的目标视频分析模型。
在本发明的一些实施例中，所述本地模型数据库中存储的视频分析模型还包括视频结构化分析模型；
对应的，所述利用所述目标视频分析模型对所述应用管理功能对应的视频数据进行分析，以使得所述目标视频分析模型输出所述视频数据对应的分析结果，包括：
根据所述视频数据中的分析目标的类别，确定所述分析目标的结构化属性；
根据所述分析目标的结构化属性，从所述视频数据中调用所述分析目标的结构化信息。
在本发明的一些实施例中，所述本地模型数据库中存储的视频分析模型还包括行为识别模型；
对应的，所述利用所述目标视频分析模型对所述应用管理功能对应的视频数据进行分析，以使得所述目标视频分析模型输出所述视频数据对应的分析结果，包括：
根据所述视频数据中的连续帧视频画面，确定所述视频数据中的分析目标的行为类型。
本发明的另一个方面提供了一种多模型联动的视频数据分析系统，包括：
视频分析模型存储模块，用于存储多种视频分析模型，所述视频分析模型包括执行上述人流量分析方法的人流量监测模型；
数据库模块，用于存储多种视频分析结果数据库；
视频分析任务执行模块，根据预获取的应用管理功能的需求数据构建该应用管理功能的应用规则任务；根据所述应用规则任务，从本地模型数据库中存储的多个视频分析模型中调用对应的目标视频分析模型，并利用所述目标视频分析模型对所述应用管理功能对应的视频数据进行分析，以使得所述目标视频分析模型输出所述视频数据对应的分析结果；基于所述目标视频分析模型输出的分析结果完成应用管理功能的所述应用规则任务。
在本发明的一些实施例中，所述视频分析任务执行模块与所述视频分析模型存储模块通过API接口相接。
本发明的另一方面提供了一种电子设备，包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该电子设备实现上述人流量监测方法或上述多模型联动的视频数据分析方法。
本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述人流量监测方法或上述多模型联动的视频数据分析方法。
本发明的人流量监测方法，能够实时统计目标区域内的人群密度和人员流动情况，从而为监管人员提供可靠的数据信息，辅助监管人员及时调整人流策略、及时处理突发事件，以预防或减少人员聚集或踩踏事故。
本发明的多模型联动的视频数据分析方法，能够实现针对应用管理功能的定制化视频数据分析，能够在保证视频数据分析能力的基础上，提升视频数据分析的利用效率。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1为人流量监测流程图。
图2为多模型联动的视频数据分析流程图。
图3为本发明一实施例中应用规则任务的管理流程图。
图4为本发明一实施例中应用规则任务的管理结构图。
图5为本发明一实施例中本地模型数据库中存储的视频分析模型架构图。
图6为本发明一实施例中视频画面中目标区域的划定结构图。
图7为本发明一实施例中视图数据库的入库规范示意图。
图8为本发明一实施例中摄像机安装示意图。
图9为本发明一实施例中视频数据的采集管理流程图。
图10为本发明一实施例中视频数据的管理结构图。
图11为本发明一实施例中视频数据分析的管理流程图。
图12为本发明一实施例中视频数据分析的管理结构图。
图13为本发明一实施例中分析结果资产化的管理流程图。
图14为本发明一实施例中分析结果资产化的管理结构图。
图15为本发明一实施例中多模型联动的视频数据分析方法执行结构图。
图16为多模型联动的视频数据分析系统的视频分析服务架构图。
图17为本发明一实施例中视频画面的边界框划分的结构图。
图18为本发明一实施例中锁定分析目标边界框的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
针对现有技术中存在的视频分析产品不能满足多种实际场所的监管需求的问题，本申请提供了一种多模型联动的视频数据分析方法，该视频数据分析方法根据用户的功能需求，为该用户生成定制化的视频数据分析任务，针对性的调用视频数据分析任务所需的视频分析模型，从而满足用户的监管需求。
上述一种多模型联动的视频数据分析方法，如图2所示，包括步骤S110-S130：
步骤S110，根据预获取的应用管理功能的需求数据构建该应用管理功能的应用规则任务。
其中，所述预获取的应用管理功能的需求数据包括应用管理功能所需的视频分析结果数据。对应的，所述应用管理功能的应用规则任务中包括应用管理功能中指定调用的目标视频分析模型。基于此，上述步骤S110包括：根据应用管理功能的需求数据，分辨该应用管理功能所需的视频分析模型，进而将应用管理功能所需的视频分析模型作为指定调用的目标视频分析模型构建该应用管理功能的应用规则任务。例如，考勤管理功能中的需求数据信息包括人脸定位、人脸属性、人脸相似度匹配等，则针对考勤管理功能构建的应用规则任务中指定调用的目标视频分析模型包括：用于进行人脸定位的人脸检测模型，用于根据人脸分辨人员身份属性的人脸属性分析模型，用于通过对比人脸与系统预先构建的视图库中的人脸之间的相似度进行人脸识别的人脸对比模型等。
其中，所述预获取的应用管理功能的需求数据还包括对于应用管理功能所需的视频分析结果数据的整合分析结果，对应的所述应用管理功能的应用规则任务中还包括应用管理功能所需的视频分析结果数据的整合分析规则。基于此，上述步骤S110还包括：：根据应用管理功能的需求数据，设定该应用管理功能所需的视频分析结果数据的整合分析规则，进而构建该应用管理功能的应用规则任务。例如，上述针对考勤管理功能构建的应用规则任务中设定关于各个人员的打卡和考勤状态(例如，请假、外出和正常等考勤状态)之间的整合分析规则，以最终得到各个人员的考勤结果。
上述步骤S110中的应用管理功能可以涉及通行管理、安防监控和日常事务管理等多种实际应用管理功能，并根据各应用管理功能涉及的需求数据，针对性的构建各自应用管理功能的应用规则任务。用户还可以将构建的各应用管理功能的应用规则任务进行存储，以便于该模型分析任务的多次调用。
本申请的一个或多个实施例中，构建的各应用管理功能的应用规则任务通过分布式MinIO(对象存储服务)存储于本地的elasticsearch(全文检索引擎)资产化任务管理数据库中，以实现所述应用规则任务的持久化和共享调用。对应的，用户可以从所述资产化任务管理数据库中调用应用管理功能对应的应用规则任务，并根据该应用管理功能的需求数据自主修改所述应用规则任务，以生成该应用管理功能的应用规则任务，从而通过复用应用管理功能的应用规则任务，简化相应的应用管理功能的应用规则任务的构建。
本申请的一个或多个实施例中，在视频数据分析系统中对于上述步骤S110中的模型分析任务的管理流程如图3所示，针对新建的应用管理功能进行持久化管理，由算法任务管理单元调用该应用管理功能的需求数据对应的目标视频分析模型，由规则任务运行单元设定针对于各个目标视频分析模型输出的分析结果的整合分析规则，从而得到针对该应用管理功能的应用规则任务；将得到的所述应用规则任务作为任务资产进行存储，从而实现应用规则任务的持久化和业务数据统计。
本申请的一个或多个实施例中，在视频数据分析系统中对于上述步骤S110中的应用规则任务的管理结构如图4所示，由用户在应用管理单元中自主添加应用管理功能，并配置该应用管理功能的需求数据；由算法任务管理单元生成该应用管理功能的需求数据对应的应用规则任务，并将得到的应用规则任务存储至资产化任务管理数据库中，实现应用规则任务的持久化和调用运行。用户可以根据应用管理功能在应用管理单元中直接调用存储至所述资产化任务管理数据库中的应用规则任务，还可以根据各自的实际需求进行修改，得到更加适用于自身应用管理功能的应用规则任务。
本申请的一个或多个实施例中，将上述多模型联动视频数据分析方法应用于人脸管理功能中，该人脸管理功能可以应用于事件管理、门禁管理、考勤管理、资源管理和动态人流量等多种日常管理事件中。该人脸管理功能中，对应的预获取的应用管理功能的需求数据包括各个人脸对应的人员属性以及各个人脸对应的人员属性的整合分析结果；则针对各种日常管理功能构建的模型分析任务中，将该日常管理功能所需的人脸识别算法作为目标视频分析模型，并且根据该日常管理功能的整合分析需求，设置各个人脸对应的人员属性之间的整合分析规则。
例如，事件管理应用中，对应的预获取的应用管理功能的需求数据包括人员属性；则构建的应用规则任务中将根据设置的设备、事件类型、事件等级和归属区域等多维度信息进行人员检索的视频分析模型作为目标视频分析模型。门禁管理应用中，对应的预获取的应用管理功能的需求数据包括别识别人员对应的人员属性和门禁权限，所述门禁权限的确定包括：根据被识别人员在门禁系统中的门禁权限判断该被识别人员是否可通行该门禁，以及，根据被识别人员的请销假系统判断该被识别人员是否可通行门禁等多种门禁权限设置规则；则构建的模型分析任务中，将从预先录入的视图数据库中提取与视频画面中的人脸相匹配的已知人员属性的视频分析模型作为目标视频分析模型；并且根据设置的各人员的门禁权限生成针对不同人员的门禁规则。考勤管理应用中，对应的预获取的应用管理功能的需求数据包括通过人脸匹配的身份核验结果，身份核验成功人员的考勤结果，所述人员考勤结果包括：正常、缺勤、迟到、早退和请假等；则构建的应用规则任务中，将从所述视图数据库中提取与视频画面中的人脸相匹配的已知人员属性的视频分析模型作为目标视频分析模型；并且根据各人员的考勤状态生成针对不同人员的考勤规则。资源管理应用中，对应的预获取的应用管理活动的需求数据包括通过人脸匹配的身份核验结果，身份核验成功的人员属性；则构建的模型分析任务中，将从视图数据库中提取与视频画面中的人脸相匹配的已知人员属性的视频分析模型作为目标视频分析模型；并且根据实际的人员属性针对不同人员的人员属性等信息进行增、删、改和查等操作。
本申请的一个或多个实施例中，将上述多模型联动视频数据分析方法应用于视频结构化管理功能中，该视频结构化管理功能可以将视频画面中出现的机动车、人体和车牌等信息主体进行结构化属性解析。该视频结构化功能中，对应的预获取的应用管理功能的需求数据包括各个信息主体的多维度结构化属性；则针对各种视频结构化管理功能构建的模型分析任务中，将该视频结构化管理功能所需的视频结构化算法作为目标视频分析模型，并且根据实际的视频结构化管理功能的管理需求，设置各个信息主体的多维度结构化属性。例如，机动车结构化的多维度结构化属性包括：车辆颜色、车辆品牌和车牌等；人体结构化的多维度结构化属性包括上衣颜色、上衣款式、下装颜色、下装款式、人员年龄和性别等；车牌结构化的多维度结构化属性包括：车牌号码自动转化为文本信息等。
本申请的一个或多个实施例中，将上述多模型联动视频数据分析方法应用于行为识别管理功能中，该行为识别管理功能对视频画面中出现的机动车和人体等信息主体的动作进行检测和识别，并对出现的异常态势进行提醒。该行为识别管理功能中，对应的预获取的应用管理活动的需求数据包括信息主体的多种行为；则针对行为识别管理功能构建的应用规则任务中，将该行为识别管理功能所需的行为识别算法作为目标视频分析模型，并且根据实际的行为识别管理功能的管理需求，设置信息主体行为的异常态势的预警提醒条件。例如，所述行为识别模型执行的行为分析包括：抽烟、低头看手机、接打电话、摔倒、打架、离岗、单人徘徊、睡岗、人员骤聚和人员骤散等多种的行为分析。
本申请的一个或多个实施例中，将上述多模型联动视频数据分析方法应用于人员监测管理功能中，该人员监测管理功能用于统计视频画面中的人群数量和人员密度，并对出现的异常态势进行提醒。该人员监测管理功能中，对应的预获取的机动车、人体和车牌等信息主体包括预设的目标区域内的人流量数据，包括人群数量和人群密度；则针对人员监测管理功能构建的应用规则任务中，将该人员监测管理功能所需的人流量统计算法作为目标视频分析模型，并且根据实际的人员监测管理功能的管理需求，设置目标区域内的人流量的异常态势的预警提醒条件。例如，所述人流量统计算法监测的人流量包括：预设时段内，目标区域中的动态人流量和静态人流量。
本申请可以广泛应用于门禁、考勤、人流量统计、行为监测和视频结构化等多种实际的应用管理功能，通过针对性的生成适用于各自应用管理功能的应用规则任务，能够在保证视频数据分析功能的基础上，提升视频数据分析模型的应用效率。还可以对各自构建的应用规则任务进行存储，以便实现该应用规则任务的持久化和共享化，压缩开发成本，减少重复开发工作量。
步骤S120，根据应用管理功能的所述应用规则任务，从本地模型数据库中存储的多个视频分析模型中调用对应的目标视频分析模型，并利用所述目标视频分析模型对所述应用管理功能对应的视频数据进行分析，以使得所述目标视频分析模型输出所述视频数据对应的分析结果。
其中，所述本地模型数据库为elasticsearch(全文检索引擎)，通过分布式MinIO(对象存储服务)存储方式存储有多种视频分析模型，根据应用管理功能的应用规则任务中，通过API接口从本地模型数据库中存储的多个视频分析模型中调用对应的目标视频分析模型。本地模型数据库中存储的视频分析模型包括人脸识别模型、视频结构化模型、行为识别模型和人流量统计模型等多种视频分析模型，如图5所示。所述目标视频分析模型输出的各个视频数据对应的分析结果作为数据资产通过分布式MinIO(对象存储服务)存储于elasticsearch(全文检索引擎)的资产化数据库中，另外，所述elasticsearch中还分布式MinIO存储有预先录入的各个信息主体对应的属性信息。在满足计算硬件资源的情况下可支持的视频数据分析的并发路≥1000路。
所述人脸识别模型用于将一张或多张未明确人员属性的人脸图像和预先构建的视图数据可中的多个已知人员属性的人脸图像或相应的编码作为输入数据，由所述人脸识别模型输出未明确人员属性的人脸图像与已知人员属性的人脸图像之间的相似度的相似度得分，从而确定未明确人员属性的人脸图像的人员属性。所述人脸识别模型中包括人脸检测模型、人脸属性分析模型、人脸比对(1：1)(1：N)模型及绊线人数统计模型等多种人脸识别模型。需要说明的是，根据应用管理功能的需求数据生成的所述应用规则任务中指定的作为目标视频分析模型的人脸识别模型可以包括上述人脸识别模型中的一种或多种。
对应的，调用所述人脸识别模型作为目标视频分析模型对获取的视频数据进行分析，包括：所述人脸检测模型用于与对视频画面中出现的人脸进行定位、跟踪及截图，并对截取的人脸进行特征值提取；所述人脸属性分析模型通过匹配视频画面中的人脸和视图数据库中已知人员身份属性的人脸，确定所述视频画面中的人脸的人员身份属性；所述人脸对比(1：1)通过对比不同视频画面中的两张人脸的相似度，判断两张人脸是否相互匹配(即两张人脸属于同一人员)，并将相互匹配的人脸对应的人员身份属性进行上传并保存；所述人脸对比(1：N)用于对比视频画面中的人脸与视图数据库中的人脸，并根据对比结果的相似度，对所述视图数据库中的人脸进行排序；所述绊线人数统计模型用于判断视频画面中的人脸是否存在异常，并将消除异常的所述视频画面中的人脸进行上传。
本申请的一个或多个实施例中，利用人脸识别模型对视频数据进行人脸检测，包括：通过所述人脸检测模型对视频画面中的人脸进行定位，得到所述视频画面中未知人员属性的人脸图像信息；再通过人脸对比模型将所述未知人员属性的人脸图像信息与已知人员属性的人脸图像进行比较，得到人脸图像的识别匹配结果。其中，所述人脸对比模型采用基于特征脸的主成分分析法(PCA)执行未知人员属性的人脸图像信息与已知人员属性的人脸图像进行比较，具体包括：在进行人脸图像对比之前，利用一组人脸训练样本构造主元子空间；在进行人脸图像对比时，将未知人员属性的人脸图像投影到所述主元子空间上，得到一组投影系数，再和各已知人员属性的人脸图像进行比较，从而得到人脸图像的识别匹配结果。所述未知人员属性的人脸图像信息是测量空间的模式，在利用通过人脸对比模型将所述未知人员属性的人脸图像信息与已知人员属性的人脸图像进行比较之前，还包括：对经过检测和定位过的人脸图像进行特征提取，以降低所述人脸图像维度。一个实施例中，采用主分量分析方法对所述人脸图像进行降维，苏哦书主分量分析方法用于将高维向量通过一个特殊的特征向量矩阵，投影到一个低维的向量空间中，从而实现降维操作。采用主分量分析方法得到的信息表征为一个低维向量，并且较之高维向量仅仅损失一些次要信息，采用此种方法对苏哦书人脸图像进行降维，能够在有效减小人脸识别的计算量的同时，提高人脸识别精度。
本申请的一个或多个实施例中，调用上述人脸识别模型作为事件管理、门禁管理、考勤管理和资源管理等功能中进行视频画面中的人脸分析的目标视频分析模型。
对应的，调用所述视频结构化模型作为目标视频分析模型对获取的视频数据进行分析，包括：根据所述视频数据中的分析目标的类别，确定所述分析目标的结构化属性；根据所述分析目标的结构化属性，从所述视频数据中调用所述分析目标的结构化信息。其中，视频画面中的分析目标包括机动车、人体和车牌等多种信息主体。实施例中，利用视频结构化模型对机动车进行结构化分析时，将机动车的结构化属性设为：车辆颜色、车辆品牌、车牌颜色和车牌号等；利用视频结构化模型对人体进行结构化分析时，将人体的结构化属性设为：上衣颜色、上衣款式、下装颜色、下装款式、人员年龄和人员性别等；利用视频结构化模型对车牌进行结构化分析时，将车牌号转化为文本信息进行显示。
所述根据所述视频数据中的分析目标的类别，确定所述分析目标的结构化属性，包括：如图17所示对视频画面进行单元格划分，对每个单元格利用锚框进行划分，并对每个锚框利用编码框进行划分，对于视频画面中的每一个锚框，标记该锚框中的各个编码框内存在分析目标的置信度，并根据分析目标的类型进行分类标记，通过计算视频画面中每个边界框内元素的乘积，确定该边界框内包含某一类分析目标的预测概率，并不断扩大边界框的大小，直至该边界框中包含某一类分析目标的预测概率超过预设的目标锁定阈值，锁定所述边界框，并确定所述视频画面中的分析目标，如图18所示。其中，边界框内包含某一类分析目标的预测概率为：
其中，scores表示选中边界框内包含某一类分析目标的预测概率，pc＝1指示某一个锚框中的各个编码框内存在分析目标的主体信息的类别，c＝1，2，3…表示分析目标的主体信息的类别编码，c1，c2…cn，分别表示各个编码框内存在pc对应的主体信息类别的分析目标的置信度，n表示每个边界框中存在的编码框的数量。
对应的一个实施例中，将视频画面划分为19x19的单元格，每个单元格中包括5个锚框，每个锚框中包括80个编码框，以一个锚框作为边界框的边界框内包含某一类分析目标的预测概率为：
其中，c＝3表示分析目标的主体信息的类型为机动车，最终得到该边界框中包含机动车的预测概率为0.44。
此实施例中，需要计算对19x19x5＝1805个锚框的预测概率，并根据各个锚框内包含某一类分析目标得预测概率，去掉所述预测概率低于预设最低阈值的锚框；通过不断合并扩大边界框，并不断计算所述边界框内包含某一类分析目标得预测概率，直至该边界框中包含某一类分析目标的预测概率超过预设的目标锁定阈值，锁定所述边界框，并确定所述视频画面中的分析目标。
所述根据所述分析目标的结构化属性，从所述视频数据中调用所述分析目标的结构化信息，包括：根据多种结构化属性识别方法对所述主体信息进行多维度的结构化属性识别定位。所述结构化属性识别定位方法包括梯度信息投影统计、小波变换作分割、车牌区域扫描连线算法、区域特性训练分类器的方法和启发式车牌定位算法等多种识别算法。一个实施例中，运用启发式车牌定位算法对车牌进行识别定位，使得综合号牌检出率高达99.5％。定位完成后，通过ORC识别算法，实现车牌号码的识别。
所述行为识别模型用于使用卷积神经网络将视频画面中分析目标的关键节点检测出来，并对所述关键节点进行邻接，从而根据所述分析目标中不同关键点之间的连接得到所述分析目标的完整的姿态信息。对应的，调用所述行为识别模型作为目标视频分析模型对获取的视频数据进行分析，包括：根据视频数据中的视频画面，确定所述视频数据中的分析目标的行为类型，其中，所述分析目标包括机动车和人体等多种信息主体。所述行为识别模型是基于深度学习算法模型的人体检测，经过大量的模型训练，使得将所述深度学习算法模型训练为根据输入的视频画面输出该视频画面中信息主体对应的行为类型的行为识别模型。其中，行为类型包括信息主体可能出现的行为方式，例如，将身体失去平衡而倒在地上的行为类型定义为摔倒，将电话放在耳朵旁边的行为类型定义为打电话，将手机拿在手上并且查看和操作的行为类型定义为玩手机，将香烟放在嘴边或者手持点燃香烟的行为类型定义为抽烟，将两人以上发生肢体接触并且存在殴打行为的行为类型定义为打架，将检测不到应到人员的持续时间达到预设的时间段的行为类型定义为人员离岗，将检测到人员持续睡觉的时间达到预设的时间段的行为类型定义为人员睡岗，将检测到人员持续出现在固定位置内的时间达到预设的时间段的行为类型定义为徘徊，将检测到人员持续增加的时间达到预设的时间段的行为类型定义为人员骤聚。将检测到人员持续减少的时间达到预设的时间段的行为类型定义为人员骤降。
相应的，实施例中利用行为识别模型对分析目标进行行为识别时，结合人体姿态，并通过检测连续帧的视频画面中人体与地面相对位置关系，判断人体是否存在摔倒的行为类型；通过检测单张的视频画面，判断视频画面中的人体是否存在玩手机的行为类型；通过检测单张的视频画面，判断视频画面中的人体是否存在抽烟的行为类型；通过检测单张的视频画面，判断视频画面中的人体是否存在打电话的行为类型；结合背景差分的分析目标分离，再结合人体姿态，通过连续帧的视频画面中的人员的动态位置关系，判断视频画面中的分析目标是否存在打架的行为类型；通过连续时间段内的连续帧的视频画面，判断视频画面中是否存在人员离岗的行为类型；通过连续时间段内的连续帧的视频画面，判断视频画面中是否存在人员睡岗的行为类型；通过连续时间段内的连续帧的视频画面，判断视频画面中是否存在人员徘徊的行为类型；基于预先设定的骤聚人数阈值和骤减人数阈值，通过连续时间段内开始时间和结束时间的目标区域中的人员数量，判断视频画面中是否存在人员骤聚或人员骤减的行为类型，例如，预先设定的骤聚人数阈值为50，连续时间段为1分钟，若1分钟内结束时间的人数相较于开始时间的人数增加了超过50人，则检测结果为视频画面中存在人员骤聚行为。
本申请的一个或多个实施例中，上述行为识别模型至少支持10种行为类型的行为识别。
对应的，调用所述人流量统计模型作为目标视频分析模型对获取的视频数据进行分析，如图1所示，包括：步骤S1，在预设时段内，根据目标人员与目标区域的预设边界之间的位置关系，确定所述目标人员的位置信息；步骤S2，通过统计所述目标人员的位置信息，确定在预设时段内所述目标区域的人流量。其中，预设时间段内所述目标区域的人流量包括瞬时人流量和动态人流量；对应的，所述通过统计所述目标人员的位置信息，确定在预设时段内所述目标区域的人流量，包括：通过统计单张的视频画面中位于所述目标区域内的所述目标人员的数量，确定所述目标区域中的瞬时人流量；通过统计连续帧视频画面中所述目标人员的位置信息的动态记录，确定所述目标区域中的动态人流量。通过实时统计目标区域内的人群密度和人员流动情况，为监管人员提供可靠的数据信息，辅助监管人员及时调整人流策略、及时处理突发事件，以预防或减少人员聚集或踩踏事故。
对应的本申请的一个或多个实施例中，所述人流量统计模型的计算方法包括：在视频画面中划定目标区域，通过计算视频画面中的目标人员与划定的目标区域的位置关系，判断所述目标区域是否属于划定的目标区域。例如，如图6所示，将视频画面看作XY坐标系，利用线段Ax+By+C＝0表示划定的目标区域的边缘，将视频画面中目标人员的位置表示为XY坐标点，计算坐标点与线段之间的距离d，若坐标点位于直线的上方，则距离d为正，若坐标点位于直线的下方，则距离d为负，若坐标点在线段所在直线的两个端点之间，则距离d为0。当通过人流量统计模型统计静态人流量时，检测单张的视频画面中的目标人员与目标区域之间的位置关系，从而确定该视频画面的采集时刻，该目标区域的人群数量和人群密度；当通过人流量统计模型统计动态人流量时，检测连续帧的视频画面中目标人员与目标区域之间的动态位置关系，从而确定连续帧的视频画面的采集时段内，该目标区域的人群数量和人群密度。
本申请的一个或多个实施例中，采用单T4 GPU卡执行视频数据流的实时解析，以支持32路视频流的实时解析，从而实现对视频数据的大规模处理，实现高效率的视频分析。利用视频分析模型对视频画面中的分析目标进行视频数据分析之前，还包括视频画面的规范检测，从而保证视频画面中的分析目标的清晰度，进而保证视频分析模型的分子结构的准确性。
与上述实施例相对应的一个或多个实施例中，利用所述人脸识别模型对视频数据中的人脸进行识别前，还包括视频画面的规范检测，从画面像素、照片整体光线、人脸画面清晰度、画面中人脸姿态等多方面设定视图数据库中视频画面的入库规范，通过检测视频画面中的人脸是否满足人脸识别模型的识别要求，从而减少不规范人脸对于人脸识别模型造成的干扰，进而提高人脸识别模型的人脸属性检测率。一个实施例中，视图数据库中入库的视频画面的规范如图7所示，设定视图数据库中视频画面的像素为面部区域像素不低于200*200像素，视频画面中背景为纯色，人脸为正脸、正常表情、光线适中和无遮挡且近期拍摄照片；对应的，若视频画面中的照片存在：低头、抬头、侧脸、遮挡五官、表情夸张、多度美化、分辨率太小、模糊、黑白照片、亮度不均匀和过亮或过暗等不符合视图数据库入库规则的情况，则无法进行入库，且可能会存在人脸识别模型无法将视频画面中的照片与视图数据库中的照片相匹配的情况。基于此，实施例中将场景光照亮度设置为不低于1000LUX(常规晴天室内光照)，并保证室内场景中补光均匀，不能出现忽明忽暗的光照间隔问题，同时设置人脸正面迎视频画面垂直方向常规速度运动，从而减小甚至防止出现光线分布不均，过曝、逆光反光现象持续过长、室内补光措施不足、灯光光晕打到脸上等现象引起的人脸识别效果不佳的问题；同时避免各种角度的行走方向以及人员快速移动等情况造成的人脸识别率低等问题。另外，实施例中为了保证视频画面中的人员与视图数据库中人脸的匹配准确率，设置采集的视频画面中人脸的检测阈值为水平转动角度不超过±45°、俯仰角不超过±40°、倾斜角不超过±40°，且无遮挡的人脸。另外，实施例中为了保证采集到的视频画面的可用性，设定用于采集视频画面的摄像机参数为：200万或以上分辨率，具有宽动态120dB、超低照度等功能和参数，支持rtsp协议；摄像机安装高度不高于2.5米时，将摄像机的焦距设为12mm或以上，识别角度设为不超过10°，水平识别角度设为-30°～+30°之间，识别距离应不小于4.5m，如图8所示。保证摄像机抓拍的人脸图片中两个瞳孔的有效像素应不低于40个像素、识别区域人脸需清晰，无虚焦情况。上述实施例中，利用人脸识别模型对视频画面中的人脸进行人脸识别的人脸识别率已经达到了99.84％的精度，错误验证率也控制在0.16％，可以满足人脸属性检测准确率≥98％。
与上述实施例相对应的一个或多个实施例中，利用所述视频结构化模型对视频数据中的信息主体进行结构化分析之前，还包括视频画面的规范检测，通过检测视频画面的像素判断是否满足视频结构化模型的分析要求，从而减少不规范视频画面对视频结构化模型造成的干扰，进而提高视频结构化模型输出的各个分析目标的结构化属性的准确率。一个实施例中，设定视频画面的像素不低于200万，且视频画面中的分析目标的大小不低于150*100像素。
与上述实施例相对应的一个或多个实施例中，利用行为识别模型对视频中的分析目标进行行为识别之前，还包括视频画面的规范检测，通过检测视频画面的像素判断是否满足行为识别模型的识别要求，从而减少不规范视频画面对行为识别模型造成的干扰，进而提高行为识别模型识别的行为类型的可靠性。一个实施例中，设定视频画面的像素不低于200万，且视频画面中的分析目标的大小不低于200*100像素。
与上述实施例相对应的一个或多个实施例中，利用人流量统计模型对视频画面中的目标区域内的人流量机型监测之前，还包括视频画面的规范检测，通过检测视频画面的像素判断是否满足行为识别模型的识别要求，从而减少不规范视频画面对人流量统计模型造成的干扰，进而提高人流量统计模型输出的人流量的准确度。一个实施例中，在将采集视频画面的摄像机设置为高度不超过米，目标区域矩摄像机不超过10米的基础上，设定视频画面的像素不低于200万。
上述步骤S120中，通过视频分析模型进行分析的视频数据是通过RTSP(实时流传输)协议或者GB/T28181协议引接的前端视频流摄像机或国标视频平台的实时视频流数据。并且，来自于不同视频源的视频数据通过分布式MinI0(对象存储服务)的方式存储于elasticsearch(全文检索引擎)的视频流资产数据库中，以便用户实时或离线查阅各视频源的视频数据。
本申请的一个或多个实施例中，在视频数据分析系统中执行上述多模型联动的视频数据分析方法，其中，对于视频数据的采集管理流程如图9所示，利用视频数据分析系统中的监控运维单元添加视频源，所述视频源包括前端视频流摄像机和/或国标视频平台，并对视频源与视频数据分析系统之间的连接链路进行联通性检查，以防止视频数据分析过程中视频数据传输链路不通畅，造成的无法访问视频数据的情况；接引通过联通性检查的视频源中的视频数据，并将来自于各视频源的视频数据存储至数据流资产数据库中，实现视频数据的持久化入库，以便用户实时或离线查阅各视频源的视频数据。
本申请的一个或多个实施例中，在视频数据分析系统中执行上述多模型联动的视频数据分析方法，其中，所述视频数据分析系统对于视频数据的管理结构如图10所示，监控运维人员将视频源添加至所述视频数据分析系统中的视频源管理单元中，由所示视频源管理单元执行与数据源之间的联通性检查，并将来自于视频源的视频数据存储与本地的视频流资产数据库中。监控运维人员还可以通过所述视频源管理单元对调用所述数据流资产数据库中的视频数据，进行视频监控或为后续的视频数据规则配置提供视频源支持。
本申请的一个或多个实施例中，在视频数据分析系统中执行上述步骤S110所述的视频数据分析过程，其中，视频数据分析的管理流程如图11所示，根据构建的实际应用管理功能对应的应用规则任务，通过算法管理单元配置所述应用规则任务对应的视频分析模型，并对视频分析模型进行资产化管理，以将所述视频分析模型作为资产化规则存储于资产规则数据库中，进行持久化入入库，以方便后续视频数据分析时，视频分析模型的调用。定时查看应用规则任务，并根据实时的应用规则任务调整对应的资产规则数据库中存储的视频分析模型及其参数，并利用所述资产规则数据库中对应存储的视频分析模型对视频数据进行视频数据进行分析，以使的得到各个视频分析模型输出各自对应的所述视频数据的分析结果；并将各个视频分析模型输出的分析结果作为资产化数据存储于本地的资产化数据库中。
本申请的一个或多个实施例中，在视频数据分析系统中执行上述步骤S110所述的视频数据分析过程，其中，视频数据分析的管理结构如图12所示，资产化配置人员将作为资产化规则的根据视频分析模型通过算法任务管理单元存储于本地的资产规则数据库中，实现资产化规则的持久化和调用运行。资产化配置人员还可以通过算法任务管理单元定时扫描应用规则任务的执行情况，并调用所述资产规则数据库中的资产化规则对相应的视频数据进行分析，以得到各个视频数据经资产化规则处理后的分析结果，并将各个视频数据对应的分析结果作为资产化数据存储于本地的资产化数据库中。
本申请的一个或多个实施例中，在视频数据分析系统中执行上述步骤S110之后的分析结果资产化管理过程，对应的，分析结果资产化的管理流程如图13所示，对数据源资产数据库中存储的视频数据进行资产化处理，得到的各个视频数据对应的资产化数据进行持久化，通过分布式MinIO(对象存储服务)存储于elasticsearch(全文检索引擎)的资产化数据库中。用户可通过所述资产化数据库对各个视频分析模型输出的分析结果进行资产化检索。
本申请的一个或多个实施例中，在视频数据分析系统中执行上述步骤S110之后的分析结果资产化管理过程，对应的，分析结构资产化的管理结构如图14所示，利用算法任务管理单元对将数据源资产数据库中持久化算法产生的消息队列数据进行持久化，并通过分布式MinIO(对象存储服务)存储于elasticsearch(全文检索引擎)的资产化数据库中。用户可通过对所述资产化数据库中的分析结果进行资产化检索。
步骤S130，基于所述目标视频分析模型输出的分析结果完成应用管理功能的所述应用规则任务。
上述步骤S130包括：基于应用规则任务中应用管理功能所需的视频分析结果数据的整合分析规则，对各个视频分析模型输出的分析结构进行整合分析，从而实现对应的应用管理功能。
上述多模型联动的视频数据分析方法的执行过程如图15所示，在执行所述根据预获取的应用管理功能的需求数据构建该应用管理功能的应用规则任务之前，还包括：根据接收到的客户端的请求数据生成标记令牌(token)，并反馈至对应的客户端；再接入携带所述标记令牌的视频数据，根据所述视频数据确定与获取的应用管理功能的需求数据。
本申请的一个或多个实施例中，由视频数据分析系统执行上述多模型联动的视频数据分析方法，所述视频数据分析系统包括视频任务部件、任务调度单元和视频分析算法单元。与图15相对应的，第三方用户的客户端通过视频平台网关与所述视频数据分析系统相互联通，所述视频平台网关根据第三方用户的客户端发送的请求数据，生成对应的标记令牌(token)，并反馈至对应的第三方用户的客户端，以使得所述客户端将携带token的视频数据输入至所述视频平台网关，且所述视频平台网关将接收到的视频数据转发至所述视频数据分析系统。在所述视频数据分析系统中，所述视频任务组件用于执行上述步骤S110，根据所述视频数据确定与获取的应用管理功能的需求数据，进而构建对应的应用规则任务；所述任务调度单元用于执行上述步骤S120，根据实际的应用规则任务调用所述视频分析算法单元中的视频分析模型执行相关的视频分析，以得到所述视频数据对应的分析结果，并将得到的所述分析结果反馈至所述视频任务组件中；所述视频任务组件还用于执行上述步骤S130，根据所述应用规则任务中的对于各分析结果的整合分析规则对接收到的所述分析结果进行整合分析，从而完成所述任务规则任务，得到所述视频数据对应的应用管理功能的任务执行结果。所述视频数据分析系统还通过所述视频平添网关将各个第三方用户的应用管理功能对应的任务执行结果反馈至对应的第三方用户的客户端，以实现该第三方用户的客户端的应用管理功能。
本申请所述的多模型联动的视频数据分析方法，针对各应用管理功能可自行设定各自的应用规则任务，自由调用相关的视频分析模型对视频数据进行视频分析，还可根据实际应用自由调整多种视频分析结果之间的整合分析规则，从而实现应用管理功能的定制化视频数据分析，从而在保证视频数据分析能力的基础上，提升视频数据分析的应用效率。本申请从整体上实现了视频分析算法和应用的简单易用性，可以在平台上按照应用管理功能针对性的创建各自对应的应用规则任务，并根据各个视频分析模型的属性及能力实现所示应用规则任务中视频分析模型的自主添加、修改及删除，并且可以在内部共享算法和应用，通过API调用算法，实现多应用规则任务的联动共享，压缩开发成本，减少重复开发工作量，提高算法应用效率。
本发明还提供了一种多模型联动的视频数据分析系统，包括：视频分析模型存储模块、数据库模块和视频分析任务执行模块；其中，所述视频分析模型存储模块用于存储多种视频分析模型；数据库模块，用于存储多种资产数据库；视频分析任务执行模块，根据预获取的应用管理功能的需求数据构建该应用管理功能的应用规则任务；根据所述应用规则任务，从本地模型数据库中存储的多个视频分析模型中调用对应的目标视频分析模型，并利用所述目标视频分析模型对所述应用管理功能对应的视频数据进行分析，以使得所述目标视频分析模型输出所述视频数据对应的分析结果；基于所述目标视频分析模型输出的分析结果完成应用管理功能的所述应用规则任务。所述视频分析任务执行模块与所述视频分析模型存储模块通过API接口相接，实现视频分析模型的调用。
其中，所述视频分析模型包括人脸识别模型、视频结构化模型、行为识别模型和人流量统计模型等多种视频分析模型；所述资产数据库包括：本地模型数据库、资产化任务管理数据库、视图数据库、资产化数据库、视频流资产数据库和资产规则数据库等
上述多模型联动的视频数据分析系统在具体实施例中可以执行上述多模型联动的视频数据分析方法中的处理过程，在此不再赘述，可以参照上述多模型联动的视频数据分析方法中的详细描述。
上述多模型联动的视频数据分析系统中的视频分析服务架构如图16所示，包括算法层、数据层和应用服务层；所述视频分析模型存储模块和所述数据库模块运行于所述数据层中，所述数据层用于存储多种资产数据库和多种视频分析模型；视频分析任务执行模块运行于所述应用服务层和所述算法层，所述应用服务层用于执行上述多模型联动的视频数据分析方法中步骤S110中的处理过程，在此不再赘述，可以参照上述多模型联动的视频数据分析方法中步骤S110的详细描述；所述算法层用于执行上述多模型联动的视频数据分析方法中步骤S120-S130中的处理过程，在此不再赘述，可以参照上述多模型联动的视频数据分析方法中步骤S120-S130中的详细描述。图16中的感知层包括外置的前端视频流摄像机或国标视频平台，网络层为通过RTSP协议或者GB/T28181协议实现感知层和数据层之间的通信连接，算法层和数据层之间通过API接口进行联通。
本申请的一个或多个实施例中，所述多模型联动的视频数据分析系统中还包括可视化监控界面，通过所述可视化监控界面显示外置设备的统计信息、应用规则任务的统计信息、资源告警统计信息、告警趋势图和实时告警信息。其中，外置设备的统计信息包括作为视频源的摄像机信息、国标视频平台信息和外置服务器信息等；应用规则任务的统计信息包括任务总数、正在运行的任务数和异常任务数等；资源告警统计信息包括告警总数、未/已处理告警数和已关闭告警数等；告警趋势图包括告警数量随时间的变化趋势。
本发明的另一方面提供了一种电子设备，包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该电子设备实现上述人流量监测方法或上述多模型联动的视频数据分析方法。
本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述人流量监测方法或上述多模型联动的视频数据分析方法。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人流量监测方法，其特征在于，包括：
在预设时段内，根据目标人员与目标区域的预设边界之间的位置关系，确定所述目标人员的位置信息；
通过统计所述目标人员的位置信息，确定在预设时段内所述目标区域的人流量。
2.根据权利要求1所述的人流量监测方法，其特征在于，所述通过统计所述目标人员的位置信息，确定所述目标区域的人流量，包括：
通过统计单视频画面中位于所述目标区域内的所述目标人员的数量，确定所述目标区域中的瞬时人流量；
通过统计连续帧视频画面中所述目标人员的位置信息的动态记录，确定所述目标区域中的动态人流量。
3.一种多模型联动的视频数据分析方法，其特征在于，包括：
根据预获取的应用管理功能的需求数据构建该应用管理功能的应用规则任务；
根据所述应用规则任务，从本地模型数据库中存储的多个视频分析模型中调用对应的目标视频分析模型，并利用所述目标视频分析模型对所述应用管理功能对应的视频数据进行分析，以使得所述目标视频分析模型输出所述视频数据对应的分析结果；所述本地模型数据库中存储的视频分析模型包括执行权利要求1所述人流量分析方法的人流量统计模型；
基于所述目标视频分析模型输出的分析结果完成应用管理功能的所述应用规则任务。
4.根据权利要求3所述的多模型联动的视频数据分析方法，其特征在于，所述根据所述应用规则任务，从本地模型数据库中存储的多个视频分析模型中调用对应的目标视频分析模型，包括：
所述根据用户的所述模型调用任务，通过API接口从本地模型数据库中存储的多个视频分析模型中调用对应的目标视频分析模型。
5.根据权利要求3所述的多模型联动的视频数据分析方法，其特征在于，所述本地模型数据库中存储的视频分析模型还包括视频结构化分析模型；
对应的，所述利用所述目标视频分析模型对所述应用管理功能对应的视频数据进行分析，以使得所述目标视频分析模型输出所述视频数据对应的分析结果，包括：
根据所述视频数据中的分析目标的类别，确定所述分析目标的结构化属性；
根据所述分析目标的结构化属性，从所述视频数据中调用所述分析目标的结构化信息。
6.根据权利要求3所述的多模型联动的视频数据分析方法，其特征在于，所述本地模型数据库中存储的视频分析模型还包括行为识别模型；
对应的，所述利用所述目标视频分析模型对所述应用管理功能对应的视频数据进行分析，以使得所述目标视频分析模型输出所述视频数据对应的分析结果，包括：
根据所述视频数据中的连续帧视频画面，确定所述视频数据中的分析目标的行为类型。
7.一种多模型联动的视频数据分析系统，其特征在于，包括：
视频分析模型存储模块，用于存储多种视频分析模型，所述视频分析模型包括执行权利要求1所述人流量分析方法的人流量监测模型；
数据库模块，用于存储多种视频分析结果数据库；
视频分析任务执行模块，根据预获取的应用管理功能的需求数据构建该应用管理功能的应用规则任务；根据所述应用规则任务，从本地模型数据库中存储的多个视频分析模型中调用对应的目标视频分析模型，并利用所述目标视频分析模型对所述应用管理功能对应的视频数据进行分析，以使得所述目标视频分析模型输出所述视频数据对应的分析结果；基于所述目标视频分析模型输出的分析结果完成应用管理功能的所述应用规则任务。
8.根据权利要求7所述的多模型联动的视频数据分析系统，其特征在于，所述视频分析任务执行模块与所述视频分析模型存储模块通过API接口相接。
9.一种电子设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该电子设备实现如权利要求1至2中任一项所述的人流量监测方法或权利要求3至6中任一项所述多模型联动的视频数据分析方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至2中任一项所述的人流量监测方法或权利要求3至6中任一项所述多模型联动的视频数据分析方法。
CN202311265130.3A 2023-09-27 2023-09-27 人流量监测方法和多模型联动的视频数据分析方法和系统 Pending CN117541953A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311265130.3A CN117541953A (zh) 2023-09-27 2023-09-27 人流量监测方法和多模型联动的视频数据分析方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311265130.3A CN117541953A (zh) 2023-09-27 2023-09-27 人流量监测方法和多模型联动的视频数据分析方法和系统

Publications (1)

Publication Number Publication Date
CN117541953A true CN117541953A (zh) 2024-02-09

Family

ID=89782997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311265130.3A Pending CN117541953A (zh) 2023-09-27 2023-09-27 人流量监测方法和多模型联动的视频数据分析方法和系统

Country Status (1)

Country Link
CN (1) CN117541953A (zh)

Similar Documents

Publication Publication Date Title
US11004209B2 (en) Methods and systems for applying complex object detection in a video analytics system
US10346688B2 (en) Congestion-state-monitoring system
US20190304102A1 (en) Memory efficient blob based object classification in video analytics
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
US10009579B2 (en) Method and system for counting people using depth sensor
US10366595B2 (en) Surveillance method and system based on human behavior recognition
CN108229297B (zh) 人脸识别方法和装置、电子设备、计算机存储介质
US20220092881A1 (en) Method and apparatus for behavior analysis, electronic apparatus, storage medium, and computer program
CN110428522A (zh) 一种智慧新城的智能安防系统
US20190258866A1 (en) Human presence detection in edge devices
US11288954B2 (en) Tracking and alerting traffic management system using IoT for smart city
KR102333143B1 (ko) 무인 계수 서비스 제공 시스템
CN115841651B (zh) 基于计算机视觉与深度学习的施工人员智能监测系统
CN113223046A (zh) 一种监狱人员行为识别的方法和系统
CN111581436B (zh) 目标识别方法、装置、计算机设备和存储介质
GB2574431A (en) Systems and method for automated boxing data collection and analytics platform
Yanakova et al. Facial recognition technology on ELcore semantic processors for smart cameras
CN117541953A (zh) 人流量监测方法和多模型联动的视频数据分析方法和系统
WO2023279716A1 (zh) 设备联动方法、装置、设备、存储介质、程序产品及计算机程序
Shuoyan et al. Abnormal behavior detection based on the motion-changed rules
CN114898140A (zh) 一种基于paa算法的行为检测方法、装置及可读介质
Itano et al. Evaluation of the effectiveness of a crowdsourcing-based crime detection system
CN113128414A (zh) 人员跟踪方法、装置、计算机可读存储介质及电子设备
Ding et al. An Intelligent System for Detecting Abnormal Behavior in Students Based on the Human Skeleton and Deep Learning
CN111291597A (zh) 一种基于图像的人群态势分析方法、装置、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination