CN105844234A - 一种基于头肩检测的人数统计的方法及设备 - Google Patents

一种基于头肩检测的人数统计的方法及设备 Download PDF

Info

Publication number
CN105844234A
CN105844234A CN201610162454.8A CN201610162454A CN105844234A CN 105844234 A CN105844234 A CN 105844234A CN 201610162454 A CN201610162454 A CN 201610162454A CN 105844234 A CN105844234 A CN 105844234A
Authority
CN
China
Prior art keywords
head
shoulder
frame
demographics
hot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610162454.8A
Other languages
English (en)
Other versions
CN105844234B (zh
Inventor
卢宇
许金涛
许晨雪
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime Group Ltd
Original Assignee
Sensetime Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime Group Ltd filed Critical Sensetime Group Ltd
Priority to CN201610162454.8A priority Critical patent/CN105844234B/zh
Publication of CN105844234A publication Critical patent/CN105844234A/zh
Application granted granted Critical
Publication of CN105844234B publication Critical patent/CN105844234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Abstract

本发明公开了一种基于头肩检测的人数统计的方法及设备，包括步骤S1：在监控视频中设置热区和基线；步骤S2：对所述监控视频的图像帧中的热区进行头肩检测；步骤S3：根据所述头肩检测的结果判断是否存在头肩；如果存在，则执行步骤S4；步骤S4：设定头肩框并保持或更新跟踪列表，继续执行步骤S6；步骤S6：对所述跟踪列表中的每一个头肩框进行跟踪，得到一组跟踪框；步骤S7：判断当前帧中被跟踪的头肩框是否满足人数统计触发条件；步骤S8：启动计数器，根据所述被跟踪的头肩框进行人数统计。本发明还公开了一种基于头肩检测的人数统计的设备，本发明的人数统计方法，具有应用领域广、检测率高、误检率低、跟踪性能高等优点。

Description

一种基于头肩检测的人数统计的方法及设备
技术领域
本发明涉及计算机视觉和图像处理领域，具体涉及一种基于头肩检测的人数统计的方法及设备。
背景技术
人数统计系统能够统计一段时间内通过监控区域的人数，实现多方向人数统计、并提供人群流动等信息。根据不同的应用需要，用户可以指定监测一个或多个出入口，也可以指定统计单一方向或双向的人群流动。人数统计系统可广泛应用于公交车辆、长途车辆及大型商场、购物中心、展馆、海关、博物馆和展览馆等场所，并为这些公共场所的管理和决策方面提供不可缺少的数据。对于零售业而言，人流量更是一项非常基础的指标。
传统的人数统计系统是利用人工计数或者借助人工电子设备触发计数器实现。如发明专利CN103235932A公开了一种出入口人数统计方法和装置，该发明公开的人数统计装置利用在出入口设置鞋印采集板，通过采集板采集的鞋印来统计进出人数。传统的人工计数方法消耗人工量大，且在人流量较大时不能及时准确地统计当前时刻的人数。而如发明专利CN103235932A等借助人工电子设备的计数方法存在准确度不高，设备容易磨损，维护成本高，且在某些场所不易或无法安装等问题。
随着计算机视觉和图像处理技术的快速发展，基于视频或图像的智能化人数统计技术逐渐取代了传统的人数统计系统。基于视频或图像的智能化人数统计技术可以在无需人工干预或少量人工干预的情况下，对摄像头拍摄的视频序列或者获取的视频帧图像进行行人检测和跟踪等智能分析，并在分析结果上进行精确的人数统计。基于视频或图像的智能化人数统计技术不仅具有很高的科学研究价值和实际应用价值，还具有易安装、应用范围广、使用周期长和成本低等优点。
目前的基于视频或图像的智能化人数统计方法主要以视频或图像检测为主，采用背景建模和特征库匹配的方法，或者前景分割的方法，或者利用人脸和人头分类器进行人脸和人头检测，进而进行人数统计。例如，发明专利CN102867177A公开了一种基于图像灰度匹配的人数统计方法，该方法主要通过对获取的视频流图像进行二值化处理，从而提取运动目标区域，利用图像的灰度信息作为模板信息，进行搜索和匹配，从而实现人数统计。此外，基于人脸和人头检测的人数统计方法在人背对摄像头时不能使用。
另外，目前现有技术中的人数统计方法都只能提供对当前视频下的人数统计，不能进一步分析当前行人的性别和年龄等有用属性。
发明内容
为了解决上述现有技术中人数统计系统存在准确率不高和复杂背景不可用的技术问题，本发明提出了一种基于头肩检测的人数统计的方法，该方法包括如下步骤：步骤S1：在监控视频中设置用于头肩检测的热区和用于人数统计的基线；步骤S2：对所述监控视频的图像帧中的热区进行头肩检测；步骤S3：根据所述头肩检测的结果判断是否存在头肩；如果存在，则执行步骤S4；步骤S4：设定头肩框并保持或更新跟踪列表，所述跟踪列表用于存放需要跟踪的头肩框，继续执行步骤S6；步骤S6：对所述跟踪列表中的每一个头肩框进行跟踪，得到一组跟踪框；步骤S7：判断当前帧中被跟踪的头肩框是否满足人数统计触发条件；如果满足人数统计触发条件，则执行步骤S8；如果不满足人数统计触发条件，则返回执行步骤S2，对下一帧进行检测；步骤S8：启动计数器，根据所述被跟踪的头肩框进行人数统计。
进一步地，步骤S3中，如果判断不存在头肩，则执行步骤S5；步骤S5：判断当前跟踪列表是否为空；如果为空，则返回执行步骤S2，对下一帧进行检测；如果不为空，则执行步骤S6。
进一步地，热区设置原则为：所述热区在宽度以及高度上覆盖行人在所述监控视频所监控的进出区域；基线的设置原则为：用于人数统计的基线水平地设置在热区内，用于进口人数统计的基线设置在热区下边界的上方，距离下边界的距离为热区高度的十分之一，用于出口人数统计的基线设置在热区上边界的下方，距离上边界的距离为热区高度的十分之一。
进一步地，步骤S2：对所述监控视频的图像帧中的热区进行头肩检测，具体为：利用更快速区域卷积神经网络算法依次对所采集的监控视频的图像帧中的热区进行头肩检测。
进一步地，所述步骤S4进一步包括：步骤S41：对热区中可能存在的目标区域进行提取；步骤S42：对提取的可能存在的目标区域进行二分类，获得每一个可能存在的目标区域的头肩概率值，所述二分类为头肩或者非头肩；步骤S43：判断获得的头肩概率值是否大于设定的阈值；如果大于设定的阈值，则执行步骤S44；步骤S44：如果大于设定的阈值，则将该头肩概率值对应的目标区域设定为头肩框；步骤S45：依次比较图像帧中所有检测到的头肩框与上一帧所有检测到的头肩框的重叠率，根据重叠率判断是否更新跟踪列表。
进一步地，所述步骤S4进一步包括：根据更新策略更新跟踪列表中的头肩框；所述更新策略为：当每隔3帧检测到头肩时，用检测到的头肩框代替当前跟踪列表中的头肩框；如果没有检测到当前跟踪列表中头肩框，则继续使用跟踪列表中的头肩框，直到下一次更新时刻。
进一步地，在步骤S43中，如果判断获得的头肩概率值不大于设定的阈值，则执行步骤S46；步骤S46：如果头肩概率值不大于设定的阈值，则不存在头肩框，此时，保持跟踪列表不变。
进一步地，步骤S41：对热区中可能存在的目标区域进行提取，具体为：利用训练好的区域建议网络RPN(Region Proposal Network)对热区中可能存在的目标区域进行提取。
进一步地，步骤S45中，如果重叠率大于0.5，则认为这两个检测到的头肩框来自同一个目标，不对该目标进行跟踪，不需要对该跟踪列表进行更新；如果重叠率不大于0.5，则将该帧中检测到的头肩框加入跟踪列表中，即对跟踪列表进行更新；所述重叠率的计算方式为：两个头肩框的交集除以它们的并集。
进一步地，步骤S6：所述对跟踪列表中的每一个头肩框进行跟踪，得到一组跟踪框，具体为：对跟踪列表中的每一个头肩框，利用基于时空上下文跟踪算法进行跟踪，得到一组跟踪框。
进一步地，步骤S7中，人数统计触发条件为：面积比大于设定的阈值，所述面积比为跟踪框在基线外的面积与所述跟踪框的面积的比值。
进一步地，所述方法还包括，步骤S9：对所述进行人数统计的头肩框进行属性分析。
进一步地，步骤S9：对所述进行人数统计的头肩框进行属性分析，具体为：提取所述进行人数统计的头肩框的头肩框序列，找出头肩框序列中有人脸部分的头肩框，计算所有有人脸的头肩框的图片质量，取质量最高的前三幅头肩框图像，检测头肩框图像中的人脸，并对检测出人脸进行属性分析，综合三幅图像的属性分析结果给出最终的属性分析结果。
本发明还提供了一种基于头肩检测的人数统计的设备，该设备包括：设置单元：在监控视频中设置用于头肩检测的热区和用于人数统计的基线；检测单元：对所述监控视频的图像帧中的热区进行头肩检测；第一判断单元：用于根据所述头肩检测的结果判断是否存在头肩；第一设定单元：用于如果第一判断单元判断存在头肩，则设定头肩框并保持或更新跟踪列表，所述跟踪列表用于存放需要跟踪的头肩框；跟踪单元：用于对所述跟踪列表中的每一个头肩框进行跟踪，得到一组跟踪框；第三判断单元：用于判断当前帧中被跟踪的头肩框是否满足人数统计触发条件，如果不满足人数统计触发条件，则由检测单元对下一帧进行检测；统计单元：用于当第四判断单元判断当前帧中被跟踪的头肩框满足人数统计触发条件时，启动计数器，根据所述被跟踪的头肩框进行人数统计。
进一步地，所述设备还包括第二判断单元：用于判断当前跟踪列表是否为空。如果为空，则由检测单元对下一帧进行检测。
进一步地，热区设置原则为：所述热区在宽度以及高度上覆盖行人在所述监控视频所监控的进出区域；基线的设置原则为：用于人数统计的基线水平地设置在热区内，用于进口人数统计的基线设置在热区下边界的上方，距离下边界的距离为热区高度的十分之一，用于出口人数统计的基线设置在热区上边界的下方，距离上边界的距离为热区高度的十分之一。
进一步地，所述检测单元对视频的每一帧图像中的热区进行头肩检测，具体为：利用更快速区域卷积神经网络算法依次对所采集的视频的每一帧图像中的热区进行头肩检测。
进一步地，所述第一设定单元包括：提取单元：用于对热区中可能存在的目标区域进行提取；分类单元：用于对提取的可能存在的目标区域进行二分类，获得每一个可能存在的目标区域的头肩概率值；第四判断单元：用于判断获得的头肩概率值是否大于设定的阈值；第二设定单元：如果第四判断单元判断获得的头肩概率值大于设定的阈值，则将该头肩概率值对应的目标区域设定为头肩框；比较单元：用于依次比较帧中所有检测到的头肩框与上一帧所有检测到的头肩框的重叠率，根据重叠率判断是否更新跟踪列表。
进一步地，所述第一设定单元进一步用于：根据更新策略更新跟踪列表中的头肩框；所述更新策略为：当每隔3帧检测到头肩时，用检测到的头肩框代替当前跟踪列表中的头肩框；如果没有检测到当前跟踪列表中头肩框，则继续使用跟踪列表中的头肩框，直到下一次更新时刻。
进一步地，所述第一设定单元还包括保持单元：如果第二判断单元判断头肩概率值不大于设定的阈值，则不存在头肩框，保持跟踪列表不变。
进一步地，所述提取单元对热区中可能存在的目标区域进行提取，具体为：利用训练好的区域建议网络RPN(Region Proposal Network)对热区中可能存在的目标区域进行提取。
进一步地，如果重叠率大于0.5，则认为这两个检测到的头肩框来自同一个目标，不对该目标进行跟踪，不需要对该跟踪列表进行更新；如果重叠率不大于0.5，则将该帧中检测到的头肩框加入跟踪列表中，即对跟踪列表进行更新；所述重叠率的计算方式为：两个头肩框的交集除以它们的并集。
进一步地，所述跟踪单元对跟踪列表中的每一个头肩框进行跟踪，得到一组跟踪框，具体为：对跟踪列表中的每一个头肩框，利用基于时空上下文跟踪算法进行跟踪，得到一组跟踪框。
进一步地，人数统计触发条件为：面积比大于设定的阈值，所述面积比为跟踪框在基线外的面积与所述跟踪框的面积的比值。
进一步地，所述设备还包括分析单元，用于对所述进行人数统计的头肩框进行属性分析。
进一步地，所述分析单元对所述进行人数统计的头肩框进行属性分析，具体为：提取所述进行人数统计的头肩框的头肩框序列，找出头肩框序列中有人脸部分的头肩框，计算所有有人脸的头肩框的图片质量，取质量最高的前三幅头肩框图像，检测头肩框图像中的人脸，并对检测出人脸进行属性分析，综合三幅图像的属性分析结果给出最终的属性分析结果。
和现有技术相比，本发明的基于头肩检测的人数统计的方法及设备，具有应用领域广、检测率高、误检率低、跟踪性能高、安装和维护容易、使用周期长和使用GPU时可实时实现多路视频的人数统计等优点。
附图说明
图1为本发明的一种基于头肩检测的人数统计的方法流程图；
图2A为本发明的单门场景下热区和人数统计基线设置的示意图；
图2B为本发明的双门场景下热区和人数统计基线设置的示意图；
图3为本发明的步骤S4的一个具体实施例；
图4为本发明的单门场景下的判断是否触发人数统计的示意图；
图5为本发明的一种基于头肩检测的人数统计的设备示意图；
图6为本发明的第一设定单元的一种实施例的结构示意图。
具体实施方式
现结合附图对本发明作进一步详细说明。
图1为本发明的一种基于头肩检测的人数统计的方法流程图。如图1所示，该方法包括如下步骤：
步骤S1：在监控视频中设置用于头肩检测的热区和用于人数统计的基线。
热区和基线的设置方法可以通过图像处理技术中常见的方式自动设置，例如通过检测关键物体，如门，或电梯，或者人体，从而以检测到的物体自动设定一个包含该物体的区域作为热区并在热区内，距离上下边界一定位置上水平地设置基线，或者以其他技术实现。
此外，为了更好地将本发明的基于头肩检测的人数统计方法应用于不同的场景并取得精准的人数统计结果，热区和基线的设置也可由人工完成，通过先找出视频场景中供人数统计的门，然后在门的区域范围内按照上述设置原则人工设置热区和基线。
热区设置原则为：所述热区在宽度以及高度上覆盖行人在所述监控视频所监控的进出区域。
基线的设置原则为：用于人数统计的基线水平地设置在热区内，用于进口人数统计的基线设置在热区下边界的上方，距离下边界的距离为热区高度的十分之一，用于出口人数统计的基线设置在热区上边界的下方，距离上边界的距离为热区高度的十分之一。
下面结合图2A、2B对“单门”和“双门”场景下热区和基线设置做进一步说明。需要说明的是，“单门”指仅有一扇门供行人进出，进出口人数的统计同时在“单门”环境下进行；“双门”指两扇门中一扇门供进，一扇门供出，进出口人数的统计分别在“双门”环境下进行。当然，此处“单门”和“双门”中的门，既包括实体的门，也包括可以产生进入和离开方式的开放式空间，如直升式电梯，扶梯，等其他一切可以用于统计进出口人数的空间。图2A、2B分别示意了“单门”和“双门”环境下，检测进出口人数的热区和用于人数统计的基线的设置方法。
图2A是单门场景下热区和基线设置的示意图。如图2A所示，只有一扇门供行人进出，因此，在该场景下，进出口人数的统计都在该一个门下进行。图2A中的黑色粗实线框为用于头肩检测的热区，进出口人数的统计都在该热区中进行。为了尽可能提供更多的有效区域供头肩检测，热区的设置在宽度上应尽大范围的覆盖行人可能的进出宽度，如大于门的宽度，高度上尽大范围的覆盖行人能达到的位置，如行人头部可能达到的最高位置。图2A中上方黑色虚线A为用于统计出店人数的基线，下方黑色虚线B为用于统计进店人数的基线。
图2B是双门场景下热区和基线的设置示意图。如图2B所示，有两侧分别用于行人进出的门，因此，在该场景下，进出口人数的统计分别在两侧进行。图2B中的右侧黑色粗实线框和左侧黑色粗实线框都属于用于头肩检测的热区，进店人数和出店人数的统计则分别在右侧热区和左侧热区中进行。该热区的设置在宽度上尽大范围的覆盖行人能达到的位置，如用于进店人数统计的右侧热区宽度上大于右侧扶梯的宽度，用于出店人数统计的左侧热区宽度上大于左侧扶梯的宽度，在高度上尽大范围的覆盖行人能达到的位置，如用于进店人数统计的右侧热区在高度上以行人头部可能达到的最高位置，用于出店人数统计的左侧热区在高度上以行人头部可能达到的最高位置。每个热区对应一条用于人数统计的基线。如图2B所示的右侧黑色虚线B为用于统计进店人数的基线，而左侧黑色虚线A为用于统计出店人数的基线。
步骤S2：对所述监控视频的图像帧中的热区进行头肩检测。在本发明的一个实施例中，利用更快速区域卷积神经网络算法(Faster R-CNN，Faster Region with ConvolutionalNeural Network)依次对所采集的视频的每一帧图像中的热区进行头肩检测。此处采用Faster R-CNN只是示例而已，本发明并不局限于此。在实际中，头肩检测还可以采用梯度直方图(HOG)+支持向量机(SVM)、R-CNN、基于空间金字塔池化SPP的深度卷积网络(SpatialPyramid Pooling)等方法进行。
在该步骤中，无需分割出图像中的前景区域，在步骤S1设置完用于头肩检测的热区和用于人数统计的基线后，依次针对所采集到的监控视频中的每一帧图像，利用训练好的Faster R-CNN模型对步骤S1设置的热区进行头肩检测。
步骤S3：根据所述头肩检测的结果判断是否存在头肩。如果存在，则执行步骤S4，如果不存在，则执行步骤S5。
步骤S4：如果存在，则设定头肩框并保持或更新跟踪列表，所述跟踪列表用于存放需要跟踪的头肩框，继续执行步骤S6。
初始时跟踪列表为空，当检测到有头肩框时，则将检测到的头肩框加入到跟踪列表中。
在本发明的一个实施例中，如图3所示，步骤S4进一步包括：
步骤S41：对热区中可能存在的目标区域进行提取。
在本发明的一个实施例中，利用训练好的区域建议网络RPN(Region Proposal Network)对热区中可能存在的目标区域进行提取。
目标区域是指利用训练好的区域建议网络RPN，在热区范围内的图像中生成的N个目标框，这些目标框内的图像具有较高的概率能表示成一个目标物体。区域建议网络RPN的建立和训练方法可通过更快速区域卷积神经网络算法中使用的区域建议网络的建立和训练方法实现。本发明采用训练好的区域建议网络RPN只是示例而已，本发明并不局限于此。
步骤S42：对提取的可能存在的目标区域进行二分类，获得每一个可能存在的目标区域的头肩概率值。
所述二分类为头肩或者非头肩。
在本发明的一个实施例中，利用训练好的快速区域卷积神经网络Fast R-CNN对提取的可能存在的目标区域进行二分类，并获得每一个可能存在的目标区域的头肩概率值。头肩概率值是通过Fast R-CNN(快速区域卷积神经网络，不同于前述Faster R-CNN)获得的。Faster R-CNN由RPN和Fast R-CNN组成，RPN生成可能的目标区域，Fast R-CNN对可能的目标区域提取深度特征，给出它们属于头肩的概率值。此处采用快速区域卷积神经网络Fast R-CNN只是示例而已，本发明并不局限于此。
步骤S43，判断获得的头肩概率值是否大于设定的阈值；如果大于设定的阈值，则执行步骤S44；如果不大于设定的阈值，则执行步骤S46。
需要说明的是，热区中可能同时被检测到多个头肩框，需要对检测到的所有头肩框进行步骤S43。
步骤S44，如果大于设定的阈值，则将该头肩概率值对应的目标区域设定为头肩框。
一般而言，二分类得到的头肩概率值越大，表明其对应的可能目标区域包含头肩信息的概率就越大。优选地，设定的阈值为0.97，即所有头肩概率值大于0.97对应的目标区域都被认定为包含头肩信息，将该目标区域都设定为头肩框。
步骤S45：依次比较帧中所有检测到的头肩框与上一帧所有检测到的头肩框的重叠率，根据重叠率判断是否更新跟踪列表。
如果重叠率大于0.5，则认为这两个检测到的头肩框来自同一个目标，不对该目标进行跟踪，不需要对该跟踪列表进行更新。如果重叠率不大于0.5，则将该帧中检测到的头肩框加入跟踪列表中，即对跟踪列表进行更新。
重叠率的计算方式为：两个头肩框的交集除以它们的并集。
步骤S46：如果头肩概率值不大于设定的阈值，则不存在头肩框，此时，保持跟踪列表不变。
具体地，如果头肩概率值不大于设定的阈值，则没有目标区域包含头肩信息，则不存在头肩框，此时，保持跟踪列表不变。
步骤S5：判断当前跟踪列表是否为空。如果为空，则返回执行步骤S2，对下一帧进行检测；如果不为空，则执行步骤S6。
步骤S6：对所述跟踪列表中的每一个头肩框进行跟踪，得到一组跟踪框。
在本发明的一个实施例中，对跟踪列表中的每一个头肩框，利用基于时空上下文跟踪算法(STC，Spatial-Temporal Context)进行跟踪，得到一组跟踪框。此处采用时空上下文跟踪算法进行跟踪仅仅是示例而已，本发明并不局限于此。图2A中显示的黑色双虚线框(包含行人的头部和肩部信息)为前述步骤检测到的、并满足步骤S4被加入到跟踪列表的头肩框。STC跟踪算法在当前帧图像上进行，而非热区上进行。
本发明的基于头肩检测的人数统计方法利用了更快速区域卷积神经网络算法(FasterR-CNN，Faster Region with Convolutional Neural Network)直接对热区进行准确地头肩检测。此外，本发明还利用了基于时空上下文的跟踪算法(Spatial-Temporal Context)。更快速区域卷积神经网络算法(Faster Region with Convolutional Neural Network)和基于时空上下文跟踪算法(Spatial-Temporal Context)以及跟踪算法中的更新策略的组合对遮挡情况都具有很好的鲁棒性，对应用场景要求低。
优选地，考虑到有些视频经过压缩后图像质量较差，丢帧严重，以及运动背景等造成STC算法跟丢头肩框的情况，根据更新策略更新跟踪列表中的头肩框。更新策略为：当每隔3帧检测到头肩时，用检测到的头肩框代替当前跟踪列表中的头肩框；如果没有检测到当前跟踪列表中头肩框，则继续使用跟踪列表中的头肩框，直到下一次更新时刻。
优选地，为防止头肩被跟丢，而对非头肩区域继续跟踪，进而可能触发人数统计条件，影响人数统计的精度，本发明还可以设置停止头肩跟踪的条件。具体为，对每一帧的头肩跟踪框，计算当前跟踪框和该跟踪框上一帧的方向梯度直方图(HOG，Histogram ofOriented Gradients)的特征相似度，当特征相似度大于0.7时，该头肩继续被跟踪。反之，则该头肩框被停止跟踪。
计算当前跟踪框与它对应上一帧框的方向梯度直方图的特征相似度为：
特征相似度＝sHOG(HSt-1，HSt)，其中，HSt-1和HSt分别为当前头肩在上一帧和当前帧中的头肩图像。sHOG表示图像对应的HOG特征相似度。相似度越高，则为同一头肩的概率就越大。
步骤S7：判断当前帧中被跟踪的头肩框是否满足人数统计触发条件。如果满足人数统计触发条件，则执行步骤S8；如果不满足人数统计触发条件，则返回执行步骤S2，对下一帧进行检测。
现在以单门场景下判断人数统计触发为例。如图4所示，浅色区域P1为视频某一帧图像，深色区域P2为设定的用于头肩检测的热区，基线A和B被分别设置用于判断是否满足出店和进店人数统计的触发条件。以判断是否满足出店人数统计触发条件为例，跟踪框HSt-1、HSt和HSt+1分别为t-1、t和t+1时刻的跟踪框。Area-out和Area-in分别为跟踪框在基线外和基线内的面积。在本发明的一个实施例中，人数统计触发条件为面积比Ratio大于设定的阈值，所述面积比Ratio为跟踪框在基线外的面积与所述跟踪框的面积(即：基线内的面积+基线外的面积)的比值。用公示表示为：Ratio＝Area-out/(Area-in+Area-out)。具体的，在实际应用中，行人的运动方向为由基线外的一侧走向基线内的一侧；因此，基线外指的是行人来向一侧所在的区域，基线内指的是行人去向一侧的所在区域。
以面积比Ratio的值来判断是否触发人数统计。当跟踪框触及基线A时，开始计算当前跟踪框在基线A外和基线A内的面积比Ratio。同理，在判断是否满足进店人数统计触发条件时，当跟踪框触及基线B时，就开始计算跟踪框在基线B外和基线B内的面积比Ratio。
双门场景下的判断方式同上。
优选地，本发明人数统计的触发条件为Ratio值大于0.6。此处仅仅是用面积比Ratio示例而已，本发明并不局限于此。
步骤S8：启动计数器，根据所述被跟踪的头肩框进行人数统计。
如图4所示，依次计算跟踪框HSt-1、HSt和HSt+1三个时刻的Ratio值，如果某个时刻，例如t+1时刻，跟踪框HSt+1的Ratio值大于预设值，如0.6，则满足人数统计的触发条件，启动当前计数器加1，并停止跟踪当前头肩框。
实际中，如果有n个头肩框满足触发条件，则计数器加n。然后将这n个被跟踪头肩框清除出跟踪列表。计数的一个原则是：被计数后的被跟踪头肩框要从跟踪列表中删除。
步骤S9：对所述进行人数统计的头肩框进行属性分析。
具体地，提取所述进行人数统计的头肩框的头肩框序列，找出头肩框序列中有人脸部分的头肩框，计算所有有人脸的头肩框的图片质量。取质量最高的前三幅头肩框图像，检测头肩框图像中的人脸，并对检测出人脸进行性别，年龄等属性分析，综合三幅图像的属性分析结果给出最终的属性分析结果。
步骤S9能够提取行人性别、年龄等属性值，并利用上述属性值进行精准分类，为商店等场所提供更加详细的数据。
本发明还提供了一种基于头肩检测的人数统计的设备。如图5所示，该设备包括：
设置单元：用于在监控视频中设置用于头肩检测的热区和用于人数统计的基线。
热区和基线的设置方法可以通过图像处理技术中常见的方式自动设置，例如通过检测关键物体，如门，或电梯，或者人体，从而以检测到的物体自动设定一个包含该物体的区域作为热区并在热区内，距离上下边界一定位置上水平地设置基线，或者以其他技术实现。
此外，为了更好地将本发明的基于头肩检测的人数统计方法应用于不同的场景并取得精准的人数统计结果，热区和基线的设置也可由人工完成，通过先找出视频场景中供人数统计的门，然后在门的区域范围内按照上述设置原则人工设置热区和基线。
热区设置原则为：所述热区在宽度以及高度上覆盖行人在所述监控视频所监控的进出区域。
基线的设置原则为：用于人数统计的基线水平地设置在热区内，用于进口人数统计的基线设置在热区下边界的上方，距离下边界的距离为热区高度的十分之一，用于出口人数统计的基线设置在热区上边界的下方，距离上边界的距离为热区高度的十分之一。
检测单元：用于对所述监控视频的图像帧中的热区进行头肩检测。在本发明的一个实施例中，所述检测单元利用更快速区域卷积神经网络算法(Faster R-CNN，Faster Regionwith Convolutional Neural Network)依次对所采集的视频的每一帧图像中的热区进行头肩检测。此处采用Faster R-CNN只是示例而已，本发明并不局限于此。在实际中，头肩检测还可以采用梯度直方图(HOG)+支持向量机(SVM)、R-CNN、基于空间金字塔池化SPP的深度卷积网络(Spatial Pyramid Pooling)等方法进行。
在检测单元中，无需分割出图像中的前景区域，在设置单元设置好用于头肩检测的热区和用于人数统计的基线后，依次针对所采集到的监控视频中的每一帧图像，利用训练好的Faster R-CNN模型对设置单元设置的热区进行头肩检测。
第一判断单元：用于根据所述头肩检测的结果判断是否存在头肩。
第一设定单元：用于如果第一判断单元判断存在头肩，则设定头肩框并保持或更新跟踪列表。
所述跟踪列表用于存放需要跟踪的头肩框。初始时跟踪列表为空，当检测到有头肩框时，则将检测到的头肩框加入到跟踪列表中。
第二判断单元：用于判断当前跟踪列表是否为空。如果为空，则由检测单元对下一帧进行检测。
跟踪单元：用于当第二判断单元判断当前跟踪列表为空时，对所述跟踪列表中的每一个头肩框进行跟踪，得到一组跟踪框。
在本发明的一个实施例中，对跟踪列表中的每一个头肩框，利用基于时空上下文跟踪算法(STC，Spatial-Temporal Context)进行跟踪，得到一组跟踪框。此处采用时空上下文跟踪算法进行跟踪仅仅是示例而已，本发明并不局限于此。
本发明的基于头肩检测的人数统计系统利用了更快速区域卷积神经网络算法(FasterRegion with Convolutional Neural Network)直接对热区进行准确地头肩检测。此外，本发明还利用了基于时空上下文的跟踪算法(Spatial-Temporal Context)。更快速区域卷积神经网络算法(Faster Region with Convolutional Neural Network)和基于时空上下文跟踪算法(Spatial-Temporal Context)以及跟踪算法中的更新策略的组合对遮挡情况都具有很好的鲁棒性，对应用场景要求低。
优选地，考虑到有些视频经过压缩后图像质量较差，丢帧严重，以及运动背景等造成STC算法跟丢头肩框的情况，根据更新策略更新跟踪列表中的头肩框。更新策略为：当每隔3帧检测到头肩时，用检测到的头肩框代替当前跟踪列表中的头肩框；如果没有检测到当前跟踪列表中头肩框，则继续使用跟踪列表中的头肩框，直到下一次更新时刻。
优选地，为防止头肩被跟丢，而对非头肩区域继续跟踪，进而可能触发人数统计条件，影响人数统计的精度，本发明还可以设置停止头肩跟踪的条件。具体为，对每一帧的头肩跟踪框，计算当前跟踪框和该跟踪框上一帧的方向梯度直方图(HOG，Histogram ofOriented Gradients)的特征相似度，当特征相似度大于0.7时，该头肩继续被跟踪。反之，则该头肩框被停止跟踪。
计算当前跟踪框与它对应上一帧框的方向梯度直方图的特征相似度为：
特征相似度＝sHOG(HSt-1，HSt)，其中，HSt-1和HSt分别为当前头肩在上一帧和当前帧中的头肩图像。sHOG表示图像对应的HOG特征相似度。相似度越高，则为同一头肩的概率就越大。
第三判断单元：用于判断当前帧中被跟踪的头肩框是否满足人数统计触发条件。如果不满足人数统计触发条件，则由检测单元对下一帧进行检测。
现在以单门场景下判断人数统计触发为例。如图4所示，浅色区域P1为视频某一帧图像，深色区域P2为设定的用于头肩检测的热区，基线A和B被分别设置用于判断是否满足出店和进店人数统计的触发条件。以判断是否满足出店人数统计触发条件为例，跟踪框HSt-1、HSt和HSt+1分别为t-1、t和t+1时刻的跟踪框。Area-out和Area-in分别为跟踪框在基线外和基线内的面积。在本发明的一个实施例中，人数统计触发条件为面积比Ratio大于设定的阈值，所述面积比Ratio为跟踪框在基线外的面积与所述跟踪框的面积(即：基线内的面积+基线外的面积)的比值。用公示表示为：Ratio＝Area-out/(Area-in+Area-out)。具体的，在实际应用中，行人的运动方向为由基线外的一侧走向基线内的一侧；因此，基线外指的是行人来向一侧所在的区域，基线内指的是行人去向一侧的所在区域。
以面积比Ratio的值来判断是否触发人数统计。当跟踪框触及基线A时，开始计算当前跟踪框在基线A外和基线A内的面积比Ratio。同理，在判断是否满足进店人数统计触发条件时，当跟踪框触及基线B时，就开始计算跟踪框在基线B外和基线B内的面积比Ratio。
双门场景下的判断方式同上。
优选地，本发明人数统计的触发条件为Ratio值大于0.6。此处仅仅是用面积比Ratio示例而已，本发明并不局限于此。
统计单元：用于当第三判断单元判断当前帧中被跟踪的头肩框满足人数统计触发条件时，启动计数器，根据所述被跟踪的头肩框进行人数统计。
如图4所示，依次计算跟踪框HSt-1、HSt和HSt+1三个时刻的Ratio值，如果某个时刻，例如t+1时刻，跟踪框HSt+1的Ratio值大于预设值，如0.6，则满足人数统计的触发条件，启动当前计数器加1，并停止跟踪当前头肩框。
实际中，如果有n个头肩框满足触发条件，则计数器加n。然后将这n个被跟踪头肩框清除出跟踪列表。计数的一个原则是：被计数后的被跟踪头肩框要从跟踪列表中删除。
分析单元：用于对所述进行人数统计的头肩框进行属性分析。
具体地，提取所述进行人数统计的头肩框的头肩框序列，找出头肩框序列中有人脸部分的头肩框，计算所有有人脸的头肩框的图片质量。取质量最高的前三幅头肩框图像，检测头肩框图像中的人脸，并对检测出人脸进行性别，年龄等属性分析，综合三幅图像的属性分析结果给出最终的属性分析结果。
分析单元能够提取行人性别、年龄等属性值，并利用上述属性值进行精准分类，为商店等场所提供更加详细的数据。
在本发明的一个实施例中，如图6所示，第一设定单元进一步包括：
提取单元：用于对热区中可能存在的目标区域进行提取。
在本发明的一个实施例中，提取单元用于利用训练好的区域建议网络RPN(RegionProposal Network)对热区中可能存在的目标区域进行提取。
目标区域是指利用训练好的区域建议网络RPN，在热区范围内的图像中生成的N个目标框，这些目标框内的图像具有较高的概率能表示成一个目标物体。区域建议网络RPN的建立和训练方法可通过更快速区域卷积神经网络算法中使用的区域建议网络的建立和训练方法实现。本发明采用训练好的区域建议网络RPN只是示例而已，本发明并不局限于此。
分类单元：用于对提取的可能存在的目标区域进行二分类，获得每一个可能存在的目标区域的头肩概率值。
所述二分类为头肩或者非头肩。
在本发明的一个实施例中，利用训练好的快速区域卷积神经网络Fast R-CNN对提取的可能存在的目标区域进行二分类，并获得每一个可能存在的目标区域的头肩概率值。头肩概率值是通过Fast R-CNN(快速区域卷积神经网络，不同于前述Faster R-CNN)获得的。Faster R-CNN由RPN和Fast R-CNN组成，RPN生成可能的目标区域，Fast R-CNN对可能的目标区域提取深度特征，给出它们属于头肩的概率值。此处采用快速区域卷积神经网络Fast R-CNN只是示例而已，本发明并不局限于此。
第四判断单元：用于判断获得的头肩概率值是否大于设定的阈值。
需要说明的是，热区中可能同时检测到多个头肩框，需要对检测到的所有头肩框通过第二判断单元进行判断。
第二设定单元：如果第四判断单元判断获得的头肩概率值大于设定的阈值，则将该头肩概率值对应的目标区域设定为头肩框。
一般而言，二分类得到的头肩概率值越大，表明其对应的可能目标区域包含头肩信息的概率就越大。优选地，设定的阈值为0.97，即所有头肩概率值大于0.97对应的目标区域都被认定为包含头肩信息，将该目标区域都设定为头肩框。
比较单元：用于依次比较帧中所有检测到的头肩框与上一帧所有检测到的头肩框的重叠率，根据重叠率判断是否更新跟踪列表。
如果重叠率大于0.5，则认为这两个检测到的头肩框来自同一个目标，不对该目标进行跟踪，不需要对该跟踪列表进行更新。如果重叠率不大于0.5，则将该帧中检测到的头肩框加入跟踪列表中，即对跟踪列表进行更新。
重叠率的计算方式为：两个头肩框的交集除以它们的并集。
保持单元：如果第二判断单元判断头肩概率值不大于设定的阈值，则不存在头肩框，保持跟踪列表不变。
具体地，如果头肩概率值不大于设定的阈值，则没有目标区域包含头肩信息，则不存在头肩框，此时，保持跟踪列表不变。
以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (14)

1.一种基于头肩检测的人数统计的方法，其特征在于，该方法包括如下步骤：
步骤S1：在监控视频中设置用于头肩检测的热区和用于人数统计的基线；
步骤S2：对所述监控视频的图像帧中的热区进行头肩检测；
步骤S3：根据所述头肩检测的结果判断是否存在头肩；如果存在，则执行步骤S4；
步骤S4：设定头肩框并保持或更新跟踪列表，所述跟踪列表用于存放需要跟踪的头肩框，继续执行步骤S6；
步骤S6：对所述跟踪列表中的每一个头肩框进行跟踪，得到一组跟踪框；
步骤S7：判断当前帧中被跟踪的头肩框是否满足人数统计触发条件；如果满足人数统计触发条件，则执行步骤S8；如果不满足人数统计触发条件，则返回执行步骤S2，对下一帧进行检测；
步骤S8：启动计数器，根据所述被跟踪的头肩框进行人数统计。
2.根据权利要求1所述的方法，其特征在于：优选的，
步骤S3中，如果判断不存在头肩，则执行步骤S5；
步骤S5：判断当前跟踪列表是否为空；如果为空，则返回执行步骤S2，对下一帧进行检测；如果不为空，则执行步骤S6。
3.根据权利要求1所述的方法，其特征在于：热区设置原则为：所述热区在宽度以及高度上覆盖行人在所述监控视频所监控的进出区域；基线的设置原则为：用于人数统计的基线水平地设置在热区内，用于进口人数统计的基线设置在热区下边界的上方，距离下边界的距离为热区高度的十分之一，用于出口人数统计的基线设置在热区上边界的下方，距离上边界的距离为热区高度的十分之一。
4.根据权利要求1所述的方法，其特征在于：
步骤S2：对所述监控视频的图像帧中的热区进行头肩检测，具体为：
利用更快速区域卷积神经网络算法依次对所采集的监控视频的图像帧中的热区进行头肩检测。
5.根据权利要求1所述的方法，其特征在于：
所述步骤S4进一步包括：
步骤S41：对热区中可能存在的目标区域进行提取；
步骤S42：对提取的可能存在的目标区域进行二分类，获得每一个可能存在的目标区权域的头肩概率值，所述二分类为头肩或者非头肩；
步骤S43：判断获得的头肩概率值是否大于设定的阈值；如果大于设定的阈值，则执行步骤S44；
步骤S44：如果大于设定的阈值，则将该头肩概率值对应的目标区域设定为头肩框；
步骤S45：依次比较图像帧中所有检测到的头肩框与上一帧所有检测到的头肩框的重叠率，根据重叠率判断是否更新跟踪列表。
6.根据权利要求1-5任一项所述的方法，其特征在于：所述步骤S4进一步包括：根据更新策略更新跟踪列表中的头肩框；所述更新策略为：当每隔3帧检测到头肩时，用检测到的头肩框代替当前跟踪列表中的头肩框；如果没有检测到当前跟踪列表中头肩框，则继续使用跟踪列表中的头肩框，直到下一次更新时刻。
7.根据权利要求5所述的方法，其特征在于：
在步骤S43中，如果判断获得的头肩概率值不大于设定的阈值，则执行步骤S46；
步骤S46：如果头肩概率值不大于设定的阈值，则不存在头肩框，此时，保持跟踪列表不变。
8.根据权利要求5所述的方法，其特征在于：步骤S41：对热区中可能存在的目标区域进行提取，具体为：
利用训练好的区域建议网络RPN(Region Proposal Network)对热区中可能存在的目标区域进行提取。
9.根据权利要求5所述的方法，其特征在于：
步骤S45中，如果重叠率大于0.5，则认为这两个检测到的头肩框来自同一个目标，不对该目标进行跟踪，不需要对该跟踪列表进行更新；如果重叠率不大于0.5，则将该帧中检测到的头肩框加入跟踪列表中，即对跟踪列表进行更新；
所述重叠率的计算方式为：两个头肩框的交集除以它们的并集。
10.根据权利要求1所述的方法，其特征在于：
步骤S6：所述对跟踪列表中的每一个头肩框进行跟踪，得到一组跟踪框，具体为：
对跟踪列表中的每一个头肩框，利用基于时空上下文跟踪算法进行跟踪，得到一组跟踪框。
11.根据权利要求1所述的方法，其特征在于：
步骤S7中，人数统计触发条件为：面积比大于设定的阈值，所述面积比为跟踪框在基线外的面积与所述跟踪框的面积的比值。
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
步骤S9：对所述进行人数统计的头肩框进行属性分析。
13.据权利要求12所述的方法，其特征在于：
步骤S9：对所述进行人数统计的头肩框进行属性分析，具体为：
提取所述进行人数统计的头肩框的头肩框序列，找出头肩框序列中有人脸部分的头肩框，计算所有有人脸的头肩框的图片质量，取质量最高的前三幅头肩框图像，检测头肩框图像中的人脸，并对检测出人脸进行属性分析，综合三幅图像的属性分析结果给出最终的属性分析结果。
14.一种基于头肩检测的人数统计的设备，其特征在于，该设备包括：
设置单元：在监控视频中设置用于头肩检测的热区和用于人数统计的基线；
检测单元：对所述监控视频的图像帧中的热区进行头肩检测；
第一判断单元：用于根据所述头肩检测的结果判断是否存在头肩；
第一设定单元：用于如果第一判断单元判断存在头肩，则设定头肩框并保持或更新跟踪列表，所述跟踪列表用于存放需要跟踪的头肩框；
跟踪单元：用于对所述跟踪列表中的每一个头肩框进行跟踪，得到一组跟踪框；
第三判断单元：用于判断当前帧中被跟踪的头肩框是否满足人数统计触发条件，如果不满足人数统计触发条件，则由检测单元对下一帧进行检测；
统计单元：用于当第四判断单元判断当前帧中被跟踪的头肩框满足人数统计触发条件时，启动计数器，根据所述被跟踪的头肩框进行人数统计。
CN201610162454.8A 2016-03-21 2016-03-21 一种基于头肩检测的人数统计的方法及设备 Active CN105844234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610162454.8A CN105844234B (zh) 2016-03-21 2016-03-21 一种基于头肩检测的人数统计的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610162454.8A CN105844234B (zh) 2016-03-21 2016-03-21 一种基于头肩检测的人数统计的方法及设备

Publications (2)

Publication Number Publication Date
CN105844234A true CN105844234A (zh) 2016-08-10
CN105844234B CN105844234B (zh) 2020-07-31

Family

ID=56587727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610162454.8A Active CN105844234B (zh) 2016-03-21 2016-03-21 一种基于头肩检测的人数统计的方法及设备

Country Status (1)

Country Link
CN (1) CN105844234B (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372571A (zh) * 2016-08-18 2017-02-01 宁波傲视智绘光电科技有限公司 路面交通标志检测与识别方法
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN106778773A (zh) * 2016-11-23 2017-05-31 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN106845406A (zh) * 2017-01-20 2017-06-13 深圳英飞拓科技股份有限公司 基于多任务级联卷积神经网络的头肩检测方法及装置
CN106997459A (zh) * 2017-04-28 2017-08-01 成都艾联科创科技有限公司 一种基于神经网络和图像叠合分割的人数统计方法及系统
CN107016344A (zh) * 2017-03-08 2017-08-04 上海极链网络科技有限公司 视频中品牌识别系统及其实现方法
CN107092883A (zh) * 2017-04-20 2017-08-25 上海极链网络科技有限公司 物体识别追踪方法
CN107103279A (zh) * 2017-03-09 2017-08-29 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种在垂直视角下基于深度学习的客流计数方法
CN107330390A (zh) * 2017-06-26 2017-11-07 上海远洲核信软件科技股份有限公司 一种基于图像分析和深度学习的人数统计方法
CN107423708A (zh) * 2017-07-25 2017-12-01 成都通甲优博科技有限责任公司 一种确定视频中行人人流量的方法及其装置
CN107609597A (zh) * 2017-09-26 2018-01-19 嘉世达电梯有限公司 一种电梯轿厢人数检测系统及其检测方法
CN107820010A (zh) * 2017-11-17 2018-03-20 英业达科技有限公司 摄影计数装置
CN107992786A (zh) * 2016-10-27 2018-05-04 中国科学院沈阳自动化研究所 一种基于人脸的公共场所人流量统计方法和系统
CN108021848A (zh) * 2016-11-03 2018-05-11 浙江宇视科技有限公司 客流量统计方法及装置
CN108052984A (zh) * 2017-10-30 2018-05-18 中国科学院计算技术研究所 计数方法及装置
CN108090454A (zh) * 2017-12-26 2018-05-29 上海理工大学 校园公共浴室人流量统计系统
CN108197570A (zh) * 2017-12-28 2018-06-22 珠海市君天电子科技有限公司 一种人数统计方法、装置、电子设备及存储介质
CN108256404A (zh) * 2016-12-29 2018-07-06 北京旷视科技有限公司 行人检测方法和装置
CN108460329A (zh) * 2018-01-15 2018-08-28 任俊芬 一种基于深度学习检测的人脸手势配合验证方法
CN108563998A (zh) * 2018-03-16 2018-09-21 新智认知数据服务有限公司 活体识别模型训练方法、活体检测方法及装置
CN108629230A (zh) * 2017-03-16 2018-10-09 杭州海康威视数字技术股份有限公司 一种人数统计方法及装置和电梯调度方法及系统
CN108805016A (zh) * 2018-04-27 2018-11-13 新智数字科技有限公司 一种头肩区域检测方法及装置
CN108921008A (zh) * 2018-05-14 2018-11-30 深圳市商汤科技有限公司 人像识别方法、装置及电子设备
CN109215150A (zh) * 2017-06-30 2019-01-15 上海弘视通信技术有限公司 人脸点名与计数方法及其系统
CN109448026A (zh) * 2018-11-16 2019-03-08 南京甄视智能科技有限公司 基于头肩检测的客流统计方法和系统
CN109902537A (zh) * 2017-12-08 2019-06-18 杭州海康威视数字技术股份有限公司 一种人数统计方法、装置、系统及电子设备
CN110348348A (zh) * 2019-06-30 2019-10-18 华中科技大学 一种参建人员进场身份快速识别方法及预警系统
CN110713082A (zh) * 2019-10-22 2020-01-21 日立楼宇技术（广州）有限公司 一种电梯控制方法、系统、装置和存储介质
CN111353473A (zh) * 2020-03-30 2020-06-30 浙江大华技术股份有限公司 一种人脸检测方法、装置、电子设备及存储介质
CN111461086A (zh) * 2020-03-18 2020-07-28 深圳北斗应用技术研究院有限公司 一种基于人头检测的人数统计方法和系统
CN111653092A (zh) * 2020-05-20 2020-09-11 苏交科集团股份有限公司 一种车路协同智慧公交管理监控系统
CN111723664A (zh) * 2020-05-19 2020-09-29 烟台市广智微芯智能科技有限责任公司 一种用于开放式区域的行人计数方法及系统
CN112070555A (zh) * 2020-09-16 2020-12-11 青岛维感科技有限公司 一种客流监测方法、装置、系统及通道及存储介质
CN112434566A (zh) * 2020-11-04 2021-03-02 深圳云天励飞技术股份有限公司 客流统计方法、装置、电子设备及存储介质
CN112464917A (zh) * 2021-01-06 2021-03-09 希望银蕨智能科技有限公司 一种非接触式测温系统的人数统计方法
CN112689193A (zh) * 2019-10-18 2021-04-20 惠州迪芬尼声学科技股份有限公司 根据影像资讯判断是否播放音乐的音乐播放方法及其所对应的音乐播放系统
CN113269065A (zh) * 2021-05-14 2021-08-17 深圳印像数据科技有限公司 一种基于目标检测算法的屏幕前人流量统计方法
CN113469982A (zh) * 2021-07-12 2021-10-01 浙江大华技术股份有限公司 一种精准客流统计的方法、装置及电子设备
CN114219832A (zh) * 2021-11-29 2022-03-22 浙江大华技术股份有限公司 人脸跟踪方法、装置及计算机可读存储介质
CN114495491A (zh) * 2021-12-31 2022-05-13 深圳云天励飞技术股份有限公司 跨线出行路线确定方法、装置、计算机设备及介质
CN115482611A (zh) * 2022-08-02 2022-12-16 青岛民航凯亚系统集成有限公司 基于视频分析的自助安检通道流量控制系统
CN116993550A (zh) * 2023-08-25 2023-11-03 广州控智电子科技有限公司 控制教室开启的方法、系统、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049787A (zh) * 2011-10-11 2013-04-17 汉王科技股份有限公司 一种基于头肩特征的人数统计方法和系统
CN103235932A (zh) * 2013-04-09 2013-08-07 重庆理工大学 出入口人数统计方法和装置
CN105139425A (zh) * 2015-08-28 2015-12-09 浙江宇视科技有限公司 一种人数统计方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049787A (zh) * 2011-10-11 2013-04-17 汉王科技股份有限公司 一种基于头肩特征的人数统计方法和系统
CN103235932A (zh) * 2013-04-09 2013-08-07 重庆理工大学 出入口人数统计方法和装置
CN105139425A (zh) * 2015-08-28 2015-12-09 浙江宇视科技有限公司 一种人数统计方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨如林: "车载红外行人检测系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑（电子期刊）》 *

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372571A (zh) * 2016-08-18 2017-02-01 宁波傲视智绘光电科技有限公司 路面交通标志检测与识别方法
CN107992786A (zh) * 2016-10-27 2018-05-04 中国科学院沈阳自动化研究所 一种基于人脸的公共场所人流量统计方法和系统
CN108021848B (zh) * 2016-11-03 2021-06-01 浙江宇视科技有限公司 客流量统计方法及装置
CN108021848A (zh) * 2016-11-03 2018-05-11 浙江宇视科技有限公司 客流量统计方法及装置
CN106778773A (zh) * 2016-11-23 2017-05-31 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN106778773B (zh) * 2016-11-23 2020-06-02 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN108256404B (zh) * 2016-12-29 2021-12-10 北京旷视科技有限公司 行人检测方法和装置
CN108256404A (zh) * 2016-12-29 2018-07-06 北京旷视科技有限公司 行人检测方法和装置
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN106845406A (zh) * 2017-01-20 2017-06-13 深圳英飞拓科技股份有限公司 基于多任务级联卷积神经网络的头肩检测方法及装置
CN107016344A (zh) * 2017-03-08 2017-08-04 上海极链网络科技有限公司 视频中品牌识别系统及其实现方法
CN107103279A (zh) * 2017-03-09 2017-08-29 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种在垂直视角下基于深度学习的客流计数方法
CN107103279B (zh) * 2017-03-09 2020-06-05 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种在垂直视角下基于深度学习的客流计数方法
CN108629230A (zh) * 2017-03-16 2018-10-09 杭州海康威视数字技术股份有限公司 一种人数统计方法及装置和电梯调度方法及系统
CN107092883A (zh) * 2017-04-20 2017-08-25 上海极链网络科技有限公司 物体识别追踪方法
CN106997459B (zh) * 2017-04-28 2020-06-26 成都艾联科创科技有限公司 一种基于神经网络和图像叠合分割的人数统计方法及系统
CN106997459A (zh) * 2017-04-28 2017-08-01 成都艾联科创科技有限公司 一种基于神经网络和图像叠合分割的人数统计方法及系统
CN107330390A (zh) * 2017-06-26 2017-11-07 上海远洲核信软件科技股份有限公司 一种基于图像分析和深度学习的人数统计方法
CN109215150A (zh) * 2017-06-30 2019-01-15 上海弘视通信技术有限公司 人脸点名与计数方法及其系统
CN107423708A (zh) * 2017-07-25 2017-12-01 成都通甲优博科技有限责任公司 一种确定视频中行人人流量的方法及其装置
CN107609597A (zh) * 2017-09-26 2018-01-19 嘉世达电梯有限公司 一种电梯轿厢人数检测系统及其检测方法
CN107609597B (zh) * 2017-09-26 2020-10-13 嘉世达电梯有限公司 一种电梯轿厢人数检测系统及其检测方法
CN108052984B (zh) * 2017-10-30 2019-11-08 中国科学院计算技术研究所 计数方法及装置
CN108052984A (zh) * 2017-10-30 2018-05-18 中国科学院计算技术研究所 计数方法及装置
CN107820010A (zh) * 2017-11-17 2018-03-20 英业达科技有限公司 摄影计数装置
CN109902537A (zh) * 2017-12-08 2019-06-18 杭州海康威视数字技术股份有限公司 一种人数统计方法、装置、系统及电子设备
CN109902537B (zh) * 2017-12-08 2021-04-02 杭州海康威视数字技术股份有限公司 一种人数统计方法、装置、系统及电子设备
CN108090454A (zh) * 2017-12-26 2018-05-29 上海理工大学 校园公共浴室人流量统计系统
CN108197570A (zh) * 2017-12-28 2018-06-22 珠海市君天电子科技有限公司 一种人数统计方法、装置、电子设备及存储介质
CN108460329B (zh) * 2018-01-15 2022-02-11 任俊芬 一种基于深度学习检测的人脸手势配合验证方法
CN108460329A (zh) * 2018-01-15 2018-08-28 任俊芬 一种基于深度学习检测的人脸手势配合验证方法
CN108563998A (zh) * 2018-03-16 2018-09-21 新智认知数据服务有限公司 活体识别模型训练方法、活体检测方法及装置
CN108805016B (zh) * 2018-04-27 2022-02-08 新智数字科技有限公司 一种头肩区域检测方法及装置
CN108805016A (zh) * 2018-04-27 2018-11-13 新智数字科技有限公司 一种头肩区域检测方法及装置
CN108921008A (zh) * 2018-05-14 2018-11-30 深圳市商汤科技有限公司 人像识别方法、装置及电子设备
CN109448026A (zh) * 2018-11-16 2019-03-08 南京甄视智能科技有限公司 基于头肩检测的客流统计方法和系统
CN110348348A (zh) * 2019-06-30 2019-10-18 华中科技大学 一种参建人员进场身份快速识别方法及预警系统
CN110348348B (zh) * 2019-06-30 2021-08-31 华中科技大学 一种参建人员进场身份快速识别方法及预警系统
CN112689193A (zh) * 2019-10-18 2021-04-20 惠州迪芬尼声学科技股份有限公司 根据影像资讯判断是否播放音乐的音乐播放方法及其所对应的音乐播放系统
CN112689193B (zh) * 2019-10-18 2023-04-18 惠州迪芬尼声学科技股份有限公司 根据影像资讯判断是否播放音乐的方法及其系统
CN110713082A (zh) * 2019-10-22 2020-01-21 日立楼宇技术（广州）有限公司 一种电梯控制方法、系统、装置和存储介质
CN111461086A (zh) * 2020-03-18 2020-07-28 深圳北斗应用技术研究院有限公司 一种基于人头检测的人数统计方法和系统
CN111353473A (zh) * 2020-03-30 2020-06-30 浙江大华技术股份有限公司 一种人脸检测方法、装置、电子设备及存储介质
CN111353473B (zh) * 2020-03-30 2023-04-14 浙江大华技术股份有限公司 一种人脸检测方法、装置、电子设备及存储介质
CN111723664A (zh) * 2020-05-19 2020-09-29 烟台市广智微芯智能科技有限责任公司 一种用于开放式区域的行人计数方法及系统
CN111653092A (zh) * 2020-05-20 2020-09-11 苏交科集团股份有限公司 一种车路协同智慧公交管理监控系统
CN112070555A (zh) * 2020-09-16 2020-12-11 青岛维感科技有限公司 一种客流监测方法、装置、系统及通道及存储介质
CN112434566A (zh) * 2020-11-04 2021-03-02 深圳云天励飞技术股份有限公司 客流统计方法、装置、电子设备及存储介质
CN112464917A (zh) * 2021-01-06 2021-03-09 希望银蕨智能科技有限公司 一种非接触式测温系统的人数统计方法
CN113269065A (zh) * 2021-05-14 2021-08-17 深圳印像数据科技有限公司 一种基于目标检测算法的屏幕前人流量统计方法
CN113269065B (zh) * 2021-05-14 2023-02-28 深圳印像数据科技有限公司 一种基于目标检测算法的屏幕前人流量统计方法
CN113469982A (zh) * 2021-07-12 2021-10-01 浙江大华技术股份有限公司 一种精准客流统计的方法、装置及电子设备
CN114219832A (zh) * 2021-11-29 2022-03-22 浙江大华技术股份有限公司 人脸跟踪方法、装置及计算机可读存储介质
CN114495491A (zh) * 2021-12-31 2022-05-13 深圳云天励飞技术股份有限公司 跨线出行路线确定方法、装置、计算机设备及介质
CN115482611A (zh) * 2022-08-02 2022-12-16 青岛民航凯亚系统集成有限公司 基于视频分析的自助安检通道流量控制系统
CN116993550A (zh) * 2023-08-25 2023-11-03 广州控智电子科技有限公司 控制教室开启的方法、系统、计算机设备及存储介质
CN116993550B (zh) * 2023-08-25 2024-04-09 广州控智电子科技有限公司 控制教室开启的方法、系统、计算机设备及存储介质

Also Published As

Publication number Publication date
CN105844234B (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN105844234A (zh) 一种基于头肩检测的人数统计的方法及设备
Ma et al. Experimental study on microscopic moving characteristics of pedestrians in built corridor based on digital image processing
CN110425005B (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN106980829B (zh) 基于视频分析的打架斗殴异常行为自动检测方法
CN103310444B (zh) 一种基于头顶摄像头的监控行人计数的方法
CN102156880B (zh) 基于改进的社会力模型的异常集群行为检测方法
CN106203513B (zh) 一种基于行人头肩多目标检测及跟踪的统计方法
CN107679503A (zh) 一种基于深度学习的人群计数算法
CN102930248A (zh) 基于机器学习的人群异常行为检测方法
CN106875424A (zh) 一种基于机器视觉的城市环境行驶车辆行为识别方法
CN106096577A (zh) 一种摄像头分布地图中的目标追踪系统及追踪方法
CN105303191A (zh) 一种前视监视场景下的行人计数方法和装置
CN103425967A (zh) 一种基于行人检测和跟踪的人流监控方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN102496058B (zh) 客流密度检测方法
CN105654516B (zh) 基于目标显著性的卫星图像对地面弱小运动目标检测方法
CN109325404A (zh) 一种公交场景下的人数统计方法
CN106845325B (zh) 一种信息检测方法及装置
CN107491749A (zh) 一种人群场景中全局和局部异常行为检测方法
CN108648211A (zh) 一种基于深度学习的小目标检测方法、装置、设备和介质
CN106339687A (zh) 基于视频的行人过街信号自适应计算方法
CN103150552B (zh) 一种基于人头计数的驾驶培训管理方法
CN109948690A (zh) 一种基于深度学习和结构信息的高铁场景感知方法
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN106815563A (zh) 一种基于人体表观结构的人群数量预测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant