CN114943938B - 客流统计方法、装置、系统及介质 - Google Patents

客流统计方法、装置、系统及介质 Download PDF

Info

Publication number
CN114943938B
CN114943938B CN202210882403.8A CN202210882403A CN114943938B CN 114943938 B CN114943938 B CN 114943938B CN 202210882403 A CN202210882403 A CN 202210882403A CN 114943938 B CN114943938 B CN 114943938B
Authority
CN
China
Prior art keywords
shielding
camera
state
occlusion
passenger flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210882403.8A
Other languages
English (en)
Other versions
CN114943938A (zh
Inventor
肖兵
陈广涛
何浩玲
王建飞
杨海松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Shixi Technology Co Ltd
Original Assignee
Zhuhai Shixi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Shixi Technology Co Ltd filed Critical Zhuhai Shixi Technology Co Ltd
Priority to CN202210882403.8A priority Critical patent/CN114943938B/zh
Publication of CN114943938A publication Critical patent/CN114943938A/zh
Application granted granted Critical
Publication of CN114943938B publication Critical patent/CN114943938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种客流统计方法、装置、系统及介质，其方法包括：获取目标图像集，所述目标图像集包括相机拍摄的连续多帧图像；对所述目标图像集进行客流统计，所述客流统计包括行人检测步骤、目标跟踪步骤以及信息统计步骤；根据所述相机的历史遮挡状态、以及各帧图像的像素信息，监测所述相机的遮挡状态，确定第一监测结果，并根据所述第一监测结果更新所述相机的遮挡状态；根据所述第一监测结果，控制所述客流统计的各步骤执行情况，以消除所述相机被遮挡对客流统计结果的影响。本发明基于遮挡状态监测结果对客流统计过程进行控制，能够极大限度地避免相机遮挡带来负面影响，提高客流统计的准确性和可靠性。

Description

客流统计方法、装置、系统及介质
技术领域
本发明涉及数字图像处理技术领域，具体涉及一种客流统计方法、装置、系统及介质。
背景技术
客流统计系统在生活中的应用越来越广泛，现有技术中，基于客流相机的行人检测和客流统计技术通常会用到背景建模（或称背景去除），但相机如果被人为遮挡很容易使背景建模失效，导致行人检测出现误检和行人计数错误。且长时间的相机遮挡会使更新的背景模型包含异常的画面信息，即使遮挡消除，背景建模也会在相当长的时间内出现误判进而导致持续的检测错误，最终严重降低客流统计精度。
而现有技术中，对于如何消除遮挡或扰动给客流统计带来的影响鲜有研究。
发明内容
针对上述问题，本发明实施例提供了一种客流统计方法、装置、系统及介质，通过基于遮挡状态监测结果对客流统计过程进行控制，能够能极大限度地避免相机扰动、遮挡带来负面影响，提高客流统计的准确性和可靠性。
第一方面，本发明实施例提供一种客流统计方法，所述方法包括：
获取目标图像集，所述目标图像集包括相机拍摄的连续多帧图像；
对所述目标图像集进行客流统计，所述客流统计包括行人检测步骤、目标跟踪步骤以及信息统计步骤；
根据所述相机的历史遮挡状态、以及各帧图像像素信息，监测所述相机的遮挡状态，确定第一监测结果，并根据所述第一监测结果更新所述相机的遮挡状态；
根据所述第一监测结果，控制所述客流统计的各步骤执行情况，以消除所述相机被遮挡对客流统计结果的影响。
第二方面，本发明实施例还提供一种客流统计装置，所述装置包括：
获取单元，用于获取目标图像集，所述目标图像集包括相机拍摄的连续多帧图像；
统计单元，用于对所述目标图像集进行客流统计，所述客流统计包括行人检测步骤、目标跟踪步骤以及信息统计步骤；
状态监测单元，用于根据所述相机的历史遮挡状态、以及各帧图像的像素信息，监测所述相机的遮挡状态，确定第一监测结果，并根据所述第一监测结果更新所述相机的遮挡状态；
反馈单元，用于根据所述第一监测结果，控制所述客流统计的各步骤执行情况，以消除所述相机被遮挡对客流统计结果的影响。
第三方面，本发明实施例还提供一种智能终端，所述智能终端部署有上述的客流统计装置。
第四方面，本发明实施例还提供一种客流统计系统，所述客流统计系统包括统计服务器和若干个智能终端，各所述智能终端与所述统计服务器通信连接；其中，所述统计服务器部署上述的客流统计装置；
所述智能终端，用于采集目标图像集，并将得到的目标图像集发送至所述统计服务器。
第五方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述任一的客流统计方法。
本发明实施例采用的上述至少一个技术方案能够达到以下有益效果：
本发明通过在客流统计中，植入相机的遮挡状态监测方法，并通过相机的遮挡状态监测结果，对客流统计的个步骤的执行情况进行控制，若发现相机有被遮挡的情况，可暂停客流统计的步骤，并对客流统计结果进行修正，以消除所述相机被遮挡对客流统计结果的影响。本发明基于遮挡状态监测结果对客流统计过程进行控制，能够极大限度地避免相机遮挡带来负面影响，提高客流统计的准确性和可靠性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了根据本发明的一个实施例的客流统计方法的流程示意图；
图2示出了根据本发明的另一个实施例的客流统计方法的流程示意图；
图3示出了根据本发明的一个实施例的客流统计装置的结构示意图；
图4-a示出了根据本发明的一个实施例的一帧经过预处理的目标图像；
图4-b示出了对图4-a中画面进行遮挡的效果图；
图4-c示出了根据现有技术对图4-a进行背景建模得到的运动区域的效果图；
图4-d示出了根据现有技术对图4-b进行背景建模得到的运动区域的效果图；
图4-e示出了根据本发明技术对图4-b进行背景建模得到的运动区域的效果图；
图4-f示出了根据现有技术对图4-e进行遮挡状态监测的效果图；
图4-g示出了根据4-d进行客流统计得到的效果图；
图4-h示出了4-f进行客流统计得到的效果图；
图5示出了根据本发明的一个实施例的智能终端的结构示意图；
图6示出了根据本发明的一个实施例的客流统计系统的结构示意图；
图7为本发明实施例中一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图，详细说明本发明各实施例提供的技术方案。
客流统计相机经常被人为干扰或遮挡，造成客流统计结果不准确的情况，对此，本发明提出了一种客流统计方法，图1示出了根据本发明的一个实施例的客流统计方法的流程示意图，从图1可以看出，本发明至少包括步骤S110~步骤S140：
步骤S110：获取目标图像集，所述目标图像集包括相机拍摄的连续多帧图像。
目标图像集可以是一段视频流或者实时获得的视频流，其可以为存储在数据库中，历史时间内通过拍摄获得的，也可以是通过客流相机实时拍摄。
如将客流相机安装在指定地点，能够对目标区域进行拍摄，得到视频流，视频流可以为多帧彩色图像（RGB图像）按照时序组成的视频；也可以为多帧深度图像按照时序组成的视频。为了保护行人的隐私，在本发明的一些实施例中，目标图像集中的多帧图像优选为深度图。为了方便叙述，后续实施例中，均以目标图像集为深度图为例进行说明。
步骤S120：对所述目标图像集进行客流统计，所述客流统计包括行人检测步骤、目标跟踪步骤以及信息统计步骤。
对所述目标图像集进行客流统计，采用的客流统计技术可以分为行人检测步骤、目标跟踪步骤以及信息统计步骤。
该三个步骤可以简单描述为：对所述目标图像集进行行人检测处理，得到若干个检测目标；对各所述检测目标进行目标跟踪处理，得到目标跟踪结果；根据所述目标跟踪结果，对客流信息进行统计，得到客流统计结果。
对目标图像集中的各帧对象进行行人检测处理，行人检测处理可基于人体特征进行，其行人检测模型可以为现有技术中的任意一种网络模型，如基于深度学习的卷积神经网络，经过训练后，其可对图像中的行人目标进行检测，得到行人检测结果。
行人检测结果通常以识别框的形式出现，即在目标图像中出现一些识别框（或称锚点框），每个识别框至少包括一个检测目标的至少部分。
为了方便后续对这些检测目标进行处理，可以为每一个检测目标分配一个唯一的身份识别ID；另外在需要的情况下，在行人检测结果中还可以包含每个检测目标的特征信息，如位置信息等。
对各个检测目标进行基本的目标跟踪处理，如将每个检测目标作为一个跟踪目标，目标跟踪的主要目的是获取每一个跟踪目标的运动轨迹。
根据所述目标跟踪结果，对客流信息进行统计，统计对象包括但不限于进入画面人数、走出画面人数等。
步骤S130：根据所述相机的历史遮挡状态、以及各帧图像的像素信息，监测所述相机的遮挡状态，确定第一监测结果；并根据所述第一监测结果更新所述相机的遮挡状态。
在进行客流统计的同时，对相机的遮挡状态进行监测，并根据监测结果，对客流统计过程进行反馈控制。
在本发明的一些实施例中，在上述方法中，所述根据所述相机的历史遮挡状态、各帧图像的像素信息，监测所述相机的遮挡状态，包括：读取预设的遮挡比例阈值，其中，所述遮挡比例阈值包括遮挡比例高阈值和遮挡比例低阈值；根据所述目标图像集中各帧图像的像素值，确定各帧图像的遮挡比例；读取所述相机的历史遮挡状态，所述历史遮挡状态为上一轮次确定的相机的遮挡状态；联合所述相机的历史遮挡状态、以及各帧图像的遮挡比例与所述遮挡比例阈值的相对大小，监测所述相机的遮挡状态，确定所述第一监测结果。
在本发明的一些实施例中，在监测相机的遮挡状态时，首先根据所述目标图像集中各帧图像的像素信息，确定各帧图像的遮挡比例，具体的，可根据目标图像集中各帧图像的像素值计算获得，具体到深度图中，根据深度图中各像素点的深度值计算获得。
遮挡比例可根据下述式（1）~式（2）计算确定：
Figure 921451DEST_PATH_IMAGE001
式（1）；
Figure 127305DEST_PATH_IMAGE002
式（2）；
其中，I(x,y)表示当前帧图像中各像素点的像素值，f(x,y)表示当前帧图像遮挡像素二值图，V occlusion表示遮挡像素阈值，r occlusion 表示遮挡比例，w、h分别为当前帧图像的宽和高。
其中V occlusion是可以设置的，I(x,y)＞0表示有效像素（深度），I(x,y)＜V occlusion表示物体在画面中的像素值/深度值小于设定值，则认为其离相机过近。需要说明的是，该条件的本质是根据深度像素值判定物体是否距离相机过近，不同的深度相机输出的深度图在表示无效值、无限远方面可能有差异，本发明仅以这样的深度图举例（而非限定）。以0值（纯黑）表示无效值，非0值表示有效值，深度值越大距离越远，映射到[0~ 255]后255值（纯白）表示无穷远。举一个有差异的例子，比如，若深度值映射到[0~255]后255值（纯白）表示无穷远或无效值，则所述遮挡像素判定条件为I(x,y)＜V occlusion。
在首次对相机的遮挡状态进行判定之前，可对相机的遮挡状态赋予初始值，即设定相机遮挡状态S occlusion ，其值可包括遮挡和非遮挡，通常将其初始化为非遮挡。
在首次对相机的遮挡状态进行判定之前，还可设置遮挡比例阈值，遮挡比例阈值可以为单一的遮挡比例阈值，比如设置遮挡比例阈值为0.2。
在对相机镜头的遮挡判断时，可以根据相机上一轮次确定的相机镜头的遮挡状态，以及一张目标图像的遮挡比例与遮挡比例阈值的大小关系进行判定。如果是首轮执行本发明，则将相机的遮挡状态的初始值作为上一轮次确定的相机镜头的遮挡状态。
具体的判断过程可参考如下：读取所述相机的历史遮挡状态，所述历史遮挡状态为上一轮次确定的相机的遮挡状态；若所述历史遮挡状态为非遮挡，且所述遮挡比例小于所述遮挡比例阈值，则保持所述相机的遮挡状态为非遮挡；若所述历史遮挡状态为非遮挡，且所述遮挡比例大于所述遮挡比例阈值，则确定所述相机进入遮挡状态，并将所述相机的遮挡状态置为遮挡；若所述历史遮挡状态为遮挡，且连续第一预设数量帧图像满足退出遮挡条件，则确定所述相机退出遮挡状态，并将所述相机的遮挡状态为置为非遮挡；若所述历史遮挡状态为遮挡且不满足退出遮挡条件，则保持所述相机的遮挡状态为遮挡。
作为一个优选的实施例，在上述方法中，在基于遮挡比例r occlusion 进行遮挡判定时，采用双阈值——遮挡比例高、低阈值，即所述遮挡比例阈值包括遮挡比例高阈值R occlusion_appear 和遮挡比例低阈值R occlusion_dissappear ；其中R occlusion_appear 取值应大于R occlusion_dissappear 。具体的判定过程可参考如下：若读取到的历史遮挡状态为非遮挡，且当前帧的遮挡比例小于所述遮挡比例低阈值，则确定所述第一监测结果为：所述相机的遮挡状态为非遮挡；若读取到的历史遮挡状态为遮挡，且连续第一预设数量帧图像满足退出遮挡条件，则确定所述第一监测结果为：所述相机退出遮挡状态。
当确定所述第一监测结果为：所述相机退出遮挡状态时，则所述根据所述第一监测结果更新所述相机的遮挡状态包括：将所述相机的遮挡状态置为非遮挡；当确定所述第一监测结果为：所述相机的遮挡状态为非遮挡时，所述根据所述第一监测结果更新所述相机的遮挡状态包括：保持所述相机的遮挡状态为非遮挡。
若读取到的历史遮挡状态为非遮挡，且当前帧的遮挡比例大于所述遮挡比例高阈值，则确定所述第一监测结果为：所述相机进入遮挡状态；若读取到的历史遮挡状态为遮挡且不满足退出遮挡条件，则确定所述第一监测结果为：所述相机的遮挡状态为遮挡。
当确定所述第一监测结果为：所述相机进入遮挡状态时，则所述根据所述第一监测结果更新所述相机的遮挡状态包括：将所述相机的遮挡状态置为遮挡；当确定所述第一监测结果为：所述相机的遮挡状态为遮挡时，则所述根据所述第一监测结果更新所述相机的遮挡状态包括：保持所述相机的遮挡状态为遮挡。
以一个轮次进行遮挡的状态进行判定为例，首先读取到相机的历史遮挡状态，包括非遮挡和遮挡。
为了方便陈述本发明中，将相机的遮挡状态细分为无遮挡、进入遮挡、退出遮挡、仍遮挡四个粒度，需要说明的是，这样的划分仅是为了方便陈述，最终判定出的相机遮挡状态为遮挡和非遮挡，具体各状态的判定条件如下：
非遮挡的判定条件为：若读取到相机的历史遮挡状态S occlusion 为非遮挡，且相机画面的遮挡比例小于预设的遮挡比例低阈值，即r occlusion ＜R occlusion_dissappear ，则判定第一监测结果为相机的遮挡状态为非遮挡，根据所述第一监测结果更新所述相机的遮挡状态的动作为：保持相机的遮挡状态S occlusion 不变。
进入遮挡的判定条件为：若读取到相机的历史遮挡状态S occlusion 为非遮挡，且相机画面的遮挡比例大于预设的遮挡比例高阈值，即r occlusion ＞R occlusion_appear ，
则判定第一监测结果为相机进入遮挡状态，根据所述第一监测结果更新所述相机的遮挡状态的动作为：将相机的遮挡状态S occlusion 置为遮挡。
退出遮挡的判定条件为：若读取到相机的历史遮挡状态S occlusion 为遮挡，且第一连续数量N stable 帧满足退出遮挡条件，则判定第一监测结果为相机退出遮挡状态，根据所述第一监测结果更新所述相机的遮挡状态的动作为：将相机的遮挡状态S occlusion 置为非遮挡。
仍遮挡的判定条件为：若读取到相机的历史遮挡状态S occlusion 为遮挡，且不满足退出遮挡条件，则判定第一监测结果为相机仍然被遮挡，根据所述第一监测结果更新所述相机的遮挡状态的动作为：保持相机的遮挡状态S occlusion 为遮挡。
采用双阈值作为相机的遮挡状态的判定条件，主要是考虑到相机被遮挡到遮挡消除有一个过程，比如行人用手在相机前扰动即为遮挡，手移开遮挡即消除，该过程可能反复直至行人远离或停止扰动。所以，有必要等相机画面相对稳定并且保持一段时间再判定为退出遮挡，为此，本发明发明“宽进严出”的策略，设置高低的遮挡比例阈值，使判断结果更加准确，且能够消除外部扰动的影响。
在本发明的一些实施例中，判定相机是否满足退出条件时，若仅以一帧是否满足遮挡退出条件为标准，如果遮挡物是动态的，比如有人用手对相机进行遮挡，手发生晃动，仅确定一帧满足遮挡退出条件，就确定相机退出遮挡，则非常容易造成误判，因此需要判定一定数量的连续帧是否均满足遮挡退出条件，才能确定相机退出遮挡，这保障了遮挡状态监测的稳定性和可靠性。
具体的判定条件为遮挡比例小于遮挡比例低阈值，即r occlusion ＜R occlusion_dissappear ，若一帧图像的满足该判定条件，则对满足退出遮挡条件的图像帧数加一，当满足退出遮挡条件的连续帧图像的数量达到所述第一预设数量N stable ，则确定连续第一数量帧图像满足退出遮挡条件；若当退出遮挡条件的连续帧图像的数量未达到第一预设数量N stable 时，存在一帧图像不满足该判断条件，则对退出遮挡条件的连续帧图像的数量进行重置，重置为0，即重新计数。也就是说，需连续N stable 帧满足退出遮挡条件才判定退出遮挡。在该过程中，若未累计到N stable 帧而出现某一帧不满足退出遮挡条件的情况，则判定相机仍处于遮挡状态，并且相应地累计需从头再来，即从0开始计数，直到连续N stable 帧满足条件，这保障了遮挡状态监测的稳定性和可靠性。
在本发明的另一些实施例中，优选的，可以将退出遮挡条件设置的更严格，其退出遮挡的判定条件为：遮挡比例小于所述遮挡比例低阈值，且帧间差分比例r differernt 小于预设的帧间差分比例阈值R differernt ，即r occlusion ＜R occlusion_dissappear 且r differernt ＜R differernt 。在进行退出遮挡的判定中，额外加入帧间差分r differernt 来判断画面是否相对稳定，能够进一步提高状态判断的准确度。
其中，帧间差分比例r differernt 可通过下述式（3）~式（4）计算确定：
Figure 853952DEST_PATH_IMAGE003
式（3）；
Figure 549376DEST_PATH_IMAGE004
式（4）；
其中，I n (x,y) 、I n-1 (x,y)分别表示当前帧、上一帧像素点(x,y)的像素值，d n (x,y)为当前帧图像帧间差分二值图，V difference 表示图像差分阈值，r differernt 表示帧间差分比例，w、h分别表示当前帧图像的宽和高。
同上述判定条件，在判定过程中，若一帧图像的遮挡比例小于所述遮挡比例低阈值，且帧间差分比例小于预设的帧间差分比例阈值，则对满足退出遮挡条件的图像帧数加一；当满足退出遮挡条件的连续帧图像的数量达到所述第一预设数量，则确定连续第一数量帧图像满足退出遮挡条件；若当退出遮挡条件的连续帧图像的数量未达到第一预设数量N stable 时，存在一帧图像不满足该判断条件，则对退出遮挡条件的连续帧图像的数量进行重置，重置为0，即重新计数。
步骤S140：根据所述第一监测结果，控制所述客流统计的各步骤执行情况，以消除所述相机被遮挡对客流统计结果的影响。
第一监测结果可以反馈到客流统计中的每个步骤，包括行人检测步骤、目标跟踪步骤以及信息统计步骤，从而控制客流统计的各步骤执行情况，如暂停行人检测步骤、目标跟踪步骤以及信息统计步骤中的一个或多个，在遮挡消失后，再恢复客流统计的执行，并且还可以对已经产生的统计结果进行修正，从而消除相机被遮挡对客流统计结果的影响。
在本发明的一些实施例中，所述根据确定的第一监测结果，控制所述客流统计的各步骤执行情况，包括：若所述第一监测结果为所述相机的遮挡状态为非遮挡，则保持执行所述对所述目标图像集进行客流统计的步骤；若所述第一监测结果为所述相机退出遮挡状态，则对所述行人检测步骤以及目标跟踪步骤产生的结果进行重置，并继续执行所述对所述目标图像集进行客流统计的步骤；若确定的第一监测结果为所述相机进入遮挡状态或所述相机的遮挡状态为遮挡，则暂停执行所述对所述目标图像集进行客流统计的步骤。
承前所述，在监测相机的遮挡状态时，可产生如下这四种监测结果：所述相机的遮挡状态为非遮挡、所述相机进入遮挡状态、所述相机退出遮挡状态，以及所述相机的遮挡状态为遮挡。
通过对相机的遮挡状态进行监测，若确定的第一监测结果为所述相机的遮挡状态为非遮挡，则说明相机没有发生遮挡情况，这种情况下，保持正常执行对所述目标图像集进行客流统计的步骤即可。
若确定的第一监测结果为所述相机进入遮挡状态，则说明相机由非遮挡进入遮挡状态或保持所述相机的遮挡状态为遮挡，此时，则说明相机发生异常，即被遮挡，则暂定执行所述对所述目标图像集进行客流统计的步骤，具体的，对客流统计的行人检测步骤、目标跟踪步骤和行人计数步骤均暂停。在另些实施例中，可以同时发出相机遮挡预警信息，提示相机遮挡，比如屏幕显示“相机遮挡（CAMERA OCCLUDED）”或“距离相机过近，请离远一些”等警示文字，或发出声音警报。
若确定的第一监测结果为所述相机退出遮挡状态，则说明相机镜头前的遮挡物被移除，可恢复到正常的客流统计的步骤，在恢复的过程中，由于监测到状态变化需要一个过程，由于遮挡已经导致行人检测和/或目标跟踪的步骤产生的结果不准确，因此可对行人检测和/或目标跟踪的步骤进行适当的状态重置，重置后继续行人检测、目标跟踪和行人计数。具体地，若行人检测在检测过程中会记录并使用上一帧检测结果，则所述对行人检测进行状态重置包括将上一帧检测结果重置，所谓重置即将监测的目标清零；所述对目标跟踪模块进行状态重置包括将跟踪对象列表清零。
从图1所示的方法可以看出，本发明通过在客流统计中，植入相机的遮挡状态监测方法，并通过相机的遮挡状态监测结果，对客流统计的个步骤的执行情况进行控制，若发现相机有被遮挡的情况，可暂停客流统计的步骤，并对客流统计结果进行修正，以消除所述相机被遮挡对客流统计结果的影响。本发明基于遮挡状态监测结果对客流统计过程进行控制，能够极大限度地避免相机遮挡带来负面影响，提高客流统计的准确性和可靠性。
在本发明的一些实施例中，在上述方法中，所述行人检测步骤包括：预处理子步骤、背景建模组子步骤以及聚类及统计子步骤；在所述联合所述相机的历史遮挡状态、以及各帧图像的遮挡比例与所述遮挡比例阈值的相对大小，监测所述相机的遮挡状态，确定所述第一监测结果的步骤之前，所述客流统计方法还包括：根据各帧图像的遮挡比例，以及所述遮挡比例低阈值，监测所述相机的稳定状态，确定第二监测结果；根据所述第二监测结果，控制所述背景建模组子步骤中背景区域和/或前景区域的更新情况，以消除所述相机被干扰对客流统计结果的影响。
本发明推荐利用背景建模的行人检测方法，主要包括预处理子步骤、背景建模组子步骤以及聚类及统计子步骤，其中，所述预处理子步骤包括：对于所述目标图像集中的一帧目标图像，对该帧目标图像进行预处理；所述背景建模组子步骤包括：基于背景建模方法，建立所述目标图像的背景区域和前景区域，并更新所述目标图像的历史背景区域和/或历史前景区域，所述历史背景区域和所述历史前景区域为上一轮次执行所述行人检测步骤时建立的；所述聚类及统计子步骤包括：对所述前景区域进行聚类，得到若干个簇集合，并根据得到的簇集合，确定行人检测结果。
以下对行人检测进行具体的说明，如对目标帧图像进行预处理包括下采样和/或格式转换，还包括对预处理后的图像进行阈值选通。下采样和/或格式转换包括但不限于，若深度图像分辨率较大，则对原始深度图像进行下采样（即缩小）。然后对预处理后的图像进行阈值选通，设定阈值范围[I min ，I max ]，将超过阈值范围的像素值置为0。I min 、I max 根据应用需求和实际场景而定，例如设置I min 为5，I max 为250。
通过背景建模获取画面运动区域，可采用CodeBook（一种码本算法）或LOBSTER算法进行背景建模得到画面运动区域，画面的运动区域为前景区域，其余部分为背景区域。在每一次新的一轮检测的时候，需要更新前景区域和背景区域。
然后对所得运动区域，即前景区域进行聚类，所述聚类（也可称为区域生长）包括掩膜（mask）初始化和执行聚类两个步骤。其中，掩膜（mask）初始化包括制作一个和预处理后图像同等分辨率的图像掩膜用以标记像素是否有效。具体地，将所得运动区域（前景）对应像素标记为有效，其余区域（背景）置为无效。进一步，将掩膜的上、下、左、右边界像素都置为无效，这样，在执行聚类时避免对每个像素进行边界校验，提高效率。
然后执行聚类得到候选人体区域集合，根据图像掩膜和预处理后的图像，对所有有效的像素进行聚类得到簇集合，即为候选人体区域集合。具体地，对于任意已在簇集合中的一个像素A，遍历其邻域像素，对任意一个有效的邻域像素N i ，若N i 与A的像素值之差的绝对值小于设定的簇内相似度阈值S，则将N i 加入到A所在的簇集合中，否则新建一个簇集合并将N i 加入其中并继续聚类。
最后，根据得到的簇集合计算人体检测结果，所述人体检测结果包括多个识别框，在这些识别框中可以为人体区域集合（即聚类所得的簇集合）和人体包围盒集合，在另一些实施例中，识别框中还可以为人头顶点集合。具体计算步骤为求得所有簇集合的包围盒，具体的，遍历所有簇集合，对每个簇集合，求其AABB包围盒，将其作为该簇集合的识别框。求AABB包围盒的过程为：遍历簇集合的所有像素，求得簇集合中像素x、y坐标最小值、最大值：x min 、y min 、x max 、y max ，即可确定相应的包围盒矩形，该矩形即为目标识别框。
考虑到相机从正常状态到判定为遮挡有一个过程并且只有当超过一定程度才会被判定为遮挡，而在被判定为遮挡前的一段时间，相机已经受到了人为的扰动，相应的检测、计数功能虽不至于完全失效，但精度也会受到一定的影响。为此，本发明在进行相机遮挡状态监测之前还输出一个相机是否稳定的指标，即相机稳定状态S stable ，该指标可以表征相机是否受到扰动，其程度比遮挡要弱，但仍可以用来辅助客流统计装置灵活调整状态，比如当相机被扰动时完全或部分停止背景模型的更新，以降低扰动带来的负面影响。
具体的，在所述联合所述相机的历史遮挡状态、以及各帧图像的遮挡比例与所述遮挡比例阈值的相对大小，监测所述相机的遮挡状态，确定所述第一监测结果的步骤之前，可根据所述各帧图像的遮挡比例，以及预设的遮挡比例阈值，确定所述相机的稳定状态，如若一帧图像的遮挡比例小于所述遮挡比例低阈值，则确定所述相机的稳定状态为稳定；否则，则确定所述相机的稳定状态为不稳定。
需要说明的是，不稳定状态的判定条件相对遮挡状态的判定条件通常是较为宽松的，是在执行判断相机是否进入遮挡状态之前执行的步骤。以相机从稳定状态进入遮挡并退出遮挡为例，其依次经历的过程为：稳定、不稳定、-进入遮挡、保持遮挡、退出遮挡、非遮挡。
上述方法中预设的各种阈值具体取值依照实际情形实验而定，作为本发明一个优选实施例，设置遮挡像素阈值V occlusion 取值为25，遮挡比例高阈值R occlusion_appear 取值为0.15，遮挡比例低阈值R occlusion_dissappear 取值为0.03，图像差分阈值V difference 取值为5，图像差分比例R difference 取值为0.175，场景稳定帧数阈值N stable 取值为30。本发明所提及的深度图可以是16bit也可以是8bit，具体不做限定，上述取值为映射至8bit后的建议取值。
对目标图像集进行稳定状态监测得到的监测结果记为第二监测结果，根据该结果，可控制所述背景建模组子步骤中背景区域的更新情况，以消除所述相机被干扰对客流统计结果的影响。所谓“干扰”可以理解包括对相机稳定性影响较小的抖动，瞬间的遮挡等。
若相机被干扰，即监测出不稳定状态，可对根据控制所述背景建模组子步骤中背景区域的更新与否，来消除这种干扰带来的不利影响。具体的，在本发明的一些实施例中，若所述相机的稳定状态为稳定，则正常执行所述背景建模组子步骤；若所述相机的稳定状态为不稳定，则所述背景建模组子步骤包括：基于背景建模方法，建立所述目标图像中的前景区域，并更新所述目标图像的历史前景区域。即当相机的稳定状态S stable 为稳定时，则正常地进行背景建模；而当相机的稳定状态S stable 为不稳定时，则仅根据背景模型输出的前景区域（运动区域）更新，但不对背景模型进行更新。这样能够有效避免背景建模中加入扰动信息，减少相机扰动对检测结果带来的负面影响。
在本发明的一些实施例中，在上述方法中，所述方客流统计方法还包括：根据遮挡像素二值图将当前帧图像分割为扰动区域和非扰动区域，其中所述当前帧图像与所述遮挡像素二值图的前景对应的部分为扰动区域，其它部分为非扰动区域；根据所述第二监测结果，控制所述背景建模组子步骤中背景区域和/或前景区域的更新情况，包括：若所述相机的稳定状态为不稳定，则所述背景建模组子步骤包括：基于背景建模方法，根据所述非扰动区域建立所述目标图像中的背景区域，并更新所述目标图像的历史背景区域。
请参考前述式（1），以遮挡像素二值图为掩膜（mask），将当前帧图像分为扰动区域和非扰动区域，其中像素值为1（前景区域）的区域为扰动区域，其他为非扰动区域，当所述相机的稳定状态S stable 为不稳定时，扰动区域像素不参与背景建模与更新，而非扰动区域像素可以参与背景建模与更新，即在建立模型时，根据所述非扰动区域建立目标图像中的背景区域，并更新所述目标图像的历史背景区域。通过区分扰动区域和非扰动区域，实现更精细、合理地控制，提高了行人检测的准确性和可靠性。
在本发明的一些实施例中，上述方法还包括：当所述相机的稳定状态由稳定转换为不稳定，则对所述客流统计结果中，转换时刻后出现的新增目标进行标记；若所述相机由不稳定依次转换为遮挡和退出遮挡，则将所述客流统计结果中带有标记的目标移除；若所述相机由不稳定恢复至稳定，则移除所述新增目标的标记。
为了进一步提高客流统计结果的精准性，可结合相机稳定状态S stable 和相机遮挡状态S occlusion 对统计结果予以修正：当相机的稳定状态S stable 由稳定转为不稳定时，即检测到相机受到扰动时，对该时间点之后的新增行人计数结果予以标记，若后续相机由不稳定转至遮挡并最终退出遮挡，则将所述标记的计数从统计结果中减除；而若相机由不稳定恢复至稳定状态而未发生遮挡，则移除所述标记，相应的计数不做修改，即无需修正。
图2示出了根据本发明的另一个实施例的客流统计方法的流程示意图；
获取目标图像集，并计算各帧图像的遮挡比例和帧间差分比例。
设置各种阈值，包括：遮挡比例高阈值、遮挡比例低阈值、帧间差分比例阈值。
判断当前帧图像的遮挡比例是否小于遮挡比例低阈值，若否，则保持相机的遮挡状态为非遮挡；若是，则确定相机的额稳定状态为不稳定，并进入读取相机的历史遮挡状态，并根据各帧图像的遮挡比例、帧间差分比例以及设置的各种阈值，判断相机的遮挡状态的流程。
若所述历史遮挡状态为非遮挡，且所述遮挡比例小于所述遮挡比例低阈值，则保持所述相机的遮挡状态为非遮挡；若所述历史遮挡状态为非遮挡，且所述遮挡比例大于所述遮挡比例高阈值，则确定所述相机进入遮挡状态，并将所述相机的遮挡状态置为遮挡；若所述历史遮挡状态为遮挡，且连续第一预设数量帧图像满足退出遮挡条件，则确定所述相机退出遮挡状态，并将所述相机的遮挡状态置为非遮挡；若所述历史遮挡状态为遮挡且不满足退出遮挡条件，则保持所述相机的遮挡状态为遮挡。
同时执行客流统计方法，所述客流统计包括行人检测步骤、目标跟踪步骤以及信息统计步骤。
若确定的第一监测结果为保持所述相机的遮挡状态为非遮挡，则保持执行所述对所述目标图像集进行客流统计的步骤；
若确定的第一监测结果为所述相机进入遮挡状态或保持所述相机的遮挡状态为遮挡，则暂定执行所述对所述目标图像集进行客流统计的步骤，并发出相机遮挡预警信息；
若确定的第一监测结果为所述相机退出遮挡状态，则对所述行人检测步骤以及目标跟踪步骤产生的结果进行重置，并继续执行所述对所述目标图像集进行客流统计的步骤。
然后进入下一轮次的判定流程中。
图3示出了根据本发明的另一个实施例的客流统计装置的结构示意图，从图3可以看出，客流统计装置300包括：
获取单元310，用于获取目标图像集，所述目标图像集包括相机拍摄的连续多帧图像；
统计单元320，用于对所述目标图像集进行客流统计，其中统计单元320包括行人检测模块、目标跟踪模块和信息统计模块，分别用于执行行人检测步骤、目标跟踪步骤以及信息统计步骤；
状态监测单元330，用于根据所述相机的历史遮挡状态、以及各帧图像的像素信息，监测所述相机的遮挡状态，确定第一监测结果；并根据所述第一监测结果更新所述相机的遮挡状态；
反馈单元340，用于根据所述第一监测结果，控制所述客流统计的各步骤执行情况，以消除所述相机被遮挡对客流统计结果的影响。
在本发明的一些实施例中，在上述装置中，状态监测单元330，用于读取预设的遮挡比例阈值，其中，所述遮挡比例阈值包括遮挡比例高阈值和遮挡比例低阈值；根据所述目标图像集中各帧图像的像素值，确定各帧图像的遮挡比例；读取所述相机的历史遮挡状态，所述历史遮挡状态为上一轮次确定的相机的遮挡状态；联合所述相机的历史遮挡状态、以及各帧图像的遮挡比例与所述遮挡比例阈值的相对大小，监测所述相机的遮挡状态，确定所述第一监测结果。
在本发明的一些实施例中，在上述装置中，状态监测单元330，用于若读取到的历史遮挡状态为非遮挡，且当前帧的遮挡比例小于所述遮挡比例低阈值，则确定所述第一监测结果为：所述相机的遮挡状态为非遮挡；且所述根据所述第一监测结果更新所述相机的遮挡状态包括：保持所述相机的遮挡状态为非遮挡；若读取到的历史遮挡状态为遮挡，且连续第一预设数量帧图像满足退出遮挡条件，则确定所述第一监测结果为：所述相机退出遮挡状态；且所述根据所述第一监测结果更新所述相机的遮挡状态包括：将所述相机的遮挡状态置为非遮挡。
在本发明的一些实施例中，在上述装置中，反馈单元340，用于若所述第一监测结果为所述相机的遮挡状态为非遮挡，则保持执行所述对所述目标图像集进行客流统计的步骤；若所述第一监测结果为所述相机退出遮挡状态，则对所述行人检测步骤以及目标跟踪步骤产生的结果进行重置，并继续执行所述对所述目标图像集进行客流统计的步骤。
在本发明的一些实施例中，在上述装置中，状态监测单元330，用于若读取到的历史遮挡状态为非遮挡，且当前帧的遮挡比例大于所述遮挡比例高阈值，则确定所述第一监测结果为：所述相机进入遮挡状态；且所述根据所述第一监测结果更新所述相机的遮挡状态包括：将所述相机的遮挡状态置为遮挡；若读取到的历史遮挡状态为遮挡且不满足退出遮挡条件，则确定所述第一监测结果为：所述相机的遮挡状态为遮挡，且所述根据所述第一监测结果更新所述相机的遮挡状态包括：保持所述相机的遮挡状态为遮挡。
在本发明的一些实施例中，在上述装置中，反馈单元340，用于若确定的第一监测结果为所述相机进入遮挡状态或所述相机的遮挡状态为遮挡，则暂停执行所述对所述目标图像集进行客流统计的步骤。
在本发明的一些实施例中，在上述装置中，反馈单元340，还用于通过指定途径发送相机遮挡预警信息。
在本发明的一些实施例中，在上述装置中，所述各帧图像的遮挡比例是根据下述式（1）~式（2）确定的：
Figure 259843DEST_PATH_IMAGE005
式（1）；
Figure 3808DEST_PATH_IMAGE006
式（2）；
其中，I(x,y)表示当前帧图像中各像素点的像素值，f(x,y)表示当前帧图像遮挡像素二值图，V occlusion表示遮挡像素阈值，r occlusion 表示遮挡比例，w、h分别为当前帧图像的宽和高。
在本发明的一些实施例中，在上述装置中，状态监测单元330，用于若一帧图像的遮挡比例小于所述遮挡比例低阈值，则对满足退出遮挡条件的图像帧数加一；当满足退出遮挡条件的连续帧图像的数量达到所述第一预设数量，则确定连续第一数量帧图像满足退出遮挡条件。
在本发明的一些实施例中，在上述装置中，状态监测单元330，用于若一帧图像的遮挡比例小于所述遮挡比例低阈值，且帧间差分比例小于预设的帧间差分比例阈值，则对满足退出遮挡条件的图像帧数加一；
当满足退出遮挡条件的连续帧图像的数量达到所述第一预设数量，则确定连续第一数量帧图像满足退出遮挡条件。
在本发明的一些实施例中，在上述装置中，各帧图像的帧间差分比例是根据下述的式（3）~式（4）确定的：
Figure 850541DEST_PATH_IMAGE007
式（3）；
Figure 153084DEST_PATH_IMAGE008
式（4）；
其中，I n (x,y)、I n-1 (x,y)分别表示当前帧、上一帧像素点(x,y)的像素值，d n (x,y)为当前帧图像帧间差分二值图，V difference 表示图像差分阈值，r differernt 表示帧间差分比例，w、h分别表示当前帧图像的宽和高。
在本发明的一些实施例中，在上述装置中，所述行人检测步骤包括：预处理子步骤、背景建模组子步骤以及聚类及统计子步骤；状态监测单元330，用于在所述联合所述相机的历史遮挡状态、以及各帧图像的遮挡比例与所述遮挡比例阈值的相对大小，监测所述相机的遮挡状态，确定所述第一监测结果之前，根据各帧图像的遮挡比例，以及所述遮挡比例低阈值，监测所述相机的稳定状态，确定第二监测结果；反馈单元340，还用于根据所述第二监测结果，控制所述背景建模组子步骤中背景区域和/或前景区域的更新情况，以消除所述相机被干扰对客流统计结果的影响。
在本发明的一些实施例中，在上述装置中，反馈单元340，还用于当所述相机的稳定状态由稳定转换为不稳定，则对所述客流统计结果中，转化时刻后出现的新增目标进行标记；若所述相机由不稳定依次转换为遮挡和退出遮挡，则将所述客流统计结果中带有标记的目标移除；若所述相机的稳定状态由不稳定恢复至稳定，则移除所述新增目标的标记。
在本发明的一些实施例中，在上述装置中，所述预处理子模块，用于对于所述目标图像集中的一帧目标图像，对该帧目标图像进行预处理；所述背景建模组子模块，用于基于背景建模方法，建立所述目标图像的背景区域和前景区域，并更新所述目标图像的历史背景区域和/或历史前景区域，所述历史背景区域和所述历史前景区域为上一轮次执行所述行人检测步骤时建立的；所述聚类及统计子模块，用于对所述前景区域进行聚类，得到若干个簇集合，并根据得到的簇集合，确定行人检测结果。
在本发明的一些实施例中，在上述装置中，所述遮挡比例阈值包括遮挡比例低阈值；状态监测单元330，用于若一帧图像的遮挡比例小于所述遮挡比例低阈值，则确定所述第二监测结果为：所述相机的稳定状态为稳定；否则，则确定所述第二监测结果为：所述相机的稳定状态为不稳定。
在本发明的一些实施例中，在上述装置中，反馈单元340，用于若所述相机的稳定状态为稳定，则正常执行所述背景建模组子步骤；若所述相机的稳定状态为不稳定，则所述背景建模组子步骤包括：基于背景建模方法，建立所述目标图像中的前景区域，并更新所述目标图像的历史前景区域。
在本发明的一些实施例中，在上述装置中，统计单元320，还用于根据遮挡像素二值图将当前帧图像分割为扰动区域和非扰动区域，其中所述当前帧图像与所述遮挡像素二值图的前景对应的部分为扰动区域，其它部分为非扰动区域；反馈单元340，用于若所述相机的稳定状态为不稳定，则所述背景建模组子步骤包括：基于背景建模方法，根据所述非扰动区域建立所述目标图像中的背景区域，并更新所述目标图像的历史背景区域。
能够理解，上述客流统计装置，能够实现前述实施例中提供的客流统计方法的各个步骤，关于客流统计方法的相关阐释均适用于客流统计装置，此处不再赘述。
图4-a示出了根据本发明的一个实施例的一帧经过预处理的目标图像；图4-b示出了对图4-a中画面进行遮挡的效果图；图4-c示出了根据现有技术对图4-a进行背景建模得到的运动区域的效果图；图4-d示出了根据现有技术对图4-b进行背景建模得到的运动区域的效果图；图4-e示出了根据本发明技术对图4-b进行背景建模得到的运动区域的效果图；图4-f示出了根据现有技术对图4-e进行遮挡状态监测的效果图，图4-g示出了根据4-d进行客流统计得到的效果图；图4-h示出了4-f进行客流统计得到的效果图。
从图4-a、图4-b可以看出相机受到手部遮挡，手部区域颜色很深（表示离相机很近），不仅手部区域受到影响外，手部周围也受到干扰，这种情况下已不适合再继续进行行人检测和计数；由图4-c、图4-d和图4-e可以看出，运动区域包括手部区域和大片手部之外的区域，但均非人体区域，这对检测结果很不利；由图4-e可以看出得出的运动区域更干净，由图4-g可以看出，受遮挡影响，行人检测出现大量误检，相应的计数也出现大量误计；经本发明方法处理得到的图4-h，由于在检测到相机扰动时即停止背景更新；当遮挡发生时，行人检测和计数均暂停，及时避免了误检、误计，并在画面中提示遮挡信息，得到了更加准确的结果。
图5示出了根据本发明的一个实施例的智能终端的结构示意图，从图5可以看出，智能终端500部署有上述的客流统计装置300，用来实现本发明前述任一的方法。智能终端可以是具有深度图像或彩色图像拍摄功能的电子设备，如相机、深度客流相机、等等，可将智能终端安装在目标区域的指定位置，以便于对目标区域进行拍摄。
图6示出了根据本发明的一个实施例的客流统计系统的结构示意图，从图6可以看出，所述客流统计系统600包括统计服务器610和若干个智能终端500，各所述智能终端500与所述统计服务器610通信连接；其中，所述统计服务器610部署有前述任一所述的客流统计装置300，所述智能终端500，用于采集目标图像集，并将得到的目标图像集发送至统计服务器610，统计服务器610根据接收的目标图像集执行前述任一的方法，以进行客流统计。
由图5和图6可以看出，客流统计装置300可部署于智能终端，也可以部署统计服务器，对此本发明不作限定，可根据实际需要以及智能终端和统计服务器的算力决定。
图7是本发明的一个实施例电子设备的结构示意图。请参考图7，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成客流统计装置。处理器，执行存储器所存放的程序，并具体用于执行上述方法。
上述如本发明图3所示实施例揭示的客流统计装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图3中客流统计装置执行的方法，并实现客流统计装置在图5或6所示实施例的功能，本发明实施例在此不再赘述。
本发明实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图3所示实施例中客流统计装置执行的方法，并具体用于执行前述方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (19)

1.一种客流统计方法，其特征在于，所述方法包括：
获取目标图像集，所述目标图像集包括相机拍摄的连续多帧图像；
对所述目标图像集进行客流统计，所述客流统计包括行人检测步骤、目标跟踪步骤以及信息统计步骤；
根据所述相机的历史遮挡状态、以及各帧图像的像素信息，监测所述相机的遮挡状态，确定第一监测结果；并根据所述第一监测结果更新所述相机的遮挡状态；
根据所述第一监测结果，控制所述客流统计的各步骤执行情况，以消除所述相机被遮挡对客流统计结果的影响；
其中，所述根据所述相机的历史遮挡状态、各帧图像的像素信息，监测所述相机的遮挡状态，包括：
读取预设的遮挡比例阈值，其中，所述遮挡比例阈值包括遮挡比例高阈值和遮挡比例低阈值；
根据所述目标图像集中各帧图像的像素值，确定各帧图像的遮挡比例；
读取所述相机的历史遮挡状态，所述历史遮挡状态为上一轮次确定的相机的遮挡状态；
联合所述相机的历史遮挡状态、以及各帧图像的遮挡比例与所述遮挡比例阈值的相对大小，监测所述相机的遮挡状态，确定所述第一监测结果。
2.根据权利要求1所述的方法，其特征在于，所述联合所述相机的历史遮挡状态、以及各帧图像的遮挡比例与所述遮挡比例阈值的相对大小，监测所述相机的遮挡状态，确定所述第一监测结果，包括：
若读取到的历史遮挡状态为非遮挡，且当前帧的遮挡比例小于所述遮挡比例低阈值，则确定所述第一监测结果为：所述相机的遮挡状态为非遮挡；且所述根据所述第一监测结果更新所述相机的遮挡状态包括：保持所述相机的遮挡状态为非遮挡；
若读取到的历史遮挡状态为遮挡，且连续第一预设数量帧图像满足退出遮挡条件，则确定所述第一监测结果为：所述相机退出遮挡状态；且所述根据所述第一监测结果更新所述相机的遮挡状态包括：将所述相机的遮挡状态置为非遮挡。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一监测结果，控制所述客流统计的各步骤执行情况，包括：
若所述第一监测结果为所述相机的遮挡状态为非遮挡，则保持执行所述对所述目标图像集进行客流统计的步骤；
若所述第一监测结果为所述相机退出遮挡状态，则对所述行人检测步骤以及目标跟踪步骤产生的结果进行重置，并继续执行所述对所述目标图像集进行客流统计的步骤。
4.根据权利要求1所述的方法，其特征在于，所述联合所述相机的历史遮挡状态、以及各帧图像的遮挡比例与所述遮挡比例阈值的相对大小，监测所述相机的遮挡状态，确定所述第一监测结果，包括：
若读取到的历史遮挡状态为非遮挡，且当前帧的遮挡比例大于所述遮挡比例高阈值，则确定所述第一监测结果为：所述相机进入遮挡状态；且所述根据所述第一监测结果更新所述相机的遮挡状态包括：将所述相机的遮挡状态置为遮挡；
若读取到的历史遮挡状态为遮挡且不满足退出遮挡条件，则确定所述第一监测结果为：所述相机的遮挡状态为遮挡，且所述根据所述第一监测结果更新所述相机的遮挡状态包括：保持所述相机的遮挡状态为遮挡。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一监测结果，控制所述客流统计的各步骤执行情况，包括：
若确定的第一监测结果为所述相机进入遮挡状态或所述相机的遮挡状态为遮挡，则暂停执行所述对所述目标图像集进行客流统计的步骤。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一监测结果，控制所述客流统计的各步骤执行情况，还包括：
通过指定途径发送相机遮挡预警信息。
7.根据权利要求1所述的方法，其特征在于，所述各帧图像的遮挡比例是根据下述式（1）~式（2）确定的：
Figure 664118DEST_PATH_IMAGE001
式（1）；
Figure 128598DEST_PATH_IMAGE002
式（2）；
其中，I(x,y)表示当前帧图像中各像素点的像素值，f(x,y)表示当前帧图像遮挡像素二值图，V occlusion表示遮挡像素阈值，r occlusion 表示遮挡比例，w、h分别为当前帧图像的宽和高。
8.根据权利要求2所述的方法，其特征在于，若一帧图像的遮挡比例小于所述遮挡比例低阈值，则对满足退出遮挡条件的图像帧数加一；
当满足退出遮挡条件的连续帧图像的数量达到所述第一预设数量，则确定连续第一数量帧图像满足退出遮挡条件。
9.根据权利要求2所述的方法，其特征在于，若一帧图像的遮挡比例小于所述遮挡比例低阈值，且帧间差分比例小于预设的帧间差分比例阈值，则对满足退出遮挡条件的图像帧数加一；
当满足退出遮挡条件的连续帧图像的数量达到所述第一预设数量，则确定连续第一数量帧图像满足退出遮挡条件。
10.根据权利要求9所述的方法，其特征在于，各帧图像的帧间差分比例是根据下述的式（3）~式（4）确定的：
Figure 739DEST_PATH_IMAGE003
式（3）；
Figure 462944DEST_PATH_IMAGE004
式（4）；
其中，I n (x,y)、I n-1 (x,y) 分别表示当前帧、上一帧像素点(x,y)的像素值，d n (x,y)为当前帧图像帧间差分二值图，w、h分别表示图像的宽和高。
11.根据权利要求1所述的方法，其特征在于，所述行人检测步骤包括：预处理子步骤、背景建模组子步骤以及聚类及统计子步骤；
在所述联合所述相机的历史遮挡状态、以及各帧图像的遮挡比例与所述遮挡比例阈值的相对大小，监测所述相机的遮挡状态，确定所述第一监测结果之前，所述方法还包括：
根据各帧图像的遮挡比例，以及所述遮挡比例低阈值，监测所述相机的稳定状态，确定第二监测结果；
根据所述第二监测结果，控制所述背景建模组子步骤中背景区域和/或前景区域的更新情况，以消除所述相机被干扰对客流统计结果的影响。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
当所述相机的稳定状态由稳定转换为不稳定，则对所述客流统计结果中，转化时刻后出现的新增目标进行标记；
若所述相机由不稳定依次转换为遮挡和退出遮挡，则将所述客流统计结果中带有标记的目标移除；
若所述相机的稳定状态由不稳定恢复至稳定，则移除所述新增目标的标记。
13.根据权利要求11所述的方法，其特征在于，
所述预处理子步骤包括：对于所述目标图像集中的一帧目标图像，对该帧目标图像进行预处理；
所述背景建模组子步骤包括：基于背景建模方法，建立所述目标图像的背景区域和前景区域，并更新所述目标图像的历史背景区域和/或历史前景区域，所述历史背景区域和所述历史前景区域为上一轮次执行所述行人检测步骤时建立的；
所述聚类及统计子步骤包括：对所述前景区域进行聚类，得到若干个簇集合，并根据得到的簇集合，确定行人检测结果。
14.根据权利要求12所述的方法，其特征在于，所述遮挡比例阈值包括遮挡比例低阈值；
根据各帧图像的遮挡比例，以及所述遮挡比例低阈值，监测所述相机的稳定状态，确定第二监测结果，包括：
若一帧图像的遮挡比例小于所述遮挡比例低阈值，则确定所述第二监测结果为：所述相机的稳定状态为稳定；否则，则确定所述第二监测结果为：所述相机的稳定状态为不稳定。
15.根据权利要求12所述的方法，其特征在于，所述根据确定的第二监测结果，控制所述背景建模组子步骤中背景区域的更新情况，包括：
若所述相机的稳定状态为稳定，则正常执行所述背景建模组子步骤；
若所述相机的稳定状态为不稳定，则所述背景建模组子步骤包括：基于背景建模方法，建立所述目标图像中的前景区域，并更新所述目标图像的历史前景区域。
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：
根据遮挡像素二值图将当前帧图像分割为扰动区域和非扰动区域，其中所述当前帧图像与所述遮挡像素二值图的前景对应的部分为扰动区域，其它部分为非扰动区域；
所述根据确定的第二监测结果，控制所述背景建模组子步骤中背景区域的更新情况，包括：
若所述相机的稳定状态为不稳定，则所述背景建模组子步骤包括：基于背景建模方法，根据所述非扰动区域建立所述目标图像中的背景区域，并更新所述目标图像的历史背景区域。
17.一种客流统计装置，其特征在于，所述装置包括：
获取单元，用于获取目标图像集，所述目标图像集包括相机拍摄的连续多帧图像；
统计单元，用于对所述目标图像集进行客流统计，所述客流统计包括行人检测步骤、目标跟踪步骤以及信息统计步骤；
状态监测单元，用于根据所述相机的历史遮挡状态、各帧图像的像素信息，监测所述相机的遮挡状态，确定第一监测结果；并根据所述第一监测结果更新所述相机的遮挡状态；
反馈单元，用于根据确定的第一监测结果，控制所述客流统计的各步骤执行情况，以消除所述相机被遮挡对客流统计结果的影响；
所述状态监测单元，用于读取预设的遮挡比例阈值，其中，所述遮挡比例阈值包括遮挡比例高阈值和遮挡比例低阈值；根据所述目标图像集中各帧图像的像素值，确定各帧图像的遮挡比例；读取所述相机的历史遮挡状态，所述历史遮挡状态为上一轮次确定的相机的遮挡状态；联合所述相机的历史遮挡状态、以及各帧图像的遮挡比例与所述遮挡比例阈值的相对大小，监测所述相机的遮挡状态，确定所述第一监测结果。
18.一种客流统计系统，其特征在于，所述系统包括统计服务器和若干个采集终端，各所述采集终端与所述统计服务器通信连接；其中，所述统计服务器部署有权利要求17所述的客流统计装置；
所述采集终端，用于采集目标图像集，并将得到的目标图像集发送至所述统计服务器。
19.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1~16任一项所述方法。
CN202210882403.8A 2022-07-26 2022-07-26 客流统计方法、装置、系统及介质 Active CN114943938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210882403.8A CN114943938B (zh) 2022-07-26 2022-07-26 客流统计方法、装置、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210882403.8A CN114943938B (zh) 2022-07-26 2022-07-26 客流统计方法、装置、系统及介质

Publications (2)

Publication Number Publication Date
CN114943938A CN114943938A (zh) 2022-08-26
CN114943938B true CN114943938B (zh) 2022-11-15

Family

ID=82910214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210882403.8A Active CN114943938B (zh) 2022-07-26 2022-07-26 客流统计方法、装置、系统及介质

Country Status (1)

Country Link
CN (1) CN114943938B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927262A (zh) * 2021-03-22 2021-06-08 瓴盛科技有限公司 一种基于视频的相机镜头遮挡检测方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986142A (zh) * 2018-07-14 2018-12-11 李军 基于置信图峰值旁瓣比优化的遮挡目标跟踪方法
CN112348784A (zh) * 2020-10-28 2021-02-09 北京市商汤科技开发有限公司 相机镜头的状态检测方法、装置、设备及存储介质
CN113436228B (zh) * 2021-06-22 2024-01-23 中科芯集成电路有限公司 一种相关滤波目标跟踪算法的抗遮挡及目标重捕方法
CN113822223A (zh) * 2021-10-12 2021-12-21 精英数智科技股份有限公司 一种用于检测摄像头被遮挡移动的方法及装置
CN114782984B (zh) * 2022-03-25 2022-11-25 珠海视熙科技有限公司 一种基于tof相机的坐姿识别遮挡判定方法及智能台灯
CN114758300A (zh) * 2022-04-26 2022-07-15 北京佳服信息科技有限公司 场景恶意遮挡的判断方法、装置、设备及可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927262A (zh) * 2021-03-22 2021-06-08 瓴盛科技有限公司 一种基于视频的相机镜头遮挡检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Anti-occlusion Video Target Tracking Based on Double Threshold Judgment;Ying Zhang et al.;《Advances in Intelligent Systems and Computing 1074》;20201221;第290-296页 *

Also Published As

Publication number Publication date
CN114943938A (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN106960446B (zh) 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN110807377B (zh) 目标跟踪和入侵检测方法、装置、及存储介质
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US8494267B2 (en) Image processing device, image processing method, and program for normalizing a histogram
CN111444854B (zh) 异常事件检测方法、相关设备及可读存储介质
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
US20180260964A1 (en) System and method for detecting moving object in an image
CN107563299B (zh) 一种利用ReCNN融合上下文信息的行人检测方法
CN107295296B (zh) 一种监控视频选择性存储与恢复方法及系统
CN113313626A (zh) 图像处理方法、装置、电子设备及存储介质
CN110874953B (zh) 区域报警方法、装置、电子设备及可读存储介质
CN112417955A (zh) 巡检视频流处理方法及装置
CN112927262B (zh) 一种基于视频的相机镜头遮挡检测方法及系统
CN111179302A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN115830513A (zh) 一种图像场景变化确定的方法、装置、系统及存储介质
CN114022468B (zh) 一种安防监控中物品遗留丢失检测方法
EP3281174B1 (en) System and method for identifying an object in an image
CN114943938B (zh) 客流统计方法、装置、系统及介质
CN107066929B (zh) 一种融合多种特征的高速公路隧道停车事件分级识别方法
CN113936242B (zh) 一种视频图像干扰检测方法、系统、设备以及介质
CN111754550A (zh) 一种农机运动状态下动态障碍物检测方法及装置
CN111860161B (zh) 一种目标遮挡检测方法
CN110782425A (zh) 图像处理方法、图像处理装置和电子设备
CN115311217B (zh) 相机镜头遮挡的监测方法、装置、系统及介质
CN112085002A (zh) 人像分割方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant