CN104217419B - 人体检测装置及方法与人体计数装置及方法 - Google Patents

人体检测装置及方法与人体计数装置及方法 Download PDF

Info

Publication number
CN104217419B
CN104217419B CN201410234167.4A CN201410234167A CN104217419B CN 104217419 B CN104217419 B CN 104217419B CN 201410234167 A CN201410234167 A CN 201410234167A CN 104217419 B CN104217419 B CN 104217419B
Authority
CN
China
Prior art keywords
moving body
arena
human body
accuracy
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410234167.4A
Other languages
English (en)
Other versions
CN104217419A (zh
Inventor
许畯熙
金锺沆
李政宣
权姸希
李相鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung SDS Co Ltd
Original Assignee
Samsung SDS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung SDS Co Ltd filed Critical Samsung SDS Co Ltd
Publication of CN104217419A publication Critical patent/CN104217419A/zh
Application granted granted Critical
Publication of CN104217419B publication Critical patent/CN104217419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及利用图像拍摄装置所拍摄的图像对人进行精确的检测及计数的人体检测装置及方法与人体计数装置及方法。根据本发明第一方面的人体计数装置，可以包括：接收部，接收图像拍摄装置拍摄的包含出入口的图像；线条设定部，在所述出入口设定假想的线条(Line)即入场线(Inline)，并且以将所述入场线为一侧而形成特定区域的方式设定假想的线条即退场线(Outline)；检测部，从所接收的所述图像中检测出相应于人体的移动体；跟踪部，对检测出的所述移动体中的每一个跟踪动作；以及计数部，利用所述移动体的所跟踪到的动作，判断所述移动体是否通过所述入场线以及是否通过所述退场线，并基于所述判断得到的通过与否对人进行计数。

Description

人体检测装置及方法与人体计数装置及方法
技术领域
本发明涉及人体检测装置及方法与人体计数装置及方法。更具体来讲，本发明涉及利用CCTV等图像拍摄装置所拍摄的图像来对入场和退场的人进行计数的人体计数装置及方法。
背景技术
进入店面的人数即人体计数(People Counting)是测定营销中的重要因素之一即收敛比(Convergence Ratio)的重要指标，但目前是通过手工操作来实现人体计数。通过人的肉眼执行的人体计数存在花费很多时间和人工费，还无法保障计数精确性的问题。
人体计数不仅利用为卖场管理或营销的因素，而且在各种领域可得到广泛利用。因此，有必要开发出自动化且精确度高的人体计数计算法。
发明内容
本发明要解决的技术课题是提供一种利用图像拍摄装置所拍摄的图像来精确地检测移动体的移动体检测装置及方法。
并且，本发明要解决的另一技术课题是提供一种从图像拍摄装置所拍摄的图像里检测出的移动体中，精确地检测出相应于人体的移动体的人体检测装置及方法。
并且，本发明要解决的另一技术课题是提供一种精确跟踪从图像拍摄装置所拍摄的图像里检测出的相应于关注物体或人体的移动体的人体跟踪装置及方法。
并且，本发明要解决的另一技术课题是提供一种利用图像拍摄装置所拍摄的图像对人体进行精确计数的人体计数装置及方法。
为了实现上述技术课题的本发明第一方面的人体计数装置，可以包括：接收部，接收图像拍摄装置所拍摄的包含出入口的图像；线条设定部，在所述出入口设定假想的线条(Line)即入场线(Inline)，并且以将所述入场线作为一侧而形成特定区域的方式设定假想的线条即退场线(Outline)；检测部，从所接收的所述图像中检测出相应于人体的移动体；跟踪部，对检测出的所述移动体中的每一个跟踪动作；以及计数部，利用所述移动体的所跟踪到的动作，判断所述移动体是否通过所述入场线以及是否通过所述退场线，并基于所述判断得到的通过与否对人进行计数。
根据一实施例，所述线条设定部可将所述退场线设定在所述出入口的外部，所述计数部在判断为所述移动体已通过所述入场线后再通过所述退场线时，可将所述移动体计数为通过所述出入口退场的人。
根据一实施例，所述线条设定部可将所述退场线设定在所述出入口的内部，所述计数部在判断为所述移动体已通过所述入场线后再通过所述退场线时，可将所述移动体计数为通过所述出入口入场的人。
所述计数部在判断为所述移动体已通过所述入场线后未通过所述退场线时，可以不将所述移动体并计数为通过所述出入口入场的人及退场的人中的任一个。
所述检测部可以包括移动体检测部，用于利用所接收的所述图像的图像帧检测移动体，所述移动体检测部可以包括精确度计算部，用于对所述图像帧的每个像素利用高斯混合模型(GMM，Gaussian Mixture Model)法和帧差法(Frame Difference)来算出检测精确度，并将所算出的所述检测精确度为事先设定的精确度以上的像素检测为移动体区域。
所述移动体检测部还可以包括区域扩张部，用于基于优先级π(p)对所述精确度计算部检测出的移动体区域进行扩张。
所述检测部可以包括人体检测部，用于利用检测出的所述移动体区域的位置、检测出的所述移动体区域的大小以及形状特征描述符即方向梯度直方图(HOG，Histogram ofOriented Gradient)方法，从检测出的所述移动体中检测出人移动体。
所述跟踪部可以利用包含加权值(wd)和卡尔曼增益(K)的卡尔曼滤波器(KalmanFilter)对检测出的所述移动体进行跟踪，其中所述加权值包含αtemplate、αhistogram以及αsift中的至少一个要素，所述αtemplate是与将模板(Template)间像素之差的绝对值全部相加相关的要素，所述αhistogram是与在对于所述模板的关注物体的颜色直方图(Histogram)适用高斯混合模型法而定义概率模型后，算出直方图之间差相关的要素，所述αsift是与利用尺度不变特征转换算法(SIFT，Scale Invariant Feature Transform)中的特征描述符，算出之前帧与当前帧之间相同物体之间差相关的要素。
为了实现上述技术课题的本发明第二方面的人体计数方法，可以包括：接收步骤，接收图像拍摄装置所拍摄的包含出入口的图像；线条设定步骤，在所述出入口设定假想的线条(Line)即入场线(Inline)，并且以将所述入场线为一侧而形成特定区域的方式设定假想的线条即退场线(Outline)；检测步骤，从所接收的所述图像中检测出相应于人体的移动体；跟踪步骤，对检测出的所述移动体中的每一个跟踪动作；以及计数步骤，利用所跟踪到的所述移动体的动作，判断所述移动体是否通过所述入场线以及是否通过所述退场线，并基于所述判断得到的通过与否对人体进行计数。
根据一实施例，所述线条设定步骤可将所述退场线设定在所述出入口的外部，所述计数步骤在判断为所述移动体已通过所述入场线后再通过所述退场线时，可将所述移动体计数为通过所述出入口退场的人。
根据一实施例，所述线条设定步骤可将所述退场线设定在所述出入口的内部，所述计数步骤在判断为所述移动体已通过所述入场线后再通过所述退场线时，可将所述移动体计数为通过所述出入口入场的人。
所述计数步骤在判断为所述移动体已通过所述入场线后未通过所述退场线时，可以不将所述移动体计数为通过所述出入口入场的人及退场的人中的任一个。
所述检测步骤可包括移动体检测步骤，用于利用所接收的所述图像的图像帧检测移动体，所述移动体检测步骤可以包括精确度计算步骤，用于对所述图像帧的每个像素利用高斯混合模型(GMM，Gaussian Mixture Model)法和帧差法(Frame Difference)来算出检测精确度，并将所算出的所述检测精确度为事先设定的精确度以上的像素检测为移动体区域。
所述移动体检测步骤还可以包括区域扩张步骤，基于优先级π(p)对在所述精确度计算步骤检测出的移动体区域进行扩张。
所述检测步骤可包括人体检测步骤，用于利用检测出的所述移动体区域的位置、检测出的所述移动体区域的大小以及形状特征描述符即方向梯度直方图(HOG，Histogramof Oriented Gradient)方法，从检测出的所述移动体中检测出人移动体。
为了实现上述技术课题的本发明第三方面的人体检测装置，可包括：接收部，接收图像拍摄装置所拍摄的图像的图像帧；精确度检测部，对所接收的所述图像帧的每个像素利用高斯混合模型(GMM，Gaussian Mixture Model)法和帧差法(Frame Difference)来算出检测精确度，并将所算出的所述检测精确度为事先设定的精确度以上的像素检测为移动体区域；以及人体检测部，利用检测出的所述移动体区域的位置、检测出的所述移动体区域的大小以及形状特征描述符即方向梯度直方图(HOG，Histogram of Oriented Gradient)方法，从检测出的所述移动体中检测出人移动体。
根据一实施例，所述人体检测装置还可以包括：区域扩张部，基于利用所述像素间亮度值之差的优先级π(p)对所述精确度计算部检测出的移动体区域进行扩张，检测出的所述移动体区域的位置可以是由所述区域扩张部所扩张的移动体区域的位置，检测出的所述移动体区域的大小可以是由所述区域扩张部所扩张的移动体区域的大小。
为了实现上述技术课题的本发明第四方面的人体检测方法，可包括：接收步骤，接收图像拍摄装置所拍摄的图像的图像帧；精确度检测步骤，对所接收的所述图像帧的每个像素利用高斯混合模型(GMM，Gaussian Mixture Model)法和帧差法(Frame Difference)来算出检测精确度，并将所算出的所述检测精确度为事先设定的精确度以上的像素检测为移动体区域；以及人体检测步骤，利用检测出的所述移动体区域的位置、检测出的所述移动体区域的大小以及形状特征描述符即方向梯度直方图(HOG，Histogram of OrientedGradient)方法，从检测出的所述移动体中检测出人移动体。
所述人体检测方法还可以包括区域扩张步骤，用于基于利用所述像素间亮度值之差的优先级π(p)对在所述精确度计算步骤检测出的移动体区域进行扩张，检测出的所述移动体区域的位置可以是在所述区域扩张步骤所扩张的移动体区域的位置，检测出的所述移动体区域的大小可以是在所述区域扩张步骤所扩张的移动体区域的大小。
本发明能够从图像拍摄装置所拍摄的图像的帧中精确地检测出移动体。
并且，本发明能够从图像拍摄装置所拍摄的图像的帧里检测出的移动体中，精确地检测出人体。
并且，本发明能够从图像拍摄装置所拍摄的图像的帧中，精确地跟踪移动的人体。
并且，本发明能够利用图像拍摄装置所拍摄的图像，进行精确的人体计数。
并且，本发明通过入场线和退场线来计数人体，从而与以往利用一条线来计数人体的方法相比，能够以高的精确度对人体进行计数。
附图说明
图1是有关本发明一实施例的移动体检测装置的框图。
图2a至图2d是用于说明由本发明一实施例的移动体检测装置检测移动体的结果的一示例的图。
图3是有关本发明一实施例的人体检测装置的框图。
图4a是示出利用梯度直方图于n×n框中在m个方向上算出梯度(Gradient)的结果的一示例的图。
图4b是利用由梯度直方图算出的梯度所构成的直方图的一示例的图。
图5是有关本发明一实施例的人体跟踪装置的框图。
图6是有关本发明一实施例的人体计数装置的框图。
图7是有关本发明一实施例的人体计数装置中的计数部的框图。
图8是说明本发明一实施例的人体计数装置的线条设定部在出入口外部设定特定区域时，计数部对退场的人进行计数的方法的图。
图9是说明本发明一实施例的人体计数装置的线条设定部在出入口内部设定特定区域时，计数部对入场的人进行计数的方法的图。
图10是线条设定部设定入场线及退场线以在出入口内部及外部形成特定区域的一示例的图。
图11是线条设定部设定线条的另一示例的图。
图12是线条设定部在图像拍摄装置所拍摄的图像上设定线条的一示例的图。
图13是有关本发明一实施例的人体检测方法的流程图。
图14是有关本发明一实施例的人体计数方法的流程图。
具体实施方式
下面，参照附图详细说明本发明的优选实施例。参照附图及在后详述的实施例，能够清楚地理解本发明的优点、特征以及实现该优点及特征的方法。但是本发明并不限定于下述实施例，而是在权利要求书的范围内可以实现为多种形式的实施例。本实施例是用于完整地公开本发明，并向本领域技术人员完整地告知发明范畴而提供的，本发明只由权利要求书的范畴限定。在全篇说明书中相同的附图标记表示相同的结构要素。
当提及为某一结构要素“连接”或“接续”在另一结构要素时，应当理解为可以是直接连接或接续在该另一结构要素，还可以在中间存在其他结构要素。相反，当提及为某一结构要素“直接连接”或“直接接续”在另一结构要素时，应当理解为在中间不存在其他结构要素。
若无其他定义，在本说明书中使用的所有用语(包括技术及科学术语)可作为本领域技术人员能够共同理解的含义使用。而且，在通常使用的词典中定义的用语，若没有明确地特别定义的情况下，不被理想地或者夸张地解释。
在本说明书中，单数型在语句不做特别言及时可以包括复数型。说明书里记载的“包括(comprises)”及/或“包含(comprising)”意味着所提及的结构要素、步骤、动作及/或元件并不排除一个以上的其他结构要素、步骤、动作及/或元件的存在或追加。
本发明可利用将人员出入的出入门状况拍摄为图像的如CCTV等图像拍摄装置所拍摄的图像来计数人数。
具体来讲，本发明首先可利用作为长期(Long Term)背景识别技术的高斯混合模型(GMM，Gaussian Mixture Model)法和作为短期(Short Term)移动检测技术的帧差法(Frame Difference)，从图像拍摄装置所拍摄图像的各帧中，检测出对噪声(Noise)具有鲁棒性并且精确移动的物体即移动体。
并且，本发明可利用形状特征描述符即方向梯度直方图(HOG，Histogram ofOriented Gradient)方法、所检测移动体的位置及所检测移动体的大小信息，从所检测移动体中检测出人体。
并且，本发明可利用卡尔曼滤波器(Kalman Filter)、模板匹配(TemplateMatching)方法及尺度不变特征转换算法(Scale Invariant Feature Transform)，跟踪检测出的人移动体。
并且，本发明可以算出利用贝叶斯法则(Bayes’Rule)等的概率，从而能够计算(Counting)通过出入门出入的人数，并且针对根据噪声游动的移动体的检测及跟踪的性能变动具有鲁棒性。
下面，参照附图更加详细地说明本发明。
图1是有关本发明一实施例的移动体检测装置的框图。
以往，移动体检测方法包括利用背景与客体的亮度差的背景分离法(BackgroundSubtraction)以及比较连续的两个图像帧并从其差异中找出动作的帧差法(FrameDifference)等。
背景分离法是使用于移动体检测的方法，当背景复杂且变化大时，如何实时地且精确地学习背景可以决定物体检测的精确度。高斯混合模型是利用于这种背景建模的方法，其使用概率性的学习方法，使用高斯混合模型将图像中的每个像素的亮度分布近似化，并且利用被近似化的模型变量值判断检测出的像素属于背景与客体中的哪一个。
这种高斯混合模型由于长时间进行学习，因此虽然对稍纵即逝的影子或光线的变化等噪声(Noise)的鲁棒性强，但有可能会发生将移动体判断为噪声的情形。相反，帧差法能敏感地感知动作的物体，但存在的缺点是对各种噪声的感知也敏感，对较慢的动作则无法感知。
本发明一实施例的移动体检测装置100同时利用高斯混合模型和帧差法算出检测精确度。所算出的精确度在区域检测部130通过基于优先级的区域扩张，比以往的方法能精确检测移动体。
本发明一实施例的移动体检测装置100，可利用长期(Long Term)背景识别技术即高斯混合模型(GMM，Gaussian Mixture Model)法和短期(Short Term)移动检测技术即帧差法(Frame Difference)，从图像拍摄装置所拍摄图像的各帧中，检测出对噪声(Noise)的鲁棒性强而且精确移动的物体即移动体。检测移动体是为了人体计数而需要先执行的步骤。因此，这种移动体检测的精确性为能保证人体计数精确性的重要因素之一。
参照图1，有关本发明一实施例的移动体检测装置100的框图可以包括接收部110、精确度计算部120及区域检测部130。
接收部110可接收并存储图像拍摄装置所拍摄的图像。
精确度计算部120在算出由接收部110接收的图像的帧中各像素的精确度。
具体来讲，精确度计算部120可利用高斯混合模型(GMM，Gaussian MixtureModel)法和帧差法(Frame Difference)算出检测精确度。
更具体而言，精确度计算部120可利用数学式1算出检测精确度。
【数学式1】
a(x，y)=ag(x，y)+af(x，y)
(x，y)表示帧中像素的位置。在数学式1中，a(x，y)表示在所拍摄图像的各帧中位于(x，y)上的各像素的精确度。即，在高斯混合模型法中，由ag(x，y)算出的概率高时表示精确度高，在帧差法中，不同帧之间相同位置的像素的差异越大可表示精确度越高。精确度高可意味着精确度高的像素为噪声(Noise)的可能性低，为移动体的可能性高。相反，精确度低可意味着相关像素为噪声的可能性高，为移动体的可能性低。
ag(x，y)和af(x，y)可分别定义为以下的数学式2和数学式3。
【数学式2】
【数学式3】
数学式2是利用高斯混合模型法的公式，是在f个帧中利用k个高斯模型(GaussianModel)定义(x，y)位置的亮度变化的概率模型。f个和k个可根据各种环境来变更，例如，可以设定f为100，k为3。因此，由数学式2的ag(x，y)定义背景的亮度模型，当基于所定义的模型接收到新的帧时，能够算出位于(x，y)上的像素的亮度为物体的概率。在数学式2中，μi是第i个高斯模型的平均，σi是第i个高斯模型的分散。I(x，y)是位于(x，y)上的像素的亮度值。是使用在高斯混合模型法中的加权系数(Weight Parameter)，可通过学习来定义。精确度计算部120可在利用数学式2算出的概率低时，使得算出的精确度低，当算出的概率高时，使得算出的精确度高。
在数学式3中，It(x，y)是第t个帧中位于(x，y)的像素的亮度值。即，当新的帧进入接收部110时，精确度计算部120可利用数学式3，与之前的帧相同位置的各像素比较亮度差，并且在亮度差小时，使得算出的精确度低，当亮度差大时，使得算出的精确度高。
因此，参照数学式2和3说明1如下，精确度计算部120利用算出的精确度，当相应的像素既不是背景也不是噪声时可检测为移动体，并且为了检测为移动体，可以设定适当的基准精确度Th1。基准精确度Th1可以根据图像分辨率、状况、计算处理速度等各种环境，可进行变更。
精确度计算部120通过数学式2和数学式3在数学式1将a(x，y)精确度可算出为0至1之间的值。
区域检测部130进行归一化(Normalization)以使精确度a(x，y)的最大值为1，并将值为1的像素定义成标准像素。如数学式4，区域检测部130定义优先级π(p)，当优先级π(p)的值为所设定的临界值Tτ以上时扩张区域，当所有像素的优先级未达到所设定的临界值Tτ时停止区域扩张，从而能够检测移动体区域。
【数学式4】
数学式4是示出定义了优先级π(p)的一例的式，p表示位于(x，y)的像素，q表示位于p的四个方向(上、下、左、右)相邻位置的像素。τ(p，q)可由如下的数学式5表示。
【数学式5】
在数学式5中，I(p)表示位置p上的亮度值，I(q)表示q上的亮度值。Tτ是临界值，其根据情况可以适用其他值。
图2a至图2d是用于说明由本发明一实施例的移动体检测装置检测移动体的结果的一示例的图。
参照图2a和图2d，对由以往的移动体检测方法检测移动体的结果与由本发明一实施例的移动体检测装置100检测移动体的结果进行比较而说明。
具体来讲，图2a示出利用高斯混合模型来检测移动体的以往方法的检测结果，图2b示出利用帧差法来检测移动体的以往方法的检测结果。图2c示出基于本发明一实施例的移动体检测装置100的精确度计算部120所算出的精确度来检测移动体的结果。图2d示出本发明一实施例的移动体检测装置100的区域检测部130在图2c的结果中适用利用优先级的区域扩张而检测移动体的结果。
图2c表示精确度计算部120算出的精确度为事先设定的精确度Th1以上的点。事先设定的精确度Th1可根据用户的设定、所接收图像的分辨率、本发明一实施例的移动体检测装置所适用的系统的环境等进行变更。将图2c与图2a和2b比较可知，图2c相比于图2a或图2b明确而精确地检测到移动体。图2d在图2c的结果上适用利用优先级的区域扩张，与图2a至图2c相比可知，更明确而精确地检测到移动体。
图3是有关本发明一实施例的人体检测装置的框图。
从检测出的移动体中只有检测出人体才能进行人体计数，本发明一实施例的人体检测装置300可从帧中检测的移动体中检测出人体。
参照图3，本发明一实施例的人体检测装置300在一实施例的移动体检测装置100还包括人体检测部310。
人体检测部310可利用LSHOG(Location Scale based HOG，基于位置尺度的HOG)描述符从检测出的移动体中检测出作为人体的移动体。
LSHOG描述符在形状特征描述符即方向梯度直方图(HOG，Histogram of OrientedGradient)中进一步考虑一实施例的移动体检测装置100检测出的移动体的位置信息和所检测移动体的大小信息。如从图2a至图2d中可知，一实施例的移动体检测装置100相比于以往的检测结果能够检测出移动体的精确区域。因此，与利用以往的HOG的检测相比，人体检测部310利用LSHOG描述符从移动体中更能精确地检测出人体。
具体举例如下，当检测出的移动体为两名以上的人彼此靠近或重叠时，会发生人体检测的问题。为了解决这种问题可以利用形状特征描述符即HOG。
关于HOG，可如图4a所示于n×n框中在m个方向上算出梯度(Gradient)，并按照方向可如图4b所示构成直方图(histogram)。具体举例如下，当使用8×8的BIN，以九个方向计算梯度，在将块(Block)的大小设定为64×64时，HOG描述符构成为576维向量。只是，由于HOG表现形状特征，因此由于因物体的位置所发生的远近感透视失真(PerspectiveDistortion)，存在仅在固定的位置能识别的局限性。
为了解决这种局限性，本发明一实施例的人体检测装置310通过追加所检测移动体区域的位置信息和大小信息来利用由579维的向量构成的LSHOG描述符而进行解决。579维仅是一种示例，若HOG描述符由D维的向量构成，则利用于本发明的LSHOG描述符可进一步所检测移动体区域的位置信息和大小信息而构成为D+2维的向量。
具体而言，人体检测部310利用LSHOG描述符可构建精确答案和错误答案的数据库，并通过适用非线性支持向量机(SVM，Support Vector Machine)或随机森林分类(Random Forest Classification)方法来检测人体。
图5是有关本发明一实施例的人体跟踪装置的框图。
一实施例的人体跟踪装置500可利用卡尔曼滤波器(Kalman Filter)、模板匹配(Template Matching)及尺度不变特征转换算法(SIFT，Scale Invariant FeatureTransform)来跟踪检测出的人移动体。
具体参照图5，本发明一实施例的人体跟踪装置500在一实施例的人体检测装置300还包括跟踪部510。
跟踪部510为了减少因闭塞区域、各种噪声等原因发生的错误，并实现精确的跟踪，利用基于卡尔曼滤波器检测到的物体的精确度加权值(wd)，对从图像中提取的物体进行关注物体的跟踪。
卡尔曼滤波器推定可测定的变量和预测变量，从而推定预测值，其方法是根据标准偏差计算加权值，由此跟踪位置及数据。
具体说明跟踪部510利用数学式6对本发明一实施例的人体检测装置300检测出的移动人体进行跟踪的方法。
【数学式6】
参照数学式6，跟踪部510可在卡尔曼滤波器适用卡尔曼增益和基于所检测物体的精确度的加权值(wd)来跟踪在图像中移动的人体。在数学式6中，xt是在第t个帧中被预测而跟踪的移动人体的位置信息。xt可由从第t个帧之前的帧即第t-1个帧中的位置xt-1预测的和检测出的位置来进行推论。K表示卡尔曼增益，wd是基于所检测物体精确度的加权值。具体来讲，wd是基于本发明一实施例的人体检测装置300检测出的人体的检测精确度的加权值。
更具体来讲，本发明一实施例的人体检测装置300利用模板匹配(TemplateMatching)来检测移动体的位置，wd可如数学式7表示。
【数学式7】
wd=βtemplateatemplate+βhistogramahistogram+βSIFTaSIFT
β是对αtemplate、αhistogram和αsift各自的精确度加权值。例如，可将βtemplate设定为0.7，βhistogram设定为0.1，βsift设定为0.2。各加权值可根据本发明的工作系统环境进行变更。因计算量的限制而无法适用的精确度可以设定为0。与数学式8一同说明αtemplate。
【数学式8】
αtemplate＝exp[-SAD(xt，xt-1)]
在数学式8中，SAD是Sum of Absolute difference(绝对误差和)的缩写。即，在数学式8中，SAD(xt，xt-1)表示将以xt和xt-1为中心的模板(Template)之间像素值之差的绝对值全部相加。模板(Template)表示块(Block)，可以具有与在H.26x、MPEG等视频压缩中使用的BMA(block Mathcing Algoritm，块匹配算法)中的块相同的含义。
推论部根据本发明工作系统环境所允许的计算量，可进一步算出存在于数学式7的精确度αhistogram。αhistogram表示对模板中关注物体的颜色直方图(Histogram)适用GMM而定义概率模型后，算出模板的直方图之间差异。即，αhistogram可以表示相互匹配(Matching)的之前帧中的模板直方图与当前帧中模板的直方图之间的差异。
并且，推论部根据本发明工作系统环境所允许的计算量，可追加算出存在于数学式7的精确度αsift。αsift可以表示利用如块内的亮度值向量(Vector)等的在尺度不变特征转换算法(Scale Invariant Feature Transform)中的特征描述符算出的之前帧与当前帧之间相同物体间的差异。之前帧与当前帧之间相同的物体，在模板的情况下，可以表示包围物体的块。
如在数学式7的说明中所提及，由于计算量的局限性而未被适用的精确度可以设定为0。即，精确度αhistogram和αsift可根据所允许的计算量来决定适用与否。
图6是有关本发明一实施例的人体计数装置的框图。
参照图6，本发明一实施例的人体计数装置600是在本发明一实施例的人体跟踪装置500还包括计数部610。
计数部610为了得出对移动体的游动检测和跟踪部510的性能具有鲁棒性的人体计数结果，利用概率来计算人数。
参照图7，计数部610可以包括线条设定部612和计算部614。
线条设定部612可在出入口部位设定入场线(Inline)，并以将所设定的入场线为一侧在出入口外部形成特定区域的方式设定退场线(Outline)。
出入口未必设置有门，其可以是地铁站出入口等各种形式的出入口。并且，出入口可以表示用于区分人的入场及退场的通过区域。用于区分人的入场及退场的区域可以称为通过区域。即，出入口并非限定于某种形态。通过区域无需是必须存在面积的区域，其可以是线条。在本发明的整个详细说明中，为了有助于理解发明，将用于区分人的入场及退场的区域称为“出入口”而非“通过区域”。即，“出入口”包含社会习惯上的概念、用户的设定、自动门等明确的区分等含义，其表示入场及退场的判断基准。
设定在出入口部位的入场线可以设定为与出入口大小相等或略大一些。并且，入场线还可以设定为与出入口相隔规定间隔。入场线和退场线是假想的线，其还可以设定为在图像中视觉上能看见。由入场线和退场线所形成的区域可以根据用户的设定、出入口的形态、人口流动性或出入口的大小等进行变更，并且可以设定为能够明确了解入场及退场的意图之程度。
由入场线和退场线所形成的特定区域可以构成为四边形形态，但并非局限于此，可以构成为各种形态的多边形形态。由入场线和退场线所形成的特定区域可以形成在出入口的外部及/或内部。出入口的外部及内部能以社会观念所设定。例如，当出入口为大厦的自动门时，可将大厦的外部视为出入口外部，将大厦的内部视为出入口内部。又例如，出入口为地铁站入口时，可将下到地铁站的台阶或扶梯视为出入口内部，将地铁站外的人行道部分视为出入口外部。
当希望对通过出入口退场的人进行计数时，线条设定部612可以以在人通过出入口退场时经过的区域上形成特定区域的方式设定入场线和退场线。即，当希望对通过出入口退场的人进行计数时，线条设定部612可在出入口外部设定退场线。
相反，当希望对通过出入口入场的人进行计数时，线条设定部612可以以在人通过出入口入场时经过的区域上形成特定区域的方式设定入场线和退场线。即，当希望对通过出入口入场的人进行计数时，线条设定部612可在出入口内部设定退场线。
计算部614可利用所设定的入场线及退场线计算人数。即，计算部614可以仅将作为移动体而通过设定的入场线后再通过退场线的人移动体计算为入场或退场的人数。
具体来讲，在线条设定部612设定入场线及退场线以在出入口外部设定特定区域的情况下，若从图像检测及跟踪的人移动体通过入场线后，再通过退场线，则计算部614可将退场的人数(Out count)增加一名。
相反，在线条设定部612设定入场线及退场线以在出入口内部设定特定区域的情况下，若从图像检测及跟踪的人移动体通过入场线后，再通过退场线，则计算部614可将入场的人数(In count)增加一名。
具体来讲，即使移动体通过若干次入场线后，再通过退场线，计算部614可将退场或入场的人数仅增加一名。对于移动体是否已通过入场线及/或退场线是可利用本发明一实施例的移动体检测装置100、人体检测装置300及人体跟踪装置500来进行判断。即，基于本发明一实施例的移动体检测装置100、人体检测装置300及人体跟踪装置500检测及跟踪到的移动体信息，当相同的移动体位于入场线的一侧并经过一段时间后位于入场线的另一侧时，可以判断为已通过入场线。同理，基于本发明一实施例的移动体检测装置100、人体检测装置300及人体跟踪装置500检测及跟踪到的移动体信息，当相同的移动体位于退场线的一侧并经过一段时间后位于退场线的另一侧时，可以判断为已通过退场线。
当从图像检测及跟踪的人移动体通过入场线之后，在由入场线和退场线形成的空间里移动并再次进入入场线时，计算部614可以不将其计算为退场或入场的人。只在移动体通过入场线后，在由入场线和退场线形成的空间里移动后再从退场线出去时，计算部614可以将其计算为退场的人。
以往的方法是利用一个线条或两个线条来判断从图像中检测及跟踪的人移动体是在入场还是在退场。但是，以往的这种方式存在的问题是，根据人的各种动作，即便没有真正退场或入场时，也将其计算为退场或入场。例如，当人在出入口附近来回走动时，以往的方式是利用一个线条或两个线条，因此将来回走动的人作为多次入场或退场的人错误计算的概率高。
图8是说明本发明一实施例的人体计数装置的线条设定部在出入口外部设定特定区域时，计数部对退场的人进行计数的方法的图。
具体参照图8，与以往的方式相比较，对计算部614利用入场线和退场线比以往更精确地计算退场的人的方式进行说明。
参照图8，以往的如入场线的线条只有一个的方式在如①的情况下，能够进行比较精确的计数。下面，为了描述发明所使用的“移动体”假设是移动体中的人。
但是对于来回走动线条附件的人(②)、移动体的检测及跟踪的精确度不高或跟踪被中断过的情形(③、④)，以往的方式无法进行精确计数。
对于以往的方式，在②的情形下可能会计算为入场三次及退场三次，但实际上是欲退场但没有退场而回去的情形，因此可以视为入场及退场均为零次。
并且，对于③的情形，以往的方式是计算为退场一次，但实际上是欲退场但没有退场而重新由入口入场的情形。对于④的情形，以往的方式是计算为退场两次及入场一次。但实际上是犹豫退场还是入场之后退场的情形。
与以往的方式不同，本发明一实施例的人体计数装置600只将通过入场线后再通过退场线的移动体计算为退场人数。并且，本发明一实施例的人体计数装置600即使在由于噪声等原因而中间的检测和跟踪不明确的情形下，不会将由入场线和退场线所形成的斜线区域A内的移动体的动作考虑在计算中，可以只利用相同的移动体通过入场线后是否已通过退场线来计算入场的人数。
即，即使在移动体突然改变方向而移动，从而检测及跟踪困难的情况下，与以往的方式相比，本发明的计算部614能够精确地对退场或入场的人进行计数。移动体的检测以及对所检测移动体的跟踪可分别利用本发明一实施例的人体检测装置300以及人体跟踪装置500。
具体来讲，在①的情形下，同一移动体的检测及跟踪结果为通过入场线后再通过退场线，因此计算部614可将退场人的计数增加1。在②的情形下，同一移动体的检测及跟踪结果为虽然已通过入场线，但没有通过退场线，因此计算部614对退场的人数所增加的计数为0。
如③的情形，即使存在由于噪声等原因移动体的检测及跟踪数据不存在的时间(在图8的③路径中的点划线部分)，当同一移动体的检测及跟踪结果为同一移动体曾经通过入场线，并且未曾通过退场线，但存在重新通过入场线的情形时，计算部614可以将对退场的人所增加的计数决定为0。
在④的情形下，与③的情形相同地，即使存在由于噪声等原因同一移动体的检测及跟踪数据不存在的时间(在图8的④路径中的点划线部分)，但因为同一移动体的检测及跟踪结果为曾经通过入场线之后，具有已通过退场线的情形，所以计算部614可以将退场人的计数增加1。
图9是说明本发明一实施例的人体计数装置的线条设定部在出入口内部设定特定区域时，计数部对入场的人进行计数的方法的图。
参照图9可知，线条设定部612在出入口附近设定了入场线，并以使特定区域B设定在出入口内部的方式设定退场线。
计数部610可将线条设定部612中检测及跟踪到的移动体中的通过入场线之后再通过退场线的移动体作为入场的人来计数。即，在图9中，和是已通过入场线后再通过退场线的移动体，因此可分别计数为入场的人。而和是虽然已通过入场线，但并未通过退场线，因此可以不计数为入场的人。
重新回到图6，线条设定部612设定第一入场线和第一退场线以在出入口内部设定特定区域的同时，可设定第二入场线和第二退场线以在与所述出入口相同的出入口外部设定特定区域。线条设定部612可将第一入场线和第二入场线设定为相同的线条，还可以设定为不同的线条。
图10是线条设定部设定入场线及退场线以在出入口内部及外部形成特定区域的一示例的图。
在线条设定部612如图10所示设定入场线及退场线的情况下，计数部610可以将通过入场线再通过第一退场线的移动体作为退场的人来计数，并且将通过入场线再通过第二退场线的移动体作为入场的人来计数。
图11是线条设定部设定线条的另一示例的图。
参照图11，当线条设定部612设定退场线以在出入口内部设定特定区域时，入场线还可存在于出入口外部。只是，即使入场线存在于出入口外部，退场线优选存在于出入口内部，并且由入场线和退场线所形成的特定区域中在出入口内部存在的区域更广。即便如图10所示设定入场线和退场线，计数部610计数退场的人的方法是相同的。
相反，当线条设定部612设定退场线以在出入口外部设定特定区域时，入场线也可以存在于出入口内部。只是，即使入场线存在于出入口内部，退场线优选存在于出入口外部，并且由入场线和退场线所形成的特定区域中在出入口外部存在的区域更广。
图8至图11是用于说明线条设定部612设定入场线及退场线的各种示例的图，如图12所示，线条设定部612可以设定在CCTV等图像拍摄装置所拍摄的图像上。
具体参照数学式9至12，说明计算部614利用对入场线和退场线的通过与否来计数人的方法。
计算部614可利用由贝叶斯法则(Bayes’Rule)表示的概率p(S|X)来计算人数。与数学式9一同说明概率p(S|X)。
【数学式9】
在数学式9中，p(S|X)是当给出轨迹(Trajectory)X时，表示状态S(State)属于{Incount，Out count，Not Count}中某一个的概率。In count表示入场情况，Out count表示退场状况，Not Count表示未被统计的状况。在数学式9，p(S)的值可以是事先设定的值。例如，假设入场人数与退场人数相同，可将p(S＝In count)设定为0.4，将p(S＝Out count)也设定为0.4。这种p(S)的值可以根据本发明的工作系统环境、CCTV所拍摄的场所等进行变更。
如前所述，当通过退场线之后再通过入场线时，增加一个In count，当通过入场线之后再通过退场线时，增加一个Out count。Not Count可以适用于除入场状况及退场状况之外的所有状况。
X表示{x0，x1，…，xt-1，xt}。xt是在第t个帧中被预测而跟踪的移动的人的位置信息。因此，轨迹X表示在多个帧下的xt的集合。而且，p(S|X＝IN)可以如数学式10表示。
【数学式10】
p(X|S=IN)=p(xt|S=IN)·p(x0|S=IN)
参照数学式10，计算部614可以利用在轨迹X中首次检测的位置x0与最后检测出的位置xt来对人进行计数。对于数学式10中的p(xt|S＝IN)在数学式11中进行更加详细的说明，对p(x0|S＝IN)在数学式12中进行更加详细的说明。
具体来讲，当给出检测出的位置xt时，人入场的概率可由数学式11来表示。
【数学式11】
在数学式11中，αin是当xt位于退场线(Outline)上时的概率值，可通过实验来设定。例如，αin可以设定为0.7以上的值。p(x0|S＝IN)可以表示为数学式12。
【数学式12】
在数学式12中，表示轨迹X的y轴梯度(Gradient)之和，L表示计数(Counting)区域的y轴长度。βin可通过实验来决定其值。例如，βin可通过实验来适用0.9以上的值。γ是在y轴梯度之和为负数时可适用0，为正数时可适用1。
若p(S＝IN|X)>0的同时p(S＝IN|X)/p(S＝NOT|X)>T，则计算部614增加In Count。p(S＝NOT|X)是1-p(S＝IN|X)-p(S＝OUT|X)。若假设p(X)为大于0的值，由于是共同存在于分母和分子中的值，因此可成为可以抵消的变量。T可以由本发明的工作系统环境等设定，例如可以是0.3左右。
本发明一实施例的移动体检测装置100能够在图像拍摄装置所拍摄的帧中精确地检测移动体。
并且，本发明一实施例的人体检测装置300能够在精确地检测出图像拍摄装置所拍摄图像的帧中检测出的移动体中的人。
并且，本发明一实施例的人体跟踪装置500能够精确地跟踪从图像拍摄装置所拍摄的图像帧中检测到的移动体。
并且，本发明一实施例的人体计数装置600利用通过图像拍摄装置所拍摄的图像来检测及跟踪到的人即移动体，能够以高精确度计数人。
并且，本发明一实施例的人体计数装置600通过入场线和退场线来计数人体，从而与以往由一条线条计数人体的方法相比，能够以高精确度对人体进行计数。
图13是有关本发明一实施例的人体检测方法的流程图。
参照图13说明本发明一实施例的人体检测方法如下，接收部110可接收由图像拍摄装置拍摄的包含出入口的图像的图像帧(步骤S1310)。
精确度计算部120可对接收部所接收的图像帧的每个像素利用高斯混合模型(GMM，Gaussian Mixture Model)法和帧差法(Frame Difference)来算出检测精确度，并将算出的检测精确度为事先设定的精确度以上的像素检测为移动体区域(步骤S1320)。
区域扩张部130可基于利用像素间亮度值之差的优先级π(p)来扩张精确度计算部检测出的移动体区域(步骤S1330)。优先级π(p)可以参照前述的数学式4和5。
人体检测部可利用由区域扩张部所扩张的移动体区域的位置、由区域扩张部所扩张的移动体区域的大小以及形状特征描述符即方向梯度直方图(HOG，Histogram ofOriented Gradient)方法，从检测出的移动体中检测出人移动体(步骤S1340)。
图14是有关本发明一实施例的人体计数方法的流程图。
参照图14说明本发明一实施例的人体计数方法如下，接收部110可接收由图像拍摄装置拍摄的包含出入口的图像的图像帧(步骤S1410)。
线条设定部612可在出入口设定假想的线条(Line)即入场线(Inline)，并且以将入场线为一侧而形成特定区域的方式设定假想的线条即退场线(Outline)(步骤S1420)。
精确度计算部120和区域检测部130可从接收部110所接收的图像中检测出移动体(步骤S1430)，人体检测部310可从检测出的移动体中检测出相应于人体的移动体(步骤S1440)。
跟踪部510可对每个检测出的相应于人体的移动体跟踪其动作(步骤S1450)。在步骤S1430、S1440、S1450中所检测及跟踪的信息可以存储到数据库中，并且与步骤S1420相比，时间上可执行在前或者在后。
计数部610可利用跟踪部510对每个相应于人体的移动体跟踪其动作的跟踪信息，对每个移动体判断是否已通过入场线以及是否已通过退场线，并基于所述判断得到的通过与否可以对人进行计数(步骤S1460)。
具体来讲，当线条设定部612在出入口外部设定退场线时，计数部610可以仅限于已通过入场线后再通过退场线的移动体增加退场人的计数。相反，当线条设定部612在出入口内部设定退场线时，计数部610可以仅限于已通过入场线后再通过退场线的移动体增加入场人的计数(步骤S1460)。
图1、3、5、6及图7的各结构要素可以表示软件(software)，或者如FPGA(field-programmable gate array，现场可编程门阵列)或ASIC(application-specificintegrated circuit，专用集成电路)等硬件(hardware)。但是，并不意味着所述的结构要素仅限于软件或硬件，还可以构成为存储在能够寻址(addressing)的存储介质中，也可以构成为使一个或其以上的处理器运行。在所述的结构要素中所提供的功能可以由更加细化的结构要素来实现，还可将多个结构要素合并而实现用于执行特定功能的一个结构要素。
以上，参照附图说明了本发明的实施例，但本领域技术人员能够理解在不改变技术思想或者必要特征的情况下能够实施为其他具体形式。因此，上述实施例均为例示性的实施例，并不限定于此。

Claims (13)

1.一种人体计数装置，包括：
接收部，接收图像拍摄装置所拍摄的包含出入口的图像；
线条设定部，在所述出入口设定假想的线条即入场线，并且以将所述入场线作为一侧而形成特定区域的方式设定假想的线条即退场线；
检测部，利用所接收的所述图像的帧间信息之差，检测出在所述图像中存在的移动体，并从检测出的所述移动体中检测出相应于人体的移动体；
跟踪部，对检测出的所述移动体中的每一个跟踪动作；以及
计数部，利用所述移动体的所跟踪到的动作，判断所述移动体是否通过所述入场线以及是否通过所述退场线，并基于所述判断得到的通过与否对人体进行计数，
所述检测部包括移动体检测部，用于利用所接收的所述图像的图像帧检测移动体，
所述移动体检测部包括精确度计算部，用于针对所述图像帧的每个像素利用高斯混合模型法和帧差法来算出检测精确度，并将所算出的检测精确度为事先设定的精确度以上的像素检测为移动体区域，
所述移动体检测部还包括区域扩张部，用于基于优先级对所述精确度计算部检测出的移动体区域进行扩张，
其中，所述检测精确度是利用所述高斯混合模型法所算出的概率与所述帧差法所算出的概率之和。
2.如权利要求1所述的人体计数装置，其特征在于，
所述线条设定部将所述退场线设定在所述出入口的外部，
所述计数部在判断为所述移动体已通过所述入场线后再通过所述退场线时，将所述移动体计数为通过所述出入口退场的人。
3.如权利要求1所述的人体计数装置，其特征在于，
所述线条设定部将所述退场线设定在所述出入口的内部，
所述计数部在判断为所述移动体已通过所述入场线后再通过所述退场线时，将所述移动体计数为通过所述出入口入场的人。
4.如权利要求1所述的人体计数装置，其特征在于，
所述计数部在判断为所述移动体已通过所述入场线后未通过所述退场线时，不将所述移动体计数为通过所述出入口入场的人及退场的人中的任一个。
5.如权利要求1所述的人体计数装置，其特征在于，
所述检测部包括人体检测部，用于利用检测出的所述移动体区域的位置、检测出的所述移动体区域的大小以及形状特征描述符即方向梯度直方图方法，从检测出的所述移动体中检测出人移动体。
6.如权利要求1所述的人体计数装置，其特征在于，
所述跟踪部利用包含加权值和卡尔曼增益的卡尔曼滤波器对检测出的所述移动体进行跟踪，其中所述加权值包含αtemplate、αhistogram以及αsift中的至少一个要素，所述αtemplate是与将模板间像素之差的绝对值全部相加相关的要素，所述αhistogram是与在对于所述模板的关注物体的颜色直方图适用高斯混合模型法而定义概率模型后，算出直方图之间差相关的要素，所述αsift是与利用尺度不变特征转换算法中的特征描述符，算出之前帧与当前帧之间相同物体之间差相关的要素。
7.一种人体计数方法，包括：
接收步骤，接收图像拍摄装置所拍摄的包含出入口的图像；
线条设定步骤，在所述出入口设定假想的线条即入场线，并且以将所述入场线作为一侧而形成特定区域的方式设定假想的线条即退场线；
检测步骤，利用所接收的所述图像的帧间信息之差，检测出在所述图像中存在的移动体，并从检测出的所述移动体中检测出相应于人体的移动体；
跟踪步骤，对检测出的所述移动体中的每一个跟踪动作；以及
计数步骤，利用所跟踪到的所述移动体的动作，判断所述移动体是否通过所述入场线以及是否通过所述退场线，并基于所述判断得到的通过与否对人体进行计数，
所述检测步骤包括移动体检测步骤，用于利用所接收的所述图像的图像帧检测移动体，
所述移动体检测步骤包括精确度计算步骤，用于对所述图像帧中的每个像素利用高斯混合模型法和帧差法来算出检测精确度，并将所算出的所述检测精确度为事先设定的精确度以上的像素检测为移动体区域，
所述移动体检测步骤还包括区域扩张步骤，用于根据优先级对在所述精确度计算步骤中检测出的移动体区域进行扩张，
其中，所述检测精确度是利用所述高斯混合模型法所算出的概率与所述帧差法所算出的概率之和。
8.如权利要求7所述的人体计数方法，其特征在于，
所述线条设定步骤将所述退场线设定在所述出入口的外部，
所述计数步骤在判断为所述移动体已通过所述入场线后再通过所述退场线时，将所述移动体计数为通过所述出入口退场的人。
9.如权利要求7所述的人体计数方法，其特征在于，
所述线条设定步骤将所述退场线设定在所述出入口的内部，
所述计数步骤在判断为所述移动体已通过所述入场线后再通过所述退场线时，将所述移动体计数为通过所述出入口入场的人。
10.如权利要求7所述的人体计数方法，其特征在于，
所述计数步骤在判断为所述移动体已通过所述入场线后未通过所述退场线时，不将所述移动体计数为通过所述出入口入场的人及退场的人中的任一个。
11.如权利要求7所述的人体计数方法，其特征在于，
所述检测步骤包括人体检测步骤，用于利用检测出的所述移动体区域的位置、检测出的所述移动体区域的大小以及形状特征描述符即方向梯度直方图方法，从检测出的所述移动体中检测出人移动体。
12.一种人体检测装置，包括：
接收部，接收图像拍摄装置所拍摄的图像的图像帧；
精确度检测部，对所接收的所述图像帧的每个像素利用高斯混合模型法和帧差法来算出检测精确度，并将所算出的所述检测精确度为事先设定的精确度以上的像素检测为移动体区域；以及
人体检测部，利用检测出的所述移动体区域的位置、检测出的所述移动体区域的大小以及形状特征描述符即方向梯度直方图方法，从检测出的所述移动体中检测出人移动体，
所述人体检测装置还包括区域扩张部，用于基于利用所述像素间的亮度值之差的优先级对所述精确度计算部检测出的移动体区域进行扩张，
检测出的所述移动体区域的位置是由所述区域扩张部所扩张的移动体区域的位置，检测出的所述移动体区域的大小是由所述区域扩张部所扩张的移动体区域的大小，
其中，所述检测精确度是利用所述高斯混合模型法所算出的概率与所述帧差法所算出的概率之和。
13.一种人体检测方法，包括：
接收步骤，接收图像拍摄装置所拍摄的图像的图像帧；
精确度检测步骤，对所接收的所述图像帧的每个像素利用高斯混合模型法和帧差法来算出检测精确度，并将所算出的所述检测精确度为事先设定的精确度以上的像素检测为移动体区域；以及
人体检测步骤，利用检测出的所述移动体区域的位置、检测出的所述移动体区域的大小以及形状特征描述符即方向梯度直方图方法，从检测出的所述移动体中检测出人移动体，
所述人体检测方法还包括区域扩张步骤，用于基于利用所述像素间亮度值之差的优先级对在所述精确度计算步骤检测出的移动体区域进行扩张，
检测出的所述移动体区域的位置是在所述区域扩张步骤所扩张的移动体区域的位置，检测出的所述移动体区域的大小是在所述区域扩张步骤所扩张的移动体区域的大小，
其中，所述检测精确度是利用所述高斯混合模型法所算出的概率与所述帧差法所算出的概率之和。
CN201410234167.4A 2013-05-31 2014-05-29 人体检测装置及方法与人体计数装置及方法 Active CN104217419B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130062261A KR101480348B1 (ko) 2013-05-31 2013-05-31 사람 검출 장치 및 방법과 사람 계수 장치 및 방법
KR10-2013-0062261 2013-05-31

Publications (2)

Publication Number Publication Date
CN104217419A CN104217419A (zh) 2014-12-17
CN104217419B true CN104217419B (zh) 2018-04-17

Family

ID=51985153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410234167.4A Active CN104217419B (zh) 2013-05-31 2014-05-29 人体检测装置及方法与人体计数装置及方法

Country Status (3)

Country Link
US (1) US9495600B2 (zh)
KR (1) KR101480348B1 (zh)
CN (1) CN104217419B (zh)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809707B (zh) * 2014-12-30 2018-11-27 江苏慧眼数据科技股份有限公司 一种基于随机森林算法的行人跟踪方法
JP6568374B2 (ja) * 2015-03-27 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
KR20160118783A (ko) * 2015-04-03 2016-10-12 한화테크윈 주식회사 사람 계수 방법 및 장치
JP5915960B1 (ja) 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
US10372977B2 (en) 2015-07-09 2019-08-06 Analog Devices Gloval Unlimited Company Video processing for human occupancy detection
KR102367118B1 (ko) * 2015-09-07 2022-02-24 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
EP3347789B1 (en) 2015-09-11 2021-08-04 SZ DJI Technology Co., Ltd. Systems and methods for detecting and tracking movable objects
TWI604416B (zh) * 2015-10-01 2017-11-01 晶睿通訊股份有限公司 影像流量分析方法及具有影像流量分析功能的攝影機
JP6558579B2 (ja) 2015-12-24 2019-08-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
EP3405927A1 (en) 2016-01-20 2018-11-28 Carrier Corporation A building management system using object detection and tracking in a large space with a low resolution sensor
CN105809136A (zh) 2016-03-14 2016-07-27 中磊电子（苏州）有限公司 影像数据处理方法及影像数据处理系统
JP6786837B2 (ja) * 2016-03-25 2020-11-18 富士ゼロックス株式会社 動体計数装置及びプログラム
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
CN107516124B (zh) * 2016-06-17 2020-06-16 中国科学院深圳先进技术研究院 实时人流数量计数方法与系统
US10181653B2 (en) 2016-07-21 2019-01-15 Infineon Technologies Ag Radio frequency system for wearable device
US10218407B2 (en) 2016-08-08 2019-02-26 Infineon Technologies Ag Radio frequency system and method for wearable device
WO2018030337A1 (ja) * 2016-08-08 2018-02-15 ナブテスコ株式会社 自動ドアシステム、自動ドアシステムで用いられるプログラム、自動ドアにおいて情報を収集する方法、自動ドアで用いられるセンサ装置
US10290197B2 (en) * 2016-08-15 2019-05-14 Nec Corporation Mass transit surveillance camera system
US10466772B2 (en) 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10810481B2 (en) * 2017-01-11 2020-10-20 Thomas Danaher Harvey Method and system to count movements of persons from vibrations in a floor
US10282656B2 (en) * 2017-01-11 2019-05-07 Thomas Danaher Harvey Method and device for detecting unauthorized tranfer between persons
US10505255B2 (en) 2017-01-30 2019-12-10 Infineon Technologies Ag Radio frequency device packages and methods of formation thereof
CN108460864B (zh) * 2017-02-22 2022-09-02 开利公司 人流量估测系统及用于其的故障处理方法
JP6910208B2 (ja) * 2017-05-30 2021-07-28 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10839552B2 (en) * 2017-06-01 2020-11-17 Nec Corporation Image processing apparatus, tracking method, and program
US10602548B2 (en) 2017-06-22 2020-03-24 Infineon Technologies Ag System and method for gesture sensing
JP6917804B2 (ja) * 2017-06-28 2021-08-11 アズビル株式会社 人検知結果判定方法および装置
KR101983684B1 (ko) * 2017-08-25 2019-05-30 광운대학교 산학협력단 컨벌루션 신경망을 이용한 임베디드 플랫폼 상의 피플 카운팅 방법
US10677905B2 (en) 2017-09-26 2020-06-09 Infineon Technologies Ag System and method for occupancy detection using a millimeter-wave radar sensor
CN109753846A (zh) * 2017-11-03 2019-05-14 北京深鉴智能科技有限公司 目标跟踪硬件实现系统和方法
US11346936B2 (en) 2018-01-16 2022-05-31 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
US11278241B2 (en) 2018-01-16 2022-03-22 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
US10795012B2 (en) 2018-01-22 2020-10-06 Infineon Technologies Ag System and method for human behavior modelling and power control using a millimeter-wave radar sensor
KR101992562B1 (ko) * 2018-02-06 2019-06-24 한국원자력 통제기술원 원자력 시스템 관련 유사설계도 검출시스템 및 그 방법
US10576328B2 (en) 2018-02-06 2020-03-03 Infineon Technologies Ag System and method for contactless sensing on a treadmill
US11157745B2 (en) * 2018-02-20 2021-10-26 Scenera, Inc. Automated proximity discovery of networked cameras
US10705198B2 (en) 2018-03-27 2020-07-07 Infineon Technologies Ag System and method of monitoring an air flow using a millimeter-wave radar sensor
US10775482B2 (en) 2018-04-11 2020-09-15 Infineon Technologies Ag Human detection and identification in a setting using millimeter-wave radar
US10761187B2 (en) 2018-04-11 2020-09-01 Infineon Technologies Ag Liquid detection using millimeter-wave radar sensor
US10794841B2 (en) 2018-05-07 2020-10-06 Infineon Technologies Ag Composite material structure monitoring system
JP6941075B2 (ja) * 2018-05-18 2021-09-29 Kddi株式会社 入場者特定装置、入場者特定方法及び入場者特定プログラム
JP7340771B2 (ja) * 2018-05-28 2023-09-08 パナソニックＩｐマネジメント株式会社 生体検知装置、生体検知方法、記録媒体、およびプログラム
US10399393B1 (en) 2018-05-29 2019-09-03 Infineon Technologies Ag Radar sensor system for tire monitoring
US10903567B2 (en) 2018-06-04 2021-01-26 Infineon Technologies Ag Calibrating a phased array system
CA3102297A1 (en) * 2018-06-04 2019-12-12 The Regents Of The University Of California Deep learning-enabled portable imaging flow cytometer for label-free analysis of water samples
US11416077B2 (en) 2018-07-19 2022-08-16 Infineon Technologies Ag Gesture detection system and method using a radar sensor
US10928501B2 (en) 2018-08-28 2021-02-23 Infineon Technologies Ag Target detection in rainfall and snowfall conditions using mmWave radar
US11183772B2 (en) 2018-09-13 2021-11-23 Infineon Technologies Ag Embedded downlight and radar system
US10832416B2 (en) 2018-09-21 2020-11-10 International Business Machines Corporation Crowd flow rate estimation
WO2020065606A1 (en) * 2018-09-27 2020-04-02 Demaclenko It S.R.L. System and method for detecting the number of users on at least one ski resort run
IT201900006570A1 (it) * 2019-05-06 2020-11-06 Demaclenko It S R L Sistema e metodo di rilevamento del numero di utenti su almeno una pista da sci di un comprensorio sciistico
JP2020063154A (ja) * 2018-10-11 2020-04-23 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
US11125869B2 (en) 2018-10-16 2021-09-21 Infineon Technologies Ag Estimating angle of human target using mmWave radar
US11397239B2 (en) 2018-10-24 2022-07-26 Infineon Technologies Ag Radar sensor FSM low power mode
US11360185B2 (en) 2018-10-24 2022-06-14 Infineon Technologies Ag Phase coded FMCW radar
DE102018128012A1 (de) * 2018-11-08 2020-05-14 DILAX Intelcom GmbH Vorrichtung und Verfahren zur Unterscheidung und Zählung von Personen und Gegenständen
EP3654053A1 (en) 2018-11-14 2020-05-20 Infineon Technologies AG Package with acoustic sensing device(s) and millimeter wave sensing elements
TWI686748B (zh) * 2018-12-07 2020-03-01 國立交通大學 人流分析系統及人流分析方法
US11087115B2 (en) 2019-01-22 2021-08-10 Infineon Technologies Ag User authentication using mm-Wave sensor for automotive radar systems
US11593581B2 (en) 2019-02-28 2023-02-28 Stats Llc System and method for calibrating moving camera capturing broadcast video
US11355838B2 (en) 2019-03-18 2022-06-07 Infineon Technologies Ag Integration of EBG structures (single layer/multi-layer) for isolation enhancement in multilayer embedded packaging technology at mmWave
US11126885B2 (en) 2019-03-21 2021-09-21 Infineon Technologies Ag Character recognition in air-writing based on network of radars
US11454696B2 (en) 2019-04-05 2022-09-27 Infineon Technologies Ag FMCW radar integration with communication system
US11747443B2 (en) * 2019-08-05 2023-09-05 Tellus You Care, Inc. Non-contact identification of multi-person presence for elderly care
KR20190099155A (ko) 2019-08-06 2019-08-26 엘지전자 주식회사 사람수 카운팅 장치 및 사람수 카운팅 방법
US11327167B2 (en) 2019-09-13 2022-05-10 Infineon Technologies Ag Human target tracking system and method
US11774592B2 (en) 2019-09-18 2023-10-03 Infineon Technologies Ag Multimode communication and radar system resource allocation
US11435443B2 (en) 2019-10-22 2022-09-06 Infineon Technologies Ag Integration of tracking with classifier in mmwave radar
CN110826482B (zh) * 2019-11-04 2022-05-17 北京爱笔科技有限公司 一种固定区域内的人数检测方法及装置
KR102313229B1 (ko) * 2019-12-26 2021-10-19 주식회사 디파인 객체의 이동 방향에 따른 계수 시스템
US11808883B2 (en) 2020-01-31 2023-11-07 Infineon Technologies Ag Synchronization of multiple mmWave devices
US11614516B2 (en) 2020-02-19 2023-03-28 Infineon Technologies Ag Radar vital signal tracking using a Kalman filter
US11585891B2 (en) 2020-04-20 2023-02-21 Infineon Technologies Ag Radar-based vital sign estimation
US11567185B2 (en) 2020-05-05 2023-01-31 Infineon Technologies Ag Radar-based target tracking using motion detection
CN111652161A (zh) * 2020-06-08 2020-09-11 上海商汤智能科技有限公司 人群过密预测方法、装置、电子设备及存储介质
US11774553B2 (en) 2020-06-18 2023-10-03 Infineon Technologies Ag Parametric CNN for radar processing
US20210398691A1 (en) * 2020-06-22 2021-12-23 Honeywell International Inc. Methods and systems for reducing a risk of spread of disease among people in a space
EP3937065B1 (en) * 2020-07-07 2022-05-11 Axis AB Method and device for counting a number of moving objects that cross at least one predefined curve in a scene
US11704917B2 (en) 2020-07-09 2023-07-18 Infineon Technologies Ag Multi-sensor analysis of food
US11657613B2 (en) 2020-08-11 2023-05-23 Analog Devices International Unlimited Company Zone based object tracking and counting
US11614511B2 (en) 2020-09-17 2023-03-28 Infineon Technologies Ag Radar interference mitigation
US11719787B2 (en) 2020-10-30 2023-08-08 Infineon Technologies Ag Radar-based target set generation
US11719805B2 (en) 2020-11-18 2023-08-08 Infineon Technologies Ag Radar based tracker using empirical mode decomposition (EMD) and invariant feature transform (IFT)
CN113033293A (zh) * 2021-02-03 2021-06-25 北京睿家科技有限公司 一种出入口管理设备、系统和方法
KR102471612B1 (ko) 2021-02-16 2022-11-25 조선대학교산학협력단 사용자 정보 생성 방법 및 장치
US11662430B2 (en) 2021-03-17 2023-05-30 Infineon Technologies Ag MmWave radar testing
US11950895B2 (en) 2021-05-28 2024-04-09 Infineon Technologies Ag Radar sensor system for blood pressure sensing, and associated method
EP4105687A1 (en) 2021-06-18 2022-12-21 Infineon Technologies AG People counting based on radar measurement
EP4371087A1 (en) * 2021-07-14 2024-05-22 Sensormatic Electronics, LLC Systems and methods for vision system tracking in an environment based on detected movements and dwell time
EP4286884A1 (en) 2022-06-03 2023-12-06 Infineon Technologies AG People counting based on radar measurement and data processing in a neural network
KR20240075352A (ko) 2022-11-22 2024-05-29 시큐어밸리 주식회사 군중 밀집 관리를 위한 감시 및 통제 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622582A (zh) * 2012-02-21 2012-08-01 长安大学 一种基于视频的道路行人事件检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3521637B2 (ja) * 1996-08-02 2004-04-19 オムロン株式会社 通過人数計測装置及びそれを用いた入退場者数管理システム
KR100558383B1 (ko) * 2003-03-07 2006-03-10 주식회사 밀리오네어즈 움직임 블록 검출 방법 및 이에 기초한 움직이는 물체추적 방법
KR100519782B1 (ko) 2004-03-04 2005-10-07 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
US8224026B2 (en) * 2005-12-08 2012-07-17 Lenel Systems International, Inc. System and method for counting people near external windowed doors
KR20100121817A (ko) * 2009-05-11 2010-11-19 호서대학교 산학협력단 눈의 영역을 추적하는 방법
CN102236899B (zh) * 2010-05-07 2013-12-04 株式会社理光 物体检测方法和装置
KR101064927B1 (ko) 2010-08-10 2011-09-16 주식회사 유니온커뮤니티 영상 분석을 이용한 방문자 계수 시스템 및 그 방법
JP5675229B2 (ja) * 2010-09-02 2015-02-25 キヤノン株式会社 画像処理装置及び画像処理方法
US20120057629A1 (en) * 2010-09-02 2012-03-08 Fang Shi Rho-domain Metrics
US9390334B2 (en) * 2011-03-31 2016-07-12 Panasonic Intellectual Property Management Co., Ltd. Number of persons measurement device
WO2012138828A2 (en) * 2011-04-08 2012-10-11 The Trustees Of Columbia University In The City Of New York Kalman filter approach to augment object tracking
US9111147B2 (en) * 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
EP2820625A1 (en) * 2012-02-29 2015-01-07 Koninklijke Philips N.V. Apparatus, method and system for monitoring presence of persons in an area
US9367733B2 (en) * 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622582A (zh) * 2012-02-21 2012-08-01 长安大学 一种基于视频的道路行人事件检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于DSP的视频人数统计研究;高传莹;《中国优秀硕士学位论文全文数据库》;20110415;摘要，正文第3章 *

Also Published As

Publication number Publication date
US20140355829A1 (en) 2014-12-04
US9495600B2 (en) 2016-11-15
KR101480348B1 (ko) 2015-01-09
CN104217419A (zh) 2014-12-17
KR20140141034A (ko) 2014-12-10

Similar Documents

Publication Publication Date Title
CN104217419B (zh) 人体检测装置及方法与人体计数装置及方法
Ryoo et al. Robot-centric activity prediction from first-person videos: What will they do to me?
WO2020253308A1 (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
Elhamod et al. Automated real-time detection of potentially suspicious behavior in public transport areas
CN103310444B (zh) 一种基于头顶摄像头的监控行人计数的方法
Yun et al. Human fall detection in videos by fusing statistical features of shape and motion dynamics on Riemannian manifolds
Yun et al. Human fall detection in videos via boosting and fusing statistical features of appearance, shape and motion dynamics on Riemannian manifolds with applications to assisted living
CN109145696B (zh) 一种基于深度学习的老人跌倒检测方法及系统
Tekin et al. Predicting people’s 3D poses from short sequences
Jiang et al. A tree-based approach to integrated action localization, recognition and segmentation
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
Senst et al. Detecting people carrying objects utilizing lagrangian dynamics
Baumgartner et al. Tracking people and their objects
Jiang et al. A unified tree-based framework for joint action localization, recognition and segmentation
Singh et al. Obstacle detection techniques in outdoor environment: Process, study and analysis
Ni et al. Integrating multi-stage depth-induced contextual information for human action recognition and localization
Folgado et al. A block-based model for monitoring of human activity
Ghasemi et al. A real-time multiple vehicle classification and tracking system with occlusion handling
CN107665495B (zh) 对象跟踪方法及对象跟踪装置
Radwan et al. Regression based pose estimation with automatic occlusion detection and rectification
Liu et al. Fast head-shoulder proposal for deformable part model based pedestrian detection
Padmashini et al. Vision based algorithm for people counting using deep learning
Chen et al. An indoor video surveillance system with intelligent fall detection capability
Ó Conaire et al. Detection thresholding using mutual information
Duan et al. Crowded abnormal detection based on mixture of kernel dynamic texture

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant