CN109076190B - 检测异常情况的设备和方法 - Google Patents

检测异常情况的设备和方法 Download PDF

Info

Publication number
CN109076190B
CN109076190B CN201680084843.1A CN201680084843A CN109076190B CN 109076190 B CN109076190 B CN 109076190B CN 201680084843 A CN201680084843 A CN 201680084843A CN 109076190 B CN109076190 B CN 109076190B
Authority
CN
China
Prior art keywords
point
detection
area
calculating
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680084843.1A
Other languages
English (en)
Other versions
CN109076190A (zh
Inventor
朱珍善
金辉俊
崔享淑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
S-1 Corp
Original Assignee
S-1 Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by S-1 Corp filed Critical S-1 Corp
Publication of CN109076190A publication Critical patent/CN109076190A/zh
Application granted granted Critical
Publication of CN109076190B publication Critical patent/CN109076190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

提供了检测设备的检测方法。检测设备通过使用由相机获得的关于图像的深度信息从图像中检测至少一个对象。检测设备通过三维(3D)头部模型匹配来识别所述至少一个对象是否是人，该三维(3D)头部模型匹配将所述至少一个对象的头部候选区域与3D头部模型进行匹配。另外，当识别出所述至少一个对象是人时，检测设备通过使用所述至少一个对象来计算用于情况检测的特征。

Description

检测异常情况的设备和方法
技术领域
本发明涉及通过使用三维图像信息来检测异常情况的方法和设备。
背景技术
闭路电视(CCTV)系统作为图像监视设备应用于各种领域。在作为现有监视设备的CCTV中，人通过模拟视频记录器(AVR)、数字视频记录器(DVR)、网络视频记录器(NVR)等直接检查大部分拍摄的内容并识别异常行为。因此，需要许多操作人员，并且操作人员容易错过需要识别的对象或行为。
研究表明，当一个人监视两个或更多个CCTV持续22分钟或更长时间时，该人无法检测到95％或更多的重要事件。
因此，已经积极开发了智能CCTV，该智能CCTV在需要24小时监视图像的情况下自动检测特定对象或人的动作、向用户通知检测到的对象或人的动作、并使得用户能够快速采取措施防止异常行为。
近来，越来越多的尝试利用特定空间(例如，商店)的移动者(mover)计数、移动路径分析、人群密度分析等作为营销材料。
在例如留下的儿童死亡的情况(在2012年2月，一个被独自留在熄灯的体育馆中的女孩由于心脏病发作在日托中心死亡)、在其中被独自留在危险工作区域中的操作员死亡的情况(2015年7月，在危险工作区域中独自工作同时违反规定的该操作员死亡)、在其中在摩天大楼的房顶漫游的人死亡的情况(2015年1月，在房顶漫游很长一段时间的该人坠落并死亡)，等等中，需要留下的人的检测技术。
同时，为了对移动者进行计数、分析人群密度和检测成留下的人，主要使用了红外传感器方案和单相机方案。
红外传感器方案是其中在检测区域中安装若干个红外传感器，并且测量接近传感器的人或对象的距离并对这些人或对象进行计数的方法。在红外传感器方案中，可以进行快速且简单的计数。但是，在红外传感器方案中，由于光干扰而频繁地发生错误计数，并且需要单独用于收集从若干个传感器获得的数据的控制器。此外，在红外传感器方案中，不能获得图像数据，导致不容易区分和管理真假，并且不可能对多个重叠的人进行分离和计数，并且它难以区分人和对象，从而降低计数的准确性。
单相机方案是处理通过一个相机输入的图像并对移动者进行计数的方法。在单相机方案中，根据所应用的图像处理方法，性能略有不同。单相机方案通过仅使用颜色信息来检测人和提取特征，使得单相机方案对周围环境中的变化(例如，照明、阴影和图像被对象的覆盖的变化)敏感地作出反应从而导致高错误率。
发明内容
【技术问题】
本发明致力于提供一种通过使用提供深度信息的三维相机对移动者进行计数并基于移动者的数量来检测人群密度和留下的人的方法和设备。
【技术方案】
本发明的示例性实施例提供了检测设备的检测方法。检测方法包括：通过使用关于由相机获得的图像的深度信息从图像中检测至少一个对象；通过三维(3D)头部模型匹配来识别所述至少一个对象是否是人，所述三维(3D)头部模型将所述至少一个对象的头部候选区域与3D头部模型进行匹配；以及当识别出所述至少一个对象是人时，通过使用所述至少一个对象来计算用于情况检测的特征。
识别可以包括指定圆形区域作为第一头部候选区域，该圆形区域基于在所述至少一个对象的像素中具有基于相机的最小深度值的第一像素和具有基于图像的地面区域的最大高度值的第二像素中的至少一个，并且具有预定半径。
识别还可以包括：当第一头部候选区域的像素的数量与所述至少一个对象的全部像素的数量的比率是第一阈值或更小时，计算所述至少一个对象的区域中除第一头部候选区域之外的剩下的区域；提取在剩下区域的像素中具有基于相机的最小深度值的第三像素和具有基于地面区域的最大高度值的第四像素中的至少一个；以及将基于第三像素和第四像素中的至少一个并且具有预定半径的圆形区域指定为第二头部候选区域。
识别还可以包括：生成具有预定深度的3D头部模型；并且计算第一头部候选区域和3D头部模型之间的巴氏距离。
Bhattacharyya距离的计算可以包括：通过将基于深度的直方图投影应用于第一头部候选区域和3D头部模型来生成第一直方图和第二直方图；并且通过使用第一直方图和第二直方图来计算巴氏距离。
识别还可以包括：当巴氏距离是第一阈值或更小时，将包括所述至少一个对象中的第一头部候选区域的对象识别为人。
用于情况检测的特征的计算可以包括：设置计数线；在与计数线间隔开预定距离的位置处设置虚拟计数线；以及当所述至少一个对象的中心点通过计数线和虚拟计数线时，对移动者的数量进行计数。
虚拟计数线可以包括设置在第一方向上与计数线间隔开预定距离的位置处的第一虚拟计数线和设置在与第一方向相反的第二方向上与计数线间隔开预定距离的位置处的第二虚拟计数线。
计数可以包括：当所述至少一个对象的中心点顺序通过计数线和第一虚拟计数线时，对第一方向上的移动者的数量进行计数；并且当所述至少一个对象的中心点顺序通过计数线和第二虚拟计数线时，对第二方向上的移动者的数量进行计数。
用于情况检测的特征的计算可以包括：计算第一方向上的移动者的数量与第二方向上的移动者的数量之间的差值；测量与差值对应的留下的人的停留时间；并且当停留时间是第一阈值或更长时进行通知。
用于情况检测的特征的计算可以包括：计算作为图像的地面区域的范围的第一值；计算作为所述至少一个对象的宽度的第二值；并且通过使用第一值和第二值来计算人群密度。
第一值的计算可以包括：计算地面区域中最靠近相机的第一区域和最远离相机的第二区域；计算第一区域的点中作为最左边的点的第一点和作为最右边的点的第二点；计算第二区域的点中作为最左边的点的第三点和作为最右边的点的第四点；并且通过使用第一点、第二点、第三点和第四点来计算地面区域的水平长度和垂直长度。
用于情况检测的特征的计算还可以包括当人群密度是第一阈值或更大时检测人群形成。
图像可以包括第一区域，该第一区域与图像的地面区域间隔开第一高度并且与相机间隔开第一深度。
所述至少一个对象的检测可以包括：基于第一高度和第一深度计算第一区域的第一阈值；并且当图像的背景模型与第一高度之间的差值是第一阈值或更大时，将第一区域检测为对象。
本发明的另一个示例性实施例提供了一种检测设备。该检测设备包括：对象检测单元，该对象检测单元通过使用关于由相机获得的图像的深度信息来检测至少一个对象；识别单元，该识别单元将所述至少一个对象的头部候选区域与3D头部模型进行比较，并识别所述至少一个对象是否是目标类型的对象；以及识别特征计算单元，当识别出所述至少一个对象是目标类型的对象时，该识别特征计算单元通过使用所述至少一个对象来计算用于情况检测的特征。
【有利效果】
根据本发明的示例性实施例，可以通过使用3D相机来提高检测的准确度和减少假特征。
此外，根据本发明的示例性实施例，可以通过执行检测空间的地面的检测来准确地提取3D特征，而与3D相机的安装位置无关。
此外，根据本发明的示例性实施例，可以通过使用基于距离信息的标记将重叠对象准确地分离成各个对象。
此外，根据本发明的示例性实施例，可以通过使用3D头部模型匹配来准确地识别人和对象。
此外，即使在对移动者进行计数时难以单独地识别移动者，根据本发明的示例性实施例，也可以成功地单独识别。例如，根据本发明的示例性实施例，即使在成年人携带儿童时，也可以对儿童和成人进行识别和计数。又例如，根据本发明的示例性实施例，即使当人持有或拉行李时，也可以对人进行识别和计数。
此外，根据本发明的示例性实施例，通过形成具有深度信息的图像，即使在其中难以利用图像信息的敏感地方也可以检测对象。例如，根据本发明示例性实施例的设备甚至可以安装在其中需要确保隐私的地方，诸如洗浴室和试衣间。
此外，根据本发明的示例性实施例，不使用颜色信息，使得即使在照明和环境的变化时也可以一致地识别对象。
此外，根据本发明的示例性实施例，可以通过利用移动者计数信息检测留下的人来防止事故。特别地，根据本发明的示例性实施例，即使在其中需要检测留下的人的空间中没有安装附加的传感器或相机，也可以通过利用对移动者进入和离开时计数的时间来检测留下的人。
附图说明
图1是图示根据本发明示例性实施例的检测设备的图。
图2是图示根据本发明示例性实施例的检测设备的检测方法的图。
图3A和3B是图示根据本发明示例性实施例的深度图像的图。
图4是图示根据本发明示例性实施例的地面检测结果的图。
图5是图示根据本发明示例性实施例的背景学习结果的图。
图6是图示根据本发明示例性实施例的背景更新结果的图。
图7是图示根据本发明示例性实施例的对象检测结果的图。
图8是图示根据本发明示例性实施例的向其分配标签的对象的上侧、下侧、左侧、右侧、中心点和深度(距离)的最小和最大像素的位置的图。
图9A、9B和9C是图示根据本发明示例性实施例的在人识别过程中的头部模型生成过程和头部候选区域指定过程的图。
图10A是图示根据本发明示例性实施例的在人识别过程中的匹配分数计算过程的图。
图10B是图示根据本发明示例性实施例的三维(3D)头部模型匹配结果的图。
图11A是图示根据本发明示例性实施例的当3D相机101a被安装在天花板上时计数线的设置的图。
图11B是图示根据本发明示例性实施例的提取用于计算地面范围的特征的方法的图。
图11C是图示根据本发明示例性实施例的留下的人的检测方法的图。
图12A是图示根据本发明示例性实施例的当3D相机被安装在天花板上时测量人群密度的方法的图。
图12B是图示根据本发明示例性实施例的当3D相机被安装在墙壁表面上时测量人群密度的方法的图。
图12C是图示根据本发明示例性实施例的当3D相机被安装在天花板上时对移动者进行计数的方法的图。
图12D是图示根据本发明示例性实施例的当3D相机被安装在墙壁表面上时对移动者进行计数的方法的图。
图12E是图示根据本发明示例性实施例的当3D相机被安装在天花板上时检测留下的人的方法的图。
图12F是图示根据本发明示例性实施例的当3D相机被安装在墙壁表面上时检测留下的人的方法的图。
具体实施方式
【发明模式】
在以下详细描述中，简单地通过图示的方式仅示出和描述了本发明的某些示例性实施例。如本领域技术人员将认识到的，可以以各种不同方式修改所描述的实施例，所有这些都不脱离本发明的精神或范围。因此，附图和描述本质上被认为是说明性的而非限制性的。贯穿本说明书，相同的附图标记指示相同的元件。
贯穿本说明书和随后的权利要求，当描述元件被“耦合”到另一个元件时，该元件可以被“直接耦合”到另一个元件或通过第三元件“电耦合”到另一个元件。
贯穿本说明书和权利要求，除非明确地相反描述，否则词语“包括”和及其变型将被理解为暗示包含所述元件但不排除任何其它元件。
同时，在本说明书中，“A或B”可以包括“A”、“B”或“A和B两者”。
在本说明书中，对象可以指人、动物或物体。在下文中，为了便于描述，在假设对象是人的情况下描述本发明，但是本发明的范围不限于此。
图1是图示根据本发明示例性实施例的检测设备100的图。图2是图示根据本发明示例性实施例的检测设备100的检测方法的图。
检测设备100包括深度图像生成单元101、坐标转换单元102、地面检测单元103、背景学习单元104、对象检测单元105、对象特征提取单元106、对象跟踪单元107、识别单元108、识别特征计算单元109、处理器120和存储器121。背景学习单元104和对象检测单元105对应于检测器，并且对象特征提取单元106和对象跟踪单元107对应于跟踪器，并且识别单元108和识别特征计算单元109对应于识别器。
深度图像生成单元101通过使用由三维(3D)相机101a获得的深度信息(距离信息)来生成深度图像(S101)。即，深度图像包括深度信息。图1图示了其中3D相机101a被包含在深度图像生成单元101中作为示例的情况，但是3D相机101a可以是与检测设备100区分开的单独设备。3D相机101a被安装在期望被监视的监视区域中，并拍摄监视区域的图像。
例如，3D相机101a可以被安装在监视区域的天花板或墙壁表面上。3D相机101a可以由提供深度信息的飞行时间(TOF)相机、结构化光方案相机、激光测距仪(LRF)传感器等实现。
特别地，如图3A所例示的，深度图像生成单元101可以将由3D相机101a获得的深度信息归一化为0至255之间的值，并且以灰度图像表示深度信息。图3A图示了具有0cm至10cm的深度范围(距离范围)的灰度图像作为示例。
图3B图示了一般图像(彩色图像)和深度图像之间的差异作为示例。特别地，在图3B中，(a)表示没有照明时的一般图像，并且(b)表示没有照明时的深度图像。此外，在图3B中，(c)表示存在光时的一般图像，并且(d)表示存在光时的深度图像。
坐标转换单元102通过使用关于Z轴的深度信息将深度图像转换为真实世界坐标(即，3D坐标)(S102)。特别地，坐标转换单元102可以匹配二维(2D)图像(彩色图像)和3D深度图像，并估计2D图像的坐标所具有的3D深度值。3D相机101a仅提供关于Z轴的距离信息(深度信息)，使得坐标转换单元102通过使用下面的等式1将深度图像的所有像素转换为3D坐标。
(等式1)
Figure BDA0001836854530000071
Figure BDA0001836854530000072
在等式1中，Xrw表示X轴真实世界坐标，Yrw表示Y轴真实世界坐标，并且Zrw表示由3D相机101a提供的距离(深度)。在等式1中，W表示图像的宽度并且H表示图像的高度。在等式1中，X和Y表示图像的2D像素坐标，constx是
Figure BDA0001836854530000073
并且FovH表示3D相机101a的水平视角。此外，在等式1中，consty是
Figure BDA0001836854530000074
并且FovV表示3D相机101a的垂直视角。
地面检测单元103定义地面平面并通过使用由3D相机101a获得的深度信息来检测地面区域(S103)。特别地，地面检测单元103通过使用从坐标转换单元102发送的预定初始时间的真实世界坐标(3D坐标)从整个图像中检测地面表面，并计算图像的所有像素的平面参考距离值。在本文中，平面参考距离值d表示所有像素(3D坐标)与地面平面分开有多远。关于由地面区域检测单元103检测到的地面平面的信息可以用在将在下面描述的背景模型学习、对象检测和对象特征提取过程中。地面检测单元103通过使用下面的等式2至5来计算地面平面和平面参考距离值。
(等式2)
p1＝{x1，y1，Z1}p2＝{x2，y2，Z2}，p3＝{x3，y3，z3}
在等式2中，p1、p2和p3是通过平面的三个点。p1、p2和p3可以由方法M100或方法M101获得。
在方法M100中，p1、p2和p3具有由用户设置的三个点的真实世界坐标值。
在方法M101中，选择其中Yrw(3D相机101a被安装在墙壁表面上的情况)或Zrw(3D相机101a被安装在天花板上的情况)具有最小值的一个点，累积在围绕所选点的5cm周围的上、下、左和右区域中搜索的所有Xrw、Yrw和Zrw，计算累积值的平均值，并将该平均值指定为p1。此外，在方法M101中，搜索其中p1的z1(3D相机101a被安装在墙壁表面上的情况)或p1的x1(3D相机101a被安装在天花板上的情况)为80cm或更大的地点周围50厘米的上、下、左和右区域，选择其中p1的x1和p1的y1之间的差值是阈值或更小的一个点，通过搜索所选点周围5cm的上、下、左和右区域来累积Xrw、Yrw、Zrw，获得累积值的平均值，并且将平均值指定为p2。在方法M101中，通过与计算p2的方法相同的方法来计算p3。
即，在方法M101中，将其中Yrw在3D坐标(真实世界坐标)中具有最小值的一个点定义为p1。在方法M101中，搜索比p1的z1大80cm或更多的地点周围50cm的上、下、左和右区域，并且将其中p1的z1和p1的y1之间的差值为阈值或更小的一个点定义为p2。在方法M101中，搜索比p2的z2大80cm或更多的地点周围50cm的上、下、左和右区域，并且将其中p2的z2和p2的y2之间的差值为阈值或更小的一个点定义为p3。在本文中，80cm、50cm和5cm是根据图像的尺寸预定的值，并且可以根据图像的尺寸而改变。
通过使用等式2的三个点p1、p2和p3，可以获得下面的等式3的平面等式。
(等式3)
ax+by+cz＝d
等式3表示通过p1、p2和p3的平面。在等式3中，a、b和c表示平面等式的系数，并且可以通过下面的等式4进行计数。
(等式4)
a＝y1(z2-z3)+y2(z3-z1)+y3(z1-z2)
b＝z1(x2-x3)+z2(x3-x1)+z3(x1-x2)
c＝x1(y2-y3)+x2(y3-y1)+x3(y1-y2)
在等式3中，d表示平面参考距离值，并且相对于地面区域的三个点p1、p2和p3可以具有0值。平面参考距离值d可以通过下面的等式5获得。
(等式5)
d＝a＊(rea|wor|dX-ptPointX)+b＊(rea|wor|dY-ptPointY)+c＊(rea|wordZ-ptPointZ)
在等式5中，realworldX、realworldY和realworldZ表示真实世界坐标(即3D坐标)，并且ptPointX、ptPointY和ptPointZ中的每一个表示地面平面的预定的一个点(例如，p1、p2或p3)。因此，当将地面平面的所有像素应用于等式5时，相对于地面平面的平面参考距离值d可以是0。
当通过等式3或等式5获得的平面参考距离值d是预定阈值(例如，3cm)或更小时，该区域可以被认为是地面区域(地面平面)。可以生成根据基于地面区域的高度的深度图像。
图4是图示根据本发明示例性实施例的地面检测结果的图。
特别地，在图4中，(a)表示通过地面平面的三个点p1、p2和p3，(b)表示通过地面检测检测到的其中d＜3cm的地面平面FP1，并且(c)表示基于地面检测的结果的深度图像。在(c)中，例示了基于地面平面FP1具有0cm至5m的高度范围的灰度图像。在(c)中，随着坐标更接近地面平面FP1，图像具有更深的灰度级别(更低的值)。
背景学习单元104基于由地面检测单元103检测到的地面区域来累积高度值，并生成背景模型(S104)。特别地，背景学习单元104可以在图像的区域中累积其中Zrw为0的区域预定初始时间ta(例如，10秒)作为背景模型，并且然后在图像的区域中累积其中Zrw不为0的区域的高度值(基于地面区域)预定时间t(例如，30秒)并对累积值求平均以生成初始背景模型。即，背景学习单元104可以通过累积由地面区域检测单元103计算出的每个像素的平面参考距离值d预定时间t来计算平均值，并且生成平均值作为初始背景模型。在本文中，预定时间ta和t是在3D相机101a的初始驱动之后的预定时间，并且可以由用户设置。
图5是图示根据本发明示例性实施例的背景学习结果的图。特别地，在图5中，(a)表示由地面检测单元103检测到的地面区域FP1，(b)表示由深度图像生成单元101生成并包含深度信息Z的深度图像，并且(c)表示基于高度图像的背景模型(基于地面区域FP1的平面参考距离值(d))。在(c)中，Cbg1表示在图像的区域中其中Zrw为0的区域的背景模型，并且Cbg2表示在图像的区域中其中Zrw不为0的区域的背景模型。
同时，当通过对象检测过程(背景模型和输入图像之间的比较)检测到对象(这将在下面进行描述)时，背景学习单元104实时地将在图像的区域中被识别为背景的区域更新为背景模型。此外，当通过人识别过程识别出非人对象(其是物体而不是人)(这将在下面进行描述)时，背景学习单元104也将非人对象更新为背景模型。
图6是图示根据本发明示例性实施例的背景更新结果的图。特别地，在图6中，(a)表示非人对象的识别的结果(1024帧)，并且(b)表示由背景学习单元104将非人对象更新为背景模型的结果(1066帧)。
在图6的(a)中，第一图像表示输入彩色图像，第二图像表示深度图像，第三图像表示背景模型，第四图像表示检测到的对象Ob1，并且第五图像表示向其应用标记的对象Ob1。当对象Ob1被识别为非人对象时，背景学习单元104将对象Ob1更新为背景模型，如图6的(b)所例示的。在图6的(b)中，第一图像表示输入彩色图像，第二图像表示深度图像，第三图像表示背景模型(对象Ob1被包含在背景模型中)，第四图像表示对象检测图像(没有检测到的对象)，并且第五图像表示被标记的图像。
对象检测单元105通过使用由背景学习单元104生成的背景模型来划分背景和前景(S105)。特别地，对象检测单元105可以检测其中背景模型与当前图像的基于地面的高度值(平面参考距离值d)之间的差值等于或大于用于检测的阈值的区域作为前景，并且检测其中背景模型与当前图像的基于地面的高度值(平面参考距离值d)之间的差值小于用于检测的阈值的区域作为背景。在本文中，背景意味着不可移动的区域(例如，地面和墙壁表面)，并且前景意味着其中对象(例如，人、动物和物体)移动的区域。
根据基于地面的高度值和由3D相机101a获得的深度值(距离值)，用于检测的阈值可以具有不同的值。即，基于地面的高度值和深度值(距离值)可以用作用于检测的阈值的权重值。例如，随着区域(对象)更接近地面区域并且在图像的区域中具有到3D相机101a的更小距离(深度)，可以将更小的用于检测的阈值应用于对应区域(对象)，并且，随着区域(对象)远离地面区域并且在图像的区域中具有到3D相机101a的更大距离(深度)，可以将更大的用于检测的阈值应用于对应区域(对象))。当背景模型和特定区域的基于地面的高度值之间的差值等于或大于用于对应区域的检测的阈值时，对象检测单元105可以将对应区域检测为对象。
用于检测的阈值可以由下面的等式6定义。
(等式6)
前景＝Dfloor>θ
θ＝d×(weighty+weightz)
*Dfloor＝地面-背景模型
*θ＝阈值
d＝2.5cm
*weighty＝地面*0.01
*weightz＝Zrw*0.01
等式6表示当Dfloor大于θ时，对应区域对应于前景。在等式6中，θ表示用于检测的阈值，Dfloor表示当前图像的基于地面的高度值(地面)与背景模型之间的差值，weighty表示基于基于地面的高度值(地面)的权重值，并且weightz表示基于深度值Zrw的权重值。在等式6中，假设d是2.5cm，但是d可以被改变为另一个值。
如上所述，由对象检测单元105检测为背景的区域由背景学习单元105实时地更新为背景模型。
对象检测单元105通过对检测为前景的区域应用基于距离的标记来去除噪声，并且仅检测感兴趣的对象。在本文中，基于距离的标记意味着搜索被检测为前景的区域的像素值，具有相邻像素值的区域被确定为相同的对象，并且相同的标签被分配给相同的对象。当通过使用关于图像检测结果的相邻像素(对象的像素值)的信息和每个像素的3D真实世界坐标值(Xrw，Yrw，Zrw)，像素之间的距离小于阈值时，对象检测单元105确定对应的像素属于相同的对象并将相同标签分配给对应的像素，并且当像素之间的距离等于或大于阈值时，对象检测单元105确定对应的像素属于不同的对象并将不同的标签分配给对应的像素。
图7是图示根据本发明示例性实施例的对象检测结果的图。
在图7中，(a)表示输入的2D彩色图像，(b)表示由深度图像生成单元101生成的3D深度图像，(c)表示由对象检测单元105检测到的前景(对象)，并且(d)表示通过对象检测单元105的标记最终检测到的对象。
在其中基于3D真实世界坐标值执行标记的情况下，即使两个对象的像素如图7C所示是相邻的，像素之间的距离的差值也等于或大于阈值，使得对象检测单元105将两个对象确定为不同的对象并分别向不同的对象分配不同的标签(例如，ID:1和ID2)，如图7D所示。因此，即使当两个或更多个人彼此接触同时具有预定距离时，对象检测单元105也可以将这两个或更多个人中的每个人单独地检测为各个对象。
但是，在其中执行基于2D图像的标记的情况下，当两个对象的像素如图7C所示彼此相邻时，这两个对象被错误地确定为相同的对象并且仅一个相同的标签被分配给这两个对象。
对象特征提取单元106计算由对象检测单元105标记的对象的3D特征(对象的尺寸、对象的速度)(S106)。特别地，对象特征提取单元106可以提取对象的上侧、下侧、左侧、右侧、中心点的最大和最小像素的位置的2D像素坐标和3D真实世界坐标，以及Zrw，并且通过使用提取出的2D像素坐标和3D真实世界坐标提取预定单位(例如，cm)的3D特征。
图8是图示根据本发明示例性实施例的向其分配标签(例如，ID:0)的对象的上侧、下侧、左侧、右侧、中心点和深度(距离)的最小和最大像素的位置的图。
在图8中，(a)表示当3D相机101a被安装在横向表面上时提取出的对象特征点，并且(b)表示当3D相机101a被安装在天花板上时提取出的对象特征点。
在图8的(a)和(b)中，XMin表示具有X轴坐标的最小值的像素的位置，并且XMax表示具有X轴坐标的最大值的像素的位置。在图8的(a)和(b)中，YMin和YMax分别表示具有Y轴坐标的最小值的像素的位置和具有Y轴坐标的最大值的像素的位置，并且ZMin和ZMax分别表示具有Z轴坐标的最小值的像素的位置和具有Z轴坐标的最大值的像素的位置。此外，在图8的(a)和(b)中，CoM3d指示对象的中心点的像素的位置。即，提取出的对象特征点在下面的表1中表示。
(表1)
Figure BDA0001836854530000121
Figure BDA0001836854530000131
对象特征提取单元106通过使用如下面的表2所表示的3D真实世界坐标(Xrw，Yrw，Zrw)来提取对象的3D特征，诸如高度、宽度、厚度、移动速度等。
(表2)
Figure BDA0001836854530000132
Figure BDA0001836854530000141
对象跟踪单元107实时跟踪由对象特征提取单元106提取出的对象特征(S107)。特别地，对象跟踪单元107可以通过使用对象特征的提取结果来跟踪对象的移动，并将相同的ID分配给对应的对象。即，对象跟踪单元107可以通过使用在前一帧中检测到的对象的特征点(例如，YMax.Xrw，YMax.Yrw，YMax.Zrw，YMin.Xrw，YMin.Yrw，YMin.Zrw，CoM2d.x，CoM2d.y，CoM3d.x，CoM3d.y，CoM3d.z和速度)和在当前帧中检测到的对象的特征点(例如，YMax.Xrw，YMax.Yrw，YMax.Zrw，YMin.Xrw，YMin.Yrw，YMin.Zrw，CoM2d.x，CoM2d.y，CoM3d.x，CoM3d.y，CoM3d.z和速度)来计算欧几里德距离。此外，当计算的欧几里德距离值在阈值内时，对象跟踪单元107可以确定前一帧的对象和当前帧的对象是同一对象，并且将已经被分配给前一帧中的对应对象的ID分配给当前帧中的对应对象。
识别单元108通过3D头部模型匹配来识别由对象跟踪单元107跟踪的对象是否是目标类型中的对象(例如，人对象)(S108)。特别地，识别单元108可以确定人的头部是否存在于被跟踪对象中并且识别对应的对象是否是人。当识别出对象是人时，计算对应特征的识别特征，并且当未识别出对象是人时，将对应的对象更新为背景模型。
识别单元108的人识别过程包括头部模型生成过程、头部候选区域指定过程和匹配分数计算过程。图9A、9B和9C是图示根据本发明示例性实施例的人识别过程中的头部模型生成过程和头部候选区域指定过程的图，并且图10A是图示根据本发明示例性实施例的人识别过程中的匹配分数计算过程的图。
特别地，识别单元108可以生成其中心具有0cm的深度(距离)并且外侧具有5cm的深度(距离)的圆形作为3D头部模型，如图9A中所例示的。即，具有预定深度的3D头部模型的横截面是圆形。图9A图示了具有0cm至5cm的深度范围(距离范围)的3D头部模型作为示例。在图9A中，(a)表示3D头部模型的俯视图，并且(b)表示3D头部模型的侧视图。
识别单元108可以生成3D头部模型，并且然后指定头部候选区域，如图9B中所例示的。在图9B中，(a)表示其中3D相机101a被安装在天花板上的情况，并且(b)表示其中3D相机101a被安装在横向表面(墙壁表面)上的情况。
识别单元108可以将对象的像素中基于具有基于3D相机101a最小深度值的像素(在其中3D相机101a被安装在天花板上的情况)或者具有基于地面区域最大高度值的像素将具有预定半径的圆形区域指定为头部候选区域。即，识别单元108可以基于跟踪的对象的ZMin(在其中3D相机101a被安装在天花板上的情况，例如，图9B的(a))或者跟踪的对象的YMax(在其中3D相机101a被安装在横向表面上的情况，例如，图9B的(b))将具有5cm半径的圆形区域指定为头部候选区域。
同时，识别单元108可以考虑其中如图9C中所例示的若干对象重叠的情况。图9C图示了其中3D相机101a被安装在天花板上的情况作为示例，并且特别地，在图9C中，(a)表示第一头部候选区域，并且(b)表示第一头部候选区域和第二头部候选区域。第二头部候选区域对应于向其分配标签(ID:1)的对象。
特别地，识别单元108可以通过使用如图9C的(a)中所例示的对象的ZMin(第一ZMin)来指定第一头部候选区域。在本文中，第一头部候选区域对应于向其分配标签(ID:0)的对象。此外，当第一头部候选区域的像素与对象的像素的总数量(例如，包括图9C的(b)中的左对象的像素的数量、右对象的像素的数量和推车的像素的数量)之比是预定比率或更小时，识别单元108可以为除了第一头部候选区域之外的剩下区域(例如，包括除了图9C的(b)中的左对象、右对象和推车的区域中的第一头部候选区域之外的剩下区域)重新提取ZMin(第二ZMin)或YMax，并指定第二头部候选区域，如图9C的(b)中例示的。识别单元108可以重复上述过程，直到除了头部候选区域之外的剩下区域的像素的数量(例如，剩下区域是除了左对象的区域中的第一头部候选区域，剩下区域是除了右对象的区域中的第二头部候选区域，以及图9C的(b)中的推车)是阈值或更小，并指定若干头部候选区域。
识别单元108可以计算匹配分数，如图10A中所例示的。特别地，识别单元108可以计算3D头部模型和头部候选区域之间的匹配分数，并识别人对象和非人对象。如上所述，非人对象被更新为背景模型。
为了计算匹配分数，识别单元108可以通过将基于深度值的直方图投影应用于3D头部模型和头部候选区域来生成直方图，并且通过使用直方图来计算下面的等式7的巴氏距离。
(等式7)
Figure BDA0001836854530000161
0≤D巴氏(H1，H2)≤1
在等式7中，H1(i)和H2(i)分别表示3D头部模型的直方图(或模板直方图)和头部候选区域的直方图(或头部候选直方图)。
此外，当计算出的巴氏距离接近0(阈值或更小)时，识别单元108可以将具有对应头部候选区域的对象识别为人，并计算对应对象的识别特征。
图10B是图示根据本发明示例性实施例的3D头部模型匹配结果的图。在图10B中，(a)表示头部模型匹配结果的俯视图，并且(b)表示头部模型匹配结果的侧视图。
识别特征计算单元109针对由识别单元108识别出的人对象计算识别特征(例如，用于对移动者进行计数、检测拥挤程度和检测留下的人的特征)(S109)。
特别地，识别特征计算单元109可以对移动者进行计数。在本文中，移动者计数意味着测量在一个方向或两个方向上移动的人的数量。当识别出移动者的数量时，可以分析基于特定空间的时区的人群密度，并且可以利用分析出的人群密度进行营销。此外，当识别出移动者的数量时，可以检测到长时间停留在特定空间中的留下的人，并且可以利用检测到的留下的人来检测和防止事故。识别特征计算单元109可以在某个位置处设置计数线，在该位置处可以在检测空间(检测区域)内对移动者进行计数，并且当人对象的头部中心点通过计数线时，识别特征计算单元109可以对通过的对象进行计数。
图11A是图示根据本发明示例性实施例的当3D相机101a被安装在天花板上时计数线的设置的图。
识别特征计算单元109可以设置一个或多个计数线。当设置计数线时，识别特征计算单元109可以在计数线之前和之后的±10cm位置处自动设置虚拟计数线，如图11a中所例示的。
当人对象的头部中心点经过计数线和虚拟计数线时，识别特征计算单元109可以根据通过的方向对入对象(in-object)(例如，进入的人)或出去的人(out-person)(例如，离开的人)进行计数。例如，当人对象的头部中心顺序通过计数线和前虚拟计数线时，识别特征计算单元109对进入的人的数量进行计数，并且当人对象的头部中心顺序通过计数线和后虚拟计数线时，识别特征计算单元109可以对离开的人的数量进行计数。识别特征计算单元109可以针对移动者的数量进行通知。
识别特征计算单元109可以计算人群密度。特别地，识别特征计算单元109可以通过使用检测区域的地面的范围以及人对象的宽度、厚度和高度基于地面检测结果来计算人群密度。
图11B是图示根据本发明示例性实施例的提取用于计算地面范围的特征的方法的图。
为了计算地面的范围，识别特征计算单元109可以在被检测为地面的区域(例如，其中d<3cm的地面)内找到最接近3D相机101a的Floor_Zmin和距离3D相机101a最远的Floor_Zmax。此外，识别特征计算单元109可以基于Floor_Zmin和Floor_Zmax中的每一个找到最左边的一个点(Floor_Zmin.Xmin，Floor_Zmax.Xmin)和最右边的一个点(Floor_Zmin.Xmax，Floor_Zmax.Xmax)。即，识别特征计算单元109可以计算与Floor_Zmin对应的点中的最左点Floor_Zmin.Xmin和最右点Floor_Zmin.Xmax，并计算与Floor_Zmax对应的点中的最左点Floor_Zmax.Xmin和最右点Floor_Zmax.Xmax。
然后，识别特征计算单元109可以通过使用最左边的一个点(Floor_Zmin.Xmin，Floor_Zmax.Xmin)和最右边的一个点(Floor_Zmin.Xmax，Floor_Zmax.Xmax)来计算检测区域(或地面区域)的水平长度和垂直长度。此外，识别特征计算单元109可以通过使用检测区域(或地面区域)的水平长度和垂直长度来计算地面区域的范围。图11B图示了其中地面区域的水平长度为2.8m并且地面区域的垂直长度为5.8m的情况作为示例。
识别特征计算单元109可以通过使用地面区域的范围以及人对象的宽度、厚度和高度来计算被定义为下面等式8的人群密度。
(等式8)
Figure BDA0001836854530000181
在等式8中，地面区域表示检测区域的地面的范围，头部宽度表示存在于检测区域内的整个人对象的头部宽度，并且头部深度表示存在于检测区域内的整个人对象的头部厚度或头部高度。此外，识别特征计算单元109可以根据人群密度确定拥挤情况。例如，当人群密度是阈值或更大时，识别特征计算单元109可以检测人群形成。当识别特征计算单元109检测到拥挤情况时，识别特征计算单元109可以进行通知。
识别特征计算单元109可以测量停留时间。
图11C是图示根据本发明示例性实施例的留下的人的检测方法的图。
识别特征计算单元109可以通过使用移动者计数信息来检查进入的人和离开的人的数量。当进入的人的数量与离开的人的数量不同时，识别特征计算单元109可以确定存在留下的人。通过从进入的人的数量中减去离开的人的数量来获得留下的人的数量。图11C图示了其中进入的人的数量为10、离开的人的数量为9，并且留下的人的数量为1的情况作为示例。识别特征计算单元109可以累积留下的人的停留时间。当停留时间等于或大于预定阈值时，识别特征计算单元109可以进行通知。
处理器120可以被配置为实现与本说明书中的检测设备100相关的程序、功能和方法。此外，处理器120可以控制检测设备100的每个配置。
存储器121与处理器120连接，并存储与处理器120的操作有关的各种信息。
在上文中，已经描述了通过使用3D相机101a由检测设备100对移动者进行计数并基于移动者计数信息检测异常情况(例如，留下的人和拥挤程度)的方法。将参考图12A至12F组织根据本发明示例性实施例的检测方法。
检测设备100从安装在天花板或墙壁表面上的3D相机101a获得深度信息、通过使用深度信息来检测对象，并且通过3D头部模型匹配仅识别检测到的对象中的人。此外，检测设备100测量检测空间内的拥塞密度。
检测设备100可以测量基于区段(区段A、区段B、区段C和区段D)的人群密度和整个人群密度，如图12A和12B中所例示的，并且通过使用人群密度来检测拥挤情况。
图12A是图示根据本发明示例性实施例的当3D相机101a被安装在天花板上时测量人群密度的方法的图，并且图12B是图示根据本发明示例性实施例的当3D相机101a被安装在横向表面(墙壁表面)上时测量人群密度的方法的图。图12A图示了其中每个区段为2.5m×3.5m的情况作为示例。图12B图示了其中3D相机101a以15°被安装在距离地面2.1m的情况作为示例。
此外，检测设备100可以对通过计数线的移动者进行计数，如图12C和12D所例示的。
图12C是图示根据本发明示例性实施例的当3D相机101a被安装在天花板上时对移动者进行计数的方法的图，并且图12D是图示根据本发明示例性实施例的当3D相机101a被安装在横向表面(墙壁表面)上时对移动者进行计数的方法的图。
然后，检测设备100可以基于进入和离开的移动者的数量来检测特定空间的留下的人，如在图12E和12F中所例示的，并通过检测剩下的人来检测异常情况。
图12E是图示根据本发明示例性实施例的当3D相机101a被安装在天花板上时检测留下的人的方法的图，并且图12F是图示根据本发明示例性实施例的当3D相机101a被安装在横向表面(墙壁表面)上时检测留下的人的方法的图。图12E和12F图示了其中进入的人的数量为6、离开的人的数量为5并且留下的人的数量为1的情况作为示例。
同时，本发明的示例性实施例不仅由前述设备和/或方法来实现，并且还可以由执行与本发明示例性实施例的配置对应的功能的程序或其中记录该程序的记录介质来实现，并且该实现可以由本领域技术人员基于示例性实施例的描述容易地执行。
虽然已经结合目前被认为是实用的示例性实施例描述了本发明，但是应该理解的是，本发明不限于所公开的实施例，而是相反，本发明旨在涵盖包括在所附权利要求的精神和范围内的各种修改和等同布置。

Claims (18)

1.一种检测设备的检测方法，所述检测方法包括：
通过使用关于由相机获得的图像的深度信息从图像中检测至少一个对象；
通过三维(3D)头部模型匹配来识别所述至少一个对象是否是人，所述三维(3D)头部模型匹配将所述至少一个对象的头部候选区域与3D头部模型进行匹配；以及
当识别出所述至少一个对象是人时，通过使用所述至少一个对象来计算用于情况检测的特征；其中：
识别包括：
指定圆形区域作为第一头部候选区域，所述圆形区域基于在所述至少一个对象的像素中具有基于相机的最小深度值的第一像素和具有基于图像的地面区域的最大高度值的第二像素中的至少一个，并且具有预定半径。
2.如权利要求1所述的检测方法，其中：
识别还包括：
当第一头部候选区域的像素的数量与所述至少一个对象的全部像素的数量的比率是第一阈值或更小时，计算所述至少一个对象的区域中除第一头部候选区域之外的剩下的区域；
提取在剩下区域的像素中具有基于相机的最小深度值的第三像素和具有基于地面区域的最大高度值的第四像素中的至少一个；以及
将基于第三像素和第四像素中的至少一个并且具有预定半径的圆形区域指定为第二头部候选区域。
3.如权利要求1所述的检测方法，其中：
识别还包括：
生成具有预定深度的3D头部模型；以及
计算第一头部候选区域和3D头部模型之间的巴氏距离。
4.如权利要求3所述的检测方法，其中：
计算巴氏距离包括：
通过将基于深度的直方图投影应用于第一头部候选区域和3D头部模型来生成第一直方图和第二直方图；以及
通过使用第一直方图和第二直方图来计算巴氏距离。
5.如权利要求4所述的检测方法，其中：
通过使用第一直方图和第二直方图来计算巴氏距离包括：
通过使用下面的等式1来计算巴氏距离；
[等式1]
Figure FDA0002764825240000021
其中，DB：巴氏距离，H1(i)：第一直方图，H2(i)：第二直方图。
6.如权利要求3所述的检测方法，其中：
识别还包括：
当巴氏距离是第一阈值或更小时，将包括所述至少一个对象中的第一头部候选区域的对象识别为人。
7.如权利要求1所述的检测方法，其中：
用于情况检测的特征的计算包括：
设置计数线；
在与计数线间隔开预定距离的位置处设置虚拟计数线；以及
当所述至少一个对象的中心点通过计数线和虚拟计数线时，对移动者的数量进行计数。
8.如权利要求7所述的检测方法，其中：
虚拟计数线包括设置在第一方向上与计数线间隔开预定距离的位置处的第一虚拟计数线和设置在与第一方向相反的第二方向上与计数线间隔开预定距离的位置处的第二虚拟计数线，并且
计数包括：
当所述至少一个对象的中心点顺序通过计数线和第一虚拟计数线时，对第一方向上的移动者的数量进行计数；以及
当所述至少一个对象的中心点顺序通过计数线和第二虚拟计数线时，对第二方向上的移动者的数量进行计数。
9.如权利要求8所述的检测方法，其中：
用于情况检测的特征的计算包括：
计算第一方向上的移动者的数量与第二方向上的移动者的数量之间的差值；
测量与差值对应的留下的人的停留时间；以及
当停留时间是第一阈值或更长时进行通知。
10.如权利要求1所述的检测方法，其中：
用于情况检测的特征的计算包括：
计算作为图像的地面区域的范围的第一值；
计算作为所述至少一个对象的宽度的第二值；以及
通过使用第一值和第二值来计算人群密度。
11.如权利要求10所述的检测方法，其中：
第一值的计算包括：
计算地面区域中最靠近相机的第一区域和最远离相机的第二区域；
计算第一区域的点中作为最左边的点的第一点和作为最右边的点的第二点；
计算第二区域的点中作为最左边的点的第三点和作为最右边的点的第四点；以及
通过使用第一点、第二点、第三点和第四点来计算地面区域的水平长度和垂直长度。
12.如权利要求10所述的检测方法，其中：
用于情况检测的特征的计算还包括：
当人群密度是第一阈值或更大时，检测人群形成。
13.如权利要求1所述的检测方法，其中：
图像包括第一区域，所述第一区域与图像的地面区域间隔开第一高度并且与相机间隔开第一深度，并且
所述至少一个对象的检测包括：
基于第一高度和第一深度计算第一区域的第一阈值；以及
当图像的背景模型与第一高度之间的差值是第一阈值或更大时，将第一区域检测为对象。
14.一种检测设备，包括：
对象检测单元，通过使用关于由相机获得的图像的深度信息来检测至少一个对象；
识别单元，将所述至少一个对象的头部候选区域与3D头部模型进行比较，并识别所述至少一个对象是否是目标类型的对象；以及
识别特征计算单元，当识别出所述至少一个对象是目标类型的对象时，通过使用所述至少一个对象来计算用于情况检测的特征；
其中，识别单元：
计算所述至少一个对象的像素中具有基于相机的最小深度值的第一像素和具有基于图像的地面区域的最大高度值的第二像素中的至少一个，并指定圆形区域作为第一头部候选区域，所述圆形区域基于第一像素和具有最大高度值的第二像素中的至少一个并且具有预定半径。
15.如权利要求14所述的检测设备，其中：
识别单元：
当第一头部候选区域和3D头模型之间的巴氏距离是第一阈值或更小时，将所述至少一个对象中包括第一头部候选区域的对象识别为人。
16.如权利要求14所述的检测设备，其中，识别特征计算单元：
在分别与预定计数线在第一方向和第二方向上间隔开预定距离的位置处设置第一虚拟计数线和第二虚拟计数线、当所述至少一个对象的中心点通过预定计数线和第一虚拟计数线时，对第一方向上的移动者的数量进行计数，并且当所述至少一个对象的中心点通过预定计数线和第二虚拟计数线时，对第二方向上的移动者的数量进行计数。
17.如权利要求14所述的检测设备，其中：
识别特征计算单元：
通过使用第一方向上的移动者的数量与第二方向上的移动者的数量之间的差值来确定留下的人，并且当留下的人的停留时间是第一阈值或更长时进行通知。
18.如权利要求14所述的检测设备，其中：
识别特征计算单元：
计算图像的地面区域内最靠近相机的第一区域和最远离相机的第二区域、计算第一区域的点中作为最左边的点的第一点和作为最右边的点的第二点，以及第二区域的点中作为最左边的点的第三点和作为最右边的点的第四点、通过使用第一点至第四点来计算作为地面区域的范围的第一值，并通过使用第一值和作为所述至少一个对象的宽度的第二值来计算人群密度。
CN201680084843.1A 2016-04-22 2016-07-20 检测异常情况的设备和方法 Active CN109076190B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160049593A KR101788269B1 (ko) 2016-04-22 2016-04-22 이상 상황을 감지하는 장치 및 방법
KR10-2016-0049593 2016-04-22
PCT/KR2016/007913 WO2017183769A1 (ko) 2016-04-22 2016-07-20 이상 상황을 감지하는 장치 및 방법

Publications (2)

Publication Number Publication Date
CN109076190A CN109076190A (zh) 2018-12-21
CN109076190B true CN109076190B (zh) 2021-03-02

Family

ID=60116894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680084843.1A Active CN109076190B (zh) 2016-04-22 2016-07-20 检测异常情况的设备和方法

Country Status (4)

Country Link
US (1) US10853664B2 (zh)
KR (1) KR101788269B1 (zh)
CN (1) CN109076190B (zh)
WO (1) WO2017183769A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650249B2 (en) * 2016-10-25 2020-05-12 Shenzhen University Method and device for counting pedestrians based on identification of head top of human body
JP2019015553A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
WO2019084854A1 (en) * 2017-11-01 2019-05-09 Nokia Technologies Oy Depth-aware object counting
KR102008503B1 (ko) * 2017-11-06 2019-10-21 전자부품연구원 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법
JP2019096072A (ja) * 2017-11-22 2019-06-20 株式会社東芝 物体検出装置、物体検出方法およびプログラム
KR102042343B1 (ko) * 2018-04-13 2019-11-07 경북대학교 산학협력단 3차원 스캐닝을 통해 획득된 점군 데이터 기반에서 깊이 이미지를 생성하는 장치 및 방법 및 이를 이용한 3차원 객체 식별 방법
NL2022442B1 (nl) * 2019-01-24 2020-01-07 Lely Patent Nv Positiebepalingsinrichting
US11048948B2 (en) * 2019-06-10 2021-06-29 City University Of Hong Kong System and method for counting objects
CN110705417A (zh) * 2019-09-24 2020-01-17 杭州驭光光电科技有限公司 人头计数方法及光投射装置
CN111368634B (zh) * 2020-02-05 2023-06-20 中国人民解放军国防科技大学 基于神经网络的人头检测方法、系统及存储介质
KR102187123B1 (ko) * 2020-02-12 2020-12-04 주식회사 카카오뱅크 홀로그램 검출 서비스 제공 서버 및 홀로그램 검출 방법
JP2021197623A (ja) * 2020-06-12 2021-12-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
KR102492161B1 (ko) * 2021-06-16 2023-01-26 주식회사 에스에프에이 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법
CN113706472B (zh) * 2021-07-30 2023-05-12 中国公路工程咨询集团有限公司 公路路面病害检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279791A (zh) * 2013-05-30 2013-09-04 上海汇纳网络信息科技有限公司 基于多特征的行人计算方法
KR101421962B1 (ko) * 2012-11-09 2014-07-23 (주)데이타비전 출입자의 영상을 이용한 출입 관리 장치 및 출입자 감시 방법
CN104410793A (zh) * 2014-12-16 2015-03-11 联想(北京)有限公司 一种图像处理方法及电子设备
CN105517680A (zh) * 2015-04-28 2016-04-20 北京旷视科技有限公司 用于识别人脸的装置、系统、方法和计算机程序产品

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030018487A (ko) 2001-08-29 2003-03-06 주식회사 하나엘 영상을 이용한 출입 이동 물체 계수 방법 및 장치
JP5227888B2 (ja) 2009-05-21 2013-07-03 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム
CN102803991B (zh) * 2009-06-03 2014-06-04 学校法人中部大学 物体检测设备
KR20110038983A (ko) 2009-10-09 2011-04-15 조용범 영상을 이용하여 승객의 승하차수를 카운트하는 방법 및 장치
US20140347479A1 (en) * 2011-11-13 2014-11-27 Dor Givon Methods, Systems, Apparatuses, Circuits and Associated Computer Executable Code for Video Based Subject Characterization, Categorization, Identification, Tracking, Monitoring and/or Presence Response
US10009579B2 (en) 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
KR101454548B1 (ko) 2013-06-26 2014-10-27 주식회사 에스원 3차원 카메라를 이용한 감시 장치 및 이의 구동 방법
KR20150068709A (ko) 2013-12-12 2015-06-22 (주)샤인정보통신 무인방범 객체인식시스템
KR101593187B1 (ko) 2014-07-22 2016-02-11 주식회사 에스원 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
KR102335045B1 (ko) 2014-10-07 2021-12-03 주식회사 케이티 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101421962B1 (ko) * 2012-11-09 2014-07-23 (주)데이타비전 출입자의 영상을 이용한 출입 관리 장치 및 출입자 감시 방법
CN103279791A (zh) * 2013-05-30 2013-09-04 上海汇纳网络信息科技有限公司 基于多特征的行人计算方法
CN104410793A (zh) * 2014-12-16 2015-03-11 联想(北京)有限公司 一种图像处理方法及电子设备
CN105517680A (zh) * 2015-04-28 2016-04-20 北京旷视科技有限公司 用于识别人脸的装置、系统、方法和计算机程序产品

Also Published As

Publication number Publication date
US10853664B2 (en) 2020-12-01
CN109076190A (zh) 2018-12-21
WO2017183769A1 (ko) 2017-10-26
KR101788269B1 (ko) 2017-10-19
US20190095720A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
CN109076190B (zh) 检测异常情况的设备和方法
KR101593187B1 (ko) 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
US10558890B2 (en) System and process for detecting, tracking and counting human objects of interest
Liu et al. Detecting and counting people in surveillance applications
Luber et al. People tracking in rgb-d data with on-line boosted target models
Benfold et al. Guiding visual surveillance by tracking human attention.
Treptow et al. Real-time people tracking for mobile robots using thermal vision
US8965050B2 (en) Behavior analysis device
US20110169917A1 (en) System And Process For Detecting, Tracking And Counting Human Objects of Interest
CN106778655B (zh) 一种基于人体骨架的入口尾随进入检测方法
CN109344690B (zh) 一种基于深度相机的人数统计方法
CN111209781B (zh) 一种统计室内人数的方法及装置
Stahlschmidt et al. Applications for a people detection and tracking algorithm using a time-of-flight camera
Jiang et al. Multiple pedestrian tracking using colour and motion models
Arsic et al. Applying multi layer homography for multi camera person tracking
CN111881749A (zh) 基于rgb-d多模态数据的双向人流量统计方法
KR102519151B1 (ko) 입국장 내 우범 여행자 추적 시스템 및 방법
Nguyen et al. Confidence-aware pedestrian tracking using a stereo camera
Stec et al. Using time-of-flight sensors for people counting applications
WO2011036661A1 (en) System and method for long-range surveillance of a scene and alerting of predetermined unusual activity
Ahmad et al. Robust background subtraction based person’s counting from overhead view
Hernández et al. People counting with re-identification using depth cameras
Hernández-Sosa et al. Multi-sensor people counting
Hung et al. Real-time counting people in crowded areas by using local empirical templates and density ratios
Yao et al. Multi-Person Bayesian Tracking with Multiple Cameras.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant