CN108352064A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN108352064A
CN108352064A CN201680066097.3A CN201680066097A CN108352064A CN 108352064 A CN108352064 A CN 108352064A CN 201680066097 A CN201680066097 A CN 201680066097A CN 108352064 A CN108352064 A CN 108352064A
Authority
CN
China
Prior art keywords
personage
person detecting
threshold
tracking
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680066097.3A
Other languages
English (en)
Inventor
高田信
高田信一
多井坚郎
多井坚一郎
佐野弘长
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108352064A publication Critical patent/CN108352064A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M7/00—Counting of objects carried by a conveyor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

阈值图生成单元412：其基于已经从输入装置30接收到的操作信号将拍摄图像划分为拥挤区域和非拥挤区域；从阈值存储单元411获取基于每个区域的拥挤度水平的人物确定阈值；并生成阈值图。人物检测单元421基于阈值图，使用与各个区域对应的人物确定阈值来在多个区域中的每个区域中执行人物检测。跟踪单元422执行对检测到的人物的跟踪。人物检测可靠性计算单元441使用人物检测结果和跟踪结果来针对每个检测到的人物计算人物检测可靠性。因此，能够获得精确且可靠性高的人物检测信息。

Description

图像处理装置、图像处理方法和程序
技术领域
本技术涉及能够获得具有高可靠性和高精度的人物检测信息的图像处理装置、图像处理方法和程序。
背景技术
在相关技术中，已经公开了用于从由成像装置生成的图像检测人物并且对检测到的人物进行计数的技术。例如，在专利文献1中，将人物跟踪位置信息的轨迹提供给过滤器单元，并且根据在过滤器单元中选择的所选择的人物位置信息的轨迹(人物轨迹)的数量对人物进行计数。另外，滤波器单元调整滤波参数，使得在人物位置信息的轨迹中人物沿着其接近的接近人物轨迹的数量与面部位置信息的轨迹的数量基本相同，并选择人物跟踪位置信息。
引文列表
专利文献
专利文献1：JP2013-206018A
发明内容
技术问题
顺便提及，在从由成像装置生成的图像中检测到人物的情况下，在其中人物不拥挤的区域被成像的图像中，人物的重叠很小。因此，高度精确的人物检测是可能的。然而，当对人物拥挤的区域进行成像时，在其中区域被成像的图像中，人物重叠的出现频率增加，因此可能难以高精度地检测个体人物。
因此，本技术提供了能够获得具有高可靠性和高精度的人物检测结果的图像处理装置、图像处理方法和程序。
问题的解决方法
根据本技术的第一方面，提供了一种图像处理装置，该图像处理装置包括：阈值图生成单元，被配置为生成阈值图，在该阈值图中，对通过分割拍摄图像而获得的多个区域中的每个区域设置人物确定阈值；人物检测单元，被配置为基于由所述阈值图生成单元生成的所述阈值图，针对所述多个区域中的每个区域，使用与区域对应的所述人物确定阈值来执行人物检测；跟踪单元，被配置为执行对由所述人物检测单元检测到的人物的跟踪；以及人物检测可靠性计算单元，被配置为通过使用所述人物检测单元的人物检测结果和所述跟踪单元的跟踪结果来针对所检测到的人物中的每个人物，计算人物检测可靠性。
在本技术中，通过用户操纵或基于拍摄图像的拥挤度水平检测结果将拍摄图像分割为拥挤区域和非拥挤区域。阈值图生成单元使用与区域的拥挤度水平对应的人物确定阈值，生成指示针对每个区域的人物确定阈值的阈值图。拥挤区域的人物确定阈值被设置为使得在指示通过人物检测检测到的人物包括在拥挤区域的人物中的程度的查全率保持在预定水平的状态下，指示拥挤区域的人物包括在通过人物检测检测到的人物中的程度的查准率是最大值。另外，非拥挤区域的人物确定阈值被设置为使得指示非拥挤区域的人物包括在通过人物检测检测到的人物中的程度的查准率等于或大于预定水平，并且指示通过人物检测检测到的人物包括在非拥挤区域的人物中的程度的查全率是最大值。通过阈值学习单元使用例如拥挤区域和非拥挤区域的学习图像来预先设置人物确定阈值。
人物检测单元对于被摄体计算指示人物的准确性的分数，并且当所计算的分数等于或大于阈值图的与被摄体的位置对应的人物确定阈值时，确定被摄体是人物。跟踪单元对由人物检测单元检测到的人物设置跟踪框，并且通过使用具有与跟踪框内的图像不同的成像时间的拍摄图像预测跟踪框在具有所述不同的成像时间的拍摄图像中的位置。另外，跟踪单元对于跟踪框来针对每个人物设置不同的跟踪识别信息，针对每条跟踪识别信息预测跟踪框的位置，并且将在预测位置处的跟踪框中设置的跟踪识别信息包括在指示由人物检测单元在与预测位置处的跟踪框对应的人物位置假设区域内获得的人物检测结果的信息中。人物检测可靠性计算单元使用人物检测单元的人物检测结果和跟踪单元的跟踪结果，针对每个检测到的人物，计算可靠性计算时段期间在跟踪的位置处的人物检测状况，并将该人物检测状况设置为人物检测可靠性。
另外，图像处理装置包括阈值调整单元，该阈值调整单元被配置为当通过跟踪单元跟踪在非拥挤区域中检测到的人物并且人物的预测位置处于拥挤区域中时，调整阈值图中的人物的预测位置用作参考的预定区域的人物确定阈值，从而使得比调整之前更容易确定人物。
另外，图像处理装置包括追溯单元，该追溯单元被配置为当在过去方向上对在非拥挤区域中检测到的人物执行跟踪和人物检测，并且跟踪中的人物的预测位置处于拥挤区域中时，调整阈值图中的人物的预测位置用作参考的预定区域的人物确定阈值，从而使得比调整之前更容易确定人物，并且被配置为使用调整后的人物确定阈值来执行人物检测。另外，在图像处理装置包括追溯单元的情况下，人物检测可靠性计算单元通过使用由追溯单元获取的人物检测结果和跟踪结果来计算人物检测可靠性。此外，图像处理装置还包括计数单元，该计数单元被配置为基于由人物检测可靠性计算单元计算的人物检测可靠性和跟踪单元的跟踪结果将人物检测可靠性等于或大于计数目标确定阈值并且经过预设的计数位置的人物设置为计数目标，并且对经过计数位置的人物的数量进行计数。
根据本技术的第二方面，提供了一种图像处理方法，包括：由阈值图生成单元生成阈值图，在所述阈值图中，对通过分割拍摄图像而获得的多个区域中的每个区域设置人物确定阈值；由人物检测单元基于由所述阈值图生成单元生成的所述阈值图，使用与所述多个区域中的每个区域对应的所述人物确定阈值执行人物检测；由跟踪单元执行对由人物检测单元检测到的人物的跟踪；以及由人物检测可靠性计算单元通过使用人物检测单元的人物检测结果和跟踪单元的跟踪结果来针对每个检测到的人物计算人物检测可靠性。
此外，根据本技术的第三方面，提供了一种使计算机执行图像处理的程序，所述程序使计算机执行：用于生成阈值图的过程，在所述阈值图中，对通过分割拍摄图像而获得的多个区域中的每个区域设置人物确定阈值；用于基于所生成的阈值图，使用与所述多个区域中的每个区域对应的所述人物确定阈值执行人物检测的过程；用于执行对所检测到的人物的跟踪的过程；以及用于通过使用人物检测结果和跟踪结果来针对每个检测到的人物计算人物检测可靠性的过程。
注意，根据本技术的程序例如是可以被设置在能够执行以计算机可读格式设置的通信介质或存储介质上(例如，诸如光盘、磁盘或半导体存储器的存储单元或诸如网络的通信介质)上的各种程序代码的通用计算机中的程序。通过以计算机可读格式提供程序，可以在计算机上实现根据该程序的处理。
发明的有益效果
根据本技术，生成阈值图，在该阈值图中在拍摄图像分割成的多个区域中的每个区域中设置人物确定阈值，并且基于阈值图来针对多个区域中的每个的区域，通过使用与区域对应的人物确定阈值执行人物检测。另外，对检测到的人物进行跟踪，并且通过使用人物检测结果和跟踪结果，来针对每个检测到的人物计算人物检测可靠性。因此，能够获得具有高可靠性和高精度的人物检测信息。而且，这里描述的效果仅仅是示意性的而非限制性的，或者可以有额外的有益效果。
附图说明
[图1]图1是例示图像处理系统的配置的图。
[图2]图2是图示根据第一实施例的配置的图。
[图3]图3是图示阈值图的生成的说明图。
[图4]图4是图示查准率和查全率的说明图。
[图5]图5是例示查准率和查全率的分数之间的关系的图。
[图6]图6是例示不同时间的人物检测结果的图。
[图7]图7是例示跟踪结果和人物检测结果的图。
[图8]图8是例示计数单元的操作的图。
[图9]图9是图示根据第一实施例的操作的流程图。
[图10]图10是图示阈值图生成处理的流程图。
[图11]图11是图示人物检测信息生成处理的流程图。
[图12]图12是图示人物正从非拥挤区域移动到拥挤区域的情况的图。
[图13]图13是图示根据第二实施例的配置的图。
[图14]图14是图示调整人物确定阈值的操作的说明图。
[图15]图15是图示根据第二实施例的人物检测信息生成处理的流程图。
[图16]图16是图示人物正在从拥挤区域移动到非拥挤区域的情况的图。
[图17]图17是图示根据第三实施例的配置的图。
[图18]图18是图示追溯单元的配置的图。
[图19]图19是图示追溯单元的操作的图。
[图20]图20是图示根据第三实施例的人物检测信息生成处理的流程图。
[图21]图21是图示追溯处理的流程图。
[图22]图22是图示根据第四实施例的配置的图。
[图23]图23是图示用于人物确定阈值(拥挤区域)的学习方法的说明图。
[图24]图24是图示用于人物确定阈值(非拥挤区域)的学习方法的说明图。
[图25]图25是图示根据第四实施例的操作的流程图。
[图26]图26是示出阈值学习处理的流程图。
[图27]图27是图示根据另一实施例的配置的图。
[图28]图28是图示根据另一实施例的操作的流程图。
具体实施方式
在下文中，将描述用于执行本技术的模式。注意，描述将按以下顺序进行。
1.图像处理系统
2.第一实施例
3.第二实施例
4.第三实施例
5.第四实施例
6.其他实施例
<1.图像处理系统>
图1是例示图像处理系统的配置的图。图像处理系统10包括成像装置20、输入装置30、图像处理装置40和显示装置50。
成像装置20对人物正在移动的地方进行成像并生成拍摄图像。拍摄图像包括容易发生拥挤的区域(以下称为“拥挤区域”)和另一个区域(以下称为“非拥挤区域”)。例如，在通过对具有较窄宽度的通道和具有较宽宽度的通道的连接部分或者安装有门等的地方进行成像所获得的拍摄图像中，通过对这样的地方成像而获得的成像区域是相当于移动穿过具有较窄宽度的通道的人物或经过门的人物增加的情况下的拥挤区域。成像装置20将所生成的拍摄图像的图像信号输出到图像处理装置40。
输入装置30包括接收用户操纵的操纵键、操作杆、触摸面板等，并且将与用户操纵对应的操纵信号输出到图像处理装置40。
图像处理装置40生成阈值图，在该阈值图中，在对由成像装置20生成的拍摄图像进行分割而得到的多个区域中的每个区域中设置人物确定阈值。另外，图像处理装置基于所生成的阈值图，针对每个区域，使用与区域对应的人物确定阈值执行人物检测。另外，图像处理装置40执行对检测到的人物的跟踪并且使用人物检测结果和跟踪结果来计算每个检测到的人物的人物检测可靠性。此外，图像处理装置40基于跟踪结果和人物检测可靠性对经过预设的确定位置的人物的数量进行计数。另外，图像处理装置40将从拍摄图像获取的信息(例如，指示计数结果的信号等)输出到显示装置50，使得在屏幕上显示由图像处理装置40获取的信息等。
<2.第一实施例>
图2是图示根据本技术的图像处理装置的第一实施例的配置的图。图像处理装置40包括阈值存储单元411、阈值图生成单元412、人物检测单元421、跟踪单元422、人物检测可靠性计算单元441、计数单元451以及输出单元461。
阈值存储单元411在每个拥挤度水平处预先存储人物确定阈值。如下面将要描述的，当人物检测单元421执行人物确定时，人物确定阈值被用作确定基准。阈值存储单元411将与后述的阈值图生成单元412中所指示的拥挤度水平对应的人物确定阈值输出至阈值图生成单元412。
阈值图生成单元412根据预设的拥挤区域和非拥挤区域以及拥挤区域的拥挤度水平生成阈值图。阈值图生成单元412响应于用户操纵，基于从输入装置30提供的操纵信号，将由成像装置20生成的拍摄图像预先分割成具有不同拥挤度水平的多个区域。在分割成区域的过程中，在图像处理装置40中，由成像装置20生成的拍摄图像例如从后述的输出单元461输出到显示装置50，使得拍摄图像被显示。用户使用显示装置50上显示的拍摄图像来执行将拍摄图像分割成具有不同拥挤度水平的多个区域的操纵。阈值图生成单元412基于指示区域分割操纵的操纵信号将拍摄图像分割为拥挤区域和非拥挤区域。图3是图示阈值图的生成的说明图。图3(a)例示了由成像装置20生成的拍摄图像。由对角线指示的区域是拥挤区域ARc，而另一区域是非拥挤区域ARs。
另外，阈值图生成单元412响应于用户对分割区域的拥挤度指定操纵的水平从阈值存储单元411获取人物确定阈值，并生成阈值图。例如，用户执行对分割区域指定拥挤度水平的操纵。注意，对图3(a)中的拥挤区域ARc指定拥挤度水平CL。阈值图生成单元412基于拥挤度水平指定操纵，将指定的拥挤度水平通知给阈值存储单元411。此外，阈值图生成单元412根据拥挤度水平的通知获取存储在阈值存储单元411中的人物确定阈值，并通过将获取的阈值与分割区域相关联来生成阈值图。图3(b)例示了阈值图。如图3(a)所示，在用户为拥挤区域ARc指定拥挤度水平CL的情况下，阈值图生成单元412从阈值存储单元411获取与拥挤度水平CL对应的人物确定阈值Thc，并在在拥挤区域ARc中设置人物确定阈值Thc。另外，阈值图生成单元412将除拥挤区域之外的其他区域设置为非拥挤区域ARs，并且例如将针对非拥挤区域ARs的人物确定阈值设置为预先设置的人物确定阈值Ths。注意，非拥挤区域ARs不限于预先设置的阈值，用户也可以设置非拥挤区域ARs的拥挤度水平，并从阈值存储单元411获取与设置的拥挤度水平对应的人物确定阈值Ths。以这种方式，阈值图生成单元412预先响应于用户操纵，生成指示由成像装置20生成的拍摄图像中的拥挤区域和非拥挤区域以及每个区域的人物确定阈值的阈值图，并将阈值图输出到人物检测单元421。
人物检测单元421使用由成像装置20生成的拍摄图像来执行人物检测。在人物检测中，计算指示人物的可能性的分数。另外，人物检测单元421针对用阈值图生成单元412生成的阈值图所指示的每个区域，将与每个区域对应的人物确定阈值与该区域中的被摄体的分数进行比较，并且确定具有等于或大于人物确定阈值的分数的被摄体为人物。人物检测单元421将指示被确定为人物的被摄体的位置的人物检测位置作为人物检测结果输出到跟踪单元422。
人物检测单元421在人物检测中使用基于梯度信息的特征量、基于颜色信息的特征量以及基于运动的特征量。基于梯度信息的特征量例如是定向梯度直方图(HOG)特征量、边缘定向直方图(EOG)特征量等。基于颜色信息的特征量例如是积分通道特征(ICF)特征量、颜色自相似性(CSS)等。基于运动的特征量例如是类Haar特征量、流直方图(HOF)特征量等。人物检测单元421使用这些特征计算指示人物的可能性的分数。
人物确定阈值被设置为使得在非拥挤区域中，查准率是恒定值或更大并且查全率是最大值，而在拥挤区域中，在查全率保持恒定的状态下查准率是最大值。查全率指示在人物检测中检测到的人物包括在拍摄图像中包括的人物中的程度。另外，查准率指示包括在拍摄图像中的人物包括在人物检测中检测到的人物中的程度。
图4是图示查准率和查全率的说明图。在图4中，集合SN指示人物检测结果的数量，集合SC指示拍摄图像中示出的人物的正确数量，并且集合SN和集合SC的公共部分SR指示多个人物检测结果中的正确数量(正确检测到的人物的数量)。查准率Rpre和查全率Rrec可以通过执行“Rpre＝(SR/SN)”和“Rrec＝(SR/SC)”的算术运算来计算。
这里，当人物确定阈值被设置为小以使得人物检测的省略小时，如图4(a)所示，查准率Rpre降低，并且查全率Rrec接近“1”。另外，当人物确定阈值被设置为大以使得人物检测的精度高时，如图4(b)所示，查准率Rpre接近“1”，并且查全率Rrec小于图4(a)中的查全率Rrec。
图5是例示查准率、查全率和分数之间的关系的图。注意，图5(a)例示了非拥挤区域的情况，并且图5(b)例示了拥挤地区的情况。在非拥挤区域ARs中，设置人物确定阈值Ths，使得查准率Rpre等于或大于特定恒定值Lpre并且查全率Rrec是最大值。在拥挤区域ARc中，人物检测中很容易缺失。因此，人物确定阈值Thc被设置为使得在将查全率Rrec维持在特定恒定值Lrec的状态下查准率Rpre为最大值。另外，当将人物确定阈值Thc设置为在将查全率Rrec保持在特定恒定值Lrec的状态下，查准率Rpre为最大值时，如图5(b)所示，查准率Rpre变为低值，因此存在错误的人物检测增加的担心。为此，使用后述的人物检测可靠性从人物检测结果中排除错误的检测。
跟踪单元422基于从人物检测单元421提供的人物检测结果来执行跟踪人物。图6例示了不同时间处的人物检测结果。图6(a)例示了时间(t-1)处的拍摄图像F(t-1)并且图6(b)例示了时间(t)处的拍摄图像F(t)。跟踪单元422基于人物检测结果针对每个人物对检测到的人物设置跟踪框。例如，在通过人物检测检测到头部的情况下，跟踪框被设置为矩形状态，从而使得包括检测到的头部的身体部位，例如以便使用人物特征来容易地执行跟踪。以这种方式，当跟踪框被设置为使得包括身体部位时，可以使用身体部位的特征(诸如体格的差异、服装的差异以及服装颜色的差异)来容易地执行人物跟踪。另外，跟踪单元422在跟踪框中设置跟踪识别信息，使得可以根据跟踪识别信息来区分各个人物。
例如，如图6(c)所示，跟踪单元422根据时间(t)处的拍摄图像F(t)和时间(t-1)处的拍摄图像F(t-1)中设置的跟踪框WT(t-1)的位置处的图像，预测与拍摄图像F(t)对应的跟踪框WT(t)的位置。跟踪单元422在指示跟踪框的预测位置的信息中包括设置在跟踪框中的跟踪识别信息，并将跟踪识别信息设置为跟踪结果。
此外，跟踪单元422将与跟踪框对应的一对预测的跟踪框和人物检测结果输出到人物检测可靠性计算单元441。例如，如上所述，在以这种方式在身体部位中设置跟踪框，执行跟踪，并且在人物检测中检测到头部的情况下，可以假设头部的位置在跟踪框中。因此，将假设头部所在的区域设置为与跟踪框对应的人物位置假设区域。这里，例如，当在人物检测中检测到的头部的位置是人物位置假设区域时，将人物检测结果与预测的跟踪框配对，并且假设在预测的跟踪框中设置的跟踪识别信息被分配在人物中检测结果中。另外，跟踪单元422根据检测到的头部的位置来调整跟踪框的位置并继续跟踪。以这种方式，当根据检测到的头部的位置调整跟踪框的位置时，即使在预测跟踪框的位置时发生错误，错误也不会累积。因此，可以高精度地执行跟踪。
人物检测可靠性计算单元441使用跟踪结果和人物检测结果来计算人物检测可靠性。人物检测可靠性计算单元441保持人物检测结果和跟踪框的位置的历史，并且使用所保持的历史来计算检测到人物的跟踪框在例如针对每条跟踪框识别信息的可靠性计算时段的跟踪框中的比率作为人物检测可靠性。人物检测可靠性计算单元441将人物检测与跟踪框的位置配对的跟踪框在例如针对每条跟踪识别信息在从当前时间到过去时间方向上的预定帧时段的跟踪框中的比率设置为人物检测可靠性。人物检测可靠性计算单元441将计算出的人物检测可靠性输出到计数单元451。对于以这种方式计算的人物检测可靠性，人物检测可靠性随着检测到人物的框的比率的增加而增加。因此，当人物检测可靠性高时，人物检测结果的可靠性被假设为高。
注意，跟踪单元422和人物检测可靠性计算单元441可以使用预定帧间隔处的拍摄图像来执行跟踪和人物检测可靠性的计算，而不限于使用连续帧的拍摄图像来执行跟踪和人物检测可靠性的计算的情况。例如，在被摄体的运动缓慢的情况下，在时间方向上相邻的帧之间的图像的差异小。因此，通过使用预定帧间隔处的拍摄图像，能够有效地执行跟踪和人物检测可靠性的计算。
图7是例示跟踪结果和人物检测结果的图。图7(a)图示了在与例如时间t-2、t-1和t处的跟踪识别信息相同的跟踪框对应的人物位置假设区域中检测到人物的情况。图7(b)例示了例如仅在与时间t-2处的跟踪框对应的人物位置假设区域中检测到人物，而在与时间t-1和t处的跟踪框对应的人物位置假设区域中未检测到人物的情况。注意，时间t-2处的跟踪框由“WT(t-2)”表示，时间t-1处的跟踪框由“WT(t-1)”表示，并且时间t处的跟踪框由“WT(t)”表示。另外，与跟踪框WT(t-2)对应的人物位置假设区域由“ARa(t-2)”表示，与跟踪框WT(t-1)对应的人物位置假设区域由“ARa(t-1)”表示，并且与跟踪框WT(t)对应的人物位置假设区域由“ARa(t)”表示。此外，在人物位置假设区域ARa(t-2)中检测到人物的位置由DH(t-2)表示。另外，在人物位置假设区域ARa(t-1)中检测到人物的位置由HD(t-1)表示，并且在人物位置假设区域ARa(t)中检测到人物的位置由DH(t)表示。
人物检测可靠性计算单元441针对每条跟踪识别信息，使用跟踪结果和人物检测结果来计算人物检测可靠性RD。例如，在图7(a)所示的情况下，在与时间T-2、t-1和t处的帧中的每个帧中的跟踪框WT对应的人物位置假设区域中检测到人物。因此，人物检测可靠性RD为“(检测到人物的框的数量/执行跟踪的框的数量)＝(3/3)”。另外，在图7(b)所示的情况下，仅在时间t-2处的框中检测到人物。因此，人物检测可靠性RD为“(检测到人物的框的数量/执行跟踪的框的数量)＝(1/3)”。人物检测可靠性计算单元441将针对每条跟踪识别信息计算的人物检测可靠性RD输出到计数单元451。
计数单元451基于从跟踪单元422提供的跟踪结果来确定经过作为确定位置的计数线的跟踪框。另外，计数单元451使用从人物检测可靠性计算单元441提供的人物检测可靠性比较与经过计数线的每个跟踪框对应的人物检测可靠性与预设的计数目标确定阈值。此外，计数单元451将与人物检测可靠性等于或大于计数目标确定阈值的跟踪框对应的人物设置为计数目标，并且执行任务计数。图8例示了计数单元的操作。例如，在跟踪框WTa跨过通过用户等预设的计数线Jc并移动的情况下，将与跨过计数线Jc的跟踪框WTa的人物检测可靠性RD与计数目标确定阈值进行比较。在此，在人物检测可靠性RD等于或大于计数目标确定阈值的情况下，在人物检测结果中正确地检测到人物的前提下，将与跟踪框WTa对应的被摄体设置为计数目标人物。另外，在人物检测可靠性RD小于计数目标确定阈值的情况下，假设人物没有被正确地检测到，并且与跟踪框对应的人物检测结果中没有被正确地检测到与跟踪框对应的被摄体，因此与跟踪框对应的被摄体不被计数。计数单元451将计数结果输出到输出单元461。
另外，输出单元461使显示装置50显示由成像装置20生成的拍摄图像。另外，输出单元461将指示拥挤区域和非拥挤区域的信息例如从阈值图生成单元412提供给输出单元461以识别响应于用户操纵的分割区域，并且显示拍摄图像中的拥挤区域和非拥挤区域，从而使得可以识别拍摄图像中的拥挤区域和非拥挤区域。另外，输出单元461例如将指示计数线的位置的图像叠加在拍摄图像上以用于显示，从而使得可以识别计数线的位置。此外，输出单元461使显示装置50显示由图像处理装置40获取的信息，例如，计数单元451的计数结果。注意，例如，当计数结果与拍摄图像和计数线一起显示时，经过计数线的人物的图像和从拍摄图像计算的计数结果被显示，从而使得用户可以确定计数的进展情况等。
图9是图示根据第一实施例的操作的流程图。在步骤ST1中，图像处理装置40执行阈值图生成处理。图10是图示阈值图生成处理的流程图。在步骤ST11中，图像处理装置40接收用户设置操纵。图像处理装置40的阈值图生成单元412接收从输入装置30提供的操作信号，然后处理进行到步骤ST12。
在步骤ST12中，图像处理装置40生成图。图像处理装置40的阈值图生成单元412响应于用户操纵将由成像装置20生成的拍摄图像分割为拥挤区域ARc和非拥挤区域ARs。另外，阈值图生成单元412从阈值存储单元411获取与由用户设置的拥挤度水平对应的人物确定阈值，并且在拥挤区域ARc和非拥挤区域ARs中的每个中设置人物确定阈值。阈值图生成单元412生成指示拥挤区域Arc、非拥挤区域ARs和每个区域的人物确定阈值的阈值图。
返回参考图9，在步骤ST2中，图像处理装置40执行人物检测信息生成处理。图11是图示人物检测信息生成处理的流程图。在步骤ST21中，图像处理装置40获取拍摄图像。图像处理装置40的人物检测单元421获取由成像装置20生成的拍摄图像，然后处理进行到步骤ST22。
在步骤ST22中，图像处理装置40检测人物。图像处理装置40的人物检测单元421使用由成像装置20生成的拍摄图像，基于特征量等来计算指示人物的可能性的分数。另外，人物检测单元421针对阈值图中示出的每个区域将与区域对应的人物确定阈值与区域内的被摄体的分数进行比较，以确定具有等于或大于人物确定阈值的分数的被摄体是人物。人物检测单元421将作为被确定为人物的被摄体的位置的人物检测位置设置为人物检测结果，然后处理进行到步骤ST23。
在步骤ST23中，图像处理装置40执行人物跟踪。图像处理装置40的跟踪单元422基于人物检测结果设置跟踪框，并且根据设置的跟踪框内的图像和随后获取的拍摄图像预测跟踪框在随后获取的拍摄图像中的位置。另外，跟踪单元422在设置跟踪框时设置跟踪识别信息。此外，跟踪单元422在指示跟踪框的预测位置的信息中包括在跟踪框中设置的跟踪识别信息作为跟踪结果，然后处理进行到步骤ST24。
在步骤ST24中，图像处理装置40计算人物检测可靠性。图像处理装置40的人物检测可靠性计算单元441基于在步骤ST22中获得的人物检测结果和在步骤ST23中获得的跟踪结果来计算指示与预测位置处的跟踪框对应的人物检测的情况的人物检测可靠性。人物检测可靠性计算单元441在其中检测到人物与预测位置处的跟踪框对应的比率大的情况下将人物检测可靠性设置为高，并且在检测到人物的比率小的情况下将人物检测可靠性设置为低。人物检测可靠性计算单元441将跟踪框的位置和每个跟踪框的人物检测可靠性设置为人物检测信息。
返回参考图9，在步骤ST3中，图像处理装置40执行计数处理。图像处理装置40的计数单元451使用在步骤ST2中生成的人物检测信息来确定经过计数线的跟踪框。其中与所确定的跟踪框对应的人物检测可靠性等于或大于预设的计数目标确定阈值的跟踪框的被摄体被进一步计数为计数目标，计算经过计数线的人物的数量，然后处理进行到步骤ST4。
在步骤ST4中，图像处理装置40执行输出处理。图像处理装置40的输出单元461显示在步骤ST3中获得的计数处理结果。输出单元461例如将指示计数线的位置的图像和指示经过计数线的人物的计数结果的图像叠加在拍摄图像上以用于显示。
根据第一实施例，可以在拥挤区域以高精度执行人物检测。另外，由于计算人物检测可靠性，因此可以获得具有高可靠性和高精度的人物检测信息。另外，由于即使在拥挤区域中也可以以高精度执行人物检测，因此人物检测信息可以用于以高精度计算拥挤区域中的人物的数量。
<3.第二实施例>
接下来，将描述第二实施例。由于人物的接近、重叠等的增加，在拥挤区域中检测人物比在非拥挤区域中检测人物更困难。因此，例如，如图12所示，在人物正在从非拥挤区域移动到拥挤区域的情况下，存在未在拥挤区域的位置处检测到通过人物检测在非拥挤区域的位置处检测到的人物的担心。注意，人物正在沿图12中箭头所示的方向移动，黑色圆圈标记示例了检测到人物的位置，并且X标记示例了没有检测到人物的位置。
因此，当在拥挤区域中设置计数线时，即使当在非拥挤区域的位置处检测到的人物经过了计数线时，在某些情况下也会发生经过计数线的人物未被计数的情况。在这些情况下，经过计数线的人物的数量可能无法以高精度测量。因此，在第二实施例中，当在非拥挤区域中检测到的人物被跟踪并且已经从非拥挤区域移动到拥挤区域时，即使在拥挤区域中也设置人物被检测到。具体地，在如第一实施例中那样，通过跟踪预测跟踪框的位置的情况下，人物位于与预测位置处的跟踪框对应的人物位置假设区域中的可能性很高。因此，在人物位置假设区域中，调整人物确定阈值，使得容易检测人物。
图13是图示根据本技术的图像处理装置的第二实施例的配置的图。图像处理装置40包括阈值存储单元411、阈值图生成单元412、阈值调整单元413、人物检测单元421、跟踪单元422、人物检测可靠性计算单元441、计数单元451以及输出单元461。
阈值存储单元411预先存储在每个拥挤度水平处的人物确定阈值。阈值存储单元411将与阈值图生成单元412中指示的拥挤度水平对应的人物确定阈值输出到阈值图生成单元412。
阈值图生成单元412响应于基于从输入装置30提供的操纵信号的用户操纵来生成阈值图。阈值图生成单元412响应于用户操纵将由成像装置20生成的拍摄图像分割成具有不同拥挤度水平的多个区域。另外，阈值图生成单元412响应于用户对分割区域的拥挤度指定操纵的水平，从阈值存储单元411获取人物确定阈值。阈值图生成单元412通过使获取的人物确定阈值对应于分割区域来生成例如指示拥挤区域、非拥挤区域和针对每个区域的人物确定阈值的阈值图，并将阈值图输出到阈值调整单元413。
阈值调整单元413基于从后述的跟踪单元422提供的跟踪结果，对由阈值图生成单元412生成的阈值图执行阈值调整。阈值调整单元413对于跟踪结果中指示的预测位置处的跟踪框调整人物位置假设区域的人物确定阈值以使得容易确定人物，并将阈值调整后的阈值图输出到人物检测单元421。图14是图示调整人物确定阈值的操作的说明图。阈值调整单元413调整与预测位置处的跟踪框对应的人物位置假设区域的人物确定阈值，从而使得比调整之前更容易确定人物，这是因为跟踪结果中指示了后续的人物检测时的跟踪框的预测位置。如图14(a)所示，阈值调整单元413例如将根据跟踪框的预测位置而假设的头部的位置Pf设置为基准，并且将人物位置假设区域ARa设置为水平方向和垂直方向上距离位置Pf的各宽度da的范围。另外，阈值调整单元413将人物位置假设区域ARa的人物确定阈值设置为比调整前的人物确定阈值Thc小的人物确定阈值Tha(<Thc)，因此也容易检测人物位置假设区域ARa中的人物。人物确定阈值Tha可以是从人物确定阈值Thc减少预定减少量的值，或者可以使用通过以预定比率减小人物确定阈值THc而获得的值。另外，减少量或减少比率可以根据拥挤度水平来设置。此外，在与预测位置处的跟踪框对应的人物位置假设区域ARa中未检测到人物的情况下，用户可以设置人物确定阈值Tha，使得在人物位置假设区域ARa中检测到人物并且阈值调整单元413可以贯穿后续的人物检测使用所设置的人物确定阈值Tha。
人物检测单元421使用由成像装置20生成的拍摄图像来执行人物检测。在人物检测中，计算指示人物的可能性的分数。另外，人物检测单元421针对由阈值调整单元413调整的阈值图所指示的每个区域，比较与区域对应的人物确定阈值与区域内的被摄体的分数，并确定具有等于或大于人物确定阈值的分数的被摄体是人物。这里，由于人物确定阈值被调整为使得在人物位置假设区域中容易确定人物，如图14(b)所示，因此即使在拥挤区域ARc中也可以检测到从非拥挤区域移动到拥挤区域的人物。人物检测单元421在关于指示被确定为人物的被摄体的位置的人物检测位置的信息中包括跟踪识别信息，以将跟踪识别信息作为人物检测结果输出到跟踪单元422。
跟踪单元422执行对基于从人物检测单元421提供的人物检测结果所检测到的人物的跟踪，并且将分配给跟踪框的跟踪识别信息包括在指示跟踪框的预测位置的信息中以将跟踪识别信息作为跟踪结果输出到阈值调整单元413。另外，跟踪单元422将跟踪结果和人物检测结果输出到人物检测可靠性计算单元441。
人物检测可靠性计算单元441使用跟踪结果和人物检测结果来计算人物检测可靠性。人物检测可靠性计算单元441针对每条跟踪识别信息保持与跟踪框对应的人物检测结果的历史。另外，人物检测可靠性计算单元441使用针对每条跟踪识别信息的保持历史来计算与基于跟踪位置和人物检测结果跟踪的位置对应的人物检测的检测情况，并且将该检测情况设置为人物检测可靠性。人物检测可靠性计算单元441将针对每条跟踪识别信息计算的人物检测可靠性输出到计数单元451。
计数单元451基于从跟踪单元422提供的跟踪结果来确定经过作为确定位置的计数线的跟踪框。另外，计数单元451使用从人物检测可靠性计算单元441提供的人物检测可靠性来比较与经过计数线的每个跟踪框对应的人物检测可靠性与预设的计数目标确定阈值。此外，计数单元451将与人物检测可靠性等于或大于计数目标确定阈值的跟踪框对应的人物设置为计数目标，并执行人物数计数。计数单元451将人物计数结果输出到输出单元461。
输出单元461使显示装置50显示由成像装置20生成的拍摄图像。另外，输出单元461使显示装置50显示响应于用户操纵分割的区域以及计数线的位置，以便可以识别区域或计数线的位置。此外，输出单元461使得显示装置50显示关于由图像处理装置40获取的结果等的信息。
在第二实施例中，图9中所示的流程图的处理被执行。在步骤ST2的人物检测信息生成处理中，与第一实施例不同，执行图15所示的流程图的处理。
在图15的步骤ST31中，图像处理装置40获取拍摄图像。图像处理装置40的人物检测单元421获取由成像装置20生成的拍摄图像，然后处理进入步骤ST32。
在步骤ST32中，图像处理装置40调整人物确定阈值。图像处理装置40的阈值调整单元413调整阈值图中与预测位置处的跟踪框对应的人物位置假设区域的人物确定阈值，从而使得容易确定人物，然后处理进行到步骤ST33。
在步骤ST33中，图像处理装置40执行人物跟踪。图像处理装置40的人物检测单元421使用由成像装置20生成的拍摄图像，基于特征量等来计算指示人物的可能性的分数。另外，人物检测单元421利用其中在步骤ST32中调整人物确定阈值的阈值图来针对每个区域比较人物确定阈值与区域内的被摄体的分数，并且将具有等于或大于人物确定阈值的分数的被摄体确定为人物。人物检测单元421将作为被确定为人物的被摄体的位置的人物检测位置设置为人物检测结果，然后处理进行到步骤ST34。
在步骤ST34中，图像处理装置40执行人物跟踪。图像处理装置40的跟踪单元422基于人物检测结果设置跟踪框，并且根据设置的跟踪框内的图像和随后获取的拍摄图像预测跟踪框在随后获取的拍摄图像中的位置。另外，跟踪单元422在设置跟踪框时设置跟踪识别信息。此外，跟踪单元422在指示跟踪框的预测位置的信息中包括设置在跟踪框中的跟踪识别信息作为跟踪结果。另外，跟踪单元422将跟踪结果输出到阈值调整单元413，以如上所述在随后的人物检测中调整人物确定阈值，然后处理进行到步骤ST35。
在步骤ST35中，图像处理装置40计算人物检测可靠性。图像处理装置40的人物检测可靠性计算单元441基于在步骤ST33中获得的人物检测结果和在步骤ST34中获得的跟踪结果，计算指示与预测位置处的跟踪框对应的人物检测的情况的人物检测可靠性。人物检测可靠性计算单元441将跟踪框的位置和每个跟踪框的人物检测可靠性设置为人物检测信息。
根据第二实施例，与第一实施例中一样，可以获得具有高可靠性和高精度的人物检测信息。此外，在第二实施例中，由于使用跟踪框的预测位置作为基准设置的预定范围内的区域中的人物确定阈值被调整以使得容易确定人物，因此能够防止人物检测的检测精度劣化。因此，例如，能够防止在拥挤区域的位置未检测到在非拥挤区域的位置处通过人物检测检测到的人物。
<4.第三实施例>
接下来，将描述第三实施例。如上所述，由于人物的接近、重叠等的增加，在拥挤区域中检测人物比在非拥挤区域中检测人物更困难。因此，例如，如图16所示，在人物正在从拥挤区域移动到非拥挤区域的情况下，存在在拥挤区域的位置处未检测到在非拥挤区域的位置处通过人物检测检测到的人物的担心。注意，人物正在图16中箭头所示的方向上移动，圆圈标记示例了检测到人物的位置，并且X标记示例了没有检测到人物的位置。
因此，例如，当在拥挤区域中设置计数线时，存在在非拥挤区域的位置通过人物检测检测到的人物未被在拥挤区域的位置通过人物检测检测到，而不算作经过计数线的人物的担心。因此，可能无法以高精度测量经过计数线的人物的数量。因此，在第三实施例中，在过去方向上跟踪在非拥挤区域中检测到的人物。当人物已经从拥挤区域移动到拥挤区域时，即使在拥挤区域中，也可以以高精度检测人物。具体地，跟踪是在与第二实施例的时间方向相反的过去方向上执行的。另外，由于人物位于具有用跟踪框的预测位置作为基准设置的预定区域的区域中的可能性很高，因此调整人物确定阈值以使得容易检测到人物位于其中的可能性很高的区域中的人物。
图17是图示根据本技术的图像处理装置的第三实施例的配置的图。图像处理装置40包括阈值存储单元411、阈值图生成单元412、人物检测单元421、跟踪单元423、过去图像存储单元431、追溯单元432、人物检测可靠性计算单元442、计数单元451和输出单元461。
阈值存储单元411预先存储在每个拥挤度水平处的人物确定阈值。阈值存储单元411将与阈值图生成单元412中指示的拥挤度水平对应的人物确定阈值输出到阈值图生成单元412。
阈值图生成单元412响应于基于从输入装置30提供的操纵信号的用户操纵来生成阈值图。阈值图生成单元412响应于用户操纵而将由成像装置20生成的拍摄图像分割成具有不同拥挤度水平的多个区域。另外，阈值图生成单元412响应于用户对分割区域的拥挤度指定操纵的水平，从阈值存储单元411获取人物确定阈值。阈值图生成单元412通过使获取的人物确定阈值与分割区域对应来生成指示拥挤区域、非拥挤区域和针对每个区域的人物确定阈值的阈值图，并将阈值图输出到人物检测单元421和追溯单元432。
人物检测单元421使用由成像装置20生成的拍摄图像来执行人物检测。在人物检测中，计算指示人物的可能性的分数。另外，人物检测单元421针对由阈值调整单元413调整的阈值图所指示的每个区域，将与区域对应的人物确定阈值与区域内的被摄体的分数进行比较，并确定具有等于或大于人物确定阈值的分数的被摄体是人物。人物检测单元421将指示被确定为人物的被摄体的位置的人物检测位置作为人物检测结果输出到跟踪单元423。
跟踪单元423执行对基于从人物检测单元421提供的人物检测结果所检测到的人物的跟踪，并且将在跟踪框中设置的跟踪识别信息包括在指示跟踪框的预测位置的信息中以将跟踪识别信息作为跟踪结果输出给人物检测可靠性计算单元442。另外，在过去方向上执行跟踪，调整人物确定阈值并执行人物检测的情况下，跟踪单元423将跟踪结果输出到追溯单元432并且追溯单元432在过去方向上执行跟踪并调整人物确定位置，从而使得可以执行人物检测。例如，在执行新的人物检测并设置了跟踪框的情况下，跟踪单元423假设跟踪是在过去方向上执行的，并将跟踪识别信息包括在指示所设置的跟踪框的位置的信息中以将跟踪识别信息输出到追溯单元432。另外，在与跟踪框对应的人物位置假设区域中没有检测到人物并且随后在预测位置检测到人物的情况下，跟踪单元423可以假设跟踪是在过去方向上执行的，并将检测人物时的跟踪结果输出到追溯单元432。
过去图像存储单元431例如存储由成像装置20直到从现在开始的预定过去时段为止生成的拍摄图像。另外，过去图像存储单元431将存储的拍摄图像输出到追溯单元432。
追溯单元432基于从跟踪单元432提供的跟踪结果，利用过去图像存储单元431中存储的过去拍摄图像和当前拍摄图像，在过去方向上针对每条跟踪识别信息跟踪跟踪框的人物。另外，追溯单元432在过去方向的跟踪中调整与跟踪框的预测位置对应的人物位置假设区域的人物确定阈值，从而使得容易确定人物，并使用调整后的阈值图来获取过去图像中的人物检测结果。图18是图示追溯单元的配置的图。追溯单元432包括过去图像选择单元4321、阈值调整单元4322、人物检测单元4323和跟踪单元4324。
过去图像选择单元4321从过去图像存储单元431获取用于预测跟踪位置的过去图像，并将过去图像输出到人物检测单元4323和跟踪单元4324。例如，在对于时间t处的跟踪框，预测时间(t-1)处的跟踪位置的情况下，从过去图像存储单元431获取时间(t-1)处的拍摄图像。另外，在对于时间(t-1)处的跟踪框，预测时间(t-2)处的跟踪位置的情况下，从过去图像存储单元431获取时间(t-2)处的拍摄图像。
阈值调整单元4322基于从跟踪单元4324提供的跟踪结果，对由阈值图生成单元412生成的阈值图执行阈值调整。阈值调整单元4322调整与跟踪结果中指示的预测位置处的跟踪框对应的人物位置假设区域的人物确定阈值，从而使得容易确定人物并将经过阈值调整的阈值图输出到人物检测单元4323。
人物检测单元4323使用由过去图像选择单元4321获取的过去图像来执行人物检测。在人物检测中，计算指示人物的可能性的分数。另外，人物检测单元4323针对由阈值调整单元4322调整的阈值图所指示的每个区域，将与区域对应的人物确定阈值与区域内的被摄体的分数进行比较，并确定具有等于或大于人物确定阈值的分数的被摄体是人物。人物检测单元4323将指示被确定为人物的被摄体的位置的人物检测位置作为人物检测结果输出到跟踪单元4324。
跟踪单元4324针对每条跟踪识别信息在过去方向上跟踪在跟踪单元423中指示的跟踪框。例如，在从跟踪单元423供给了跟踪结果的情况下，跟踪单元4324开始在过去方向上跟踪在跟踪结果中指示的跟踪识别信息的跟踪框内所示的人物。跟踪单元4324使用作为由过去图像选择单元4321获取的过去图像并且比拍摄图像更早且在生成从跟踪单元423提供的跟踪结果时使用的图像的图像来在过去方向上跟踪跟踪框。跟踪单元4324执行过去方向上的跟踪并且在指示跟踪框的预测位置的信息中包括设置在跟踪框中的跟踪识别信息，以将跟踪识别信息作为跟踪结果输出到阈值调整单元4322。另外，跟踪单元4324针对每条跟踪识别信息将跟踪结果和人物检测结果输出到人物检测可靠性计算单元442。
以这种方式，追溯单元432针对每条跟踪识别信息在过去方向上跟踪由跟踪单元423设置的跟踪框，调整与在预测位置处的跟踪框对应的人物位置假设区域的人物确定阈值以使得容易确定人物，并执行人物检测。即，在与时间方向相反的方向上执行第二实施例中参照图14描述的操作，在非拥挤区域的位置回顾地跟踪人物，并且调整人物确定阈值，以使得即使在拥挤区域中也检测到人物。因此，如图19(a)所示，根据在过去方向上预测的跟踪框的预测位置而假设的头部的位置Pf被设置为基准，并且人物位置假设区域ARa被设置为水平和垂直方向上距离位置Pf的各宽度da的范围。另外，阈值调整单元4322将人物位置假设区域ARa的人物确定阈值设置为比调整前的人物确定阈值Thc小的人物确定阈值Tha(<Thc)，因此也容易检测人物位置假设区域ARa中的人物。因此，如图19(b)所示，即使在拥挤区域ARc中，也可以在过去方向上回顾地检测从拥挤区域向非拥挤区域移动的人物。
注意，经过计数线的人物被计数，并且在图像处理装置40中检测到已经经过了计数线的人物，追溯单元432设置跟踪时段，使得跟踪框在过去方向上跟踪时经过计数线。根据例如人物的移动速度等预先设置跟踪时段。另外，可以基于人物检测单元421的人物检测结果和跟踪单元422的跟踪结果来设置跟踪时段。例如，可以使用在检测人物时的跟踪框来估计人物的移动方向或移动速度。另外，可以基于跟踪框的位置计算到计数线的距离。因此，能够基于所估计的人物的移动方向或移动速度以及计算出的与计数线的距离来设置跟踪时段，以使得跟踪框经过计数线。
人物检测可靠性计算单元442使用跟踪结果和人物检测结果来计算人物检测可靠性。人物检测可靠性计算单元442基于过去方向上的跟踪结果和人物检测结果，针对每条跟踪识别信息计算人物检测可靠性。人物检测可靠性计算单元442将针对每条跟踪识别信息计算出的人物检测可靠性输出到计数单元451。
计数单元451基于从跟踪单元423提供的跟踪结果来确定经过作为确定位置的计数线的跟踪框。另外，计数单元451使用从人物检测可靠性计算单元442提供的人物检测可靠性来比较与经过计数线的每个跟踪框对应的人物检测可靠性与预设的计数目标确定阈值。此外，计数单元451将与人物检测可靠性等于或大于计数目标确定阈值的跟踪框对应的人物设置为计数目标，并执行人物计数。计数单元451将人物计数结果输出到输出单元461。
输出单元461使显示装置50显示由成像装置20生成的拍摄图像。另外，输出单元461使得显示装置50显示计数线以及响应于用户操纵分割的区域的位置，以便可以识别计数线或区域的位置。此外，输出单元461使得显示装置50显示关于由图像处理装置40获取的结果等的信息。
在第三实施例中，图9中所示的流程图的处理被执行。在步骤ST2的人物检测信息生成处理中，与第一实施例不同，执行图20所示的流程图的处理。
在图20的步骤ST41中，图像处理装置40获取拍摄图像。图像处理装置40的人物检测单元421获取由成像设备20生成的拍摄图像，然后处理进行到步骤ST42。
在步骤ST42中，图像处理装置40将获取的拍摄图像添加到过去图像组。图像处理装置40的过去图像存储单元431依次存储所获取的拍摄图像，从最早的拍摄图像顺序删除拍摄图像，并将从当前直到预定的过去时段的拍摄图像存储为过去图像组，然后处理进行到步骤ST43。
在步骤ST43中，图像处理装置40执行人物检测。图像处理装置40的人物检测单元421使用由成像装置20生成的拍摄图像，基于特征量等来计算指示人物的可能性的分数。另外，人物检测单元421针对在阈值图中指示的每个区域比较与区域对应的人物的人物确定阈值与区域内的被摄体的分数，并将具有等于或大于人物确定阈值的分数的被摄体确定为人物。人物检测单元421将作为被确定为人物的被摄体的位置的人物检测位置设置为人物检测结果，然后处理进行到步骤ST44。
在步骤ST44中，图像处理装置40执行人物跟踪。图像处理装置40的跟踪单元423基于人物检测结果设置跟踪框，并且根据设置的跟踪框内的图像和随后获取的拍摄图像预测跟踪框在随后获取的拍摄图像中的位置。另外，跟踪单元423在设置跟踪框时设置跟踪识别信息。此外，跟踪单元423在指示跟踪框的预测位置的信息中包括设置在跟踪框中的跟踪识别信息作为跟踪结果。此外，在执行过去方向上的跟踪的情况下，跟踪单元423使用追溯处理中的跟踪结果，然后处理进行到步骤ST45。
在步骤ST45中，图像处理装置40执行追溯处理。图21是图示追溯处理的流程图。在步骤ST51中，追溯单元432选择过去图像。追溯单元432的过去图像选择单元4321从过去图像存储单元431获取用于预测跟踪框的位置的过去图像，然后处理进行到步骤ST52。
在步骤ST52中，追溯单元432调整人物确定阈值。追溯单元432的阈值调整单元4322调整阈值图中与比用于执行人物检测的拍摄图像更早的过去图像中的预测位置处的跟踪框对应的人物位置假设区域的人物确定阈值，以使得容易确定人物，然后处理进行到步骤ST53。
在步骤ST53中，追溯单元432执行人物检测。追溯单元432的人物检测单元4323使用在步骤ST51中获取的过去图像，基于特征量等来计算人物的可能性的分数。另外，人物检测单元4323针对阈值图中示出的每个区域，将与该区域对应的人物确定阈值与该区域内的被摄体的分数进行比较，并将具有等于或大于人物确定阈值的分数的被摄体确定为人物。人物检测单元4323将作为被确定为人物的被摄体的位置的人物检测位置设置为人物检测结果，然后处理进行到步骤ST54。
在步骤ST54中，追溯单元432执行人物跟踪。追溯单元432的跟踪单元4324根据跟踪单元423设置的跟踪框内的图像和所获取的过去图像来预测跟踪框在所获取的过去图像中的位置。此外，跟踪单元4324在指示跟踪框的预测位置的信息中包括设置在跟踪框中的跟踪识别信息作为跟踪结果。另外，跟踪单元4324将跟踪结果输出到阈值调整单元4322，以如上所述在随后的人物检测中调整人物确定阈值。另外，追溯单元432针对每条跟踪识别信息将跟踪结果和人物检测结果输出到人物检测可靠性计算单元442。
返回参考图20，在步骤ST46中，图像处理装置40计算人物检测可靠性。图像处理装置40的人物检测可靠性计算单元442基于通过步骤ST43中的人物检测获得的人物检测结果，步骤ST44的跟踪框的设置以及在步骤ST45的追溯处理中获得的跟踪结果和人物检测结果来计算人物检测可靠性。人物检测可靠性计算单元441将跟踪框的位置和每个跟踪框的人物检测可靠性设置为人物检测信息。
根据第三实施例，与第一实施例中一样，可以获得具有高可靠性和高精度的人物检测信息。此外，在第三实施例中，由于调整使用在过去方向上预测的跟踪框的位置作为参考而设置的预定范围内的区域中的人物确定阈值以便容易确定人物，因此能够防止人物检测的检测精度的劣化。因此，例如在非拥挤区域中检测到从拥挤区域向非拥挤区域移动的人物的情况下，即使在拥挤区域中也能够通过追溯处理来检测人物。
<5.第四实施例>
在第四实施例中，将例示设置生成存储在阈值存储单元411中的阈值信息的功能的情况。
图22是图示根据本技术的图像处理装置的第四实施例的配置的图。图像处理装置40包括学习图像组存储单元401、阈值学习单元402、阈值存储单元411、阈值图生成单元412、人物检测单元421、跟踪单元422、人物检测可靠性计算单元441、计数单元451和输出单元461。
学习图像组存储单元401存储用于通过学习确定适合拥挤情况的人物确定阈值的学习图像组。学习图像组存储单元401例如将拥挤图像组和非拥挤图像组存储为学习图像组。拥挤图像组是人物拥挤的图像组。图像组由每个拥挤度水平的一个图像或多个图像形成。非拥挤图像组是人物分散的图像组。
阈值学习单元402使用学习图像来设置与拥挤区域对应的人物确定阈值和与非拥挤区域对应的人物确定阈值。另外，阈值学习单元402使用学习图像设置每个拥挤度水平的人物确定阈值。
图23和图24是例示由阈值学习单元402执行的用于人物确定阈值的学习方法的说明图。图23(a)和(b)例示了在拥挤区域中拥挤度水平高的情况下(设置拥挤度水平1)的学习图像以及查全率和查准率与阈值之间的关系。图23(c)和(d)例示了在拥挤区域中拥挤度水平比图23(a)中的拥挤度水平低的情况下(设置拥挤度水平2)的学习图像以及查全率和查准率与阈值之间的关系。图23(e)和(f)例示了在拥挤区域中拥挤度水平比图23(c)中的拥挤度水平低的情况下的学习图像以及查全率和查准率与阈值之间的关系。另外，图24的(a)和(b)例示了在非拥挤区域中的情况下的学习图像以及查全率和查准率与阈值之间的关系。
阈值学习单元402使用学习图像和学习图像中示出的人物的正确答案数据来执行学习。在学习拥挤区域时，将人物在图像中均匀拥挤以使得不存在人物在图像中的分布的影响的每个拥挤度水平的图像作为学习图像。另外，阈值学习单元402在改变每个拥挤度水平的图像中的阈值的同时，计算每个图像组中的查全率Rrec和查准率Rpre。此外，阈值学习单元402将查全率Rrec等于或大于“Lrec”并且查准率Rpre最高的阈值设置为每个拥挤度水平的人物确定阈值。例如，将拥挤度水平1的人物确定阈值称为“Thc1”，将拥挤度水平2的人物确定阈值称为“Thc2”，并将拥挤度水平3的人物确定阈值称为“Thc3”。
在学习非拥挤区域时，将人物在图像中均匀分散以使得不存在人物在图像中的分布的影响的图像用作学习图像。另外，阈值学习单元402在改变阈值的同时计算查全率Rrec和查准率Rpre。此外，阈值学习单元402将查准率Rpre等于或大于“Lpre”并且查全率Rrec最高的阈值设置为人物确定阈值。例如，将非拥挤区域的人物确定阈值称为“Ths”。注意，在非拥挤区域中，如图24所示，查全率Rrec和查准率Rpre都可以设置为高。
阈值存储单元411存储阈值学习单元402的学习结果，并将与阈值图生成单元412中指示的拥挤度水平对应的人物确定阈值输出到阈值图生成单元412。
阈值图生成单元412响应于基于从输入装置30提供的操纵信号的用户操纵来生成阈值图。阈值图生成单元412响应于用户操纵而将由成像装置20生成的拍摄图像分割成具有不同拥挤度水平的多个区域。另外，阈值图生成单元412响应于用户对分割区域的拥挤度指定操作的水平，从阈值存储单元411获取人物确定阈值。阈值图生成单元412通过使获取的人物确定阈值对应于分割区域来生成指示拥挤区域、非拥挤区域和针对每个区域的人物确定阈值的阈值图，并将阈值图输出到阈值调整单元421。
人物检测单元421使用由成像装置20生成的拍摄图像来执行人物检测。在人物检测中，计算指示人物的可能性的分数。另外，人物检测单元421针对由阈值图指示的每个区域，将与区域对应的人物确定阈值与区域内的被摄体的分数进行比较，并且确定具有等于或大于人物确定阈值的分数的被摄体是人物。人物检测单元421将指示被确定为人物的被摄体的位置的人物检测位置作为人物检测结果输出到跟踪单元422。
跟踪单元422执行对基于从人物检测单元421提供的人物检测结果所检测到的人物的跟踪，并且将分配给跟踪框的跟踪识别信息包括在指示跟踪框的预测位置的信息中以将跟踪识别信息作为跟踪结果输出给阈值调整单元413。另外，跟踪单元422将跟踪结果和人物检测结果输出到人物检测可靠性计算单元441。
人物检测可靠性计算单元441使用跟踪结果和人物检测结果来计算人物检测可靠性。人物检测可靠性计算单元441针对每条跟踪识别信息保持与跟踪框对应的人物检测结果的历史。另外，人物检测可靠性计算单元441使用保持的历史来针对每条跟踪识别信息设置人物检测可靠性。人物检测可靠性计算单元441将针对每条跟踪识别信息而计算出的人物检测可靠性输出到计数单元451。
计数单元451基于从跟踪单元422提供的跟踪结果来确定经过作为确定位置的计数线的跟踪框。另外，计数单元451使用从人物检测可靠性计算单元441提供的人物检测可靠性来比较与经过计数线的每个跟踪框对应的人物检测可靠性与预设的计数目标确定阈值。此外，计数单元451将与人物检测可靠性等于或大于计数目标确定阈值的跟踪框对应的人物设置为计数目标并执行人物计数。计数单元451将人物计数结果输出到输出单元461。
输出单元461使显示装置50显示由成像装置20生成的拍摄图像。另外，输出单元461使显示装置50显示计数线以及响应于用户操纵分割的区域的位置，以便可以识别计数线或区域的位置。此外，输出单元461使显示装置50显示关于由图像处理装置40获取的结果等的信息。
图25是图示根据第四实施例的操作的流程图。在步骤ST61中，图像处理装置40执行阈值学习处理。图26是图示阈值学习处理的流程图。
在步骤ST71中，图像处理装置40获取学习信息。图像处理装置40的阈值学习单元402获取学习图像作为学习信息并校正在学习图像中示出的人物的答案数据。作为学习图像，使用人物在图像中均匀拥挤的每个拥挤度水平的拥挤图像组和人物在图像中均匀分散以使得不存在人物在图像中的分布的影响的非拥挤图像组。阈值学习单元402获取学习信息，然后处理进行到步骤ST72。
在步骤ST72中，图像处理装置40计算查准率和查全率。图像处理装置40的阈值学习单元402在针对每个拥挤度水平的拥挤图像组和非拥挤图像组改变阈值的同时，计算每个图像组中的查全率Rrec和查准率Rpre，然后处理进行到步骤ST73。
在步骤ST73中，图像处理装置40设置人物确定阈值。图像处理装置40的阈值学习单元402将每个拥挤度水平的查全率Rrec等于或大于“Lrec”并且查准率Rpre最高的阈值设置为拥挤图像组中的人物确定阈值。另外，阈值学习单元402将查准率Rpre等于或大于“Lpre”并且查全率Rrec最高的阈值确定为非拥挤图像组中的人物确定阈值。阈值学习单元402在阈值存储单元411中存储在每个拥挤度水平的拥挤图像组和非拥挤度图像组中的每个中设置的人物确定阈值。
返回参考图25，图像处理装置40在步骤ST62中执行阈值图生成处理。图像处理装置40的阈值图生成单元412执行与图9的步骤ST1相同的处理。即，阈值图生成单元412响应于用户操纵将拍摄图像分割为具有不同拥挤度水平的多个区域。另外，阈值图生成单元412响应于用户对分割区域的拥挤度指定操纵的水平，从阈值存储单元411获取人物确定阈值。此外，阈值图生成单元412通过使获取的人物确定阈值对应于分割区域来生成阈值图，然后处理进行到步骤ST63。
在步骤ST63中，图像处理装置40执行人物检测信息生成处理。图像处理装置40执行与图2的步骤ST2相同的处理。即，人物检测单元421执行被摄体检测，并生成指示人物检测位置的人物检测结果。另外，跟踪单元422执行使用人物检测结果来设置跟踪框，根据设置的跟踪框内的图像和随后获取的拍摄图像预测跟踪框在随后获取的拍摄图像中的位置，并且执行对跟踪框的人物的跟踪。此外，人物检测可靠性计算单元441基于跟踪结果和人物检测结果来计算人物检测可靠性。图像处理装置40将跟踪框的位置和针对每个跟踪框的人物检测可靠性设置为人物检测信息，然后处理进入步骤ST64。
在步骤ST64中，图像处理装置40执行计数处理。图像处理装置40的计数单元451执行与图9的步骤ST3相同的处理，并且根据在步骤ST63中生成的人物检测信息中的跟踪框的位置确定经过计数线的跟踪框。此外，在所确定的跟踪框中，将其中人物检测可靠性等于或大于预设的计数目标确定阈值的跟踪框的人物设置为计数目标，并且执行计数以计算经过计数线的人物的数量，然后处理进行到步骤ST65。
在步骤ST65中，图像处理装置40执行输出处理。图像处理装置40的输出单元461执行与图9的步骤ST4相同的处理，并显示在步骤ST64中获得的计数处理结果。
根据第四实施例，由于通过使用拥挤图像组和非拥挤图像组的学习来设置人物确定阈值，因此可以设置针对人物拥挤情况最佳的人物确定阈值。因此，在拥挤区域和非拥挤区域中的每个中，可以根据拥挤度水平来最佳地执行人物检测。
<6.其他实施例>
在上述实施例中，是根据预设的拥挤区域和非拥挤区域以及拥挤区域的拥挤度水平，响应于用户操纵等来生成阈值图的情况。然而，本技术不限于基于用户操纵等来执行区域设置和拥挤度水平设置的情况。例如，可以基于拍摄图像自动执行区域设置和拥挤度水平设置，以生成阈值图。在另一实施例中，将描述自动执行区域设置和拥挤度水平设置的情况。
图27是图示根据另一实施例的配置的图。图像处理装置40包括拥挤度水平检测单元410、阈值存储单元411、阈值图生成单元412、人物检测单元421、跟踪单元422、人物检测可靠性计算单元441、计数单元451和输出单元461。
拥挤度水平检测单元410使用由成像装置20获取的拍摄图像来检测拥挤度水平。拥挤度水平检测单元410预先生成指示图像区域中的人物的密度和特征量之间的相关性的词典，例如在文件“V.Lempisky和A.Zizzerman，在神经信息处理系统中“学习计算图像中的被摄体”,(2010)”(“V.Lempisky和A.Zizzerman,“Learning to count objects inimages”,in Neural Information Processing Systems,(2010)”)中所公开的，并在拥挤度水平的检测中根据图像的特征量提取结果预测人物的拥挤度水平。另外，在拥挤度水平的检测中，从成像时间不同的多个拍摄图像中检测动物体。当检测到大量动物体时，拥挤度水平被设置为高。当检测到少量动物体时，拥挤度水平被设置为低。拥挤度水平检测单元410将拥挤度水平检测结果输出到阈值图生成单元412。
阈值存储单元411在每个拥挤度水平处预先存储人物确定阈值。阈值存储单元411将与阈值图生成单元412中指示的拥挤度水平对应的人物确定阈值输出到阈值图生成单元412。
阈值图生成单元412响应于基于从输入装置30提供的操纵信号的用户操纵来生成阈值图。阈值图生成单元412响应于用户操纵而将由成像装置20生成的拍摄图像分割成具有不同拥挤度水平的多个区域。另外，阈值图生成单元412响应于用户对分割区域的拥挤度指定操作的水平，从阈值存储单元411获取人物确定阈值。阈值图生成单元412通过使获取的人物确定阈值对应于分割区域来生成例如指示拥挤区域、非拥挤区域和针对每个区域的人物确定阈值的阈值图，并将阈值图输出到人物检测单元421。
人物检测单元421使用由成像装置20生成的拍摄图像来执行人物检测。在人物检测中，计算指示人物的可能性的分数。另外，人物检测单元421针对由阈值图指示的每个区域，将与区域对应的人物确定阈值与区域内的被摄体的分数进行比较，并且确定具有等于或大于人物确定阈值的分数的被摄体是人物。人物检测单元421将指示被确定为人物的被摄体的位置的人物检测位置作为人物检测结果输出到跟踪单元422。
跟踪单元422执行对基于从人物检测单元421提供的人物检测结果所检测到的人物的跟踪，并且将分配给跟踪框的跟踪识别信息包括在指示跟踪框的预测位置的信息中以将跟踪识别信息作为跟踪结果输出给阈值调整单元413。另外，跟踪单元422将跟踪结果和人物检测结果输出到人物检测可靠性计算单元441。
人物检测可靠性计算单元441使用跟踪结果和人物检测结果来计算人物检测可靠性。人物检测可靠性计算单元441针对每条跟踪识别信息保持与跟踪框对应的人物检测结果的历史，并使用保持的历史来针对每条跟踪识别信息计算人物检测可靠性。人物检测可靠性计算单元441将针对每条跟踪识别信息计算出的人物检测可靠性输出到计数单元451。
计数单元451基于从跟踪单元422提供的跟踪结果来确定经过作为确定位置的计数线的跟踪框。另外，计数单元451使用从人物检测可靠性计算单元441提供的人物检测可靠性来比较与经过计数线的每个跟踪框对应的人物检测可靠性与预设的计数目标确定阈值。此外，计数单元451将与人物检测可靠性等于或大于计数目标确定阈值的跟踪框对应的人物设置为计数目标并执行人物计数。计数单元451将人物计数结果输出到输出单元461。
输出单元461使显示装置50显示由成像装置20生成的拍摄图像。另外，输出单元461使显示装置50显示计数线以及响应于用户操纵分割的区域的位置，以便可以识别计数线或区域的位置。此外，输出单元461使显示装置50显示关于由图像处理装置40获取的结果等的信息。
图28是图示根据另一实施例的操作的流程图。在步骤ST81中，图像处理装置40执行拥挤程度检测处理。图像处理装置40的拥挤度水平检测单元410使用由成像设备20生成的拍摄图像来检测拥挤度水平，然后处理进行到步骤ST82。
在步骤ST82中，图像处理装置40执行阈值图生成处理。图像处理装置40的阈值图生成单元412根据在步骤ST81中检测到的拥挤度水平将拍摄图像分割为拥挤区域和非拥挤区域。此外，阈值图生成单元412从阈值存储单元411获取对于拥挤区域和非拥挤区域中的每个的与每个区域的拥挤度水平对应的人物确定阈值，并且在每个区域中设置人物确定阈值以生成阈值图，然后处理进行到步骤ST83。
在步骤ST83中，图像处理装置40执行人物检测信息生成处理。图像处理装置40执行与图9的步骤ST2相同的处理。即，人物检测单元421执行被摄体检测，并生成指示人物检测位置的人物检测结果。另外，跟踪单元422执行使用人物检测结果来设置跟踪框，根据设置的跟踪框内的图像和随后获取的拍摄图像预测跟踪框在随后获取的拍摄图像中的位置，并且执行对跟踪框的人物的跟踪。此外，人物检测可靠性计算单元441基于跟踪结果和人物检测结果来计算人物检测可靠性。图像处理装置40将跟踪框的位置和每个跟踪框的人物检测可靠性设置为人物检测信息，然后处理进入步骤ST84。
在步骤ST84中，图像处理装置40执行计数处理。图像处理装置40的计数单元451执行与图3的步骤ST3相同的处理，并且根据在步骤ST83中生成的人物检测信息中的跟踪框的位置确定经过计数线的跟踪框。此外，在所确定的跟踪框中，将其中人物检测可靠性等于或大于预设的计数目标确定阈值的跟踪框的人物设置为计数目标，并且执行计数以计算经过计数线的人物的数量，然后处理进行到步骤ST85。
在步骤ST85中，图像处理装置40执行输出处理。图像处理装置40的输出单元461执行与图9的步骤ST4相同的处理，并且显示在步骤ST84中获得的计数处理结果。
根据另一实施例，根据拍摄图像设置拥挤区域和非拥挤区域，并自动设置与区域对应的人物确定阈值。因此，用户不需要执行设置区域的操纵或设置区域的拥挤度水平的操纵，并且容易使用图像处理装置。另外，当区域的拥挤度水平改变时，可以根据改变来优化人物确定阈值。因此，与用户设置拥挤度水平的情况相比，可以进一步提高人物检测的精度。
另外，当将第三实施例应用于上述第二实施例时，能够在人物从非拥挤区域移动到拥挤区域的情况下以及人物从拥挤区域移动到非拥挤区域的情况下获得具有高可靠性和高精度的人物检测信息。
此外，在上述实施例中，已经描述了测量经过计数线的人物的数量的情况，但是根据所获取的信息也可以省略上述流程图的一些处理。例如，在获取指示在拥挤区域和非拥挤区域之间移动的人物的跟踪结果的信息的情况下，可以在图示实施例的操作的流程图中省略计数处理。另外，在输出处理中，基于人物检测可靠性信息，还可以在显示装置50上显示具有高可靠性的跟踪结果。
此外，这里描述的一系列处理可以通过硬件、软件或其组合来执行。在通过软件执行处理的情况下，可以通过将处理序列被记录在其中的程序安装在专用硬件中嵌入的计算机的存储器中来执行处理，或者可以通过将程序安装在可以执行各种处理的通用计算机中来执行。
在一个示例中，可以将程序预先记录在作为记录介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)中。或者，可以将程序暂时或永久地存储(记录)在诸如软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、蓝光盘(注册商标)(BD)、磁盘或半导体存储卡的可移除记录介质中(上)。这种可移除记录介质可以被设置为所谓的软件包。
另外，程序不仅可以从可移除记录介质安装在计算机上，而且可以经由诸如局域网(LAN)或因特网的网络从下载站点无线地或有线地传输到计算机。在这样的计算机中，以上述方式传输的程序可以被接收并安装在诸如内置硬件的记录介质上。
注意，本说明书中描述的效果仅仅是示例，而不是限制性的；并且可以展现未描述的附加效果。此外，本技术不被解释为限于技术的上述实施例。本技术的实施例以示例的形式公开了本技术，并且显而易见的是，本领域技术人员可以在不脱离本技术的主旨的情况下对实施例进行修改或替换。换句话说，为了确定本技术的主旨，应该考虑权利要求。
另外，本技术也可以如下配置。
(1)一种图像处理装置，包括：
阈值图生成单元，被配置为生成阈值图，在所述阈值图中，为通过分割拍摄图像而获得的多个区域中的每个区域设置人物确定阈值；
人物检测单元，被配置为基于由所述阈值图生成单元生成的所述阈值图，针对所述多个区域中的每个区域，使用与区域对应的所述人物确定阈值来执行人物检测；
跟踪单元，被配置为执行对由所述人物检测单元检测到的人物的跟踪；以及
人物检测可靠性计算单元，被配置为通过使用人物检测单元的人物检测结果和跟踪单元的跟踪结果来针对检测到的人物中的每个人物计算人物检测可靠性。
(2)根据(1)所述的图像处理装置，
其中，所述拍摄图像被分割为拥挤区域和非拥挤区域，并且根据区域的拥挤度水平来设置人物确定阈值。
(3)根据(2)所述的图像处理装置，
其中，所述拥挤区域的所述人物确定阈值被设置为使得在指示通过人物检测检测到的人物包括在拥挤区域的人物中的程度的查全率保持在预定水平的状态下，指示拥挤区域的人物包括在通过人物检测检测到的人物中的程度的查准率是最大值。
(4)根据(2)或(3)所述的图像处理装置，
其中，所述非拥挤区域的所述人物确定阈值被设置为使得指示非拥挤区域的人物包括在通过人物检测检测到的人物中的程度的查准率等于或大于预定水平，并且指示通过人物检测检测到的人物包括在非拥挤区域的人物中的程度的查全率是最大值。
(5)根据(1)至(4)中任一项所述的图像处理装置，
其中，所述人物检测单元对于被摄体计算指示人物的准确性的分数，并且当所计算的分数等于或大于与所述被摄体的位置对应的人物确定阈值时，确定所述被摄体是人物。
(6)根据(1)至(5)中任一项所述的图像处理装置，
其中，所述跟踪单元对由所述人物检测单元检测到的所述人物设置跟踪框，并且通过使用具有与所述跟踪框内的图像不同的成像时间的拍摄图像来预测所述跟踪框在具有所述不同的成像时间的拍摄图像中的位置。
(7)根据(6)所述的图像处理装置，
其中，所述跟踪单元关于所述跟踪框来针对每个人物设置不同的跟踪识别信息，针对每条跟踪识别信息预测所述跟踪框的位置，并且将在预测位置处的跟踪框中设置的跟踪识别信息包括在指示由人物检测单元在与预测位置处的跟踪框对应的人物位置假设区域内获得的人物检测结果的信息中。
(8)根据(1)至(7)中任一项所述的图像处理装置，
其中，所述人物检测可靠性计算单元计算可靠性计算时段期间在跟踪的位置处的人物检测状况，并将所计算的人物检测状况设置为所述人物检测可靠性。
(9)根据(2)所述的图像处理装置，还包括：
阈值调整单元，被配置为当跟踪在非拥挤区域检测到的人物并且人物的预测位置处于拥挤区域中时，调整阈值图中的人物的预测位置用作参考的预定区域的人物确定阈值，使得比调整之前更容易确定人物。
(10)根据(2)或(9)所述的图像处理装置，还包括：
追溯单元，被配置为当在过去方向上对在非拥挤区域中检测到的人物执行跟踪和人物检测，并且跟踪中的人物的预测位置处于拥挤区域中时，调整阈值图中人物的预测位置用作参考的预定区域的人物确定阈值，使得比调整之前更容易确定人物，并且被配置为使用调整后的人物确定阈值来执行人物检测。
(11)根据(10)所述的图像处理装置，
其中，所述人物检测可靠性计算单元通过使用由所述追溯单元获取的跟踪结果和人物检测结果来计算所述人物检测可靠性。
(12)根据(3)所述的图像处理装置，还包括：
阈值学习单元，被配置为通过使用拥挤区域和非拥挤区域的学习图像来针对每个区域学习人物确定阈值，
其中，所述阈值学习单元将所述查全率等于或大于预定水平并且所述查准率最高的阈值设置为所述拥挤区域中的所述人物确定阈值，并且将所述查准率等于或者大于预定水平并且查全率最高的阈值，或者查全率和查准率都高的阈值设置为非拥挤区域中的人物确定阈值。
(13)根据(2)所述的图像处理装置，
其中，所述阈值图生成单元根据预设的拥挤区域、预设的非拥挤区域和所述拥挤区域的拥挤度水平生成所述阈值图。
(14)根据(2)所述的图像处理装置，还包括：
拥挤度水平检测单元，被配置为通过使用拍摄图像来检测拥挤度水平，
其中，所述阈值图生成单元基于由所述拥挤度水平检测单元检测到的拥挤度水平来执行分割成所述拥挤区域和所述非拥挤区域，并且根据各个分割区域的拥挤度水平生成所述阈值图。
(15)根据(1)至(14)中任一项所述的图像处理装置，还包括：
计数单元，被配置为基于由人物检测可靠性计算单元计算的人物检测可靠性和跟踪单元的跟踪结果将人物检测可靠性等于或大于计数目标确定阈值并且经过预设的确定位置的人物设置为计数目标，并且被配置为对经过确定位置的人物的数量进行计数。
工业适用性
在本技术的图像处理装置、图像处理方法和程序中，针对通过分割拍摄图像而获得的多个区域中的每个区域生成其中设置人物确定阈值的阈值图，并且基于所述阈值图，针对所述多个区域中的每个区域，使用与每个区域对应的人物确定阈值执行人物检测。另外，执行对检测到的人物的跟踪，并且使用人物检测结果和跟踪结果针对每个检测到的人物计算人物检测可靠性。因此，能够获得具有高可靠性和高精度的人物检测信息。因此，例如，可以以高精度从监视相机等的拍摄图像测量乘客的数量。
附图标记列表
10 图像处理系统
20 成像装置
30 输入装置
40 图像处理装置
50 显示装置
401 学习图像组存储单元
402 阈值学习单元
410 拥挤度水平检测单元
411 阈值存储单元
412 阈值图生成单元
413 阈值调整单元
421 人物检测单元
422、423 跟踪单元
431 先前图像存储单元
432 追溯单元
4321 过去图像选择单元
4322 阈值调整单元
4323 人物检测单元
4324 跟踪单元
441、442 人物检测可靠性计算单元
451 计数单元
461 输出单元

Claims (17)

1.一种图像处理装置，包括：
阈值图生成单元，被配置为生成阈值图，在所述阈值图中，为通过分割拍摄图像而获得的多个区域中的每个区域设置人物确定阈值；
人物检测单元，被配置为基于由所述阈值图生成单元生成的所述阈值图，针对所述多个区域中的每个区域，使用与区域对应的所述人物确定阈值来执行人物检测；
跟踪单元，被配置为执行对由所述人物检测单元检测到的人物的跟踪；以及
人物检测可靠性计算单元，被配置为通过使用人物检测单元的人物检测结果和跟踪单元的跟踪结果来针对检测到的人物中的每个人物计算人物检测可靠性。
2.根据权利要求1所述的图像处理装置，
其中，所述拍摄图像被分割为拥挤区域和非拥挤区域，并且根据区域的拥挤度水平来设置人物确定阈值。
3.根据权利要求2所述的图像处理装置，
其中，所述拥挤区域的所述人物确定阈值被设置为使得在指示通过人物检测检测到的人物包括在拥挤区域的人物中的程度的查全率保持在预定水平的状态下，指示拥挤区域的人物包括在通过人物检测检测到的人物中的程度的查准率是最大值。
4.根据权利要求2所述的图像处理装置，
其中，所述非拥挤区域的所述人物确定阈值被设置为使得指示非拥挤区域的人物包括在通过人物检测检测到的人物中的程度的查准率等于或大于预定水平，并且指示通过人物检测检测到的人物包括在非拥挤区域的人物中的程度的查全率是最大值。
5.根据权利要求1所述的图像处理装置，
其中，所述人物检测单元对于被摄体计算指示人物的准确性的分数，并且当所计算的分数等于或大于与所述被摄体的位置对应的人物确定阈值时，确定所述被摄体是人物。
6.根据权利要求1所述的图像处理装置，
其中，所述跟踪单元对由所述人物检测单元检测到的所述人物设置跟踪框，并且通过使用具有与所述跟踪框内的图像不同的成像时间的拍摄图像来预测所述跟踪框在具有所述不同的成像时间的拍摄图像中的位置。
7.根据权利要求6所述的图像处理装置，
其中，所述跟踪单元关于所述跟踪框来针对每个人物设置不同的跟踪识别信息，针对每条跟踪识别信息预测所述跟踪框的位置，并且将在预测位置处的跟踪框中设置的跟踪识别信息包括在指示由人物检测单元在与预测位置处的跟踪框对应的人物位置假设区域内获得的人物检测结果的信息中。
8.根据权利要求1所述的图像处理装置，
其中，所述人物检测可靠性计算单元计算可靠性计算时段期间在跟踪的位置处的人物检测状况，并将所计算的人物检测状况设置为所述人物检测可靠性。
9.根据权利要求2所述的图像处理装置，还包括：
阈值调整单元，被配置为当跟踪在非拥挤区域检测到的人物并且人物的预测位置处于拥挤区域中时，调整阈值图中的人物的预测位置用作参考的预定区域的人物确定阈值，使得比调整之前更容易确定人物。
10.根据权利要求2所述的图像处理装置，还包括：
追溯单元，被配置为当在过去方向上对在非拥挤区域中检测到的人物执行跟踪和人物检测，并且跟踪中的人物的预测位置处于拥挤区域中时，调整阈值图中人物的预测位置用作参考的预定区域的人物确定阈值，使得比调整之前更容易确定人物，并且被配置为使用调整后的人物确定阈值来执行人物检测。
11.根据权利要求10所述的图像处理装置，
其中，所述人物检测可靠性计算单元通过使用由所述追溯单元获取的跟踪结果和人物检测结果来计算所述人物检测可靠性。
12.根据权利要求3所述的图像处理装置，还包括：
阈值学习单元，被配置为通过使用拥挤区域和非拥挤区域的学习图像来针对每个区域学习人物确定阈值，
其中，所述阈值学习单元将所述查全率等于或大于预定水平并且所述查准率最高的阈值设置为所述拥挤区域中的所述人物确定阈值，并且将所述查准率等于或者大于预定水平并且查全率最高的阈值，或者查全率和查准率都高的阈值设置为非拥挤区域中的人物确定阈值。
13.根据权利要求2所述的图像处理装置，
其中，所述阈值图生成单元根据预设的拥挤区域、预设的非拥挤区域和所述拥挤区域的拥挤度水平生成所述阈值图。
14.根据权利要求2所述的图像处理装置，还包括：
拥挤度水平检测单元，被配置为通过使用拍摄图像来检测拥挤度水平，
其中，所述阈值图生成单元基于由所述拥挤度水平检测单元检测到的拥挤度水平来执行分割成所述拥挤区域和所述非拥挤区域，并且根据各个分割区域的拥挤度水平生成所述阈值图。
15.根据权利要求1所述的图像处理装置，还包括：
计数单元，被配置为基于由人物检测可靠性计算单元计算的人物检测可靠性和跟踪单元的跟踪结果将人物检测可靠性等于或大于计数目标确定阈值并且经过预设的确定位置的人物设置为计数目标，并且被配置为对经过确定位置的人物的数量进行计数。
16.一种图像处理方法，包括：
由阈值图生成单元生成阈值图，在所述阈值图中，对通过分割拍摄图像而获得的多个区域中的每个区域设置人物确定阈值；
由人物检测单元基于由所述阈值图生成单元生成的所述阈值图，针对所述多个区域中的每个区域，使用与区域对应的所述人物确定阈值执行人物检测；
由跟踪单元执行由人物检测单元检测到的人物的跟踪；以及
由人物检测可靠性计算单元通过使用人物检测单元的人物检测结果和跟踪单元的跟踪结果来针对每个检测到的人物计算人物检测可靠性。
17.一种使计算机执行图像处理的程序，该程序使计算机执行：
用于生成阈值图的过程，在所述阈值图中，对通过分割拍摄图像而获得的多个区域中的每个区域设置人物确定阈值；
用于基于所生成的阈值图，针对所述多个区域中的每个区域，使用与区域对应的所述人物确定阈值执行人物检测的过程；
用于执行所检测到的人物的跟踪的过程；以及
用于通过使用人物检测结果和跟踪结果来针对每个检测到的人物计算人物检测可靠性的过程。
CN201680066097.3A 2015-11-20 2016-10-11 图像处理装置、图像处理方法和程序 Pending CN108352064A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015227183A JP2017097510A (ja) 2015-11-20 2015-11-20 画像処理装置と画像処理方法およびプログラム
JP2015-227183 2015-11-20
PCT/JP2016/080092 WO2017086058A1 (ja) 2015-11-20 2016-10-11 画像処理装置と画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN108352064A true CN108352064A (zh) 2018-07-31

Family

ID=58718773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680066097.3A Pending CN108352064A (zh) 2015-11-20 2016-10-11 图像处理装置、图像处理方法和程序

Country Status (4)

Country Link
US (1) US20200175693A1 (zh)
JP (1) JP2017097510A (zh)
CN (1) CN108352064A (zh)
WO (1) WO2017086058A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168767A (zh) * 2018-11-30 2021-07-23 索尼集团公司 信息处理设备、信息处理系统和信息处理方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810442B2 (en) * 2016-09-13 2020-10-20 Nec Corporation People flow estimation device, people flow estimation method, and recording medium
JP6866210B2 (ja) * 2017-03-31 2021-04-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
IL252032A0 (en) * 2017-04-30 2017-07-31 Pointgrab Ltd A method and system for determining presence from images
JP6917804B2 (ja) * 2017-06-28 2021-08-11 アズビル株式会社 人検知結果判定方法および装置
JP6920944B2 (ja) * 2017-09-26 2021-08-18 セコム株式会社 物体検出装置
JP6412625B1 (ja) * 2017-09-27 2018-10-24 三菱電機インフォメーションシステムズ株式会社 カウント装置及びカウントプログラム
CN109697499B (zh) * 2017-10-24 2021-09-07 北京京东尚科信息技术有限公司 行人流量漏斗生成方法及装置、存储介质、电子设备
JP7077046B2 (ja) * 2018-02-14 2022-05-30 キヤノン株式会社 情報処理装置、被写体の判別方法及びコンピュータプログラム
JP7069840B2 (ja) * 2018-03-02 2022-05-18 日本電気株式会社 個体計数装置、個体計数方法、個体計数プログラム、及び個体計数システム
WO2019180917A1 (ja) * 2018-03-23 2019-09-26 日本電気株式会社 オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム
TWI686748B (zh) * 2018-12-07 2020-03-01 國立交通大學 人流分析系統及人流分析方法
US20200219026A1 (en) * 2019-01-04 2020-07-09 Walmart Apollo, Llc Systems and methods for automated person detection and notification
JP6746154B1 (ja) * 2019-04-10 2020-08-26 株式会社バカン 物体検出装置及び混雑状況管理装置
US11651609B2 (en) 2020-06-10 2023-05-16 Here Global B.V. Method, apparatus, and system for mapping based on a detected pedestrian type
JP2022020352A (ja) * 2020-07-20 2022-02-01 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN114677607A (zh) * 2020-12-10 2022-06-28 富泰华工业（深圳）有限公司 基于人脸识别的实时行人统计方法以及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110085702A1 (en) * 2009-10-08 2011-04-14 University Of Southern California Object tracking by hierarchical association of detection responses
CN102190220A (zh) * 2010-03-19 2011-09-21 东芝电梯株式会社 电梯的群管理控制装置
CN102324016A (zh) * 2011-05-27 2012-01-18 郝红卫 一种高密度人群流量统计方法
US20130155229A1 (en) * 2011-11-14 2013-06-20 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
CN104933412A (zh) * 2015-06-16 2015-09-23 电子科技大学 中高密度人群的异常状态检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3934113B2 (ja) * 2004-02-23 2007-06-20 アジア航測株式会社 移動体検出システム、移動体検出装置、移動体検出方法及び移動体検出プログラム
JP4650669B2 (ja) * 2004-11-04 2011-03-16 富士ゼロックス株式会社 動体認識装置
JP4798042B2 (ja) * 2007-03-29 2011-10-19 オムロン株式会社 顔検出装置、顔検出方法及び顔検出プログラム
JP2009143722A (ja) * 2007-12-18 2009-07-02 Mitsubishi Electric Corp 人物追跡装置、人物追跡方法及び人物追跡プログラム
JP5862410B2 (ja) * 2012-03-28 2016-02-16 沖電気工業株式会社 人数集計サーバ、通行人数集計装置、及び通行人数集計システム
US10430666B2 (en) * 2013-03-29 2019-10-01 Nec Corporation Target object identifying device, target object identifying method and target object identifying program
JP6276519B2 (ja) * 2013-05-22 2018-02-07 株式会社 日立産業制御ソリューションズ 人数計測装置および人物動線解析装置
US9875431B2 (en) * 2013-06-28 2018-01-23 Nec Corporation Training data generating device, method, and program, and crowd state recognition device, method, and program
CN105654021B (zh) * 2014-11-12 2019-02-01 株式会社理光 检测人群对目标位置关注度的方法及设备
US9973711B2 (en) * 2015-06-29 2018-05-15 Amazon Technologies, Inc. Content-based zooming and panning for video curation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110085702A1 (en) * 2009-10-08 2011-04-14 University Of Southern California Object tracking by hierarchical association of detection responses
CN102190220A (zh) * 2010-03-19 2011-09-21 东芝电梯株式会社 电梯的群管理控制装置
CN102324016A (zh) * 2011-05-27 2012-01-18 郝红卫 一种高密度人群流量统计方法
US20130155229A1 (en) * 2011-11-14 2013-06-20 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
CN104933412A (zh) * 2015-06-16 2015-09-23 电子科技大学 中高密度人群的异常状态检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168767A (zh) * 2018-11-30 2021-07-23 索尼集团公司 信息处理设备、信息处理系统和信息处理方法
CN113168767B (zh) * 2018-11-30 2023-08-15 索尼集团公司 信息处理设备、信息处理系统和信息处理方法

Also Published As

Publication number Publication date
US20200175693A1 (en) 2020-06-04
WO2017086058A1 (ja) 2017-05-26
JP2017097510A (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
CN108352064A (zh) 图像处理装置、图像处理方法和程序
JP7428213B2 (ja) 情報処理システム、情報処理方法及びプログラム
WO2021114630A1 (zh) 医学图像样本筛查方法、装置、计算机设备和存储介质
CN104424466B (zh) 对象检测方法、对象检测设备及图像拾取设备
JP5603403B2 (ja) 対象物計数方法、対象物計数装置および対象物計数プログラム
JP7449420B2 (ja) 循環異常細胞を検出する方法及び装置
CN104112284B (zh) 一种图片的相似度检测方法和设备
CN107392932A (zh) 更新用于图像的背景减除的背景模型的方法和装置
CN109740590A (zh) 基于目标跟踪辅助的roi精确提取方法及系统
CN109919135A (zh) 基于深度学习的行为检测方法、装置
CN109740609A (zh) 一种轨距检测方法及装置
CN108363953A (zh) 一种行人检测的方法及双目监控设备
CN109344886A (zh) 基于卷积神经网络的遮挡号牌判别方法
CN109740654A (zh) 一种基于深度学习的舌体自动检测方法
CN116030538B (zh) 弱监督动作检测方法、系统、设备及存储介质
CN107909009A (zh) 一种基于路面学习的障碍物检测方法与装置
CN107590486A (zh) 运动目标识别方法和系统、自行车流量统计方法和设备
CN104079798B (zh) 图像检测方法、装置及一种视频监控系统
CN108256489B (zh) 基于深度强化学习的行为预测方法及装置
CN108280388A (zh) 训练面部检测模型的方法和装置以及面部检测方法和装置
CN106407926B (zh) 一种行人检测方法及装置
CN108154199A (zh) 一种基于深度学习的高精度快速单类目标检测方法
WO2021068589A1 (zh) 一种图像中物体及其关键点的确定方法和装置
Ren et al. Vision method based on deep learning for detecting concrete vibration quality
CN109344829A (zh) 一种高速铁路列车的车号识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180731