CN112308879A - 图像处理设备、追踪对象物体的方法和存储介质 - Google Patents

图像处理设备、追踪对象物体的方法和存储介质 Download PDF

Info

Publication number
CN112308879A
CN112308879A CN202010751774.3A CN202010751774A CN112308879A CN 112308879 A CN112308879 A CN 112308879A CN 202010751774 A CN202010751774 A CN 202010751774A CN 112308879 A CN112308879 A CN 112308879A
Authority
CN
China
Prior art keywords
tracking
image
target object
estimation
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010751774.3A
Other languages
English (en)
Inventor
马养浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN112308879A publication Critical patent/CN112308879A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种图像处理设备、追踪对象物体的方法和存储介质。提供了一种图像处理设备。第一估计部件估计图像中的对象物体的位置。第二估计部件估计至少一个图像中的对象物体的位置，其中，第二估计处理中的对象物体的位置的估计精度低于第一估计处理中的估计精度。校正部件基于在多个图像中的第一图像上通过第一估计处理所估计的对象物体的位置，来校正在多个图像中的第二图像上通过第二估计处理所估计的对象物体的位置。第二图像是在与第一图像不同的时刻拍摄的图像。

Description

图像处理设备、追踪对象物体的方法和存储介质
技术领域
本发明涉及图像处理设备、对象物体的追踪方法和存储介质。
背景技术
迄今为止，已经提出了追踪从照相机拍摄的图像中检测到的物体或人的技术。日本特开2002-373332提出了使用考虑模板如何彼此重叠的模板匹配来进行追踪以从运动矢量估计后一帧图像上的搜索位置的技术。另外，日本特开2007-257358提出了如下技术，该技术使用金字塔图像以支持正追踪的关注物体的放大和缩小并且使用在时间上彼此接近的帧图像具有高相关性的事实来高效地检测和追踪关注物体。换句话说，当在前一帧图像上、在金字塔图像中的任何层中检测到关注物体时，在与前一帧图像上已经检测到关注物体的层相同的层上针对后一帧图像进行物体检测处理。
发明内容
本发明在其一方面提供一种图像处理设备，用于通过在多个图像中的各图像上估计对象物体的位置来追踪所述对象物体，其中，所述图像处理设备包括：第一估计部件，其被配置为进行第一估计处理以估计所述多个图像至少之一中的所述对象物体的位置；第二估计部件，其被配置为进行第二估计处理以估计所述多个图像至少之一中的所述对象物体的位置，其中，所述第二估计处理中的所述对象物体的位置的估计精度低于所述第一估计处理中的估计精度；以及校正部件，其被配置为基于在所述多个图像中的第一图像上通过所述第一估计处理所估计出的所述对象物体的位置，来校正在所述多个图像中的第二图像上通过所述第二估计处理所估计出的所述对象物体的位置，其中，所述第二图像是在与所述第一图像不同的时刻拍摄的图像。
本发明在其一方面提供一种追踪对象物体的方法，该方法是通过在多个图像中的各图像上估计所述对象物体的位置来进行的，其中，所述方法包括：进行第一估计处理以估计所述多个图像至少之一中的所述对象物体的位置；进行第二估计处理以估计所述多个图像至少之一中的所述对象物体的位置，其中，所述第二估计处理中的所述对象物体的位置的估计精度低于所述第一估计处理中的估计精度；以及基于在所述多个图像中的第一图像上通过所述第一估计处理所估计出的所述对象物体的位置，来校正在所述多个图像中的第二图像上通过所述第二估计处理所估计出的所述对象物体的位置，其中，所述第二图像是在与所述第一图像不同的时刻拍摄的图像。
一种存储有程序的非暂时性计算机可读存储介质，所述程序在由计算机执行时使所述计算机进行上述的方法。
通过以下参考附图对实施例的描述，本发明的其它特征将变得显而易见。
附图说明
图1是示出第一实施例的图像处理设备的结构的示例的框图；
图2是示出第一实施例的图像处理设备中的图像处理过程的示例的流程图；
图3是示出第一实施例中的校正追踪位置的偏移的处理的示例的流程图；
图4是用于说明轨迹的平滑化的示例的图；
图5是判断追踪位置的偏移(情况1)的说明图；
图6是判断追踪位置的偏移(情况2)的说明图；
图7是判断追踪位置的偏移(情况3)的说明图；
图8是校正追踪位置的偏移(情况1)的说明图；
图9是校正追踪位置的偏移(情况2)的说明图；
图10是校正追踪位置的偏移(情况3)的说明图；
图11是示出第二实施例中的校正追踪位置的偏移的处理的示例的流程图；
图12是示出第三实施例中的校正追踪位置的偏移的处理的示例的流程图；
图13是示出第四实施例的图像处理设备的结构的示例的框图；
图14是示出第四实施例的图像处理设备中的图像处理过程的示例的流程图；
图15是示出第五实施例的图像处理设备中的图像处理过程的示例的流程图；
图16是示出第六实施例的图像处理设备中的图像处理过程的示例的流程图；
图17A至图17C是示出第七实施例中的检测追踪对象物体的一般处理和检测结果的示例的图；以及
图18A至图18B是示出第七实施例中的用于抑制追踪位置的偏移的检测追踪对象物体的处理和检测结果的图。
具体实施方式
在日本特开2002-373332和日本特开2007-257358描述的方法中，基于关注物体在紧挨着的前一帧图像上的移动方向、速度或大小来针对后一帧图像估计该物体出现的位置和该物体的大小，以基于该估计来设置搜索区域。仅在搜索区域中搜索关注物体不仅降低了处理成本，而且还禁止将除了应该追踪的关注物体之外的物体错误地识别为追踪对象。然而，在物体检测处理中，由于包括噪声和背景的周边相似图案或邻近物体的影响，表示检测到作为追踪对象的物体的位置的追踪位置通常可能偏移。
为了解决上述问题，根据本发明的实施例，可以在追踪物体时抑制图像中的物体的追踪位置的偏移。
这里将参考附图详细描述本发明的实施例。以下说明的实施例中所示的结构仅是示例，并且本发明并不限于图中所示的结构。
根据实施例的图像处理设备在多个帧的图像上检测关注物体以追踪关注物体。在用以检测物体的物体检测处理中，由于包括噪声和背景的周边相似图案或邻近物体的影响，要追踪的物体的追踪位置通常可能轻微偏移。追踪位置的这种轻微偏移可能成为问题。例如，在对图像中的通过特定线的人体的数量进行计数时，追踪位置的这种轻微偏移可能成为问题。这里，为了描述，在画面的中央部分中在水平方向上设置通过线。假定从上到下通过通过线的人体的数量被计数为In，并且从下到上通过通过线的人体的数量被计数为Out。现在将考虑在追踪从上到下移动的人体期间、在通过线附近发生轻微偏移的情况。在尽管人体在前一帧图像上被计数为In、但是在后一帧图像上由于在与移动方向相反的方向上发生的轻微偏移而导致人体从下到上通过通过线的情况下，在该帧图像上，Out的计数递增1。另外，由于在后一帧上校正偏移，并且人体再次从上到下通过通过线，因此In的计数递增1。结果，出现In的一个错误计数和Out的一个错误计数。因此，利用根据本实施例的图像处理设备，可以抑制图像中的物体的追踪位置的偏移，以抑制在通过特定线的人体的数量的计数中出现错误计数。
另外，在图像中的关注物体的追踪中，可以进行轨迹的平滑化，以减小要追踪的关注物体的轨迹中所包括的追踪位置的轻微偏移的影响。此外，在通过特定线的人体的数量的计数中，通过在确定追踪位置之前使轨迹平滑化以校正追踪位置，能够抑制错误计数。然而，利用使轨迹均匀平滑化的方法，与轨迹有关的微小信息丢失。结果，例如，可疑行为(诸如人体的徘徊等)的判断被禁用，从而导致问题。因此，利用根据本实施例的图像处理设备，可以在抑制与轨迹有关的微小信息的丢失的同时抑制追踪位置的偏移。将描述根据本实施例的图像处理设备。
根据本实施例的图像处理设备具有使用所记录的过去轨迹信息来校正关注物体的追踪位置的偏移的功能。轨迹信息的使用能够针对时间序列顺序的各个帧识别要追踪的关注物体(以下称为追踪对象物体)在帧图像上的位置。轨迹信息表示当追踪对象物体已经被追踪时的各帧的追踪历史。轨迹信息包括例如用于识别帧图像上的各物体的物体标识符(ID)(物体识别信息)、帧图像上的物体的位置(物体位置)以及关于各帧的时间信息。轨迹信息可包括追踪对象物体的大小(帧图像上的大小)、关于物体的属性信息等。尽管在以下描述中将人体例示为追踪对象物体，但是追踪对象物体不限于人体并且可以是任意物体。
第一实施例
图1是示出第一实施例的图像处理设备100的结构的示例的框图。
第一实施例的图像处理设备100包括图像获取单元101、追踪单元102、轨迹分析单元103、轨迹平滑化单元104、追踪位置校正单元105、输出单元106和存储装置107。
图2是示出第一实施例的图像处理设备100中的图像处理过程的示例的流程图。图2示出从对象(人体)的检测和追踪到追踪位置的偏移的校正的处理流程。
参考图2，在步骤S201中，图像获取单元101从诸如照相机或服务器等的外部设备按时间序列顺序获取要处理的图像。换句话说，图像获取单元101获取由照相机拍摄的图像。例如，构成运动图片的各个帧图像被假定为时间序列顺序的图像。图像获取单元101可以获取外部存储器等中所存储的时间序列顺序的图像。在步骤S202中，图像处理设备100判断图像获取是否成功。当图像获取单元101的图像获取失败或者用户停止图像获取时，图像处理设备100判断为图像获取失败。如果图像处理设备100判断为图像获取失败(步骤S202中为“否”)，则终止图2的流程图的处理。
如果图像处理设备100判断为图像获取成功(步骤S202中为“是”)，则在步骤S203中，追踪单元102从由图像获取单元101获取的关注帧(当前帧)的图像中检测追踪对象物体(关注物体)。在第一实施例中假定检测到N个物体(检测到N个人体)。另外，背景减除方法用作第一实施例中的检测物体的方法。这里要检测的物体例如是使用背景减除方法检测到的移动物体或前景。可选地，要检测的物体可以是判断为不是背景的部分。与追踪单元102检测到的物体有关的信息包括关注帧图像上的位置、检测到的物体的外接矩形和外接矩形的大小。在步骤S204中，追踪单元102对变量i进行初始化。追踪单元102使用在步骤S204中初始化的变量i来管理在步骤S203中检测到的各物体。
在步骤S205中，追踪单元102判断变量i的值是否低于N。如果追踪单元102判断为变量i的值低于N(步骤S205中为“是”)，则处理进入步骤S206。如果追踪单元102判断为变量i的值不低于N(步骤S205中为“否”)，则处理进入步骤S208。
在步骤S208中，追踪单元102输出追踪结果。关于追踪结果的信息被存储(记录)在存储装置107中。然后，处理返回到步骤S201。
如果变量i的值低于N(S205中为“是”)，则在步骤S206中，追踪单元102从检测到变量i的物体的局部区域检测人体，并将检测到的物体与检测到的人体相关联以确定变量i的追踪区域。变量i的人体在下文中被称为人体i并且变量i的追踪区域在下文中被称为追踪区域i。在第一实施例中，使用图案匹配处理来进行人体的检测。追踪单元102将人体ID新添加到新出现的人体。在从关注帧图像检测到的人体与按时间序列顺序在该关注帧的前一帧图像上检测到的人体之间的关联成功时，追踪单元102将添加在前一帧图像上的人体ID也添加到从关注帧图像检测到的人体。追踪单元102以上述方式将从关注帧图像中检测到的人体与在前一帧图像上检测到的人体相关联来进行追踪。
在第一实施例中用作人体检测方法的图案匹配处理中使用两种处理方法：几何图案匹配和颜色图案匹配。已知的方法可用于几何图案匹配和颜色图案匹配。例如，在Kunimitsu、Asama、Kawabata、&Mishima(2004)“Detection of Object under OutdoorEnvironment with Binary Edge Image for Template”IEEJ Trans,EIS,Vol.124,No.2中公开的处理可以用作几何图案匹配。例如，找到与人体相对应的追踪框的矩形中的颜色直方图之间的相关性的方法可以用作颜色图案匹配。
第一实施例的追踪单元102将在使用几何图案匹配作为人体检测方法而检测到人体之后关联成功时的人体的追踪区域设置为高可靠性追踪区域。由于认为要追踪的人体可能存在于使用几何图案匹配关联成功的人体的追踪区域中，因此使用几何图案匹配关联成功的人体的追踪区域被设置为表示高可靠性的高可靠性追踪区域。另外，追踪单元102将在使用颜色图案匹配作为人体检测方法检测到人体之后关联成功时的人体的追踪区域设置为中可靠性追踪区域。与几何图案匹配中相比，由于要追踪的人体不太可能存在于使用颜色图案匹配关联成功的人体的追踪区域中，因此将使用颜色图案匹配关联成功的人体的追踪区域设置为表示中可靠性的中可靠性追踪区域。追踪单元102通过使用根据到时间序列顺序的前一帧的轨迹所计算出的平均速度矢量来计算关注帧图像(当前帧图像)上的追踪位置，以确定关联失败的人体的人体ID。追踪单元102将在关联失败时从关注帧图像检测到的追踪区域设置为低可靠性追踪区域。与颜色图案匹配中相比，由于要追踪的人体不太可能存在于使用平均速度矢量从关注帧图像检测到的追踪区域中，因此将使用平均速度矢量从关注帧图像检测到的追踪区域设置为表示低可靠性的低可靠性追踪区域。
尽管在使用背景减除方法检测物体的第一实施例中描述了示例，但是检测物体的方法不限于背景减除方法并且可以使用其它方法，只要能够使用该方法从图像检测到物体即可。从图像检测人体的方法不限于图案匹配处理，并且可以使用其它方法，只要能够使用该方法从图像检测到人体即可。另外，人体的检测不限于在检测物体的局部区域中进行，并且可以在整个图像中进行人体的检测。此外，检测对象物体不限于人体并且可以是能够被检测为特定物体(例如，具有特定特征的物体或被判断为具有特定图案的物体)的任何物体。例如，检测对象物体可以是汽车或动物。
在步骤S206之后，处理进入步骤S300以进行追踪位置的偏移的校正。通过轨迹分析单元103、轨迹平滑化单元104和追踪位置校正单元105进行步骤S300中的追踪位置的偏移的校正。在步骤S300之后，处理进入步骤S207。在步骤S207中，追踪单元102将变量i递增。然后，处理返回到步骤S205。
图3是示出步骤S300中的校正追踪位置的偏移的详细处理的示例的流程图。
参考图3，在步骤S301中，轨迹分析单元103估计以上述方式检测到的人体的移动速度。在第一实施例中，仅使用轨迹中的高可靠性追踪区域进行移动速度的估计。这里，为了描述，假定正追踪人体i。与人体i相对应的高可靠性追踪区域由Ri(k)表示，并且时间上与高可靠性追踪区域Ri(k)相邻的高可靠性追踪区域由Ri(k+1)表示。高可靠性追踪区域Ri(k)的中心坐标由(Ri x(k)，Ri y(k))表示，并且高可靠性追踪区域Ri(k+1)的中心坐标由(Ri x(k+1)，Ri y(k+1))表示。在该表示中，k＝(1,2,…,K)并且k是添加到人体i的轨迹中的高可靠性追踪区域所属的帧图像的ID。按时间顺序排列帧图像，并且按帧图像的时间戳的时间顺序向帧图像添加ID。第k个高可靠性追踪区域Ri(k)的速度矢量由式(1)表示。在式(1)中，Δt表示高可靠性追踪区域Ri(k)所属的帧图像的时间戳和高可靠性追踪区域Ri(k+1)所属的帧图像的时间戳之间的时间间隔。
Figure BDA0002610272380000091
根据式(2)计算人体i的平均速度矢量：
Figure BDA0002610272380000092
在步骤S302中，轨迹分析单元103计算追踪历史的可靠性。在步骤S303中，轨迹分析单元103基于构成追踪历史的各追踪位置的可靠性来确定追踪历史的可靠性。各追踪位置的可靠性是追踪区域的可靠性。在第一实施例中，追踪区域被分类为上述的高可靠性追踪区域、中可靠性追踪区域和低可靠性追踪区域。另外，如上所述，基于在人体的检测(即，追踪区域的位置的检测)中使用的检测方法(几何图案匹配或颜色图案匹配)来确定追踪区域的可靠性。换句话说，轨迹分析单元103基于检测构成要追踪的人体的追踪历史的人体的各个追踪位置时的检测方法来确定追踪历史的可靠性。
具体地，轨迹分析单元103基于轨迹中的高可靠性追踪区域的数量(具有特定可靠性的追踪位置的数量)与追踪区域的数量的比率，将正被追踪的人体i的追踪历史的可靠性分类为高可靠性轨迹、中可靠性轨迹或低可靠性轨迹。例如，当构成轨迹的追踪区域的总数量是100并且高可靠性追踪区域的数量是70时，高可靠性追踪区域的数量的比率是0.7。
在步骤S303中，轨迹分析单元103基于轨迹中的高可靠性追踪区域的数量与追踪区域的数量的比率来判断该轨迹是否是高可靠性轨迹。在第一实施例中，如果满足轨迹中的高可靠性追踪区域的数量与追踪区域的数量的比率高于或等于高可靠性判断阈值的条件，则轨迹分析单元103判断为该轨迹是高可靠性轨迹。如果轨迹分析单元103判断为该轨迹被判断为高可靠性轨迹(步骤S303中为“是”)，则处理进入步骤S304。如果轨迹分析单元103判断为该轨迹不是高可靠性轨迹(步骤S303中为“否”)，则处理进入步骤S310。
在步骤S304中，轨迹平滑化单元104对高可靠性轨迹进行轨迹平滑化以创建平滑化追踪历史。针对高可靠性轨迹的轨迹平滑化根据轨迹中的追踪区域的可靠性和追踪区域之间的位置关系而变化。
轨迹平滑化单元104不对包括在高可靠性轨迹中的高可靠性追踪区域进行平滑化。与此相对，轨迹平滑化单元104针对不同的四种类型(图4中所示的从类型1至类型4)以不同的方式对包括在高可靠性轨迹中的中可靠性追踪区域和低可靠性追踪区域进行平滑化。追踪区域基于它们的可靠性和追踪区域之间的位置关系被分类为四种类型。图4中的各白色圆表示从包括物体的局部区域检测到的人体的追踪区域(局部检测(LD))。这样的追踪区域被称为LD追踪区域，其是高可靠性追踪区域。图4中的各黑色圆表示从帧图像检测到的人体的追踪区域。这样的追踪区域被称为非LD追踪区域，其是中可靠性追踪区域或低可靠性追踪区域。对图4中的由黑色圆表示的作为中可靠性追踪区域或低可靠性追踪区域的追踪区域(非LD追踪区域)分类为四种类型：类型1至类型4。图4中的各阴影圆表示轨迹平滑化之后的追踪区域(平滑化后的追踪区域)。
在第一实施例中，从关注帧图像检测到的并且被分类为类型1的追踪区域是如下的追踪区域，该追踪区域不是紧挨在关注帧图像之前的帧图像上的高可靠性追踪区域并且是紧挨在关注帧图像之后的帧图像上的高可靠性追踪区域。被分类为类型2的追踪区域是如下的追踪区域，该追踪区域是紧挨在关注帧图像之前的帧图像上的高可靠性追踪区域并且不是紧挨在关注帧图像之后的帧图像上的高可靠性追踪区域。被分类为类型3的追踪区域是如下的追踪区域，该追踪区域是紧挨在关注帧图像前后的帧图像上的高可靠性追踪区域。被分类为类型4的追踪区域是如下的追踪区域，该追踪区域不是紧挨在关注帧图像前后的帧图像上的高可靠性追踪区域。
现在将参考图4描述如何通过第一实施例的轨迹平滑化单元104使类型1至类型4的追踪区域平滑化。
在类型1的追踪区域401的平滑化时，轨迹平滑化单元104将紧挨在关注帧之后的帧图像上的高可靠性追踪区域403用作基准追踪区域。轨迹平滑化单元104将类型1的追踪区域401移动到基于在步骤S301中计算出的平均速度矢量和关注帧(帧0)与紧挨着的后一帧(帧1)之间的时间计算出的位置。此时，轨迹平滑化单元104识别例如与由平均速度矢量表示的方向平行并且通过高可靠性追踪区域403的位置的校正线段。另外，轨迹平滑化单元104将由平均速度矢量表示的速度乘以帧0与帧1之间的时间以计算距离。然后，轨迹平滑化单元104将追踪区域401的位置校正为所识别出的校正线段上的在与平均速度矢量的方向相反的方向上与高可靠性追踪区域403的位置远离所计算出的距离的位置。在图4的示例中，类型1的追踪区域401在类型1的追踪区域401的平滑化中被移动到的追踪区域是平滑化后的追踪区域402。如上所述，在类型1的追踪区域的平滑化中，轨迹平滑化单元104按以下方式校正第一图像中所估计的物体的第一追踪位置(第一追踪区域)。具体地，轨迹平滑化单元104基于作为时间序列中的第一图像的后一帧的第二图像上的物体的第二追踪位置(第二追踪区域)，校正第一图像上的物体的第一追踪位置。第二追踪位置具有比第一追踪位置的可靠性更高的可靠性。
在类型2的追踪区域408的平滑化中，轨迹平滑化单元104将紧挨在关注帧(帧4)之前的帧图像(帧3)上的高可靠性追踪区域406用作基准追踪区域。轨迹平滑化单元104将类型2的追踪区域408移动到基于在步骤S301中计算出的平均速度矢量和关注帧(帧4)与紧挨着的前一帧(帧3)之间的时间计算出的位置。此时，轨迹平滑化单元104识别例如与由平均速度矢量表示的方向平行并且通过高可靠性追踪区域406的位置的校正线段。另外，轨迹平滑化单元104将由平均速度矢量表示的速度乘以帧3与帧4之间的时间，以计算距离。然后，轨迹平滑化单元104将追踪区域408的位置校正为所识别出的校正线段上的在平均速度矢量所表示的方向上与高可靠性追踪区域406的位置远离所计算出的距离的位置。在图4的示例中，类型2的追踪区域408在类型2的追踪区域408的平滑化中被移动到的追踪区域是平滑化后的追踪区域409。如上所述，在类型2的追踪区域的平滑化中，轨迹平滑化单元104按以下方式校正第一图像上所估计的物体的第一追踪位置(第一追踪区域)。具体地，轨迹平滑化单元104基于作为时间序列中的第一图像的前一帧的第二图像上的物体的第二追踪位置(第二追踪区域)，校正第一图像上的物体的第一追踪位置。第二追踪位置具有比第一追踪位置的可靠性更高的可靠性。如以上在类型1至类型2中所述，轨迹平滑化单元104基于在与第一图像的时刻不同的时刻拍摄的第二图像上的物体的第二追踪位置，校正第一图像上的物体的第一追踪位置。第二追踪位置具有比第一追踪位置的可靠性更高的可靠性。
在类型3的追踪区域404的平滑化中，轨迹平滑化单元104确定线段405，该线段405的两端是紧挨在关注帧前后的帧图像上的高可靠性追踪区域403和406。接着，轨迹平滑化单元104计算线段405上的按比率分配的位置，该比率同Type3的追踪区域404所属的关注帧和紧挨着的前一帧之间的时间与关注帧和紧挨着的后一帧之间的时间相对应。然后，轨迹平滑化单元104将类型3的追踪区域404移动到线段405上所分配的位置。在图4的示例中，类型3的追踪区域404在类型3的追踪区域404的平滑化中被移动到的追踪区域是平滑化后的追踪区域407。如上所述，在类型3的追踪区域的平滑化中，轨迹平滑化单元104按以下方式校正第一图像上所估计的物体的第一追踪位置(第一追踪区域)。具体地，轨迹平滑化单元104基于作为时间序列中的第一图像的前一帧的第二图像和作为时间序列中的第一图像的后一帧的第三图像上的物体的追踪位置中的各追踪位置，校正第一图像上的物体的第一追踪位置。该追踪位置具有比第一追踪位置的可靠性更高的可靠性。
在以上述方式平滑化中可靠性追踪区域或低可靠性追踪区域之后的追踪区域随后被处理为高可靠性追踪区域。当终止上述高可靠性轨迹的平滑化时，处理进入步骤S305。下面对步骤S305以及后续步骤进行说明。
如果轨迹分析单元103判断为该轨迹不满足高可靠性轨迹的条件(步骤S303中为“否”)，则在步骤S310中，轨迹分析单元103判断该轨迹是否是中可靠性轨迹。当满足如下条件时，轨迹分析单元103判断为该轨迹是中可靠性轨迹：该轨迹中的高可靠性追踪区域的数量与追踪区域的数量的比率例如高于或等于中可靠性判断阈值(高于或等于中可靠性判断阈值且低于高可靠性判断阈值)。如果轨迹分析单元103判断为该轨迹是中可靠性轨迹(步骤S310中为“是”)，则处理进入由轨迹平滑化单元104进行的步骤S311。如果轨迹分析单元103判断为该轨迹不是中可靠性轨迹(步骤S310中为“否”)，即，如果轨迹分析单元103判断为该轨迹是低可靠性轨迹，则终止步骤S300中的追踪位置的偏移的校正，并且处理进入图2中的步骤S207。
在步骤S311中，轨迹平滑化单元104对中可靠性轨迹进行轨迹平滑化。仅对中可靠性轨迹中所包括的追踪区域中的被分类为上述类型1和类型2的追踪区域进行中可靠性轨迹的轨迹平滑化。如在步骤S304中的高可靠性轨迹的轨迹平滑化中一样，在中可靠性轨迹的轨迹平滑化中平滑化后的追踪区域随后被处理为高可靠性追踪区域。
在步骤S312中，轨迹平滑化单元104重新估计在步骤S301中估计的移动速度。步骤S312中的估计方法与步骤S301中的估计移动速度的方法相同。
在步骤S313中，轨迹平滑化单元104重新计算在步骤S311中进行了轨迹平滑化的轨迹的可靠性(追踪轨迹的可靠性)。
在步骤S314中，轨迹平滑化单元104判断该轨迹是否为高可靠性轨迹(即，在步骤S311中的轨迹平滑化中使该轨迹成为高可靠性轨迹)。如果轨迹平滑化单元104判断为该轨迹是高可靠性轨迹(步骤S314中为“是”)，则处理返回至由追踪位置校正单元105进行的步骤S305。如果轨迹平滑化单元104判断为该轨迹不是高可靠性轨迹(步骤S314中为“否”)，则终止步骤S300中的追踪位置的偏移的校正，并且处理进入图2中的步骤S207。
在步骤S305中，追踪位置校正单元105测量轨迹平滑化单元104所创建的平滑化追踪历史中的移动方向的改变。在步骤S306中，追踪位置校正单元105基于移动方向的改变来判断轨迹的稳定程度。轨迹的稳定程度表示要追踪的物体的移动方向的改变程度。随着稳定程度的增加，要追踪的物体的移动方向的改变程度减小，并且随着稳定程度的减小，要追踪的物体的移动方向的改变程度增加。具体地，在步骤S305中，追踪位置校正单元105计算针对x方向和y方向的正方向上的移动的百分比和负方向上的移动的百分比，以将轨迹中的移动方向的改变程度数字化。使用在步骤S301中计算出的平均速度矢量来进行移动百分比的计算。例如，当轨迹中包括的高可靠性追踪区域的数量是70并且各自具有x方向的正方向上的元素的速度矢量的数量是七时，x方向的正方向上的移动的百分比是10％并且x方向的负方向上的移动的百分比是90％。
在步骤S306中，追踪位置校正单元105判断在轨迹中移动方向是否改变。在第一实施例中，如果在x方向和y方向各自中正方向上的或负方向上的移动的百分比高于或等于预定值，则追踪位置校正单元105判断为移动方向没有改变。换句话说，由于要追踪的物体的移动方向稳定，因此追踪位置校正单元105判断为物体的移动方向的稳定程度高于预定阈值。例如，当预定值为80％、高可靠性追踪区域的数量为70、并且存在各自具有x方向的正方向上的元素的63个速度矢量时，正方向上的移动的百分比为90％。因此，追踪位置校正单元105判断为“移动方向在x方向上没有改变”。这里，剩余的七个速度矢量各自具有负方向上的元素或者各自具有表示x方向上的静止状态的值。追踪位置校正单元105判断移动方向是否在轨迹中也在y方向上改变。如果追踪位置校正单元105判断为移动方向在x方向和y方向两者上都改变(步骤S306中为“是”)，则终止步骤S300中的追踪位置的偏移的校正，并且处理进入图2中的步骤S207。如果追踪位置校正单元105判断为移动方向在x方向和y方向中的至少一个方向上没有改变(步骤S306中为“否”)，即，如果稳定程度在x方向和y方向中的至少一个方向上高于预定阈值，则处理进入步骤S307。
在步骤S307中，追踪位置校正单元105判断当前正在处理的最新帧图像上的追踪位置的偏移。尽管能够根据使用情况等任意地确定追踪位置的偏移的定义和判断追踪位置的偏移的方法，但是在第一实施例中将情况定义为发生与根据轨迹计算出的平均移动方向相反的方向上的移动的追踪位置的偏移。
现在将描述基于追踪位置的偏移的定义判断追踪位置的偏移的方法。
在第一实施例中，追踪位置校正单元105分别判断以下三种情况中的追踪位置的偏移：情况1至情况3。追踪位置的偏移的情况1是移动方向在x方向和y方向这两者上都不改变的情况。追踪位置的偏移的情况2是移动方向仅在y方向上不改变(移动方向在x方向上改变)的情况。追踪位置的偏移的情况3是移动方向仅在x方向上不改变(移动方向在y方向上改变)的情况。
首先，将参考图5描述移动方向在x方向和y方向这两者上都不改变的追踪位置的偏移的情况1。首先，追踪位置校正单元105计算聚焦于关注帧图像的追踪区域501(追踪区域i)的前一帧图像上的追踪区域502的中心点。接着，追踪位置校正单元105设置追踪位置偏移判断线500。情况1中的追踪位置偏移判断线500是通过针对追踪区域502计算出的中心点并且与在步骤S301或步骤S312中估计的平均速度矢量垂直的直线。在第一实施例中，为了方便起见，将平均速度矢量相对于追踪位置偏移判断线500的正方向上的区域称为第一区域，并且为了方便起见，将平均速度矢量相对于追踪位置偏移判断线500的负方向上的区域称为第二区域。如果追踪区域501(追踪区域i)的中心点包括在第二区域中，则追踪位置校正单元105判断为在追踪区域501(追踪区域i)中发生追踪位置的偏移。
接着，将参考图6描述移动方向仅在y方向上不改变的追踪位置的偏移的情况2。首先，追踪位置校正单元105计算聚焦于关注帧图像的追踪区域601(追踪区域i)的前一帧图像上的追踪区域602的中心点。接着，追踪位置校正单元105设置追踪位置偏移判断线600。情况2中的追踪位置偏移判断线600是通过针对追踪区域602计算出的中心点并且与x方向平行的直线。在第一实施例中，为了方便起见，将平均速度矢量的y方向元素相对于追踪位置偏移判断线600的正方向上的区域称为第一区域，并且为了方便起见，将平均速度矢量的y方向元素相对于追踪位置偏移判断线600的负方向上的区域称为第二区域。如果追踪区域601(追踪区域i)的中心点包括在第二区域中，则追踪位置校正单元105判断为在追踪区域601(追踪区域i)中发生追踪位置的偏移。
接着，将参考图7描述移动方向仅在x方向上不改变的追踪位置的偏移的情况3。首先，追踪位置校正单元105计算聚焦于关注帧图像的追踪区域701(追踪区域i)的前一帧图像上的追踪区域702的中心点。接着，追踪位置校正单元105设置追踪位置偏移判断线700。情况3中的追踪位置偏移判断线700是通过针对追踪区域702计算出的中心点并且与y方向平行的直线。在第一实施例中，为了方便起见，将平均速度矢量的x方向元素相对于追踪位置偏移判断线700的正方向上的区域称为第一区域，并且为了方便起见，将平均速度矢量的x方向元素相对于追踪位置偏移判断线700的负方向上的区域称为第二区域。如果追踪区域701(追踪区域i)的中心点包括在第二区域中，则追踪位置校正单元105判断为在追踪区域701(追踪区域i)中发生追踪位置的偏移。
在步骤S307中判断追踪位置的偏移之后，在步骤S308中，追踪位置校正单元105根据是否发生追踪位置的偏移来使处理分支。如果追踪位置校正单元105判断为发生了追踪位置的偏移(步骤S308中为“是”)，则处理进入步骤S309。如果追踪位置校正单元105判断为未发生追踪位置的偏移(步骤S308中为“否”)，则终止步骤S300中的追踪位置的偏移的校正。
在步骤S309中，追踪位置校正单元105校正当前正在处理的最新帧图像上的追踪位置。尽管能够根据使用情况等任意地确定校正追踪位置的方法，但是在第一实施例中，对于上述的追踪位置的偏移的不同情况，以下面的不同方式校正追踪位置。
将参考图8描述移动方向在x方向和y方向这两者上都不改变的追踪位置的偏移的情况1中的追踪位置的校正。在图8中使用相同的附图标记来标识与图5中相同的构成要素。首先，追踪位置校正单元105使用关注帧的前一帧图像上的追踪区域502的中心点和平均速度矢量来计算关注帧图像上的追踪区域501的估计移动位置(估计追踪区域803)。接着，追踪位置校正单元105设置将关注帧上的追踪区域501的中心点连接至关注帧上的估计追踪区域803的中心点的直线804，并且计算直线804与追踪位置偏移判断线500之间的交点。然后，追踪位置校正单元105将从直线804上的该交点沿着朝向第一区域的方向移动了若干像素的点设置为校正后的追踪区域805的位置(中心点)。
接着，将参考图9描述移动方向仅在y方向上不改变的追踪位置的偏移的情况2中的追踪位置的校正。在图9中使用相同的附图标记来标识与图6中相同的构成要素。首先，追踪位置校正单元105使用关注帧的前一帧图像上的追踪区域602的中心点和平均速度矢量的y分量来计算关注帧图像上的追踪区域601的估计移动位置(估计追踪区域903)。接着，追踪位置校正单元105设置将关注帧上的追踪区域601的中心点连接至估计追踪区域903的中心点的直线904，并且计算直线904和追踪位置偏移判断线600之间的交点。然后，追踪位置校正单元105将从直线904上的该交点沿着朝向第一区域的方向移动了若干像素的点设置为校正后的追踪区域905的位置(中心点)。
接着，将参考图10描述移动方向仅在x方向上不改变的追踪位置的偏移的情况3中的追踪位置的校正。在图10中使用相同的附图标记来标识与图7中相同的构成要素。首先，追踪位置校正单元105使用关注帧的前一帧图像上的追踪区域702的中心点和平均速度矢量的x分量来计算关注帧图像上的追踪区域701的估计移动位置(估计追踪区域1003)。接着，追踪位置校正单元105设置将关注帧上的追踪区域701的中心点连接至估计追踪区域1003的中心点的直线1004，并且计算直线1004和追踪位置偏移判断线700之间的交点。然后，追踪位置校正单元105将从直线1004上的该交点沿着朝向第一区域的方向移动了若干像素的点设置为校正后的追踪区域1005的位置(中心点)。
在步骤S309中校正追踪位置之后，终止步骤S300中追踪位置的偏移的校正，并且处理进入图2中的步骤S207。
如上所述，第一实施例的图像处理设备100计算追踪对象物体(追踪对象人体)的追踪历史的可靠性，并且基于追踪历史的可靠性对追踪历史进行平滑化，以校正追踪位置的偏移。因此，根据第一实施例，可以在图像中的人体的检测和追踪中在不丢失与轨迹有关的微小信息的情况下校正追踪位置的偏移。
第一实施例的图像处理设备100可具有以下结构：如果发生追踪位置的偏移，则改变来自输出单元106的输出，使得用户能够知道发生追踪位置的偏移的区域，以向用户呈现改变。例如，当在显示装置(未示出)的画面上输出人体的追踪框时，输出单元106可将追踪框的颜色改变为特定颜色，或者可针对发生追踪位置的偏移的区域调整框线的宽度，以向用户呈现追踪位置的偏移的发生。可选地，如果发生追踪位置的偏移，则输出单元106可以在预定时间内继续显示输出的改变。在这种情况下，输出单元106可在经过预定时间之后停止呈现。
第二实施例
现在将说明第二实施例。
上面在第一实施例中描述了在没有任何条件的情况下进行追踪位置的偏移的校正的示例。在第二实施例中，将描述仅当满足预定条件时才校正追踪位置的偏移的方法。这里将描述预定条件是“所检测到的人体的数量小于预定数量”的情况。
第二实施例的图像处理设备100的结构与上述图1中的结构相同。
图11是示出第二实施例中的步骤S300中的校正追踪位置的偏移的处理的示例的流程图。为了简单起见，以下描述集中于与第一实施例的不同。在图11中使用相同的附图标记来标识进行与在第一实施例中使用的步骤中相同的处理的步骤。这里省略这样的步骤的描述。
参考图11，在步骤S1101中，追踪位置校正单元105判断检测到的人体数量N是否低于预定阈值(Th)。如果追踪位置校正单元105判断为检测到的人体数量N低于预定阈值Th(步骤S1101中为“是”)，则处理进入步骤S301。如果追踪位置校正单元105判断为检测到的人体数量N不低于预定阈值Th(步骤S1101中为“否”)，则终止步骤S300中的追踪位置的偏移的校正。
如上所述，仅当检测到的人体的数量小于预定数量(低于阈值)时，第二实施例的图像处理设备100才进行追踪位置的偏移的校正。因此，根据第二实施例，在追踪位置的偏移相对难以发生的小数量的人体的追踪的情况下，可以在保持精度的同时在不增加计算负荷的情况下追踪人体。
第三实施例
现在将说明第三实施例。
如在第二实施例中那样，将在第三实施例中描述仅当满足预定条件时才校正追踪位置的偏移的方法。这里将描述预定条件是“追踪对象人体的颜色或纹理与相邻区域的颜色或纹理不相似”的情况。
第三实施例的图像处理设备100的结构与上述图1中的结构相同。
图12是示出第三实施例中的步骤S300中的校正追踪位置的偏移的处理的示例的流程图。为了简单起见，以下描述集中于与第一实施例的不同。在图12中使用相同的附图标记来标识进行与上述实施例中使用的步骤中相同的处理的步骤。这里省略这样的步骤的描述。
参考图12，在步骤S1201中，追踪位置校正单元105计算追踪区域i与其周边区域之间的相似度。在第三实施例中，追踪位置校正单元105将追踪区域i的周边区域设置为矩形搜索范围。这里假定周边区域的左上坐标由(lx,ty)表示，并且周边区域的右下坐标由(rx,by)表示。还假定帧图像的左上坐标是原点(0,0)，画面上从左到右的方向是x方向上的正方向，以及画面上从上到下的方向是y方向上的正方向。还假定追踪区域i的中心坐标由(cx,cy)表示，宽度由w表示，高度由h表示，帧图像的宽度由W表示，以及帧图像的高度由H表示。在这种情况下，lx＝max(0,cx-w),rx＝(min W,cx+w),ty＝(max 0,cy-h),以及by＝min(H,cy+h)。
接着，追踪位置校正单元105将具有与追踪区域i的大小相同的大小的矩形区域定义为参考区域，并且在帧图像上随机设置五个参考区域，以使得各参考区域的中心坐标在周边区域内且在追踪区域外。
然后，追踪位置校正单元105使用预定的相似度计算公式计算追踪区域i与五个参考区域中的各参考区域之间的相似度。可以使用任何相似度计算公式，只要追踪区域i和参考区域之间的相似度能够用公式数字化即可。在第三实施例中，使用两个区域之间的颜色直方图交集。具体地，追踪位置校正单元105将各区域的颜色值进行至Nc颜色的颜色减除，然后在各区域中创建直方图。然后，追踪位置校正单元105根据式(3)和式(4)计算相似度：
Figure BDA0002610272380000201
S＝D/Np (4)
在式(3)和式(4)中，c表示颜色指数值，ac表示一个区域中的各自具有颜色指数值c的像素的数量，bc表示另一区域中的各自具有颜色指数值c的像素的数量，Np表示各区域中的像素的总数量，以及S表示两个区域之间的相似度。
返回参考图12，在步骤S1202中，追踪位置校正单元105判断是否存在针对五个参考区域中的各参考区域所计算出的相似度S高于预定阈值ThSm的区域。如果追踪位置校正单元105判断为存在针对五个参考区域中的各参考区域所计算出的相似度S高于预定阈值ThSm的至少一个区域(步骤S1202中为“是”)，则处理进入步骤S301。如果追踪位置校正单元105判断为不存在针对五个参考区域中的各参考区域所计算出的相似度S高于预定阈值ThSm的区域(步骤S1202中为“否”)，则终止步骤S300中的追踪位置的偏移的校正。
如上所述，当追踪区域周围存在与追踪区域相似的区域时，第三实施例的图像处理设备100进行追踪位置的偏移的校正。因此，根据第三实施例，当追踪位置的偏移难以发生时(例如，当追踪区域和背景区域之间的相似度低时)，可以在保持追踪精度的同时在不增加计算负荷的情况下追踪人体。
第四实施例
现在将说明第四实施例。
以上在第一实施例至第三实施例中描述了不涉及用户的操作的情况。在第四实施例中描述在追踪位置的偏移的校正中反映用户的操作的情况。
图13是示出第四实施例的图像处理设备1300的结构的示例的框图。图14是示出第四实施例的图像处理设备1300中的图像处理过程的示例的流程图。图14示出从物体(人体)的检测和追踪到追踪位置的偏移的校正的处理流程。为了简单起见，以下描述集中于与第一实施例的不同。在图13和图14中使用相同的附图标记来标识与上述实施例中描述的构成要素和步骤相同的构成要素和步骤。这里省略这样的构成要素和步骤的描述。
第四实施例的图像处理设备1300与图1所示的图像处理设备100的不同在于：添加了设置单元1301，并且追踪单元1302的操作与图1中的追踪单元102的操作不同。
在第四实施例中，在图14的步骤S1401中，设置单元1301根据用户的操作将追踪位置偏移校正功能设置为“启用”或“禁用”。与将追踪位置偏移校正功能设置为“启用”或“禁用”有关的信息可以存储在追踪单元1302中的存储器中，或者可以存储在存储装置107中。在第四实施例中，仅在第一图像获取之前并且当用户利用用户界面(未示出)进行特定操作时，才由设置单元1301进行步骤S1401。利用用户界面的操作例如是按下画面上的设置按钮或者特定键操作。如果能切换是否进行步骤S1401，则利用用户界面的操作不限于此，并且可以任意地设置。例如，设置单元1301可以被配置为使得基于利用麦克风的来自用户的音频获取和音频识别的结果进行步骤S1401。可选地，当设置单元1301从摄像机获取用户的手势作为运动图片或静止图像并且通过图像的识别来识别特定手势时，设置单元1301可以被配置为使得进行步骤S1401。
在步骤S201中，图像获取单元101进行图像获取。步骤S201至S206与第一实施例中的步骤相同。在第四实施例中，步骤S203至步骤S206可由追踪单元1302来进行。
在步骤S206之后，在步骤S1402中，追踪单元1302判断追踪位置偏移校正功能是否由用户设置为“启用”。如果追踪单元1302判断为追踪位置偏移校正功能由用户设置为“启用”(步骤S1402中为“是”)，则处理进入步骤S300。如果追踪单元1302判断为追踪位置偏移校正功能未由用户设置为“启用”(步骤S1402中为“否”)，则不进行步骤S300，并且处理进入步骤S207。作为步骤S300中的操作，进行上述第一实施例至第三实施例中的任意实施例的步骤S300中的处理。
如上所述，第四实施例的图像处理设备1300被配置为使得追踪位置偏移校正功能能够基于用户的操作被设置为“启用”或“禁用”。因此，根据第四实施例，用户能够根据使用情况等灵活地调整精度和计算机负荷之间的平衡。
第五实施例
现在将说明第五实施例。
在第四实施例中描述了通过用户利用用户界面来设置追踪位置偏移校正功能的方法，作为在追踪位置的偏移的校正中反映用户的操作的示例。在第五实施例中描述用户利用用户界面来设置追踪位置的偏移要被校正的物体(人体)的情况。第五实施例的图像处理设备1300的结构与图13中示出的结构相同。
图15是示出第五实施例的图像处理设备1300中的图像处理过程的示例的流程图。图15示出从物体(人体)的检测和追踪到追踪位置的偏移的校正的处理流程。为了简单起见，以下描述集中于与第一实施例的不同。在图15中使用相同的附图标记来标识与以上实施例中所描述的步骤相同的步骤。这里省略这样的步骤的描述。
参考图15，在步骤S1501中，设置单元1301将用户利用用户界面指定的并且追踪位置的偏移要被校正的物体设置为追踪位置偏移校正对象物体。与上述实施例相同，在第五实施例中也追踪人体作为物体。与要被进行追踪位置的偏移的校正的物体有关的指定信息可被存储在追踪单元1302中的存储器中，或者可被存储在存储装置107中。在第五实施例中，仅在第一图像获取之前并且当用户利用用户界面进行特定操作时才进行步骤S1501。利用用户界面的操作的示例与上述第四实施例中的操作相同。
在步骤S201中，图像获取单元101进行图像获取。步骤S201至S206与第一实施例中的步骤相同。在第五实施例中，步骤S203至步骤S206可以由追踪单元1302来进行。
在步骤S206之后，在步骤S1502中，追踪单元1302判断追踪区域i(即，与追踪区域i相对应的人体的对象)是否被设置为追踪位置的偏移的校正的对象。如果追踪单元1302判断为追踪区域i被设置为追踪位置的偏移的校正的对象(步骤S1502中为“是”)，则处理进入步骤S300。如果追踪单元1302判断为追踪区域i未被设置为追踪位置的偏移的校正的对象(步骤S1502中为“否”)，则不进行步骤S300，并且处理进入步骤S207。作为步骤S300中的操作，进行上述第一实施例至第三实施例中的任意实施例的步骤S300中的处理。
如上所述，在第五实施例的图像处理设备1300中，基于用户的操作来设置应用追踪位置偏移校正功能的追踪区域。因此，根据第五实施例，用户能够根据使用情况等针对要被追踪的各人体来调整精度，并且能够灵活地调整精度和计算机负荷之间的平衡。
第六实施例
现在将说明第六实施例。
第五实施例中描述了用户利用用户界面来设置要校正追踪位置的偏移的物体的示例。在第六实施例中描述用户利用用户界面来设置应用追踪位置的偏移的校正的区域的情况。第六实施例的图像处理设备的结构与图13所示的结构相同。
图16是示出第六实施例的图像处理设备中的图像处理过程的示例的流程图。图16示出从物体(人体)的检测和追踪到追踪位置的偏移的校正的处理流程。为了简单起见，以下描述集中于与第一实施例的不同。在图16中使用相同的附图标记来标识与上述实施例中描述的步骤相同的步骤。这里省略这样的步骤的描述。
参考图16，在步骤S1601中，设置单元1301设置用户利用用户界面指定的并且要校正追踪位置的偏移的图像区域。与要进行追踪位置的偏移的校正的图像区域有关的指定信息可被存储在追踪单元1302中的存储器中，或者可被存储在存储装置107中。在第六实施例中，仅在第一图像获取之前并且当用户利用用户界面进行特定操作时才进行步骤S1601。利用用户界面的操作的示例与上述第四实施例中的操作相同。
在步骤S201中，图像获取单元101进行图像获取。步骤S201至S206与第一实施例中的步骤相同。在第六实施例中，步骤S203至步骤S206可以由追踪单元1302来进行。
在步骤S206之后，在步骤S1602中，追踪单元1302判断追踪区域i的位置是否在步骤S1601中设置的图像区域内。如果追踪单元1302判断为追踪区域i的位置在步骤S1601中设置的图像区域内(步骤S1602中为“是”)，则处理进入步骤S300。如果追踪单元1302判断为追踪区域i的位置不在步骤S1601中设置的图像区域内(步骤S1602中为“否”)，则不进行步骤S300，并且处理进入步骤S207。作为步骤S300中的操作，进行上述第一实施例至第三实施例中的任意实施例的步骤S300中的处理。
如上所述，在第六实施例的图像处理设备1300中，基于用户的操作来设置应用追踪位置的偏移的校正的区域。因此，根据第六实施例，用户能够根据使用情况等，针对各图像区域来调整精度，并且灵活地调整精度和计算机负荷之间的平衡。
第七实施例
现在将说明第七实施例。
第七实施例的图像处理设备的结构与图1或图13中的结构相同，并且这里省略这些构成要素的说明。为了说明，在第七实施例中例示了图1的结构。
在第七实施例中，追踪单元102在关注人体的追踪位置的估计中选择多个追踪位置候选。在第七实施例中描述如下的方法：通过在关注人体的追踪位置的估计中选择多个追踪位置候选，与第一实施例相比，更有效地抑制追踪位置的偏移。
作为从多个追踪位置候选确定最终检测结果的方法，例示了在PedroFFelzenszwalb,Ross B Girshick,and David McAllester,(2010)“Object detectionwith discriminatively trained part-based models,”TPAMI,Vol.32,No.9中公开的非极大值抑制(NMS)。
在NMS中，如果图像中的多个得分区域中的某个关注区域和具有更高得分的区域之间的交并比(IoU)的值高于或等于预定阈值，则重复进行对关注区域的拒绝。IoU是表示图像的重叠比例的值。IoU由式(5)表示：
IoU＝(区域A∧区域B的面积)/(区域A∨区域B的面积) (5)
可以使用Genshiro Kitagawa(1996)“On Monte Carlo Filter and Smoother”Statistical Mathematics,Vol 44,No.1,pp.31-48中公开的粒子滤波方法，作为从多个追踪位置候选确定最终检测结果的方法。在粒子滤波方法中，从当前状态可能发生的多个后续状态由许多粒子表示。在粒子滤波方法中，基于各粒子的似然性计算所有粒子的加权平均，并且将计算出的加权平均用作后续状态(追踪位置)。
可选地，例如，可以使用计算多个追踪位置候选的平均值以从多个追踪位置候选确定最终检测结果的方法，作为从多个追踪位置候选确定最终检测结果的方法。在这种计算平均值的方法中，计算追踪位置候选的中心坐标、宽度和高度各自的平均值，并且具有计算出的值的参考区域是检测结果。
然而，在上述方法中，如果在人体周围存在与要检测的人体相似的区域，则可能会错误地将该相似的区域检测为追踪位置候选。错误检测到的追踪位置候选会导致最终检测结果中的检测位置的偏移。
图17A至图17C是示出检测追踪对象物体(在该示例中为人体)的一般处理和最终检测结果的示例的图。图17A示出检测和追踪处理之前的帧图像1700的示例。图17B示出检测和追踪处理期间的图像。图17C示出检测和追踪处理之后的图像。图17A中的帧图像1700是包括检测对象物体的帧图像的一部分，并且人体1701和1702是作为检测对象物体的关注人体。参考图17B,虚线边界框表示在确定检测结果之前的多个追踪位置候选1710，并且实线边界框表示被错误地检测到的追踪位置候选1711。在第七实施例中，具有高于或等于预定值的得分的检测结果是追踪位置候选。图17C中的粗实线边界框表示在检测追踪对象物体的一般处理中的最终检测结果1720的示例。
尽管在图17A至17C的示例中最终检测结果应该是围绕正被检测和追踪的人体1701的边界框，但是由于错误地检测到追踪位置候选1711，导致最终检测结果1720朝向右上方偏移。
图18A和图18B是示出第七实施例中的用于抑制追踪位置的偏移的检测追踪对象物体(人体)的处理和最终检测结果的图。图18A示出要检测和追踪的帧图像1800的一部分。图18A中的虚线边界框表示确定检测结果之前的多个追踪位置候选1810。图18B示出检测和追踪处理之后的图像。
现在将描述第七实施例中的确定追踪位置候选的方法。在确定追踪位置候选时顺序地进行第一处理至第四处理。
第一处理：仅留下得分或似然性高于或等于预定值的各检测结果作为追踪位置候选。
第二处理：针对追踪物体(追踪人体)，基于直到前一帧的追踪结果来计算出在关注帧上的移动估计区域。
第三处理：计算第一处理中的追踪位置候选的区域与在第二处理中计算出的各个移动估计区域之间的IoU值。
第四处理：第三处理中的具有超过预定阈值的IoU值的任何追踪位置候选无论其得分或似然性如何都将被删除。
第四处理之后剩下的追踪位置候选是由图18B中的粗实线边界框表示的最终检测结果1820。在第七实施例中，通过基于追踪位置候选的得分的加权平均来创建最终检测结果1820。在第七实施例中，最终检测结果1820是包围正被检测和追踪的人体的边界框。
如上所述，第七实施例的图像处理设备100在追踪对象物体的检测中选择确定检测结果之前的多个追踪位置候选。因此，根据第七实施例，可以更有效地抑制追踪位置的偏移。
上述各实施例中的图像处理设备中的组件或流程图中的处理可以由硬件组件实现，或者可以由软件组件实现。在软件组件的情况下，例如，中央处理单元(CPU)执行根据实施例的程序。可选地，组件或流程图中的处理的一部分可以由硬件组件来实现，并且其一部分可以由软件组件来实现。用于软件组件的程序可以预先准备，可以从诸如外部存储器(未示出)等的记录介质获取，或者可以经由网络(未示出)等获取。
在上述各实施例中的图像处理设备中的组件中，例如，在追踪单元、轨迹分析单元、轨迹平滑化单元和追踪位置校正单元中进行的处理可以是应用人工智能(AI)的处理。例如，可以使用进行了机器学习的学习模型来代替组件。在这种情况下，创建学习模型，在该模型中，准备相对于各个组件的输入数据和输出数据的多种组合作为学习数据，通过机器学习获取知识，并且基于所获取到的知识输出与输入数据相对应的输出数据作为结果。学习模型能够由例如神经网络组成。学习模型作为用以进行与上述组件中的处理相同的处理的程序例如与CPU或图形处理单元(GPU)协同操作，以进行上述组件中的处理。如果需要，例如每当处理一定量的数据时，可以更新学习模型。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考实施例描述了本发明，但是应当理解，本发明不限于所公开的实施例，而是由所附权利要求书的范围来限定。

Claims (12)

1.一种图像处理设备，用于通过在多个图像中的各图像上估计对象物体的位置来追踪所述对象物体，其中，所述图像处理设备包括：
第一估计部件，其被配置为进行第一估计处理以估计所述多个图像至少之一中的所述对象物体的位置；
第二估计部件，其被配置为进行第二估计处理以估计所述多个图像至少之一中的所述对象物体的位置，其中，所述第二估计处理中的所述对象物体的位置的估计精度低于所述第一估计处理中的估计精度；以及
校正部件，其被配置为基于在所述多个图像中的第一图像上通过所述第一估计处理所估计出的所述对象物体的位置，来校正在所述多个图像中的第二图像上通过所述第二估计处理所估计出的所述对象物体的位置，其中，所述第二图像是在与所述第一图像不同的时刻拍摄的图像。
2.根据权利要求1所述的图像处理设备，其中，
所述第一估计部件所进行的所述第一估计处理是用于使用图案匹配来估计图像中所包括的所述对象物体的位置的处理。
3.根据权利要求1或2所述的图像处理设备，其中，
所述第二估计部件所进行的所述第二估计处理是用于通过无需图案匹配的其它方法来估计图像中所包括的所述对象物体的位置的处理。
4.根据权利要求1所述的图像处理设备，其中，
所述第二估计部件所进行的所述第二估计处理是用于使用所述对象物体的颜色信息来估计图像中所包括的所述对象物体的位置的处理。
5.根据权利要求1所述的图像处理设备，其中，
所述第二图像是在所述第一图像之后拍摄的，以及
所述校正部件被配置为基于在所述第一图像上通过所述第一估计处理所估计出的所述对象物体的位置和在第三图像上通过所述第一估计处理所估计出的所述对象物体的位置，来校正在所述第二图像上通过所述第二估计处理所估计出的所述对象物体的位置，其中所述第三图像是在所述第二图像之后拍摄的。
6.根据权利要求1所述的图像处理设备，还包括：
确定部件，其被配置为确定追踪历史的可靠性，其中所述追踪历史是由通过所述第一估计处理或所述第二估计处理针对所述多个图像的各图像中的所述对象物体所估计出的多个位置构成的。
7.根据权利要求6所述的图像处理设备，其中，
所述确定部件被配置为基于构成所述追踪历史的多个位置中由所述第一估计处理所估计出的所述对象物体的位置的数量，来确定所述追踪历史的可靠性。
8.根据权利要求1所述的图像处理设备，其中，
所述校正部件被配置为：判断通过所述第一估计处理或所述第二估计处理进行位置估计所追踪的所述对象物体的移动方向的稳定程度，并且在所述稳定程度高于预定阈值的情况下，对在所获取到的最新帧的图像上通过所述第一估计处理或所述第二估计处理所估计出的所述对象物体的位置进行校正。
9.根据权利要求1所述的图像处理设备，还包括：
输出部件，其被配置为向用户呈现所述对象物体的位置的偏移的发生。
10.根据权利要求9所述的图像处理设备，其中，
所述输出部件被配置为：在显示装置上显示包括所述对象物体的位置的框，并且通过改变包括所述对象物体的位置的框的颜色来向用户呈现所述对象物体的位置的偏移的发生。
11.一种追踪对象物体的方法，该方法是通过在多个图像中的各图像上估计所述对象物体的位置来进行的，其中，所述方法包括：
进行第一估计处理以估计所述多个图像至少之一中的所述对象物体的位置；
进行第二估计处理以估计所述多个图像至少之一中的所述对象物体的位置，其中，所述第二估计处理中的所述对象物体的位置的估计精度低于所述第一估计处理中的估计精度；以及
基于在所述多个图像中的第一图像上通过所述第一估计处理所估计出的所述对象物体的位置，来校正在所述多个图像中的第二图像上通过所述第二估计处理所估计出的所述对象物体的位置，其中，所述第二图像是在与所述第一图像不同的时刻拍摄的图像。
12.一种存储有程序的非暂时性计算机可读存储介质，所述程序在由计算机执行时使所述计算机进行根据权利要求11所述的方法。
CN202010751774.3A 2019-07-30 2020-07-30 图像处理设备、追踪对象物体的方法和存储介质 Pending CN112308879A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019140086A JP7438684B2 (ja) 2019-07-30 2019-07-30 画像処理装置、画像処理方法、及びプログラム
JP2019-140086 2019-07-30

Publications (1)

Publication Number Publication Date
CN112308879A true CN112308879A (zh) 2021-02-02

Family

ID=71661731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010751774.3A Pending CN112308879A (zh) 2019-07-30 2020-07-30 图像处理设备、追踪对象物体的方法和存储介质

Country Status (4)

Country Link
US (1) US11386576B2 (zh)
EP (1) EP3772037A1 (zh)
JP (1) JP7438684B2 (zh)
CN (1) CN112308879A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114662521A (zh) * 2021-11-16 2022-06-24 成都考拉悠然科技有限公司 一种行人徘徊行为检测方法及其系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2022159694A (ja) * 2021-04-05 2022-10-18 日立Astemo株式会社 物体追跡装置
US20240185435A1 (en) * 2021-04-09 2024-06-06 Iris Technology Inc. Tracking Objects Across Images
JP2024066194A (ja) * 2022-11-01 2024-05-15 パナソニックオートモーティブシステムズ株式会社 制御装置および制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090059007A1 (en) * 2007-09-05 2009-03-05 Sony Corporation Apparatus and method of object tracking
JP2015194901A (ja) * 2014-03-31 2015-11-05 セコム株式会社 追跡装置および追尾システム
CN105593877A (zh) * 2013-10-04 2016-05-18 高通股份有限公司 基于动态地构建的环境地图数据进行物体追踪
CN108140241A (zh) * 2015-10-08 2018-06-08 索尼公司 信息处理装置、信息处理方法和信息处理系统
JP2018163096A (ja) * 2017-03-27 2018-10-18 沖電気工業株式会社 情報処理方法および情報処理装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
JP4548933B2 (ja) * 2000-11-24 2010-09-22 パナソニック株式会社 画像認識装置、画像認識方法およびそのプログラムを格納した記録媒体。
JP4467838B2 (ja) 2001-06-15 2010-05-26 パナソニック株式会社 画像認識装置および画像認識方法
JP4328259B2 (ja) * 2004-04-21 2009-09-09 日本電信電話株式会社 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP2006318350A (ja) * 2005-05-16 2006-11-24 Sony Corp 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
JP4498296B2 (ja) 2006-03-23 2010-07-07 三洋電機株式会社 物体検出装置
JP5048609B2 (ja) * 2008-08-01 2012-10-17 株式会社豊田中央研究所 対象物追跡装置及びプログラム
JP5219795B2 (ja) * 2008-12-26 2013-06-26 キヤノン株式会社 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
WO2014133559A1 (en) * 2013-02-27 2014-09-04 Blendagram, Inc. System for and method of augmenting video and images
JP2014241505A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 撮影装置および撮影方法、テンプレート生成装置およびテンプレート生成方法、並びにプログラム
JP6184877B2 (ja) * 2014-01-09 2017-08-23 クラリオン株式会社 車両用外界認識装置
JP6408259B2 (ja) * 2014-06-09 2018-10-17 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6649864B2 (ja) * 2015-10-23 2020-02-19 株式会社モルフォ 画像処理装置、電子機器、画像処理方法及びプログラム
JP6962753B2 (ja) * 2017-09-12 2021-11-05 トヨタホーム株式会社 建物ユニット及びユニット式建物
KR102068800B1 (ko) * 2019-08-09 2020-01-22 국방과학연구소 원격구동 카메라 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090059007A1 (en) * 2007-09-05 2009-03-05 Sony Corporation Apparatus and method of object tracking
CN105593877A (zh) * 2013-10-04 2016-05-18 高通股份有限公司 基于动态地构建的环境地图数据进行物体追踪
JP2015194901A (ja) * 2014-03-31 2015-11-05 セコム株式会社 追跡装置および追尾システム
CN108140241A (zh) * 2015-10-08 2018-06-08 索尼公司 信息处理装置、信息处理方法和信息处理系统
JP2018163096A (ja) * 2017-03-27 2018-10-18 沖電気工業株式会社 情報処理方法および情報処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENCHAO HUANG ET AL: "Real-Time Multi-Modal People Detection and Tracking of Mobile Robots with A RGB-D Sensor", 2019 IEEE 4TH INTERNATIONAL CONFERENCE ON ADVANCED ROBOTICS AND MECHATRONICS (ICARM), pages 325 - 330 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114662521A (zh) * 2021-11-16 2022-06-24 成都考拉悠然科技有限公司 一种行人徘徊行为检测方法及其系统

Also Published As

Publication number Publication date
US11386576B2 (en) 2022-07-12
EP3772037A1 (en) 2021-02-03
JP2021022315A (ja) 2021-02-18
US20210035327A1 (en) 2021-02-04
JP7438684B2 (ja) 2024-02-27

Similar Documents

Publication Publication Date Title
US12067173B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
CN105938622B (zh) 检测运动图像中的物体的方法和装置
CN112308879A (zh) 图像处理设备、追踪对象物体的方法和存储介质
US11037325B2 (en) Information processing apparatus and method of controlling the same
CN104123529B (zh) 人手检测方法及系统
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
CN106603968B (zh) 信息处理装置及信息处理方法
US20210383102A1 (en) Gesture shaking recognition method and apparatus, and gesture recognition method
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
KR102434397B1 (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
Ma et al. Depth assisted occlusion handling in video object tracking
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
CN101567088B (zh) 一种运动物体检测的方法和装置
Nigam et al. EgoTracker: Pedestrian tracking with re-identification in egocentric videos
Ben Shitrit et al. Tracking multiple players using a single camera
JP2012226403A (ja) 画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラム
Meshgi et al. Enhancing Probabilistic Appearance-Based Object Tracking with Depth Information: Object Tracking under Occlusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination