CN116897369A - 图像处理装置以及图像处理方法 - Google Patents

Abstract

图像处理装置具备：追踪对象设定部，在动态图像的第一帧中设定追踪对象；第一特征追踪部，根据在第一帧中设定了的追踪对象的第一特征，在第二帧中追踪追踪对象；第二特征追踪部，根据在第一帧中设定了的追踪对象的第二特征，在第二帧中追踪追踪对象；追踪管理部，以规定的混合率将基于第一特征追踪部的追踪结果和基于第二特征追踪部的追踪结果进行混合；以及输出部，基于跟踪管理部混合的混合结果，输出第二帧中的追踪对象的检测位置。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及图像处理装置以及图像处理方法。

背景技术

在基于相机的拍摄图像的动线分析中，要求高精度地追踪(跟踪)摄像对象。专利文献1公开了基于从第一帧中的跟踪对象的两个特征量得到的可靠度来检测第二帧的跟踪对象的技术。

现有技术文献

专利文献

专利文献1：日本特开2012-203613号公报

发明内容

发明要解决的课题

通过鱼眼相机拍摄到的人体等对象物的观察方法根据相对于相机的相对位置而不同。因此，特征量的变化有时即使是同一拍摄对象，也存在根据相对于相机的相对位置而不同的情况。

本发明在一侧面上其目的在于提供利用鱼眼相机所拍摄的拍摄图像来提高对追踪对象的追随性的技术。

用于解决课题的手段

为了实现上述目的，本发明采用以下的构成。

本公开的第一方面涉及的图像处理装置具备：追踪对象设定部，在动态图像的第一帧中设定追踪对象；第一特征追踪部，根据在第一帧中设定了的追踪对象的第一特征，在第二帧中追踪追踪对象；第二特征追踪部，根据在第一帧中设定了的追踪对象的第二特征，在第二帧中追踪追踪对象；追踪管理部，以规定的混合率将基于第一特征追踪部的追踪结果和基于第二特征追踪部的追踪结果进行混合；以及输出部，基于跟踪管理部混合的混合结果，输出第二帧中的追踪对象的检测位置。

图像处理装置通过以基于追踪对象的摄像范围内的位置的规定的混合率来混合追踪对象的第一特征及第二特征的追踪结果，从而跟踪追踪对象。通过基于多个特征进行追踪，从而图像处理装置能够提高对追踪对象的追随性。

基于第一特征追踪部的追踪结果也可以是表示基于第一特征而求出的、在第二帧中追踪对象存在的位置的似然度的似然图，基于第二特征追踪部的追踪结果是表示基于第二特征而求出的、在第二帧中追踪对象存在的位置的似然度的似然图，输出部输出在混合结果的似然图中似然度最高的位置作为第二帧中的追踪对象的检测位置。图像处理装置能够根据混合结果的层级区分图容易地取得追踪对象的检测位置。

规定的混合率也可以基于第一帧的摄像范围内的追踪对象的位置而被设定。由于追踪对象的第一特征及第二特征有时根据摄像范围内的位置而无法稳定地取得，因此通过提高关于能够稳定地取得的特征的混合率，从而图像处理装置能够提高对追踪对象的追随性。

规定的混合率也可以基于追踪对象相对于第一帧的拍摄面的朝向而被设定。通过提高关于追踪对象的第一特征及第二特征能够稳定地取得的特征的混合率，图像处理装置能够提高对追踪对象的追随性。

图像处理装置也可以还具备从第一帧检测追踪对象的检测部。图像处理装置能够将检测部检测出的对象物设定为追踪对象。另外，图像处理装置在追踪对象的追踪失败的情况下，能够重新检测对象物，并设定追踪对象。

追踪对象设定部也可以取得从第一帧的摄像范围的中心位置到追踪对象的距离，跟踪管理部基于距离来设定规定的混合率。图像处理装置能够设定基于从摄像范围的中心至追踪对象的距离的适当的混合率。

第一特征也可以是颜色特征，第二特征也可以是形状特征。图像处理装置通过混合基于在摄像范围的外周附近能够稳定地取得的颜色特征和在摄像范围的中心附近能够稳定地取得的形状特征的追踪结果，从而能够提高对追踪对象的追随性。

追踪管理部也可以设定规定的混合率，以使从第一帧的摄像范围的中心位置至追踪对象的距离越大，颜色特征的混合率越大。由于距摄像范围的中心位置的距离越大，颜色特征越稳定地取得，因此通过提高颜色特征的混合率，从而图像处理装置能够提高对追踪对象的追随性。

第一特征追踪部也可以在第二帧中求出与第一帧中的追踪对象的颜色的色距，基于色距，生成表示在第二帧中追踪对象存在的位置的似然度的似然图，第二特征追踪部在第二帧中求出与关于在第一帧中使追踪对象的位置偏移的图像的形状的差分，根据差分，生成表示在第二帧中追踪对象存在的位置的似然度的似然图。图像处理装置通过生成第一特征及第二特征的似然度图，能够容易地混合追踪结果。

第二特征追踪部也可以使用KCF(Kernelized Correlation Filter)，生成表示在第二帧中追踪对象存在的位置的似然度的层级区分图。图像处理装置通过使用KCF，从而能够高精度地制作形状特征的层级区分图。

输出部以第二帧中的追踪对象的位置为中心，输出与在第一帧中包围追踪对象的框相同大小的检测框。图像处理装置能够不取得在第二帧中检测出的追踪对象的大小而简易地输出检测框。

本发明的第二方面涉及的图像处理方法使计算机执行：追踪对象设定步骤，在动态图像的第一帧中设定追踪对象；第一特征追踪步骤，根据在第一帧中设定了的追踪对象的第一特征，在第二帧中追踪追踪对象；第二特征追踪步骤，根据在第一帧中设定了的追踪对象的第二特征，在第二帧中追踪追踪对象；追踪管理步骤，以规定的混合率将第一特征追踪步骤中的追踪结果和第二特征追踪步骤中的追踪结果进行混合；以及输出步骤，基于在跟踪管理步骤中混合的混合结果，输出第二帧中的追踪对象的检测位置。

本发明也能够理解为用于通过计算机实现该方法的程序、非临时性地记录了该程序的记录介质。此外，上述手段及处理各自能够尽可能相互组合而构成本发明。

发明效果

根据本发明，能够利用鱼眼相机的拍摄图像提高对追踪对象的追随性。

附图说明

图1是对实施方式涉及的图像处理装置的应用例进行说明的图。

图2是例示图像处理装置的硬件结构的图。

图3是例示图像处理装置的功能结构的图。

图4是例示跟踪处理的流程图。

图5是对追踪对象的设定进行说明的图。

图6是对基于颜色特征的跟踪进行说明的图。

图7是表示基于颜色特征的跟踪的具体例的图。

图8是对颜色特征的层级区分图(heat map)的生成进行说明的图。

图9是对基于形状特征的跟踪进行说明的图。

图10是表示基于形状特征的跟踪的具体例的图。

图11是对形状特征的层级区分图的生成进行说明的图。

图12是对混合率进行说明的计算的图。

图13是对特征的混合进行说明的图。

具体实施方式

以下，基于附图说明本发明的一侧面的实施方式。

<适用例>

图1是说明实施方式涉及的图像处理装置的应用例的图。图像处理装置在从拍摄图像跟踪人体等的情况下，例如能够基于颜色特征或者形状特征来跟踪追踪对象。

但是，由鱼眼相机拍摄到的追踪对象的观察方法根据相对于相机的相对位置而不同。例如，在通过设置于天花板的鱼眼相机进行拍摄的情况下，存在于包含摄像范围的中心位置的内周部分的追踪对象在从天花板侧观察到的状态下被拍摄。另外，在从横侧(侧面方向)观察的状态下拍摄存在于摄像范围的外周部分的追踪对象。

例如，在作为追踪对象的人体存在于摄像范围的外周部分的情况下，与存在于内周部分的情况相比，能够看到衣服的颜色的面积大，因此颜色特征稳定。另一方面，在人体存在于摄像范围的内周部分的情况下，与存在于外周部分的情况相比，能够看到衣服的颜色的面积更窄，因此颜色特征变得不稳定。

另外，在作为追踪对象的人体存在于摄像范围的外周部分的情况下，与存在于内周部分的情况相比，能够看到手脚的面积更大，因此形状特征变得不稳定。另一方面，在人体存在于摄像范围的内周部分的情况下，与存在于外周部分的情况相比，能够看到手脚的面积更小，因此形状特征稳定。

图像处理装置通过使用稳定的特征进行跟踪，能够提高跟踪精度。也就是说，在摄像范围的外周部分，使用与颜色特征相关的算法进行跟踪，在摄像范围的内周部分，使用与形状特征相关的算法进行跟踪，由此提高对追踪对象的追随性。

因此，图像处理装置基于追踪对象相对于相机的相对位置来变更跟踪算法。具体而言，根据追踪对象相对于相机的相对位置，按照规定的比例组合(混合)基于多个特征的追踪结果，由此追踪追踪对象。

图像处理装置通过以与追踪对象相对于相机的相对位置对应的比例组合基于多个特征的跟踪算法，从而能够高精度地跟踪追踪对象。本发明涉及的图像处理装置例如能够应用于动线分析用的图像传感器。

<实施方式>

(硬件构成)

参照图2，对图像处理装置1的硬件结构的一例进行说明。图2是例示图像处理装置1的硬件构成的图。图像处理装置1具备处理器101、主存储装置102、辅助存储装置103、通信接口(I/F)104、输出装置105。处理器101通过将辅助存储装置103中存储的程序读出到主存储装置102并执行，从而实现作为在图3中说明的各功能结构的功能。通信接口104是用于进行有线或无线通信的接口。输出装置105例如是用于进行显示器等的输出的装置。

图像处理装置1可以是个人计算机、服务器计算机、平板终端、智能手机这样的通用计算机，也可以是如主板计算机那样装入型的计算机。图像处理装置1例如可以通过多台计算机装置的分布式计算来实现，也可以通过云服务器来实现各功能部的一部分。此外，图像处理装置1的各功能部的一部分也可以通过FPGA或ASIC等专用的硬件装置来实现。

图像处理装置1通过有线(USB线缆、LAN线缆等)或无线(WiFi等)连接到相机2，接收由相机2拍摄到的图像数据。相机2是具有包括透镜的光学系统及摄像元件(CCD、CMOS等图像传感器)的摄像装置。

另外，图像处理装置1也可以与相机2一体地构成。另外，对拍摄图像进行的对象物的检测及追踪处理等图像处理装置1的处理的一部分也可以由相机2执行。此外，基于图像处理装置1的对象物的追踪结果也可以发送到外部的装置而提示给用户。

(功能构成)

图3是例示图像处理装置1的功能结构的图。图像处理装置1包括图像取得部11、处理部12以及输出部13。处理部12包括检测部121、追踪对象设定部122、第一特征追踪部123、第二特征追踪部124以及追踪管理部125。

图像取得部11将从相机2取得的动态图像数据发送到处理部12。处理部12的检测部121根据从图像取得部11接收到的帧图像来检测作为追踪对象的人体等。检测部121例如能够通过背景差分法或帧间差分法检测对象物。

追踪对象设定部122将检测部121检测到的对象物设定为追踪对象。追踪对象设定部122学习追踪对象的特征，基于学习到的内容在下一帧以后跟踪追踪对象。追踪对象设定部122学习例如追踪对象的颜色特征和形状特征等特征。

追踪对象设定部122取得追踪对象与帧图像的中心位置之间的距离。追踪对象与帧图像的中心位置之间的距离能够计算为追踪对象的中心坐标与帧图像的中心坐标之间的距离。所取得的距离用于混合颜色特征和形状特征时的规定的混合率的设定。

第一特征追踪部123从设定了追踪对象的帧(也称为第一帧)之后的帧(也称为第二帧)，根据追踪对象设定部122学习的第一特征例如颜色特征，对追踪对象进行追踪。第一特征追踪部123通过在第二帧中求出与第一帧的追踪对象的色距，从而生成颜色特征的层级区分图(似然图)作为追踪结果。色距是表示两种颜色间的相似度的指标，例如是RGB等颜色空间中的距离。

第二特征追踪部124根据追踪对象设定部122从设定了追踪对象的第一帧之后的第二帧学习到的第二特征、例如形状特征，对追踪对象进行追踪。第二特征追踪部124例如使在第一帧中设定的追踪对象相对于第二帧偏移并重叠，求出关于形状的差分，由此生成形状特征的层级区分图(似然图)作为追踪结果。

追踪管理部125根据追踪对象设定部122取得的追踪对象与帧图像的中心位置之间的距离，设定将关于第一特征的追踪结果和关于第二特征的追踪结果混合的规定的混合率。规定的混合率例如基于从帧图像的中心位置到追踪对象的距离而被设定。

例如，被设定为从帧图像的中心位置至追踪对象的距离越远，颜色特征(第一特征)的混合率越大，形状特征(第二特征)的混合率越小。另外，被设定为从帧图像的中心位置到追踪对象的距离越近，颜色特征的混合率越小，形状特征的混合率设定得越大。

追踪管理部125以设定的混合率，混合关于第一特征的追踪结果和关于第二特征的追踪结果。关于第一特征以及第二特征的跟踪结果表示与关于各个特征的与追踪对象的差分。追踪管理部125以根据追踪对象的位置而设定的混合率，混合第一特征和第二特征的追踪结果。由此，追踪管理部125能够根据追踪对象的位置，取得基于各个特征的跟踪结果被适当地反映而得的跟踪结果。

输出部13将根据通过追踪管理部125混合后的追踪结果中的、差分最少的位置的坐标作为第二帧中的追踪对象的检测结果输出。在存在多个差分最少的坐标的情况下，输出部13也可以将包括这些坐标的区域的中心坐标作为追踪对象的检测结果输出。

(跟踪处理)

参照图4说明跟踪处理的整体流程。图4是例示跟踪处理的流程图。跟踪处理例如通过用户对图像处理装置1指示跟踪而开始。在图4所示的例子中，对动态图像的每个帧执行循环处理L1。

在S101中，处理部12从图像取得部11取得帧图像。在S102中，处理部12判定跟踪标记是否是开启(ON)。跟踪标记在追踪对象已设定的情况下被设定为开启(ON)，在未设定追踪对象的情况下被设定为关闭(OFF)。跟踪标志的设定值能够记录于主存储装置102或辅助存储装置103。在跟踪标记为开启(ON)时(S102：是)，处理进入S107。在跟踪标记为关闭(OFF)时(S102：否)，处理进入S103。

在S103中，检测部121从帧图像检测人体。检测部121例如能够通过提取帧图像与预先准备的背景图像之间发生了变化的区域的背景差分法、提取帧间发生了变化的区域的帧间差分法，从而检测人体。

另外，在图4所示的处理中，设为追踪对象是人体来进行说明，但不限于此，只要是成为追踪对象的动物体即可。追踪对象的动物体优选为如颜色特征及形状特征那样被提取的特征的稳定性根据相对于相机的相对位置而不同的动物体。

在S104中，检测部121判定在S103中是否检测到人体。在检测到人体的情况下(S104：是)，处理进入S105。在未检测到人体的情况下(S104：否)，处理返回到S101，开始针对后续动态图像帧的跟踪处理。

在S105中，追踪对象设定部122将由S104检测出的人体设定为追踪对象。在S104中检测到多个人体的情况下，追踪对象设定部122也可以将多个人体设定为追踪对象，分别进行追踪。追踪对象设定部122取得(学习)追踪对象的颜色特征和形状特征。

在此，参照图5说明追踪对象的设定。第一帧是检测人体并设定追踪对象501的开始帧。第二帧是开始帧的下一帧以后的帧。跟踪是基于在第一帧中设定的追踪对象501的特征来取得追踪对象501位于第二帧的哪个位置的处理。

在图4的S106中，追踪对象设定部122将跟踪标志设为开启(ON)。跟踪标志的值记录于主存储装置102等，即使处理进入到下一帧，也不会被初始化而保持。处理返回到S101，开始针对下一动态图像帧的跟踪处理。在S102中，跟踪标记被设定为开启(ON)，因此，处理进入S107。

在S107中，第一特征追踪部123取得基于帧图像的颜色特征的追踪结果。在此，参照图6至图8，对基于追踪对象的颜色特征的追踪进行说明。图6是对基于颜色特征的跟踪进行说明的图。第一帧包括由S105设定的追踪对象601。在跟踪例A中，对象物602颜色与追踪对象601类似。在跟踪例B中，对象物603与追踪对象601颜色不同。

在基于颜色特征的跟踪中，将颜色更接近追踪对象的对象物判定为跟踪结果。在图6的例子中，在帧图像内存在对象物602以及对象物603的情况下，跟踪结果判断为颜色更近的对象物602。

图7是表示基于颜色特征的跟踪的具体例的图。追踪对象设定部122在第一帧中设定追踪对象701。第一特征追踪部123学习(训练)包括追踪对象701的区域作为学习区域，在第二帧中追踪与追踪对象701类似的颜色的区域。由于对象物702颜色与对象物703相比类似于追踪对象701，因此判定为跟踪结果。

图8是对颜色特征的层级区分图的生成进行说明的图。追踪对象设定部122在第一帧中设定追踪对象801。第一特征追踪部123学习追踪对象801。第一特征追踪部123追踪第二帧，求出学习后的追踪对象801的颜色与第二帧的颜色的差距。色距例如能够将追踪对象801所包含的像素的颜色的平均值与第二帧的各像素的颜色进行比较而求出。

第一特征追踪部123根据由第二帧的各像素求出的色距，生成颜色特征的层级区分图。图8所示的层级区分图802是将第一特征追踪部123所生成的层级区分图图像化而示意性地表示的图。在颜色特征的层级区分图802中被设定为色距越小，则似然度越高。在基于颜色特征的追踪中，将第二帧中的追踪对象801的跟踪位置能够在层级区分图802中判定为似然性最高的区域的中心坐标803。中心坐标803也称为层级区分图802的峰值位置803。

在人体检测中，衣服的颜色与形状特征相比个体差较大。因此，颜色特征能够使用比形状特征更简单的算法进行追踪。此外，图8示出基于色距制作层级区分图802的例子，但不限于此。第一特征追踪部123例如也可以基于与追踪对象801的颜色的直方图的类似性来制作层级区分图802。

在图4的S108中，第二特征追踪部124取得基于帧图像的形状特征的追踪结果。在此，参照图9至图11，对基于追踪对象的形状特征的追踪进行说明。图9是对基于形状特征的跟踪进行说明的图。第一帧包含在S105中被设定的追踪对象901。在跟踪例A中，对象物902的形状与追踪对象901类似。在跟踪例B中，对象物903的形状与追踪对象901不同。

在基于形状特征的跟踪中，将形状更接近追踪对象的对象物判定为跟踪结果。在图9的例子中，在帧图像内存在对象物902及对象物903的情况下，跟踪结果判断为形状更近的对象物902。

图10是表示基于形状特征的跟踪的具体例的图。追踪对象设定部122在第一帧中设定追踪对象1001。第二特征追踪部124将包括追踪对象1001的区域作为学习区域，在第二帧中追踪与追踪对象类似的形状的区域。由于对象物1002与对象物1003相比形状类似于追踪对象1001，因此判定为跟踪结果。

图11是对形状特征的层级区分图的生成进行说明的图。追踪对象设定部122以第一帧1110设定追踪对象1101。帧1111和帧1112是在第一帧1110中使追踪对象1101在X轴正方向移动1像素和2像素而得到的帧。

第二特征追踪部124将第一帧1110、帧1111、帧1112与第二帧1120重叠。帧1130、帧1131、帧1132是将第一帧1110、帧1111、帧1112分别与第二帧1120重叠的帧。

在帧1130中，第二特征追踪部124基于未移动的追踪对象1101与第二帧1120的差分，将类似相同形状的似然度分配给未移动的追踪对象1101的位置(例如，中心坐标)。第二特征追踪部124例如将与追踪对象1101相同位置的第二帧的区域输入到通过机械学习来学习追踪对象1101的识别器，从而能够取得类似相同的形状的似然度。

同样地，在帧1131中，第二特征追踪部124根据沿X轴正方向移动了一个像素的追踪对象1101与第二帧1120之差分，将类似相同形状的似然度分配给移动1像素后的追踪对象1101的位置。另外，在帧1132中，第二特征追踪部124根据在X轴正方向移动了2像素的追踪对象1101与第二帧1120的差分，将类似相同形状的似然度分配给2像素移动后的追踪对象1101的位置。

这样，通过在第二帧内移动追踪对象1101来取得差分，第二特征跟踪部124能够生成形状特征的层级区分图。如图11所示的层级区分图1140是将第二特征追踪部124生成的层级区分图图像化而示意性地表示的图。在形状特征的层级区分图1140中，被设定为差分越小(类似相同形状的似然度越大)，则似然度越高。

另外，在图11中，虽然示出了使追踪对象1101在X轴正方向移动1像素以及2像素来取得差分的例子，但第二特征追踪部124使追踪对象1101移动到第二帧内的各像素来取得差分即可。第二特征追踪部124通过在第二帧整体的各像素取得差分，能够生成层级区分图1140。

另外，在追踪对象1101的移动范围被有限的情况下，第二特征追踪部124例如也可以使追踪对象1101沿X轴方向在-10～+10的范围、Y轴方向在-10～+10的范围内移动而取得差分。第二特征追踪部124在未使追踪对象1101移动的区域(像素)中，能够设定差分的最大值而生成层级区分图1140。

在基于形状特征的追踪中，能够将第二帧中的追踪对象1101的跟踪位置判定为在层级区分图1140中似然性最高的区域的中心坐标1141。中心坐标1141也称为层级区分图1140的峰值位置1141。

在图11的例子中，使用简单化的算法对基于形状特征的追踪进行了说明，但第二特征追踪部124能够使用被称作KCF(Kernelized Correlation Filter)的滤波器来进行基于形状特征的追踪。KCF对图像进行傅里叶变换，在频谱空间中计算，所以能够削减计算量。此外，KCF由于不使用差分而是使用回归式来计算，因此是能够提高鲁棒性的方法。

此外，形状特征的追踪也可以使用如下方法：不使用频谱空间而使用卷积运算提取特征，在特征量空间进行比较。该方法与使用KCF的情况相比，存在计算量增加的可能性，但能够实现比KCF高的追随性。

在图4的S109中，追踪管理部125计算在S107中取得的颜色特征的追踪结果以及在S108中取得的形状特征的追踪结果的混合率。在此，参照图12，对混合率的计算进行说明。

基于从帧图像的中心坐标1201到设定为追踪对象的人体的距离来计算混合率。例如，混合形状特征的混合率能够由以下的式1算出。形状特征的混合率是0.0～1.0的范围内的值。

形状特征的混合率＝1.0-(到追踪对象的距离/d1)×α…(式1)

式1中，d1为从帧图像的中心坐标1201到帧边界的最大距离。在图12的例子中，到追踪对象的距离在存在于帧图像的外周附近的追踪对象1202的情况下为d2，在存在于帧图像的中心附近的追踪对象1203的情况下为d3。

α是与追踪对象的特征对应的加权的系数，例如能够设为0.7。系数α在工厂中的作业等手脚的运动给形状特征的追踪精度带来影响的情况下，也可以设定得比0.7低。另外，在制服的颜色为红色等特征性的颜色那样的情况下，能够将相对于颜色特征的混合率的系数α设定为比0.7高。这样，系数α也可以根据追踪对象的具体特征而变更。

颜色特征的混合率可以通过下式2算出。形状特征的混合率使用通过式1算出的值。

颜色特征的混合率＝1.0-形状特征的混合率…(式2)

另外，形状特征以及颜色特征的混合率的计算方法不限于使用式1以及式2的情况。式1只要是从帧图像的中心坐标1201到追踪对象的距离越大，形状特征的混合率越低的关系即可，不限于一次式，既可以是二次式以上，也可以是非线性。另外，也可以先算出颜色特征的混合率，与式2同样地，形状特征的混合率作为1.0和颜色特征的混合率的差分而算出。在该情况下，求出颜色特征的混合率的式成为到追踪对象的距离越大则颜色特征的混合率越高这样的关系式。

在S110中，追踪管理部125基于由S109计算出的混合率，将关于第一特征的追踪结果和关于第二特征的追踪结果混合。在此，参照图13，对特征的混合进行说明。

图13表示将颜色特征的层级区分图802和形状特征的层级区分图1140混合，作为混合结果生成混合特征的层级区分图1301的例子。追踪管理部125将颜色特征的层级区分图802以及形状特征的层级区分图1140的对应的各像素通过以下的式3混合，生成混合特征的层级区分图1301。

混合特征＝颜色特征×颜色特征的混合率+形状特征×形状特征的混合率…(式3)

图13示出颜色特征的混合率为0.2、形状特征的混合率为0.8的例子。在混合特征的层级区分图1301中，形状特征的层级区分图1140的峰值位置1140的值大于颜色特征的层级区分图802的峰值位置803，因此峰值位置1140被判定为追踪结果1302。追踪结果1302被设为混合特征的层级区分图1301的峰值位置1302。

此外，图13虽然示出混合第一特征的层级区分图与第二特征的层级区分图的例子，但不限于此。追踪管理部125也可以将在各层级区分图的峰值位置之间以混合率按比例分配后的位置作为追踪对象的检测位置等其他方法来混合第一特征以及第二特征的追踪结果。

在图4的S111中，追踪管理部125判定是否在作为混合结果的混合特征的层级区分图1301中检测到了追踪对象。在图13的例子中，追踪管理部125能够判定为峰值位置1302被检测为追踪对象的位置。另外，追踪管理部125在由混合特征的层级区分图1301未检测到峰值位置的情况下，例如，在层级区分图1301中不存在大于或等于规定的阈值的位置的情况下，能够判定为未检测到追踪对象。

在从混合结果检测到追踪对象的情况下(S111：是)，处理进入S112。在从混合结果未检测到追踪对象的情况下(S111：否)，处理进入S113。

在S112中，输出部13输出跟踪结果。输出部13使检测框重叠显示于由S111检测到的追踪对象的位置。检测框的大小例如能够设为在S105中设定的追踪对象的大小。如果输出跟踪结果，则处理返回到S101，开始针对下一个动态图像帧的跟踪处理。

在S112中，追踪管理部125将跟踪标记设为关闭(OFF)。处理返回S103，通过S103至S106的处理来设定新的追踪对象。另外，图4的处理表示在追踪对象的追踪失败的情况下，新设定追踪对象的例子，但设定追踪对象的定时不限于此。例如，追踪对象设定部122也可以每个规定数的帧或每个规定时间进行人体检测并重新设定追踪对象。

(作用效果)

在上述实施方式中，图像处理装置1基于追踪对象相对于相机的相对位置，设定基于颜色特征的追踪结果和基于形状特征的追踪结果的混合率。具体而言，在远离图像的中心位置的外周附近，由于衣服的颜色等颜色特征稳定，因此颜色特征的混合率设定为比形状特征的混合率高。另一方面，在图像的中心位置的附近，难以看到手脚，形状特征稳定，因此，形状特征的混合比例被设定为比颜色特征的混合比例高。

这样，通过根据摄像范围内的位置变更追踪对象的多个特征的混合率，图像处理装置1能够高精度地跟踪追踪对象。具体而言，在利用鱼眼相机的拍摄图像进行动态线分析的情况下，在远离摄像范围的中心位置的外周部分，将颜色特征的混合率设定得更高，因此，对追踪对象的追随性提高。

<其他>

另外，上述实施方式只不过是例示说明本发明的结构例。本发明不限于上述的具体实施方式，能够在其技术思想的范围内进行各种变形。

例如，在上述实施方式中，说明了相机2为鱼眼相机的情况，但不限于鱼眼相机。相机2只要是能够根据追踪对象的位置而以从上方观察的状态或者从横向观察追踪对象的状态进行拍摄的摄像装置即可。另外，相机2不限于设置于天花板的情况，只要设置于能够俯视地拍摄追踪对象的场所即可。

另外，在上述实施方式中，图像处理装置1根据从摄像范围的中心位置到追踪对象的距离来设定混合率，但并不限于此。图像处理装置1也可以根据到由相机2测量出的到追踪对象的距离、或者人体的头顶部与脚尖的距离等来推定追踪对象的位置，并设定混合率。

另外，图像处理装置1不限于追踪对象的位置，在如人体躺卧的情况那样因追踪对象的姿势的变化等而外观不同的情况下，也可以基于追踪对象相对于拍摄图像的拍摄面的朝向来设定混合率。追踪对象相对于拍摄面的朝向例如能够根据追踪对象的形状以及大小等来进行推定。

此外，图像处理装置1也可以根据与预先准备的背景图像的差异来设定混合率。在追踪对象的颜色特征相对于背景图像显著的情况下，也可以以使颜色特征优先的方式设定混合率。例如，在追踪用黑底穿着了黑短衣的人体的情况下，颜色的特征不显著地表现，但在追踪用黑底红色的衣服、蓝色的衣服的情况下，颜色的特征显著地表现，因此与预先准备的背景区域进行比较，在相对于背景具有显著的颜色特征(红色的衣服、蓝色的衣服)的情况下，设定混合率，以使颜色特征优先。

<附记1>

(1)一种图像处理装置，具备：

追踪对象设定部(122)，在动态图像的第一帧中设定追踪对象；

第一特征追踪部(123)，根据在所述第一帧中设定了的所述追踪对象的第一特征，在第二帧中追踪所述追踪对象；

第二特征追踪部(124)，根据在所述第一帧中设定了的所述追踪对象的第二特征，在第二帧中追踪所述追踪对象；

追踪管理部(125)，以规定的混合率将基于所述第一特征追踪部的追踪结果和基于所述第二特征追踪部的追踪结果进行混合；以及

输出部(13)，基于所述跟踪管理部混合的混合结果，输出所述第二帧中的所述追踪对象的检测位置。

<附记2>

一种图像处理方法，包括：

使计算机执行：

追踪对象设定步骤(S105)，在动态图像的第一帧中设定追踪对象；

第一特征追踪步骤(S107)，根据在所述第一帧中设定了的所述追踪对象的第一特征，在第二帧中追踪所述追踪对象；

第二特征追踪步骤(S108)，根据在所述第一帧中设定了的所述追踪对象的第二特征，在第二帧中追踪所述追踪对象；

追踪管理步骤(S109、S110)，以规定的混合率将所述第一特征追踪步骤中的追踪结果和所述第二特征追踪步骤中的追踪结果进行混合；以及

输出步骤(S112)，基于在所述跟踪管理步骤中混合的混合结果，输出所述第二帧中的所述追踪对象的检测位置。

附图标记的说明

1：图像处理装置；2：相机；11：图像取得部；12：处理部；121：检测部；122：追踪对象设定部；123：第一特征追踪部；124：第二特征追踪部；125：追踪管理部；13：输出部。

Claims (13)

1.一种图像处理装置，具备：

追踪对象设定部，在动态图像的第一帧中设定追踪对象；

第一特征追踪部，根据在所述第一帧中设定了的所述追踪对象的第一特征，在第二帧中追踪所述追踪对象；

第二特征追踪部，根据在所述第一帧中设定了的所述追踪对象的第二特征，在第二帧中追踪所述追踪对象；

追踪管理部，以规定的混合率将基于所述第一特征追踪部的追踪结果和基于所述第二特征追踪部的追踪结果进行混合；以及

输出部，基于所述跟踪管理部混合的混合结果，输出所述第二帧中的所述追踪对象的检测位置。

2.根据权利要求1所述的图像处理装置，其中，

基于所述第一特征追踪部的追踪结果是表示基于所述第一特征而求出的、在所述第二帧中所述追踪对象存在的位置的似然度的似然图，

基于所述第二特征追踪部的追踪结果是表示基于所述第二特征而求出的、在所述第二帧中所述追踪对象存在的位置的似然度的似然图，

所述输出部输出在所述混合结果的似然图中似然度最高的位置作为所述第二帧中的所述追踪对象的检测位置。

3.根据权利要求1或2所述的图像处理装置，其中，

所述规定的混合率基于所述第一帧的摄像范围内的所述追踪对象的位置而被设定。

4.根据权利要求1或2所述的图像处理装置，其中，

所述规定的混合率基于所述追踪对象相对于所述第一帧的拍摄面的朝向而被设定。

5.根据权利要求1～4中任一项所述的图像处理装置，其中，

还具备检测部，该检测部从所述第一帧检测所述追踪对象。

6.根据权利要求1～5中任一项所述的图像处理装置，其中，

所述追踪对象设定部取得从所述第一帧的摄像范围的中心位置到所述追踪对象的距离，

所述跟踪管理部基于所述距离来设定所述规定的混合率。

7.根据权利要求1～6中任一项所述的图像处理装置，其中，

所述第一特征是颜色特征，所述第二特征是形状特征。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述跟踪管理部设定所述规定的混合率，以使从所述第一帧的摄像范围的中心位置到所述追踪对象的距离越大，所述颜色特征的混合率越大。

9.根据权利要求7或8所述的图像处理装置，其中，

所述第一特征追踪部在所述第二帧中求出与所述第一帧中的所述追踪对象的颜色的色距，基于所述色距，生成表示在所述第二帧中所述追踪对象存在的位置的似然度的似然图，

所述第二特征追踪部在所述第二帧中求出与关于在所述第一帧中使所述追踪对象的位置偏移的图像的形状的差分，根据所述差分，生成表示在所述第二帧中所述追踪对象存在的位置的似然度的似然图。

10.根据权利要求9所述的图像处理装置，其中，

所述第二特征追踪部使用KCF(Kernelized Correlation Filter)，生成表示在所述第二帧中所述追踪对象存在的位置的似然度的似然图。

11.根据权利要求1～10中任一项所述的图像处理装置，其中，

所述输出部以所述第二帧中的所述追踪对象的位置为中心，输出与在所述第一帧中包围所述追踪对象的框相同大小的检测框。

12.一种图像处理方法，包括：

使计算机执行：

追踪对象设定步骤，在动态图像的第一帧中设定追踪对象；

第一特征追踪步骤，根据在所述第一帧中设定了的所述追踪对象的第一特征，在第二帧中追踪所述追踪对象；

第二特征追踪步骤，根据在所述第一帧中设定了的所述追踪对象的第二特征，在第二帧中追踪所述追踪对象；

追踪管理步骤，以规定的混合率将所述第一特征追踪步骤中的追踪结果和所述第二特征追踪步骤中的追踪结果进行混合；以及

输出步骤，基于在所述跟踪管理步骤中混合的混合结果，输出所述第二帧中的所述追踪对象的检测位置。

13.一种程序，用于使计算机执行权利要求12所述的方法的各步骤。