CN107545581B - 目标追踪方法与目标追踪装置 - Google Patents

Abstract

本发明公开了一种目标追踪方法，用以在连续的多个帧画面中追踪一目标物件，包括下列步骤：读取多个帧画面其中之一。根据第一初始追踪框来执行迭代演算法，以于所读取的帧画面中，撷取对应目标物件的第一结果追踪框。根据第一结果追踪框外的第一参考区域，来判断目标物件是否被遮蔽。当判定目标物件为未被遮蔽时，则将第一结果追踪框设定为下一帧画面的第一初始追踪框。当判定目标物件为被遮蔽时，则根据第一结果追踪框的周围区域来设定下一帧画面的第一初始追踪框。本发明还公开了一种目标追踪装置。

Description

目标追踪方法与目标追踪装置

技术领域

本发明关于一种目标追踪方法与目标追踪装置，特别是一种利用参考区域的目标追踪方法与目标追踪装置。

背景技术

在通过现有的Camshift演算法(Continue Adaptive Mean Shift Algorithm)来执行物件追踪时，其一般过程会先建立物件的彩色直方图，再得到在所欲追踪物件的帧画面的反向投影图，接着寻找物件的质心位置，并对每一个画面执行相同的步骤，藉以达成物件追踪。

然而上述Camshift演算法的追踪框通常会锁定在人脸部位，并依据人脸肤色的特性来追踪，一但在肤色受到干扰的情况下，追踪的精准率将会降低。如此之外，若追踪框因某些因素而脱离了欲追踪的人脸，将导致后续一连串的错误追踪结果。

举例来说，当原本所欲追踪的人脸被另一个人脸完全遮蔽时，由于人脸的肤色相近，所以Camshift演算法会追踪到另一个人。即使后来原本所欲追踪的人脸再度出现于画面中，由于Camshift演算法的追踪框已锁定至另一个人脸，追踪框已无法再回到原本所欲追踪的人脸上，导致了错误的追踪结果。

发明内容

有鉴于此，本发明提供一种目标追踪方法与目标追踪装置，用以解决上述问题。

本发明提供一种目标追踪方法，用以在连续的多个帧画面中追踪一目标物件，包括：读取多个帧画面其中之一。根据一第一初始追踪框来执行一迭代演算法，以于所读取的帧画面中，撷取对应目标物件的一第一结果追踪框。根据第一结果追踪框外的一第一参考区域，来判断目标物件是否被遮蔽。当判定目标物件为未被遮蔽时，则将第一结果追踪框设定为下一帧画面的第一初始追踪框。以及当判定目标物件为被遮蔽时，则根据第一结果追踪框的周围区域来设定下一帧画面的第一初始追踪框。

于一实施例中，其中于根据第一结果追踪框外的第一参考区域，来判断目标物件是否被遮蔽的步骤，包括：从所读取的帧画面的第一结果追踪框外的第一参考区域撷取一第一参考特征。根据一比对演算法，来判断第一参考特征是否符合一预设参考特征。当第一参考特征符合预设参考特征时，则判定目标物件为未被遮蔽。以及当第一参考特征不符合预设参考特征时，则判定目标物件为被遮蔽。

于另一实施例中，其中于多个帧画面中最初始被读取的帧画面中的第一参考特征被设定为预设参考特征。

于另一实施例中，比对演算法为一相关性系数(Correlation)演算法、卡方(Chi-square)演算法、交点(Intersection)演算法以及巴氏距离(Bhattacharyya distance)演算法其中之一。

于另一实施例中，第一结果追踪框的周围区域中设定有多个第二初始追踪框，而于当判断目标物件为被遮蔽时，则根据第一结果追踪框的周围区域来设定下一帧画面的第一初始追踪框的步骤，包括：依序根据多个第二初始追踪框来执行迭代演算法，以于所读取的帧画面，撷取对应多个第二初始追踪框其中之一的一第二结果追踪框。判断所撷取的第二结果追踪框所对应的一信心指标是否不小于一临界值。当判断第二结果追踪框所对应的信心指标不小于临界值时，则根据第二结果追踪框外的一第二参考区域来判断第二结果追踪框是否对应目标物件。当第二结果追踪框对应目标物件时，则将第二结果追踪框设定为下一帧画面的第一初始追踪框。以及当判断第二结果追踪框所对应的信心指标小于一临界值时，则重复上述步骤。

于另一实施例中，信心指标为第二结果追踪框的多个像素值中关联于目标物件的一比例。

于另一实施例中，第二参考区域与第二结果追踪框之间具有一固定相对位置关系。

于另一实施例中，其中于当判断第二结果追踪框所对应的信心指标不小于临界值时，则根据第二结果追踪框外的第二参考区域来判断第二结果追踪框是否对应目标物件的步骤，包括：从第二结果追踪框外的第二参考区域撷取一第二参考特征。根据比对演算法，来判断第二参考特征是否符合预设参考特征。当第二参考特征符合预设参考特征时，则判定第二结果追踪框对应目标物件。以及当第二参考特征不符合预设参考特征时，则判定第二结果追踪框不对应目标物件。

于另一实施例中，目标物件为一人脸。

于另一实施例中，第一参考区域与第一初始追踪框之间具有一固定相对位置关系。

本发明提供一种目标追踪装置，用以在连续的多个帧画面中追踪一目标物件，包括：一读取单元、一迭代处理单元以及一判断单元。迭代处理单元耦接读取单元。判断单元耦接读取单元与迭代处理单元。读取单元用以读取多个帧画面其中之一。迭代处理单元用以根据一第一初始追踪框来执行一迭代演算法，以于所读取的帧画面，撷取对应目标物件的一第一结果追踪框。判断单元用以根据第一结果追踪框外的一第一参考区域，来判断目标物件是否被遮蔽。其中，当判断单元判定目标物件为未被遮蔽时，则迭代处理单元将第一结果追踪框设定为下一帧画面的第一初始追踪框，以及当判断单元判定目标物件为被遮蔽时，则迭代处理单元根据第一结果追踪框的周围区域来设定下一帧画面的第一初始追踪框。

如上所述，本发明可根据第一初始追踪框外的第一参考区域的来判断目标物件是否被遮蔽。当判定目标物件未被遮蔽时，则将当前帧画面的第一结果追踪框设定为下一帧画面的第一初始追踪框，藉此持续追踪人脸。当判定目标物件为被遮蔽时，则根据第一结果追踪框的周围区域中的多个第二初始追踪框，来逐一搜寻。藉此，判断曾被遮蔽的人脸是否又重新出现在第一结果追踪框的周围区域中。其中在周围区域中的追踪过程里，亦可进一步根据第二结果追踪框外的第二参考区域，来判断再度所搜寻到人脸是否为原本所欲追踪的人脸。如此一来，通过追踪框以及参考区域的双重比对，可大幅提升追踪目标物件的精准率，避免在目标物件被遮蔽的情况下，或者是在肤色受到干扰的情况下，进而导致后续一连串的错误追踪结果。

以上的关于本发明内容的说明及以下的实施方式的说明用以示范与解释本发明的精神与原理，并且提供本发明的专利申请权利要求保护范围更进一步的解释。

附图说明

图1为根据本发明一实施例的目标追踪装置的方块图。

图2A～2E为根据本发明一实施例的追踪目标物件的示意图。

图3为根据本发明一实施例的目标追踪方法的流程图。

其中，附图标记：

100 目标追踪装置

110 读取单元

120 迭代处理单元

130 判断单元

1、2 人物

10 第一结果追踪框

20a～20h 第二初始追踪框

21f 第二结果追踪框

30 第一参考区域

40 第二参考区域

S310～S350 目标追踪方法的步骤310～350

S351～S358 目标追踪方法的步骤351～358

具体实施方式

以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域的技术人员了解本发明的技术内容并据以实施，且根据本说明书所公开的内容、权利要求保护范围及附图，任何本领域的技术人员可轻易地理解本发明相关的目的及优点。以下的实施例进一步详细说明本发明的观点，但非以任何观点限制本发明的范畴。

图1为根据本发明一实施例的目标追踪装置100的方块图。

如图1所示，目标追踪装置100包括读取单元110、迭代处理单元120以及判断单元130。迭代处理单元120耦接读取单元110，判断单元130耦接读取单元110以及迭代处理单元120。读取单元110、迭代处理单元120以及判断单元130可藉由各种晶片或者是处理器来实现，在此不加以限制。

图2A～2E为根据本发明一实施例的追踪目标物件的示意图。图3为根据本发明一实施例的目标追踪方法的流程图。目标追踪方法包括步骤S310～S350。下列请同时参照图1、图2A～2E以及图3。

目标追踪装置100用以在连续的多个帧画面中追踪目标物件。当目标追踪方法开始之后，于步骤S310中，读取单元110读取多个帧画面其中之一。

于步骤S320中，迭代处理单元120根据第一初始追踪框来执行迭代演算法，以于所读取的该帧画面，撷取对应目标物件的第一结果追踪框。在本发明实施例中，目标物件可为一人脸。此外，所述的迭代演算法可以是Camshift演算法(Continue Adaptive Mean ShiftAlgorithm)。最一开始的第一初始追踪框(未绘示于图中)可以是使用者自行通过目标追踪装置100来设定，也可以藉由其他的方式来指定，在此不加以限制。如图2A所示，经由迭代演算法之后，可得到对应人物1的人脸的第一结果追踪框10。

于步骤330中，判断单元130根据第一结果追踪框外的第一参考区域，来判断目标物件是否被遮蔽。在本发明实施例中，第一参考区域与第一结果追踪框之间可具有一固定相对位置关系。举例来说，第一参考区域可位于第一结果追踪框下方且相距1/2个追踪框的长度，且第一参考区域的大小相同于第一结果追踪框。如图2A所示，第一结果追踪框10对应人物1的人脸，则第一参考区域30可对应人物1的上衣胸前的部位。通常来说，一般人之间所穿着的衣物颜色(或图案)的差异，可能相较于肤色的差异来的更大。因此，用衣物的颜色当作参考，来辅助所欲追踪的人脸，可以大大的增加追踪结果的准确度。然而第一参考区域的位置与第一参考区域的大小并不限于上述的例子，本领域的技术人员依据本发明各实施例与本发明的权利要求当能适当的设定。

在本发明实施例中，判断单元130可从所读取的帧画面的第一结果追踪框外的第一参考区域撷取第一参考特征。其中，最初始被撷取的第一参考特征被设定为预设参考特征。举例来说，预设参考特征可以是第一次经由执行迭代演算法之后，得到的第一结果追踪框10所对应的第一参考区域30的第一参考特征。

也就是说，预设参考特征可代表所欲追踪的人脸所对应的衣服颜色。此外，所述第一参考特征可以是第一参考区域于HSV色彩空间中的色相(Hue)与饱和度(Saturation)的直方图(Histogram)。

藉此，判断单元130可根据一比对演算法，来判断第一参考特征是否符合预设参考特征。当第一参考特征符合预设参考特征时，则判定目标物件为未被遮蔽。当第一参考特征不符合预设参考特征时，则判定目标物件为被遮蔽。换句话说，不符合预设参考特征的第一参考特征可能对应至另一人物的衣物颜色。

在本发明实施例中，所述比对演算法可以是相关性系数(Correlation)演算法、卡方(Chi-square)演算法、交点(Intersection)演算法以及巴氏距离(Bhattacharyyadistance)演算法其中之一。在此不赘述有关上述比对演算法所对应的方程式。

在本发明实施例中，可通过上述比较演算法计算出一差异参考值。藉此，可进一步与一差异临界值比较。当差异参考值小于差异临界值时，则可代表第一参考特征符合预设参考特征。

于步骤340中，当判断单元130判定目标物件为未被遮蔽时，则迭代处理单元120将第一结果追踪框设定为下一帧画面的第一初始追踪框。接着，可再回到步骤S310来对下一帧画面追踪物件。如图2A所示，当人物1未被遮蔽时，则于对应的几个帧画面中，其第一参考区域30中的衣物颜色则不会有太大的变化(符合预设参考特征)，此也代表第一初始追踪框10仍锁定在正确人物的人脸上。

于步骤350中，当判断单元130判定目标物件为被遮蔽时，则迭代处理单元120可根据第一结果追踪框的周围区域来设定下一帧画面的第一初始追踪框。有关周围区域与第一结果追踪框之间的相对位置，可通过经验法则来设定，再此不加以限制。如图2B～2C所示，由于此时人物1遭到人物2的遮蔽，因此于对应的这些帧画面中，第一参考区域30中的衣物颜色已产生了较大的变化(不符合预设参考特征)。然而人物1被遮蔽可能仅仅是暂时的过程，换句话说，人物1的脸部有可能于后续帧画面中重新出现在人物2的脸部的邻近四周，因此可通过第一结果追踪框的周围区域来取得下一帧画面的第一初始追踪框。下列将详述相关的细节。其中步骤S350包括下述步骤S351～S358。

在步骤S351中，判断单元130设定第一结果追踪框的周围区域中多个第二初始追踪框数量为N，设定初始的i为1。如图2C所示的第1个第二初始追踪框20a到第8个第二初始追踪框20h，其中N为8。

在步骤S352中，判断单元130判断i是否小于等于N。藉此，可判断是否已根据所有的第二初始追踪框20a～20h来执行人物1的追踪。

在步骤S353中，判断单元130撷取第i个第二初始追踪框。藉此，判断单元130可依序根据多个第二初始追踪框20a～20h，来逐一执行迭代演算法，以于所读取的帧画面，撷取对应多个第二初始追踪框20a～20h其中之一的第二结果追踪框。如图2C所示，最一开始，判断单元130可以先根据第1个第二初始追踪框20a来获得对应的第二结果追踪框(图中未示出)。

在步骤S354中，判断单元130可判断所撷取的第二结果追踪框所对应的信心指标是否不小于临界值。在本发明实施例中，所述信心指标为可以是第二结果追踪框的多个像素值中关联于目标物件的一比例。举例来说，当得到对应的第二结果追踪框时，可以进一步计算其中肤色占整个第二结果追踪框的百分比是否不小于一预设比例值(临界值)，藉以判断所得到的第二结果追踪框是否有锁定至人脸。如图2C～2E所示，经逐一计算之后，通过第6个第二初始追踪框20f所获得的第二结果追踪框21f的肤色比例不小于预设比例值(临界值)。

当判断第二结果追踪框所对应的信心指标小于临界值时，代表第二结果追踪框并未锁定任何目标物件(人脸)，则可接着执行步骤S358。举例来说，经逐一尝试可以得知，第1个第二初始追踪框20a～第5个第二初始追踪框20e所分别对应的第二结果追踪框(未绘示于图中)的信心指标，其皆小于上述临界值，因此可判定未锁定至人脸。

在步骤S355～S356中，当判断单元130判断第二结果追踪框所对应的信心指标不小于临界值时，则可根据第二结果追踪框外的一第二参考区域来判断第二结果追踪框是否对应目标物件。在本发明实施例中，第二参考区域与第二结果追踪框之间可具有一固定相对位置关系。举例来说，第二参考区域可位于第二结果追踪框下方且相距1/2个追踪框的长度，且第二参考区域的大小可相同于第二结果追踪框。其中，在步骤S355中，判断单元130可从第二结果追踪框外的第二参考区域撷取第二参考特征。在步骤S356中，判断单元130可根据比对演算法，来判断第二参考特征是否符合预设参考特征。如图2E所示，当判定第二结果追踪框21f不小于信心指标，则可进一步比对第二参考区域40的第二参考特征是否符合预设参考特征。

如上所述，第二参考特征可以是第二参考区域于HSV色彩空间中的色相(Hue)与饱和度(Saturation)的直方图(Histogram)。所述比对演算法可以是相关性系数(Correlation)演算法、卡方(Chi-square)演算法、交点(Intersection)演算法以及巴氏距离(Bhattacharyya distance)演算法其中之一。其过程雷同于上述的第一参考特征与预设参考特征之间的比对，于此不再赘述。

在步骤S357中，当第二参考特征符合预设参考特征时，则判断单元130可判定第二结果追踪框对应目标物件。因此，迭代处理单元120可将第二结果追踪框设定为下一帧画面的第一初始追踪框。如图2E所示，第二参考区域40的第二参考特征确实符合预设参考特征，则代表原本所欲追踪的人物1的人脸经遮蔽之后，又重新出现在此时的帧画面中，且第二结果追踪框21f确实锁定至人物1的人脸。因此，在下一帧画面中，可以从上述所重新锁定的位置(第二结果追踪框21f)来继续追踪人物1的人脸。

当第二参考特征不符合预设参考特征时，则可判定第二结果追踪框不对应目标物件，并接着执行步骤S358。

在步骤S358中，判断单元130设定i为i+1，并再回到步骤S352，来撷取下一个第二初始追踪框，以尝试于其他周遭位置来搜寻被遮蔽的目标物件。

综上所述，本发明可根据第一初始追踪框外的第一参考区域的来判断目标物件是否被遮蔽。当判定目标物件未被遮蔽时，则将当前帧画面的第一结果追踪框设定为下一帧画面的第一初始追踪框，藉此持续追踪人脸。当判定目标物件为被遮蔽时，则根据第一结果追踪框的周围区域中的多个第二初始追踪框，来逐一搜寻。藉此，判断曾被遮蔽的人脸是否又重新出现在第一结果追踪框的周围区域中。其中在周围区域中的追踪过程里，也可进一步根据第二结果追踪框外的第二参考区域，来判断再度所搜寻到人脸是否为原本所欲追踪的人脸。如此一来，通过追踪框以及参考区域的双重比对，可大幅提升追踪目标物件的精准率，避免在目标物件被遮蔽的情况下，或者是在肤色受到干扰的情况下，进而导致后续一连串的错误追踪结果。

以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域的技术人员了解本发明的技术内容并据以实施，且根据本说明书所公开的内容、权利要求保护范围及附图，任何本领域技术人员可轻易地理解本发明相关的目的及优点。以下的实施例进一步详细说明本发明的观点，但非以任何观点限制本发明的范畴。

Claims (11)

1.一种目标追踪方法，其特征在于，该目标追踪方法用以在连续的多个帧画面中追踪一目标物件，包括：

读取该些帧画面其中之一；

根据一第一初始追踪框来执行一迭代演算法，以于所读取的该帧画面中，撷取对应该目标物件的一第一结果追踪框；

根据该第一结果追踪框外的一第一参考区域，来判断该目标物件是否被遮蔽；

当判定该目标物件为未被遮蔽时，则将该第一结果追踪框设定为下一帧画面的该第一初始追踪框；以及

当判定该目标物件为被遮蔽时，则根据该第一结果追踪框的周围区域来设定该下一帧画面的该第一初始追踪框，

其中于根据该第一结果追踪框外的该第一参考区域，来判断该目标物件是否被遮蔽的步骤，包括：

从所读取的该帧画面的该第一结果追踪框外的该第一参考区域撷取一第一参考特征；

根据一比对演算法，来判断该第一参考特征是否符合一预设参考特征，其中最初始被撷取的该第一参考特征被设定为该预设参考特征；

当该第一参考特征符合该预设参考特征时，则判定该目标物件为未被遮蔽；以及

当该第一参考特征不符合该预设参考特征时，则判定该目标物件为被遮蔽。

2.如权利要求1所述的目标追踪方法，其特征在于，该比对演算法为一相关性系数演算法、卡方演算法、交点演算法以及巴氏距离演算法其中之一。

3.如权利要求1所述的目标追踪方法，其特征在于，该第一结果追踪框的该周围区域中设定有多个第二初始追踪框，而于当判断该目标物件为被遮蔽时，则根据该第一结果追踪框的该周围区域来设定该下一帧画面的该第一初始追踪框的步骤，包括：

依序根据该些第二初始追踪框来执行该迭代演算法，以于所读取的该帧画面，撷取对应该些第二初始追踪框其中之一的一第二结果追踪框；

判断所撷取的该第二结果追踪框所对应的一信心指标是否不小于一临界值；

当判断该第二结果追踪框所对应的该信心指标不小于该临界值时，则根据该第二结果追踪框外的一第二参考区域来判断该第二结果追踪框是否对应该目标物件；

当该第二结果追踪框对应该目标物件时，则将该第二结果追踪框设定为该下一帧画面的该第一初始追踪框；以及

当判断该第二结果追踪框所对应的该信心指标小于一临界值时，则重复上述步骤。

4.如权利要求3所述的目标追踪方法，其特征在于，该信心指标为该第二结果追踪框的多个像素值中关联于该目标物件的一比例。

5.如权利要求3所述的目标追踪方法，其特征在于，该第二参考区域与该第二结果追踪框之间具有一固定相对位置关系。

6.如权利要求3所述的目标追踪方法，其特征在于，于当判断该第二结果追踪框所对应的该信心指标不小于该临界值时，则根据该第二结果追踪框外的该第二参考区域来判断该第二结果追踪框是否对应该目标物件的步骤，包括：

从该第二结果追踪框外的该第二参考区域撷取一第二参考特征；

根据该比对演算法，来判断该第二参考特征是否符合该预设参考特征；

当该第二参考特征符合该预设参考特征时，则判定该第二结果追踪框对应该目标物件；以及

当该第二参考特征不符合该预设参考特征时，则判定该第二结果追踪框不对应该目标物件。

7.如权利要求1所述的目标追踪方法，其特征在于，该目标物件为一人脸。

8.如权利要求1所述的目标追踪方法，其特征在于，该第一参考区域与该第一结果追踪框之间具有一固定相对位置关系。

9.一种目标追踪装置，其特征在于，该目标追踪装置用以在连续的多个帧画面中追踪一目标物件，包括：

一读取单元，用以读取该些帧画面其中之一；

一迭代处理单元，耦接该读取单元，用以根据一第一初始追踪框来执行一迭代演算法，以于所读取的该帧画面，撷取对应该目标物件的一第一结果追踪框；

一判断单元，耦接该读取单元与该迭代处理单元，用以根据该第一结果追踪框外的一第一参考区域，来判断该目标物件是否被遮蔽；

其中，当该判断单元判定该目标物件为未被遮蔽时，则该迭代处理单元将该第一结果追踪框设定为下一帧画面的该第一初始追踪框，以及当该判断单元判定该目标物件为被遮蔽时，则该迭代处理单元根据该第一结果追踪框的周围区域来设定该下一帧画面的该第一初始追踪框，

其中该判断单元更进一步从所读取的该帧画面的该第一结果追踪框外的该第一参考区域撷取一第一参考特征，根据一比对演算法，判断该第一参考特征是否符合一预设参考特征，其中最初始被撷取的该第一参考特征被设定为该预设参考特征，当该第一参考特征符合该预设参考特征时，则判定该目标物件为未被遮蔽，以及当该第一参考特征不符合该预设参考特征时，则判定该目标物件为被遮蔽。

10.如权利要求9所述的目标追踪装置，其特征在于，该比对演算法为一相关性系数演算法、卡方演算法、交点演算法以及巴氏距离演算法其中之一。

11.如权利要求9所述的目标追踪装置，其特征在于，该判断单元更进一步于该第一结果追踪框的该周围区域中设定有多个第二初始追踪框，且依序根据该些第二初始追踪框来执行该迭代演算法，以于所读取的该帧画面，撷取对应该些第二初始追踪框其中之一的一第二结果追踪框，判断所撷取的该第二结果追踪框所对应的一信心指标是否不小于一临界值，当判断该第二结果追踪框所对应的该信心指标不小于该临界值时，则根据该第二结果追踪框外的一第二参考区域来判断该第二结果追踪框是否对应该目标物件，当该第二结果追踪框对应该目标物件时，则将该第二结果追踪框设定为该下一帧画面的该第一初始追踪框，以及当判断该第二结果追踪框所对应的该信心指标小于一临界值时，则重复上述步骤。

Images