CN102467742B - 对象追踪方法 - Google Patents

Abstract

本发明公开一种对象追踪方法，其包括有于第一帧画面中，取得第一焦框内各像素的多个第一分类，第一焦框内包含有欲追踪的对象并具有第一矩形框于一第二帧画面中，根据第一矩形框进行定位程序，以取得第二矩形框，并于第二矩形框周围各像素依序取得颜色特征，根据颜色特征建立多个第二分类。将所建立的第二分类依序与对应的第一分类比较，以取得相似程度值，再将相似程度值与预定的阀值进行比较，渐进式调整第二矩形框，以建立第二焦框。因此，通过分析对象的像素的颜色特征，并结合分类的方式，达到检测对象的形状与大小，进而更新焦框的信息的功效。

Description

对象追踪方法

技术领域

本发明关于一种对象追踪方法，特别是指一种应用于数字相机，可快速地动态调整数字相机对焦框的大小的对象追踪方法。 

背景技术

综观目前市面上具有物体追踪功能的数字相机中，除了人脸辨识外，大多都是以一固定大小的对焦框进行追踪，对焦框的大小并不会随着物体变化而有所改变，故无法有效的去显示物体大小变化的状态，举例来说，当物体远离镜头时，物体大小会变小，而固定大小焦框中便会夹杂许多不是待追踪物体的图像，降低了对焦框的精细度。 

虽然，目前人脸辨识于数字相机的应用上，对焦框的大小会随着人脸大小来进行变化，不过此类通过机器学习将已知的人脸特征记录起来，再进行对焦的动作仅适用于人脸追踪与辨识上，并无法将人脸辨识的技术应用在追踪任何物体。 

另外，对于一动态物体在移动过程中，如果没有特别方法去检测物体大小的变化，只是通过单纯固定对焦框去追踪，极为容易因物体大小或形状改变而追踪失败。 

因此，如何通过一种方法或手段更有效的建立对焦框，让数字相机或其它图像撷取装置于连续画面中，除了能有效对任何物体进行追踪及定位，并且根据物体形状大小来更新对焦框的信息，此乃相关研发制造厂商努力的目标。 

发明内容

为了精进对象追踪的技术，让数字相机或其它图像撷取装置能够更快速有效的进行对象的追踪与定位，本发明以颜色分析的技术，通过分析对象所涵盖的像素的权重值，并结合进行区域性的分类的方法，来检测对象的形状与大小，进而根据对象的形状和大小更新对焦框的信息。 

根据本发明所公开的一种对象追踪方法，首先，于一第一帧画面中，进行一分类程序，以取得一第一焦框内各像素的多个第一分类，其中，该第一焦框内包含有欲追踪的对象并具有一第一矩形框。接着，于一第二帧画面中，根据该第一矩形框进行一定位程序，以取得一第二矩形框，并于该第二矩形框周围各像素依序取得一颜色特征，并根据该些颜色特征建立多个第二分类。将所建立的第二分类依序与对应的该第一分类比较两者的相似程度，以取得一相似程度值，再将该些相似程度值与一预定的阀值(threshold)进行比较。 

当该些相似程度高于该阀值时，渐进式调整该第二矩形框至该些第二分类所涵盖的像素范围。当相似程度低于该阀值时，停止调整该第二矩形框，以建立一第二焦框。 

综上所述，本发明通过颜色检测的方式，先是利用一焦框内像素的颜色特征，于连续画面中进行定位来追踪对象的位移程度，并且以对象所涵盖的像素的权重值，进行区域性的分类来检测对象的形状与大小，进而更新焦框的信息，如此一来，以动态方式调整焦框的大小，可有助于后续进行对焦的作业。 

因此，不同于过往以固定焦框来进行对象的追踪，此类昔知的固定焦框追踪方式容易因为对象大小或形状改变而失败，本发明利用部分经分类的权重值信息来进行对象检测与追踪，以快速地改变焦框的大小来达到更稳定的对象追踪功效。 

有关本发明的特征、实作与功效，现配合附图作最佳实施例详细说明如下。 

附图说明

图1A为本发明对象追踪方法的步骤S30的示意图； 

图1B为本发明对象追踪方法的步骤S31的示意图； 

图1C为本发明对象追踪方法的步骤S32～S35的示意图； 

图1D为本发明对象追踪方法的步骤S36的示意图； 

图1E为图1A中第一焦框内各像素权重值的示意图； 

图2A为应用本发明的一实施例的示意图； 

图2B为图2A中对象于缩小时，应用本发明的第二焦框呈现的示意图； 

图2C为图2A中对象于放大时，应用本发明的第二焦框呈现的示意图； 

图2D为图2A中对象于旋转时，应用本发明的第二焦框呈现的示意图； 

图3A为本发明的对象追踪方法的流程图； 

图3B为本发明的分类程序的流程图； 

图3C为本发明的定位程序的流程图； 

图3D为本发明的另一定位程序的流程图。 

其中，附图标记： 

10 第一焦框 

10A 第一矩形框 

10B，10C 第二矩形框 

11，12，12A 第二焦框 

50，51 对象 

具体实施方式

请参考及图3A所示，图3A为本发明的对象追踪方法的流程图，本发明可应用于一种图像撷取装置(例如：数字相机或摄像机等)，其对象追踪方法包括； 

步骤S30：于一第一帧画面中，进行一分类程序，以取得一第一焦框内各像素的多个第一分类，其中，该第一焦框内具有一第一矩形框； 

步骤S31：于一第二帧画面中，根据该第一矩形框进行一定位程序，以取得一第二矩形框； 

步骤S32：依序取得该第二矩形框周围各像素的一颜色特征，并根据该些颜色特征建立多个第二分类； 

步骤S33：依序计算该些第二分类与对应的该第一分类的相似程度，以分别取得一相似程度值； 

步骤S34：依序比较该相似程度值与一预定的阀值(threshold)； 

步骤S35：当该些相似程度高于该阀值时，渐进调整该第二矩形框至该些第二分类所涵盖的像素范围；以及 

步骤S36：当相似程度低于该阀值时，停止调整该第二矩形框，以建立一第二焦框。 

其中，请配合参考图3B所示，图3B为本发明的分类程序的流程图。 

本发明的分类程序包括： 

步骤S301：取得该第一焦框内各该像素的该颜色特征； 

步骤S302：根据该些颜色特征分别对应计算该些第一权重值；以及 

步骤S303：将该些第一权重值由大而小建立该些第一分类。 

其中，请配合参考图3C所示，图3C为本发明的定位程序的流程图。定位程序包括： 

步骤S311：根据该第一矩形框所涵盖的该像素范围，于该第二帧画面中，查找与该第一矩形框具有近似权重值的一位置；以及 

步骤S312：设定该位置为该第二矩形框。 

上述的像素权重值与查找近似权重值的方法，可通过于一色彩空间内进行一色彩分布描述子(Color Layout Descriptor)描述图像中色彩的空间配置与建构色彩直方图(Color Historgram)的方式来取得，此乃具有本领域的技术人员公知的技术，故在此不加以累述。 

其中，根据步骤S33所述，本发明于建立第二分类后，会依序计算该些第二分类与对应的该第一分类的相似程度，以分别取得一相似程度值。此相似程度值的计算可通过以权重值的特征向量(feature vector)之间的欧基里德距离(Euclidean distance)来量测，所得到的数值越小，即代表两张图像的相似度越高，不过此乃本领域的技术人员公知的技术，于此不加以累述。 

其中，根据步骤S34所述依序比较该相似程度值与一预定的阀值，该阀值指对象追踪能够容许相似程度的数值，举例来说，如果相似度最高定义为“10”，最低定义为“0”，阀值设定为“5”，亦即当相似程度值结果为“5”以上的像素范围才能算是可以被接受为“相似”，是第二焦框的范围，其余的部份则会排除在外。 

请参考图1A至图1E所示，图1A至图1D以图解的方式，搭配一实施例来说明本发明追踪对象方法于实施时的示意图，图1A为本发明对象追踪方法的步骤S30的示意图，图1B为本发明对象追踪方法的步骤S31的示意图，图1C为本发明对象追踪方法的步骤S32～S35的示意图，图1D为本发明对象追踪方法的步骤S36的示意图，图1E为图1A中第一焦框内各像素权重值的示意图。 

于本实施例中，当一数字相机欲对一动态对象进行拍摄时，本发明会先对镜头所撷取的画面进行一初始设定，来设定出一第一焦框10，以确定第一焦框10所框住的图像为欲追踪的对象50(图1A)。此第一焦框10的设定可通过预设一预定区域，由使用者来调整数字相机的镜头与对象的位置，使用者通过观察数字相机的预览画面，将对象50于镜头的图像调整至该预定区域内，再通过按一下快门或其它致能(enable)的方式，以完成第一焦框10的设定。 

另外，随着触控技术的成熟，第一焦框10的设定亦可通过于数字相机的预览画面上，直接以使用者手动触控的方式，框选出第一焦框10的大小。 

请参考图1A、图1E及图3B所示，于本实施例中，欲拍摄的对象50为一不规则形状的对象，第一焦框10内具有24个像素，各像素分别经过分类程序分别具有以下以群组方式表现的权重值： 

{1,1,1,1,0.9,0.9,0.9,0.8,0.8,0.8,0.7,0.7,0.7,0.7,0.6,0.6,0.6,0.6,0.5,0.4,0.4,0.4,0.3,0.3} 

接着，根据步骤S301至S303所述的分类程序，第一分类的数目可依据使用者的需求来进行调整，于本实施例中，第一分类的数目为3组，各第一分类的名称分别定义为第一分类A、第一分类B及第一分类C，第一分类A具有第一权重值{1,1,1,1}，第一分类B具有第一权重值{0.9,0.9,0.9,0.8,0.8,0.8,0.7,0.7,0.7,0.7}，第一分类C具有第一权重值{0.6,0.6,0.6,0.6,0.5,0.4,0.4,0.4,0.3,0.3}。 

然而，于第一焦框10内对象50的颜色分布来说，由于第一分类A具有最大的第一权重值，第一分类A所涵盖的像素具有最明显的颜色特征，因此，将第一分类A所涵盖的像素范围定义为第一矩形框10A，对于动态对象的追踪来说具有较佳的效果。 

当第一矩形框10A设定完成后，请参考图1C及图3C所示，根据步骤S311及S312所述，于第二帧画面中进行设定第二矩形框10B，当第二矩形框10B设定完成后，即表示本发明已成功动态检测对象50的位移的状况，接着，依据第二矩形框10B的位置(步骤32)，依序对第二矩形框10B周围各像素取得一颜色特征，并依照上述分类程序的方式，将各像素的颜色特征计算其权重值，并对应进行多个分类，第二矩形框10B所分类的权重值，于此定义为第二分类。 

接着，在执行完步骤S32之后，步骤S33及S35会将第二分类与对应的第一分类的权重值进行相似程度的比较，通过计算相似程度值以及将所计算的相似程度值与阀值进行比较，当相似程度值高于阀值时，便会放大第二矩形框10B，并且反复执行步骤S32至S35直到相似程度值低于阀值，此时的第二矩形框10B大小即为第二帧画面中，配合对象大小的第二焦框11(如图1D所示)。 

值得注意的是，本发明的对象追踪方法可适用追踪各种不同形状和大小的对象，特别对于不规则形状的对象来说，本发明无须通过边缘检测(edge detection)方法，而是以颜色检测及权重概念的方式，自动检测欲追踪对象的形状，其复杂度及运算需求皆远低于边缘检测方法。 

请参考图2A至图2D及图3C所示，本说明书另公开三种不同实施样态，图2A有别于上述实施例在于图式中的对象为一个具有规则的等腰三角形，图2B为图2A中对象于缩小时，应用本发明的第二焦框呈现的示意图，图2C为图2A中对象于放大时，应用本发明的第二焦框呈现的示意图，图2D为图2A中对象于旋转时(改变角度)，应用本发明的第二焦框呈现的示意图。 

然而，为达成图2B及图2C的第二焦框于对象发生缩小或放大时，其技术手段与方法与上述的步骤皆为相同，故此不加以累述。不过，对于图2D来说，如果直接使用上述的步骤S311及S312，第二焦框12的对焦范围将会容置过多对象51以外的图像像素，使得第二焦框12的精细度降低，因此，上述的步骤S31的定位程序需要进行改良，以适用角度发生改变的对象。 

请参考图3D所示，图3D为定位程序另一实施例的流程图。改良的定位程序包括： 

步骤S313：根据该第一矩形框所涵盖的该像素范围，于该第二帧画面中定位出与该第一矩形框具有近似权重值的一位置； 

步骤S314：设定该位置为该第二矩形框，并取得该第二矩形框内各像素的多个权重值； 

步骤S315：根据该第一矩形框与该第二矩形框的该些权重值的一向量关系，计算一夹角：以及 

步骤S316：根据该夹角旋转该第二矩形框。 

因此，藉由上述步骤S313至S315，通过事先改变第二矩形框10C的角度Θ，可使得第二焦框12A更紧密贴合于对象上51，增加第二焦框12A对焦范围的精细度。 

综上所述，本发明通过颜色检测的方式，先是利用一焦框内像素的颜色特征，于连续画面中进行定位来追踪对象的位移程度，并且以对象所涵盖的像素的权重值，进行区域性的分类来检测对象的形状、大小与角度，进而更新焦框的信息，如此一来，以动态方式调整焦框的大小，有助于后续进行对焦的作业。 

Claims (2)

1.一种对象追踪方法，其特征在于，包括：

于一第一帧画面中，进行一分类程序，以取得一第一焦框内各像素的多个第一分类，其中，该第一焦框内具有一第一矩形框；

于一第二帧画面中，根据该第一矩形框进行一定位程序，以取得一第二矩形框；

依序取得该第二矩形框周围各像素的每一颜色特征，并根据该些颜色特征建立多个第二分类；

依序计算该些第二分类与对应的该些第一分类的相似程度，以分别取得一相似程度值；

依序比较每一该相似程度值是否大于一预定的阀值；

若是，渐进调整该第二矩形框至该些第二分类所涵盖的像素范围；以及

若否，停止调整该第二矩形框，以建立一第二焦框，

其中，该分类程序包括：取得该第一焦框内各该像素的该颜色特征；根据该些颜色特征分别对应计算多个权重值；以及将该些权重值由大而小建立该些第一分类，

其中，该第一矩形框将该具有该些权重值中最大权重值的第一分类所涵盖的像素范围，设定该第一矩形框，

其中，该定位程序包括：根据该第一矩形框所涵盖的该像素范围，于该第二帧画面中，查找与该第一矩形框具有近似相等于该些权重值的一位置；以及设定该位置为该第二矩形框。

2.一种对象追踪方法，其特征在于，包括：

于一第一帧画面中，进行一分类程序，以取得一第一焦框内各像素的多个第一分类，其中，该第一焦框内具有一第一矩形框；

于一第二帧画面中，根据该第一矩形框进行一定位程序，以取得一第二矩形框；

依序取得该第二矩形框周围各像素的每一颜色特征，并根据该些颜色特征建立多个第二分类；

依序计算该些第二分类与对应的该些第一分类的相似程度，以分别取得一相似程度值；

依序比较每一该相似程度值是否大于一预定的阀值；

若是，渐进调整该第二矩形框至该些第二分类所涵盖的像素范围；以及

若否，停止调整该第二矩形框，以建立一第二焦框，

其中，该分类程序包括：取得该第一焦框内各该像素的该颜色特征；根据该些颜色特征分别对应计算多个权重值；以及将该些权重值由大而小建立该些第一分类，

其中，该第一矩形框将该具有该些权重值中最大权重值的第一分类所涵盖的像素范围，设定该第一矩形框，

其中，该定位程序包括：根据该第一矩形框所涵盖的该像素范围，于该第二帧画面中定位出与该第一矩形框具有近似相等于该些权重值的一位置；设定该位置为该第二矩形框，并取得该第二矩形框内各像素的多个权重值；根据该第一矩形框与该第二矩形框的该些权重值的一向量关系，计算一夹角；以及根据该夹角旋转该第二矩形框。

Images