CN103150720B - 轮廓校正方法和系统以及轮廓提取方法和系统 - Google Patents

Abstract

本发明公开了一种轮廓校正方法和系统，用于通过将每个像素标记为人或者背景从而校正从图像中提取出的人的轮廓。目标区域中的像素通过以下步骤被校正：通过利用人的直方图和背景直方图来计算第一连接成本的步骤；对于在目标区域中的每个像素，像素的第二连接成本被计算出来的步骤；以及校正步骤，其中顶点是目标区域中的像素且顶点之间的边缘是第一连接成本和第二连接成本的图被制作出，且最小割被计算出来，并基于所述最小割，在目标区域中的像素被重新标记以便校正轮廓。更进一步地，一种轮廓提取方法和系统被公开。

Description

轮廓校正方法和系统以及轮廓提取方法和系统

技术领域

本发明涉及用于校正从包括人和在背景中的一些事物的静止图像中提取出的人的轮廓的方法和系统，以及用于从捕捉自挥舞高尔夫球杆的人的活动图像的多个帧中提取出人的轮廓的方法和系统。

背景技术

对于希望提高高尔夫技术的高尔夫球手，获得正确的高尔夫挥杆非常重要。

为此，传统的方法是，例如专业教练的人利用高尔夫球手挥舞高尔夫球杆的视频对高尔夫挥杆做出判断，指明问题所在。

近年来，在另一方面，基于通过图像处理提取出的高尔夫球手的轮廓，已经提出了从捕捉自高尔夫球手进行挥杆的活动图像的帧（显示他/她在瞄准击球、后挥上顶等状态的静态图像）中对高尔夫球手挥杆执行判断的尝试。

在很多情况下，需要仅仅从包括人以及在背景中的一些事物的静止图像中提取出准确的人的轮廓。

为了提取出轮廓，静止图像的每个像素被标记为人或者背景。并且可以通过只使用被标记为人的像素来再现图像从而获得人的轮廓。

这种方法已经由本申请人在下面的专利文献中提出：

日本专利申请公开No.2011-78069。

根据在这个专利文献中公开的技术，在轮廓提取中可以获得一定程度的精确度，但是存在有人的轮廓具有一定的噪声的问题。

发明内容

轮廓校正方法和系统

因此本发明的一个目标是提供轮廓校正方法和轮廓校正系统，从而使被标记为轮廓或者背景的每个像素都被校正，进而减少包含在被提取出的轮廓中的噪声。

根据本发明的轮廓校正方法是用于通过将帧的每个像素标记为人或者背景来校正人的轮廓，人的轮廓是从包含人和背景的帧中提取出来的，其中，在作为帧的至少一部分的目标区域中的像素被重新标记。

该轮廓校正方法包括：

通过利用在目标区域中被标记为人的像素，生成频率和等级分别为像素的数量和像素的色彩数据的人直方图的步骤，

通过利用在目标区域中被标记为背景的像素，生成频率和等级分别为像素的数量和像素的色彩数据的背景直方图的步骤，

对于在目标区域中的每个像素，通过利用在目标区域中的人直方图、背景直方图和每个像素的色彩数据，计算像素的第一连接成本的步骤，像素的第一连接成本代表与人的色彩数据的相似度和与背景的色彩数据的相似度连接成本，

对于在目标区域中的每个像素，通过利用相邻像素之间的差分，计算像素的第二连接成本的步骤，像素的第二连接成本代表相邻像素之间的色彩数据的连续性连接成本，

校正步骤，在校正步骤中，制作出顶点是目标区域中的像素、且顶点之间的边缘是第一连接成本和第二连接成本的曲线图制作出，并且计算最小切割，通过最小切割，曲线图被分成两部分，以使第一连接成本和第二连接成本的总和变得最小，并且基于最小切割，在目标区域中的像素被重新标记，以便校正轮廓。

因此，对人的色彩数据的相似度较低且与相邻像素在色彩数据上的连续性较低的像素被重新标记为背景，并且对背景的色彩数据的相似度较低且与相邻像素在色彩数据上的连续性较低的像素被重新标记为人。

因此，包含在最初提取出的轮廓中的噪声或者错误可以被降低，且人的精确的轮廓可以被获得。

根据本发明的轮廓校正方法可以具有以下特性F1-F4：

F1：第一连接成本通过以下表达式被计算出来

Ph_(I)(x,y)=nh_(I)(C_(I)(x，y))×λ/th

以及

Pb_(I)(x,y)=nb_(I)(C_(I)(x,y))×λ/tb

其中

Ph_(I)(x，y)：对于具有X-Y坐标（x,y）和色彩数据（I）的目标像素的人的色彩数据的第一连接成本，

nh_(I)(C_(I)(x，y))：在人直方图中，具有目标像素C_(I)(x，y)的色彩数据(I)的像素的频率，

th：在目标区域中被标记为人的像素的总数，

Pb_(I)(x，y)：对于具有X-Y坐标（x,y）和色彩数据（I）的目标像素的背景的色彩数据的第一连接成本，

nb_(I)(C_(I)(x，y))：在背景直方图中，具有目标像素C_(I)(x，y)的色彩数据(I)的像素的频率，

tb：在目标区域中被标记为背景的像素的总数，且

λ：常数。

F2：第二连接成本通过以下表达式被计算出来

Pd=k×ε/Dp

其中

Pd：目标像素的第二连接成本，

k：常数，

ε：常数，当目标像素位于人的轮廓的边界时为大于0且小于1，否则为1，以及

Dp：目标像素和相邻像素之间的差分值。

F3：考虑到从背景被重新标记为人的每个像素，

频率nb_(I)(C_(I)(x，y))被乘以大于1的常数，以便提高与背景的色彩数据的相似度，以及再次计算第一连接成本和第二连接成本，然后再次执行校正步骤。

F4：该方法进一步包括校正之前的轮廓和校正之后的轮廓的逻辑乘积的图像被制作出并被替换的步骤。

根据本发明，用于实现如上所述的轮廓校正方法的轮廓校正系统包括：

存储器，关于帧的像素的数据被储存在存储器中，

以及运算部，该运算部包括：人直方图生成部、背景直方图生成部、第一连接成本计算部、第二连接成本计算部、以及校正部，其中，

人直方图生成部通过利用在目标区域中被标记为人的像素，生成频率和等级分别为像素的数量和像素的色彩数据的人直方图，

背景直方图生成部通过利用在目标区域中被标记为背景的像素，生成频率和等级分别为像素的数量和像素的色彩数据的背景直方图，

第一连接成本计算部通过利用在目标区域中的人直方图、背景直方图和每个像素的色彩数据，对于在目标区域中的每个像素，计算像素的第一连接成本，像素的第一连接成本代表与人的色彩数据的相似度和与背景的色彩数据的相似度连接成本，

第二连接成本计算部通过利用相邻像素之间的差分，对于在目标区域中的每个像素，计算像素的第二连接成本的步骤，像素的第二连接成本代表相邻像素之间的色彩数据的连续性连接成本，

校正部制作出顶点是目标区域中的像素、且顶点之间的边缘是第一连接成本和第二连接成本的曲线图，并且计算最小切割，通过最小切割，曲线图被分成两部分，以使第一连接成本和第二连接成本的总和变得最小，并且基于最小切割，在目标区域中的像素被重新标记，以便校正轮廓。

轮廓提取方法和系统

如所说明的，根据上述所提及的专利文献中公开的技术，在轮廓提取中可以获得一定程度的精确度，但是存在有这样的问题，如果人所具有的颜色接近背景在它们边界的邻近处的颜色，则难以将它们区分开来从而难以正确地将轮廓提取出来。

因此，本发明的另一个目标是提供轮廓提取方法和轮廓提取系统，通过该轮廓提取方法和轮廓提取系统，即使人和背景具有相近的颜色，也可以将它们区分开来。

根据本发明的轮廓提取方法用于通过应用从多个帧获得的色彩数据，从捕捉自人挥动高尔夫球棒的活动图像的多个帧中的一个帧中提取人挥动高尔夫球棒的轮廓。

该方法包括以下步骤：

关于一个帧中的每个像素，生成跨帧子集的步骤，跨帧子集是在所关心的像素的位置处的帧的像素的子集的步骤，

关于跨帧子集组中的每一个跨帧子集，生成频率和等级分别为帧的数目和像素的色彩数据的直方图的步骤，

从捕捉到的帧中提取瞄准击球状态帧的步骤，瞄准击球状态帧是包含正在瞄准击球的人的帧，

对于瞄准击球状态帧，使用高尔夫球棒的人的预定的特征点被定位的步骤，

基于特征点所在的位置，设定遮盖区域的步骤，遮盖区域是包含人、高尔夫球棒以及在人和高尔夫球棒周围的背景的一部分的区域，

基于特征点所在的位置，在遮盖区域中定义人体区段的步骤，在人体区段中，所包含的像素具有代表人的大可能性，

基于瞄准击球状态帧的人体区段中的像素的色彩数据和关于人体区段中的每个像素的直方图，对于直方图中的每一个直方图，确定人体范围的步骤，人体范围是代表人的直方图的等级范围，

确定的人体范围被传播到关于人体区段外面的像素的直方图传播的步骤，

基于关于遮盖区域的外部的未遮盖区域中的每个像素的直方图以及在瞄准击球状态帧的未遮盖区域中的像素的色彩数据，对直方图中的每一个直方图，确定背景范围的步骤，背景范围是代表背景的直方图的等级范围，

确定的背景范围被传播到关于遮盖区域中的像素的直方图传播的步骤。

根据本发明的轮廓提取方法可以具有以下特性F5-F10：

F5：跨帧子集的直方图包括：

第一直方图，其中，色彩数据是在跨帧子集中的所有像素的亮度，

第二直方图，其中，色彩数据是在具有彩色的色彩的跨帧子集中的像素的色调，

第三直方图，其中，色彩数据是在具有非彩色的色彩的跨帧子集中的像素的亮度。

F6：特征点是处于瞄准击球状态的人体的头顶、前额、背部、腰部、膝盖后部、脚后跟、脚趾、大腿、手和肩部、以及高尔夫球棒的棒头。

F7：限定遮盖区域的以上所提及的步骤包括：通过连接特征点来限定初始阶段遮盖区域的步骤，以及通过预定的区域或者像素来扩张初始阶段遮盖区域的步骤。

F8：限定人体区段的以上所提及的步骤包括：基于特征点，被认为是人体上的点的基点在初始阶段遮盖区域内的位置上被限定的步骤，以及通过利用基点，确定人体区段的步骤。

F9：该方法进一步包括：检测在以上所提及的一个帧中那个帧代表高尔夫练习场范围的柱子的像素的步骤，且在以上所提及的步骤中，确定的背景范围被传播到关于遮盖区域中的像素的直方图传播，传播绕过检测到的代表柱子的像素。

F10：该方法进一步包括验证确定的背景范围和确定后的人体范围的一致性的步骤。

根据本发明，轮廓提取系统是用于实现以上所提及的轮廓提取方法且轮廓提取系统包括：摄影机，用于拍摄动态图像；存储器，用于储存动态图像；以及运算部，该运算部包括：跨帧子集生成部、直方图生成部、以及判断部，

其中，

关于一个帧中的每个像素，跨帧子集生成部生成跨帧子集，跨帧子集是在所关心的像素的位置处的所述帧的像素的子集，

关于跨帧子集组中的每一个跨帧子集，直方图生成部生成频率和等级分别为帧的数目和像素的色彩数据的直方图，

判断部包括：瞄准击球状态帧提取部、特征点定位部、遮盖区域限定部、人体区段设定部、人体范围确定部、人体范围传播部、背景范围确定部、以及背景范围传播部，

其中，

瞄准击球状态帧提取部从捕捉到的帧中提取瞄准击球状态帧，瞄准击球状态帧是包含正在瞄准击球的人的帧，

对于瞄准击球状态帧，特征点定位部瞄准击球对于使用高尔夫球棒的人的预定的特征点进行定位，

遮盖区域定义部基于特征点所在的位置限定遮盖区域，遮盖区域是包含人、高尔夫球棒以及在人和高尔夫球棒周围的背景的一部分的区域，

人体区段设定部基于特征点所在的位置，限定在遮盖区域内的人体区段，人体区段是使得其中所包含的像素具有代表人的大可能性，

人体范围确定部基于瞄准击球状态帧的人体区段中的像素的色彩数据和关于人体区段中的每个像素的直方图，为每一个直方图确定人体范围，人体范围是代表人的直方图的等级范围，

人体范围传播部将确定的人体范围传播到关于人体区段外面的像素传播的直方图，

背景范围确定部基于关于遮盖区域的外部的未遮盖区域中的每个像素的直方图以及在瞄准击球状态帧的未遮盖区域中的像素的色彩数据，对直方图中的每一个直方图，确定背景范围的步骤，背景范围是代表背景的直方图的等级范围瞄准击球，

背景范围传播部将确定的背景范围传播到关于遮盖区域中的像素的直方图。

因此,根据本发明,即使人和背景具有相似的色彩，也可以将人与背景区分开来，这是由于人体范围的传播和背景范围的传播。于是，可以准确地将人的轮廓提取出来。

附图说明

图1-图17涉及轮廓校正方法和系统。

图18-图52涉及轮廓提取方法和系统。

图1是用于说明包括人且在背景中有高尔夫训练场的帧的轮廓图。

图2是从图1中所示的帧中提取出的人的轮廓的实例。

图3是显示作为实施例的轮廓提取系统的示意图。

图4是其运算部的方框图。

图5是轮廓提取方法的流程图。

图6是用于说明帧的目标区域的图。

图7是各个目标区域的人的直方图。

图8是各个目标区域的背景直方图。

图9是用于说明第一连接成本的直方图。

图10是显示帧的微小区域中的像素的排列的图。

图11是用于通过使用3x3像素排列来说明第二连接成本的图表。

图12是用于说明图表的最小割的图。

图13是最终处理的流程图。

图14是作为实例1的人的原始图像。

图15显示了从图14的图像中提取出的人的轮廓(a)和(b)，轮廓(a)和(b)分别为校正前的轮廓和校正后的轮廓。

图16是作为实例2的人的原始图像。

图17显示了从图16的图像中提取出的人的轮廓(a)和(b)，轮廓(a)和(b)分别为校正前的轮廓和校正后的轮廓。

图18是显示作为实施例的轮廓提取系统的示意图。

图19是显示其运算部的示意图。

图20是作为实施例的轮廓提取方法的流程图。

图21是用于说明图像合成以及摄像机物镜视角的轮廓图。

图22显示了跨越帧的子集(a)、(b)和(c)的像素的亮度直方图。

图23显示了跨越帧的子集(a)、(b)和(c)的像素的色彩直方图。

图24是判定处理的实例的流程图。

图25是用于说明人的特征点的图。

图26是瞄准击球状态帧和后挥上顶帧的差异图像。

图27是用于说明脚后跟和脚尖的特征点的图。

图28是用于说明大腿的特征点的图。

图29是用于说明头顶的特征点的图。

图30是用于说明前额的特征点的图。

图31是用于说明腰部的特征点的图。

图32是用于说明膝盖后部的特征点的图。

图33是用于说明后背和肩部区域的特征点的图。

图34是用于说明遮盖区域的图。

图35是用于说明人体区段的图。

图36是人体范围确定步骤的流程图。

图37是用于说明直方图的特征位置的图表。

图38是人体范围传播步骤的流程图。

图39是用于说明与人体区段之间的距离的映射图。

图40是用于说明直方图的特征位置的图表。

图41是用于说明根据本发明的轮廓提取方法的构思的图。

图42是一致性检验步骤的流程图。

图43是用于说明一致性检验步骤的说明图。

图44显示了在本实施例中的瞄准击球状态帧以及通过轮廓提取方法从中提取出的轮廓。

图45显示了在本实施例中的后挥上顶帧以及通过轮廓提取方法从中提取出的轮廓。

图46显示了在本实施例中的挥杆完成状态帧以及通过轮廓提取方法从中提取出的轮廓。

图47是用于说明包括柱子的瞄准击球状态帧的轮廓图。

图48是用于说明背景范围传播步骤的像素的布置。

图49显示了原始图像和从中提取出的作为实例1和参考1的轮廓。

图50显示了原始图像和从中提取出的作为实例2和参考2的轮廓。

图51显示了原始图像和从中提取出的作为实例3和参考3的轮廓。

图52显示了原始图像和从中提取出的作为实例4和参考4的轮廓。

具体实施方式

现在结合附图对本发明的实施方式进行具体地说明。

涉及轮廓校正方法和系统的实施例

关于用于校正从包括人和在背景中的一些事物的静止图像中提取出的人的轮廓的方法和系统，现在将结合图1至图17描述本发明的实施例。

图1是用于说明帧F1的轮廓图，帧F1是在背景(b)中有高尔夫训练场的人(h)的2D静止图像，其中人(h)只是在瞄准击球准备击球。

这个帧F1是由数字静物摄影机准备的或者是从由数字电影摄影机拍摄的活动图像（或者图像序列）中捕捉。

帧F1是其中的每个像素分别具有它的色彩数据的像素的集合。

关于帧F1，例如专利文献1中所公开的轮廓提取方法的图像处理（下文中的“预处理”）被执行以使帧F1的像素中的每一个像素都被标记为人(h)或者背景(b)。

图2用黑色显示了通过只有被标记为人(h)的像素来再现的帧F2（图像）。

瞄准击球准备状态中的人(h)的轮廓S是从包括人(h)和背景(b)的帧F1中提取出的。

人的轮廓S被用于例如上述的高尔夫挥杆的诊断。

对于预处理，可以使用除了在上面提及的专利文献1中所公开的方法之外的多种方法。

在预处理之后，如图2所示，轮廓S通常包括作为噪声的一部分背景(b)，反之亦然。也就是说，有可能那些需要被标记为人(h)的像素被错误地标记为背景(b)。这也是噪声。

根据本发明，通过改变在至少是帧F的一部分的目标区域中的像素的标记，提取出的人的轮廓S被校正成精确的轮廓。

用于执行根据本发明的方法的轮廓校正系统主要由如图3所示的计算机1组成，计算机1包括运算部2、存储器3、以及储存区4。

对于存储器3，使用例如RAM等。在储存区中，例如磁盘等的非易失性储存介质被使用。

对于用于执行多种计算的运算部2，例如CPU被使用。

如图4所示，运算部2包括人的直方图生成部2a、背景直方图生成部2b、第一连接成本计算部2c、第二连接成本计算部2d、以及校正部2e。

图5显示了在本实施例中由系统1执行的轮廓校正方法的流程图。

在启动的时候，第一标记动作已经被完成。也就是说，如上所述，在预处理过程中，帧的像素中的每一个像素已经被标记为人或者背景。

因此本实施例期望获得可用于高尔夫挥杆的诊断的高度精确的高尔夫球手的轮廓。

在本实施例中，首先，要进行校正操作的一个或多个目标区域在目标帧F2中被定义。--步骤S1

在图6中所示的实例中，三个目标区域A、B和C被定义。

较佳地，具有相似色彩数据的像素被分入一个目标区域中，色彩数据是关于明度和色调。

这种设定可以由用户任意设定。

在图6中所示的实例中，目标区域A是帧的上部的区域，包括人(h)的上身以及背景(b)的远场部分。

对于帧的y轴，在这个区域A中的像素具有不超过固定数值ya的y轴数值。

目标区域C是帧的矩形区域，包括人(h)的脚及其周边区域。

目标区域B是帧的下部的区域，帧的下部的区域是在目标区域A下面除了目标区域C以外的区域。

这个区域B包括背景的近场部分。

对目标区域的帧的这种分区或者分区段并不局限于本实例。可以根据轮廓S相对于帧的位置任意划分。另外，作为被校正的区域的目标区域可以被定义为覆盖帧F2的整个区域或者是包括大量噪声N的特定的部分区域。

对于每个区域，执行以下处理。

对于目标区域A、B和C中的每一个区域，人的直方图生成部2a生成人的直方图Nh，仅利用被标记为人(h)的像素。--步骤S2

图7显示了人的直方图Nh的实例。

在人的直方图Nh中，等级是像素的色彩数据(I)，且频率是像素的数量。

至于色彩数据(I)，例如可以利用亮度，HSV或者RGB多个参数将色彩量化。

这种色彩数据不包括在帧F2的像素中。因此,生成帧F2的帧F1(如图1所示）的原始图像的像素的色彩数据被用于生成人的直方图。

因此，在本实例中，对于目标区域A、B和C中的每一个区域，生成如图7所示的人的直方图Nh，其中曲线A是目标区域A的人的直方图，曲线B是目标区域B的人的直方图，且曲线C是目标区域C的人的直方图。

接下来，对于目标区域A、B和C中的每一个区域，背景直方图生成部2b生成背景直方图Nb，仅利用标记为背景(b)的像素。--步骤S2

图8显示了背景直方图Nb的实例。

与人的直方图Nh相类似，在背景直方图Nb中，等级是指像素的色彩数据(I)，且频率是像素的数量。

对于色彩数据(I)，例如可以利用明度，HSV或者RGB多个参数量化色彩。

这种色彩数据不包括在帧F2的像素中。因此,生成帧F2的帧F1(如图1所示）的原始图像的像素的色彩数据被用于生成背景直方图。

因此，在本实例中，对于目标区域A、B和C中的每一个区域，生成如图8所示的背景直方图Nh，其中曲线A是目标区域A的背景直方图，曲线B是目标区域B的背景直方图，且曲线C是目标区域C的背景直方图。

如图7和图8所示人的直方图Nh和背景直方图Nb受到可选择的平滑处理。

当色彩数据(I)是HSV时，为H（色调）、S（饱和度）以及V（亮度）中的每一个生成直方图。

接下来，对于在目标区域中的像素中的每一个像素，由第一连接成本计算部2c计算出第一连接成本Ph和Pb--步骤S3

利用在目标区域和人的直方图Nh中的每个像素的色彩数据（I），第一连接成本Ph是代表每个像素对人的色彩数据的相似度的参数。

利用在目标区域和背景直方图Nb中的每个像素的色彩数据（I），第一连接成本Pb是代表每个像素对背景色彩数据的相似度的参数。

对于一个像素，第一连接成本Ph和第一连接成本Pb被计算出来。

在本实例中，第一连接成本通过使用以下表达式被计算出来。

Ph_(I)(x,y)=nh_(I)(C_(I)(x，y))×λ/th

和

Pb_(I)(x,y)=nb_(I)(C_(I)(x,y))×λ/tb

其中

Ph_(I)(x，y)：具有X-Y坐标（x,y）和色彩数据（I）的目标像素对人的色彩数据的第一连接成本，

nh_(I)(C_(I)(x，y))：具有目标像素C_(I)(x，y)的色彩数据的像素的在人的直方图中的频率，

th：在目标区域中的被标记为人的像素的总数，

Pb_(I)(x，y)：具有X-Y坐标（x,y）和色彩数据（I）的目标像素对背景的色彩数据的第一连接成本，

nb_(I)(C_(I)(x，y))：具有目标像素C_(I)(x，y)的色彩数据的像素的在背景直方图中的频率，

tb：在目标区域中被标记为背景的像素的总数，且

λ：常数，在本实例中为10000。

图9显示了用于说明第一连接成本的人（或者背景）直方图。

如果目标像素的等级和频率分别是(a)和(b)，那么对人的色彩数据的第一连接成本Ph=b×λ/th，且对背景的色彩数据的第一连接成本Pb=b×λ/tb。

当等级是(c)时，频率变为最大（bmax）且第一连接成本变为极大值。

像素的第一连接成本表示了该像素的色彩对人（或者背景）的色彩的相似度。即，随着第一连接成本的上升，像素的色彩变得更接近在人（或者背景）直方图中的最大频率的色彩。

相反地，随着第一连接成本的减少，像素的色彩变得与在人（或者背景）直方图中的最大频率的色彩不同。因此，像素具有较高的噪声可能性。

附带地，为各个像素计算出的第一连接成本的数值被储存在存储器3或者储存区4中。

接下来，通过第二连接成本计算部2d为在目标区域中的每一个像素计算第二连接成本Pd。--步骤S4-S7

第二连接成本Pd是通过使用在目标区域中的像素和相邻像素之间的差异来代表它们之间的色彩的连续性的参数。

在本实例中，目标像素的第二连接成本Pd是通过以下的表达式（3）被计算出来的。--步骤S6和S7

Pd=k×ε/Dp---(3)

其中

k：常数，在本实施例中为10000，

ε：常数，当目标像素位于人的轮廓的边界时为大于0且小于1（在本实例中为0.5），否则为1，且

Dp：目标像素的色彩和相邻像素的色彩之间的差异（非零）。

从相邻像素的色彩计算出的差异Dp被作为与所涉及的像素之间的色彩距离。--步骤S4

当目标像素在图10所示的实例中为C0时，计算出的值是四个差异Dp1、Dp2、Dp3和Dp4，这四个差异Dp1、Dp2、Dp3和Dp4是从在目标像素C0的左边、右边、上面和下面的四个像素C1、C2、C3和C4计算出的。这些差异的表示如下：

Dp1(C0,C1),Dp2(C0,C2),Dp3(C0,C3),Dp4(C0,C4)

当像素的色彩数据(I)是H（色调）、S（饱和度）和V（亮度），以及一个像素的色调H1、饱和度S1和亮度V1的色彩矢量是C1，且另一个像素的色调H2、饱和度S2和亮度V2的色彩矢量是C2时，那么它们之间的色彩距离D（C1，C2）由以下表达式给出。

D(C1,C2)=aΔH'+bΔS'+cΔV'

其中

a、b、c：常数（在本实例中，a=5.1，b=2.25，c=2.65）

ΔH'=ΔH/4.0

ΔS'=ΔS/2.0

ΔV'=ΔV/2.0

ΔH={(X1-X2)²+(Y1-Y2)²}^1/2

ΔS=|S1/100-S2/100|

ΔV=|V1/100-V2/100|

X1=S'_avgcos(H1×3.6)

Y1=S'_avgsin(H1×3.6)

X2=S'_avgcos(H2×3.6)

Y2=S'_avgsin(H2×3.6)

S'_avg=(S1'+S2')/2

S1'=log₁₀(S1/100×99+1.0)

S2'=log₁₀(S2/100×99+1.0)。

如后面所解释的，根据本发明的轮廓校正方法包括计算人和背景之间的边界的步骤（计算割的步骤）。因此，对于这种处理理想的是第二连接成本的数值随着色彩的连续性的变小而变小。因此，在本实施例中，在第二连接成本的计算中，色彩距离的倒数被使用。

因此，在像素与相邻像素之间的色彩距离较大的情况下，也就是说，像素被认为是位于人和背景之间的界线上，第二连接成本被估算为较小。

在预处理期间的被标记为人的像素中，在与背景邻接的“边界”上的像素距离周围像素的色彩距离变得比不在“边界”上的像素的色彩距离大。因此，在“边界”上的像素的第二连接成本极有可能变低。至于在“边界”上的像素，它们有包括人的像素和背景的像素的高度可能性，因此，在本实施例中，通过乘以小于1的常数ε使计算出的第二连接成本更小。

接下来，通过使用第一连接成本Ph和Pb和第二连接成本Pd，校正部2e生成图表。--步骤S8

图11显示了整个像素的3×3子集的图表的实例，且图12显示了它的流程图（网络图）。

在图11中，像素被表示为图表中意指顶点的正方形单元格。

这些作为顶点像素通过第一连接成本Ph（虚线）被连接到通过使用人的直方图计算出的人的色彩数据上，通过第一连接成本Pb（曲折线）被连接到通过使用背景直方图计算出的背景的色彩数据上，并通过代表连续性的第二连接成本Pd（双线）与相邻象素相连接。因此，连接成本Ph、Pb和Pd对应于连接图表中的顶点的“边缘”。即，图表被生成是基于将像素作为顶点且连接成本Ph、Pb和Pd作为边缘。

更进一步地，考虑到图表，校正部2e计算割，通过这个割连接成本Ph、Pb和Pd的总和变得最小，且基于这个最小割，校正部2e在目标区域中执行像素的标记。--步骤S8

割（S，T）是用于将图表（顶点s的整个集合）划分成两个子集：

作为源(t)的顶点子集（例如，被标记为人的一组像素）；以及

作为接收器(s)的顶点子集（例如，被标记为背景的一组像素）。

从作为源(t)的顶点经过割（S，T）到达作为接收器(s)的顶点的流程的总和被称为割的容量。在割的容量为最小的情况下，容量对应于最大流。这是在流程网络中的优化问题中的最大流最小割定理。

在本实施例中，如以下表达式所示的能量函数E(L)被定义，并且其中能量函数变为最小的流程被计算出来。

E(L)=ΣPh_i+ΣPb_j+ΣPd_(m，n)

其中

Ph_i：顶点(i)对于人的色彩数据的第一连接成本，

Pb_j：顶点(j)对于背景的色彩数据的第一连接成本，

i,j∈P且i≠j

P：顶点s的整个集合，

Pd_(m，n)：作为顶点m和n的像素之间的第二连接成本，

m,n∈P且m≠n（Pd在每个组合中并不总是割）。

为了说明以上所述的能量函数，通过简化图表而制定的流程图被显示在图12中，其中

割1（实线）穿越三个边缘Vi（Li=0），四个边缘Vi（Li=1)和三个边缘V2（Li，Lj），且

割2（双点划线）穿越六个边缘Vi（Li=0），一个边缘Vi（Li=1）和一个边缘Vi（Li，Lj）。

边缘利用连接成本被分配。在本实例中，边缘Vi(Li=1)利用第一连接成本Ph被分配给人，边缘Vi(Li=0)利用第一连接成本Pb被分配给背景，且边缘Vi(Li,Lj)利用第二连接成本Pd被分配。

于是，对于割1和割2的能量函数的数值取决于边缘Vi(Li=0)、Vi(Li=1)和Vi（Li，Lj）的连接成本的数值。

在本发明中，通过使用最大流最小割算法，其中能量函数的数值变为最小的割（最小割）被计算出来或者被获得。

当已经从图表中获得最小割时，对于目标区域，被标记为人的像素和被标记为背景的像素之间的边界可以被定义或者被生成。

更具体地说，在步骤S8中，对人的色彩数据的相似度较低且与相邻像素的连续性较少的像素被定义为割的源(t)以及对背景的色彩数据的相似度较低且与相邻像素的连续性较少的像素被定义为割的接收器(s)。

接下来，基于最小割，校正部2e按下述执行像素的重新标记。

被定义为接收器(s)（背景）的像素被重新标记为背景。--步骤S9

被定义为源(t)（人）的像素被重新标记为人。--步骤S10

因此，在目标区域中的像素被重新标记且轮廓被校正。

接下来，校正部2e执行最终处理。--步骤S11

图13显示了最终处理的实例的流程图。

在本实例中，对于每一个像素，将在校正步骤之后的标记与在校正步骤之前的标记进行比较，从而检查以下情况中的哪一个是可采用的。--步骤S111-S114

情况1：之前=人，之后=人

情况2：之前=背景，之后=背景

情况3：之前=人，之后=背景

情况4：之前=背景，之后=人

如果情况1或者2是可采用的（步骤S111，S112），那么校正部2e不改变所涉及的像素的标记（步骤S115和116）。

如果情况3是可采用的（步骤S113），那么校正部2e将所涉及的像素的标记从人改变为背景（步骤S117）。

如果情况4是可采用的（步骤S114），那么校正部2e不会将所涉及的像素的标记从背景改变为人（步骤S118）。

在本实施例的预处理中，如专利文献1中所述，基于足够广到可以覆盖人体的遮盖区域外面的无遮盖区域的像素（因此无遮盖区域无疑被认为是背景），具有与无遮盖区域的像素的数据相类似的数据的遮盖区域中的像素被标记为“背景”。

于是，在预处理中，标记为背景的准确度高于标记为人的准确度，因为遮盖区域足够广。因此，在本实施例中，信赖预处理中所做的为背景的标记，即使预处理中被标记为背景的像素在校正步骤中被标记为人，标记在校正步骤中没有真正被改变。

接下来，校正部2e判断所有像素的处理是否已经被完成了。--步骤S119

如果没有完成，校正部2e再次执行步骤S111-118。

如果完成了，校正部2e在校正之前生成和显示人的轮廓的逻辑结果的图像并在校正之后生成和显示人的轮廓。--步骤S120

上述实施例可以被修改。例如，如果有在校正步骤中从背景被重新标记为人的像素，校正步骤可以再次被执行从而接收它的结果并作为校正步骤的最后结果。

在这种情况下，较佳的是校正部2e仅对于被重新标记为人的像素执行校正步骤，因此，当对背景的色彩数据计算第一连接成本Pb时，频率nb_(I)(C_(I)(x，y))被乘以一个大于1的常数（在本实例2中）以便增加对背景的色彩数据的相似度，然后第一和第二连接成本被计算出来。

这个的原因是为了重视预处理的可靠性而增加对背景的色彩数据的相似度。

涉及轮廓校正方法的对比试验

[实例1：图14至图15]

图14是包括在击球的时候的人和背景的原始帧（640×320像素），该原始帧最初是彩色图像。

图15(a)是通过专利文献1中所公开的预处理提取出的人的轮廓，其中背景中靠近人的背部和腰部的部分被错误地标记为人。因此，有噪声N。

图15(b)是图15(a)中所示的轮廓经过根据本发明的轮廓校正方法被校正。如图所示，噪声被完全地移除。

[实例2：图16至图17]

图16是包括在做向后挥杆的人和背景的原始帧（640×320像素）。

图17(a)是通过专利文献1中所公开的预处理提取出的人的轮廓，其中背景中靠近人的背部和腹部的部分被错误地标记为人。因此，有噪声N。

图17(b)是图17(a)中所示的轮廓经过根据本发明的轮廓校正方法被校正。如图所示，噪声被完全地移除。

涉及轮廓提取方法和系统的实施例。

接下来，对用于从捕捉自挥舞高尔夫球棒的人的活动图像的多个帧中提取人的轮廓的方法和系统，本发明的实施例将结合图18-图52做详细描述。

图18是显示根据本发明的用于执行轮廓提取方法的轮廓提取系统1的方框图。

本实施例中的系统包括智能手机2、服务器3和在智能手机2和服务器3之间连接的通信系统。通信系统基本上是无线连接的方式。但是，也可以包括有线连接。

智能手机2包括摄像头4、存储器5和收发器6。摄像头4可以拍摄动态图像。存储器5可以包括RAM、SD卡（mini-SD卡、microSD卡）及其他储存媒体。

服务器3包括运算部7、存储器8和收发器9。

对于运算部7，例如CPU被使用，运算部7包括，如图19所示，帧捕捉部7a、第一子集生成部7b、第二子集生成部7c、亮度直方图生成部7d、色彩直方图生成部7e以及判断部7f。

图20显示了在本实施例中由系统1执行的轮廓提取方法的流程图。

在本实施例中，首先，高尔夫挥杆通过摄像头4被记录。--步骤S1

高尔夫挥杆是人拿着高尔夫球棒的一连串动作，在这个操作中包括瞄准击球、上挥杆、后挥上顶、下杆、击球和送球。

图21显示了智能手机2的显示屏，该显示屏显示了在用摄像头4拍摄开始时的图像。在这个图像中，所示的用高尔夫球棒10瞄准击球球的人11从后面的视图。

在较优实施例中，由智能手机2的运算部执行的软件可以在智能手机2的显示屏中显示第一导向框12和第二导向框13。因此，拍摄的人可以调节摄像头4的取景，以使高尔夫球棒10的握把10a被包含在第一导向框12中，且球头10b被包含在第二导向框13中。因此，框12和13有助于判定摄像头4和人11之间的距离、摄像机物镜视角和图像合成。

活动图像的拍摄是从如图21所示的人的瞄准击球状态开始。

当拍摄开始时，人11开始挥杆。拍摄被继续直至挥杆完成。活动图像数据被储存在存储器5中。--步骤S2

在本实例中，活动图像的像素的大小是640×320（垂直的×水平的）。

根据用户对智能手机2的操作，被拍摄的活动图像数据从智能手机2的收发器6中被传输到服务器3的收发器9中（步骤S3）,并被储存在服务器3的存储器8中（步骤S4）。

接下来，帧捕捉部7a从活动图像数据中捕捉多个静止帧。--步骤S5

每秒帧的数目是30或者60。例如，从3秒且帧数为30/sec的活动图像数据中，90帧（30×3）被捕捉到。附带地，如果需要，可以对每一个帧进行例如图像稳定性的校正处理。

接下来，对于帧中的每一个像素的位置（在本实例中有640×320=204800个位置），第一子集生成部7b生成跨帧子集，跨帧子集是在所涉及的位置上的所有帧的像素的子集。--步骤S6

在本实例中，帧的数目是90。因此，跨帧子集包括90像素。跨帧子集的数目是204800（=640×320）。

接下来，考虑到帧中的每一个像素的位置（如所说明的，在本实例中有204800个位置），第二子集生成部7c对在所涉及的位置上的所有帧的每一个像素判定像素的色彩是否是非彩色的或者彩色的，并生成跨帧彩色子集和跨帧非彩色子集。--步骤S7

因此，跨帧子集包括跨帧彩色子集和跨帧非彩色子集。

在本实例中，跨帧彩色子集的数目和跨帧非彩色子集的数目是204800，

对于每一个跨帧子集，亮度直方图生成部7d生成亮度直方图（第一直方图）。---步骤S8

在亮度直方图中，等级是亮度（色彩数据）且频率是如图22(a)-22(c)所示的帧（像素）的数目。还可以基于除了亮度以外的色彩数据生成亮度直方图。亮度直方图可以被平滑处理。

对于在前面提到的位置中的每一个位置上的跨帧彩色子集和跨帧非彩色子集，色彩直方图生成部7e生成色彩直方图（第二直方图）（步骤S9）。

如图23(a)-23(c)所示，在色彩直方图中，频率是帧（像素）的数目，且与跨帧彩色子集相关的等级是色调（色彩数据），且与跨帧非彩色子集相关的等级是明度（色彩数据）。

还有可能的是与跨帧彩色子集相关的等级是除了色调以外的色彩数据，且与跨帧非彩色子集相关的等级是除了亮度以外的色彩数据。

对于在跨帧子集中的每一个跨帧子集中的每个像素，判断部7f执行判定处理（标记）从而利用以上所述的数据确定所涉及的像素是否是背景或者人的像素。--步骤S10

图24显示了判定处理的实例的流程图。

在本实例中的判定处理中，首先，包括人11的瞄准击球状态的地址状态帧是通过判断部7f的瞄准击球状态帧提取部从动态图像的帧中提取出来的。--步骤S101

当拍摄是从瞄准击球状态开始时，例如，第一帧可以作为瞄准击球状态帧被提取出来。

如图21所示，人11和高尔夫球棒10被包含在瞄准击球状态帧中。

[特征点提取步骤]

接下来，判断部7f的特征点提取部执行特征点提取步骤S102。

在这个步骤中，瞄准击球状态帧经过图像处理以便在人11和高尔夫球棒10的多个位置上提取出预定的特征点。

如图25所示，在本实例中的特征点包括特征点P1-P12，特征点P1-P12对应于代表在瞄准击球状态中的人体11的头的顶部11a、额头11b、后背11c、腰部11d、膝盖后部11e、脚后跟11f、脚趾11g、大腿11h、手11i和肩部11j以及高尔夫球棒的球头10b的位置。

假设人（高尔夫球手）在瞄准击球球时呈现是基本上固定的姿势，特征点P1-P12可以通过计算由如下所述的图像处理获得的数据被提取出来。

[手的特征点P1（x1,y1)]

判断部7f计算地址状态帧和包括向后挥杆至顶点的后挥上顶帧之间的差异从而获得作为计算结果的差异图像。

图26中所示的是这种差异图像的二值化图像D1，其中黑色所表示的部分对应于差异像素。

由于两个分别包括被认为是彼此完全相反的状态的帧之间的差异，在瞄准击球状态中的手和高尔夫球棒10在如图26所示的二值化图像D1上显得较清晰。

接下来，判断部7f设定差异图像D1中的搜索区F1。

在图26中搜索区F1被显示在白色背景上，且它的x坐标和y坐标的范围被设定为如下范围：

200≦x≦480，

250≦y≦530。

这些范围是基于图像合成被确定的以使搜索区F1无疑如所预期的包括人的手和球头。然而，当然可以依据图像合成在不同的位置上设定搜索区F1。

接下来，通过对差异图像D1的搜索区F1做霍夫变换，判断部7f从高尔夫球杆身10c中提取出直线（La）。因此提取出的直线（La）的两端（La1和La2）位于搜索区F1的边界上。

更进一步地，判断部7f在直线(La)的中点La3设定矩形区域并沿着直线(La)将矩形区域朝着左上部移动。当在矩形区域内的差异图像数目在直线(La)上的特定位置上变得不少于预定的固定值，判断部7f将这个位置作为手的特征点P1提取出来。

这个处理是基于实验规则，即当从背后观察处于瞄准击球状态中的人时，在杆身10c的上端侧由于人的手有凸起的部分，也就是说有手。

[球头的特征点P2（x2，y2）]

更进一步地，如图26所示判断部7f沿着直线(La)朝着右下方移动矩形区域。

当在矩形区域内的差异图像数目在直线(La)上的特定位置上变得不少于预定的固定值时，判断部7f将这个位置提取出来作为高尔夫球棒球头的特征点P2。

这个处理是基于实验规则，即当从背后观察处于瞄准击球状态中的在使用高尔夫球棒的人时，在杆身10c的下端侧由于球头有凸起的部分，也就是说那里是球头。

[右脚脚趾的特征点P3(x3，y3)和右脚脚后跟的特征点P4(x4，y4)]

图27显示了瞄准击球状态帧的简化的二值化图像，其中阴影部分表示近似的人的轮廓11。

如图27所示，判断部7f在二值化图像中设定搜索区域F2。搜索区域F2是无疑的预期的包括右脚脚后跟和脚趾的区域，并且是基于图像合成预先确定的。

判断部7f提取出离搜索区域F2的左下角F2L最近的黑色像素作为右脚脚后跟的特征点P4。

更进一步地，判断部7f提取出离搜索区域F2的右下角F2R最近的黑色像素作为右脚脚趾的特征点P3。

这个处理是基于实验规则，即当从背后观察在瞄准击球状态中的人的脚时，向右侧端是脚趾，且向左侧端是脚后跟。

[左脚脚趾的特征点P5(x5，y5)]

利用上述右脚脚趾的特征点P3，判断部7f提取出左脚脚趾的特征点P5。具体而言，如图27所示，判断部7f设定围绕右脚脚趾的特征点P3的参考区域F3。然后，采用这个参考区域F3作为模板，最匹配区域被计算出来或者被获得。

这个处理是基于实验规则，即当从背后观察在瞄准击球状态中的人的脚时，右脚脚趾和左脚脚趾具有相似的形状。

在瞄准击球状态帧中，左脚脚趾位于右脚脚趾上方和靠近右脚脚趾的地方。因此较佳的是依照在那里的针对最匹配区域而被搜索的范围是受限制的。

[大腿的特征点P6（x6，y6）]

图28显示了瞄准击球状态帧的简化的二值化图像。

判断部7f计算穿过左脚脚趾的特征点P5且平行于y-轴的直线（Lb）和穿过手的特征点P1且平行于x-轴的直线（Lc）的交点，并且判断部7f将这个点提取出来作为大腿的特征点P6。

这个处理是基于实验规则，即当从背后观察在瞄准击球状态中的人时，人的大腿的前侧位于靠近上述交点的地方。

[头顶的特征点P7（x7，y7）]

判断部7f计算瞄准击球状态帧和包括处于击球状态中的人的击球状态帧之间的差异。

图29显示了计算出的差异的二值化图像D2。

接下来，判断部7f设定在二值化图像D2中的搜索区域F4。搜索区F4以白色背景显示在图29中，且它的x坐标和y坐标的范围被设定为如下范围：

x5-15像素≦x≦x1+10像素，

10≦y≦y1，

其中

x1：手的特征点P1的x-轴坐标，

x5：左脚脚趾的特征点P5的x-轴坐标，且

y1：手的特征点P1的y-轴坐标。

这个搜索区域F4是基于图像合成被预先确定的。

接下来，判断部7f确定存在于搜索区域F4中的最高的差异像素的位置，也就是在本实例中的X-Y坐标系统中的y-轴坐标为最小的像素，然后判断部7f将这个像素的位置提取出来作为头顶的特征点P7。

这个处理是基于实验规则的，即当从背后观察处于瞄准击球状态和击球状态中的人时，人的头部基本上位于相同的位置，因此，在两个状态的任一状态中具有最小的y-轴坐标数值的像素可以被认为是头顶。

[前额的特征点P8（x8，y8）]

判断部7f计算瞄准击球状态帧和包括处于完成状态中的人的挥杆完成状态帧之间的差异。

图30显示了计算出的差异的二值化图像D3。

接下来，判断部7f在二值化图像中设定搜索区域F5。搜索区F5以白色背景被显示在图30上，且它的x坐标和y坐标的范围被设定为如下范围：

x7≦x≦x7+70像素，

y7≦y7+40像素，

其中

x7：头顶的特征点P7的x-轴坐标，且

y7：头顶的特征点P7的y坐标。

这个搜索区域F5基于图像合成被预先确定的。

接下来，判断部7f确定存在于搜索区域F5中的最右边的差异像素的位置，也就是，在本实例中的X-Y坐标系统中x-轴坐标数值为最大的像素。然后，判断部7f将这个像素的位置提取出来作为前额的特征点P8。

这个处理是基于实验规则的，即当从背后观察处于瞄准击球状态和完成状态中的人时，人的头部基本上位于相同的位置，因此，在两个状态的任一状态中具有最大的x-轴坐标数值的像素可以被认为是前额。

[腰部的特征点P9（x9，y9）]

判断部7f计算瞄准击球状态帧和挥杆完成状态帧之间的差异。

图31显示了计算出的差异的二值化图像D4。

判断部7f设定在二值化图像中的搜索区域F6。搜索区域F6以白色背景显示在图31中，且它的x坐标和y坐标的范围被设定如下：

x4-70像素≦x≦x4+10像素，

y1-50像素≦y1+50像素，

其中

x4：右脚脚后跟的特征点P4的x-轴坐标，

y1：手的特征点P1的y-轴坐标。

这个搜索区域F6是基于图像合成被预先确定的。

接下来，判断部7f确定存在于搜索区域F6中的最左边的差异像素的位置，也就是，在本实例中的X-Y坐标系统中x-轴坐标数值为最小的像素。然后，判断部7f将这个像素的位置提取出来作为腰部的特征点P9。

这个处理是基于实验规则的，即当从背后观察处于瞄准击球状态和完成状态中的人时，腰部凸出最多，因此，在两个状态的任一状态中具有最小的x-轴坐标数值的像素可以被认为是腰部。

[膝盖后部的特征点P10（x10，y10)]

判断部7f计算瞄准击球状态帧和击球状态帧之间的差异。

图32显示了计算出的差异的二值化图像D5。

判断部7f设定在二值化图像D5中的搜索区域F7。搜索区域F7以白色背景被显示在图32上，且它的x坐标和y坐标的范围被设定为如下范围：

x9≦x≦x9+10像素，

0.5*(y9+y4)-10≦y≦0.5*(y9+y4)+10，

其中

x9：腰部的特征点P9的x-轴坐标，

y4：右脚脚后跟的特征点P4的y坐标，以及

y9：腰部的特征点P9的y坐标。

这个搜索区域F7是基于图像合成被预先确定的。

接下来，判断部7f定位存在于搜索区域F7中的其x-轴坐标数值为最大的一个差异像素，然后判断部7f将这个像素的位置提取出来作为膝盖后面的特征点P10。

这个处理是基于实验规则的，即当从后面观察处于瞄准击球状态和击球状态中的人时，膝盖的后面变得最凹，因此，在两个状态的任一状态中具有最大的x-轴坐标数值的像素可以被认为是膝盖的后面。

[背部的特征点P11（x11，y11）]

判断部7f沿着如图33所示直线（Lc）的法线方向将距离直线（Lc）的中点Lc1以外25像素的位置提取出来作为背部的特征点P11，直线（Lc）是头顶部的特征点P7和腰部的特征点P9之间延伸的直线。

这是基于人体的平均身体形状凭经验定义的。

[肩部区域的特征点P12(x12，y12）]

判断部7f沿着如图33所示的直线（Ld）的法线方向将直线（Ld）的中点Ld1往内30像素的位置提取出来作为肩部区域的特征点P12，直线（Ld）是从前额的特征点P8和手的特征点P1之间延伸的直线。

这是基于人体的平均身体形状凭经验定义的。

[遮盖区域确定步骤]

接下来，基于特征点P1-P12，判断部7f设定遮盖区域。--步骤S103

首先，判断部7f通过按如图34所示的特征点P1-P6-P5-P3-P4-P10-P9-P11-P7-P8-P12-P1的顺序用直线段连接这些特征点来定义闭合区段。接下来，利用构成上述直线段的连接线，判断部7f设定第一遮盖区域M1。第一遮盖区域M1是由在上述的连接线的外面引出的之间以某个特定距离（d）平行于连接线的线（Le）形成的封闭区域。

更进一步地，判断部7f定义第二遮盖区域M2。第二遮盖区域M2向特征点P1和P2之间引出的直线的两边延伸以便包括高尔夫球棒杆。

此外，判断部7f定义第三遮盖区域M3。第三遮盖区域M3为矩形且比球头大并包括球头的特征点P2。

然后,判断部7f计算并定义遮盖区域M，遮盖区域M是第一、第二和第三遮盖区域的逻辑和，并且判断部7f将遮盖区域M储存在存储器8中。

以上所述距离(d)是确定的以便遮盖区域M包括人体10和高尔夫球杆11以及围绕人体10和高尔夫球杆11的背景的狭窄部分。这样的距离(d)对应于若干像素，例如，大约10像素。

在本实例中，矩形的第三遮盖区域M3的较佳尺寸是，例如，在x-轴方向上30像素和在y-轴方向上25像素。

这些设定可以依据图像合成被任意地改变。

[人体区段确定步骤]

接下来，基于特征点P1-P12，判断部7f的人体区段设定部执行人体区段确定步骤S104。

这个步骤S104是用于定义人体区段Z。人体区段Z是在遮盖区域M中仅包含一些像素的区域，遮盖区域M有构成人的轮廓11的较大可能性。

首先，以下用于设定人体区段的基点Z1-Z6如图35中所示被提取出来。

基点Z1是穿过头顶部的特征点P7且平行于y-轴的直线，与穿过前额的特征点P8且平行于x-轴的直线之间的交点。基点Z2是头顶部的特征点P7和腰部的特征点P9之间延伸的直线的中点。基点Z3是腰部的特征点P9向右20像素的点。基点Z4是膝盖的背面的特征点P10向右20像素的点。基点Z5是右脚脚后跟的特征点P4向右20像素并向上20像素的点。基点Z6是基点Z2和肩部区域的特征点P12之间延伸的直线的中点。如图所示，基于实验规则和图像合成，基点Z1-Z2被设在特征点P1-P12的内部（人的侧面）。

接下来，利用基点Z1-Z6，判断部7f定义人体区段Za并将其储存在存储器8中。

人体区段Za是由线按Z1-Z2-Z3-Z4-Z5-Z4-Z6-Z1的顺序连接基点而围起来的区域。

在本实例中，为了增加准确度，线段Z4-Z6被定义为凹向后背侧的弯曲的线，线段Z4-Z6由基点Z5和Z4之间引出的直线从基点Z4向上延伸的延长线，以及从基点Z6向下延伸的平行于基点Z2和Z3之间引出的直线的直线构成。

同样，线段Z1-Z6被定义为凹向后背侧的弯曲的线，线段Z1-Z6由从基点Z6延伸出来并平行于y-轴的直线，以及基点Z1和Z2之间引出的直线的一部分构成。

在人体区段Za的边界上的像素被视为包含在人体区段Za中。基于实验规则，如上所定义的存在于人体区段Za中的像素具有在瞄准击球状态下构成人11的图像的较大可能性。

[人体范围确定步骤]

接下来，判断部7f的人体范围确定部执行人体范围确定步骤S105。

这个步骤S105是基于在瞄准击球状态帧的人体区段中的像素的直方图和瞄准击球人体区段中的像素的色彩数据在直方图上判定人体范围。

人体范围是关于代表人体的直方图的等级（在本实例中，亮度和色调）的范围。

根据实验规则，在瞄准击球状态帧的人体区段Za中的像素具有代表人的较大可能性。于是，通过应用像素的亮度和色调，人体范围可以在直方图上被准确地定义。

图36显示了人体范围确定步骤的实例的流程图。

在本实例中，首先，判断部7f寻找存储器8并在瞄准击球状态帧的人体区段Za中选择出还未经过处理的像素。--步骤S1051

对于包含所涉及像素的跨帧子集的像素的亮度（或者色调）直方图，判断部7f判定直方图的左端和右端(Lleft和(Lright))（如果是色调，Hleft和Hright）。--步骤S1052

图37显示了亮度（或者色调）经过光滑处理的直方图的实例。

亮度直方图的最大频率Lmiddle以及色调直方图的最大频率Hmiddle位于各自直方图的左端和右端之间。

左端（Lleft）被判定为当从最大频率开始向左侧检验时帧的数目（频率）变为零的位置。

右端（Lright）被判定为当从最大频率开始向右侧检验时帧的数目（频率）变为零的位置。

这里，为了消除噪声的影响，较佳的是零点的位置持续至少三个连续的等级。换言之，位置因此被确定。

用这种方法，对于在瞄准击球状态帧的人体区段Za中的任何像素，包含所涉及像素的跨帧子集的亮度（或者色调）直方图的范围的两端被确定。

接下来，判断部7f判定直方图的左端（Lleft）和右端（Lright）之间的差异的绝对值|Lright-Lleft|（如果是色调，|Hright-Hleft|）是否是在指定的等级范围以内。--步骤S1053

在本实施例中，判断部7f判定差异的绝对值|Lright-Lleft|是否不小于1且不大于14级。如果需要，这个等级范围可以被改变。

如果在上述步骤S1053中为“否”，也就是说，如果直方图的等级范围为零或者大于预定值，那么判断部7f将在所涉及的像素位置的所有帧的像素（也就是说，在包含所涉及的像素的跨帧子集中的所有像素）定义为代表“背景”的像素。--步骤S1057

如果在上述步骤S1053中为“是”，色彩距离D被计算出来。--步骤S1054

例如，当像素的色彩数据是HSV时，像素的色调H1、饱和度S1和亮度V1的色彩矢量是C1，且另一个像素的色调H2、饱和度S2和亮度V2的色彩矢量是C2时，那么这两个像素之间的色彩距离D（C1，C2）可以通过以下表达式被计算出来。因此，在这个步骤中计算出的是具有与所述涉及的像素的亮度（色调）相同等级的像素的HSV平均和从Lright到Lleft具有相同等级的像素的HSV平均之间的色彩距离。

D(C1,C2)=aΔH'+bΔS'+cΔV'

其中

a,b,c：常数(在本实例中,a=5.1,b=2.25,c=2.65)

ΔH'=ΔH/4.0

ΔS'=ΔS/2.0

ΔV'=ΔV/2.0

ΔH={(X1-X2)²+(Y1-Y2)²}^1/2

ΔS=|S1/100-S2/100|

ΔV=|V1/100-V2/100|

X1=S'_avgcos(H1×3.6)

Y1=S'_avgsin(H1×3.6)

X2=S'_avgcos(H2×3.6)

Y2=S'_avgsin(H2×3.6)

S'_avg=(S1'+S2')/2

S1'=log₁₀(S1/100×99+1.0)

S2'=log₁₀(S2/100×99+1.0)。

接下来，对于所讨论的在跨帧子集中的像素的每一个组合，判断部7f判断色彩距离是否为不超过0.25。--步骤S1055

色彩距离的这个阈值0.25可以作不同的改变。

如果步骤S1055中为“是”，那么直方图的左端和右端（Lleft和Lright）之间的等级范围被定义为人体范围。--步骤S1056

如果步骤S1055中为“否”，那么在所涉及的子集中的所有像素被定义为代表“背景”的像素。--步骤S1057

接下来，判断部7f判断是否已经基于亮度直方图和色调直方图两者做出判断。--步骤S1058

如果已经基于亮度直方图但没有基于色调直方图做出判断，那么步骤S1052以及随后的步骤将根据色调直方图被执行。在这种情况下，在这些步骤的描述中的“亮度”、“左端（Lleft）”和“右端（Lright）”应该被分别替换为“色调”、“左端Hleft”和“右端Hright”。

接下来，判断部7f判断是否已经如所述的对人体区段Za中的每一个像素判定人体范围。--步骤S1059

如果为“否”，那么下一个像素被选择（步骤S1051），且步骤S1052和随后的步骤被执行。

如果在步骤S1059中为“是”，那么流程返回到主流程。

如上所述，利用瞄准击球状态帧的被认为是确定地代表人体的每个像素，人体范围被判定为满足以下条件，包含所涉及的像素的跨帧子集的亮度（或者色调）直方图具有特定的等级范围，以及其中在像素的所有组合中，色彩距离不超过特定的值，这意味着彼此之间的色彩较接近。于是，人体范围确定步骤可以准确地判定人体范围。

[人体范围传播步骤]

接下来，基于步骤S105中定义的人体范围，判断部7f的人体范围传播部执行人体范围传播步骤。

人体范围传播步骤是用于将人体范围传播至关于人体区段Za外面的像素的直方图。--步骤S106

通常，每个代表人体的相邻像素基本上常常具有相同的色彩。因此，在它们的直方图（如上述所定义的）中，各个人体范围基本上具有相同的等级范围。当然，相应的像素基本上具有相同的色彩。

人体范围传播步骤是基于这些事实的，在这个步骤中，人体范围被定义在人体范围还没有被定义的未被判断的像素（跨帧子集）上并且该未被判断的像素被包含在人体范围已经以高度的精确性被定义的判断后的像素（跨帧子集）的八个邻近像素（跨帧子集组）中。

这里，“八个邻近像素”是邻近于所讨论的像素的左边、左上方、上方、右上方、右边、右下方、下方和左下方的像素。

图38示了人体范围传播步骤的实例的流程图。

在本实例中，判断部7f首先生成距离（dij）映射图。--步骤S1061

如图39所示，距离（dij）映射显示了距离人体区段Za（图中的阴影区）的距离，其中最靠近人体区段Za的像素的距离的值为“1”，且数值随距离的增加逐一增加。

接下来，判断部7f将定义或者限定传播范围的参数（t）设定为初始值1。--步骤S1062

判断部7f寻找距离映射图并判断未被判断的像素（像素距离（dij）≦t）的八个邻近像素是否包括判断后的像素。--步骤S1063

如果步骤S1063中为“否”，也就是说，判断后的像素没有被包含在八个邻近像素中，这意味着所讨论的未被判断的像素不与人体范围已经被定义的任何像素相邻近（连续）。

在这种情况下，因为以上所提及的条件没有被满足，包含所讨论的未被判断的像素的跨帧子集的所有像素被定义为“背景”。--步骤S1070

如果步骤S1063中为“是”，也就是说，八个邻近像素包括一个以上判断后的像素，那么判断部7f将所涉及的未被判断的像素的亮度和色调分别设定为LBmiddle和HBmiddle。--步骤S1064

接下来，判断部7f判断传播条件1是否被满足。--步骤S1065

传播条件1是指将被判断的未被判断的像素的亮度和色调近似于关于判断后的像素的人体范围中的亮度的模式和色调的模式。因此具体而言，按如下所述进行计算。

[传播条件1]

（当亮度时）

LAmax-beta≦LBmiddle≦LAmax+beta，

D(CLBmiddle,CLAmax)≦ρ，

其中

LAmax：在关于判断后的像素的人体范围[Lleft，Lright]中的亮度的模式，

beta：常数（在本实例中为3），

ρ：常数（在本实例中为0.25），

D：色彩距离，

CLBmiddle：瞄准击球状态帧中的未被判断的像素的色彩矢量，

CLAmax：模式值的判断后的像素的色彩矢量。

（当色调时）

HAmax-beta≦HBmiddle≦HAmax+beta，

D(CHBmiddle,CHAmax)≦ρ，

其中

HAmax：在关于判断后的像素的人体范围[Hleft，Hright]中的色调的模式，

beta：常数（在本实例中为3），

ρ：常数（在本实例中为0.25），

D：色彩距离，

CHBmiddle：瞄准击球状态帧中的未被判断的像素的色彩矢量，

CHAmax：模式值的判断后的像素的色彩矢量。

如果步骤S1065中为“是”，也就是说，未被判断的像素满足传播条件1，那么判断部7f判定关于所涉及的未被判断的像素的直方图的左端和右端（LBleft、LBright、HBleft、HBright）。--步骤S1066

图40显示了关于所涉及的未被判断的像素经过平滑处理的亮度（或者色调）直方图的实例。

亮度直方图的最高频率LBmiddle和色调直方图的最高频率HBmiddle位于各自直方图的左端和右端之间。左端（LBleft）被判定为当从最大频率开始向左侧检验时帧的数目（频率）变为零的位置。右端（LBright）被判定为当从最大频率开始向右侧检验时帧的数目（频率）变为零的位置。这里，为了消除噪声的影响，较佳的是零点的位置持续至少三个连续的等级。换言之，位置因此被确定。用这种方法，亮度（或者色调）直方图的范围的两端被确定。

接下来，判断部7f判断未被判断的像素是否满足传播条件2。--步骤S1067

传播条件2是指关于将被判断的未被判断的像素的亮度直方图和色调直方图分别存在于预定的狭窄等级范围以内。具体而言，为此按如下所述进行计算。

[传播条件2]

（当亮度时）

1≦|LBright-LBleft|≦14，

LAleft-γ≦LBleft≦LAleft+γ，

LAright-γ≦LBright≦LAright+γ，

其中

LAleft：关于判断后的像素的人体范围的左端，

LAright：关于判断后的像素的人体范围的右端，

γ：常数（在本实例中为4）。

（当色调时）

1≦|HBright-HBleft|≦14，

HAleft-γ≦HBleft≦HAleft+γ，

HAright-γ≦HBright≦HAright+γ，

其中

HAleft：相对于判断后的像素的人体范围的左端，

HAright：相对于判断后的像素的人体范围的右端，

γ：常数（在本实例中为4）。

如果步骤S1067中为“是”，也就是说，传播条件2被满足，那么判断部7f判断未被判断的像素是否满足传播条件3。--步骤S1068

[传播条件3]

关于亮度的传播条件3是指在亮度直方图的相同等级内的像素的平均色彩p（其中，p∈[LBleft，LBright]）和作为LBmiddle的所有像素的平均色彩p之间的色彩距离D不超过一个常量（在本实例中为不超过0.25）。

关于色调的传播条件3是指在色调直方图的相同等级内的像素的HSV平均m（其中，m∈[HBleft，HBright]）和作为LBmiddle的所有像素的平均色彩之间的色彩距离D不超过一个常量（在本实例中为不超过0.25）。

通过检验传播条件3，变得可以确认亮度和色调直方图色调直方图具有趋向相同色彩的趋势。

如果未被判断的像素满足传播条件3，那么对于关于上述未被判断的像素的亮度和色调直方图中的每一个直方图，判断部7f判定在其中传播条件1-3都被满足的等级范围，并将这个等级范围定义为人体范围且将其他范围定义为背景范围。--步骤S1069

如果未被判断的像素没有满足传播条件1、2和3中的至少一个（如果步骤S1065、1067或者1068中为“否”），那么判断部7f将在包含所涉及的未被判断的像素的跨帧子集中的像素定义为“背景”。--步骤S1070

接下来，判断部7f判断所有未被判断的像素是否已经被处理。--步骤S1071

如果步骤S1071中为“否”，那么下一个像素被选择且步骤S1063和随后的步骤被执行。

如果这个步骤S1071中为“是”，那么判断部7f将以上所提及的限定传播范围的参数t增加1从而扩大传播范围。--步骤S1072

接下来，判断部7f判断参数t的数值是否不超过预定的最大值（在本实例中为100）。--步骤S1073

如果在这个步骤S1073中为“是”，那么流程返回到主流程。

如果步骤S1073中为“否”，那么参数t被增加1且步骤S1063以及随后的步骤被执行。

[背景范围确定步骤]

接下来，基于关于未遮盖区域中的而不是遮盖区域M中的像素以及在瞄准击球状态帧的未遮盖区域的像素的色彩数据的直方图，判断部7f的背景范围判断部确定背景范围。--步骤S107

背景范围是代表背景的直方图（亮度、色调）的等级范围。

在瞄准击球状态帧的未遮盖区域中的像素具有代表背景的较高可能性。于是，通过应用在未遮盖区域中的像素的亮度和色调，背景范围可以在直方图上被准确地定义。

因为背景范围确定步骤的流程和流程图基本上与图36中所示的人体范围确定步骤的流程和流程图相同，所以背景范围确定步骤的流程和流程图被省略，其中“人体范围”和“背景范围”应该分别用“背景范围”和“人体范围”所替代。

简单地说，判断部7f执行的背景范围确定步骤的流程如下所述。

a）判断部7f选择瞄准击球状态帧的未遮盖区域中的一个像素，该像素还未被处理。--（对应于步骤S1051）

b）对于包含所涉及的像素的跨帧子集的像素的亮度（或者色调）的直方图，判断部7f确定直方图的左端和右端（Lleft和（Lright））（如果是色调，Hleft和Hright）。--（对应于步骤S1052）

c）判断部7f确定直方图的左端（Lleft）和右端（Lright）（如果是色调，|Hright-Hleft|）之间的差异的绝对值|Lright-Lleft|是否在特定的等级范围以内。--（对应于步骤S1053）

d）如果之前所提及的步骤c）中为“否”，那么判断部7f将在所涉及的像素位置上的所有帧的像素（也就是说，在包含所涉及的像素位置的跨帧子集中的所有像素）定义为代表“人”的像素。--（对应于步骤S1057）

e）如果之前所提及的步骤c）中为“是”，那么色彩距离D被计算出来。--（对应于步骤S1054）

f）对于在所讨论的跨帧子集中的像素的每一个组合，判断部7f判断色彩距离是否在特定的范围以为。--（对应于步骤S1055）

g）如果步骤f）中为“是”，那么直方图的左端和右端（Lleft和Lright）之间的等级范围被确定为背景范围且在所涉及的子集中的所有像素被定义为代表“背景”的像素。--（对应于步骤S1056）

h）如果步骤f）中为“否”，那么在所涉及的子集中的所有像素被定义为代表“人”的像素。--（对应于步骤S1057）

i）对于在未遮盖区域中的每一个像素，判断部7f执行步骤a)-h)。

如上所述，利用瞄准击球状态帧的被认为是无疑地代表背景的每一个像素，背景范围被确定以便满足以下条件，即包含所涉及的像素的跨帧子集的亮度（或者色调）直方图具有特定的等级范围，且在像素的所有组合中，色彩距离不超过一个特定的值，这意味着色彩之间相互近似。于是，背景范围确定步骤可以准确地确定背景范围。

[背景范围传播步骤]

接下来，判断部7f的背景范围传播部执行背景范围传播步骤S108。

在这个步骤S108中，基于确定的背景范围，背景范围被传播至关于遮盖区域中的像素的直方图。

因为背景范围传播步骤的流程和流程图基本上与图38中所示的人体范围传播步骤的流程和流程图相同，所以背景范围传播步骤的流程和流程图被省略，其中“人体范围”和“背景范围”应该分别用“背景范围”和“人体范围”所替代。

简单地说，如下所述为由判断部7f执行的背景范围传播步骤的流程。

A）判断部7f生成距离（dij）映射图。--（对应于步骤S1061）

B）判断部7f将定义或者限定传播范围的参数（t）的起始值设定为1。--（对应于步骤S1062）

C）判断部7f寻找距离映射图并判断其中背景范围被定义的判断后的像素是否被包含在距离（dij）≤t未被判断像素的八个邻近像素中。--（对应于步骤S1063）

D）如果步骤C）中为“否”，那么包含所讨论的未被判断的像素的跨帧子集的所有像素被定义为“人”。--（对应于步骤S1070）

E）如果步骤C）中为“是”，也就是说，八个邻近像素包含一个以上判断后的像素，那么判断部7f将所涉及的未被判断的像素的亮度和色调分别设定为LBmiddle和HBmiddle。--（对应于步骤S1064）

F）判断部7f判断传播条件1是否被所涉及的未被判断的像素满足。--（对应于步骤S1065）

如果传播条件1被满足，那么判断部7f确定关于所涉及的未被判断的像素的直方图的左端和右端（LBleft、LBright、HBleft、HBright）。--（对应于步骤S1066）

然后，判断部7f判断未被判断的像素是否满足传播条件2。--（对应于步骤S1067）

G）如果传播条件2被满足，那么判断部7f判断未被判断的像素是否满足传播条件3。--（对应于步骤S1068）

H）如果未被判断的像素满足传播条件3，那么对于关于所述未被判断的像素的亮度和色调直方图中的每一个直方图，判断部7f确定其中传播条件1-3都被满足的等级范围，并将等级范围定义为背景范围且余下的范围被定义为人体范围。--（对应于步骤S1069）

I）如果未被判断的像素不满足传播条件1、2和3中的至少一个条件，那么判断部7f将包含所涉及的未被判断的像素的跨帧子集中的像素定义为“人”。--（对应于步骤S1070）

J）如果所有未被判断的像素已经被处理，那么判断部7f将限定传播范围的参数t增加1以便扩大传播范围。--（对应于步骤S1072）

K）步骤C）-J）被重复直至参数t达到预定的最大值。

[连续性检验步骤]

接下来，判断部7f的连续性检验步骤检验背景范围和人体范围的连续性。--步骤S109

图41是用于说明之前的处理的图。如图所示，人体范围传播步骤是用于通过利用在人体区段中的像素来向外传播人体范围。相反地，背景范围传播步骤是用于通过利用在未遮盖区域中的像素来向内传播背景范围。

对以下领域中的每一个领域，经过这两个步骤，通过两种不同的方法做出对人体范围和背景范围的确定：人体区段内部（人体范围确定步骤和背景范围传播步骤）；人体区段外部和遮盖区域内部（人体范围传播步骤和背景范围传播步骤），以及未遮盖区域的内部（背景范围确定步骤和人体范围传播步骤）。

因此，有非连续性存在于由这些不同的方法所确定的范围之间的可能性。在本实施例中，因此，为了解决这种非连续性，连续性检验步骤被执行。

图42显示了连续性检验步骤的流程图的实例。

首先，判断部7f判断连续性条件1是否被满足。--步骤S1091

在本实例中，连续性条件1为如下所述。

[连续性条件1]

D（Cb；Ch）<0.3

关于其中背景范围和人体范围经过人体范围传播步骤、背景范围传播步骤、人体范围确定步骤或者背景范围确定步骤被确定的跨帧子集，在背景范围中的像素的（明度和色调）值的平均Cb和在人体范围中的像素的（明度和色调）值的平均Ch之间的色彩距离D（Cb；Ch）比预定的固定值（本实例中为0.3）小。

如果这个步骤S1091中为“否”，那么判断部7f将确定后的人体范围和背景范围判断为被正确地确定。且，其余范围被确定为背景范围。--步骤S1095

在连续性条件1中，背景范围的平均是否过度接近于人体范围的平均被检验。因此，如果连续性条件1不被满足，那么判断部7f判断人体范围和背景范围在色彩上足够的互不相同并将之前的确定的结果视为正确的结果。

如果步骤S1091中为“是”，也就是说，连续性条件1被满足，那么判断部7f判断连续性条件2是否被满足。--步骤S1092

在本实施例中连续性条件2为如下所述：

[连续性条件2]

D(Cb;Cback)<D(Cb;Chuman)---(1)，

A>B---(2)，

其中

D(Cb;Cback)：在所涉及的范围中的像素的值的平均Cb和在背景范围中的像素的色彩矢量Cback之间的色彩距离，该在背景范围中的像素是关于在未遮盖区域中的作为传播中的源的像素，

D(Cb;Chuman)：在所涉及的范围中的像素值的平均Cb和在人体范围中的像素的色彩矢量Chuman之间的色彩距离，该在人体范围中的像素是关于在人体区段中的作为传播中的源的像素，

Fb：关于满足D(Cb;Ch)<0.3的像素的在跨帧子集的背景范围中的帧或者像素，

Fback：对应于Cback的在背景范围中的帧或者像素，

Fhuman：对应于Chuman的在人体范围中的帧或者像素，

A：包含在Fb和Fback/Fback的数量两者中的像素的数量，

B：包含在Fb和Fhuman/Fhuman的数量两者中的像素的数量。

图43显示了用于说明背景范围和人体范围的传播的直方图。

如果在背景范围中的关于像素的像素平均色彩的色彩距离从传播中的源的背景色彩和传播中的源的人体色彩中被计算出来，那么有距离背景颜色的色彩距离变得比距离人体色彩的色彩距离小的可能性。这在连续性条件2中通过不等式（1）被检验。

如果跨帧子集包括的作为背景的帧或者像素超过作为人的帧或者像素，那么这个子集的背景范围比其他的更加可信。这在连续性条件2中通过不等式（2）被检验。

如果步骤S1092中为“是”，也就是说，连续性条件2也被满足，那么判断部7f将所涉及的范围定义为背景范围。--步骤S1094

如果连续性条件2不被满足，那么判断部7f将所涉及的范围定义为人体范围。--步骤S1093

经过上述处理，所有帧的所有的像素分别被分类为“背景范围”或者“人的范围”。在跨帧子集组中的每一个跨帧子集中，根据亮度直方图和色调直方图，每个像素可以被定义为背景或者人。

图44-46显示了在本实施例中从瞄准击球状态帧、后挥上顶帧和挥杆完成状态帧中提取出的人的轮廓。在这个方法中，人的轮廓被几乎准确地提取出来。利用这样的轮廓，可以做出对高尔夫挥杆的有效诊断。

在本发明中，可以有多种变形。

例如，当在高尔夫练习场范围中摄像机4对挥杆进行拍摄时，有可能一个以上支撑高尔夫练习场范围的网的柱子16被包含在如图47所示的每个帧的背景中。

这样的柱子16在每个帧中垂直地延伸，因此，柱子16中断了出现在背景中的每个色彩的水平的连续性。这趋向于变成降低背景范围传播步骤的准确度的原因。于是，通过预先检测在背景中的柱子16，在背景范围传播步骤中的传播操作可以绕过代表柱子16的像素，并从而可以增加背景范围传播步骤的准确度。

柱子具有以下特性或者规律性：

A）它位于每个帧的上方区域

（例如0≦y≦250），

B）它具有相当多地非彩色的色彩，

C）它几乎垂直地延伸（倾角最多为2度），

D）它的在x-轴方向上的宽度在特定地像素范围以内（在本实例中为1到11像素）。

在本实施例中，基于以上所提及的规律性，以及在瞄准击球状态帧中的关于像素中的每一个像素的数据，对柱子的像素进行搜索。且对应于在瞄准击球状态帧中的柱子16的等级范围的柱子范围被确定。

然后，在上述所提及的背景范围确定步骤中，柱子范围的像素被绕过。

图48显示了象素阵列，其中有阴影的像素表示柱子16的一部分。当像素9在背景范围传播步骤中被处理时，像素9的八个邻近像素是规定的像素1-8。然而，在本实例中，像素3、5和8是柱子。于是，这些像素被绕过或者跳过，且像素1、2、4、6、7、3'、5'和8'被视为八个邻近像素。因此，例如即使当像素1、2、4、6和7是未被判断的像素时，如果像素3'、5'和8'中的一个像素是判断后的像素，那么利用这样的判断后的像素，对像素9的背景范围可以被确定。

本发明的轮廓提取系统可以仅通过智能手机2的CPU执行本发明的方法而被具体化，本发明的方法的执行仅仅是通过智能手机而没有连接服务器。

涉及轮廓提取方法的对比试验

图49显示了原始图像和作为实例1和参考1的轮廓。实例1是通过根据本发明的方法从原始图像中提取出的。参考1是通过上述所提及的专利文献1中公开的方法从原始图像中提取出的。

图50显示了原始图像和作为实例2和参考2的轮廓。实例2是通过根据本发明的方法从原始图像中提取出的。参考2是通过上述所提及的专利文献1中公开的方法从原始图像中提取出的。

图51显示了原始图像和作为实例3和参考3的轮廓。实例3是通过根据本发明的方法从原始图像中提取出的，其中，在背景范围传播步骤中，传播绕过代表柱子的像素。参考3是通过上述所提及的专利文献1中公开的方法从原始图像中提取出的。在参考3中，柱子的一部分被错误地标记为人。

图52显示了原始图像和作为实例4和参考4的轮廓。实例4是通过根据本发明的方法从原始图像中提取出的，其中，在背景范围传播步骤中，传播绕过代表柱子的像素。参考4是通过上述所提及的专利文献1中公开的方法从原始图像中提取出的。在参考4中，柱子的一部分被错误地标记为人。

如上所述，在根据本发明的用于从捕捉自活动图像的多个帧中的一个帧中提取出人挥舞高尔夫球杆的轮廓的方法和系统中，对于在其中一个帧中的每个像素，跨帧子集被生成，该跨帧子集是在所涉及的像素的位置上的所有帧的像素的子集。对于每个跨帧子集，色彩数据的直方图被生成。从被捕捉到的帧中，地址状态帧被提取出来。使用高尔夫球杆的人的特征点位于瞄准击球状态帧中。基于特征点所在的位置，包含人、高尔夫球杆和背景的一部分的遮盖区域被定义，且在遮盖区域内人体区段被定义。基于人体区段中的像素的色彩数据和关于像素中的每一个像素的直方图，人体范围被确定，该人体范围是代表人的直方图的等级范围。人体范围被传播为关于人体区段外面的像素的直方图传播。基于直方图和在未遮盖区域中的像素的色彩数据，背景范围被确定，该背景范围是代表背景的直方图的等级范围。对于遮盖区域中的像素，背景范围被传播为关于遮盖区域中的像素的直方图传播。

因此，即使人和背景具有近似的色彩，人可以与背景区分开来且轮廓可以被准确地提取出来。

Claims (16)

1.一种轮廓校正方法，其特征在于，用于通过将帧的每个像素标记为人或者背景来校正所述人的轮廓，所述人的轮廓是从包含所述人和所述背景的所述帧中提取出来的，其中，在作为所述帧的至少一部分的目标区域中的像素被重新标记，

所述轮廓校正方法包括：

通过利用在所述目标区域中被标记为所述人的像素，生成频率和等级分别为像素的数量和所述像素的色彩数据的人直方图的步骤，

通过利用在所述目标区域中被标记为所述背景的像素，生成频率和等级分别为像素的数量和所述像素的色彩数据的背景直方图的步骤，

对于在所述目标区域中的每个像素，通过利用在所述目标区域中的所述人直方图、所述背景直方图和每个像素的色彩数据，计算所述像素的第一连接成本的步骤，像素的所述第一连接成本代表与所述人的所述色彩数据的相似度和与所述背景的所述色彩数据的相似度连接成本，

对于在所述目标区域中的每个像素，通过利用相邻像素之间的差分，计算所述像素的第二连接成本的步骤，所述像素的所述第二连接成本代表相邻像素之间的色彩数据的连续性连接成本，

校正步骤，在所述校正步骤中，制作出顶点是所述目标区域中的所述像素、且所述顶点之间的边缘是所述第一连接成本和所述第二连接成本的曲线图制作出，并且计算最小切割，通过所述最小切割，所述曲线图被分成两部分，以使所述第一连接成本和所述第二连接成本的总和变得最小，并且基于所述最小切割，在所述目标区域中的所述像素被重新标记，以便校正所述轮廓，其中

通过以下表达式计算所述第一连接成本

Ph_(I)(x,y)＝nh_(I)(C_(I)(x,y))×λ/th

以及

Pb_(I)(x,y)＝nb_(I)(C_(I)(x,y))×λ/tb

其中

Ph_(I)(x,y)：对于具有X-Y坐标(x,y)和色彩数据(I)的目标像素的所述人的所述色彩数据的所述第一连接成本，

nh_(I)(C_(I)(x,y))：在所述人直方图中，具有所述目标像素C_(I)(x,y)的所述色彩数据(I)的像素的频率，

th：在目标区域中被标记为所述人的所述像素的总数，

Pb_(I)(x,y)：对于具有X-Y坐标(x,y)和色彩数据(I)的所述目标像素的所述背景的所述色彩数据的所述第一连接成本，

nb_(I)(C_(I)(x,y))：在所述背景直方图中，具有所述目标像素C_(I)(x,y)的所述色彩数据(I)的像素的频率，

tb：在所述目标区域中被标记为所述背景的所述像素的总数，且

λ：常数。

2.如权利要求1所述的轮廓校正方法，其特征在于，

对于从所述背景被重新标记为所述人的每个像素，所述频率nb_(I)(C_(I)(x,y))被乘以大于1的常数，以便提高与所述背景的所述色彩数据的所述相似度，以及

再次计算所述第一连接成本和所述第二连接成本，然后

再次执行所述校正步骤。

3.如权利要求1或2所述的轮廓校正方法，其特征在于，进一步包括：

校正之前的轮廓和校正之后的轮廓的逻辑乘积的图像被制作出并被替换的步骤。

4.一种轮廓校正系统，用于实现如权利要求1所述的轮廓校正方法，其特征在于，包括：

存储器，关于所述帧的所述像素的数据被储存在所述存储器中，以及

运算部，所述运算部包括：

人直方图生成部，

背景直方图生成部，

第一连接成本计算部，

第二连接成本计算部，以及

校正部，

其中，

所述人直方图生成部通过利用在所述目标区域中被标记为所述人的像素，生成频率和等级分别为像素的数量和所述像素的色彩数据的人直方图，

所述背景直方图生成部通过利用在所述目标区域中被标记为所述背景的像素，生成频率和等级分别为像素的数量和所述像素的色彩数据的背景直方图，

所述第一连接成本计算部通过利用在所述目标区域中的所述人直方图、所述背景直方图和每个像素的色彩数据，对于在所述目标区域中的每个像素，计算所述像素的第一连接成本，所述像素的第一连接成本代表与所述人的所述色彩数据的相似度和与所述背景的所述色彩数据的相似度连接成本，

所述第二连接成本计算部通过利用相邻像素之间的差分，对于在所述目标区域中的每个像素，计算所述像素的第二连接成本的步骤，所述像素的所述第二连接成本代表相邻像素之间的色彩数据的连续性连接成本，

所述校正部制作出顶点是所述目标区域中的所述像素、且所述顶点之间的边缘是所述第一连接成本和所述第二连接成本的曲线图，并且计算最小切割，通过所述最小切割，所述曲线图被分成两部分，以使所述第一连接成本和所述第二连接成本的总和变得最小，并且基于所述最小切割，在所述目标区域中的所述像素被重新标记，以便校正所述轮廓。

5.一种轮廓提取方法，其特征在于，

用于通过应用从多个帧获得的色彩数据，从捕捉自人挥动高尔夫球棒的活动图像的所述多个帧中的一个帧中提取所述人挥动所述高尔夫球棒的轮廓，

所述轮廓提取方法包括：

关于一个帧中的每个像素，生成跨帧子集的步骤，所述跨帧子集是在所关心的像素的位置处的所述帧的像素的子集的步骤，

关于所述跨帧子集组中的每一个跨帧子集，生成频率和等级分别为帧的数目和像素的色彩数据的直方图的步骤，

从捕捉到的帧中提取瞄准击球状态帧的步骤，所述瞄准击球状态帧是包含正在瞄准击球的人的帧，

对于所述瞄准击球状态帧，使用高尔夫球棒的人的预定的特征点被定位的步骤，

基于所述特征点所在的位置，设定遮盖区域的步骤，所述遮盖区域是包含所述人、所述高尔夫球棒以及在所述人和所述高尔夫球棒周围的背景的一部分的区域，

基于所述特征点所在的位置，在所述遮盖区域中定义人体区段的步骤，在所述人体区段中，所包含的像素具有代表所述人的大可能性，

基于瞄准击球状态帧的所述人体区段中的所述像素的色彩数据和关于所述人体区段中的每个像素的直方图，对于所述直方图中的每一个直方图，确定人体范围的步骤，所述人体范围是代表所述人的所述直方图的等级范围，

确定的人体范围被传播到关于所述人体区段外面的像素的直方图传播的步骤，

基于关于所述遮盖区域的外部的未遮盖区域中的每个像素的直方图以及在所述瞄准击球状态帧的所述未遮盖区域中的所述像素的色彩数据，对所述直方图中的每一个直方图，确定背景范围的步骤，所述背景范围是代表所述背景的所述直方图的等级范围，

确定的背景范围被传播到关于所述遮盖区域中的所述像素的所述直方图传播的步骤。

6.如权利要求5所述的轮廓提取方法，其特征在于，

所述跨帧子集的直方图包括：

第一直方图，其中，所述色彩数据是在所述跨帧子集中的所有像素的亮度，

第二直方图，其中，所述色彩数据是在具有彩色的色彩的所述跨帧子集中的所述像素的色调，

第三直方图，其中，所述色彩数据是在具有非彩色的色彩的所述跨帧子集中的所述像素的亮度。

7.如权利要求5所述的轮廓提取方法，其特征在于，

所述特征点是处于瞄准击球状态的人体的头顶、前额、背部、腰部、膝盖后部、脚后跟、脚趾、大腿、手和肩部、以及高尔夫球棒的棒头。

8.如权利要求6所述的轮廓提取方法，其特征在于，

所述特征点是处于瞄准击球状态的人体的头顶、前额、背部、腰部、膝盖后部、脚后跟、脚趾、大腿、手和肩部、以及高尔夫球棒的棒头。

9.如权利要求5所述的轮廓提取方法，其特征在于，

限定所述遮盖区域的所述步骤包括：

通过连接所述特征点来限定初始阶段遮盖区域的步骤，以及

通过预定的区域或者像素来扩张所述初始阶段遮盖区域的步骤。

10.如权利要求6所述的轮廓提取方法，其特征在于，

限定所述遮盖区域的所述步骤包括：

通过连接所述特征点来限定初始阶段遮盖区域的步骤，以及

通过预定的区域或者像素来扩张所述初始阶段遮盖区域的步骤。

11.如权利要求7所述的轮廓提取方法，其特征在于，

限定所述遮盖区域的所述步骤包括：

通过连接所述特征点来限定初始阶段遮盖区域的步骤，以及

通过预定的区域或者像素来扩张所述初始阶段遮盖区域的步骤。

12.如权利要求8所述的轮廓提取方法，其特征在于，

限定所述遮盖区域的所述步骤包括：

通过连接所述特征点来限定初始阶段遮盖区域的步骤，以及

通过预定的区域或者像素来扩张所述初始阶段遮盖区域的步骤。

13.如权利要求9-12中任一项所述的轮廓提取方法，其特征在于，

限定所述人体区段的所述步骤包括：

基于所述特征点，被认为是所述人体上的点的基点在所述初始阶段遮盖区域内的位置上被限定的步骤，以及

通过利用所述基点，确定人体区段的步骤。

14.如权利要求5-12中任一项所述的轮廓提取方法，其特征在于，

所述轮廓提取方法进一步包括检测在上述提及的一个帧中那个帧代表高尔夫练习场范围的柱子的像素的步骤，且在上述步骤中，确定的背景范围被传播到关于所述遮盖区域中的所述像素的所述直方图传播，传播绕过检测到的代表所述柱子的像素。

15.如权利要求5-12中任一项所述的轮廓提取方法，其特征在于，

所述方法进一步包括验证确定的背景范围和确定后的人体范围的一致性的步骤。

16.一种轮廓提取系统，用于实现如权利要求5中所述的轮廓提取方法，其特征在于，所述轮廓提取系统包括：

摄影机，用于拍摄活动图像，

存储器，用于储存所述活动图像，以及

运算部，所述运算部包括：

跨帧子集生成部，

直方图生成部，以及

判断部，

其中，

关于一个帧中的每个像素，所述跨帧子集生成部生成跨帧子集，所述跨帧子集是在所关心的像素的位置处的所述帧的像素的子集，

关于所述跨帧子集组中的每一个跨帧子集，所述直方图生成部生成频率和等级分别为帧的数目和所述像素的色彩数据的直方图，

所述判断部包括：瞄准击球状态帧提取部、特征点定位部、遮盖区域限定部、人体区段设定部、人体范围确定部、人体范围传播部、背景范围确定部、以及背景范围传播部，

其中，

所述瞄准击球状态帧提取部从捕捉到的帧中提取瞄准击球状态帧，所述瞄准击球状态帧是包含正在瞄准击球的人的帧，

对于瞄准击球状态帧，所述特征点定位部瞄准击球对于使用高尔夫球棒的人的预定的特征点进行定位，

所述遮盖区域定义部基于所述特征点所在的位置限定遮盖区域，所述遮盖区域是包含所述人、所述高尔夫球棒以及在所述人和所述高尔夫球棒周围的背景的一部分的区域，

所述人体区段设定部基于所述特征点所在的位置，限定在所述遮盖区域内的人体区段，所述人体区段是使得其中所包含的像素具有代表人的大可能性，

所述人体范围确定部基于所述瞄准击球状态帧的所述人体区段中的像素的色彩数据和关于所述人体区段中的每个像素的直方图，为每一个直方图确定人体范围，所述人体范围是代表所述人的所述直方图的等级范围，

所述人体范围传播部将确定的人体范围传播到关于所述人体区段外面的所述像素传播的直方图，

所述背景范围确定部基于关于所述遮盖区域的外部的未遮盖区域中的每个像素的直方图以及在所述瞄准击球状态帧的所述未遮盖区域中的所述像素的色彩数据，对所述直方图中的每一个直方图，确定背景范围的步骤，所述背景范围是代表所述背景的所述直方图的等级范围瞄准击球，

所述背景范围传播部将确定的背景范围传播到关于所述遮盖区域中的所述像素的所述直方图。