CN102804204B

CN102804204B - 利用色度键控的姿势识别

Info

Publication number: CN102804204B
Application number: CN201080028299.1A
Authority: CN
Inventors: 宋嵘; J·王; Y·刘; H·张
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2009-06-25
Filing date: 2010-06-23
Publication date: 2015-07-01
Anticipated expiration: 2030-06-23
Also published as: JP5793493B2; WO2010150201A1; CN102804204A; RU2012102412A; US8817125B2; RU2556417C2; JP2012531652A; KR20120112359A; KR101783999B1; US20120092519A1; BRPI1010041A2; EP2446395A1

Abstract

本发明提供一种用于对目标进行分析的方法和系统。该系统包括：布置在目标之后的背景，其中所述背景的颜色允许选自一组颜色；第一单元，用于对所述背景设置给定颜色，以使得所述给定颜色不同于所述目标的颜色；第二单元，用于拍摄包括所述目标和所述背景的图像；以及第三单元，用于根据由所述第二单元拍摄的图像来检测与所述目标相关的至少一个特征。在该系统中，背景的颜色允许设置成不同于目标的颜色。以这样的方式，容易将所拍摄图像中的目标部分与背景部分区分开。这实现对于不同目标，特别是具有不同颜色的目标的稳定识别。

Description

利用色度键控的姿势识别

技术领域

本发明涉及图像处理技术，尤其涉及利用图像处理技术对目标进行分析。

背景技术

利用图像处理技术对例如人手形状的目标进行识别的装置已经在本领域公知，而且还存在一些现有的系统，这些系统利用相机和电子处理装置来识别例如人手的不同姿势。在这些现有系统中，目标的图像通常是在复杂的背景或者具有固定颜色的背景前获取的。但是，不同的目标往往具有不同的颜色(例如因为肤色不同)。当目标颜色和背景颜色接近时，这些现有系统将难以提供准确而稳定的识别。由于这一原因，这些现有的系统在一些需要高精度和良好稳定性的领域的应用受到限制。

因此，需要提供一种技术来以高精度和良好稳定性对诸如人手这样的目标进行检测和分析。

发明内容

提供一种技术以高精度和良好的稳定性对不同目标，特别是具有不同颜色的目标进行检测和分析将是非常有利的。

根据本发明，在待分析的目标之后布置背景，该背景的颜色允许设置成不同于目标的颜色。这样，在拍摄包括该目标和该背景的图像之后，容易将该图像中的目标部分与背景部分区分开。这实现对于不同目标，特别是具有不同颜色的目标的稳定识别。

根据本发明的一个方面，提供了一种用于对目标进行分析的系统和方法。该系统包括：

布置在目标之后的背景，其中所述背景的颜色允许选自一组颜色中的任意一种；

第一单元，用于设置所述背景的颜色，以使得所述颜色不同于所述目标的颜色；

第二单元，用于拍摄包括所述目标和所述背景的图像；以及

第三单元，用于根据由所述第二单元拍摄的图像来检测与所述目标相关的至少一个特征。

这种系统和方法的优势在于：由于背景的颜色非常不同于目标的颜色，因而容易在所拍摄图像中将前景(即，目标部分)和背景区分开。而且，在该系统中，背景的颜色能够根据目标的颜色来设置。由此，即使由于目标的变更而导致目标颜色发生变化，系统仍然能够根据所拍摄的图像可靠地检测出与该目标相关的特征。

优选地，为背景所选择的颜色在色度、亮度、或色度和亮度二者上不同于目标的颜色。根据需要，这种系统可以使用低成本的单色相机或彩色相机作为所述第二单元。

优选地，为背景设置的颜色可以由第一单元中的第一模块来确定。在例子中，该第一模块可以选择默认颜色(例如，绿色)作为背景颜色。在另一个例子中，该背景颜色可以基于用户输入来确定，其中该用户输入指示出用户希望选择的背景颜色。这种系统非常简单且易于操作。在又一个例子中，该背景颜色可以根据检测到的目标的颜色分布和用户输入来确定。这种系统可以帮助患者或用户选择最合适的颜色作为背景的颜色，以便获得目标的更加准确的分析。

优选地，目标的颜色分布可以通过执行以下步骤来自动确定：

为所述背景依次选择多种颜色的子集，以生成一组具有不同颜色的背景；

针对该组背景中的每一个背景，拍摄至少一个包括所述目标和该背景的图像；

基于对于为该组背景拍摄的图像的统计分析，检测所述目标的颜色分布。

这种系统能够自动检测出目标的颜色分布，从而可以在无需用户干预的情况下准确地确定用于背景的最合适的颜色。

在优选实施例中，该目标为身体的一部分(例如人手)，而且该系统进一步包括：第四单元，用于基于由第三单元检测到的至少一个特征来识别所述身体的该部分的姿势。例如，检测到的特征可以是身体的该部分的轮廓。这种系统可准确和稳定地检测出该身体的该部分的姿势，以便进行进一步的分析。

此外，上述系统可以用作康复系统，所述目标是患者的身体的一部分(例如，上肢和手)。所述康复系统进一步评价所识别出的身体的该部分的姿势是否正确，然后返回反馈，例如通过音频或视频信号，以激励患者。因此，这种康复系统可以是基于家用的康复系统，以促进患者自动进行自我运动恢复训练。

根据本发明另一个方面，还提供了一种支持对目标进行分析的装置，该装置包括：

有意布置在所述目标之后的背景元，其中所述背景的颜色允许选自各种颜色中的任意一种；

第一单元，用于为所述背景配置颜色，以使得该给定颜色不同于所述目标的颜色。

这种装置可以与相机和计算设备协作以构成上述康复系统。

参考以下描述的实施例，本发明的这些方面和其它方面将会变得清楚明了。

附图说明

以下将结合实施例和参考附图，更加具体地描述和解释本发明，在附图中：

图1所示为根据本发明实施例的用于对目标进行分析的系统的示意图；

图2所示为图1所示系统的操作过程的流程图；

图3所示为图1中控制器的结构框图；

图4所示为根据本发明实施例的自动检测目标的颜色分布的流程图；

图5所示为根据本发明实施例的康复系统的操作流程图；

图6所示为根据本发明实施例所获得的轮廓的示意图。

在所有附图中，相同的附图标记表示相似或相应的特征和/或功能。

具体实施方式

以下将结合附图详细描述本发明的实施例。

本发明的发明人发现：如果放置在待分析的目标之后的背景的颜色能够被设置成不同于目标的颜色将会非常有利。由于目标和背景之间存在大的色差，因此可以容易地从包括目标和背景的图像中分辨出目标部分。

图1示出基于上述思想的用于对目标进行分析的示例性系统10。该系统10例如可以是手势识别系统等等。如图1所示，系统10包括背景110、控制器120(第一单元)、相机130(第二单元)以及处理单元140，其中处理单元140包括例如检测单元141(第三单元)和其它可选的功能单元142和143(将在后面描述)。

如图1所示，待分析的目标150，例如人手，被置于背景110和相机130之间。这里，背景110的位置和高度可以根据需要进行调节，例如可以调节以适于不同的用户。相机130拍摄包括目标150和背景110在内的图像。相机130可以是数码相机或摄像机。相机130可以通过有线或无线连接耦合到处理单元140，从而将所拍摄的图像从相机130传送到处理单元140，以便进行分析。处理单元140可以是笔记本电脑、PDA、蜂窝电话，或者任意其它具有图像处理功能的电子设备。该处理单元140对所接收的图像进行处理以便从中检测出至少一个与目标150相关的特征。目标的这些特征包括位置、大小、轮廓或者任意其它可以从图像中检测到的特征。

在图1所示的实施例中，背景110的颜色可以选自多种颜色中的任意一种。例如，背景110可以是嵌入有多个LED的LED灯板。该LED灯板的颜色可以是RGB值逐渐增加或逐渐减少的100种不同颜色中的任意一种。但是本发明并不限于此，背景的颜色的数量和类型均可根据需要加以确定。而且，该背景110也不限于LED灯板，其也可以是例如温控变色板等。除了背景颜色之外，背景的纹理也可以根据用户的喜好进行选择和改变，从而可以提供用户友好的界面。

在图1中，控制器120耦合到背景110，以便为背景110选择给定颜色，其中该给定颜色不同于目标的颜色。该控制器120可以作为例如遥控单元的独立单元操作，或者可以与背景110集成在一起(如果其结构简单)，或者集成在处理单元140中。为背景所选择的该给定颜色与目标颜色可以在色度、亮度或这二者上不同。例如，颜色可以用YUV或RGB格式来描述。在YUV格式中，Y表示亮度，而U和V表示色度。假设只考虑目标颜色(例如肤色)的色度，且例如U为80-100，V为120-140，那么该背景的该给定颜色应该远离目标颜色的范围，例如该给定颜色的U和V二者可以约为230。如此设置，目标颜色和背景颜色之间就存在大的色差。这个色差将有利于从相机130拍摄的图像中检测出目标相关的特征(例如轮廓)。

图2示出了系统10的示例性的操作过程。如图2所示，在步骤S210，系统10进行初始化，且目标150(例如人手)被置于背景110之前。在步骤S220，控制器120通过向背景110发送控制信号而将背景的颜色设置成给定颜色。该给定颜色明显不同于目标的颜色。例如，该给定颜色可以是一默认颜色，例如显然不同于黄种人肤色的绿色。控制器120的例子将在下面结合附图3和4进行描述。在步骤S230，相机130拍摄至少一个包括目标150和所配置的背景110的图像。所拍摄的图像被传送到处理单元140。相机130可以根据来自处理单元或控制器的指令来拍摄图像，或者相机130可以一直持续拍摄图像。在步骤S240，处理单元140中的检测单元141对接收到的图像进行图像处理以检测出至少一个与目标相关的特征。由于背景与目标的色差很大，因而检测单元141容易利用已知的技术从所拍摄的图像中分割出目标部分。例如，该分割可以通过使用自动确定的阈值来执行。在检测单元141中，分割出的目标部分被进一步处理，以检测出与目标相关的特征，例如，目标的位置、大小和轮廓等，从而进行进一步分析(例如识别)。用于检测特征的示例性的过程将在下面结合附图5进行详细描述。

在图1中，控制器120可以利用多种方式来实现。图3示出了控制器120的一些例子。

如图3所示，控制器120包括第一模块310，用于为背景110确定给定颜色。例如，如上所述，在初始化期间，第一模块可以选择默认颜色(例如绿色)作为背景的该给定颜色，并且将背景110设置为所述颜色。

还是如图3所示，控制器120还可以包括用户接口320，用于接收用户输入。用户输入直接指示出用户希望选择的背景颜色。在这种情况下，第一模块310将用户输入所指示的颜色确定为给定颜色。这是一种简便的方式，因为在大多数情况下用户总能够主观地为背景选择出不同于目标颜色的颜色。

在另一个例子中，控制器120进一步包括第二模块330，用于检测目标150的颜色分布。在这个例子中，来自用户接口320的用户输入指示出目标的颜色(例如，肤色和衣袖的颜色)。基于用户输入，第二模块330生成目标150的颜色分布，并在第一模块310中，根据该颜色分布确定给定颜色。例如，该给定颜色可以是100种不同颜色中与肤色和衣袖颜色的颜色距离都大于一阈值的一种颜色。而且，给定颜色与目标的颜色分布中各颜色分量的颜色距离越大，预期效果越好。

在另一个实施例中，控制器120可以只包括第一模块310和第二模块330。在这个例子中，第二模块330自动检测出目标150的颜色分布。这种方法对于目标颜色复杂的情况尤为适用。附图4示出示例性的处理流程。

如图4所示，流程从步骤S410开始。在步骤S410中，背景110配置成依次呈现一组颜色(例如，100种不同颜色，或这些颜色的子集)，从而生成具有不同颜色的一组背景。步骤S410可以由第二模块330执行，或者由第一模块310在第二模块330的控制下执行。在步骤S420，针对具有不同颜色的每个背景，相机130在第二模块的控制下拍摄至少一个包括目标150和背景的图像，从而拍摄到具有不同背景颜色的一组图像。在步骤S430，将该组图像直接传送到或经由处理单元140传送到第二模块330。在步骤S440，对该组图像进行统计分析，以检测出目标的颜色分布。

在一个例子中，在步骤S440，通过直方图计算出该组图像中每个图像的RGB分布。这里，由于目标的颜色分布总是相同或相似的，因而通过比较计算出的分布可以得到目标150的颜色分布。在更简单的例子中，将所拍摄的图像一起在R、G、B三个维度上进行累积。由于这些图像的背景颜色是在很大的范围内变化而其目标部分保持不变，因而累积的帧的直方图中存在明显高于其它部分的峰值区域，该峰值区域对应于目标部分的颜色范围，即目标的颜色分布。在检测出目标的颜色分布之后，对于背景的给定颜色可以确定为与目标的颜色分布的中心或峰值位置的颜色距离最大的一种颜色。

图1-4示出了系统10的一些实施例。系统10可以被使用在不同的应用中，例如手势识别系统。对于该识别系统，处理单元140还包括识别单元142，用于根据检测单元141检测到的特征识别出用户的手势。系统10还可以进一步应用到其他系统，例如产品分类系统等等。

图5示出了图1所示的系统10应用为康复系统的例子。康复系统是一种帮助患有运动机能障碍的患者恢复其失去的机能的系统。目前，现有的康复系统包括例如电激励(FES)系统，机器人等。但这些康复系统价格昂贵而且复杂，这限制了它们应用于家庭。因此，在此实施例中，提出了一种价格低廉的家用康复系统，以便患者，例如对上肢和手进行自我运动恢复训练。

在此实施例中，图1所示的系统10用作康复系统。在该康复系统中，处理单元140还包括命令单元(未示出)，用于通过声音或视频信号命令患者执行特定动作。另外，处理单元140还包括如上所述的识别单元142以及判断单元143。判断单元143判断由单元142识别出的姿势是否正确，并返回反馈信号以激励患者。另外，处理单元140还可以包括显示器，用于实时显示所拍摄的图像。

图5示出该康复系统的示例性操作流程。如图5所示，在步骤S510，作为目标150，患者被要求将其上肢和手置于背景110和相机130之间，并且患者根据命令做出特定的动作(例如握拳)。在步骤S520，根据附图2～4的流程，选择背景的颜色以不同于例如患者的肤色和衣袖的颜色。在步骤S530中，按照与图2所示相同的方式，相机130拍摄包括患者上肢和手以及背景的图像，以捕捉上肢和手的状况。在步骤S540，图像被传送到处理单元140中的检测单元141中，以检测出上肢和手的特征。例如，在步骤S540中，在分割出目标部分，即上肢和手的部分之后，利用获得几何中心的算法或者腐蚀算法来检测例如手的中心位置。该中心位置表示该目标的位置，并依次可以用作基准。并且，在步骤S540中，通过高通滤波器(例如利用Sobel算子)对分割出的目标部分，即上肢和手的部分进行滤波，以得到上肢和手的轮廓。优选地，所得到的轮廓还可以进一步进行去模糊处理以消除轮廓的模糊效应。在清晰的边缘将起到重要作用的情况下，去模糊方法非常有利。图6示出从顺序拍摄的至少两个图像中按照上述方法得到的上肢和手的两个轮廓610和620。

接下来，在步骤S550中，识别单元142对所检测到的特征(包括位置和/或轮廓)进一步处理以识别出患者所做出的姿势。这种识别可以用多种方法来实现。例如，基于检测到的中心位置和检测到的轮廓示出的上臂和前臂之间的夹角可以初步识别上肢的姿势。优选地，可以在步骤S550中使用人工神经网络(ANN)算法或最大似然估计方法。对于ANN算法，ANN的输入可以是检测到的轮廓的特征，例如轮廓上的特征点(极值点或拐点)、轮廓上各点与中心位置的距离的均值或标准差等。ANN的输出则标识出所识别出的姿势，例如，图6中的手张开610和握拳620。在步骤S560，判断单元143判断出所识别出的姿势是否与预先定义的正确姿势匹配，并基于判断结果给予反馈信号，例如奖励。在这一激励下，患者可以继续进行自我运动恢复训练。可选地，多个这种康复系统还可以通过网络连接到康复中心。康复中心的医生可以远程帮助两个或更多患者同时进行康复训练。

尽管在附图和以上描述中详细示出和描述了本发明，但是这些示出和描述都应理解为是图示性的和示例性的，而非限制性的；本发明并不限于这里公开的实施例。例如，本发明还可以应用于识别下肢或其他身体部分，或者识别特定装置的空间姿态。可选地，本发明还可以应用于产品分类或其他目标分析的领域。

在实现本发明时，通过研究附图、本公开以及所附权利要求书，本领域技术人员可以了解并想到对所公开的实施例的其他变型。在权利要求书中，单词“包括”并不排除其他元件或步骤，不定冠词“一”和“一个”也不排除多个的可能。单个处理器或其他单元可以实现权利要求书中所述的多个项目的功能。某些手段被记载在相互不同的从属权利要求中这一事实并不表示这些手段的结合不是有利的。计算机程序可以被存储或分发到适合的介质上，例如由其他硬件或作为其他硬件的一部分而提供的例如光学存储介质或固态存储介质，但是也可以以其它形式分发，例如经由互联网或其他有线或无线通信系统。权利要求书中的任何附图标记都不应解释为对范围的限制。

Claims

1.一种用于对目标(150)进行分析的系统(10)，包括：

-布置在所述目标(150)之后的背景单元(110)，用于为所述目标提供背景，所述背景的颜色被允许选自一组颜色中的任意一种；

-控制器(120)，用于：

自动检测出所述目标的颜色分布；

基于所检测出的所述目标的颜色分布来为所述背景确定所述一组颜色中的给定颜色，所述给定颜色不同于所述目标(150)的颜色；以及

将所述背景的颜色设置为所述给定颜色；

-相机(130)，用于拍摄包括所述目标(150)和设置为所述给定颜色的所述背景的图像；

-处理单元(140)，所述处理单元包括检测单元(141)，用于根据由所述相机(130)拍摄的所述图像来检测与所述目标(150)相关的至少一个特征。

2.根据权利要求1所述的系统，其中所述给定颜色在色度和/或亮度上不同于所述目标(150)的颜色。

3.根据权利要求1所述的系统，其中所述控制器(120)包括用于确定所述给定颜色的第一模块(310)，并且

其中所述给定颜色是所述一组颜色中与所述目标(150)的颜色的颜色距离大于一阈值的一种颜色。

4.根据权利要求1所述的系统,其中所述控制器(120)还包括用于检测所述目标(150)的所述颜色分布的第二模块(330)；

其中，所述第二模块(330)被配置为：

将所述背景设置为所述一组颜色中的每一种颜色，同时使所述目标的颜色保持不变；

控制所述相机以在所述一组颜色中的不同颜色的所述背景下拍摄所述目标的一组图像；

接收所述目标的所述一组图像；

将所拍摄的所述一组图像一起在R、G、B维度上进行累积；

生成所累积的所述一组图像的颜色分布的直方图；

查找所述直方图的峰值区域的位置；以及

将所述背景的所述给定颜色确定为与所述峰值区域具有最大颜色距离的一种颜色。

5.根据权利要求1所述的系统,其中所述控制器(120)还包括用于接收用户输入的用户接口(320)；

其中，所述给定颜色是根据所述用户输入来确定的。

6.根据权利要求4所述的系统,其中所述控制器(120)还包括用于接收用户输入的用户接口(320)；并且

其中，所述给定颜色是基于所述用户输入和所检测出的所述目标(150)的颜色分布来确定的。

7.根据权利要求1所述的系统，其中所述目标(150)是身体的一部分，所述系统(10)还包括：

识别单元(142)，用于基于所检测到的所述至少一个特征来识别所述身体的所述部分的姿势。

8.一种用于支持对目标进行分析的装置，包括：

布置在所述目标(150)之后的背景单元(110)，所述背景单元(110)用于为所述目标提供背景，其中所述背景的颜色被允许选自一组颜色中的任意一种；

控制器(120)，被配置为：

自动检测出所述目标的颜色分布；

将所述背景的颜色设置为所述给定颜色。

9.根据权利要求8所述的装置，其中所述控制器(120)还包括用于确定所述给定颜色的第一模块(310)，并且

10.根据权利要求8所述的装置，其中所述控制器(120)还包括用于接收用户输入的用户接口(320)；

其中所述给定颜色是根据所述用户输入来确定的。

11.根据权利要求8所述的装置,其中所述背景单元(110)是嵌入有至少一个LED的板。

12.一种对目标(150)进行分析的方法，包括以下步骤：

-提供(S210)布置在所述目标之后的背景单元(110)，所述背景单元(110)用于为所述目标提供背景，所述背景的颜色被允许选自一组颜色中的任意一种；

-向所述背景提供(S220)所述一组颜色中的给定颜色，所述给定颜色不同于所述目标的颜色；

-拍摄(S230)包括所述目标和设置为所述给定颜色的所述背景的图像；以及

-根据所拍摄的图像来检测与所述目标相关的至少一个特征，

其中所述方法还包括确定所述给定颜色的确定步骤，所述确定步骤包括自动检测出所述目标的颜色分布，其中基于所检测出的所述目标的颜色分布来确定所述给定颜色。

13.根据权利要求12所述的方法，其中所述确定步骤还包括接收用户输入的步骤，并且其中所述给定颜色是基于所述用户输入来确定的。