CN104718559B - 用于图像处理的方法和设备 - Google Patents

用于图像处理的方法和设备 Download PDF

Info

Publication number
CN104718559B
CN104718559B CN201280076397.1A CN201280076397A CN104718559B CN 104718559 B CN104718559 B CN 104718559B CN 201280076397 A CN201280076397 A CN 201280076397A CN 104718559 B CN104718559 B CN 104718559B
Authority
CN
China
Prior art keywords
sampling
color
grader
training
probability distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280076397.1A
Other languages
English (en)
Other versions
CN104718559A (zh
Inventor
李江伟
徐磊
方亦凯
汪孔桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN104718559A publication Critical patent/CN104718559A/zh
Application granted granted Critical
Publication of CN104718559B publication Critical patent/CN104718559B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

公开基于分类信息、关于相应采样是否包括与特定对象类型有关的光学信息来对图像的采样集合中的采样进行分类以及其它操作。其中分类信息包括多个分类器，每个分类器唯一地与多个颜色通道中的一个颜色通道关联。

Description

用于图像处理的方法和设备
技术领域
本发明涉及基于分类信息、关于相应采样是否包括与特定对象有关的光学信息来对图像的采样集合中的采样进行分类。
背景技术
许多图像处理应用需要关于相应采样是否包括与特定对象类型有关的光学信息来对图像采样进行分类。一种用于对图像采样进行分类的方式主要地基于与图像采样中的每个图像采样关联的颜色。
这样的图像处理应用的一个示例是以分割在图像中描绘的特定对象类型的具体对象为目标的图像处理应用。在分割了图像中的具体对象之后，可以在后续图像处理步骤中利用所分割的对象。例如分割图像序列的若干图像中的具体对象可以用作为用于跟踪图像序列中的对象的基础。
然而关于图像采样是否包括与特定对象类型有关的光学信息对它们进行分类在许多情况下不是容易的任务、因此易错。例如图像可以是一方面包括含有与特定对象类型有关的光学信息的采样，而在另一方面它可以包括含有与其它对象类型、即其它图像内容有关的信息的采样。在多数情况下，预先未知在如下图像中包含哪个其它图像内容，对于该图像将执行基于分类信息、关于相应采样是否包括与特定对象类型有关的光学信息对图像的采样集合中的采样进行分类。这可能使区分包括与特定对象类型有关的光学信息的像素与未包括与特定对象类型有关的光学信息的像素变复杂。另外，可变光照条件可能使特定对象类型在不同图像中不同地出现、因此影响在不同图像的采样中包括的与特定对象类型有关的光学信息。另一问题是特定对象类型的具体对象经常变化它们的外观。这可能进一步使图像采样的正确分类变复杂。
发明内容
希望改进基于分类信息、关于相应采样是否包括与特定对象类型有关的光学信息来对图像的采样集合中的采样进行分类。
根据本发明的第一方面，公开一种方法，该方法包括基于分类信息、关于相应采样是否包括与特定对象类型有关的光学信息来对图像的采样集合的采样进行分类，其中分类信息包括多个分类器，每个分类器唯一地与多个颜色通道中的一个颜色通道关联。
根据本发明的第二方面，公开一种计算机程序。计算机程序包括用于在计算机程序在处理器上被执行时执行根据本发明的第一方面的方法的程序代码。
计算机程序可以是例如经由网络、如比如因特网可分发的。计算机程序可以例如在计算机可读介质中可存储或者可编码。计算机程序可以例如至少部分地代表处理器的软件和/或固件。
根据本发明的第三方面，公开一种计算机可读介质。计算机可读介质具有在其上存储的根据本发明的第一方面的计算机程序。
计算机可读介质可以例如被体现为电、磁、电磁、光或者其它存储介质并且可以是可去除介质或者在装置或者设备中固定地安装的介质。这样的计算机可读介质的非限制示例是随机存取存储器(RAM)或者只读存储器(ROM)。计算机可读介质可以例如是有形介质、例如有形存储介质。理解计算机可读介质可由计算机、如比如处理器读取。
根据本发明的第四方面，公开一种计算机程序产品。计算机程序产品包括具有在其上存储的程序代码的至少一个计算机可读非瞬态存储器介质，程序代码在由设备执行时使该设备基于分类信息、关于相应采样是否包括与特定对象类型有关的光学信息来对图像的采样集合中的采样进行分类。其中分类信息包括多个分类器，每个分类器唯一地与多个颜色通道中的一个颜色通道关联。
根据本发明的第五方面，公开一种计算机程序产品，该计算机程序产品包括一个或者多个指令的一个或者多个序列，该一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时至少使设备基于分类信息关于相应采样是否包括与特定对象类型有关的光学信息来对图像的采样集合中的每个采样进行分类。其中分类信息包括多个分类器，每个分类器唯一地与多个颜色通道中的一个颜色通道关联。
根据本发明的第六方面，公开一种设备。该设备包括用于执行根据本发明的第一方面的方法的装置。
根据本发明的第七方面，公开一种设备。该设备被配置为执行根据本发明的第一方面的方法。
根据本发明的第八方面，公开一种设备，该设备包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述设备至少执行根据本发明的第一方面的方法。
在存储器中包括的计算机程序代码可以例如至少部分地代表用于处理器的软件和/或固件。存储器的非限制示例是处理器可访问的RAM或者ROM。
根据本发明的第九方面，公开一种设备。该设备包括用于基于分类信息、关于相应采样是否包括与特定对象类型有关的光学信息来对图像的采样集合中的采样进行分类的装置。其中分类信息包括多个分类器，每个分类器唯一地与多个颜色通道中的一个颜色通道关联。
可以在仅举数例的移动电话、电视机、个人计算机、比如固定个人计算机或者移动个人计算机、例如膝上型或者平板计算机、便携音乐播放器或者游戏设备中包括根据本发明的第六、第七、第八和第九方面的设备。
根据本发明，由于多个分类器中的每个分类器唯一地与多个颜色通道中的一个颜色通道关联，所以每个分类器可以被应用于从图像的采样集合中的采样推导的信息，其中所推导的信息是相应关联的颜色通道特定的。然而由于在分类信息中包括多个分类器，所以仍然可以考虑来自多于一个颜色通道的信息。借助这一方式，可以使采样的、甚至在不同条件之下获取的图像的采样集合中的采样的高程度正确分类成为可能。另外，由于多个分类器中的每个分类器唯一地与多个颜色通道中的一个颜色通道关联，所以可以简化确定每个分类器。此外，为了将分类器应用于采样集合中的采样而需要的计算工作量可以相对低。这可以实现采样的在线或者实时分类。
图像可以具体是数字图像。图像可以具体是彩色图像。通过彩色图像的采样包括多于一个颜色通道中的颜色信息的事实，可以将彩色图像与非彩色图像(灰度图像)区分开。
图像的采样集合可以包括图像的所有采样或者仅包括图像的采样中的一些采样、例如来自图像内的至少一个兴趣区域(ROI)的采样。
采样集合中的采样可以例如是像素。采样可以包括颜色信息、具体为多个颜色通道中的颜色值。
在本发明的情境中，分类器可以视为在判决图像采样是否包括与特定对象类型有关的光学信息时使用的标准。其中分类器可以具体是基于颜色的分类器、即仅需采样的颜色信息用于对采样进行分类的分类器。分类器可以被配置为关于相应采样是否包括与特定对象类型有关的光学信息来对图像采样进行分类。分类器可以被配置为唯一地基于分类器唯一地与之关联的颜色通道中的相应图像采样的颜色信息来对相应采样进行分类。
分类信息除了多个分类器之外还可以包括其它信息。仅举一例，分类信息可以例如包括与多个分类器中的至少一个分类器关联的至少一个门限值。在根据分类器对采样进行分类之后，可以例如运用门限值来判决采样是否包括与特定对象类型有关的光学信息。例如如果通过根据相应分类器对采样进行分类而获得的值高于或者等于门限值，则采样可以视为包括与特定对象类型有关的光学信息。如果通过根据分类器对采样进行分类而获得的值低于门限值，则采样然后可以视为未包括与特定对象类型有关的光学信息。
关于相应采样是否包括与特定对象类型有关的光学信息来对图像的采样集合中的采样进行分类可以用于分割和/或检测图像中的特定对象类型的具体对象。作为任意地选择的示例，特定对象类型可以是人手类型。多个分类器中的分类器被设计为将图像的包括关于描绘的人手的光学信息的采样分类为包括与描绘的人手有关的光学信息。多个分类器中的分类器被设计为将其它采样、例如仅包括关于图像背景的光学信息的采样分类为未包括与描绘的手有关的光学信息。此外，分类器当然可能未理想地工作，从而采样可能被误分类。在分类被设计为关于相应采样是否包括与特定对象类型有关的光学信息来对图像采样进行分类的情况下，即由于分类不限于具体对象，所以可以成功地运用分类信息和具体为多个分类器来对另一只手、例如另一个人的手的采样进行分类。
在本发明的情境中，每个分类器唯一地与多个颜色通道中的一个颜色通道关联可以包括：每个分类器被配置为仅基于分类器唯一地与之关联的颜色通道中的相应采样的颜色信息来对相应采样进行分类。
多个颜色通道中的颜色通道可以都是来自相同颜色空间的颜色通道或者它们可以是来自不同颜色空间的颜色通道。可以从中选择多个颜色通道的一些颜色空间包括RGB颜色空间、rgb颜色空间、hsv颜色空间、yuv颜色空间、yiq颜色空间等。示例颜色通道因此可以是来自以上四个颜色空间的以下颜色通道：R、G、B、r、g、h、s、y、u、i和q。每个颜色通道可以不同地良好适合用于对图像采样进行分类。具体而言，颜色通道可以与多个颜色通道中的其它颜色通道不同在于，可以如何在相应颜色通道中良好地区分包括关于特定对象类型的光学信息的采样与未包括与特定对象类型有关的光学信息的采样。
为了简洁，在下文中，分类为包括与特定对象类型有关的光学信息的采样将被称为对象采样，而分类为未包括与特定对象类型有关的光学信息的采样将被称为非对象采样。
为了简洁，在下文中，主要地在根据本发明的第一方面的方法的情境中描述本发明的实施例。然而根据本发明，根据本发明的第二方面的计算机程序的实施例、根据本发明的第三方面的计算机可读介质的实施例、根据本发明的第四或者第五方面的计算机程序产品的实施例和根据本发明的第六、第七、第八或者第九方面的设备的实施例可以表现与所描述的根据第一方面的方法的实施例对应的特征。对于这些实施例，关于根据本发明的第一方面的方法而描述的内容类似地适用。
根据本发明的第一方面的方法的一个实施例，针对图像序列的多个图像的多个采样集合执行对采样集合中的采样进行分类。
这一实施例可以实现分割多个图像中的每个图像中的特定对象类型的具体对象。
在这一实施例的情境中，可以对于图像序列的图像依次地执行对图像序列的图像的采样集合中的采样进行分类。即，可以先对于图像序列的第一图像的采样集合中的采样、然后对于图像序列的第二图像的采样集合中的采样等，执行对图像序列的图像的采样集合中的采样进行分类。其采样当前被分类的图像可以在这一情况下被称为“当前图像”。
可以已经借助立体图像获取设备、例如立体相机获取图像序列的图像。在这一情况下，图像序列可以包括在图像序列中采用相同时间位置的两个图像。
根据本发明的第一方面的方法的一个实施例，该方法包括跟踪图像序列的多个图像中的特定对象类型的对象。
假设如果特定对象类型的任何具体对象在图像序列的图像中存在，则它是贯穿图像序列的图像中的特定对象类型的相同具体对象，可以贯穿图像序列跟踪对象。跟踪对象可以具体地包括确定对象的定位和/或姿态并且观测对象的定位和/或姿态如何贯穿图像序列而演变。
根据本发明的所有方面的一个实施例，特定对象类型是身体部分类型。
描绘裸露身体部分的图像的采样可以特别好地适合用于借助基于颜色的分类器、即仅需采样的颜色信息用于关于采样是否包括身体部分类型的光学信息来对采样进行分类的分类器来分类。这是因为身体部分有肤色的事实。包括肤色作为颜色信息的采样可以相对地易于与其它采样区分。
根据本发明的所有方面的一个实施例，特定对象类型是手类型。
现在，手在许多情况下是裸露的、即未戴手套。这使手成为用于借助基于颜色的分类器对描绘手的图像的图像采样进行分类的适当身体部分。
在对象跟踪的情境中，这一实施例可以使得有可能贯穿图像序列跟踪手、即手类型的对象。手跟踪是用于手势跟踪/识别的重要基础。可以将手势跟踪用于各种设备的用户接口(UI)，仅举数例，各种设备比如移动电话、电视机、个人计算机、比如固定个人计算机或者移动个人计算机、例如膝上型或者平板计算机、便携音乐播放器或者游戏设备。基于手势的用户接口可以对于用户很方便，因为它们往往让用户免去乏味的基于键盘的输入。可以直观地操作基于手势的用户接口。
问题可能关于在移动设备中集成的基于手势的用户接口而出现。移动设备一般地被理解为由用户在移动之时、例如在漫步之时使用。在用户移动同时获取图像序列的图像用于手势跟踪的情况下，尽管用户的手可能在图像序列的图像中的每个图像中存在，但是剩余图像内容、即图像背景可以贯穿图像序列的图像而显著地改变。例如在获取图像序列的一个图像这一时刻，用户可能位于建筑物以内。用户然后可以离开建筑物，并且在获取另一图像这一时刻，用户可以位于建筑物以外。光照条件可以在这一情况下也显著地改变。
由于本发明可以提供详尽分类信息、即高度地精细的分类器，所以它即使在不利条件、例如在移动设备中集成的基于手势的用户接口这一领域中经常存在的条件之下仍然可以实现图像采样的正确分类和可靠手势跟踪。
根据本发明的所有方面的一个实施例，多个分类器中的每个分类器与多个颜色通道中的不同颜色通道关联。
由于多个分类器中的每个分类器与多个颜色通道中的不同颜色通道关联，所以保证对图像的采样集合中的采样进行分类考虑不同颜色通道的信息。已经发现，没有用于关于采样是否包括与特定对象类型有关的光学信息来对它们进行分类的固定的最佳颜色通道。最佳颜色通道根据已经在其之下获取图像的光照条件和根据图像背景以及其它因素而不同。即使与某个颜色通道关联的分类器未单独保证良好分类，但是与各自唯一地与多个颜色通道中的不同颜色通道关联的其它分类器结合，所述分类器可以显著地对改进的分类结果有贡献。这对于肤色的特定对象类型尤其地成立。
根据本发明的第一方面的方法的一个实施例，该方法包括仅在相应采样根据多个分类器中的每个分类器而被分类为包括与特定对象类型有关的光学信息时，将相应采样分类为包括与特定对象类型有关的光学信息。
这一实施例可以实现达到即使它们实际上未包括与特定对象类型有关的信息也被误分类为对象采样的图像采样的相对低比率(相对低的误判率)。
根据本发明的第一方面的方法的一个实施例，多个分类器的序列被定义，并且该方法包括对于相应采样根据序列遍历多个分类器并且根据相应分类器对相应采样进行分类。
多个分类器的序列作为整体可以被称为分类级联树。在本情境中，多个分类器中的分类器可以被称为分类级联树的节点。
这一实施例可以实现建立可以对高效图像采样分类有贡献的分类器的有利序列。
例如可以在一个实施例的情境中建立分类器的有利序列，该实施例包括仅在相应采样根据多个分类器中的每个分类器而被分类为对象采样时将相应采样分类为对象采样。图像的采样集合中的采样如果它根据仅一个分类器而被分类为非对象采样则然后可以不被基于分类信息而最终地分类为对象采样。遍历多个分类器可以在这一情况下对于相应采样而终止，并且相应采样可以最终地被分类为非对象采样。由此，可以节省根据多个分类器中的剩余分类器对相应采样进行分类的计算工作量。
定义多个分类器的有利序列可以包括定义有望提供最低数目的误判分类结果的分类器为多个分类器的序列中的第一分类器。因此，未包括与特定对象类型有关的光学信息的采样中的多数可以通过仅基于多个分类器的序列中的第一分类器对它们进行分类而最终地这样分类。由此可以保持用于图像采样分类的总计算工作量低。
多个分类器序列的定义可以形成分类信息的部分。
根据本发明的所有方面的一个实施例，多个分类器中的至少一个分类器是贝叶斯(Bayesian)分类器。
这一实施例涵盖其中多个分类器中的每个分类器是贝叶斯分类器的情况。
有时称为Bayes分类器的贝叶斯分类器可以赋予它可以良好地适合用于唯一地与多个颜色通道中的一个颜色通道关联的分类器的优点。这是因为贝叶斯分类器假设相应图像采样是否包括与特定对象类型有关的光学信息可以基于仅一个颜色通道中的相应采样的颜色信息来判决，而与多个颜色通道中的其它颜色通道中的相应采样的颜色信息无关。尽管这可能在多数情况下不是实际地有效假设，但是仍然可以获得良好分类结果。
例如令colours，i表示多个颜色通道I中的颜色通道i中的图像的采样集合S中的采样s的颜色值。另外，令object表示采样s包括与特定对象类型有关的光学信息这一结果而令表示采样s未包括与特定对象类型有关的光学信息这一结果。然后可以表示唯一地与颜色通道i关联的贝叶斯分类器分别为pi(objectcolours，i)或者
分类信息可以包括至少一个门限值T。门限值可以与多个分类器中的特定分类器关联、因此与颜色通道i关联。在这一情况下，可以表示门限为Ti。例如如果下式成立，则采样s可以视为包括与特定对象类型有关的光学信息：
pi(object|colours，i)≥Ti，
类似地，如果下式成立，则采样s可以视为非对象采样：
注意，以上门限值仅为示例，并且具体而言，用于将采样视为对象采样的门限值和用于将采样视为非对象采样的门限值可以不同。
根据本发明的第一方面的方法的一个实施例，该方法包括初始地确定分类信息的至少部分。
由此提供为了在以后阶段分类而需要的分类信息。
初始地确定分类信息的至少部分可以具体地包括初始地确定多个分类器中的分类器。
根据本发明的第一方面的方法的一个实施例，初始地确定分类信息的至少部分包括在多个颜色通道中的每个颜色通道中确定：
-第一训练采样集合的第一训练颜色值概率分布，其中第一训练采样集合中的采样已经被分类为包括与特定对象类型有关的光学信息；以及
-第二训练采样集合的第二训练颜色值概率分布，其中第二训练采样集合中的采样已经被分类为未包括与特定对象类型有关的光学信息。
第一训练采样集合和第二训练采样集合可以各自已经被人手工地分类。这可能繁琐，但是它可以帮助提供用于分类器确定的高质量基础。可以从一个图像或者从若干图像取得训练采样集合。
第一训练采样集合的基数(cardinality)和第二训练采样集合的基数可以相同，从而提供相等数目的分类为对象采样的训练采样和分类为非对象采样的训练采样。
为了获得多个颜色通道中的颜色通道中的第一训练颜色值概率分布，可以计算相应颜色通道中的第一集合的训练采样的颜色值(如果还不可用，例如由于训练采样的颜色在对应颜色空间中被编码)。
可以在多个颜色通道中的每个颜色通道中分离地执行确定第一训练颜色值概率分布。确定第一训练颜色值概率分布可以基于相应颜色通道中的一维(1D)颜色直方图。备选地，确定第一训练颜色值概率分布可以基于多维颜色直方图、例如2D或者3D直方图，多维颜色直方图也可以被运用以确定至少一个其它颜色通道中的第一训练颜色值概率分布。然而，基于1D直方图确定第一训练颜色值概率分布可以有利。与基于多维直方图确定第一训练颜色值概率分布比较，基于1D直方图确定它可以更抗噪。
以上说明类似地适用于确定第二训练颜色值概率分布。
可以在相应颜色通道中通过将相应训练采样集合中的每个训练采样基于它的在相应颜色通道中的颜色值表决到直方图仓(bin)来创建1D颜色直方图。通过归一化1D颜色直方图，可以获得相应颜色通道中的相应训练颜色值概率分布。
使用以上介绍的符号表示，第一训练颜色值概率分布可以记为ptraining，i(colouri|object)，而第二训练颜色值概率分布可以记为
基于颜色通道中的第一训练颜色值概率分布和颜色通道中的第二训练颜色值概率分布，可以确定唯一地与该颜色通道关联的分类器。例如基于贝叶斯定理，可以根据下式确定与颜色通道i关联的贝叶斯分类器p(object|colours，i)：
可以假设这是因为在无先验信息可用的情况下，在任何图像位置的采样包括与特定对象类型有关的光学信息、即采样是对象采样的概率等于采样未包括与特定对象类型有关的光学信息、即采样为非对象采样的概率。因而：
适用。
根据本发明的第一方面的方法的一个实施例，初始地确定分类信息的至少部分包括：
-在多个颜色通道中的每个颜色通道中计算度量的值，度量的值指示相应颜色通道中的第一训练颜色值概率分布和第二训练颜色值概率分布的间距；
-选择多个颜色通道中其度量的值指示第一训练颜色值概率分布与第二训练颜色值概率分布的最高间距的颜色通道作为最高间距颜色通道；以及
-基于最高间距颜色通道中的第一训练颜色值概率分布和第二训练颜色值概率分布确定多个分类器中的分类器，由此将分类器与最高间距颜色通道关联。
这一实施例可以实现根据运用的度量确定与最高间距颜色通道关联的分类器。可以假设最高间距颜色通道是用于第一训练采样集合和第二训练采样集合的最具辨别力的颜色。换而言之，可以假设在多个颜色通道中的颜色通道之中，可以在最高间距颜色通道中最佳地区分第一集合的训练采样和第二集合的训练采样。
指示第一训练颜色值概率分布和第二训练颜色值概率分布的间距的度量可以基于所谓Fisher准则。令Si1表示第一训练采样集合而令Si2表示第二训练采样集合。|Si1|然后是Si1的基数，而|Si2|是Si2的基数。另外使用以上介绍的符号表示，基于Fisher准则，可以根据下式计算相应颜色通道i中的度量的值mi：
根据本发明的第一方面的方法的一个实施例，初始地确定分类信息的至少部分包括定义多个分类器的序列，其中与最高间距颜色通道关联的分类器被入队在多个分类器的序列中。
这一实施例可以实现通过向多个分类器的序列添加与最高间距颜色通道关联的新近地确定的分类器来相继地构建它。
例如如果在确定分类信息的过程中至今已经确定仅一个分类器，即如果尚未确定其它分类器，从而与最高间距颜色通道关联的分类器是仅有的可用分类器，则通过将与最高间距颜色通道关联的分类器入队在多个分类器的序列中，与最高间距颜色通道关联的分类器变成多个分类器的序列中的第一分类器。然而，如果先前已经确定多个分类器中的一个分类器或者更多分类器，则最新近地确定的分类器变成序列中的至今最后分类器。
一旦已经确定多个分类器中的每个分类器并且已经定义多个分类器的序列，则对于相应采样，可以执行根据序列遍历多个分类器并且根据相应分类器对相应采样进行分类。
根据本发明的第一方面的方法的一个实施例，初始地确定分类信息的至少部分包括：
-基于可用的分类信息对第一集合的训练采样和第二集合的训练采样进行分类；
-从第一集合丢弃第一集合中的被正确地分类的训练采样；以及
-从第二集合丢弃第二集合中的被正确地分类的训练采样。
这一实施例可以实现精化用于确定分类信息的更多部分、具体为多个分类器中的更多分类器的数据基础。
在初始地确定分类信息的至少部分的过程中，分类信息可能在给定的时间点尚未完成。具体而言，多个分类器中的并非每个分类器可能已经可用。然而，可以运用已经可用的分类信息来对第一集合和第二集合的训练采样进行分类。从第一集合丢弃第一集合中的被正确地分类的训练采样和从第二集合丢弃第二集合中的被正确地分类的训练采样可以产生第一集合中和第二集合中的训练采样的减少。
其中第一集合中的被正确地分类的训练采样是已经被分类为对象采样的采样，而第二集合中的被正确地分类的训练采样是已经被分类为非对象采样的训练采样。
在从第一集合丢弃第一集合中的被正确地分类的训练采样和从第二集合丢弃第二集合中的被正确地分类的训练采样之后，仅剩余被误分类的训练采样。这可以有利于确定分类器，该分类器被定制为改进用于已经基于直至那时可用的分类信息而误分类的训练采样的分类结果以便提高分类质量。由于已经由于丢弃训练采样而减少第一集合中和第二集合中的训练采样的数目，所以确定这样的定制的分类器可以需要更少计算工作量。
从第一集合或者第二集合丢弃训练采样可以无需对应于从集合持久地去除训练采样或者甚至对应于删除采样数据。它可以限于在初始地确定分类信息时不再考虑训练采样，从而所有训练采样可以保持可用于将来处理步骤。
根据本发明的第一方面的方法的一个实施例，初始地确定分类信息的至少部分包括反复地执行以下步骤：
-在多个颜色通道中的每个颜色通道中确定第一训练采样集合的第一训练颜色值概率分布，其中第一训练采样集合中的采样已经被分类为包括与特定对象类型有关的光学信息；
-在多个颜色通道中的每个颜色通道中确定第二训练采样集合的第二训练颜色值概率分布，其中第二训练采样集合中的采样已经被分类为未包括与特定对象类型有关的光学信息；
-在多个颜色通道中的每个颜色通道中计算度量的值，该度量的值指示相应颜色通道中的第一训练颜色值概率分布和第二训练颜色值概率分布的间距；
-选择多个颜色通道中其度量的值指示第一训练颜色值概率分布与第二训练颜色值概率分布的最高间距的颜色通道作为最高间距颜色通道；
-基于最高间距颜色通道中的第一训练颜色值概率分布和第二训练颜色值概率分布确定多个分类器中的分类器，由此将分类器与最高间距颜色通道关联；
-将与最高间距颜色通道关联的分类器入队在多个分类器的序列中；
-基于可用的分类信息对第一集合的训练采样和第二集合的训练采样进行分类；
-从第一集合丢弃第一集合中的被正确地分类的训练采样；以及
-从第二集合丢弃第二集合中的被正确地分类的训练采样。
为了简化引用，以上步骤将在下文中称为“初始化步骤”。
根据这一实施例，可以相继地创建多个分类器，并且可以在相同时间通过将每个分类器入队在多个分类器的序列中来定义该序列。入队在多个分类器的序列中的每个分类器与用于第一训练颜色值概率分布和第二训练颜色值概率分布的最高间距颜色通道关联，其中基于已经在先前分类步骤中误分类的当前第一训练采样集合和当前第二训练采样集合来确定这些概率分布。因而，可以获得定制为对先前误分类的训练采样进行分类的分类器。
根据本发明的第一方面的方法的一个实施例，反复地执行初始化步骤直至第一集合的基数和第二集合的基数之和降至特定门限以下。例如令tcord表示特定门限。另外使用以上介绍的符号表示，如果下式成立，则重复初始化步骤然后可以终止：
|Si1|+|Si2|＜tcord
为了确定第一集合的基数和第二集合的基数，丢弃的训练采样未视为这些集合的元素。
在执行初始化步骤终止时，可以已经获得良好地适合用于对第一集合和第二集合的训练采样进行可靠地分类的分类级联树。
每当已经执行初始化步骤时，可以从如下多个颜色通道去除已经最新近地标识为最高间距颜色通道的颜色通道，在这些颜色通道中，在以后阶段再次执行初始化步骤时计算第一训练颜色值概率分布和第二训练颜色值概率分布。由此达到多个分类器中的每个分类器与多个颜色通道中的不同颜色通道关联。
根据本发明的第一方面的方法的一个实施例，该方法包括更新分类信息的至少部分。
经更新的分类信息可以有助于实现即使条件已经改变、例如如果图像中的光照条件显著地不同于例如训练图像(已经从该训练图像取得训练采样用于初始地确定分类信息)中的光照条件或者图像背景已经显著地改变，仍然实现获得良好分类结果。根据当前讨论的实施例，未持久地运用单个分类信息集合，而是使用自适应分类信息以便现成具有良好地适应可变成像条件的分类信息。换而言之，提供学习分类算法。
具体而言，更新分类信息可以包括更新多个分类器和/或分类器的序列。更新分类信息的至少部分可以包括更新用于后续分类过程的分类信息。例如经更新的分类信息可以用来基于经更新的分类信息、关于相应采样是否包括与特定对象类型有关的光学信息来对另一图像、例如图像序列的后续图像的采样进行分类。
可以例如在已经对当前图像的采样集合中的采样进行分类之后执行更新分类信息的至少部分以便提供用于对另一图像、例如图像序列的后续图像的图像采样进行分类的经更新的分类信息。
根据本发明的第一方面的方法的一个实施例，更新分类信息的至少部分包括在多个颜色通道中的每个颜色通道中确定：
-被分类为包括与特定对象类型有关的光学信息的采样的经更新的第一颜色值概率分布；以及
-被分类为未包括与特定对象类型有关的光学信息的采样的经更新的第二颜色值概率分布。
其中被分类为包括与特定对象类型有关的光学信息的采样可以起源于不同的图像。这对于被分类为未包括与特定对象类型有关的光学信息的采样同样成立。例如如果第一次执行更新分类信息的至少部分，则采样可以包括为了初始地确定分类信息的至少部分而提供的并且例如从训练图像取得的训练采样，并且它们可以包括图像的已经最新近地被分类的采样集合中的采样。
根据本发明的第一方面的方法的一个实施例，
-每个经更新的第一颜色值概率分布基于相应颜色通道中的第一当前颜色值概率分布和相应颜色通道中的第一先前颜色值概率分布的加权和；以及
-每个经更新的第二颜色值概率分布基于相应颜色通道中的第二当前颜色值概率分布和相应颜色通道中的第二先前颜色值概率分布的加权和。
这一实施例可以实现融合当前颜色值概率分布和先前颜色值概率分布用于更新分类信息。因而，经更新的分类信息以先前颜色值概率分布为基础、但是基于当前颜色值概率分布而演变。分类信息因此可以演变、由此适应新条件，从而在这些新条件、例如新光照条件或者新图像背景条件之下仍然可以获得良好分类结果。
在这一实施例的情境中，第一当前颜色值概率分布可以基于(当前)图像的采样集合中的采样，其中所述采样已经被分类为对象采样。类似地，第二当前颜色值概率分布可以基于(当前)图像的采样集合中的采样，其中所述采样已经被分类为非对象采样。相应颜色通道中的第一先前颜色值概率分布可以基于从至少一个先前图像取得的采样、例如第一集合的训练采样。类似地，相应颜色通道中的第二先前颜色值概率分布可以基于从至少一个先前图像取得的采样、例如第二集合的训练采样。
使用以上介绍的符号表示，可以根据下式计算第一经更新的颜色值概率分布：
pu，i(colouri|object)＝pp，i(colouri|object)+λ1，ipc，i(colouri|object)。
类似地，可以根据下式计算第二经更新的颜色值概率分布：
其中索引u、p和c分别表示经更新的概率分布、先前概率分布和当前概率分布。λ1,i和λ2,i均表示用于对相应颜色通道i中的相应先前概率分布进行加权的权值。
λ1,i和λ2,i可以均小于1，从而当前颜色值概率分布对经更新的颜色值概率分布比对先前颜色值概率分布具有更小影响。如果已经基于比当前颜色值概率分布显著地更大数目的采样确定先前颜色值概率分布，则这又可以尤其地有益。λ1,i和λ2,i可以在多个颜色通道中的每个颜色通道中相同。在这一情况下，也可以无索引i地记它们。对于多个颜色通道中的每个颜色通道，λ1,i＝λ2,i可以适用。
根据本发明的第一方面的方法的一个实施例，更新分类信息的至少部分包括：
-在多个颜色通道中的每个颜色通道中计算度量的值，度量的值指示相应颜色通道中的第一更新的颜色值概率分布与第二更新的颜色值概率分布的间距；
-选择多个颜色通道中其度量的值指示第一经更新的颜色值概率分布与第二经更新的颜色值概率分布的最高间距的颜色通道作为最高间距颜色通道；以及
-基于最高间距颜色通道中的第一经更新的颜色值概率分布和第二经更新的颜色值概率分布确定经更新的分类器，由此将经更新的分类器与最高间距颜色通道关联。
已经关于初始地确定分类信息的至少部分讨论相似特征。在当前讨论的实施例中，它们可以类似地实现根据度量的值确定与最高间距颜色通道关联的经更新的分类器。可以假设最高间距颜色通道是用于第一经更新的颜色值概率分布和第二经更新的颜色值概率分布的最具辨别力的颜色通道。
指示第一经更新的颜色值概率分布和第二经更新的颜色值概率分布的间距的度量可以同样基于Fisher准则。
令S1表示由被考虑用于确定经更新的第一颜色值概率分布的所有采样构成的采样集合，该所有采样即已经基于其而确定第一当前颜色值概率分布的、被分类为对象采样的采样和已经基于其而确定第一先前颜色值概率分布的、被分类为对象采样的采样。类似地，令S2表示由被考虑用于确定经更新的第二颜色值概率分布的所有采样构成的采样集合，该所有采样即已经基于其而确定第二当前颜色值概率分布的、被分类为非对象采样的采样和已经基于其而确定第二先前颜色值概率分布的、被分类为非对象采样的采样。
可以根据下式计算相应颜色通道i中的度量的值mi：
根据本发明的第一方面的方法的一个实施例，更新分类信息的至少部分包括定义多个分类器的经更新的序列，其中与最高间距颜色通道关联的经更新的分类器被入队在多个分类器的经更新的序列中。
这一实施例可以实现通过向多个分类器的经更新的序列添加与最高间距颜色通道关联的新近地更新的分类器来相继地更新多个分类器的序列。
例如如果在更新分类信息的过程中可能至今已经确定仅一个经更新的分类器。在这一情况下没有其它经更新的分类器被更新，从而与最高间距颜色通道关联的经更新的分类器是仅有的可用的经更新的分类器。通过将与最高间距颜色通道关联的经更新的分类器入队在多个分类器的经更新的序列中，与最高间距颜色通道关联的经更新的分类器成为在多个分类器的经更新的序列中的第一经更新的分类器。然而，如果先前已经确定一个经更新的分类器或者更多的经更新的分类器，则与最高间距颜色通道关联的最新近地更新的分类器成为在多个分类器的经更新的序列中的至今最后更新的分类器。
一旦在更新分类信息的至少部分的过程中，已经确定每个经更新的分类器并且已经建立多个分类器的经更新的序列，就可以在后续分类过程中运用多个分类器的经更新的序列。例如可以通过根据经更新的序列遍历多个经更新的分类器来对图像序列的后续图像的图像采样进行分类，并且可以执行根据相应经更新的分类器对相应采样进行分类。
经更新的分类器的序列中的第一经更新的分类器与多个分类器的先前序列中的第一分类器相比可以与不同的颜色通道关联。这对于多个分类器中的其它经更新的分类器同样成立。将多个分类器的序列视为分类级联树并且将分类器视为分类级联树的节点，因此可以认为节点的顺序可以改变，即分类树可以空间地演变。
根据本发明的第一方面的方法的一个实施例，更新分类信息的至少部分包括：
-基于可用的经更新的分类信息对图像的采样集合中的采样进行分类；以及
-从采样集合丢弃采样集合中的被正确地分类的采样。
这一实施例可以实现精化用于确定分类信息的更多经更新的部分、具体为更多经更新的分类器的数据基础。
在更新分类信息的至少部分的过程中，经更新的分类信息可能在给定的时间点尚未完成。具体而言，可能并非多个分类器中的每个分类器都已经被更新。然而，可以运用在该时间点可用的经更新的分类信息来对图像的采样集合中的采样进行分类。
从采样集合丢弃采样集合中的被正确地分类的采样产生采样集合中的采样数目的减少。
可以通过比较根据可用的经更新的分类信息对相应采样进行分类的结果与根据在更新之前的分类信息对所述采样进行分类的结果来判断是否已经对所述采样正确地进行分类。如果两个分类结果相同，则采样可以视为已经被正确地分类。例如采样如果它已经根据可用的经更新的分类信息和根据在更新之前的分类信息而被分类为对象采样则可以视为已经被正确地分类。基于尚未更新的分类信息而获得的分类结果可以可用于比较。例如它们可以由于已经执行更新分类信息的至少部分以具有用于对图像序列的后续图像的图像采样进行分类的现成的经更新的分类信息而可用，从而已经对图像序列的当前图像的采样进行分类，因此提供分类结果。
在从采样集合丢弃采样集合中的被正确地分类的采样之后，仅误分类的采样剩余。这可以用于确定经更新的分类器，该经更新的分类器被定制为改进已经基于至今可用的经更新的分类信息而被误分类的采样的分类结果。由于已经减少采样集合中的采样数目，所以确定这样的经更新的分类器可以需要更少的计算工作量。
根据本发明的第一方面的方法的一个实施例，更新分类信息的至少部分包括反复地执行：
-在多个颜色通道中的每个颜色通道中确定：被分类为包括与特定对象类型有关的光学信息的采样的经更新的第一颜色值概率分布；以及被分类为未包括与特定对象类型有关的光学信息的采样的经更新的第二颜色值概率分布，其中：
○每个经更新的第一颜色值概率分布基于相应颜色通道中的第一当前颜色值概率分布和相应颜色通道中的第一先前颜色值概率分布的加权和；以及
○每个经更新的第二颜色值概率分布基于相应颜色通道中的第二当前颜色值概率分布和相应颜色通道中的第二先前颜色值概率分布的加权和；
-在多个颜色通道中的每个颜色通道中计算度量的值，该度量的值指示相应颜色通道中的第一经更新的颜色值概率分布与第二经更新的颜色值概率分布的间距；
-选择多个颜色通道中其度量的值指示第一经更新的颜色值概率分布与第二经更新的颜色值概率分布的最高间距的颜色通道作为最高间距颜色通道；
-基于最高间距颜色通道中的第一经更新的颜色值概率分布和第二经更新的颜色值概率分布确定经更新的分类器，由此将经更新的分类器与最高间距颜色通道关联；
-定义多个颜色通道的经更新的序列，其中与最高间距颜色通道关联的经更新的颜色通道被入队在多个颜色通道的经更新的序列中；
-基于可用的经更新的分类信息对图像的采样集合中的采样进行分类；以及
-从采样集合丢弃采样集合中的被正确地分类的采样。
为了简化引用，以上步骤将在下文中称为“更新步骤”。
这一实施例可以实现相继地确定经更新的分类器并且在相同时间通过将每个经更新的分类器入队在多个分类器的经更新的序列中来建立经更新的序列。
通过从采样集合丢弃采样集合中的被正确地分类的采样，仅先前误分类的采样在确定下一经更新的分类器时剩余。因此，可以确定被定制为改进误分类的采样的分类结果的经更新的分类器。
入队在经更新的序列中的经更新的分类器与用于第一经更新的颜色值概率分布和第二经更新的颜色值概率分布的最高间距颜色通道关联。这些经更新的概率分布是当前颜色值概率分布和先前颜色值概率分布的融合。因而，每个经更新的分类器以先前颜色值概率分布为基础、但是基于当前颜色值概率分布而演变。
在这一实施例的情境中，第一和第二当前颜色值概率分布可以基于采样集合中的采样，其中可以在先前已经确定另一经更新的分类器之后已经从原有采样集合丢弃一些采样。例如第一和第二先前颜色值概率分布可以是已经在通过更新步骤的先前循环中被确定为第一和第二经更新的颜色值概率分布的颜色值概率分布。备选地，它们可以是第一和第二训练颜色值概率分布。
根据本发明的第一方面的方法的一个实施例，反复地执行更新步骤直至采样集合的基数降至特定门限以下。为了确定采样集合的基数，不将从采样集合丢弃的采样视为采样集合的元素。
根据本发明的第一方面的方法的另一实施例，反复地执行更新步骤直至已经更新多个分类器中的每个分类器。
在执行更新步骤终止时，可以已经获得良好地适合用于对后续图像的采样可靠地进行分类的经更新的分类级联树。
每当已经执行更新步骤时，可以从如下多个颜色通道去除已经最新近地被标识为最高间距颜色通道的颜色通道，在该多个颜色通道中，在以后阶段再次执行更新步骤时计算第一经更新的颜色值概率分布和第二经更新的颜色值概率分布。由此达到每个经更新的分类器与多个颜色通道中的不同颜色通道关联。
对于本发明的第二至第九方面，本发明的第一方面及其实施例的以上描述同样地适用。具体而言，应当理解也结合本发明的第二至第九方面公开本发明的第一方面(包括其实施例)的所有特征和优点。
应注意，将理解本发明的以上描述的实施例仅为非限制示例。
另外，应当理解，在相互的所有可能组合中公开以上描述的实施例和具体其单独特征。
本发明的这些和更多概念将从下文呈现的具体描述中变清楚并且参照该具体描述来阐明。
附图说明
在以下图中示出：
图1：示意地图示根据本发明的第一方面的方法的第一实施例的流程图；
图2：示意地图示根据本发明的第一方面的方法的第二实施例的流程图；
图3：示意地图示在根据本发明的第一方面的方法的第二实施例的情境中初始地确定分类信息的流程图；
图4a：示意地图示图3的流程图的前三个步骤的图形图示；
图4b：示意地图示图3的流程图的接下来四个步骤的图形图示；
图4c：示意地图示图3的流程图的接下来三个步骤的图形图示；
图4d：通过执行图3的流程图的步骤而获得的分类级联树的示例的示意图示；
图5：示意地图示根据本发明的第一方面的方法的第二实施例的情境中的更新分类信息的流程图；
图6：通过执行图5的流程图的步骤而获得的经更新的分类级联树的示例的示意图示；
图7：根据本发明的第三方面的计算机可读介质的一个实施例的示意图示，该实施例也构成根据本发明的第四方面和类似地根据第五方面的计算机程序产品的一个实施例，包括根据本发明的第三方面的计算机程序的一个实施例；以及
图8：根据本发明的第六、第七、第八和第九方面的设备800的一个实施例的示意图示。
具体实施方式
图1示出流程图，该流程图示意地图示根据本发明的第一方面的方法的第一实施例。
在步骤101中，执行基于分类信息关于相应采样是否包括与特定对象类型有关的光学信息来对图像的采样集合中的采样进行分类。其中分类信息包括多个分类器，每个分类器唯一地与多个颜色通道中的一个颜色通道关联。
图2示出流程图，该流程图示意地图示根据本发明的第一方面的方法的第二实施例。
在贯穿用于手势跟踪的图像序列的多个图像跟踪人手、即人手类型对象的情境中运用这一流程图的方法。该方法可以由移动设备执行以便实现用户与移动设备的交互。
在步骤210中，初始地确定分类信息。分类信息包括多个分类器，每个分类器唯一地与多个颜色通道中的一个颜色通道关联。
在步骤221中，提供图像序列的第一图像用于对它执行图像采样分类。由于这一图像是当前处理的图像，所以所述图像可以称为“当前图像”。
对于第一图像，在步骤230中执行基于在步骤210中初始地确定的分类信息、关于相应采样是否包括与手类型对象有关的光学信息来对第一图像的采样集合中的采样进行分类。
随后，在步骤240中更新分类信息。随后，在步骤240中校验当前图像、即在这一情况下的第一图像是否为图像序列的多个图像中的最后图像。如果情况如此，则控制流程结束。然而，如果有在图像序列中剩余的至少一个后续图像，则在步骤270中取回和提供所述图像用于分类。重复步骤230、240、260和270直至在步骤260中发现已经到达图像序列的多个图像中的最后图像。
图3示出流程图，该流程图示意地图示在根据本发明的第一方面的方法的第二实施例的情境中初始地确定分类信息，即图3更具体地示出在执行图2的流程图的步骤210的过程中执行的步骤。
初始地，在步骤211中提供训练采样。训练采样包括颜色信息、即多个颜色通道中的颜色值。从若干训练图像取得训练采样。训练采样是训练图像的像素。训练图像中的每个训练图像示出人手的至少部分。已经在不同照明条件之下获取训练图像。除了人手之外，训练图像包含图像背景。图像背景在训练图像之间有所变化。
人已经关于训练采样是否包括与人手有关的光学信息对它们手工地进行分类。训练采样被分布到第一训练采样集合St1和第二训练采样集合St2。已经被分类为包括与人手有关的光学信息的训练采样被分派到第一训练采样集合St1，而已经被分类为未包括与人手有关的光学信息的训练采样已经被分派到第二训练采样集合St2。
为了简洁，在下文中，被分类为包括与人手有关的光学信息的采样/训练采样将称为手采样，而被分类为未包括与人手有关的光学信息的采样将称为非手采样。已经基于训练采样的颜色执行训练采样的手工分类。其中肤色采样已经被分类为手采样，而不是肤色的采样已经被分类为非手采样。因此，它也可以被称为皮肤和非皮肤采样。然而它服从术语手采样和非手采样。
第一训练采样集合St1的基数和第二训练采样集合St2的基数相同。因此提供相同数目的手采样和非手采样。
在根据本发明的第一方面的方法的当前讨论的实施例的情境中，考虑从多个颜色空间选择的多个颜色通道I。即，考虑来自RGB颜色空间、rgb颜色空间、hsv颜色空间、yuv颜色空间和yiq颜色空间的颜色通道i。多个颜色通道I因此在这一情况下由颜色通道R、G、B、r、g、h、s、y、u、i和q构成。
每个颜色通道不同地良好适合用于对相应采样进行分类。具体而言，一个颜色通道可以与多个颜色通道中的其它颜色通道不同在于，可以如何在相应颜色通道中良好地区分包括与人手有关的光学信息的采样与未包括与人手有关的光学信息的采样。
在步骤212中，基于第一集合St1的训练采样、在多个颜色通道I中的每个颜色通道i中创建一维颜色直方图，并且基于第二集合St2的训练采样、在多个颜色通道I中的每个颜色通道i中创建一维颜色直方图。例如在将在颜色通道R中创建1D颜色直方图并且训练采样的颜色信息未在RGB颜色空间中被编码时，借助颜色空间传输来计算颜色通道R中的颜色值。在步骤212中，创建1D颜色直方图包括将相应训练采样集合中的每个训练采样基于它的在相应颜色通道i中的颜色值表决到直方图仓。
在步骤213中，在每个颜色通道i中确定第一训练颜色值概率分布ptraining，i(colouri|hand)和第二训练颜色值概率分布为此，归一化在步骤212中计算的1D颜色直方图。然后基于相应归一化的1D颜色直方图，估计第一和第二训练颜色值概率分布。与基于多维直方图确定训练颜色值概率分布比较，基于相应1D直方图确定训练颜色值概率分布更抗噪。
步骤214包括在多个颜色通道I中的每个颜色通道i中计算度量的值mi，度量的值mi指示相应颜色通道i中的第一训练颜色值概率分布ptraining，i(colouri|hand)和第二训练颜色值概率分布的间距。度量基于所谓Fisher准则。根据下式计算度量的值mi：
步骤215包括选择其度量的值mi指示第一训练颜色值概率分布ptraining，i(colouri|hand)与第二训练颜色值概率分布的最高间距的颜色通道i作为最高间距颜色通道。可以假设最高间距颜色通道sep是用于训练采样集合St1和第二训练采样集合St的最具辨别力的颜色通道。换而言之，可以假设在多个颜色通道I中的颜色通道之中，可以在最高间距颜色通道sep中最佳地区分第一集合St1的训练采样和第二集合St的训练采样。
步骤216包括基于最高间距颜色通道sep中的第一训练颜色值概率分布ptraining，sep(coloursep|hand)和第二训练颜色值概率分布确定分类器。分类器因此与最高间距颜色通道sep关联。
在本实施例中，分类器是贝叶斯分类器。
令colours，sep表示颜色通道sep中的图像的采样集合S中的采样s的颜色值。然后可以表示唯一地与颜色通道sep关联的贝叶斯分类器为psep(hand|colours，sep)。根据贝叶斯定理，可以根据下式确定贝叶斯分类器psep(hand|colours，sep)：
可以假设这是由于如下事实：在无任何先验信息可用的情况下，在任何图像位置的采样包括与人手有关的光学信息、即采样是手采样的概率等于采样未包括与人手有关的光学信息、即采样为非手采样的概率。然后可以基于下式确定贝叶斯分类器psep(hand|colours，sep)：
可以相应地计算贝叶斯分类器psep(hand|colours，sep)。
贝叶斯分类器psep(hand|colours，sep)假设，图像采样s是否包括与人手有关的光学信息可以基于仅在颜色通道sep中的相应采样s的颜色信息来判决，而与多个颜色通道I中的其它颜色通道i中的采样s的颜色信息无关。尽管这可能在多数情况下不是实际地有效假设，但是仍然可以获得良好分类结果。由于贝叶斯分类器psep(hand|colours，sep)被配置为仅基于颜色通道sep中的采样s的颜色信息对采样s进行分类，所以贝叶斯分类器psep(hand|colours，sep)唯一地与颜色通道sep关联。
步骤217包括在步骤216中确定的分类器被入队在分类器的序列中。由于至今已经初始地确定仅一个分类器，所以通过将该分类器入队在序列中，它变成序列中的第一分类器。序列构成分类信息。
在步骤218中，基于可用的分类信息对第一训练采样集合St1和第二训练采样集合St2中的训练采样进行分类。为此，提供门限值T。如果下式成立，则采样s被分类为手采样：
psep(hand|colours，sep)≥T。
否则，采样s被分类为非手采样。
备选地，如果下式成立，则采样s被分类为非手采样：
否则，采样s被分类为手采样。
注意以上门限值仅为示例，并且具体而言，用于将采样视为手采样的门限值和用于将采样视为非手采样的门限值可以不同。
第一集合St1的采样s如果它已经被分类为手采样则视为已经被正确地分类。第二集合St2的采样s如果它已经被分类为非手采样则视为已经被正确地分类。
在步骤219中，从第一集合St1丢弃集合St1中的被正确地分类的采样。从第二集合St2丢弃集合St2中的被正确地分类的采样。因此减少第一集合St1的基数和第二集合St2的基数，
步骤220包括校验第一训练采样集合St1的基数和第二训练采样集合St2的基数之和是否降至特定门限tcard以下。如果下式适用，
|Si1|+|Si2|＜tcart
则完成初始地确定分类信息的至少部分并且继续执行在图2中描绘的流程图的步骤221、然后步骤230。如果不是，则返回到步骤212。因此反复地执行初始化步骤212至220。其中不再考虑从第一训练采样集合St1丢弃的采样或者从第二训练采样集合St2丢弃的采样。另外，不再考虑在步骤215中被标识为最高间距颜色通道的颜色通道。这减少计算工作量并且保证每当执行步骤216时，新确定的分类器与不同颜色通道关联。
在丢弃被正确地分类的训练采样之后，仅在步骤218中被误分类的训练采样留在St1和St2中。因此，已经精化用于确定分类信息的更多部分、具体为更多分类器的数据基础。在基于第一集合St1的训练采样和第二集合St2的训练采样再次创建1D颜色直方图时，由于必须考虑的采样数目减少而需要更少计算工作量。
第一训练颜色值概率分布ptraining，i(colouri|hand)和第二训练颜色值概率分布然后仅代表在步骤218中被误分类的训练采样的颜色值分布。在步骤214和步骤215中随后确定和选择的最高间距颜色通道因此是如下颜色通道，对于该颜色通道假设可以在这一颜色通道中最佳地区分被误分类的采样的颜色值概率分布。因此，在步骤216中确定被定制为对先前误分类的训练采样进行分类的分类器。
通过在步骤217中将新确定的分类器入队在分类器的序列中，新确定的分类器变成分类器的序列中的下一分类器。序列作为整体可以称为分类级联树Q。在本情境中，多个分类器中的分类器可以称为分类级联树的节点Q1，Q2，...，Qn。
每当执行步骤218时，对于第一训练采样集合St1的训练采样中的每个训练采样和对于第二训练采样集合St2的训练采样中的每个训练采样，执行遍历根据序列而至今确定的多个分类器并且对相应采样进行分类。根据当前讨论的实施例，采样s仅在采样根据至今确定的每个分类器而被分类为手采样时被分类为手采样。因此如果相应采样已经根据仅一个分类器而被分类为非手采样，则遍历分类器的序列中的分类器对于相应采样而终止。由此节省用于根据多个分类器中的剩余分类器对相应采样进行分类的计算工作量。
在执行初始化步骤212至220由于第一训练采样集合St1中的采样数目和第二训练采样集合St2中的采样数目已经降至门限tcard以下而终止时，已经获得良好地适合用于对原有第一训练采样集合和原有第二训练采样集合中的训练采样s可靠地进行分类的分类级联树。
图4a示出图形图示，该图形图示示意地图示图3的流程图的步骤211至213。
如图4a中所示，第一训练采样集合St1和第二训练采样集合St2包括相等数目的训练采样。第一集合St1的训练采样已经被手工地分类为手采样。第二集合St2的训练采样已经被手工地分类为非手采样。从第一采样集合St1在颜色通道i中创建1D颜色直方图401，而从第二采样集合St2在颜色通道i中创建1D颜色直方图402。然后基于1D颜色直方图401确定颜色通道i中的第一训练颜色值概率分布ptraining，i(colouri|hand)。类似地，基于1D颜色直方图402确定颜色通道i中的第二训练颜色值概率分布对于多个颜色通道I中的每个颜色通道i执行以上步骤。
图4b示出图形图示，该图形图示示意地图示图3的流程图的步骤214至217。
在图4b的上部分中，示出三个颜色通道中的先前确定的第一颜色值概率分布和第二颜色值概率分布。其中相同颜色通道中的第一颜色值概率分布和第二颜色值概率分布被分组在一起。在图4b中，对于颜色通道R、G和B示出第一颜色值概率分布和第二颜色值概率分布。这仅为随机选择，并且注意，根据本发明可以考虑其它颜色通道和更多颜色通道。颜色通道可以是来自不同颜色空间的颜色通道。然而，为了简化示例，在下文中仅引用RGB颜色空间的三个颜色通道。
在每个颜色通道i中，计算度量的值，该度量的值指示相应颜色通道中的第一颜色值概率分布与第二颜色值概率分布的间距。随后选择最高间距颜色通道。在本例中，G通道是最高间距颜色通道。这由在颜色通道G中的第一颜色值概率分布ptraining，G(colourG|hand)和第二颜色值概率分布周围绘出的框指示。基于ptraining，G(colourG|hand)和确定贝叶斯分类器pG(hand|colours，G)。它在分类器的序列中被入队为第一分类器、因此形成分类级联树Q的第一节点Q1。节点Q1代表的分类器用于关于相应采样是否为手采样或者非手采样对图像采样进行分类。
图4c示出图形图示，该图形图示示意地图示图3的流程图的步骤218至220。
考虑门限值T根据节点Q1的分类器pG(hand|colours，G)对第一集合St1和第二集合St2的训练采样进行分类。如以上说明的那样，分类器唯一地与颜色通道G关联。如图4c中可见，第一集合St1的一些训练采样被分类为非手采样(因此在图4c的下部分中的右手侧上示出它们)，但是它们实际地包括与人手有关的光学信息。类似地，在图4c的下部分中的左手侧上示出的第二集合St2的训练采样被分类为手采样，但是它们实际上为非手采样。从第一集合St1和第二集合St2丢弃其它训练采样。仅误分类的采样留在第一集合St1和第二集合St2中。如果第一集合St1和第二集合St2中的训练采样数目太低，则初始地确定分类信息在这一点终止。如果不是，则基于经修改的第一集合St1和第二集合St2重复关于图4a、图4b和图4c说明的步骤。其中不再考虑颜色通道G，从而新确定的分类器与不同颜色通道关联。
图4d示出通过执行图3的流程图的步骤而获得的分类级联树Q的示例的示意图示。
分类级联树Q包括三个节点Q1、Q2和Q3。节点中的每个节点代表多个分类器中的分类器。在分类级联树Q中，定义节点序列并且因此定义多个分类器的序列。根据本例，节点Q1代表的分类器与颜色通道G关联，节点Q2代表的分类器与颜色通道R关联，而节点Q3代表的分类器与颜色通道B关联。虽然颜色通道R和颜色通道B一般地较少良好地适合用于对训练采样进行分类，但是它们仍然可以与节点Q1代表的分类器结合用于精化分类结果。根据分类级联树Q分类的图像采样仅在它根据多个分类器中的每个分类器而被分类为手采样时最终地被分类为手采样。
同样参照图2，在已经在步骤S210中确定分类信息之后，在步骤221中提供图像序列的第一图像。然后在步骤230中，根据在步骤210中确定的分类信息对第一图像的采样进行分类。随后在步骤240中更新分类信息。
图5示出流程图，该流程图示意地图示在根据本发明的第一方面的方法的第二实施例的情境中更新分类信息，即图5更具体地示出在执行图2的流程图的步骤240的过程中执行的步骤。
在步骤241中，对于图像序列的当前考虑的图像(当前图像)、即对于图像序列的第一图像，如果第一次执行步骤241，则在多个颜色通道I中的每个颜色通道i中创建1D颜色直方图。其中对于当前图像的在图2的流程图的步骤230中已经被分类为手采样的图像采样创建第一颜色直方图。那些采样可以视为被分派给当前图像的第一采样集合Sc1。对于当前图像的在步骤230中已经被分类为非手采样的图像采样创建第二颜色直方图。那些采样可以视为被分派给当前图像的第二采样集合Sc2。第一采样集合Sc1和第二采样集合Sc2一起形成当前图像的采样集合Sc。
基于第一1D颜色直方图和第二1D颜色直方图，在步骤242中在每个颜色通道i中确定第一当前颜色值概率分布pc，i(colouri|hand)和第二当前颜色值概率分布
在步骤243中，在多个颜色通道I中的每个颜色通道i中确定经更新的第一颜色值概率分布pu，i(colouri|hand)和第二颜色值概率分布其中每个经更新的第一颜色值概率分布pu，i(colouri|hand)基于相应颜色通道i中的第一当前颜色值概率分布pc，i(colouri|hand)和相应颜色通道i中的第一先前颜色值概率分布pp，i(colouri|hand)的加权和。在第一次执行步骤243时，相应颜色通道i中的第一先前颜色值概率分布是该颜色通道中的第一训练颜色值概率分布ptraining，i(colouri|hand)。类似地，每个经更新的第二颜色值概率分布基于相应颜色通道i中的第二当前颜色值概率分布和相应颜色通道i中的第二先前颜色值概率分布的加权和。在第一次执行步骤243时，相应颜色通道i中的第二先前颜色值概率分布是该颜色通道中的第二训练颜色值概率分布
在本例中，根据下式计算第一经更新的颜色值概率分布：
pu，i(colouri|hand)＝pp，i(colouri|hand)+λpc，i(colouri|hand)。
根据下式计算第二经更新的颜色值概率分布：
其中λ表示用于对先前颜色值概率分布进行加权的权值。在本例中，λ被设置成0.1。
根据上式，在更新分类信息时融合当前颜色值概率分布和先前颜色值概率分布。由于λ小于1，所以当前颜色值概率分布对经更新的颜色值概率分布具有比对应先前颜色值概率分布更小的影响。基于相应先前颜色值概率分布，经更新的颜色值概率分布因此每当执行分类信息的更新时缓慢地演变。
随着经更新的颜色值概率分布演变，基于它们确定的分类器也演变。由此使适应新条件成为可能，使得在这些新条件、例如新光照条件或者新图像背景条件之下仍然可以获得良好分类结果。
步骤244包括在多个颜色通道I中的每个颜色通道i中计算度量的值mi，度量的值mi指示相应颜色通道i中的第一经更新的颜色值概率分布pu，i(colouri|hand)和第二经更新的颜色值概率分布的间距。度量基于所谓Fisher准则。令S1表示由被考虑用于确定第一经更新的颜色值概率分布pu，i(colouri|hand)的所有采样构成的采样集合，该所有采样即已经基于其而确定第一当前颜色值概率分布pc，i(colouri|hand)的被分类为手采样的采样和已经基于其而确定第一先前颜色值概率分布pp，i(colouri|hand)的被分类为手采样的采样。类似地，令S2表示由被考虑用于确定第二经更新的颜色值概率分布的所有采样构成的采样集合，该所有采样即已经基于其而确定第二当前颜色值概率分布的被分类为非手采样的采样和已经基于其而确定第二先前颜色值概率分布的被分类为非手采样的采样。然后可以根据下式确定度量的值mi：
在步骤245中，选择其度量的值mi指示第一经更新的颜色值概率分布pv，i(colouri|hand)与第二经更新的颜色值概率分布的最高间距的颜色通道i作为最高间距颜色通道sep。
步骤246包括基于最高间距颜色通道sep中的第一经更新的颜色值概率分布pu，sep(coloursep|hand)和第二经更新的颜色值概率分布确定经更新的贝叶斯分类器pu(hand|colours，sep)。根据贝叶斯定理，可以根据下式确定贝叶斯分类器pu(hand|colours，sep)：
在步骤247中，在步骤246中确定的经更新的分类器被入队在经更新的分类器序列中。由于至今已经确定仅一个经更新的分类器，所以通过将该经更新的分类器入队在经更新的序列中，它变成经更新的序列中的第一经更新的分类器。经更新的分类器序列构成经更新的分类信息。
步骤248包括根据可用的经更新的分类信息对当前图像的采样集合Sc中的采样进行分类。如果下式成立，则集合Sc中的采样s被分类为手采样：
pu(hand|colours，sep)≥T。
否则，采样s被分类为非手采样。
备选地，如果下式成立，则采样s可以被分类为非手采样：
否则，采样s被分类为手采样。
注意以上门限值仅为示例，并且具体而言，用于将采样视为手采样的门限值和用于将采样视为非手采样的门限值可以不同。
Sc的第一子集Sc1的采样s如果它已经被分类为手采样则视为已经被正确地分类。Sc的第二子集Sc2的采样s如果它已经被分类为非手采样则视为已经被正确地分类。
在步骤249中，从集合Sc丢弃被正确地分类的采样。
在步骤250中校验是否已经更新多个分类器中的每个分类器。如果是这样，则完成更新分类信息并且继续执行在图2中描绘的流程图的步骤260。如果不是，则返回到步骤241并且再次执行更新步骤241至250。其中不再考虑从当前图像的采样集合Sc丢弃的采样。另外，不再考虑在步骤245中被标识为最高间距颜色通道的颜色通道。因而，每个经更新的分类器与不同颜色通道关联。
在丢弃被正确地分类的采样之后，仅在步骤248中被误分类的采样留在Sc中、即在Sc1中和在Sc2中。因此，已经精化用于更新剩余分类器的数据基础。
在基于集合Sc1和集合Sc2的采样再次创建1D颜色直方图时，由于必须考虑的采样数目减少而需要更少计算工作量。
1D颜色直方图并且因此第一当前颜色值概率分布pc，i(colouri|hand)和第二当前颜色值概率分布仅基于先前已经在步骤248中被误分类的采样。然而，只要当前图像保持相同，第一先前颜色值概率分布pp，i(colouri|hand)和第二先前颜色值概率分布就保持不变。
通过在步骤247中将新更新的分类器入队在分类器序列中，新更新的分类器在经更新的分类器序列中变成下一分类器。获得经更新的分类器级联树Qu。在本文中，多个分类器中的分类器可以称为经更新的分类级联树的节点
每当执行步骤248时，对于当前图像的采样集合Sc的采样中的每个采样，执行遍历至今根据经更新的序列确定的多个经更新的分类器并且对相应采样进行分类。根据当前讨论的实施例，采样s仅如果它根据至今确定的每个经更新的分类器而被分类为手采样则最终地被分类为手采样。如果相应采样已经根据仅一个经更新的分类器而被分类为非手采样，则根据经更新的序列遍历经更新的分类器因此对于相应采样而终止。
图6示出通过执行图5的流程图的步骤而获得的经更新的分类级联树Qu的示例的示意图示。经更新的分类级联树Qu包括代表经更新的分类器的三个节点Qu1、Qu2和Qu3。由于更新分类器包括新确定用于每个更新的分类器的最高间距颜色通道，所以Qu1代表的第一经更新的分类器可以与在更新之前的分类级联树Q的节点Q1代表的第一分类器不同的颜色通道关联。这对于经更新的分类级联树的其它分类器同样成立。即节点Q1代表的分类器与颜色通道G关联，而经更新的分类器Qu1与颜色通道R关联。节点Q2代表的分类器与颜色通道R关联，而经更新的分类器Qu2与颜色通道B关联。节点Q3代表的分类器与颜色通道B关联，而经更新的分类器Qu3与颜色通道G关联。
经更新的分类信息可以有助于实现即使条件改变、例如如果光照条件和图像背景变化仍然实现获得用于图像序列的后续图像的采样的良好分类结果。由此可以达到可以在图像序列的每个图像中可靠地分割人手，从而手势跟踪有可能。可以在实现设备的方便和直观操作的用户接口中运用手势跟踪。
图7示出根据本发明的第三方面的计算机可读介质700的一个实施例的示意图示，该实施例也构成根据本发明的第四方面和类似地根据第五方面的计算机程序产品的一个实施例，包括根据本发明的第三方面的计算机程序701的一个实施例。
计算机可读介质700是有形存储介质。它可以例如被体现为电、磁、电磁、光或者其它计算机可读介质。它可以是可去除介质或者在装置或者设备、如比如将参照图8说明的设备800中固定地安装的介质。
计算机可读介质700存储计算机程序701，计算机程序701具有用于在所述计算机程序在处理器、比如在图8中描绘的处理器801上被执行时执行根据本发明的第一方面的方法的程序代码702。程序代码702可以例如实施图2的流程图200的方法并且因此实施图3中和图5中的流程图的方法。计算机程序701因此构成根据本发明的第二方面的计算机程序的一个实施例。
计算机可读介质700也形成根据本发明的第三方面的计算机可读介质的一个实施例。
计算机可读介质700也是其上存储有程序代码702的计算机可读非瞬态存储器介质。在程序代码702由设备、如比如将参照图8说明的设备800执行时，程序代码702使设备基于分类信息、关于相应采样是否包括与特定对象有关的光学信息来对图像的采样集合中的采样进行分类，其中分类信息包括多个分类器，每个分类器唯一地与多个颜色通道中的一个颜色通道关联。计算机可读介质700因此也是根据本发明的第四方面的计算机程序产品的一个实施例。
程序代码702包括指令序列703。其每个指令序列包括一个或者多个指令。在指令序列703由一个或者多个处理器、如比如在图8中描绘的处理器801执行时，它们至少使设备、如比如将参照图8说明的设备800基于分类信息、关于相应采样是否包括与特定对象有关的光学信息来对图像的采样集合中的采样进行分类。其中分类信息包括多个分类器，每个分类器唯一地与多个颜色通道中的一个颜色通道关联。计算机可读介质700因此也是根据本发明的第五方面的计算机程序产品的一个实施例。
图8示出根据本发明的第六、第七、第八和第九方面的设备800的一个实施例的示意图示。
设备800包括与相机802、程序存储器803、主存储器804通信的处理器801。程序存储器803可以例如由图7的计算机可读介质700体现。程序存储器803可以被固定地附着在设备800中或者可以是可去除存储器。
主存储器804由处理器801用作工作存储器以例如存储中间结果和变量。
在处理器801执行在程序存储器803中存储的计算机程序代码805、例如在程序存储器803由图7的计算机可读介质700体现的情况下的计算机程序代码702时，程序存储器803、主存储器804和计算机程序代码805与处理器801一起使设备800至少执行根据本发明的第一方面的方法。例如设备800可以执行图2的流程图的方法并且因此也执行图3和图5的流程图的方法。设备800因此构成根据本发明的第八方面的设备的一个实施例。
设备800因此也构成根据本发明的第七方面的设备的一个实施例。
程序存储器803与计算机程序代码805、主存储器804和处理器801一起是用于执行根据本发明的第一方面的方法的一个实施例的装置的一个实施例。设备800因此也构成根据本发明的第六方面的设备的一个实施例。
以上装置是用于基于分类信息、关于相应采样是否包括与特定对象有关的光学信息来对图像的采样集合中的采样进行分类的装置，其中分类信息包括多个分类器，每个分类器唯一地与多个颜色通道中的一个颜色通道关联。设备800因此也构成根据本发明的第九方面的设备的一个实施例。
相机802用于获取用户的手的图像。向处理器801提供这些图像，从而相机802获取的图像的采样可以关于它们是否为手采样而被分类。借助对图像采样进行分类，在每个图像中执行手分割，并且贯穿相机802获取的图像序列跟踪用户的手。程序代码805包括在由处理器801执行时使得处理器基于跟踪的手执行手势识别的指令。处理器801根据识别的手势控制设备800。相机802因此是设备800的用户接口。
设备800可以例如被完全地实施为例如可集成到另一设备中的模块。设备800可以例如被完全地实施为半导体芯片上的电路。设备800可以例如被完全地实施在仅举数例的数字信号处理器(DSP)、专用集成电路(ASIC)或者现场可编程门阵列(FPGA)上。
以上已经借助应当理解为非限制示例的实施例描述本发明。具体而言，应当注意，存在对于本领域技术人员而言显然的并且可以在未脱离所附权利要求的范围和精神实质的情况实施的备选方式和变化。也应当理解，以上呈现的流程图中的方法步骤的序列不是强制的，备选序列也可以有可能。

Claims (42)

1.一种用于图像处理的方法，包括基于分类信息、关于相应采样是否包括与特定对象类型有关的光学信息来对图像的采样集合中的采样进行分类，其中所述分类信息包括多个分类器，每个分类器唯一地与多个颜色通道中的一个颜色通道关联，
其中所述方法还包括初始地确定所述分类信息的至少部分，所述初始地确定所述分类信息的至少部分包括在所述多个颜色通道中的每个颜色通道中确定：
-第一训练采样集合的第一训练颜色值概率分布，其中所述第一训练采样集合中的所述采样已经被分类为包括与所述特定对象类型有关的光学信息；以及
-第二训练采样集合的第二训练颜色值概率分布，其中所述第二训练采样集合中的所述采样已经被分类为未包括与所述特定对象类型有关的光学信息；并且
其中初始地确定所述分类信息的至少部分包括：
-在所述多个颜色通道中的每个颜色通道中计算度量的值，所述度量的值指示在相应颜色通道中所述第一训练颜色值概率分布与所述第二训练颜色值概率分布的间距；
-选择所述多个颜色通道中其度量的值指示所述第一训练颜色值概率分布与所述第二训练颜色值概率分布的最高间距的颜色通道作为最高间距颜色通道；以及
-基于所述最高间距颜色通道中的所述第一训练颜色值概率分布和所述第二训练颜色值概率分布来确定所述多个分类器中的分类器，由此将所述分类器与所述最高间距颜色通道关联。
2.根据权利要求1所述的方法，其中针对图像序列的多个图像的多个采样集合执行所述方法。
3.根据权利要求2所述的方法，其中所述方法包括跟踪所述图像序列的所述多个图像中的所述特定对象类型的对象。
4.根据权利要求1所述的方法，其中所述特定对象类型是身体部分类型。
5.根据权利要求4所述的方法，其中所述身体部分类型是手类型。
6.根据权利要求1所述的方法，其中所述多个分类器中的每个分类器与所述多个颜色通道中的不同颜色通道关联，所述不同颜色通道来自不同颜色空间。
7.根据权利要求1所述的方法，其中所述方法包括：仅在相应采样根据所述多个分类器中的每个分类器而被分类为包括与所述特定对象类型有关的光学信息时，将所述相应采样分类为包括与所述特定对象类型有关的光学信息。
8.根据权利要求1所述的方法，其中所述多个分类器的序列被定义，并且其中所述方法包括：对于相应采样，根据所述序列来遍历所述多个分类器并且根据相应分类器对所述相应采样进行分类。
9.根据权利要求1所述的方法，其中所述多个分类器中的至少一个分类器是贝叶斯分类器。
10.根据权利要求1所述的方法，其中初始地确定所述分类信息的至少部分包括定义所述多个分类器的序列，其中与所述最高间距颜色通道关联的所述分类器被入队在所述多个分类器的所述序列中。
11.根据权利要求1所述的方法，其中初始地确定所述分类信息的至少部分包括：
-基于可用的分类信息对所述第一训练采样集合中的训练采样和所述第二训练采样集合中的训练采样进行分类；
-从所述第一训练采样集合丢弃所述第一训练采样集合中的被正确地分类的训练采样；以及
-从所述第二训练采样集合丢弃所述第二训练采样集合中的被正确地分类的训练采样。
12.根据权利要求1所述的方法，其中初始地确定所述分类信息的至少部分包括反复地执行根据权利要求1和10至11所述的步骤。
13.根据权利要求1所述的方法，其中所述方法包括更新所述分类信息的至少部分。
14.根据权利要求13所述的方法，其中更新所述分类信息的至少部分包括在所述多个颜色通道中的每个颜色通道中确定：
-被分类为包括与所述特定对象类型有关的光学信息的采样的经更新的第一颜色值概率分布；以及
-被分类为未包括与所述特定对象类型有关的光学信息的采样的经更新的第二颜色值概率分布。
15.根据权利要求14所述的方法，其中：
-每个经更新的第一颜色值概率分布基于相应颜色通道中的第一当前颜色值概率分布和所述相应颜色通道中的第一先前颜色值概率分布的加权和；以及
-每个经更新的第二颜色值概率分布基于相应颜色通道中的第二当前颜色值概率分布和所述相应颜色通道中的第二先前颜色值概率分布的加权和。
16.根据权利要求14或者15所述的方法，其中更新所述分类信息的至少部分包括：
-在所述多个颜色通道中的每个颜色通道中计算度量的值，所述度量的值指示在相应颜色通道中经更新的所述第一颜色值概率分布与经更新的所述第二颜色值概率分布的间距；
-选择其度量的值指示经更新的所述第一颜色值概率分布与经更新的所述第二颜色值概率分布的最高间距的颜色通道作为所述多个颜色通道中的最高间距颜色通道；以及
-基于所述最高间距颜色通道中的经更新的所述第一颜色值概率分布和经更新的所述第二颜色值概率分布来确定经更新的分类器，由此将所述经更新的分类器与所述最高间距颜色通道关联。
17.根据权利要求16所述的方法，其中更新所述分类信息的至少部分包括定义所述多个分类器的经更新的序列，其中与所述最高间距颜色通道关联的所述经更新的分类器被入队在所述多个分类器的所述经更新的序列中。
18.根据权利要求13所述的方法，其中更新所述分类信息的至少部分包括：
-基于可用的经更新的分类信息对所述图像的所述采样集合中的所述采样进行分类；以及
-从所述采样集合丢弃所述采样集合中的被正确地分类的采样。
19.根据权利要求13所述的方法，其中更新所述分类信息的至少部分包括反复地执行根据权利要求14至18所述的步骤。
20.一种用于图像处理的设备，包括用于执行根据权利要求1至19中的任一权利要求所述的方法的装置。
21.根据权利要求20所述的设备，还包括用户接口。
22.一种用于图像处理的设备，被配置为执行根据权利要求1至19中的任一权利要求所述的方法。
23.一种用于图像处理的设备，包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述设备至少执行根据权利要求1至19中的任一权利要求所述的方法。
24.一种用于图像处理的设备，包括用于基于分类信息、关于相应采样是否包括与特定对象有关的光学信息来对图像的采样集合中的采样进行分类的装置，其中所述分类信息包括多个分类器，每个分类器唯一地与多个颜色通道中的一个颜色通道关联，
其中所述设备还包括用于初始地确定所述分类信息的至少部分的装置，所述初始地确定所述分类信息的至少部分包括在所述多个颜色通道中的每个颜色通道中确定：
-第一训练采样集合的第一训练颜色值概率分布，其中所述第一训练采样集合中的所述采样已经被分类为包括与所述特定对象类型有关的光学信息；以及
-第二训练采样集合的第二训练颜色值概率分布，其中所述第二训练采样集合中的所述采样已经被分类为未包括与所述特定对象类型有关的光学信息；并且
其中初始地确定所述分类信息的至少部分包括：
-在所述多个颜色通道中的每个颜色通道中计算度量的值，所述度量的值指示在相应颜色通道中所述第一训练颜色值概率分布与所述第二训练颜色值概率分布的间距；
-选择所述多个颜色通道中其度量的值指示所述第一训练颜色值概率分布与所述第二训练颜色值概率分布的最高间距的颜色通道作为最高间距颜色通道；以及
-基于所述最高间距颜色通道中的所述第一训练颜色值概率分布和所述第二训练颜色值概率分布来确定所述多个分类器中的分类器，由此将所述分类器与所述最高间距颜色通道关联。
25.根据权利要求24所述的设备，其中针对图像序列的多个图像的多个采样集合执行对所述采样进行的分类。
26.根据权利要求25所述的设备，其中所述设备包括用于跟踪所述图像序列的所述多个图像中的所述特定对象类型的对象的装置。
27.根据权利要求24所述的设备，其中所述特定对象类型是身体部分类型。
28.根据权利要求27所述的设备，其中所述身体部分类型是手类型。
29.根据权利要求24所述的设备，其中所述多个分类器中的每个分类器与所述多个颜色通道中的不同颜色通道关联，所述不同颜色通道来自不同颜色空间。
30.根据权利要求24所述的设备，其中所述设备包括用于仅在相应采样根据所述多个分类器中的每个分类器而被分类为包括与所述特定对象类型有关的光学信息时将所述相应采样分类为包括与所述特定对象类型有关的光学信息的装置。
31.根据权利要求24所述的设备，其中所述多个分类器的序列被定义，并且其中所述设备包括用于对于相应采样、根据所述序列来遍历所述多个分类器并且根据相应分类器对所述相应采样进行分类的装置。
32.根据权利要求24所述的设备，其中所述多个分类器中的至少一个分类器是贝叶斯分类器。
33.根据权利要求24所述的设备，其中初始地确定所述分类信息的至少部分包括定义所述多个分类器的序列，其中与所述最高间距颜色通道关联的所述分类器被入队在所述多个分类器的所述序列中。
34.根据权利要求24所述的设备，其中初始地确定所述分类信息的至少部分包括：
-基于可用的分类信息对所述第一训练采样集合中的训练采样和所述第二训练采样集合中的训练采样进行分类；
-从所述第一训练采样集合丢弃所述第一训练采样集合中的被正确地分类的训练采样；以及
-从所述第二训练采样集合丢弃所述第二训练采样集合中的被正确地分类的训练采样。
35.根据权利要求24所述的设备，其中初始地确定所述分类信息的至少部分包括反复地执行根据权利要求24和33至34所述的步骤。
36.根据权利要求24所述的设备，其中所述设备包括用于更新所述分类信息的至少部分的装置。
37.根据权利要求36所述的设备，其中更新所述分类信息的至少部分包括在所述多个颜色通道中的每个颜色通道中确定：
-被分类为包括与所述特定对象类型有关的光学信息的采样的经更新的第一颜色值概率分布；以及
-被分类为未包括与所述特定对象类型有关的光学信息的采样的经更新的第二颜色值概率分布。
38.根据权利要求37所述的设备，其中：
-每个经更新的第一颜色值概率分布基于相应颜色通道中的第一当前颜色值概率分布和所述相应颜色通道中的第一先前颜色值概率分布的加权和；以及
-每个经更新的第二颜色值概率分布基于相应颜色通道中的第二当前颜色值概率分布和所述相应颜色通道中的第二先前颜色值概率分布的加权和。
39.根据权利要求37或者38所述的设备，其中更新所述分类信息的至少部分包括：
-在所述多个颜色通道中的每个颜色通道中计算度量的值，所述度量的值指示在相应颜色通道中经更新的所述第一颜色值概率分布与经更新的所述第二颜色值概率分布的间距；
-选择其度量的值指示经更新的所述第一颜色值概率分布与经更新的所述第二颜色值概率分布的最高间距的颜色通道作为所述多个颜色通道中的最高间距颜色通道；以及
-基于所述最高间距颜色通道中的经更新的所述第一颜色值概率分布和经更新的所述第二颜色值概率分布来确定经更新的分类器，由此将所述经更新的分类器与所述最高间距颜色通道关联。
40.根据权利要求39所述的设备，其中更新所述分类信息的至少部分包括定义所述多个分类器的经更新的序列，其中与所述最高间距颜色通道关联的所述经更新的分类器被入队在所述多个分类器的所述经更新的序列中。
41.根据权利要求36所述的设备，其中更新所述分类信息的至少部分包括：
-基于可用的经更新的分类信息对所述图像的所述采样集合中的所述采样进行分类；以及
-从所述采样集合丢弃所述采样集合中的被正确地分类的采样。
42.根据权利要求36所述的设备，其中更新所述分类信息的至少部分包括反复地执行根据权利要求37至41所述的步骤。
CN201280076397.1A 2012-10-22 2012-10-22 用于图像处理的方法和设备 Expired - Fee Related CN104718559B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/083275 WO2014063278A1 (en) 2012-10-22 2012-10-22 Classifying image samples

Publications (2)

Publication Number Publication Date
CN104718559A CN104718559A (zh) 2015-06-17
CN104718559B true CN104718559B (zh) 2018-05-01

Family

ID=50543841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280076397.1A Expired - Fee Related CN104718559B (zh) 2012-10-22 2012-10-22 用于图像处理的方法和设备

Country Status (4)

Country Link
US (1) US10096127B2 (zh)
EP (1) EP2909809A4 (zh)
CN (1) CN104718559B (zh)
WO (1) WO2014063278A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104718559B (zh) * 2012-10-22 2018-05-01 诺基亚技术有限公司 用于图像处理的方法和设备
JP2016057918A (ja) * 2014-09-10 2016-04-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9563824B2 (en) 2015-06-15 2017-02-07 Qualcomm Incorporated Probabilistic color classification
US11488376B2 (en) * 2021-02-15 2022-11-01 Sony Group Corporation Human skin detection based on human-body prior

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0775978A2 (en) * 1995-11-27 1997-05-28 Sun Microsystems, Inc. A system and method for filtering a data stream
US5751843A (en) * 1993-08-09 1998-05-12 Siemens Aktiengesellschaft Method for detecting the spatial position and rotational position of suitably marked objects in digital image sequences
CN101587591A (zh) * 2009-05-27 2009-11-25 北京航空航天大学 基于双参数阈值分割的视觉精确跟踪技术
CN101789125A (zh) * 2010-01-26 2010-07-28 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL250892A (zh) 1959-04-29
US6394557B2 (en) * 1998-05-15 2002-05-28 Intel Corporation Method and apparatus for tracking an object using a continuously adapting mean shift
US6226409B1 (en) * 1998-11-03 2001-05-01 Compaq Computer Corporation Multiple mode probability density estimation with application to sequential markovian decision processes
JP4228530B2 (ja) * 2000-02-09 2009-02-25 富士通株式会社 画像処理方法及び画像処理装置
US6847731B1 (en) * 2000-08-07 2005-01-25 Northeast Photo Sciences, Inc. Method and system for improving pattern recognition system performance
US6774889B1 (en) * 2000-10-24 2004-08-10 Microsoft Corporation System and method for transforming an ordinary computer monitor screen into a touch screen
US7609908B2 (en) * 2003-04-30 2009-10-27 Eastman Kodak Company Method for adjusting the brightness of a digital image utilizing belief values
US7565004B2 (en) * 2003-06-23 2009-07-21 Shoestring Research, Llc Fiducial designs and pose estimation for augmented reality
US7848566B2 (en) 2004-10-22 2010-12-07 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
WO2007149341A2 (en) * 2006-06-14 2007-12-27 Agent Science Technologies, Inc. System to associate a demographic to a user of an electronic system
KR100764436B1 (ko) 2006-07-13 2007-10-05 삼성전기주식회사 오토포커싱을 위한 이미지의 컬러 채널별 선명도를비교하는 방법
US20080107341A1 (en) * 2006-11-02 2008-05-08 Juwei Lu Method And Apparatus For Detecting Faces In Digital Images
US8831379B2 (en) * 2008-04-04 2014-09-09 Microsoft Corporation Cartoon personalization
US8050494B2 (en) * 2008-05-23 2011-11-01 Samsung Electronics Co., Ltd. System and method for human hand motion detection by skin color prediction
KR100957716B1 (ko) * 2008-10-07 2010-05-12 한국 한의학 연구원 가변 피부색 모델을 이용한 피부색 영역 검출 방법
US9451886B2 (en) * 2009-04-22 2016-09-27 Rodrigo E. Teixeira Probabilistic parameter estimation using fused data apparatus and method of use thereof
CN101561867B (zh) 2009-05-19 2011-05-11 华中科技大学 一种基于高斯形状特征的人体检测方法
TWI398818B (zh) 2009-06-30 2013-06-11 Univ Nat Taiwan Science Tech 手勢辨識方法與系統
US8475050B2 (en) * 2009-12-07 2013-07-02 Honeywell International Inc. System and method for obstacle detection using fusion of color space information
CN101867699B (zh) 2010-05-25 2012-05-30 中国科学技术大学 基于分块的非特定目标实时跟踪方法
US8750573B2 (en) 2010-08-02 2014-06-10 Sony Corporation Hand gesture detection
CN102103690A (zh) 2011-03-09 2011-06-22 南京邮电大学 一种自动的头发区域分割方法
WO2012139241A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Hand gesture recognition system
CN102360432B (zh) * 2011-09-30 2013-04-24 北京航空航天大学 一种基于测地线传播的图像场景语义标记方法
CN102509073A (zh) 2011-10-17 2012-06-20 上海交通大学 一种基于高斯背景模型的静态目标分割的方法
CN102663451A (zh) * 2012-03-29 2012-09-12 天津科技大学 一种基于色彩空间特征的图形图像分类方法
CN104718559B (zh) * 2012-10-22 2018-05-01 诺基亚技术有限公司 用于图像处理的方法和设备
US9177393B2 (en) * 2013-02-04 2015-11-03 Qualcomm Incorporated Mixed mode for frame buffer compression
TWI546052B (zh) * 2013-11-14 2016-08-21 財團法人工業技術研究院 影像式心率活動偵測裝置及其方法
US9536136B2 (en) * 2015-03-24 2017-01-03 Intel Corporation Multi-layer skin detection and fused hand pose matching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751843A (en) * 1993-08-09 1998-05-12 Siemens Aktiengesellschaft Method for detecting the spatial position and rotational position of suitably marked objects in digital image sequences
EP0775978A2 (en) * 1995-11-27 1997-05-28 Sun Microsystems, Inc. A system and method for filtering a data stream
CN101587591A (zh) * 2009-05-27 2009-11-25 北京航空航天大学 基于双参数阈值分割的视觉精确跟踪技术
CN101789125A (zh) * 2010-01-26 2010-07-28 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法

Also Published As

Publication number Publication date
EP2909809A1 (en) 2015-08-26
CN104718559A (zh) 2015-06-17
US10096127B2 (en) 2018-10-09
WO2014063278A1 (en) 2014-05-01
US20150243049A1 (en) 2015-08-27
EP2909809A4 (en) 2016-08-10

Similar Documents

Publication Publication Date Title
Zhou et al. A comprehensive review for breast histopathology image analysis using classical and deep neural networks
Fan et al. Combining local appearance and holistic view: Dual-source deep neural networks for human pose estimation
CN103926999B (zh) 手掌开合手势识别方法和装置、人机交互方法和设备
Sommer et al. Ilastik: Interactive learning and segmentation toolkit
US20170132785A1 (en) Method and system for evaluating the quality of a surgical procedure from in-vivo video
CN109033954B (zh) 一种基于机器视觉的空中手写识别系统及方法
CN107077624A (zh) 跟踪手部/身体姿势
CN107430680A (zh) 多层皮肤检测和融合手势匹配
CN109154978A (zh) 用于检测植物疾病的系统和方法
KR102177412B1 (ko) 이미지와 텍스트간 유사도 매칭 시스템 및 방법
CN105701493B (zh) 基于阶层图形的图像提取以及前景估测的方法和系统
EP2980755A1 (en) Method for partitioning area, and inspection device
CN109409398A (zh) 图像处理装置、图像处理方法以及存储介质
CN104718559B (zh) 用于图像处理的方法和设备
CN105590099A (zh) 一种基于改进卷积神经网络的多人行为识别方法
JP7303844B2 (ja) データ拡張システム、データ拡張方法、及びプログラム
CN110222573A (zh) 人脸识别方法、装置、计算机设备及存储介质
CN106023151A (zh) 一种开放环境下中医舌象目标检测方法
CN107180228A (zh) 一种用于车道线检测的梯度增强转换方法及系统
CN107025442A (zh) 一种基于颜色和深度信息的多模态融合手势识别方法
TW200817954A (en) Methods and systems for data analysis and feature recognition
CN106845513A (zh) 基于条件随机森林的人手检测器及方法
KR102188649B1 (ko) 영상 처리 장치 및 방법
CN115048969A (zh) 用于评估、理解和改进深度神经网络的视觉分析系统
Engoor et al. Occlusion-aware dynamic human emotion recognition using landmark detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180501

Termination date: 20191022

CF01 Termination of patent right due to non-payment of annual fee