CN108334803A - 手检测装置和方法、图像处理装置和系统 - Google Patents

手检测装置和方法、图像处理装置和系统 Download PDF

Info

Publication number
CN108334803A
CN108334803A CN201710046129.XA CN201710046129A CN108334803A CN 108334803 A CN108334803 A CN 108334803A CN 201710046129 A CN201710046129 A CN 201710046129A CN 108334803 A CN108334803 A CN 108334803A
Authority
CN
China
Prior art keywords
hand
region
candidate
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710046129.XA
Other languages
English (en)
Inventor
陶训强
李建杰
刘欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201710046129.XA priority Critical patent/CN108334803A/zh
Publication of CN108334803A publication Critical patent/CN108334803A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/11Hand-related biometrics; Hand pose recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种手检测装置和方法、图像处理装置和系统。本发明的一个方面公开了一种手检测装置,所述手检测装置包括:被构造为从输入图像获得特征的单元;被构造为基于所述特征和第一模型从输入图像获得至少一个第一手区域候选的单元;以及被构造为基于与第一手区域候选对应的特征和第二模型从第一手区域候选中确定至少一个手区域的单元;其中,根据依据样本图像获得的并对应于手的外接区域与手的内接区域之间的区域的手样本,生成第一模型,并且,根据依据样本图像获得的并对应于手的内接区域的手样本,生成第二模型。根据本发明,将提高手检测性能,并且将抑制许多假阳性检测结果。

Description

手检测装置和方法、图像处理装置和系统
技术领域
本发明涉及图像处理,具体地涉及例如手检测装置和方法、图像处理装置和系统。
背景技术
传统的手检测技术(例如,下文中称为“C1”)通常使用以下模型来执行对应的手检测,其中,根据依据样本图像获得的并对应于手的外接区域的手样本,来生成模型,并且所述外接区域在样本图像内被手动地标记。然而,与面部检测不同,除了整个手之外,样本图像内的手的外接区域通常包括不属于手区域的大部分的其他区域。取图1A所示的手样本为例,除了手区域以外,仍然存在不属于手区域的大部分的背景区域。不属于手的这些部分将影响模型的精度,这将降低手检测性能和/或增加许多假阳性(false-positive)检测结果。特别地,在用于生成模型的样本图像的量有限的情况下,影响将变得更糟。其中,假阳性检测结果是将非手区域错误地检测为手区域的检测结果。
在“A method for hand detection based on Internal Haar-like featuresand Cascaded AdaBoost Classifier”(V.-t.Nguyen,T.-l.Le,T.-t.-h.Tran,R.Mullot,and V.Courboulay,ICCE,2012,pp.608–613)中公开了一种消除手部检测期间不属于手区域的部分的影响的示例性技术。上述技术(例如,下文中称为“C2”)公开了以下思想:根据依据样本图像获得的并对应于手的内接区域的手样本,生成用于手检测的模型。样本图像内的手的内接区域是包括尽可能多的手区域但没有不属于手区域的任何其它区域的区域。与手的内接区域对应的手样本的示例在图1B中示出。
其中,上述技术(即“C1”)的有效性取决于手样本中包括多少手的纹理和边缘信息。然而,手的纹理和边缘信息取决于样本图像中的手形状和样本图像的分辨率。例如,在样本图像中的手形状是打开的手形状(例如,图1C-1E所示的手形状)的情况下,与手的内接区域对应的手样本通常仅包括手掌,其不足以生成模型。也就是说,样本图像中的手形状和样本图像的分辨率将影响模型的精度。此外,如图1F所示,臂中的区域通常与手的内接区域相似。因此,很难区分手部区域和其他身体部位。也就是说,与手的内接区域相似的其他身体部位中的区域将被视为手区域,这被认为是上述假阳性检测结果。
发明内容
因此,鉴于上面的背景技术中的记载,本公开旨在解决上述问题。
根据本发明的一个方面,提供一种手检测装置,所述手检测装置包括:特征获得单元,其被构造为从输入图像获得特征;手区域候选获得单元,其被构造为基于所述特征和第一模型从输入图像获得至少一个第一手区域候选;以及手区域确定单元,其被构造为基于与第一手区域候选对应的特征和第二模型,从第一手区域候选中确定至少一个手区域。其中,根据依据样本图像获得的并对应于手的外接区域与手的内接区域之间的区域的手样本,生成第一模型,并且,根据依据样本图像获得的并对应于手的内接区域的手样本,生成第二模型。
利用本发明,将提高手检测性能,并且将抑制许多假阳性检测结果。
根据以下参照附图的描述,本发明的进一步的特性特征和优点将是显而易见的。
附图说明
包含在说明书中并构成本说明书的一部分的附图,示出本发明的实施例,并与本描述一起用于解释本发明的原理。
图1A至图1F示意性地示出示例性手样本图像。
图2是示意性地示出可以实现根据本发明的实施例的技术的硬件结构的框图。
图3是示出根据本发明的第一实施例的手检测装置的结构的框图。
图4A至图4B示意性地示出由本发明的图3所示的特征获得单元310从输入图像获得子图像的两种方法。
图5是示出根据本发明的第二实施例的手检测装置的结构的框图。
图6是示出根据本发明的第三实施例的手检测装置的结构的框图。
图7示意性地示出根据本发明的第一实施例的手检测的流程图。
图8示意性地示出根据本发明的第二实施例的手检测的流程图。
图9是示意性地示出用于生成可在本发明的实施例中使用的第一模型的生成方法的流程图。
图10示意性地示出用于生成第一模型的示例性样本图像。
图11是示意性地示出图9所示的步骤S910的处理的详细过程的流程图。
图12示出根据本发明的示例性图像处理装置的布置。
图13示出根据本发明的示例性图像处理系统的布置。
图14示出根据本发明的另一个示例性图像处理系统的布置。
图15示出根据本发明的另一个示例性图像处理系统的布置。
具体实施方式
下面将参照附图详细地描述本发明的示例性实施例。应该注意,下面的描述实质上仅仅是说明性的、示例性的,并且,决不意图限制本发明及其应用或用途。实施例中阐述的组件和步骤的相对布置、数值表达式和数值并不限制本发明的范围,除非另有具体说明。另外,本领域的技术人员已知的技术、方法和设备可能不会被详细地讨论,但在适当的情形中应当是本说明书的一部分。
请注意,相似的附图标记和字母指的是附图中的相似的项目,因此,一旦一个项目在一附图中被定义,它就不必在下面的附图中被讨论。
在上述“C1”中,用于手检测的模型是根据依据样本图像获得的并对应于手的外接区域的手样本而生成的。由于手的外接区域包括不属于手区域的大部分的其他区域,所以模型的精度将受到影响。因此,手检测性能将降低,并且/或者假阳性检测结果的数量将增加。也就是说,由于不属于手区域的部分的影响,因此“C1”难以从要检测的图像检测到手区域(即,真阳性(true-positive)检测结果),这将降低手检测性能。其中,真阳性检测结果表示将真实手区域正确地检测为手区域的检测结果。
在上述“C2”中,用于手检测的模型是根据依据样本图像获得的并对应于手的内接区域的手样本而生成的。与“C1”相比,由于手的内接区域不包括不属于手区域的任何其它区域,所以可以消除不属于手区域的部分的影响。然而,如上所述,样本图像中的手形状和样本图像的分辨率将影响模型的精度。另外,要检测的图像通常包括其他身体部位(例如手臂或脸),并且这些身体部位中的一些区域与手的内接区域相似,因此,假阳性检测结果的数量会增加。也就是说,由于手的内接区域中的手的信息是有限的,所以“C2”能否从要检测的图像检测到真阳性检测结果将取决于哪种类型的手形状用于生成模型,并且“C2”也难以消除假阳性检测结果,从而也将降低手检测性能。
通过分析和实验,一方面,为了消除样本图像中手形状的影响(即,为了处理任何手形状),并且,为了尽可能多地使用手的信息,发明人发现,对于各个样本图像,可以使用手的外接区域与手的内接区域之间的区域(例如,下文中称为“优选区域”)来确定对应的手样本。然后,这些手样本可以用于生成用于手检测的模型。与手的外接区域相比,“优选区域”包括不属于手区域的较少部分的其他区域,因此可以减少不属于手区域的部分的影响。与手的内接区域相比,除了内接区域内的手的信息之外,“优选区域”还包括内接区域以外的手的其他可参考信息,因此,可以减少样本图像中的手形状的影响。
因此,在通过使用从下述手样本生成的模型来执行一个“手检测”(例如,下文中称为“第一手检测”)的情况下,其中,这些手样本是基于各个样本图像中的“优选区域”确定的,它可以确保可以尽可能多地检测真阳性检测结果。换句话说,在“第一手检测”期间,手区域将不会被漏掉。此外,“第一手检测”还可以确保大多数检测结果与手相关。换言之,“第一手检测”的检测结果将基本上不包括与手的内接区域相似的其他身体部位中的区域。
另一方面,考虑到“优选区域”仍然包括不属于手区域的少部分的其他区域,为了减少该部分的影响,本发明人发现,由于“第一手检测”可以确保手区域不会被漏掉,并且可以确保大多数的检测结果与手相关,所以可以使用另一“手检测”(例如,下文中称为“第二手检测”)来验证从“第一手检测”输出的检测结果,该另一“手检测”是通过使用从与手的内接区域对应的手样本生成的模型来执行的。并且,在“第二手检测”验证从“第一手检测”输出的某些检测结果实际上是真阳性检测结果的情况下,这些检测结果将被视为最终检测结果。换句话说,最终检测结果是从“第一手检测”输出并且由“第二手检测”验证的检测结果。
因此,在本发明中,与上述“C2”的输出相比,由于“第二手检测”的输入(即“第一手检测”的输出)与手相关,并且包括尽可能多的手区域,所以将改进“第二手检测”的输出。也就是说,在本发明中,首先,使用“第一手检测”来获得用于“第二手检测”的更有效和正确的输入,然后使用“第二手检测”来获得更加正确的检测结果。因此,在本发明,将提高手检测性能,并且将抑制许多假阳性检测结果。
(硬件结构)
首先将参照图2描述可以实现下文中描述的技术的硬件结构。图2是示意性地示出可以实现根据本发明的实施例的技术的硬件结构200的框图。
例如,硬件结构200包括中央处理单元(CPU)210、随机存取存储器(RAM)220、只读存储器(ROM)230、硬盘240、输入设备250、输出设备260、网络接口270和系统总线280。此外,硬件结构200通过如下实现:例如,数字照相机,摄像机,网络照相机,个人数字助理(PDA),移动电话,膝上型计算机,桌上型计算机或其他合适的电子设备。
在第一实现方式中,根据本发明的手检测由硬件或固件构成,并且,用作硬件结构200的模块或组件。例如,下文中将参照图3详细地描述的手检测装置300、下文中将参照图5详细地描述的手检测装置500或者下文中将参照图6详细地描述的手检测装置600,用作硬件结构200的模块或组件。在第二实现方式中,根据本发明的手检测由在ROM 230或硬盘240中存储且由CPU 210执行的软件构成。例如,下文中将参照图7详细地描述的手检测过程700或者下文中将参照图8详细地描述的手检测过程800,用作存储在ROM 230或硬盘240中的程序。
CPU 210是任何合适的可编程的控制设备(例如,处理器),并且,通过执行在ROM230或硬盘240(例如,存储器)中存储的各种应用程序来执行下文中要描述的各种功能。RAM220被用来临时地存储从ROM230或硬盘240加载的程序或数据,并且也被用作这样的空间,在该空间中,CPU 210执行各种程序,例如,实施下文中将参照图3至图11详细地描述的技术以及其他可用功能。硬盘240存储诸如操作系统(OS)、各种应用、控制程序以及由制造商预先存储或预先生成的模型和数据的许多种类的信息,其中,模型是例如将在下文中描述的第一模型、第二模型模型和分类器,并且数据是例如将在下文中描述的阈值(TH)。
在一种实现方式中,输入设备250用于允许用户与硬件结构200交互。在一个实例中,用户可以通过输入设备250来输入图像/视频/数据。在另一个实例中,用户可以通过输入设备250触发本发明的对应的手检测。此外,输入设备250可以采用各种形式,例如,按钮、键盘或触摸屏。在另一种实现方式中,输入设备250用于接收从例如数字照相机、摄像机和/或网络照相机的特殊电子设备输出的图像/视频。
在一种实现方式中,输出设备260被用来向用户显示检测结果(例如,手检测结果)。而且,输出设备260可以采用各种形式,例如,阴极射线管(CRT)或液晶显示器。在一个实例中,在本发明的手检测应用于数字照相机的情况下,一旦一只手出现在数字照相机的拍摄区域中,则将在数字照相机的显示装置中呈现聚焦框,其中聚焦框对应于根据本发明检测的手区域。在另一个实例中,在本发明的手检测应用于混合现实(MR)系统的情况下,一旦一只手出现在MR系统的拍摄区域中,则将在MR系统的显示装置中呈现聚焦框,其中聚焦框对应于根据本发明检测的手区域。在另一种实现方式中,输出设备260被用来将检测结果输出到后续操作,例如手势识别。
网络接口270提供用于将硬件结构200连接到网络(例如,图13所示的网络1330,图14所示的网络1430或者图15所示的网络1540)的接口。例如,硬件结构200可以经由网络接口270与经由网络连接的其他电子设备(例如,图14所示的图像获取装置1410或图15所示的图像获取装置1510)进行数据通信。可选地,可以为硬件结构200提供无线接口,以进行无线数据通信。系统总线280可以提供用于在CPU 210、RAM 220、ROM 230、硬盘240、输入设备250、输出设备260以及网络接口270等之间相互传输数据的数据传输路径。虽然被称为总线,但是系统总线280并不限于任何特定的数据传输技术。
上述的硬件结构200仅仅是说明性的,并且,决不意图限制本发明、其应用或用途。而且,为了简单起见,在图2中只示出一个硬件结构。但是,也可以根据需要使用多种硬件结构。
(手检测)
接下来将参照图3至图8描述用于手检测的结构。
图3是示出根据本发明的第一实施例的手检测装置300的结构的框图。其中,图3中所示的一些块或全部块可以由专用的硬件实现。
如图3所示,根据本发明的第一实施例的手检测装置300包括:特征获得单元310、第一手区域候选获得单元320和手区域确定单元330。
另外,图3所示的存储设备340存储将在下文中描述的第一模型和第二模型。在一种实现方式中,存储设备340是图2所示的ROM 230或硬盘240。可选地,存储设备340是经由网络(未示出)与手检测装置300连接的服务器或外部存储设备。
首先,图2所示的输入设备250获取从特殊电子设备(例如,数字照相机)输出或由用户输入的图像。例如,获取的图像是可以包括人手的图像。其次,输入设备250经由系统总线280将获取的图像传输到特征获得单元310。
如图3所示,特征获得单元310通过系统总线280从输入设备250获取所获取的图像,并从获取的图像(即,输入图像)获得特征。其中,特征可以是纹理特征和/或边缘特征,并且纹理特征可以是局部二值模式(LBP)特征、方向梯度直方图(HOG)特征或Harr特征。在本实施例中,例如,LBP特征将用于手检测。
由于难以知道输入图像中的手的实际尺寸是什么,所以,为了确保在输入图像包括手的情况下可以从输入图像检测到手,在一种实现方式中,特征获得单元310基于以下步骤获得特征:
首先,特征获得单元310通过使用例如图像扫描方法从输入图像获得多个子图像;
其次,特征获得单元310从各个子图像中提取对应的特征(即LBP特征)。其中,从所有子图像提取的特征将用于手检测。
上述图像扫描方法的主要概念是用预定尺寸的扫描窗口扫描输入图像,并且以预定步长宽度从输入图像的原点移动扫描窗口。而且,为了以各种尺寸和以各种图像方案检测手,在图4A至图4B中示出两种示例性图像扫描方法。图4A至图4B示意性地示出根据本发明实施例的从输入图像获得子图像的两种方法。
在一种实现方式中,特征获得单元310通过将输入图像的大小调整为不同的尺度并利用具有固定大小的扫描窗口扫描调整大小的图像来执行图像扫描操作,如图4A所示。在另一种实现方式中,特征获得单元310通过在各轮扫描操作中用具有不同大小的扫描窗口扫描输入图像来执行图像扫描操作,如图4B所示。由于上述图像扫描方法是本领域中常用的,所以在此不重复详细描述。
如图3所示,在特征获得单元310从输入图像获得特征之后,第一手区域候选获得单元320通过系统总线280从存储设备340获取上述第一模型,并基于特征和第一模型从输入图像获得至少一个第一手区域候选。其中,第一模型是根据依据样本图像获得的并且对应于手的外接区域与手的内接区域之间的区域(即,上述的“优选区域”)的手样本而生成的。在一种实现方式中,第一模型是通过使用下文中将参照图9至图11详细地描述的生成方法生成的手模型。
由第一手区域候选获得单元320执行的操作即是上述“第一手检测”。如上所述,“第一手检测”可以确保手区域不会被漏掉,并且大多数的检测结果与手相关。也就是说,第一手区域候选获得单元320用于尽可能多地从输入图像中检测真阳性检测结果,并用于使检测结果(即第一手区域候选)与输入图像中的手相关。
另外,由第一手区域候选获得单元320获得的各个第一手区域候选包括输入图像中的该第一手区域候选的位置信息和该第一手区域候选的测量值。其中,一个手区域候选的一种测量值表示该手区域候选被视为手区域的相似度测量值。
如上所述,当生成第一模型时,“优选区域”仍然包括不属于手区域的少部分的其他区域。因此,为了减小该部分的影响,如图3所示,在第一手区域候选获得单元320从输入图像获得第一手区域候选之后,手区域确定单元330通过系统总线280从存储设备340获取上述第二模型,并且基于与第一手区域候选对应的特征和第二模型从第一手区域候选中确定至少一个手区域。其中,第二模型是根据依据样本图像获得的并对应于手的内接区域的手样本而生成的。在一种实现方式中,通过使用在上述“C2”中公开的方法来确定手的内接区域,并且第二模型是通过使用也在上述“C2”中公开的生成方法生成的手模型。
由手区域确定单元330执行的操作即是上述的“第二手检测”。如上所述,“第二手检测”用于验证从“第一手检测”输出的检测结果。也就是说,手区域确定单元330用于验证从第一手区域候选获得单元320输出的检测结果(即,第一手区域候选)。并且,从手区域确定单元330输出的最终检测结果(即手区域)即是从第一手区域候选获得单元320输出且由手区域确定单元330验证的检测结果。
一般地,用于生成上述第一模型和上述第二模型的特征是相同的。因此,在一种实现方式中,如图3所示,手区域确定单元330包括第二手区域候选获得单元331和手区域判断单元332。
对于从第一手区域候选获得单元320输出的各个第一手区域候选,第二手区域候选获得单元331首先获取由特征获得单元310获得的与该第一手区域候选相对应的特征,然后基于与该第一手区域候选相对应的特征和第二模型从该第一手区域候选中获得至少一个第二手区域候选,这即是上述的“第二手检测”。其中,由第二手区域候选获得单元331获得的各个第二手区域候选还包括该第二手区域候选在对应的第一手区域候选中的位置信息以及该第二手区域候选的测量值。然后,手区域判断单元332基于该第一手区域候选的第二手区域候选,判断是否将该第一手区域候选视为手区域。
在一个实例中,对于从第一手区域候选获得单元320输出的各个第一手区域候选,在第二手区域候选获得单元331从该第一手区域候选获得第二手区域候选中的至少一个的情况下,手区域判断单元332将该第一手区域候选视为手区域。也就是说,在不能从一个第一手区域候选获得第二手区域候选的情况下,该第一手区域候选将不被视为手区域。如上所述,手的内接区域不包括不属于手区域的任何其他区域。因此,在第二手区域候选获得单元331可以从一个第一手区域候选获得至少一个第二手区域候选的情况下,这意味着该第一手区域候选具有与手相似的纹理信息。因此,该第一手区域候选可以被视为手区域。也就是说,在这种情况下,从手区域判断单元332(即,手区域确定单元330)输出的手区域是纹理信息类似于手的第一手区域候选。
在一些情况下,要检测的图像(即输入图像)将包括具有与手相似的纹理信息但实际上不属于手的一些区域。例如,叶的若干部分有时具有与手相似的纹理信息,或者波纹衣服的若干部分有时具有与手相似的纹理信息。为了确保这种区域不被视为手区域(即,为了减少假阳性检测结果),在另一个实例中,对于从第一手区域候选获得单元320输出的各个第一手区域候选,在第二手区域候选获得单元331从该第一手区域候选中获得第二手区域候选中的至少一个的情况下,手区域判断单元332基于包括皮肤像素类和非皮肤像素类的分类器判断是否将该第一手区域候选视为手区域。其中,分类器是通过使用将在下文中详细描述的生成方法来生成的。而且,在下文中将参照图5和图6描述手区域判断单元332的对应结构。
如上所述,一般地,用于生成上述第一模型和上述第二模型的特征是相同的。可选地,在用于生成上述第一模型和上述第二模型的特征不同的情况下,对于从第一手区域候选获得单元320输出的各个第一手区域候选,第二手区域候选获得单元331首先通过使用例如特征获得单元310所使用的相同方法从该第一手区域候选获得对应特征。然后,第二手区域候选获得单元331基于从第一手区域候选获得的特征和第二模型从该第一手区域候选获得第二手区域候选。
最后,在手区域确定单元330确定输入图像中的手区域之后,手区域确定单元330将检测结果(即,确定的手区域)经由系统总线280传输到图2所示的输出设备260,以将检测结果显示给用户或用于后续操作,例如,手势识别。
接下来,将在下文中参照图5和图6描述手区域判断单元332的对应结构,该手区域判断单元332基于包括皮肤像素类和非皮肤像素类的分类器来判断是否将一个第一手区域候选视为手区域。
图5是示出根据本发明的第二实施例的手检测装置500的结构的框图,并且,图5所示的一些块或全部块也可以由专用硬件来实现。
将图5与图3进行比较,图5所示的手检测装置500的主要区别在于如下:
首先,除了第一模型和第二模型之外,存储设备510仍然存储上述分类器,其中上述分类器包括皮肤像素类和非皮肤像素类。
其次,手区域判断单元332包括测量值确定单元3321和确定单元3322。
如上面在图3中所述,对于从第一手区域候选获得单元320输出的一个第一手区域候选,在第二手区域候选获得单元331从该第一手区域候选获得第二手区域候选中的至少一个的情况下,首先,测量值确定单元3321通过系统总线280从存储设备510获取上述分类器,并且选择该第一手区域候选中的至少一个第二手区域候选。一般地,将选择该第一手区域候选的第二手区域候选中的第一个或前两个。然后,测量值确定单元3321基于由分类器从所选择的第二手区域候选中确定的皮肤像素的量和非皮肤像素的量来确定第一测量值。
在一种实现方式中,在选择第二手区域候选中的第一个(例如,具有最大测量值的第二手区域候选或具有最大区域尺寸的第二手区域候选)的情况下,首先,对于该第二手区域候选中的各个像素,测量值确定单元3321基于分类器的皮肤像素类和非皮肤像素类来确定该像素是皮肤像素还是非皮肤像素。其次,测量值确定单元3321计算该第二手区域候选中的皮肤像素的量和非皮肤像素的量。然后,测量值确定单元3321基于皮肤像素的量和非皮肤像素的量来确定第一测量值。
在一个实例中,第一测量值由下式(1)确定:
第一测量值=(皮肤像素的量)-(非皮肤像素的量)…(1)
在另一个实例中,第一测量值由下式(2)确定:
在另一种实现方式中,在选择第二手区域候选中的前两个(例如,具有前两个最大测量值的第二手区域候选或具有前两个最大区域大小的第二手区域候选)的情况下,首先,对于各个选择的第二手区域候选,测量值确定单元3321通过使用上述的选择第二手区域候选中的第一个的实现方式来确定相应的测量值。更具体地,对于一个选择的第二手区域候选,测量值确定单元3321基于由分类器从该选择的第二手区域候选确定的皮肤像素的量和非皮肤像素的量来确定第二测量值。并且,对于另一个选择的第二手区域候选,测量值确定单元3321基于由分类器从该选择的第二手区域候选确定的皮肤像素的量和非皮肤像素的量来确定第三测量值。然后,测量值确定单元3321将第二测量值和第三测量值的加权和确定为第一测量值。
然后,如图5所示,对于从第一手区域候选获得单元320输出的一个第一手区域候选,在测量值确定单元3321确定对应的第一测量值之后,在第一测量值大于或等于预定义的第一阈值(TH1)的情况下,确定单元3322将该第一手区域候选确定为手区域。
另外,由于图5所示的特征获得单元310、第一手区域候选获得单元320和第二手区域候选获得单元331与图3所示的特征获得单元310、第一手区域候选获得单元320和第二手区域候选获得单元331相同,所以这里不再重复详细描述。
在上述第二实施例中,对于一个第一手区域候选,仅基于从该第一手区域候选获得的一个或两个第二手区域候选的信息来确定第一测量值。因此,为了减少更多的假阳性检测结果,也可以考虑该第一手区域候选的信息。图6是示出根据本发明的第三实施例的手检测装置600的结构的框图,并且,图6所示的一些块或全部块也可以由专用硬件来实现。
将图6与图5进行比较,图6所示的手检测装置600的主要区别在于:
除了测量值确定单元3321和确定单元3322之外,手区域判断单元332还包括测量值更新单元3323。
如上面在图5中所述,对于从第一手区域候选获得单元320输出的一个第一手区域候选,在测量值确定单元3321确定对应的第一测量值之后,测量值更新单元3323基于该第一手区域候选的测量值来更新第一测量值,其中,该第一手区域候选的测量值是从第一手区域候选获得单元320输出的,并且被视为例如“第四测量值”。
在一个实例中,更新后的第一测量值是第一测量值和第四测量值的加权和。也就是说,第一测量值通过下式(3)更新:
更新后的第一测量值=(w1*第一测量值)+(w2*第四测量值)…(3)
其中,w1和w2是预定义的加权值。
在另一个实例中,第一测量值通过下式(4)更新:
更新后的第一测量值=第一测量值*第四测量值…(4)
然后,如图6所示,对于从第一手区域候选获得单元320输出的一个第一手区域候选,在测量值更新单元3323更新对应的第一测量值之后,在更新后的第一测量值大于或等于TH1的情况下,确定单元3322将该第一手区域候选确定为手区域。
另外,由于图6所示的特征获得单元310、第一手区域候选获得单元320、第二手区域候选获得单元331、测量值确定单元3321和确定单元3322与图5所示的特征获得单元310、第一手区域候选获得单元320、第二手区域候选获得单元331、测量值确定单元3321和确定单元3322相同,所以这里不再重复详细描述。
接下来,将参照图7描述由图3所示的手检测装置300的结构执行的整体处理。图7示意性地示出根据本发明的第一实施例的手检测的流程图700。
如上所述,首先,图2所示的输入设备250获取从特殊电子设备(例如,数字照相机)输出或由用户输入的图像。其次,输入设备250经由系统总线280将获取的图像传输到特征获得单元310。
然后,如图7所示,在特征获得步骤S710中,特征获得单元310通过系统总线280从输入设备250获取所获取的图像,并从获取的图像(即,输入图像)获得特征。例如,将通过上述图像扫描方法获得用于手检测的LBP特征。
在第一手区域候选获得步骤S720中,第一手区域候选获得单元320通过系统总线280从存储设备340获取第一模型,并且基于特征和第一模型从输入图像获得至少一个第一手区域候选。其中,第一模型是根据依据样本图像获得的并且对应于手的外接区域与手的内接区域之间的区域(即,上述的“优选区域”)的手样本而生成的。在一种实现方式中,第一模型是通过使用下文中将参照图9至图11详细地描述的生成方法生成的手模型。
假设获得的第一手区域候选的数量为N,因此,如上所述,手区域确定单元330通过系统总线280从存储设备340获取第二模型,并且,基于与第一手区域候选对应的特征和第二模型从第一手区域候选确定至少一个手区域。其中,第二模型是根据依据样本图像获得的并且对应于手的内接区域的手样本而生成的。
具体而言,对于第t个第一手区域候选(例如,第1个第一手区域候选),在第二手区域候选获得步骤S730中,第二手区域候选获得单元331基于与第t个第一手区域候选相对应的特征和第二模型从第t个第一区域候选获得至少一个第二手区域候选。
然后,手区域判断单元332基于第t个第一手区域候选的第二手区域候选,判断是否将该第t个第一手区域候选视为手区域。具体而言,在手区域判断步骤S740中,手区域判断部332判断是否从第t个第一手区域候选中获得了至少一个第二手区域候选。在从第t个第一手区域候选中获得了至少一个第二手区域候选的情况下,在步骤S750中,手区域判断单元332将第t个第一手区域候选视为手区域,并将第t个第一手区域候选添加/存储到手区域列表中。然后,处理将进入步骤S760。
在从第t个第一手区域候选中没有获得第二手区域候选的情况下,在步骤S760中,手区域判断单元332判断在步骤S730至S750中是否已经处理了所有的第一手区域候选。也就是说,在步骤S760中,手区域判断单元332判断t是否大于或等于N。在所有的第一手区域候选已经被处理(即,t大于或等于N)的情况下,手区域判断单元332将最终的手区域列表(即,最终检测结果)经由系统总线280传输到图2所示的输出设备260,以将检测结果显示给用户或用于后续操作,例如手势识别。否则,在步骤S770中,手区域判断单元332设置t=t+1。然后,将从步骤S730到步骤S770重复地执行对应的处理。
接下来,将参照图8描述由图5所示的手检测装置500的结构执行的整体处理。图8示意性地示出根据本发明的第二实施例的手检测的流程图800。
将图8与图7进行比较,图8所示的流程图800的主要区别在于:
除了流程图700中所示的步骤S710至S770之外,流程图800还包括用于基于包括皮肤像素类和非皮肤像素类的分类器来判断是否将第t个第一手区域候选视为手区域的处理。更具体地,流程图800还包括步骤S740与步骤S750之间的步骤S810至S820。
更具体地,在步骤S740中从第t个第一手区域候选中获得第二手区域候选中的至少一个的情况下,在步骤S810中,类似于图5中的对应描述,测量值确定单元3321通过系统总线280从存储设备510获取分类器,并且选择第t个第一手区域候选的第二手区域候选中的至少一个。然后,测量值确定单元3321基于由分类器从所选择的一个或两个第二手区域候选中确定的皮肤像素的量和非皮肤像素的量来确定第一测量值。
然后,在步骤S820中,确定单元3322判断第一测量值是否大于或等于TH1。在第一测量值大于或等于TH1的情况下,在步骤S750中,确定单元3322将第t个第一手区域候选视为手区域,并将第t个第一手区域候选添加/存储到手区域列表中。然后,处理将进入步骤S760。并且,在第一测量值小于TH1的情况下,处理将进入步骤S760。
此外,类似于图6中的对应描述,在测量值确定单元3321在步骤S810中确定第一测量值后,该第一测量值也可以由测量值更新单元3323基于从第一手区域候选获得单元320输出的第t个第一手区域候选的测量值来更新。然后,在步骤S820中,确定单元3322判断更新后的第一测量值是否大于或等于TH1。在更新后的第一测量值大于或等于TH1的情况下,在步骤S750中,确定单元3322将第t个第一手区域候选视为手区域,并将第t个第一手区域候选添加/存储到手区域列表中。
另外,由于图8所示的步骤S710至S770与图7所示的步骤S710至S770相同,所以将在此不重复详细描述。
如上所述,首先,使用由第一手区域候选获得单元320进行的处理(即,“第一手检测”)来获得用于由手区域确定单元330进行的处理(即,“第二手检测”)的更有效和正确的输入。然后,使用由手区域确定单元330进行的处理来获得更正确的检测结果。因此,在本发明,将提高手检测性能,并且将抑制许多假阳性检测结果。
(第一模型生成和分类器生成)
作为本发明的上述的第一实施例至第三实施例,根据依据样本图像获得的并对应于手的外接区域与手的内接区域之间的区域的手样本,生成第一模型。为了生成可在本发明中使用的对应的第一模型,可以预先通过使用参照图9至图11的生成方法从多个样本图像生成第一模型。参照图9和图11的生成方法也可以通过图2所示的硬件结构200来执行。
图9是示意性地示出用于生成可在本发明的实施例中使用的第一模型的生成方法的流程图900。
如图9所示,首先,如图2所示的CPU 210通过输入设备250获取由制造者输入的多个样本图像。其中,基于经验或现有知识,标记出各个样本图像中的手的外接区域。
图10示意性地示出示例性样本图像。其中,“区域0”是样本图像的对应图像区域,“区域1”是手的对应外接区域。如图10所示,样本图像是其图像区域(即,“区域0”)的大小大于手的外接区域(即,“区域1”)的大小的图像。也就是说,样本图像的对应图像区域不仅包括手的外接区域,而且包括不属于手区域的其他区域(即背景区域)。此外,手的外接区域是包括整个手的区域,但包括尽可能少地不属于手区域的其他区域。
然后,在步骤S910中,CPU 210从多个样本图像获得手样本。
在一种实现方式中,参照图11,可以从一个样本图像获得一个手样本。图11是示意性地示出图9所示的步骤S910的处理的详细过程的流程图。
如图11所示,在步骤S911中,CPU 210获得该样本图像内的手的外接区域和手的内接区域。其中,如上所述,手的内接区域是包括尽可能多的手区域但是没有任何其它不属于手区域的区域的区域,并且,通过使用在上述“C2”中公开的方法来确定手的内接区域。例如,对于图10所示的样本图像,“区域2”是手的对应内接区域。
在步骤S912中,CPU 210确定手的外接区域与手的内接区域之间的区域。例如,对于图10所示的样本图像,“区域3”是确定区域(即,上述“优选区域”)。
在一种实现方式中,手的外接区域与手的内接区域之间的中间区域被确定为“优选区域”。
在另一种实现方式中,CPU 210通过以下步骤确定“优选区域”:
首先,CPU 210获得手的外接区域与手的内接区域之间的一个区域。例如,CPU 210通过缩小手的外接区域来获得该区域。
其次,CPU 210确定手的外接区域中的手像素的量与所获得的区域中的手像素的量之间的第一差值。CPU 210还确定手的外接区域中的非手像素的量与所获得的区域中的非手像素的量之间的第二差值。
然后,在第一差值与第二差值之间的差值小于或等于预定义的第二阈值(TH2)的情况下,CPU 210将获得的区域视为确定的区域(即,“优选区域”)。其中,TH2可以基于经验、现有知识或实验来定义。换句话说,在缩小手的外接区域的过程中,相对于手的外接区域而言,在一个区域中的手像素的减少量与非手像素的减少量之间的差值小于或等于TH2的情况下,可以将该区域视为“优选区域”。
在另一种实现方式中,CPU 210通过以下步骤确定“优选区域”:
首先,CPU 210获得手的外接区域与手的内接区域之间的一个区域。例如,CPU 210通过扩大手的内接区域来获得该区域。
其次,CPU 210确定所获得的区域中的手像素的量与手的内接区域中的手像素的量之间的第三差值。CPU 210还确定所获得的区域中的非手像素的量与手的内接区域中的非手像素的量之间的第四差值。
然后,在第三差值与第四差值之间的差值大于或等于预定义的第三阈值(TH3)的情况下,CPU 210将获得的区域视为确定的区域(即,“优选区域”)。其中,TH3可以基于经验、现有知识或实验来定义,并且,TH2和TH3可以用相同的值定义。换句话说,在扩大手的内接区域的过程中,相对于手的内接区域而言,在一个区域中的手像素的增加量与非手像素的增加量之间的差值大于或等于TH3的情况下,可以将该区域视为“优选区域”。
如图11所示,在步骤S912中CPU 210确定“优选区域”之后,在步骤S913中,CPU 210将处于确定区域(即,“优选区域”)中的该样本图像的对应部分视为手样本。
如图9所示,在步骤S910中CPU 210从多个样本图像获得手样本之后,在步骤S920中,CPU 210将手样本归一化为相同的样本大小。
在步骤S930中,CPU210从归一化的手样本中提取特征。类似于上述手检测,特征可以是纹理特征和/或边缘特征,并且纹理特征可以是局部二值模式(LBP)特征、方向梯度直方图(HOG)特征或Harr特征。在本实施例中,例如,LBP特征将用于生成第一模型。
然后,在步骤S940中,CPU 210基于所提取的特征和分类器来生成第一模型。在本实施例中,级联分类器或支持向量机(SVM)分类器用于生成第一模型。
另外,第一模型用于确定手区域候选的上述位置信息和表示该手区域候选被视为手区域的相似度测量值的各个手区域候选的上述测量值。
接下来,作为本发明的上述的第二实施例至第三实施例,包括皮肤像素类和非皮肤像素类的分类器将由图5和图6所示的手区域判断单元332用来判断是否将一个第一手区域候选视为手区域。在一种实现方式中,可以参考以下生成方法从多个样本图像生成包括皮肤像素类和非皮肤像素类的分类器。该生成方法也可以由图2所示的硬件结构200执行。
首先,如图2所示的CPU 210通过输入设备250获取由制造者输入的多个样本图像。其中,基于经验或现有知识,标记出各个样本图像中的手的外接区域。此外,在手的各个外接区域中,属于手的像素被标记为手区域,并且,手的外接区域中的其他像素被标记为背景区域。
然后,CPU 210通过使用现有的直方图统计方法,基于在各个样本图像中标记的手区域生成分类器的皮肤像素类,并基于在各个样本图像中标记的背景区域生成分类器的非皮肤像素类。
(图像处理装置或系统)
如上所述,本发明的手检测可以被应用于例如数字照相机。因此,作为上述手检测的示例性应用,接下来将参照图12描述示例性图像处理装置。图12示出根据本发明的示例性图像处理装置1200的布置。
如图12所示,根据本发明的图像处理装置1200包括图像获取装置1210、显示装置1220、存储设备1230和上述的手检测装置300/500/600。
首先,图像获取装置1210获取例如场所的至少一个图像。其中,图像获取装置1210用作例如数字照相机的光学系统。
手检测装置300/500/600通过图像处理装置1200的系统总线(未示出)从图像获取装置1210获取图像,并且还通过系统总线从存储设备1230获取对应的第一模型、第二模型和分类器。然后,手检测装置300/500/600根据参照图3至图11的上述描述来从获取的图像检测至少一个手区域。
然后,在手检测装置300/500/600从所获取的图像中检测到手区域的情况下,显示装置1220显示所获取的图像内的检测到的手区域。例如,对于一个检测到的手区域,在显示装置1220中呈现与该检测到的手区域对应的聚焦框。
如图12所示,手检测装置300/500/600将使用的对应的第一模型、第二模型和分类器被存储在图像处理装置1200的内部存储设备1230中。如上所述,存储设备1230还可以是服务器或外部存储设备。图13示出根据本发明的示例性图像处理系统1300的布置。
如图13所示,根据本发明的图像处理系统1300包括图像处理装置1310和至少一个服务器1320。其中,图像处理装置1310和服务器1320经由网络1330相互连接。可选地,系统总线(未示出)可以被用来替代网络1330。并且,图像处理装置1310包括图像获取装置1311、显示装置1312和上述的手检测装置300/500/600。
类似于上述的图像处理装置1200,首先,图像获取装置1311获取例如场所的至少一个图像。其中,图像获取装置1311也用作例如数字照相机的光学系统。
手检测装置300/500/600通过图像处理装置1311的系统总线(未示出)从图像获取装置1310获取图像,并且还通过网络1330从服务器1320获取对应的第一模型、第二模型和分类器。然后,手检测装置300/500/600根据参照图3至图11的上述描述来从获取的图像检测至少一个手区域。
然后,在手检测装置300/500/600从所获取的图像中检测到手区域的情况下,显示装置1312显示所获取的图像内的检测到的手区域。
如上所述,本发明的手检测也可以被应用于例如MR系统。因此,作为上述手检测的示例性应用,接下来将参照图14描述另一个示例性图像处理系统。图14示出根据本发明的另一示例性图像处理装置1400的布置。
如图14所示,根据本发明的图像处理系统1400包括图像获取装置1410和图像处理装置1420。其中,图像获取装置1410和图像处理装置1420经由网络1430相互连接。可选地,系统总线(未示出)可以被用来替代网络1430。并且,图像处理装置1420包括显示装置1421、存储装置1422和上述的手检测装置300/500/600。
首先,图像获取装置1410获取例如场所的至少一个图像。其中,图像获取装置1410用作例如数字照相机。
手检测装置300/500/600通过网络1430从图像获取装置1410获取图像,并且通过图像处理装置1420的系统总线(未示出)从存储设备1422获取对应的第一模型、第二模型和分类器。然后,手检测装置300/500/600根据参照图3至图11的上述描述来从获取的图像检测至少一个手区域。
然后,在手检测装置300/500/600从所获取的图像中检测到手区域的情况下,显示装置1421显示所获取的图像内的检测到的手区域。例如,对于一个检测到的手区域,在显示装置1421中呈现与该检测到的手区域对应的聚焦框。
如图14所示,手检测装置300/500/600所将使用的对应的第一模型、第二模型和分类器,被存储在图像处理装置1420的内部存储设备1422中。如上所述,存储设备1422还可以是服务器或外部存储设备。图15示出根据本发明的另一个示例性图像处理系统1500的布置。
如图15所示,根据本发明的图像处理系统1500包括图像获取装置1510、图像处理装置1520和至少一个服务器1530。其中,图像获取装置1510、图像处理装置1520和服务器1530经由网络1540相互连接。可选地,系统总线(未示出)可以被用来替代网络1540。并且,图像处理装置1520包括显示装置1521和上述的手检测装置300/500/600。
类似于上述的图像处理系统1400,首先,图像获取装置1510获取例如场所的至少一个图像。其中,图像获取装置1510用作例如数字照相机。
手检测装置300/500/600通过网络1540从图像获取装置1510获取图像,并且还通过网络1540从存储设备1422获取对应的第一模型、第二模型和分类器。然后,手检测装置300/500/600根据参照图3至图11的上述描述来从获取的图像检测至少一个手区域。
然后,在手检测装置300/500/600从所获取的图像中检测到手区域的情况下,显示装置1521显示所获取的图像内的检测到的手区域。
上述的所有的单元都是用于实现本公开中所述的处理的示例性的和/或优选的模块。这些单元可以是硬件单元(例如,现场可编程门阵列(FPGA)、数字信号处理器、专用集成电路等)和/或软件模块(例如,计算机可读程序)。上面没有详尽地描述用于实现各步骤的单元。然而,当存在执行某一处理的步骤的情况中,可以存在用于实现该同一处理的对应的功能模块或单元(通过硬件和/或软件实现)。通过描述的步骤和对应于这些步骤的单元的所有组合的技术方案被包括在本申请的公开中,只要它们所构成的技术方案是完整的、适用的即可。
可以通过很多方式来实施本发明的方法和装置。例如,可以通过软件、硬件、固件或其任何组合来实施本发明的方法和装置。本方法的步骤的上述顺序仅旨在是说明性的,并且,本发明的方法的步骤不局限于上述具体描述的顺序,除非另有具体说明。此外,在一些实施例中,本发明还可以被实施为在记录介质中记录的程序,其包括用于实现根据本发明的方法的机器可读指令。因此,本发明也覆盖存储用于实现根据本发明的方法的程序的记录介质。
虽然已经通过示例详细地展示了本发明的一些具体实施例,但是本领域的技术人员应该理解,上述示例仅旨在是说明性的,而不限制本发明的范围。本领域的技术人员应该理解,上述实施例可以在不脱离本发明的范围和精神的情况下被修改。本发明的范围由所附权利要求限定。

Claims (19)

1.一种手检测装置,包括:
特征获得单元,其被构造为从输入图像获得特征;
第一手区域候选获得单元,其被构造为基于所述特征和第一模型从输入图像获得至少一个第一手区域候选;以及
手区域确定单元,其被构造为基于与第一手区域候选对应的特征和第二模型,从第一手区域候选中确定至少一个手区域;
其中,根据依据样本图像获得的并对应于手的外接区域与手的内接区域之间的区域的手样本,生成第一模型,并且,根据依据样本图像获得的并对应于手的内接区域的手样本,生成第二模型。
2.根据权利要求1所述的手检测装置,其中,手区域确定单元包括:
第二手区域候选获得单元,其被构造为针对所述第一手区域候选中的至少一个,基于与该第一手区域候选相对应的特征和第二模型,从该第一手区域候选中获得至少一个第二手区域候选;以及
手区域判断单元,其被构造为针对所述第一手区域候选中的至少一个,基于该第一手区域候选的第二手区域候选判断是否将该第一手区域候选视为手区域。
3.根据权利要求2所述的手检测装置,其中,在第二手区域候选获得单元从所述第一手区域候选获得所述第二手区域候选中的至少一个的情况下,手区域判断单元将该第一手区域候选视为手区域。
4.根据权利要求2所述的手检测装置,其中,在第二手区域候选获得单元从该第一手区域候选获得所述第二手区域候选中的至少一个的情况下,手区域判断单元基于包括皮肤像素类和非皮肤像素类的分类器来判断是否将该第一手区域候选视为手区域。
5.根据权利要求4所述的手检测装置,其中,手区域判断单元包括:
测量值确定单元,其被构造为,基于由分类器从该第一手区域候选的所述第二手区域候选中的至少一个确定的皮肤像素的量和非皮肤像素的量,确定第一测量值;以及
确定单元,其被构造为在第一测量值大于或等于预定义的第一阈值的情况下,将该第一手区域候选确定为手区域。
6.根据权利要求5所述的手检测装置,其中,手区域判断单元还包括:
测量值更新单元,其被构造为,基于从第一手区域候选获得单元输出的该第一手区域候选的测量值,更新第一测量值;
其中,在更新后的第一测量值大于或等于预定义的第一阈值的情况下,确定单元将该第一手区域候选确定为手区域。
7.根据权利要求1所述的手检测装置,其中,用于生成第一模型的一个手样本是通过以下步骤依据一个样本图像而获得:
获得该样本图像内的手的外接区域和手的内接区域;
确定手的外接区域与手的内接区域之间的区域;以及
将该样本图像的所确定的区域中的对应部分视为手样本。
8.根据权利要求7所述的手检测装置,其中,确定手的外接区域与手的内接区域之间的区域的步骤包括:
将手的外接区域与手的内接区域之间的中间区域视为确定的区域。
9.根据权利要求7所述的手检测装置,其中,确定手的外接区域与手的内接区域之间的区域的步骤包括:
确定手的外接区域与手的内接区域之间的一个区域;
确定手的外接区域中的手像素的量与所获得的区域中的手像素的量之间的第一差值;
确定手的外接区域中的非手像素的量与所获得的区域中的非手像素的量之间的第二差值;
在第一差值与第二差值之间的差值小于或等于预定义的第二阈值的情况下,将所获得的区域视为确定的区域。
10.根据权利要求7所述的手检测装置,其中,确定手的外接区域与手的内接区域之间的区域的步骤包括:
获得手的外接区域与手的内接区域之间的一个区域;
确定所获得的区域中的手像素的量与手的内接区域中的手像素的量之间的第三差值;
确定所获得的区域中的非手像素的量与手的内接区域中的非手像素的量之间的第四差值;
在第三差值与第四差值之间的差值大于或等于预定义的第三阈值的情况下,将所获得的区域视为确定的区域。
11.一种手检测方法,包括:
特征获得步骤,依据输入图像获得特征;
第一手区域候选获得步骤,基于所述特征和第一模型从输入图像获得至少一个第一手区域候选;以及
手区域确定步骤,基于与第一手区域候选对应的特征和第二模型,从第一手区域候选中确定至少一个手区域;
其中,根据依据样本图像获得的并对应于手的外接区域与手的内接区域之间的区域的手样本,生成第一模型,并且,根据依据样本图像获得的并对应于手的内接区域的手样本,生成第二模型。
12.根据权利要求11所述的手检测方法,其中,针对所述第一手区域候选中的至少一个,手区域确定步骤包括:
第二手区域候选获得步骤,基于与该第一手区域候选相对应的特征和第二模型,从该第一手区域候选中获得至少一个第二手区域候选;以及
手区域判断步骤,基于该第一手区域候选的第二手区域候选,判断是否将该第一手区域候选视为手区域。
13.根据权利要求12所述的手检测方法,其中,在第二手区域候选获得步骤中从所述第一手区域候选获得所述第二手区域候选中的至少一个的情况下,在手区域判断步骤中将该第一手区域候选视为手区域。
14.根据权利要求12所述的手检测装置,其中,在第二手区域候选获得步骤中从该第一手区域候选获得所述第二手区域候选中的至少一个的情况下,在手区域判断步骤中,基于包括皮肤像素类和非皮肤像素类的分类器来判断是否将该第一手区域候选视为手区域。
15.根据权利要求11所述的手检测方法,其中,用于生成第一模型的一个手样本是通过以下步骤依据一个样本图像而获得:
获得该样本图像内的手的外接区域和手的内接区域;
确定手的外接区域与手的内接区域之间的区域;以及
将该样本图像的所确定的区域中的对应部分视为手样本。
16.一种图像处理装置,包括:
图像获取装置,其被构造为获取至少一个图像;
根据权利要求1至10中的任一项所述的手检测装置,其被构造为从所获取的图像中检测至少一个手区域;
显示装置,其被构造为在手检测装置从所获取的图像中检测到手区域的情况下显示所获取的图像内的所检测的手区域;
存储设备,其被构造为存储手检测装置使用的第一模型、第二模型和分类器。
17.一种图像处理系统,包括:
图像处理装置,其包括:
图像获取装置,其被构造为获取至少一个图像;
根据权利要求1至10中的任一项所述的手检测装置,其被构造为从所获取的图像中检测至少一个手区域;
显示装置,其被构造为在手检测装置从所获取的图像中检测到手区域的情况下显示所获取的图像内的所检测的手区域;
至少一个服务器,其被构造为存储图像处理装置使用的第一模型、第二模型和分类器。
18.一种图像处理系统,包括:
图像获取装置,其被构造为获取至少一个图像;
图像处理装置,其包括:
根据权利要求1至10中的任一项所述的手检测装置,其被构造为从所获取的图像中检测至少一个手区域;
显示装置,其被构造为在手检测装置从所获取的图像中检测到手区域的情况下显示所获取的图像内的所检测的手区域;
存储设备,其被构造为存储手检测装置使用的第一模型、第二模型和分类器。
19.一种图像处理系统,包括:
图像获取装置,其被构造为获取至少一个图像;
图像处理装置,其包括:
根据权利要求1至10中的任一项所述的手检测装置,其被构造为从所获取的图像中检测至少一个手区域;
显示装置,其被构造为在手检测装置从所获取的图像中检测到手区域的情况下显示所获取的图像内的所检测的手区域;
至少一个服务器,其被构造为存储图像处理装置使用的第一模型、第二模型和分类器。
CN201710046129.XA 2017-01-20 2017-01-20 手检测装置和方法、图像处理装置和系统 Pending CN108334803A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710046129.XA CN108334803A (zh) 2017-01-20 2017-01-20 手检测装置和方法、图像处理装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710046129.XA CN108334803A (zh) 2017-01-20 2017-01-20 手检测装置和方法、图像处理装置和系统

Publications (1)

Publication Number Publication Date
CN108334803A true CN108334803A (zh) 2018-07-27

Family

ID=62922260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710046129.XA Pending CN108334803A (zh) 2017-01-20 2017-01-20 手检测装置和方法、图像处理装置和系统

Country Status (1)

Country Link
CN (1) CN108334803A (zh)

Similar Documents

Publication Publication Date Title
US10726244B2 (en) Method and apparatus detecting a target
Micallef et al. Towards perceptual optimization of the visual design of scatterplots
CN106897658B (zh) 人脸活体的鉴别方法和装置
JP6975848B2 (ja) 生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体
Margolin et al. How to evaluate foreground maps?
CN108229296A (zh) 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN108573273A (zh) 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质
CN112052186A (zh) 目标检测方法、装置、设备以及存储介质
Rodolà et al. A simple and effective relevance-based point sampling for 3D shapes
CN104751093A (zh) 用于获取宿主设备显示的图像识别码的方法和装置
US8417038B2 (en) Image processing apparatus, processing method therefor, and non-transitory computer-readable storage medium
CN105740874B (zh) 确定自动化测试脚本回放时的操作坐标的方法及装置
CN110991412A (zh) 人脸识别的方法、装置、存储介质及电子设备
EP3961495B1 (en) System and method for finding an area of an eye from a facial image
Abeysinghe et al. Segmentation-free skeletonization of grayscale volumes for shape understanding
CN113269849A (zh) 重建磁共振的方法和设备
CN108334803A (zh) 手检测装置和方法、图像处理装置和系统
CN111161789A (zh) 一种模型预测的关键区域的分析方法及装置
Impoco et al. Segmentation of structural features in cheese micrographs using pixel statistics
Wang et al. Visual saliency detection for RGB-D images with generative model
Rittner et al. New tensorial representation of color images: Tensorial morphological gradient applied to color image segmentation
He et al. Structure-preserving texture smoothing with scale-aware intensity aggregation structure measurement
Yu et al. Local tests for identifying anisotropic diffusion areas in human brain with DTI
Murugaraj et al. Performance assessment framework for computational models of visual attention
Anaya-Jaimes et al. Performance of bottom-up visual attention models when compared in contextless and context awareness scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180727