CN109426789B - 手和图像检测方法和系统、手分割方法、存储介质和设备 - Google Patents

手和图像检测方法和系统、手分割方法、存储介质和设备 Download PDF

Info

Publication number
CN109426789B
CN109426789B CN201710771527.8A CN201710771527A CN109426789B CN 109426789 B CN109426789 B CN 109426789B CN 201710771527 A CN201710771527 A CN 201710771527A CN 109426789 B CN109426789 B CN 109426789B
Authority
CN
China
Prior art keywords
connected domain
image
region
point
starting point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710771527.8A
Other languages
English (en)
Other versions
CN109426789A (zh
Inventor
赵骥伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710771527.8A priority Critical patent/CN109426789B/zh
Priority to US16/342,626 priority patent/US10885321B2/en
Priority to PCT/CN2018/091321 priority patent/WO2019041967A1/zh
Priority to EP18850076.3A priority patent/EP3678046B1/en
Publication of CN109426789A publication Critical patent/CN109426789A/zh
Application granted granted Critical
Publication of CN109426789B publication Critical patent/CN109426789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

一种手部检测方法、手分割方法、图像检测方法和系统、存储介质以及设备。该图像检测方法包括：确定第1起点，其为待检测图像中的连通域的重心点以及所述连通域的外切图形的几何中心中的一个；确定不同于所述第1起点的n个极远点，其中，第N极远点为所述连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；分别以所述n个极远点为初始点进行区域生长，以在所述连通域中获取n个区域；判断所述n个区域中的每个区域的预设特征与所述连通域的预设特征之间的关系是否满足选取条件，以确定满足所述选取条件的有效区域。该方法可以提高图像检测结果。

Description

手和图像检测方法和系统、手分割方法、存储介质和设备
技术领域
本公开的实施例涉及一种手部检测方法、手分割方法、图像检测方法、图像检测系统、存储介质、以及包括所述图像检测系统或存储介质的设备。
背景技术
随着人机交互技术的发展，基于计算机视觉的手势识别技术因具有使人能够以自然的方式进行人机交互的优点而成为人机交互技术中的研究热点之一。
手部检测是手势识别技术的基础，手部检测是指在动态影像文件或静态图片中标出手部。在手部检测中，可以提取手指指尖信息或者进行手分割。
发明内容
本公开的实施例提供一种手部检测方法、手分割方法、图像检测方法、图像检测系统、存储介质、以及包括所述图像检测系统或存储介质的设备。
本公开的至少一个实施例提供一种图像检测方法，其包括：确定第1起点，其中，所述第1起点为待检测图像中的连通域的重心点以及所述连通域的外切图形的几何中心中的一个；确定不同于所述第1起点的n个极远点，其中，第N极远点为所述连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；分别以所述n个极远点为初始点进行区域生长，以在所述连通域中获取n个区域；以及判断所述n个区域中的每个区域的预设特征与所述连通域的预设特征之间的关系是否满足选取条件，以确定满足所述选取条件的有效区域。
例如，所述的方法还包括：获取所述有效区域包括的极远点的坐标；或者，采用主成分分析方法确定所述连通域的数据变化方向，并且沿着所述数据变化方向并且根据第一参考长度对所述连通域进行分割以获取目标图像，所述第一参考长度为所述有效区域的尺寸与第一预设倍数的乘积。
例如，所述方法用于手部检测。
例如，所述连通域的数据变化方向为所述连通域的主方向。
例如，所述第一预设倍数为1.5-1.7。
例如，在所述n个区域包括多个有效区域的情况下，所述第一参考长度为具有最大长度的有效区域的尺寸与所述第一预设倍数的乘积。
例如，所述有效区域的选取条件包括A-C中的至少一个，其中，A：所述每个区域的长度与所述连通域的最大宽度的第一比值不小于1/3且不大于1.5；B：所述每个区域的宽度与所述连通域的最大宽度的第二比值不大于1/5；C：所述每个区域的面积与所述连通域的面积的第三比值不大于1/5。
例如，对于所述n个区域中的每个区域，所述区域的生长终点的确定方法包括：在所述区域的某次生长之后，如果所述区域继续生长，像素点数量的增加值超过预设值，那么所述某次生长为所述区域的最后一次生长。
例如，对于所述n个区域中的每个区域，根据预设长度确定所述区域的生长终点。
例如，所述待检测图像不包括像素点的深度信息。
例如，在获取所述第1起点之前，所述方法还包括：根据颜色范围从第一图像中获取包括初始连通域的第二图像；并且对所述第二图像的初始连通域进行处理以获取所述待检测图像中的连通域。
例如，所述方法用于手部检测，并且对初始连通域进行处理以获取所述连通域包括：采用主成分分析方法确定所述初始连通域的数据变化方向；使所述第二图像的坐标系的预设坐标轴与所述初始连通域的数据变化方向平行；对于所述预设坐标轴的多个位置中的每个位置，计算所述初始连通域中对应所述每个位置的像素点的数量，选取像素点的最大数量作为参考数量，并且将所述参考数量与第二预设倍数的乘积作为第二参考长度；以及沿所述初始连通域的数据变化方向并且根据所述第二参考长度对所述初始连通域进行分割，以获取所述待检测图像中的连通域。
例如，所述第二预设倍数大于或等于2.5且小于或等于3。
本公开的至少一个实施例还提供一种图像检测系统，其包括处理器、存储器以及存储在存储器中的计算机程序指令，其中，在所述计算机程序指令被处理器运行时执行：确定第1起点，其中，所述第1起点为待检测图像中的连通域的重心点以及所述连通域的外切图形的几何中心中的一个；确定不同于所述第1起点的n个极远点，其中，第N极远点为所述连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；分别以所述n个极远点为初始点进行区域生长，以在所述连通域中获取n个区域；以及判断所述n个区域中的每个区域的预设特征与所述连通域的预设特征之间的关系是否满足选取条件，以确定满足所述选取条件的有效区域。
本公开的至少一个实施例还提供一种图像检测系统，其包括：点确定装置，其被配置为：确定第1起点以及不同于所述第1起点的n个极远点，其中，所述第1起点为待检测图像中的连通域的重心点以及所述连通域的外切图形的几何中心中的一个，第N+1起点为第N极远点，第N极远点为所述连通域中到第N起点的测地距离最大的像素点，并且n、N都为正整数；区域确定装置，其被配置为：分别以所述n个极远点为初始点进行区域生长，以在所述连通域中获取n个区域；以及判断装置，其被配置为：判断所述n个区域中的每个区域的预设特征与所述连通域的预设特征之间的关系是否满足选取条件，以确定满足所述选取条件的有效区域。
例如，所述的图像检测系统还包括提取装置，其被配置为：获取所述有效区域包括的极远点的坐标；或者采用主成分分析方法确定所述连通域的数据变化方向，并且沿着所述数据变化方向并且根据参考长度对所述连通域进行分割以获取目标图像，所述参考长度为所述有效区域的尺寸与预设倍数的乘积。
本公开的至少一个实施例还提供一种存储介质，其中存储有计算机程序指令，所述计算机程序指令适于由处理器加载并执行：确定第1起点，其中，所述第1起点为待检测图像中的连通域的重心点以及所述连通域的外切图形的几何中心中的一个；确定不同于所述第1起点的n个极远点，其中，第N极远点为所述连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；分别以所述n个极远点为初始点进行区域生长，以在所述连通域中获取n个区域；以及判断所述n个区域中的每个区域的预设特征与所述连通域的预设特征之间的关系是否满足选取条件，以确定满足所述选取条件的有效区域。
本公开的至少一个实施例还提供一种设备，其包括以上任一项所述的图像检测系统或以上所述的存储介质。
本公开的至少一个实施例还提供一种手部检测方法，其包括：在待检测图像中的连通域中确定手心位置；以所述手心位置为第1起点，确定不同于所述手心位置的n个极远点，其中，第N极远点为所述连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；分别以所述n个极远点为初始点进行区域生长，以在所述连通域中获取n个区域；以及判断所述n个区域中的每个区域的预设特征与所述连通域的预设特征之间的关系是否满足选取条件，以确定满足所述选取条件的有效手指区域。
本公开的至少一个实施例还提供一种手分割方法，其包括：通过肤色检测获取肤色连通域；获取所述肤色连通域的最大宽度和基于主成分分析方法的主方向，沿所述主方向并且根据所述最大宽度的预设倍数分割所述肤色连通域，以获取疑似手部连通域；以及以上所述的手部检测方法判断所述疑似手部连通域是否包括所述有效手指区域。
本公开实施例提供的图像检测技术可以用于对普通摄像机获取的图像进行处理，可以有效减少干扰因素，以提高图像检测结果的准确性并且实现快速实时计算。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为本公开实施例提供的图像检测方法的流程图；
图2为本公开实施例提供的图像检测方法中利用第一图像获取待检测图像的流程图；
图3为本公开实施例提供的图像检测方法中对初始连通域进行分割的流程图；
图4为本公开实施例提供的图像检测方法用于手部检测时的流程图；
图5为本公开实施例提供的图像检测方法中的肤色检测的流程图；
图6为本公开实施例提供的图像检测方法中的手臂删除处理的流程图；
图7(A)-图7(D)为本公开实施例提供的图像检测方法中进行手臂删除处理的各步骤中得到的处理效果图；
图8为本公开实施例提供的图像检测方法中的有效手指区域判断的流程图；
图9中的(A)-(E)为本公开实施例提供的图像检测方法中检测到的各极远点的示意图；
图10为本公开实施例提供的图像检测方法中进行区域生长的示意图；
图11中的(A)和(B)为本公开实施例提供的图像检测方法中根据有效手指区域分割连通域的前后对比图；
图12中的(A)和(B)为采用本公开实施例提供的图像检测方法获得的手部图像；
图13为本公开实施例提供的一种图像检测系统的结构框图；
图14为本公开实施例提供的另一种图像检测系统的结构框图；
图15为本公开实施例提供的手部检测方法的流程图；
图16为本公开实施例提供的手分割方法的流程图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
本公开实施例提供一种图像检测方法、图像检测系统、存储介质、包括所述图像检测系统或存储介质的设备、手部检测方法以及手分割方法。
本公开实施例的总体构思为：针对待检测图像中的连通域(也可写为联通域)，确定出第1起点并且根据该第1起点确定出至少一个极远点，例如n个极远点，其中，第N极远点为所述连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；以该至少一个极远点为初始点进行区域生长，以得到至少一个区域(下文称为疑似区域)；检测该至少一个区域是否满足选取条件；若是得到满足选取条件的有效区域，则可以利用该有效区域提取需要的信息或进行后续分析。
在本公开实施例中，将极远点作为初始点进行区域生长得到的疑似区域可能是目标物体的一部分所在的区域，采用区域生长的方式得到疑似区域，可以避免待检测图像中与目标物体的连通域连通但实际上对应干扰物的区域的干扰；根据预设的选取条件对疑似区域进行检测以确定有效区域，可以进一步排除待检测图像中的干扰区域；由于有效区域满足选取条件，则可以认为该有效区域是目标物体的一部分所在的区域，通过设置选取条件，可以进一步减少图像检测的干扰因素，以提高图像检测结果的准确性。本公开实施例提供的图像检测技术可以有效减少干扰因素，因此可以实现快速实时计算。
例如，本公开实施例可以用于图像识别时对手部检测中，即用于从图像中检测出手部。例如，本公开实施例用于手部检测中的指尖检测或者手分割。在这种情况下，待检测图像中的连通域对应的实际物体可能包括手，下文称为疑似手部连通域；第1起点可能是手心(也称为掌心)位置；极远点可能是手指的指尖所在位置，下文称为疑似手指指尖；以极远点为初始点进行区域生长得到的区域可能是手指所在区域(下文称为疑似手指区域)；满足选取条件的有效区域被视为手指所在区域，下文称为有效手指区域；选取条件根据手的形态特征确定，该形态特征例如为手指的尺寸(例如长、宽或面积))与手掌的尺寸之间的关系。
鉴于有效区域被视为手指所在区域，在本公开实施例用于指尖检测的情况下，可以将有效区域包括的极远点作为指尖，通过获取该极远点的坐标获取指尖的坐标。
根据经验可知，手的长度约为手指长度的1.5倍左右。因此，在本公开实施例用于图像识别时对手分割的情况下，可以利用手的长度与手指长度之间的这一关系，根据有效区域的尺寸对连通域进行分割，以去掉连通域中除手之外的物体所在区域，从而获取目标图像(即，手部图像)。
下面结合附图，对本公开实施例提供的手部检测方法、图像检测方法、图像检测系统、存储介质、以及包括所述图像检测系统或存储介质的设备进行详细说明。
本公开的至少一个实施例提供一种图像检测方法，如图1所示，该图像检测方法包括以下步骤S11-步骤S14。
步骤S11：确定第1起点，所述第1起点为待检测图像中的连通域的重心点以及所述连通域的外切图形的几何中心中的一个。
连通域是由具有连通性的多个像素点构成的。对于区域内部任一像素点，其左、上、右、下这4个像素点称为四邻域点，其左、上、右、下以及左上、右上、右下、左下这8个像素点称为八邻域点，该像素点与其任一邻域点之间是连通的。
这里，连通域的重心点的坐标为连通域中所有像素点的坐标的平均值，也就是说，重心点的X坐标为连通域中所有像素点的X坐标的算术平均值，重心点的Y坐标为连通域中所有像素点的Y坐标的算术平均值。由于重心点不受连通域的轮廓形状影响，因此以重心点为第1起点可以避免连通域对应的物体的形状对检测结果造成影响。
例如，连通域的外切图形可以为外切矩形或椭圆形，由此可以确定其几何中心。
步骤S12：确定不同于所述第1起点的n个极远点，第N极远点为所述连通域中到第N起点的测地距离(Geodesic Distance)最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数。
例如，n可以为1，或者n可以大于或等于2。
例如，在n大于或等于2的情况下，步骤S12可以包括：计算连通域中的像素点到第1起点的测地距离，并且选取测地距离最大的像素点作为第1极远点；将第1极远点作为第2起点，计算连通域中的像素点到第2起点的测地距离，并且选取测地距离最大的像素点作为第2极远点；以此类推。
测地距离是数学形态学中的一个重要概念，用来测量两点之间的距离。和欧氏距离不同的是，测地距离考虑到了区域的连通性。在连通域中至少存在一条线路可以连接A、B两点，所有这些线路中最短的一条称为A、B之间的测地弧，而测地弧的长度则为测地距离。测地距离利用的是图形的梯度，沿梯度最大方向将两点连接则得到测地弧。
步骤S13：分别以n个极远点为初始点进行区域生长，以在连通域中获取n个区域。
例如，可以利用目标物体的形态(例如轮廓形状、尺寸)特征确定每个区域的生长终点。由于手的宽度在手指的指根处发生明显变化，因此，在连通域对应的物体包括手的情况下，可以利用手的这一形态特征确定区域生长的终点。例如，对于所述n个区域中的每个区域，区域的生长终点的确定方法包括：在该区域的某次生长之后，例如第i次生长之后(i大于等于1)，如果该区域继续生长，像素点数量的增加值超过预设值(其可以根据实际需要进行设置)，那么该第i次次生长为该区域的最后一次生长。
例如，对于所述n个区域中的每个区域，也可以根据预设长度(其可以根据实际需要进行设置)确定该区域的生长终点。
步骤S14：判断n个区域中的每个区域的预设特征与所述连通域的预设特征之间的关系是否满足选取条件，以确定满足该选取条件的有效区域。
例如，每个区域的预设特征可以为该区域的尺寸特征，例如，该区域的长度、宽度或面积。例如，该区域的面积可以用该区域中像素点的数量表示。
类似地，连通域的预设特征可以为连通域的尺寸特征，例如，连通域的长度、宽度或面积。例如，连通域的面积可以用连通域中像素点的数量表示。
例如，在本公开实施例用于手部检测的情况下，可以利用手指的尺寸特征与手的尺寸特征之间的关系确定有效区域的选取条件。例如，有效区域的选取条件包括(A)-(C)中的至少一个。
条件(A)、根据手指长度与手掌宽度之比不小于1/3且不大于1.5的特点，每个区域的长度与连通域的最大宽度的第一比值不小于1/3且不大于1.5。
例如，每个区域的长度为在从该区域的初始点(即该区域包括的极远点)到该区域的终点的方向上的像素点的数量。
条件(B)、根据手指宽度与手掌宽度之比不大于1/5的特点，每个区域的宽度与连通域的最大宽度的第二比值不大于1/5。
例如，每个区域的宽度为该区域的生长终点处在该区域的宽度方向上的像素点的数量。
条件(C)、根据手指的面积与手的面积之比不大于1/5的特点，每个区域的面积与连通域的面积的第三比值不大于1/5。
例如，可以用像素点的数量表示面积，则每个区域的像素点的数量与连通域的像素点的数量的比值不大于1/5。例如，每个区域的像素点的数量在进行区域生长的过程中可以得到。例如，连通域的像素点的数量在通过计算测地距离以寻找极远点的过程中可以得到。
例如，如图1所示，本公开的至少一个实施例提供的图像检测方法还可以包括步骤S15A或者步骤S15B。
步骤S15A：获取有效区域包括的极远点的坐标。例如，在本公开实施例用于手部检测的情况下，该极远点的坐标可以作为指尖坐标。
步骤S15B：采用主成分分析方法确定所述连通域的数据变化方向，并且沿着该数据变化方向并且根据第一参考长度对该连通域进行分割以获取目标图像，第一参考长度为该有效区域的尺寸与第一预设倍数的乘积。
主成分分析(Principle Component Analysis，PCA)方法是一种多元统计分析方法，通过线性变换将数据变换到一个新的坐标系中，使在第一个坐标轴上数据的方差达到最大，在第二个坐标轴上数据的方差次大，以此类推；其中，第一坐标轴的方向为主方向，也就是说，主方向为数据的方差最大的方向，次方向为数据的方差次大的方向。主方向和次方向都被称为数据变化方向。
对于手而言，手的主方向为其长度方向(延伸方向)，手的次方向为其宽度方向。因此，在本公开实施例用于手部检测的情况下，例如，连通域的数据变化方向可以为连通域的主方向，第一参考长度可以为有效区域的长度与第一预设倍数的乘积。也就是说，在本公开实施例用于手部检测的情况下，沿连通域的主方向并且根据有效区域的长度与第一预设倍数的乘积对连通域进行分割，以去除连通域的除手之外的物体的区域，从而获取手部连通域。
例如，在所述n个区域包括多个有效区域的情况下，第一参考长度为具有最大长度的有效区域的尺寸与第一预设倍数的乘积。由于大拇指大致沿手的次方向延伸，其余手指大致沿手的主方向延伸，通过根据具有最大长度的有效区域确定第一参考长度，可以提高手分割的准确性。
根据手的长度为手指长度的1.5倍左右这一特点，例如，第一预设倍数可以为设为1.5-1.7。第一预设倍数不小于1.5，有利于避免因连通域被过切割而导致目标图像只包括手的一部分而非全部。
例如，本公开实施例中的待检测图像可以不包括深度信息，深度信息是指图像中的像素点对应的物点到拍摄该图像的摄像机的距离。在本公开实施例中，由于疑似区域的生长终点可以通过像素点数量是否明显增加来判断，并且有效区域可以根据疑似区域的尺寸特征与连通域的尺寸特征之间的关系进行判断，不需要使用深度信息，因此，本公开实施例可以用于对普通摄像机拍摄的图像进行检测。摄像机包括深度感知摄像机、立体摄像机和普通摄像机，利用深度摄像机和立体摄像机都可以获得具有深度信息的图像，利用普通摄像机可以获得不具有深度信息的图像。在本公开的其它实施例中，待检测图像也可以包括深度信息，在这种情况下，用于判断有效区域的选取条件可以根据深度信息进行设置也可以不涉及深度信息。
由于普通摄像机拍摄的图像不包括深度信息，在这种情况下，为了获取待检测图像中的连通域，可以根据颜色范围对普通摄像机拍摄的图像进行处理。例如，如图2所示，本公开的至少一个实施例提供的图像检测方法还包括步骤S21和步骤S22。
步骤S21：根据颜色范围从第一图像中获取包括初始连通域的第二图像。
例如，第一图像可以为彩色图像。例如，第一图像可以为利用普通摄像机拍摄的彩色图像，在这种情况下，该第一图像不具有深度信息。
例如，在本公开实施例用于手部检测的情况下，颜色范围可以根据肤色确定，也就是说，可以根据肤色从第一图像中获取包括初始连通域的第二图像，这在下文被称为肤色检测，通过肤色检测获取的初始连通域在下文被称为肤色连通域。
步骤S22：对第二图像的初始连通域进行处理以获取待检测图像中的连通域。
通过对初始连通域进行处理可以去除一部分干扰，从而得到干扰较少的待检测图像中的连通域。
例如，在本公开实施例用于手部检测的情况下，通过以上步骤S21获取的初始连通域对应的物体可能包括手以及手臂；在该步骤S22中，对初始连通域进行的处理例如是图像分割处理，以将连通域中的手臂删除，这在下文被称为手臂删除处理。
例如，以本公开实施例用于手部检测为例，如图3所示，上述步骤S22可以包括步骤S31至步骤S34。
步骤S31：采用主成分分析方法确定初始连通域的数据变化方向。
例如，对于手而言，初始连通域的数据变化方向可以为其主方向。
步骤S32：使第二图像的坐标系的预设坐标轴与初始连通域的数据变化方向平行。
例如，预设坐标轴为Y轴。例如，第二图像的坐标系的Y轴与初始连通域的主方向平行，并且X轴与初始连通域的次方向平行。
步骤S33：对于预设坐标轴的多个位置中的每个位置，计算初始连通域中对应每个位置的像素点的数量。
例如，在预设坐标轴为Y轴的情况下，该预设坐标轴上的相邻位置之间的距离为Y轴的单位长度。
例如，从连通域的顶点(其Y坐标例如为K0)开始，计算位置Y＝K0-1的像素点的数量A1、位置Y＝K0-2的像素点的数量A2、位置Y＝K0-3的像素点的数量A3，以此类推，直到计算出连通域中所有Y值对应的像素点的数量。
步骤S34：选取像素点的最大数量作为参考数量，将参考数量与第二预设倍数的乘积作为第二参考长度，沿初始连通域的数据变化方向并且根据第二参考长度对初始连通域进行分割，以获取待检测图像中的连通域。
像素点的最大数量可以看作是手掌宽度对应的像素点的数量，也就是说，参考数量反映手掌宽度。
由于手的长度约为手掌宽度的k(k为2.5-3.0)倍，因此可以根据反映手掌宽度的参考数量的k倍估算手的长度。鉴于此，上述第二预设倍数例如为2.5-3.0，第二参考长度用于表示手的长度，沿初始连通域的主方向并且根据第二参考长度对初始连通域进行分割，可以去除连通域中的手臂所在区域，从而得到疑似手部连通域，该疑似手部连通域可以作为上述待检测图像中的连通域。
综上所述，如图4所示，在本公开实施例用于手部检测的情况下，本公开实施例提供的图像检测方法依次包括肤色检测、手臂删除处理和有效手指区域检测这三个过程。通过肤色检测可以以获取包括肤色连通域的图像(上述第二图像的一个示例)；手臂删除处理用于对肤色连通域进行分割处理以获取包括疑似手部连通域的图像(上述待检测图像的一个示例)；有效手指区域检测(也可以称为有效指尖检测)，即在疑似手部连通域中检测是否有满足手指选取条件的有效手指区域。对于每一帧摄像机输入的图像，可以是以上三个过程按顺序依次执行，以获得有效手指区域，根据该有效手指区域可以获取指尖信息，或者进行手分割并且之后可以将手分割的结果输入分类器进行识别。
该分类器例如是经过训练后的神经网络，该神经网络例如为卷积神经网络等，对此可以参考已知分类器，在此不再赘述。
下面以本公开实施例用于手分割为例，对图像检测方法的一个示例进行详细说明。
例如，如图5所示，肤色检测过程包括步骤S51至步骤S54。
步骤S51：类肤色域提取，即：根据肤色从输入图像中提取类似于肤色的区域(简称为类肤色域)。
对于输入图像，例如，可以先将RGB颜色空间转换到YCrCb颜色空间，这是因为YCrCb颜色空间受亮度影响小，肤色会产生很好的类聚；之后，例如，对于黄种人和白种人来说，可以截取Cr值在133～173以及Cb值在77～127之间的区域作为类肤色域。在本公开的其他示例中，也可以直接采用RGB颜色空间进行处理，或者将RGB颜色空间转换到其他可用的颜色空间进行处理。
步骤S52：利用直方图获取类肤色域中每个灰度值的像素点的像素数，之后进行归一化处理以得到每个灰度值的像素点的出现概率。
例如，从经过步骤S51处理的图像中提取Cr图，以获得一个灰度范围在0-40的新单通道图像；将该新单通道图像转换为灰度图，进行直方图计算并归一化处理，得到灰度范围0-40之间每个灰度值的像素点在灰度图中出现的概率，该概率可以这样表示：假设在灰度图中共有m个同一灰度值的像素点，并且灰度图中像素点总数为M个，则这个该灰度值的像素的出现概率为Pi＝m/M。
步骤S53：利用步骤S52中得到的概率，采用最大类间差法(OTSU方法)获取用于分割类肤色域的最佳阈值。
在该步骤中，计算灰度图的前景(A类)和背景(B类)的类间方差，在最佳阈值处得到的类间方差最大，也就是说，类间方差最大时的阈值为灰度图的最佳阈值。
步骤S54：根据最佳阈值，对上述类肤色域进行分割处理，以获取肤色连通域。
经过肤色检测后，图像中可能保留下一个或多个连通域。保留下的连通域可能是人脸、人手或者是颜色相近但不相关的物体。接下来，可以利用手臂删除处理对每个保留下的连通域进行处理以得到疑似手部连通域。
例如，如图6所示，手臂删除处理包括以下步骤S61至步骤S63。
步骤S61：获取肤色连通域后，使用主成分分析方法获取肤色连通域的主方向，例如，主方向如图7(A)中的白色直线所示。
步骤S62：以该主方向为基准旋转肤色连通域所在图像的原坐标系直到Y轴与该主方向平行，旋转后的新坐标系XOY如图7(B)所示。
通过步骤S62，旋转坐标系前的图像中的所有点的坐标在新坐标系下都被赋予一个新的坐标值。
例如，可以使肤色连通域的顶点(如圆圈标注的点所示)为Y值(即Y坐标值)最大的点。
步骤S63：沿新坐标系的Y轴，按照预设规则对肤色连通域进行分割处理，以获取疑似手部连通域，例如，该疑似手部连通域如图7(C)和图7(D)所示。
例如，在该步骤中，以新坐标系为准，从Y值最大的点开始，沿Y值减小的方向(如箭头方向所示)，计算肤色连通域中所有Y值对应的像素点的个数，其中像素点最多的位置可看作是手掌位置，像素点的最大数量(上述参考数量的一个示例)可以作为手的最大宽度W；以像素点的该最大数量的k(例如k为2.5-3.0)倍作为手的长度L，沿主方向并且从连通域的顶点开始根据长度L进行分割，分割位置以下的部分全部被视为手臂并且被删除，从而得到包括疑似手部连通域的图像。
k的取值使获得的疑似手部连通域可能仍然带有较长的手臂的残余部分(如图7(C)所示)，也可能刚好包括手的全部且不包括手臂(如图7(D)所示)。虽然如此，手臂删除处理中k的取值可偏大但不宜过小，因为k过小则可能出现手被切割掉一部分的过切割的现象。
在图7(A)-图7(C)中，肤色连通域的宽度在手掌的位置处最大；在另一些实施例中，如果衣服的颜色与肤色接近，则可能出现手臂宽度比手掌宽度大的情况，在这种情况下，由于k的取值为2.5-3.0，该值仍然可以实现用肤色连通域的最大宽度(例如像素点的最大数量)的k倍作为手的长度L。
在获取疑似手部连通域之后，进行有效手指区域检测。如果检测到至少一个有效手指区域，则可利用该有效手指区域进行后续处理；如果未检测出有效手指区域，则继续对下一个肤色连通域进行手臂删除处理以及有效手指区域检测。
有效手指区域检测可以如图8所示，其包括步骤S81至步骤S83。
步骤S81：计算步骤S63中得到的疑似手部连通域的重心点或者该连通域的外切图形(例如矩形或椭圆形)的几何中心。
步骤S82：以步骤S81中得到的重心点或几何中心为第1起点，计算连通域上所有点到第1起点的测地距离，并且选取测地距离最大的点作为第1极远点，即第1疑似手指指尖；每找到一个极远点，都以该极远点为起点，继续寻找下一个极远点，直到得到n个极远点(例如n>5，例如5＜n≤10)，并且将这些极远点作为疑似手指指尖。
例如，第1极远点可以通过如下步骤S821-步骤S823获得。
步骤S821：初始化距离矩阵。
初始化构造一个与步骤S63中获得的图像同样大小的距离矩阵，距离矩阵中的元素与图像中的像素一一对应。例如，将起点(第1起点为步骤S81中得到的疑似手部连通域的重心点或几何中心)在距离矩阵中对应点的距离值设置为0；将疑似手部连通域中的其它点在距离矩阵中对应点的距离值都设置为某个最大值(例如100,000或其它数值)；将图像中的背景点(即疑似手部连通域之外的点)在距离矩阵中的对应点的距离值都设置为-1，表示这些点的距离值不需要计算。
步骤S822：更新距离矩阵。
从起点出发逐渐更新距离矩阵，先将起点放到一个FIFO(First Input FirstOutput的缩写)队列中。每次从FIFO队列中取一个点，以该点为原点，检查其8邻域点对应的距离值是否需要更新，如果8邻域点的新距离值小于原距离值，则对该8邻域点的距离值进行更新，并将被更新的邻域点添加到FIFO队列中。之后，从FIFO队列中取出被更新后的邻域点，并且以其为原点计算其8邻域的新距离值。对于每个原点的8邻域点，每个邻域点的新距离值为原点的距离值加上原点到邻域点的二维距离，例如，原点的4邻域点的新距离值为原点的距离值加上1，原点的对角邻域点的新距离值为原点的距离值加上2的正平方根(1.414)。由于同一个点可能是多个原点的邻域，在这种情况下，选取根据该多个原点计算得到的距离值中的最小距离值作为该点的新距离值。当FIFO队列中的全部点都处理完成后，即完成了距离矩阵更新。
步骤S823：选择极远点。
更新后的距离矩阵中的大于0的距离值即为疑似手部连通域中各点到起点的测地距离，找到距离矩阵中距离值最大的点作为极远点。
反复执行步骤S821-步骤S823，直到检测到n个极远点。这些极远点即为疑似手指指尖，即手指指尖的候选点。
例如，如图9中的(A)所示，第1极远点(如白色圆点所示)位于中指指尖；如图9中的(B)所示，第2极远点位于无名指指尖；如图9中的(C)所示，第3极远点位于食指指尖；如图9中的(D)所示，第4极远点位于小拇指指尖；如图9中的(E)所示，第5极远点位于大拇指指尖。
步骤S83：对所有疑似手指指尖进行有效指尖判断，以得到有效手指区域。
例如，以每个极远点为起点，采用像素生长的方法检验该极远点所在区域是否是有效手指区域。
如图10所示，以极远点为起点进行疑似手指区域的生长，每次生长中每个像素只向相邻像素生长一次(即，每一次生长的点为前一次生长的像素点的邻域点)，图中的白色标记分别为多次生长出的新像素的位置。当某区域中生长的像素的总个数符合手指与手掌像素数应有的比例时，即可认为该区域是手指区域。例如，如图10中的最后一次生长所示，如果继续生长则像素数会出现激增，此时停止生长，此临界点到生长初始点的距离即是疑似手指区域的长度，该长度满足与手掌宽度、面积等预设的比例关系(例如上述有效手指区域的选取条件)时，疑似手指区域才能被判定为一个有效手指区域。
例如，所谓预设的比例关系包括以下三种关系。
1、疑似手指区域的长度不小于步骤S63中算出的疑似手部连通域的最大宽度W的三分之一且不大于疑似手部连通域的最大宽度W的1.5倍。
例如，疑似手指区域的长度为在从区域初始点到区域终点的方向上的像素点数量，其在区域生长过程中可获知。
2、疑似手指区域的宽度不大于疑似手部连通域的最大宽度W的五分之一。
例如，疑似手指区域的宽度为生长终点处的在手指宽度方向上的像素点数量，其在区域生长过程中可获知。
3，疑似手指区域的面积(例如像素点总数，其在区域生长过程中可得到)不大于整个疑似手部连通域的面积(例如像素点总数，其在计算测地距离的过程中可得到)的五分之一。
例如，可以按照以上3个判断条件至少一个或组合，在同时采用3个判断条件时，对疑似手指区域进行逐个判断，可以更准确地选出所有的有效手指区域。在找到至少一个有效手指区域的情况下，疑似手部连通域为有效手部连通域，之后该有效手部连通域可以直接被送入分类器中或者在被进一步分割之后被送入分类器中进行手势识别；对于前文提到的非手部物体，如人脸或其它干扰物，因其形状、尺寸等不符合手指与手的比例关系，无法检测到有效手指区域，因此可以判断出不是有效手部连通域。
在检测出所有的有效手指区域后，选取最长的有效手指区域的长度，根据该长度的1.5-1.7倍并且根据之前步骤中确定的主方向信息，沿着平行于主方向的Y轴，对疑似手部连通域进行分割。参见图11中的(A)和(B)，其中，图11中的(A)为分割之前的连通域，图11中的(B)为分割之后的连通域。
例如，如图12中的(A)和(B)所示，采用本公开实施例提供的方法可以获得效果好的手部图像；并且，由于本公开实施例采用肤色检测，因此得到的手部图像中的手部也可以包括手纹。
由于肤色检测的结果可能受到曝光、物体颜色接近等因素的影响，为了获取更准确的手部连通域，在根据有效手指区域对有效手部连通域进行分割得到目标图像之后，可以对目标图像再进行一次肤色提取(其方法参见肤色检测处理)。由于本次提取是在一张图片的一个小范围内进行的，该范围包含信息少且绝大部分像素是手部信息，因此可以使用增强对比度的方法(例如直方图均衡化)来提高手分割的效果。经过二次肤色分割后，即可获得效果良好的手分割结果，然后将该结果送入分类器进行手势识别。
本公开的至少一个实施例还提供一种图像检测系统，如图13所示，该图像检测系统包括点确定装置、与点确定装置连接的区域确定装置以及与区域确定装置连接的判断装置。
点确定装置用于：确定第1起点以及不同于第1起点的n个极远点，其中，第1起点为待检测图像中的连通域的重心点以及连通域的外切图形的几何中心中的一个，第N+1起点为第N极远点，第N极远点为连通域中到第N起点的测地距离最大的像素点，并且n、N都为正整数。
区域确定装置用于：分别以n个极远点为初始点进行区域生长，以在连通域中获取n个区域。
判断装置用于：判断n个区域中的每个区域的预设特征与连通域的预设特征之间的关系是否满足选取条件，以确定满足选取条件的有效区域。
例如，图像检测系统还包括提取装置，其用于：获取有效区域包括的极远点的坐标；或者采用主成分分析方法确定连通域的数据变化方向，并且沿着数据变化方向并且根据参考长度(即上述第一参考长度)对连通域进行分割以获取目标图像，参考长度为有效区域的尺寸与预设倍数(即上述第一预设倍数)的乘积。
例如，该图像检测系统还可以包括摄像机，其被配置为获取图像，并且将获取的图像输入点确定装置中。该摄像机可以为普通摄像机，所拍摄的图像为二维图像，不包括深度信息。
本公开实施例的图像检测系统中各器件的功能，可参照前述图像检测方法的实施例中的相关描述。
例如，图像检测系统中的点确定装置、区域确定装置、判断装置和提取装置的具体结构均可采用硬件、软件或固件实现，例如对应于处理器以及可由该处理器执行的可执行指令，例如，该处理器可以为中央处理器(CPU，Central Processing Unit)、微处理器(MCU，Micro Controller Unit)、数字信号处理器(DSP，Digital Signal Processing)或可编程逻辑器件(PLC，Programmable Logic Controller)等具有处理功能的电子元器件或电子元器件的集合。
另外，在本公开实施例中的上述装置可以全部在一个处理器中，或者分别通过不同的处理器实现，或者任意两个或两个以上的装置在一个处理器中实现；上述各装置既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本公开的至少一个实施例还提供另一种图像检测系统，如图14所示，该图像检测系统，包括处理器、存储器、以及存储在存储器中的计算机程序指令，其中，在计算机程序指令被处理器运行时执行：确定第1起点，其中，第1起点为待检测图像中的连通域的重心点以及连通域的外切图形的几何中心中的一个；确定不同于第1起点的n个极远点，其中，第N极远点为连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；分别以n个极远点为初始点进行区域生长，以在连通域中获取n个区域；以及判断n个区域中的每个区域的预设特征与连通域的预设特征之间的关系是否满足选取条件，以确定满足选取条件的有效区域。
存储器可以包括只读存储器和随机存取存储器中的至少一个，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(NVRAM)，包括磁存储器、半导体存储器、光存储器等。
处理器可以是通用处理器(例如中央处理器等)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者任何常规的处理器等。
本公开的至少一个实施例还提供一种存储介质，其中存储有计算机程序指令，计算机程序指令适于由处理器加载并执行：确定第1起点，其中，第1起点为待检测图像中的连通域的重心点以及连通域的外切图形的几何中心中的一个；确定不同于第1起点的n个极远点，其中，第N极远点为连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；分别以n个极远点为初始点进行区域生长，以在连通域中获取n个区域；以及判断n个区域中的每个区域的预设特征与连通域的预设特征之间的关系是否满足选取条件，以确定满足选取条件的有效区域。
例如，该存储介质可以是半导体存储器、磁表面存储器、激光存储器、随机存储器、只读存储器、串行访问存储器、非永久记忆的存储器、永久性记忆的存储器或者本领域熟知的任何其它形式的存储介质。
例如，处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者任何常规的处理器等。
本公开的至少一个实施例还提供一种设备，其包括以上任一实施例提供的图像检测系统或存储介质。
例如，该设备可以为AR智能眼镜、显示器等人机交互设备，该设备利用普通摄像机获取图像，并且通过对该图像进行分析处理，实现人机交互。
本公开的至少一个实施例还提供一种手部检测方法，如图15所示，该手部检测方法包括：在待检测图像中的连通域中确定手心位置；以手心位置为第1起点，确定不同于手心位置的n个极远点，其中，第N极远点为连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；分别以n个极远点为初始点进行区域生长，以在连通域中获取n个区域；以及判断n个区域中的每个区域的预设特征与连通域的预设特征之间的关系是否满足选取条件，以确定满足选取条件的有效手指区域。
例如，手心位置可以为待检测图像的连通域的重心点或者外切图形(例如矩形或椭圆形)的几何中心。在本公开的其它实施例中，手心位置也可以为通过其它方式确定。
本公开的至少一个实施例还提供一种手分割方法，如图16所示，该手分割方法包括步骤S161至步骤S163。
步骤S161：通过肤色检测获取肤色连通域。
例如，肤色检测可参考上述步骤S51-S54。
步骤S162：获取肤色连通域的最大宽度和基于主成分分析方法的主方向，沿主方向并且根据最大宽度的预设倍数分割肤色连通域，以获取疑似手部连通域。
例如，该步骤S162可以包括上述步骤S61-S63，这样可以删除手臂等干扰。在这种情况下，肤色连通域的最大宽度例如用该肤色连通域的最宽处的像素点的数量来表示；预设倍数例如为上述的k倍，即2.5-3.0；基于主成分分析方法的主方向即利用主成分分析方法获取的该肤色连通域的主方向。
步骤S163：根据以上所述的手部检测方法判断疑似手部连通域(手部检测方法中的待检测图像中的连通域的一个示例)是否包括有效手指区域。
在该步骤S163中，若判断出疑似手部连通域包括至少一个有效手指区域，则可判断出该疑似手部连通域为有效手部连通域。例如，还可以沿着主方向并且根据有效手指区域的长度(例如最长的有效手指区域的长度)与预设倍数(例如1.5-1.7)的乘积对该有效手部连通域进行分割，以进一步排除手臂的干扰。
上述手部检测方法、手分割方法、图像检测方法、图像检测系统及包括其的设备的实施例可以互相参照。此外，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在本公开实施例中，采用区域生长的方式得到疑似区域，可以避免待检测图像中与目标物体的连通域连通但实际上对应干扰物的区域的干扰；根据预设的选取条件对疑似区域进行检测以确定有效区域，可以进一步减少图像检测的干扰因素；由于选取条件根据疑似区域的尺寸特征和连通域的尺寸特征确定，不需要使用深度信息，因而本公开实施例可以用于对普通摄像机获取的图像进行处理；通过肤色检测获取肤色连通域，使得本公开实施例可以进一步去除一部分干扰物；通过手臂删除处理，可以进一步去除干扰因素。因此，本公开实施例提供的图像检测技术可以用于对普通摄像机获取的图像进行处理，可以有效减少干扰因素，以提高图像检测结果的准确性并且实现快速实时计算。
以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。

Claims (19)

1.一种图像检测方法，包括：
确定第1起点，其中，所述第1起点为待检测图像中的连通域的重心点以及所述连通域的外切图形的几何中心中的一个，所述待检测图像为手部的图像；
确定不同于所述第1起点的n个极远点，其中，第N极远点为所述连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；
分别以所述n个极远点为初始点进行区域生长，以在所述连通域中获取n个区域；以及
判断所述n个区域中的每个区域的预设特征与所述连通域的预设特征之间的关系是否满足选取条件，以确定满足所述选取条件的有效区域，
其中，所述有效区域的选取条件包括A-C中的至少一个：
A：所述每个区域的长度与所述连通域的最大宽度的第一比值不小于1/3且不大于1.5；
B：所述每个区域的宽度与所述连通域的最大宽度的第二比值不大于1/5；
C：所述每个区域的面积与所述连通域的面积的第三比值不大于1/5。
2.根据权利要求1所述的方法，还包括：
获取所述有效区域包括的极远点的坐标；或者
采用主成分分析方法确定所述连通域的数据变化方向，并且沿着所述数据变化方向并且根据第一参考长度对所述连通域进行分割以获取目标图像，所述第一参考长度为所述有效区域的尺寸与第一预设倍数的乘积。
3.根据权利要求2所述的方法，其中，所述方法用于手部检测。
4.根据权利要求3所述的方法，其中，所述连通域的数据变化方向为所述连通域的主方向。
5.根据权利要求4所述的方法，其中，所述第一预设倍数为1.5-1.7。
6.根据权利要求4或5所述的方法，其中，在所述n个区域包括多个有效区域的情况下，所述第一参考长度为具有最大长度的有效区域的尺寸与所述第一预设倍数的乘积。
7.根据权利要求3-5中任一项所述的方法，其中，对于所述n个区域中的每个区域，所述区域的生长终点的确定方法包括：在所述区域的某次生长之后，如果所述区域继续生长，像素点数量的增加值超过预设值，那么所述某次生长为所述区域的最后一次生长。
8.根据权利要求1-5中任一项所述的方法，其中，对于所述n个区域中的每个区域，根据预设长度确定所述区域的生长终点。
9.根据权利要求1-5中任一项所述的方法，其中，所述待检测图像不包括像素点的深度信息。
10.根据权利要求1所述的方法，在获取所述第1起点之前，还包括：
根据颜色范围从第一图像中获取包括初始连通域的第二图像；并且
对所述第二图像的初始连通域进行处理以获取所述待检测图像中的连通域。
11.根据权利要求10所述的方法，其中，所述方法用于手部检测，并且对所述初始连通域进行处理以获取所述连通域包括：
采用主成分分析方法确定所述初始连通域的数据变化方向；
使所述第二图像的坐标系的预设坐标轴与所述初始连通域的数据变化方向平行；
对于所述预设坐标轴的多个位置中的每个位置，计算所述初始连通域中对应所述每个位置的像素点的数量，选取像素点的最大数量作为参考数量，并且将所述参考数量与第二预设倍数的乘积作为第二参考长度；以及
沿所述初始连通域的数据变化方向并且根据所述第二参考长度对所述初始连通域进行分割，以获取所述待检测图像中的连通域。
12.根据权利要求11所述的方法，其中，所述第二预设倍数大于或等于2.5且小于或等于3。
13.一种图像检测系统，包括处理器、存储器以及存储在存储器中的计算机程序指令，其中，在所述计算机程序指令被处理器运行时执行：
确定第1起点，其中，所述第1起点为待检测图像中的连通域的重心点以及所述连通域的外切图形的几何中心中的一个，所述待检测图像为手部的图像；
确定不同于所述第1起点的n个极远点，其中，第N极远点为所述连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；
分别以所述n个极远点为初始点进行区域生长，以在所述连通域中获取n个区域；以及
判断所述n个区域中的每个区域的预设特征与所述连通域的预设特征之间的关系是否满足选取条件，以确定满足所述选取条件的有效区域，
其中，所述有效区域的选取条件包括A-C中的至少一个：
A：所述每个区域的长度与所述连通域的最大宽度的第一比值不小于1/3且不大于1.5；
B：所述每个区域的宽度与所述连通域的最大宽度的第二比值不大于1/5；
C：所述每个区域的面积与所述连通域的面积的第三比值不大于1/5。
14.一种图像检测系统，包括：
点确定装置，其被配置为：确定第1起点以及不同于所述第1起点的n个极远点，其中，所述第1起点为待检测图像中的连通域的重心点以及所述连通域的外切图形的几何中心中的一个，第N+1起点为第N极远点，第N极远点为所述连通域中到第N起点的测地距离最大的像素点，并且n、N都为正整数，所述待检测图像为手部的图像；
区域确定装置，其被配置为：分别以所述n个极远点为初始点进行区域生长，以在所述连通域中获取n个区域；以及
判断装置，其被配置为：判断所述n个区域中的每个区域的预设特征与所述连通域的预设特征之间的关系是否满足选取条件，以确定满足所述选取条件的有效区域，
其中，所述有效区域的选取条件包括A-C中的至少一个：
A：所述每个区域的长度与所述连通域的最大宽度的第一比值不小于1/3且不大于1.5；
B：所述每个区域的宽度与所述连通域的最大宽度的第二比值不大于1/5；
C：所述每个区域的面积与所述连通域的面积的第三比值不大于1/5。
15.根据权利要求14所述的图像检测系统，还包括提取装置，其被配置为：
获取所述有效区域包括的极远点的坐标；或者
采用主成分分析方法确定所述连通域的数据变化方向，并且沿着所述数据变化方向并且根据参考长度对所述连通域进行分割以获取目标图像，所述参考长度为所述有效区域的尺寸与预设倍数的乘积。
16.一种存储介质，其中存储有计算机程序指令，所述计算机程序指令适于由处理器加载并执行：
确定第1起点，其中，所述第1起点为待检测图像中的连通域的重心点以及所述连通域的外切图形的几何中心中的一个，所述待检测图像为手部的图像；
确定不同于所述第1起点的n个极远点，其中，第N极远点为所述连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；
分别以所述n个极远点为初始点进行区域生长，以在所述连通域中获取n个区域；以及
判断所述n个区域中的每个区域的预设特征与所述连通域的预设特征之间的关系是否满足选取条件，以确定满足所述选取条件的有效区域，
其中，所述有效区域的选取条件包括A-C中的至少一个：
A：所述每个区域的长度与所述连通域的最大宽度的第一比值不小于1/3且不大于1.5；
B：所述每个区域的宽度与所述连通域的最大宽度的第二比值不大于1/5；
C：所述每个区域的面积与所述连通域的面积的第三比值不大于1/5。
17.一种图像检测设备，包括根据权利要求13所述的图像检测系统或权利要求14或15所述的图像检测系统或权利要求16所述的存储介质。
18.一种手部检测方法，包括：
在待检测图像中的连通域中确定手心位置，其中，所述待检测图像为手部的图像；
以所述手心位置为第1起点，确定不同于所述手心位置的n个极远点，其中，第N极远点为所述连通域中到第N起点的测地距离最大的像素点，第N+1起点为第N极远点，并且n、N都为正整数；
分别以所述n个极远点为初始点进行区域生长，以在所述连通域中获取n个区域；以及
判断所述n个区域中的每个区域的预设特征与所述连通域的预设特征之间的关系是否满足选取条件，以确定满足所述选取条件的有效手指区域，
其中，所述有效手指区域的选取条件包括A-C中的至少一个：
A：所述每个区域的长度与所述连通域的最大宽度的第一比值不小于1/3且不大于1.5；
B：所述每个区域的宽度与所述连通域的最大宽度的第二比值不大于1/5；
C：所述每个区域的面积与所述连通域的面积的第三比值不大于1/5。
19.一种手分割方法，包括：
通过肤色检测获取肤色连通域；
获取所述肤色连通域的最大宽度和基于主成分分析方法的主方向，沿所述主方向并且根据所述最大宽度的预设倍数分割所述肤色连通域，以获取疑似手部连通域；以及
根据权利要求18所述的方法判断所述疑似手部连通域是否包括所述有效手指区域。
CN201710771527.8A 2017-08-31 2017-08-31 手和图像检测方法和系统、手分割方法、存储介质和设备 Active CN109426789B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710771527.8A CN109426789B (zh) 2017-08-31 2017-08-31 手和图像检测方法和系统、手分割方法、存储介质和设备
US16/342,626 US10885321B2 (en) 2017-08-31 2018-06-14 Hand detection method and system, image detection method and system, hand segmentation method, storage medium, and device
PCT/CN2018/091321 WO2019041967A1 (zh) 2017-08-31 2018-06-14 手和图像检测方法和系统、手分割方法、存储介质和设备
EP18850076.3A EP3678046B1 (en) 2017-08-31 2018-06-14 Hand detection method and system, image detection method and system, hand segmentation method, storage medium, and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710771527.8A CN109426789B (zh) 2017-08-31 2017-08-31 手和图像检测方法和系统、手分割方法、存储介质和设备

Publications (2)

Publication Number Publication Date
CN109426789A CN109426789A (zh) 2019-03-05
CN109426789B true CN109426789B (zh) 2022-02-01

Family

ID=65504739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710771527.8A Active CN109426789B (zh) 2017-08-31 2017-08-31 手和图像检测方法和系统、手分割方法、存储介质和设备

Country Status (4)

Country Link
US (1) US10885321B2 (zh)
EP (1) EP3678046B1 (zh)
CN (1) CN109426789B (zh)
WO (1) WO2019041967A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426789B (zh) * 2017-08-31 2022-02-01 京东方科技集团股份有限公司 手和图像检测方法和系统、手分割方法、存储介质和设备
CN110503705B (zh) * 2019-08-29 2023-10-17 上海鹰瞳医疗科技有限公司 图像标注方法和设备
CN111080668A (zh) * 2019-12-13 2020-04-28 武汉华目信息技术有限责任公司 一种闸片磨损故障检测的方法及系统
CN114007085A (zh) * 2020-07-15 2022-02-01 程海涛 一种基于地理位置的用户信息匹配，关联点播直播方法和系统（穿越直播）
CN114299406B (zh) * 2022-03-07 2022-06-07 山东鹰联光电科技股份有限公司 基于无人机航拍的光纤电缆线路巡检方法
CN115761602B (zh) * 2023-01-07 2023-04-18 深圳市蓝鲸智联科技有限公司 用于车窗控制系统的视频智能识别方法
CN116824466B (zh) * 2023-06-21 2024-05-17 前海蜂鸟谷教育科技(深圳)有限公司 辅助少儿智能编程的方法、装置和计算机存储介质
CN117808801B (zh) * 2024-02-29 2024-05-17 泰安大陆医疗器械有限公司 一种钢针排针植入视觉检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750690A (zh) * 2012-05-29 2012-10-24 武汉大学 一种基于边缘约束的分形网络演化影像分割方法
CN103996019A (zh) * 2014-02-24 2014-08-20 香港应用科技研究院有限公司 用于检测和跟踪一个物体上多个部位的系统和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19612949C1 (de) * 1996-04-01 1997-08-14 Siemens Ag Verfahren zur Erkennung mindestens eines fingerförmigen Objekts in einem ersten, handförmigen Objekt durch einen Rechner
US6088512A (en) * 1997-07-09 2000-07-11 Seiko Epson Corporation Void-and-cluster dither-matrix generation for better half-tone uniformity
US8611670B2 (en) * 2010-02-25 2013-12-17 The Board Of Trustees Of The Leland Stanford Junior University Intelligent part identification for use with scene characterization or motion capture
AU2013245477A1 (en) * 2013-10-16 2015-04-30 Canon Kabushiki Kaisha Method, system and apparatus for determining a contour segment for an object in an image captured by a camera
CN105096259B (zh) * 2014-05-09 2018-01-09 株式会社理光 深度图像的深度值恢复方法和系统
US20160092726A1 (en) * 2014-09-30 2016-03-31 Xerox Corporation Using gestures to train hand detection in ego-centric video
CN105975906B (zh) * 2016-04-27 2018-01-30 济南大学 一种基于面积特征的pca静态手势识别方法
CN106097354B (zh) * 2016-06-16 2019-07-09 南昌航空大学 一种结合自适应高斯肤色检测和区域生长的手部图像分割方法
CN107818290B (zh) * 2016-09-14 2021-03-16 京东方科技集团股份有限公司 基于深度图的启发式手指检测方法
CN107958458B (zh) * 2016-10-17 2021-01-22 京东方科技集团股份有限公司 图像分割方法、图像分割系统及包括其的设备
CN109426789B (zh) * 2017-08-31 2022-02-01 京东方科技集团股份有限公司 手和图像检测方法和系统、手分割方法、存储介质和设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750690A (zh) * 2012-05-29 2012-10-24 武汉大学 一种基于边缘约束的分形网络演化影像分割方法
CN103996019A (zh) * 2014-02-24 2014-08-20 香港应用科技研究院有限公司 用于检测和跟踪一个物体上多个部位的系统和方法

Also Published As

Publication number Publication date
WO2019041967A1 (zh) 2019-03-07
US10885321B2 (en) 2021-01-05
EP3678046A1 (en) 2020-07-08
US20190236345A1 (en) 2019-08-01
CN109426789A (zh) 2019-03-05
EP3678046A4 (en) 2021-08-18
EP3678046B1 (en) 2023-12-13

Similar Documents

Publication Publication Date Title
CN109426789B (zh) 手和图像检测方法和系统、手分割方法、存储介质和设备
CN111178250B (zh) 物体识别定位方法、装置及终端设备
EP3537375B1 (en) Image segmentation methods, image segmentation system and device comprising same, and storage medium
EP3537378A1 (en) Image processing apparatus and method for object boundary stabilization in an image of a sequence of images
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN109977949B (zh) 边框微调的文本定位方法、装置、计算机设备及存储介质
CN107818290B (zh) 基于深度图的启发式手指检测方法
EP2980755B1 (en) Method for partitioning area, and inspection device
WO2015149712A1 (zh) 一种指向交互方法、装置及系统
CN108573471B (zh) 图像处理装置、图像处理方法以及记录介质
JP7004826B2 (ja) 寸法計測装置、寸法計測方法及び半導体製造システム
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
CN113012185A (zh) 图像处理方法、装置、计算机设备和存储介质
KR102073468B1 (ko) 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법
CN107203742B (zh) 一种基于显著特征点提取的手势识别方法及装置
CN109375833B (zh) 一种触控指令的生成方法及设备
CN115861715A (zh) 基于知识表示增强的图像目标关系识别算法
CN114926849A (zh) 一种文本检测方法、装置、设备及存储介质
WO2018027527A1 (zh) 一种光学系统成像质量的检测方法和装置
CN107729863B (zh) 人体指静脉识别方法
CN110956623B (zh) 皱纹检测方法、装置、设备及计算机可读存储介质
CN115294351B (zh) 图像特征提取方法、装置和电子设备
US10013602B2 (en) Feature vector extraction device based on cell positioning
Khan et al. Segmentation of single and overlapping leaves by extracting appropriate contours
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant