CN109325387B - 图像处理方法、装置、电子设备 - Google Patents

图像处理方法、装置、电子设备 Download PDF

Info

Publication number
CN109325387B
CN109325387B CN201710641729.0A CN201710641729A CN109325387B CN 109325387 B CN109325387 B CN 109325387B CN 201710641729 A CN201710641729 A CN 201710641729A CN 109325387 B CN109325387 B CN 109325387B
Authority
CN
China
Prior art keywords
pixel
super
image
level
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710641729.0A
Other languages
English (en)
Other versions
CN109325387A (zh
Inventor
赵颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201710641729.0A priority Critical patent/CN109325387B/zh
Publication of CN109325387A publication Critical patent/CN109325387A/zh
Application granted granted Critical
Publication of CN109325387B publication Critical patent/CN109325387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像处理方法、装置、电子设备，图像处理方法包括：初步识别步骤，生成手部区域初步识别结果；超像素级识别步骤，将图像划分为多个超像素区域，并利用手部区域初步识别结果训练超像素级分类器，通过超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；像素级识别步骤，利用超像素级手部区域识别结果和图像的权值训练像素级分类器，通过像素级分类器计算图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；更新步骤，根据像素级手部区域识别结果更新手部区域初步识别结果、超像素级手部区域识别结果的计算参数、图像的权值，返回初步识别步骤。本发明能够精细分割出图像中的手部图像。

Description

图像处理方法、装置、电子设备
技术领域
本发明涉及图像处理技术领域，特别是指一种图像处理方法、装置、电子设备。
背景技术
近些年，随着增强现实及虚拟现实技术的迅猛发展，穿戴设备的自然人机交互技术也受到了越来越广泛地关注。用户的手部无疑是最适合于作为增强现实及虚拟现实交互的媒介之一。在自然人机交互中，穿戴设备获取用户手部图像，识别出用户手部的位置、姿态及手势，进而对用户做出适当的反馈，这一过程的关键步骤是手部图像的识别。由于穿戴设备视角的独特性，交互过程经常会面临不可预知的环境变化，给手部图像的识别带来了更多挑战。
发明内容
本发明要解决的技术问题是提供一种图像处理方法、装置、电子设备，能够鲁棒地精细分割出图像中的手部图像。
为解决上述技术问题，本发明的实施例提供技术方案如下：
一方面，提供一种图像处理方法，包括：
初步识别步骤，利用待处理的图像的外观信息生成手部区域初步识别结果；
超像素级识别步骤，将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；
像素级识别步骤，利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；
更新步骤，根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值，并返回所述初步识别步骤。
进一步地，所述初步识别步骤包括：
检测所述图像中是否存在手部区域；
在检测所述图像中存在手部区域时，根据运动信息将所述图像划分为多个候选区域，根据外观信息将多个所述候选区域划分为背景区域和手部区域，其中，与设定的非交互边界相交的候选区域为背景区域，计算待判定的候选区域与背景区域的颜色相似度，在待判定的候选区域与背景区域的颜色相似度大于预设第二阈值时，将待判定的候选区域判定为背景区域，在待判定的候选区域与背景区域的颜色相似度小于预设第二阈值时，将待判定的候选区域判定为手部区域，得到手部区域初步识别结果。
进一步地，所述检测所述图像中是否存在手部区域的步骤包括：
根据所述图像每个像素点的运动显著度和运动增量计算所述图像的第一视角显著度，在所述图像的第一视角显著度大于预设第三阈值时，判断所述图像中存在手部区域。
进一步地，根据连续多帧图像中运动区域的面积变化计算所述运动增量。
进一步地，所述利用所述手部区域初步识别结果训练超像素级分类器的步骤之前，所述方法还包括：
根据每一超像素区域的置信度Wsp及面积Asp从超像素区域中筛选出训练用像素样本；
所述利用所述手部区域初步识别结果训练超像素级分类器的步骤包括：
根据所述超像素级手部区域识别结果对所述训练用像素样本进行标记，提取所述训练用像素样本的外观特征，利用所述训练用像素样本的外观特征和所述标记训练像素级分类器。
进一步地，所述根据每一超像素区域的置信度Wsp及面积Asp从超像素区域中筛选出训练用像素样本的步骤包括：
根据每一超像素区域的置信度Wsp及面积Asp计算出阈值Tsp：
Tsp＝Asp*Wsp
根据所述阈值Tsp对对应超像素区域进行腐蚀操作，将所得到的保留区域中的像素作为训练用像素样本。
进一步地，所述更新步骤包括：
根据像素级手部区域识别结果计算识别为手部区域的像素在每一超像素区域中所占的比例，根据所述比例更新每一超像素区域的置信度。
进一步地，所述更新所述手部区域初步识别结果包括：
根据所述图像每个像素点的运动显著度、运动减量以及每一超像素区域更新后的置信度计算所述图像的第二视角显著度，在所述图像的第二视角显著度大于预设第四阈值时，判断所述图像中不存在手部区域。
进一步地，所述更新所述图像的权值包括：
根据每一超像素区域更新后的置信度计算所述图像的局部损失WL；
根据所述像素级手部区域识别结果计算所述图像的全局损失WG；
根据所述局部损失WL及所述全局损失WG计算得到所述图像的权值Wt：
利用计算后的图像的权值Wt更新训练像素级分类器步骤中所使用的所述图像的权值。
本发明实施例还提供了一种图像处理装置，包括：
初步识别模块，用于利用待处理的图像的外观信息生成手部区域初步识别结果；
超像素级识别模块，用于将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；
像素级识别模块，用于利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；
更新模块，用于根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值。
本发明实施例还提供了一种实现图像处理的电子设备，包括：
处理器；和
存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
初步识别步骤，利用待处理的图像的外观信息生成手部区域初步识别结果；
超像素级识别步骤，将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；
像素级识别步骤，利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；
更新步骤，根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值，并返回所述初步识别步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
初步识别步骤，利用待处理的图像的外观信息生成手部区域初步识别结果；
超像素级识别步骤，将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；
像素级识别步骤，利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；
更新步骤，根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值，并返回所述初步识别步骤。
本发明的实施例具有以下有益效果：
上述方案中，首先利用图像的外观信息生成手部区域初步识别结果，之后利用手部区域初步识别结果训练超像素级分类器，通过超像素级分类器生成超像素级手部区域识别结果，再利用超像素级手部区域识别结果训练像素级分类器，生成像素级手部区域识别结果，从而能够得到像素级的手部区域分割结果，能够精细分割出图像中的手部图像，并且本发明的技术方案还能够根据像素级手部区域识别结果对图像处理过程中用到的计算参数进行更新，使得本发明的图像处理方案根据环境的变化改变计算参数，能够适用不同的应用环境，从而能够训练出鲁棒的分类器以提取出手部图像。
附图说明
图1为本发明实施例图像处理方法的流程示意图；
图2为本发明实施例初步识别步骤的流程示意图；
图3为本发明实施例超像素级识别步骤的流程示意图；
图4为本发明另一实施例超像素级识别步骤的流程示意图；
图5为本发明实施例更新图像的权值的流程示意图；
图6为本发明实施例图像处理装置的结构框图；
图7为本发明实施例初步识别模块的结构框图；
图8为本发明实施例超像素级识别模块的结构框图；
图9为本发明另一实施例超像素级识别模块的结构框图；
图10为本发明实施例更新模块的结构框图；
图11为本发明实施例实现图像处理的电子设备的结构框图；
图12为本发明实施例图像处理方法的应用场景示意图；
图13为本发明具体实施例图像处理方法的流程示意图；
图14为本发明实施例所处理图像的示意图。
具体实施方式
为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明的实施例提供一种图像处理方法、装置、电子设备，能够鲁棒地精细分割出图像中的手部图像。
实施例一
本发明的实施例提供一种图像处理方法，如图1所示，包括：
初步识别步骤101：利用待处理的图像的外观信息生成手部区域初步识别结果；
超像素级识别步骤102：将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；
像素级识别步骤103：利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；
更新步骤104：根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值，并返回所述初步识别步骤101。
本实施例中，首先利用图像的外观信息生成手部区域初步识别结果，之后利用手部区域初步识别结果训练超像素级分类器，通过超像素级分类器生成超像素级手部区域识别结果，再利用超像素级手部区域识别结果训练像素级分类器，生成像素级手部区域识别结果，从而能够得到像素级的手部区域分割结果，能够精细分割出图像中的手部图像，并且本发明的技术方案还能够根据像素级手部区域识别结果对图像处理过程中用到的计算参数进行更新，使得本发明的图像处理方案根据环境的变化改变计算参数，能够适用不同的应用环境，从而能够训练出鲁棒的分类器以提取出手部图像。
如图1所示，生成像素级手部区域识别结果之后，一方面生成的像素级手部区域识别结果作为当前帧图像的最终识别结果输出，同时也作为初步识别步骤的输入。
作为一个示例，如图2所示，所述初步识别步骤101包括：
步骤1011：检测所述图像中是否存在手部区域；
步骤1012：在检测所述图像中存在手部区域时，根据运动信息将所述图像划分为多个候选区域，根据外观信息将多个所述候选区域划分为背景区域和手部区域，其中，与设定的非交互边界相交的候选区域为背景区域，计算待判定的候选区域与背景区域的颜色相似度，在待判定的候选区域与背景区域的颜色相似度大于预设第二阈值时，将待判定的候选区域判定为背景区域，在待判定的候选区域与背景区域的颜色相似度小于预设第二阈值时，将待判定的候选区域判定为手部区域，得到手部区域初步识别结果。
进一步地，所述检测所述图像中是否存在手部区域的步骤包括：
根据所述图像每个像素点的运动显著度和运动增量计算所述图像的第一视角显著度，在所述图像的第一视角显著度大于预设第三阈值时，判断所述图像中存在手部区域。
具体地，根据连续多帧图像中运动区域的面积变化计算所述运动增量。
作为一个示例，如图3所示，所述超像素级识别步骤102包括：
步骤1021：将所述图像划分为多个面积小于预设第一阈值的超像素区域；
步骤1022：利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果。
进一步地，如图4所示，所述步骤1022之前，所述方法还包括：
步骤1023：根据每一超像素区域的置信度Wsp及面积Asp从超像素区域中筛选出训练用像素样本；
所述步骤1022具体包括：
步骤10221：根据所述超像素级手部区域识别结果对所述训练用像素样本进行标记，提取所述训练用像素样本的外观特征，利用所述训练用像素样本的外观特征和所述标记训练像素级分类器。
进一步地，所述步骤1023包括：
根据每一超像素区域的置信度Wsp及面积Asp计算出阈值Tsp：
Tsp＝Asp*Wsp
根据所述阈值Tsp对对应超像素区域进行腐蚀操作，将所得到的保留区域中的像素作为训练用像素样本。
进一步地，所述更新步骤包括：
根据像素级手部区域识别结果计算识别为手部区域的像素在每一超像素区域中所占的比例，根据所述比例更新每一超像素区域的置信度。
进一步地，所述更新所述手部区域初步识别结果包括：
根据所述图像每个像素点的运动显著度、运动减量以及每一超像素区域更新后的置信度计算所述图像的第二视角显著度，在所述图像的第二视角显著度大于预设第四阈值时，判断所述图像中不存在手部区域。
作为一个示例，如图5所示，所述更新所述图像的权值包括：
步骤1041：根据每一超像素区域更新后的置信度计算所述图像的局部损失WL；
步骤1042：根据所述像素级手部区域识别结果计算所述图像的全局损失WG；
步骤1043：根据所述局部损失WL及所述全局损失WG计算得到所述图像的权值Wt：
步骤1044：利用计算后的图像的权值Wt更新训练像素级分类器步骤中所使用的所述图像的权值。
实施例二
本发明实施例还提供了一种图像处理装置，如图6所示，包括：
初步识别模块21，用于利用待处理的图像的外观信息生成手部区域初步识别结果；
超像素级识别模块22，用于将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；
像素级识别模块23，用于利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；
更新模块24，用于根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值。
本实施例中，首先利用图像的外观信息生成手部区域初步识别结果，之后利用手部区域初步识别结果训练超像素级分类器，通过超像素级分类器生成超像素级手部区域识别结果，再利用超像素级手部区域识别结果训练像素级分类器，生成像素级手部区域识别结果，从而能够得到像素级的手部区域分割结果，能够精细分割出图像中的手部图像，并且本发明的技术方案还能够根据像素级手部区域识别结果对图像处理过程中用到的计算参数进行更新，使得本发明的图像处理方案根据环境的变化改变计算参数，能够适用不同的应用环境，从而能够训练出鲁棒的分类器以提取出手部图像。
作为一个示例，如图7所示，初步识别模块21包括：
检测单元211，用于检测所述图像中是否存在手部区域；
初步识别单元212，用于在检测所述图像中存在手部区域时，根据运动信息将所述图像划分为多个候选区域，根据外观信息将多个所述候选区域划分为背景区域和手部区域，其中，与设定的非交互边界相交的候选区域为背景区域，计算待判定的候选区域与背景区域的颜色相似度，在待判定的候选区域与背景区域的颜色相似度大于预设第二阈值时，将待判定的候选区域判定为背景区域，在待判定的候选区域与背景区域的颜色相似度小于预设第二阈值时，将待判定的候选区域判定为手部区域，得到手部区域初步识别结果。
检测单元211具体用于根据所述图像每个像素点的运动显著度和运动增量计算所述图像的第一视角显著度，在所述图像的第一视角显著度大于预设第三阈值时，判断所述图像中存在手部区域。
其中，根据连续多帧图像中运动区域的面积变化计算所述运动增量。
作为一个示例，如图8所示，超像素级识别模块22包括：
划分单元221，用于将所述图像划分为多个面积小于预设第一阈值的超像素区域；
超像素级分类器训练单元222，用于利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果。
进一步地，如图9所示，超像素级识别模块22还包括：
筛选单元223，用于根据每一超像素区域的置信度Wsp及面积Asp从超像素区域中筛选出训练用像素样本；
所述超像素级分类器训练单元222具体用于根据所述超像素级手部区域识别结果对所述训练用像素样本进行标记，提取所述训练用像素样本的外观特征，利用所述训练用像素样本的外观特征和所述标记训练像素级分类器。
进一步地，筛选单元223具体用于根据每一超像素区域的置信度Wsp及面积Asp计算出阈值Tsp：
Tsp＝Asp*Wsp
根据所述阈值Tsp对对应超像素区域进行腐蚀操作，将所得到的保留区域中的像素作为训练用像素样本。
进一步地，更新模块24用于根据像素级手部区域识别结果计算识别为手部区域的像素在每一超像素区域中所占的比例，根据所述比例更新每一超像素区域的置信度。
进一步地，更新模块24还用于根据所述图像每个像素点的运动显著度、运动减量以及每一超像素区域更新后的置信度计算所述图像的第二视角显著度，在所述图像的第二视角显著度大于预设第四阈值时，判断所述图像中不存在手部区域。
作为一个示例，如图10所示，更新模块24包括：
局部损失计算单元241，用于根据每一超像素区域更新后的置信度计算所述图像的局部损失WL；
全局损失计算单元242，用于根据所述像素级手部区域识别结果计算所述图像的全局损失WG；
权值计算单元243，用于根据所述局部损失WL及所述全局损失WG计算得到所述图像的权值Wt：
权值更新单元244，用于利用计算后的图像的权值Wt更新训练像素级分类器步骤中所使用的所述图像的权值。
实施例三
本实施例提供了一种实现图像处理的电子设备30，如图11所示，包括：
处理器32；和
存储器34，在所述存储器34中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器32执行以下步骤：
初步识别步骤，利用待处理的图像的外观信息生成手部区域初步识别结果；
超像素级识别步骤，将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；
像素级识别步骤，利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；
更新步骤，根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值，并返回所述初步识别步骤。
进一步地，如图11所示，实现全景视频处理的电子设备30还包括网络接口31、输入设备33、硬盘35、和显示设备36。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器32代表的一个或者多个中央处理器(CPU)，以及由存储器34代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
所述网络接口31，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，例如待处理的图像序列，并可以保存在硬盘35中。
所述输入设备33，可以接收操作人员输入的各种指令，并发送给处理器32以供执行。所述输入设备33可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
所述显示设备36，可以将处理器32执行指令获得的结果进行显示。
所述存储器34，用于存储操作系统运行所必须的程序和数据，以及处理器32计算过程中的中间结果等数据。
可以理解，本发明实施例中的存储器34可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器34旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器34存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统341和应用程序342。
其中，操作系统341，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序342，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序342中。
上述处理器32，当调用并执行所述存储器34中所存储的应用程序和数据，具体的，可以是应用程序342中存储的程序或指令时，可以执行：初步识别步骤，利用待处理的图像的外观信息生成手部区域初步识别结果；超像素级识别步骤，将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；像素级识别步骤，利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；更新步骤，根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值，并返回所述初步识别步骤。
本发明上述实施例揭示的方法可以应用于处理器32中，或者由处理器32实现。处理器32可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器32中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器32可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器34，处理器32读取存储器34中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
具体地，处理器32检测所述图像中是否存在手部区域；在检测所述图像中存在手部区域时，根据运动信息将所述图像划分为多个候选区域，根据外观信息将多个所述候选区域划分为背景区域和手部区域，其中，与设定的非交互边界相交的候选区域为背景区域，计算待判定的候选区域与背景区域的颜色相似度，在待判定的候选区域与背景区域的颜色相似度大于预设第二阈值时，将待判定的候选区域判定为背景区域，在待判定的候选区域与背景区域的颜色相似度小于预设第二阈值时，将待判定的候选区域判定为手部区域，得到手部区域初步识别结果。
具体地，处理器32根据所述图像每个像素点的运动显著度和运动增量计算所述图像的第一视角显著度，在所述图像的第一视角显著度大于预设第三阈值时，判断所述图像中存在手部区域。
进一步地，处理器32根据连续多帧图像中运动区域的面积变化计算所述运动增量。
具体地，处理器32根据每一超像素区域的置信度Wsp及面积Asp从超像素区域中筛选出训练用像素样本；根据所述超像素级手部区域识别结果对所述训练用像素样本进行标记，提取所述训练用像素样本的外观特征，利用所述训练用像素样本的外观特征和所述标记训练像素级分类器。
具体地，处理器32根据每一超像素区域的置信度Wsp及面积Asp计算出阈值Tsp：
Tsp＝Asp*Wsp
根据所述阈值Tsp对对应超像素区域进行腐蚀操作，将所得到的保留区域中的像素作为训练用像素样本。
进一步地，处理器32根据像素级手部区域识别结果计算识别为手部区域的像素在每一超像素区域中所占的比例，根据所述比例更新每一超像素区域的置信度。
进一步地，处理器32根据所述图像每个像素点的运动显著度、运动减量以及每一超像素区域更新后的置信度计算所述图像的第二视角显著度，在所述图像的第二视角显著度大于预设第四阈值时，判断所述图像中不存在手部区域。
进一步地，处理器32根据每一超像素区域更新后的置信度计算所述图像的局部损失WL；根据所述像素级手部区域识别结果计算所述图像的全局损失WG；根据所述局部损失WL及所述全局损失WG计算得到所述图像的权值Wt：利用计算后的图像的权值Wt更新训练像素级分类器步骤中所使用的所述图像的权值。
本实施例中，首先利用图像的外观信息生成手部区域初步识别结果，之后利用手部区域初步识别结果训练超像素级分类器，通过超像素级分类器生成超像素级手部区域识别结果，再利用超像素级手部区域识别结果训练像素级分类器，生成像素级手部区域识别结果，从而能够得到像素级的手部区域分割结果，能够精细分割出图像中的手部图像，并且本发明的技术方案还能够根据像素级手部区域识别结果对图像处理过程中用到的计算参数进行更新，使得本发明的图像处理方案根据环境的变化改变计算参数，能够适用不同的应用环境，从而能够训练出鲁棒的分类器以提取出手部图像。
实施例四
本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
初步识别步骤，利用待处理的图像的外观信息生成手部区域初步识别结果；
超像素级识别步骤，将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；
像素级识别步骤，利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；
更新步骤，根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值，并返回所述初步识别步骤。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
实施例五
图12为本实施例图像处理方法的应用场景示意图，图12中，用户佩戴智能眼镜，通过用手指虚拟触摸显示在眼镜上的键盘来输入命令。智能眼镜中嵌入了摄像机以捕获用户视线范围内的图像，即第一视角下的图像。本实施例可以通过分析捕获的第一视角图像，从中精细分割出用户的手部区域，用户的手部位置进一步被解析为交互命令。当然，图12所示的场景仅为本发明的一个应用示例，实际应用中用户可以使用不同的设备，设备的数量可以为多个，或者图像处理方法可以应用于不同的场景。
如图13所示，本实施例的图像处理方法具体包括以下步骤：
步骤401：接收待处理的图像序列；
本实施例中，输入为图像帧序列，输出为精细分割的手部区域图像。输入的图像序列可以是从网络上获取的，也可以是由摄像机实时获取的，还可以是预先存储在存储设备中的。
步骤402：检测所述图像中是否存在手部区域；
在进行像素分类之前，首先判断图像中是否存在手部区域，如果图像中存在手部区域，再进一步判断图像的某个区域是否属于手部区域。通过这样的方式，可以减少误检并提高处理效率。从交互周期的角度考虑，第一视角下的手部运动过程可以被划分为三个阶段，包括交互准备阶段、交互进行阶段及交互结束阶段，各个阶段都具有一定的特性。在交互准备阶段，用户的手部从图像的非顶端区域逐渐进入交互视野，并且手部运动比其他区域的运动更为显著。在交互进行阶段，用户手部在视野中心区域进行运动，当用户通过手势交互时，手指的运动比手掌的运动更加强烈。在交互结束阶段，用户手部逐渐离开交互视野。根据交互周期的特性，本实施例定义了视角显著度Ef，以无监督的方式检测图像f中是否存在手部区域。视角显著度Ef包括空间及时间两项度量，计算公式如下：
Figure GDA0003136031070000171
其中，如图14所示，图像f的宽为W，高为H。在计算公式(1)中，第一项度量即加号之前的部分为运动显著度，第二项度量即加号之后的部分为运动增量。运动显著度描述了运动在空间内的显著程度，其根据运动发生的视角位置及强度计算每个像素点的运动显著度。如图14所示，本实施例定义了一个非交互边界(图14中有格子填充的区域)，将距离图像顶端距离为h并与图像同宽的区域定义为非交互边界，h通常设置为0.1*H，当然实际应用中，还可以根据需要将h设置为其它的值，根据非交互边界可以计算运动发生的视角位置。计算公式(1)中，Mf为根据光流场计算出的运动显著度图，λ是响应控制因子，sgn(·)是符号函数，Nt为t时刻时，运动显著度图中非零值的个数。运动增量描述了运动在时间上的趋势。由于在手部进入交互视野的过程中，运动区域的面积逐渐增大，因此，本实施例根据运动发生的区域在连续多帧(比如至少三帧)图像内的面积变化计算图像的运动增量。
步骤403：生成初始化的手部区域蒙版图；
检测到图像中存在手部区域之后，本实施例利用运动及外观特征对图像序列进行聚类，进而提取手部区域，生成初始化的手部区域蒙版图。
首先根据运动信息进行聚类，将图像序列划分成若干个候选区域。然后，根据外观信息(比如颜色)进行聚类，将上述候选区域划分成背景区域和手部区域两类，其中，与非交互边界相交的候选区域被划分为背景区域，根据外观信息判断剩余候选区域与上述背景区域的相似程度，进而提取出手部区域。具体地，本实施例根据颜色直方图计算剩余候选区域Ri与背景区域Rj的颜色相似度H，计算公式如下：
Figure GDA0003136031070000181
在剩余候选区域Ri与背景区域Rj的颜色相似度H大于预设的第二阈值时，判断候选区域为背景区域，在剩余候选区域Ri与背景区域Rj的颜色相似度H小于预设的第二阈值时，判断候选区域为手部区域，这样根据颜色相似度的计算可以将所有候选区域划分成手部区域与背景区域两类，生成一幅手部区域的二值蒙版图，其中，手部区域标记可以为1，背景区域可以标记为0。
步骤404：训练超像素级分类器，生成超像素级手部区域识别结果；
在交互准备阶段结束时，手部运动逐渐减弱而变得不再显著，如用户开始做手势时，手部只有手指运动而手掌保持不动。此外，基于运动的分割产生的结果通常在物体的边缘处是模糊的且包含噪声的。因此，在交互进行阶段，外观特征比运动特征更加稳定，本实施例在线学习手部区域的外观特征，并训练了两级分类器以便逐步细化分割结果。本实施例包括训练超像素级分类器及训练像素级分类器两级分类器，最终输出像素级分割结果，即像素级手部区域识别结果。
根据上述步骤403生成的初始化的手部蒙版图，本实施例首先训练超像素级分类器，以便为后续图像序列提取出初始化的手部区域，进而做更为精细的分割。本实施例将图像分割成为超像素区域，并利用图像所对应的手部蒙版图，训练超像素级分类器，计算每个超像素区域属于手部区域的概率，进而生成超像素级分割结果。本实施例首先根据图像序列的颜色及纹理信息，将图像序列分割称为若干个小区域，这些小区域被称之为超像素区域，其中，超像素区域分割过程可以采用已有的方法，如simple linear iterativeclustering(SLIC，简单的线性迭代聚类)等。然后，本实施例根据已有的手部蒙版图对超像素区域进行标记，标记每个超像素区域是否属于手部区域，并提取超像素区域的颜色及纹理特征。
根据每个超像素区域的标记、颜色及纹理特征，本实施例训练超像素级分类器。之后，本实施例利用训练的超像素级分类器，对后续图像的超像素区域进行分类，得到每一超像素区域的置信度Wsp，进而生成超像素级手部区域识别结果。
步骤405：训练像素级分类器，生成像素级手部区域识别结果；
为了得到精细分割的手部区域，本实施例根据超像素级分割结果进一步训练了像素级分类器。本实施例首先根据超像素区域的置信度Wsp及面积Asp筛选稳定的像素样本。本实施例根据超像素区域的置信度Wsp及面积Asp计算一个阈值Tsp，计算公式如下：
Tsp＝Asp*Wsp [3]
本实施例根据阈值Tsp对对应的超像素区域进行腐蚀操作，所得到收缩区域中的像素被划分为不稳定类别，保留区域中的像素被划分为稳定类别。本实施例将稳定类别的像素点作为样本用以训练像素级分类器。
然后，本实施例根据超像素的分类结果标记所选出的像素样本，标记每个像素样本是否属于手部区域，并提取像素样本的颜色及纹理特征。最后，本实施例根据像素样本的标记、颜色及纹理特征训练像素级分类器。本实施例可以利用训练的像素级分类器对后续图像进行分类，得到每个像素属于手部区域的概率，进而生成像素级手部区域识别结果，并输出像素级手部区域识别结果作为当前帧图像的最终识别结果。其中，超像素区域的置信度及面积越大越稳定，产生的稳定的像素样本越多。
步骤406：根据像素级手部区域识别结果更新手部区域初步识别结果的计算参数、超像素级手部区域识别结果的计算参数和图像的权值。
为了更加鲁棒地应对光线变化对图像分割造成的影响，本实施例在线更新已得到的超像素级分类器以及像素级分类器。首先，本实施例根据像素级手部区域识别结果计算正样本在超像素区域中所占的比例，进而更新超像素区域的置信度Wsp。在交互结束阶段，由于手部逐渐移出交互视野，运动信息再次变得显著。因此，本实施例将视角显著度中的运动增量项替换为运动减量项，并为其增加一项分类置信度，从而对视角显著度进行更新。这样，本实施例通过计算视角显著度来判断用户的手是否已经离开交互视野，更新后的视角显著度的计算公式如下：
Figure GDA0003136031070000201
其中，第三项为图像f中所有超像素区域的置信度的均值，m为置信度大于0.5的超像素区域的个数。
本实施例更新像素级分类器中训练图像的权值W，根据像素级手部区域识别结果计算训练图像的局部损失WL及全局损失WG，按照损失与权值成反比的关系进而得到训练图像的权值Wt，如下所示：
Figure GDA0003136031070000202
本实施例首先计算训练图像的局部损失WL，其根据训练图像对超像素分类结果的置信度的影响，计算图像的局部损失。给定一组训练图像{Ft}经训练得到一组超像素级分类器{Ct}。本实施例利用分类器Ct对图像f进行分类，得到其超像素区域SPk属于手部区域的置信度
Figure GDA0003136031070000203
局部损失
Figure GDA0003136031070000204
计算分类器Ct的结果与集合中的其余分类器产生的分类结果的偏差，计算公式如下：
Figure GDA0003136031070000205
Figure GDA0003136031070000206
其中，m是图像f中超像素区域的个数，n是训练集中图像的个数。
本实施例计算训练图像的全局损失WG，根据训练图像的像素级手部区域识别结果计算训练图像的全局损失。本实施例根据分割结果的梯度约束定义了全局损失WG，其中的三项约束分别为，在分割结果的梯度图中，最大轮廓应该具有较大的幅值；轮廓的个数应该较少，最大轮廓的形状应该与历史分割结果的轮廓相似，全局损失WG的计算公式如下:
Figure GDA0003136031070000211
其中，每一项的右上标表示其对应的分类器，即Ct或者是
Figure GDA0003136031070000212
D(·,·)是判断两个形状相似程度的函数。
在计算出新的视角显著度、超像素区域的置信度、训练图像的权值之后，转向步骤401，使用更新后的参数来训练超像素级分类器以及像素级分类器，循环这个过程，使得超像素级分类器以及像素级分类器能够更加鲁棒地应对光线变化对图像分割造成的影响，使得本实施例的图像处理方案能够适用不同的应用环境，得到更加精细的手部识别结果。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
初步识别步骤，利用待处理的图像的外观信息生成手部区域初步识别结果；
超像素级识别步骤，将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；
像素级识别步骤，利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；
更新步骤，根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值，并返回所述初步识别步骤，其中，所述手部区域初步识别结果的计算参数包括图像的视角显著度，所述超像素级手部区域识别结果的计算参数包括超像素区域的置信度；
其中，更新所述图像的权值包括：
根据每一超像素区域更新后的置信度计算所述图像的局部损失WL；
根据所述像素级手部区域识别结果计算所述图像的全局损失WG；
根据所述局部损失WL及所述全局损失WG计算得到所述图像的权值Wt：
利用计算后的图像的权值Wt更新训练像素级分类器步骤中所使用的所述图像的权值。
2.根据权利要求1所述的图像处理方法，其特征在于，所述初步识别步骤包括：
检测所述图像中是否存在手部区域；
在检测所述图像中存在手部区域时，根据运动信息将所述图像划分为多个候选区域，根据外观信息将多个所述候选区域划分为背景区域和手部区域，其中，与设定的非交互边界相交的候选区域为背景区域，计算待判定的候选区域与背景区域的颜色相似度，在待判定的候选区域与背景区域的颜色相似度大于预设第二阈值时，将待判定的候选区域判定为背景区域，在待判定的候选区域与背景区域的颜色相似度小于预设第二阈值时，将待判定的候选区域判定为手部区域，得到手部区域初步识别结果。
3.根据权利要求2所述的图像处理方法，其特征在于，所述图像的视角显著度包括图像的第一视角显著度，所述检测所述图像中是否存在手部区域的步骤包括：
根据所述图像每个像素点的运动显著度和运动增量计算所述图像的第一视角显著度，在所述图像的第一视角显著度大于预设第三阈值时，判断所述图像中存在手部区域。
4.根据权利要求3所述的图像处理方法，其特征在于，根据连续多帧图像中运动区域的面积变化计算所述运动增量。
5.根据权利要求1所述的图像处理方法，其特征在于，所述利用所述手部区域初步识别结果训练超像素级分类器的步骤之前，所述方法还包括：
根据每一超像素区域的置信度Wsp及面积Asp从超像素区域中筛选出训练用像素样本；
所述利用所述手部区域初步识别结果训练超像素级分类器的步骤包括：
根据所述超像素级手部区域识别结果对所述训练用像素样本进行标记，提取所述训练用像素样本的外观特征，利用所述训练用像素样本的外观特征和所述标记训练像素级分类器。
6.根据权利要求5所述的图像处理方法，其特征在于，所述根据每一超像素区域的置信度Wsp及面积Asp从超像素区域中筛选出训练用像素样本的步骤包括：
根据每一超像素区域的置信度Wsp及面积Asp计算出阈值Tsp：
Tsp＝Asp*Wsp
根据所述阈值Tsp对对应超像素区域进行腐蚀操作，将所得到的保留区域中的像素作为训练用像素样本。
7.根据权利要求1-6中任一项所述的图像处理方法，其特征在于，所述更新步骤包括：
根据像素级手部区域识别结果计算识别为手部区域的像素在每一超像素区域中所占的比例，根据所述比例更新每一超像素区域的置信度。
8.根据权利要求7所述的图像处理方法，其特征在于，所述图像的视角显著度还包括图像的第二视角显著度，所述更新所述手部区域初步识别结果包括：
根据所述图像每个像素点的运动显著度、运动减量以及每一超像素区域更新后的置信度计算所述图像的第二视角显著度，在所述图像的第二视角显著度大于预设第四阈值时，判断所述图像中不存在手部区域。
9.一种图像处理装置，其特征在于，包括：
初步识别模块，用于利用待处理的图像的外观信息生成手部区域初步识别结果；
超像素级识别模块，用于将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；
像素级识别模块，用于利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；
更新模块，用于根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值，其中，所述手部区域初步识别结果的计算参数包括图像的视角显著度，所述超像素级手部区域识别结果的计算参数包括超像素区域的置信度；
其中，更新所述图像的权值包括：
根据每一超像素区域更新后的置信度计算所述图像的局部损失WL；
根据所述像素级手部区域识别结果计算所述图像的全局损失WG；
根据所述局部损失WL及所述全局损失WG计算得到所述图像的权值Wt：
利用计算后的图像的权值Wt更新训练像素级分类器步骤中所使用的所述图像的权值。
10.一种实现图像处理的电子设备，其特征在于，包括：
处理器；和
存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
初步识别步骤，利用待处理的图像的外观信息生成手部区域初步识别结果；
超像素级识别步骤，将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；
像素级识别步骤，利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；
更新步骤，根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值，并返回所述初步识别步骤，其中，所述手部区域初步识别结果的计算参数包括图像的视角显著度，所述超像素级手部区域识别结果的计算参数包括超像素区域的置信度；
其中，更新所述图像的权值包括：
根据每一超像素区域更新后的置信度计算所述图像的局部损失WL；
根据所述像素级手部区域识别结果计算所述图像的全局损失WG；
根据所述局部损失WL及所述全局损失WG计算得到所述图像的权值Wt：
利用计算后的图像的权值Wt更新训练像素级分类器步骤中所使用的所述图像的权值。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
初步识别步骤，利用待处理的图像的外观信息生成手部区域初步识别结果；
超像素级识别步骤，将所述图像划分为多个面积小于预设第一阈值的超像素区域，并利用所述手部区域初步识别结果训练超像素级分类器，通过所述超像素级分类器计算每个超像素区域为手部区域的概率，生成超像素级手部区域识别结果；
像素级识别步骤，利用超像素级手部区域识别结果和所述图像的权值训练像素级分类器，通过所述像素级分类器计算所述图像的每个像素为手部区域的概率，生成像素级手部区域识别结果；
更新步骤，根据所述像素级手部区域识别结果更新所述手部区域初步识别结果的计算参数、所述超像素级手部区域识别结果的计算参数和所述图像的权值，并返回所述初步识别步骤，其中，所述手部区域初步识别结果的计算参数包括图像的视角显著度，所述超像素级手部区域识别结果的计算参数包括超像素区域的置信度；
其中，更新所述图像的权值包括：
根据每一超像素区域更新后的置信度计算所述图像的局部损失WL；
根据所述像素级手部区域识别结果计算所述图像的全局损失WG；
根据所述局部损失WL及所述全局损失WG计算得到所述图像的权值Wt：
利用计算后的图像的权值Wt更新训练像素级分类器步骤中所使用的所述图像的权值。
CN201710641729.0A 2017-07-31 2017-07-31 图像处理方法、装置、电子设备 Active CN109325387B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710641729.0A CN109325387B (zh) 2017-07-31 2017-07-31 图像处理方法、装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710641729.0A CN109325387B (zh) 2017-07-31 2017-07-31 图像处理方法、装置、电子设备

Publications (2)

Publication Number Publication Date
CN109325387A CN109325387A (zh) 2019-02-12
CN109325387B true CN109325387B (zh) 2021-09-28

Family

ID=65245622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710641729.0A Active CN109325387B (zh) 2017-07-31 2017-07-31 图像处理方法、装置、电子设备

Country Status (1)

Country Link
CN (1) CN109325387B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840914B (zh) * 2019-02-28 2022-12-16 华南理工大学 一种基于用户交互式的纹理分割方法
CN110728229B (zh) * 2019-10-09 2023-07-18 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备和存储介质
CN115439334A (zh) * 2021-06-02 2022-12-06 中国科学院分子植物科学卓越创新中心 整穗图像处理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537379A (zh) * 2014-12-26 2015-04-22 上海大学 一种高精度的舌体自动分割方法
CN105654505A (zh) * 2015-12-18 2016-06-08 中山大学 一种基于超像素的协同跟踪算法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537379A (zh) * 2014-12-26 2015-04-22 上海大学 一种高精度的舌体自动分割方法
CN105654505A (zh) * 2015-12-18 2016-06-08 中山大学 一种基于超像素的协同跟踪算法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于超像素的点追踪方法;罗会兰，钟睿，孔繁胜;《中国图象图形学报》;20141231;第19卷(第3期);第428-438页 *

Also Published As

Publication number Publication date
CN109325387A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
Mukherjee et al. Fingertip detection and tracking for recognition of air-writing in videos
Wang et al. RGB-D salient object detection via minimum barrier distance transform and saliency fusion
Wang et al. Video co-saliency guided co-segmentation
US8970696B2 (en) Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
EP1768058B1 (en) Information processing apparatus and control method therefor
Gong et al. Advanced image and video processing using MATLAB
CN102831439A (zh) 手势跟踪方法及系统
KR20120054550A (ko) 비디오 스트림에서 움직이고 있는 비정형 물체들을 실시간으로 검출 및 추적하여, 사용자가 컴퓨터 시스템과 상호 작용할 수 있게 해주는 방법 및 디바이스
CN112418216A (zh) 一种复杂自然场景图像中的文字检测方法
CN109325387B (zh) 图像处理方法、装置、电子设备
CN109492576A (zh) 图像识别方法、装置及电子设备
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
Thabet et al. Fast marching method and modified features fusion in enhanced dynamic hand gesture segmentation and detection method under complicated background
Tyagi et al. Sign language recognition using hand mark analysis for vision-based system (HMASL)
CN117315767A (zh) 一种基于ai识别的动态手势行为识别方法及装置
Zhao et al. Coarse-to-fine online learning for hand segmentation in egocentric video
Zou et al. Deformable part model based hand detection against complex backgrounds
Wagner et al. Framework for a portable gesture interface
Song et al. Real-time single camera natural user interface engine development
Holtzhausen et al. An illumination invariant framework for real-time foreground detection
Wang et al. A study on hand gesture recognition algorithm realized with the aid of efficient feature extraction method and convolution neural networks: design and its application to VR environment
Cheng et al. Weighted multiple instance-based deep correlation filter for video tracking processing
Zhao et al. Unsupervised online learning for fine-grained hand segmentation in egocentric video
CN113766147A (zh) 视频中嵌入图像的方法、平面预测模型获取方法和装置
Susitha et al. Static and Dynamic Hand Gesture Recognition for Indian Sign Language

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant