CN111127535A - 一种手部深度图像的处理方法及装置 - Google Patents

一种手部深度图像的处理方法及装置 Download PDF

Info

Publication number
CN111127535A
CN111127535A CN201911155308.2A CN201911155308A CN111127535A CN 111127535 A CN111127535 A CN 111127535A CN 201911155308 A CN201911155308 A CN 201911155308A CN 111127535 A CN111127535 A CN 111127535A
Authority
CN
China
Prior art keywords
hand
image
depth image
pixel
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911155308.2A
Other languages
English (en)
Other versions
CN111127535B (zh
Inventor
毛守迪
李骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201911155308.2A priority Critical patent/CN111127535B/zh
Publication of CN111127535A publication Critical patent/CN111127535A/zh
Application granted granted Critical
Publication of CN111127535B publication Critical patent/CN111127535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提出一种手部深度图像的处理方法及装置,该方法包括:从目标深度图像中分割得到手部深度图像;对所述手部深度图像的像素进行编码处理,得到所述手部深度图像各像素的编码结果;根据所述手部深度图像各像素的编码结果以及预设的编码与手模型位置对应关系,分别确定所述手部深度图像各像素对应的手模型位置;其中,所述编码与手模型位置对应关系表示像素编码与像素在手模型上的位置的对应关系。上述处理过程通过确定手部深度图像像素对应的手模型位置,能够准确确定手部深度图像的每一像素对应的手部具体位置。

Description

一种手部深度图像的处理方法及装置
技术领域
本申请涉及深度图像处理技术领域,尤其涉及一种手部深度图像的处理方法及装置。
背景技术
手部深度图像处理的一项重要内容是明确区分手部深度图像像素对应的手部位置。
常见的手部深度图像处理通过手部深度图像分割,将手部深度图像分割为一定数量的手部区域,不同的手部深度图像区域对应不同的手部区域,而对于处于同一区域的像素则需要通过额外的方法才能确定其对应的手部具体位置。可见,现有的手部深度图像处理并不能准确确定手部深度图像的每一像素对应的手部具体位置。
发明内容
基于上述现有技术的缺陷和不足,本申请提出一种手部深度图像的处理方法及装置,能够准确确定手部深度图像的每一像素对应的手部具体位置。
一种手部深度图像的处理方法,包括:
从目标深度图像中分割得到手部深度图像;
对所述手部深度图像的像素进行编码处理,得到所述手部深度图像各像素的编码结果;
根据所述手部深度图像各像素的编码结果以及预设的编码与手模型位置对应关系,分别确定所述手部深度图像各像素对应的手模型位置;
其中,所述编码与手模型位置对应关系表示像素编码与像素在手模型上的位置的对应关系。
可选的,所述从目标深度图像中分割得到手部深度图像,包括:
获取目标深度图像;
从所述目标深度图像中检测出手部图像像素;
确定检测出的手部图像像素的连通区域的中心点位置;
根据所述中心点位置,从所述目标深度图像中分割得到手部深度图像。
可选的,在确定检测出的手部图像像素的连通区域的中心点位置后,所述方法还包括:
计算得到目标图像区域内的手部图像像素比例,其中,所述目标图像区域包括以所述中心点位置为中心,以预设距离为半径的图像区域;
根据所述目标图像区域内的手部图像像素比例,确定在所述目标图像区域内是否存在手部图像区域;
如果存在手部图像区域,则根据所述中心点位置,从所述目标深度图像中分割得到手部深度图像。
可选的,所述从所述目标深度图像中检测出手部图像像素,包括:
对所述目标深度图像进行分类处理,分别确定所述目标深度图像的每个像素属于手部图像像素的概率;
根据每个像素属于手部图像像素的概率,以及预设的像素分类阈值,确定所述目标深度图像中的手部图像像素。
可选的,所述对所述目标深度图像进行分类处理,分别确定所述目标深度图像的每个像素属于手部图像像素的概率,包括:
将所述目标深度图像输入预先训练的手部像素分割模型,分别确定所述目标深度图像的每个像素属于手部图像像素的概率;
其中,所述手部像素分割模型至少通过计算深度图像样本的像素属于手部图像像素的概率训练得到。
可选的,所述对所述手部深度图像的像素进行编码处理,得到所述手部深度图像各像素的编码结果,包括:
将所述手部深度图像输入预先训练的像素编码模型,得到所述手部深度图像各像素的编码结果;
其中,所述像素编码模型至少通过对手部深度图像样本的像素进行编码训练得到。
一种手部深度图像的处理装置,包括:
图像处理单元,用于从目标深度图像中分割得到手部深度图像;
编码处理单元,用于对所述手部深度图像的像素进行编码处理,得到所述手部深度图像各像素的编码结果;
位置确定单元,用于根据所述手部深度图像各像素的编码结果以及预设的编码与手模型位置对应关系,分别确定所述手部深度图像各像素对应的手模型位置;
其中,所述编码与手模型位置对应关系表示像素编码与像素在手模型上的位置的对应关系。
可选的,所述图像处理单元,包括:
图像获取单元,用于获取目标深度图像;
第一处理单元,用于从所述目标深度图像中检测出手部图像像素;
第二处理单元,用于确定检测出的手部图像像素的连通区域的中心点位置;
分割处理单元,用于根据所述中心点位置,从所述目标深度图像中分割得到手部深度图像。
可选的,所述分割处理单元,还用于:
计算得到目标图像区域内的手部图像像素比例,其中,所述目标图像区域包括以所述中心点位置为中心,以预设距离为半径的图像区域;
根据所述目标图像区域内的手部图像像素比例,确定在所述目标图像区域内是否存在手部图像区域;
如果存在手部图像区域,则根据所述中心点位置,从所述目标深度图像中分割得到手部深度图像。
可选的,所述第一处理单元从所述目标深度图像中检测出手部图像像素时,具体用于:
对所述目标深度图像进行分类处理,分别确定所述目标深度图像的每个像素属于手部图像像素的概率;
根据每个像素属于手部图像像素的概率,以及预设的像素分类阈值,确定所述目标深度图像中的手部图像像素。
可选的,所述第一处理单元对所述目标深度图像进行分类处理,分别确定所述目标深度图像的每个像素属于手部图像像素的概率时,具体用于:
将所述目标深度图像输入预先训练的手部像素分割模型,分别确定所述目标深度图像的每个像素属于手部图像像素的概率;
其中,所述手部像素分割模型至少通过计算深度图像样本的像素属于手部图像像素的概率训练得到。
可选的,所述编码处理单元110对所述手部深度图像的像素进行编码处理,得到所述手部深度图像各像素的编码结果时,具体用于:
将所述手部深度图像输入预先训练的像素编码模型,得到所述手部深度图像各像素的编码结果;
其中,所述像素编码模型至少通过对手部深度图像样本的像素进行编码训练得到。
本申请提出的手部深度图像的处理方法对手部深度图像进行像素编码处理,然后依据手部深度图像的像素编码,根据预先设置的编码与手模型位置对应关系,确定手部深度图像各个像素对应的手模型位置。上述处理过程通过确定手部深度图像像素对应的手模型位置,能够准确确定手部深度图像的每一像素对应的手部具体位置。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请实施例提供的一种手部深度图像的处理方法的流程示意图;
图2是本申请实施例提供的一种手模型示意图;
图3是本申请实施例提供的另一种手部深度图像的处理方法的流程示意图;
图4是本申请实施例提供的又一种手部深度图像的处理方法的流程示意图;
图5是本申请实施例提供的一种手部深度图像的处理装置的结构示意图。
具体实施方式
本申请实施例技术方案适用于确定手部深度图像的每一像素所对应的手部位置的应用场景。采用本申请实施例技术方案,可以明确手部深度图像的每一像素对应的手部具体位置。
示例性的,本申请实施例技术方案可应用于硬件处理器等硬件设备,或包装成软件程序被运行,当硬件处理器执行本申请实施例技术方案的处理过程,或上述软件程序被运行时,可以实现对手部深度图像的处理,从而确定手部深度图像的各个像素所对应的手部位置。本申请实施例只对本申请技术方案的具体处理过程进行示例性介绍,并不对本申请技术方案的具体执行形式进行限定,任意形式的可以执行本申请技术方案处理过程的技术实现形式,都可以被本申请实施例所采用。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提出一种手部深度图像的处理方法,参见图1所示,该方法包括:
S101、从目标深度图像中分割得到手部深度图像;
具体的,上述的目标深度图像,是指对成像目标进行深度成像得到的包含成像目标的深度图像,在本申请实施例中,特指包含手部的深度图像。
示例性的,上述的目标深度图像,可以是利用深度摄像头对包含手部的成像目标进行拍摄得到的深度图像,或者是接收、读取的现有的目标深度图像。
在获取到上述的目标深度图像后,本申请实施例对该目标深度图像进行图像分割处理,从中分割得到手部深度图像。
该手部深度图像,是指其主要的图像内容为手部深度图像的深度图像。上述的图像分割处理,主要用于从图像内容较丰富的目标深度图像中,分割出以手部深度图像为主的图像区域。
例如,假设上述的目标深度图像为对特定人物整体进行深度成像得到的深度图像,则从该目标深度图像中分割出手部深度图像,即是从该目标深度图像中确定该特定人物手部所在的图像区域,并对该图像区域进行分割,得到手部深度图像。
S102、对所述手部深度图像的像素进行编码处理,得到所述手部深度图像各像素的编码结果;
具体的,上述的编码处理,是指对深度图像像素进行颜色编码。
示例性的,本申请实施例采用三通道的8位RGB颜色对手部深度图像的像素进行编码处理。在经过上述的像素编码处理后,上述手部深度图像的每一像素分别对应唯一的编码结果。
例如,上述手部深度图像某一像素经过上述编码处理得到的编码结果为(23,230,12),则该编码结果中的三个元素分别代表三个通道的RGB颜色分量值。
需要说明的是,本申请实施例将各个手指尖以及手腕中心位置的颜色设定为固定颜色,然后以此为基础对手部深度图像的每一像素进行编码。比如,本申请实施例将五个手指尖以及手腕中心的颜色分别设置为绿、青、蓝、品红、红、黄,其RGB颜色分量值分别为(0,255,0),(0,255,255),(0,0,255),(255,0,255),(255,0,0),(255,255,0),然后在此基础上对手部深度图各个预设点分别进行颜色编码。对于每一预设点的编码,可以示例性的根据其距离五个手指尖以及手腕中心的距离,确定其包含的绿、青、蓝、品红、红、黄各颜色分量的比例,进而确定其编码结果。
作为一种可选的实现方式,在实际应用本申请实施例技术方案时,也可以采用其他的颜色模型对手部深度图像像素进行编码,例如可以利用CMYK、HSV等颜色模型,相应的,编码通道数量以及每通道数据位数也适应改变。
S103、根据所述手部深度图像各像素的编码结果以及预设的编码与手模型位置对应关系,分别确定所述手部深度图像各像素对应的手模型位置;
其中,所述编码与手模型位置对应关系表示像素编码与像素在手模型上的位置的对应关系。
具体的,上述的手模型是指标准的手部深度图模型,示例性的,该手模型可以包括各个视角的标准手部深度图模型。例如图2所示为手部正面的标准深度图模型。
针对上述的手模型,本申请实施例预先确定手模型上各个预设位置的颜色编码结果。
示例性的,对于图2所示的手模型,本申请实施例将各个手指尖A、B、C、D、E和手腕中心点F分别设置为一种颜色,例如可以分别设置为绿、青、蓝、品红、红、黄,其RGB颜色分量值分别为(0,255,0),(0,255,255),(0,0,255),(255,0,255),(255,0,0),(255,255,0)。然后,分别确定该手模型上每个预设点距离该手模型上A、B、C、D、E、F六个点的测地距离。以及,根据各个预设点距离A、B、C、D、E、F六个点的测地距离,求得对上述A、B、C、D、E、F六个点的颜色的权重值,以及对上述A、B、C、D、E、F六个点的颜色进行加权求和,得到各个预设点的颜色编码。这样,对于该手模型上的每一个预设点,都确定了其编码,也就是确定了颜色编码与手模型位置的对应关系。
参照上述处理,可以分别获取任意视角的手模型的各个位置的像素编码与手模型位置的对应关系。
在此基础上,当通过步骤S102确定任意的手部深度图像的像素编码后,通过查询与该手部深度图像相同视角的手模型的像素编码与手模型位置的对应关系,可以确定手部深度图像素在对应的手模型上的具体位置。
本申请实施例将手模型划分为不同平面区域,在此基础上,上述的手模型位置以平面区域编号以及平面区域上的坐标表示。可以理解,根据平面区域编号可以索引到相应的手模型平面区域,然后根据平面区域上的坐标可以索引到手模型上该平面区域内的某一坐标点,也就是索引到手模型的某一具体坐标位置。
例如,假设某手模型位置表示为(0.32,0.14,344),则可知该手模型位置位于手模型第344号平面区域的(0.32,0.14)坐标位置处。其中,平面区域内的像素坐标值可以以像素为单位表示,也可以以距离为单位表示。
通过上述介绍可见,本申请实施例提出的手部深度图像的处理方法对手部深度图像进行像素编码处理,然后依据手部深度图像的像素编码,根据预先设置的编码与手模型位置对应关系,确定手部深度图像各个像素对应的手模型位置。上述处理过程通过确定手部深度图像像素对应的手模型位置,能够准确确定手部深度图像的每一像素对应的手部具体位置。
作为一种示例性的实现方式,参见图3所示,本申请实施例还公开了,上述的从目标深度图像中分割得到手部深度图像,包括:
S301、获取目标深度图像;
示例性的,上述目标深度图像,可以利用深度摄像头对包含手部的成像目标进行拍摄得到,也可以接收、读取现有的目标深度图像得到。
优选的,本申请实施例在获取上述的目标深度图像后,还对目标深度图像进行去噪、去背景、归一化等预处理操作。
S302、从所述目标深度图像中检测出手部图像像素;
示例性的,本申请实施例通过像素分类的方法,确定目标深度图像的各像素是否属于手部图像像素,从而实现对目标深度图像中的手部图像像素的检测。
S303、确定检测出的手部图像像素的连通区域的中心点位置;
具体的,将检测出的手部图像像素连通,得到手部图像像素的连通区域,然后计算该手部图像像素的连通区域的中心,确定该连通区域的中心点位置。
示例性的,本申请实施例对检测出的手部图像像素进行聚类处理,例如利用均值漂移等算法,实现对手部图像像素的聚类。然后,计算聚类结果的连通区域的质心作为手部图像像素的连通区域的中心,该质心的位置即为手部图像像素的连通区域的中心点位置。
S304、根据所述中心点位置,从所述目标深度图像中分割得到手部深度图像。
示例性的,本申请实施例根据手部图像像素的连通区域的中心点位置(cx,cy),以及预设的距离d,从目标深度图像中分割得到手部深度图像。
具体的,首先,将预设距离d根据深度摄像头内参由实际距离转换到图像距离dp(单位为像素)。然后,以手部图像像素的连通区域的中心点位置(cx,cy)为中心,从目标深度图像中截取横向范围在[cx-dp,cx+dp],纵向范围在[cy-dp,cy+dp]内的正方形图像区域,如果该范围超出了原始目标深度图像的图像范围,超出部分用0补充,由此得到手部深度图像。
在得到手部深度图像后,本申请实施例还进一步对手部深度图像进行重采样、归一化等处理,以便后续应用。
本实施例中的步骤S305、S306分别对应图1所示的方法实施例中的步骤S102、S103,其具体内容请参见图1所示的方法实施例的内容,此处不再赘述。
优选的,参见图4所示,本申请另一实施例还公开了,在确定检测出的手部图像像素的连通区域的中心点位置后,所述方法还包括:
S404、计算得到目标图像区域内的手部图像像素比例;
其中,所述目标图像区域包括以所述中心点位置为中心,以预设距离为半径的图像区域;
具体的,上述的目标图像区域,是指以上述的中心点位置为球心,以预设距离为半径的球形图像区域,也就是三维的图像区域。
对于上述目标图像区域,本申请实施例统计该图像区域内的手部图像像素比例,也就是计算该图像区域中的手部图像像素数量与该图像区域内的所有像素数量的比值。
S405、根据所述目标图像区域内的手部图像像素比例,确定在所述目标图像区域内是否存在手部图像区域;
具体的,本申请实施例预先设置手部图像像素比例阈值,如果上述目标图像区域内的手部图像像素比例达到上述的手部图像像素比例阈值,则确定在目标图像区域内存在手部图像区域;如果上述目标图像区域内的手部图像像素比例未达到上述的手部图像像素比例阈值,则确定在目标图像区域内不存在手部图像区域。
如果存在手部图像区域,则执行步骤S406、根据所述中心点位置,从所述目标深度图像中分割得到手部深度图像;
如果不存在手部图像区域,则返回步骤S401,重新获取目标深度图像,或执行对其他目标深度图像的处理。
具体的,如果在目标图像区域内存在手部图像区域,则可以执行后续处理,即根据上述的中心点位置,从目标深度图像中分割得到手部深度图像,以及进行后续的像素编码和像素位置确定处理。
如果在目标图像区域内不存在手部图像区域,则对该目标图像区域进行处理以期确定其中各像素对应的手部位置也就没有意义,因此本申请实施例放弃对其后续处理,而是返回步骤S401,重新获取目标深度图像,对其他目标深度图像进行处理。
本实施例中的步骤S401~S403、S406~S408分别对应图3所示的方法实施例中的步骤S301~S303、S304~S306,其具体内容请参见图3所示的方法实施例的内容,此处不再赘述。
作为一种示例性的实现方式,本申请实施例还公开了上述的从目标深度图像中检测出手部图像像素的具体处理过程,该处理过程包括:
首先,对目标深度图像进行分类处理,分别确定目标深度图像的每个像素属于手部图像像素的概率;
然后,根据每个像素属于手部图像像素的概率,以及预设的像素分类阈值,确定目标深度图像中的手部图像像素。
示例性的,本申请实施例利用预先训练得到的手部像素分割模型,分别确定目标深度图像的每个像素属于手部图像像素的概率。
其中,上述的手部像素分割模型,是利用深度图像样本训练得到的。本申请实施例将足够数量的、标记手部图像像素的深度图像样本输入构建的手部像素分割模型,对其进行训练。当手部像素分割模型能够准确分割出深度图像样本中的手部图像像素时,完成对手部像素分割模型的训练。
借助上述预先训练的手部像素分割模型,可以对目标深度图像的像素进行分类处理,确定每个像素属于手部图像像素的概率。
如果像素属于手部图像像素的概率大于预设的像素分类阈值,则确定该像素属于手部图像像素;
如果像素属于手部图像像素的概率不大于预设的像素分类阈值,则确定该像素不属于手部图像像素。
按照上述处理,可以分别确定目标深度图像中的每个像素是否属于手部图像像素,从而确定目标深度图像中的手部图像像素。
作为一种示例性的实现方式,本申请另一实施例还公开了,上述的对手部深度图像的像素进行编码处理,得到手部深度图像个像素的编码结果,具体包括:
将所述手部深度图像输入预先训练的像素编码模型,得到所述手部深度图像各像素的编码结果;
其中,所述像素编码模型至少通过对手部深度图像样本的像素进行编码训练得到。
具体的,本申请实施例预先训练像素编码模型,用于对手部深度图像像素进行编码处理,其训练过程大致包括:
将已标记像素的颜色编码的手部深度图像样本输入构建的像素编码模型,使该像素编码模型对输入的手部深度图像样本进行像素编码;
根据模型编码结果与标记的像素的颜色编码进行对比,根据两者的差值对像素编码模型的运算参数进行修正;
重复上述过程,直到该像素编码模型的编码结果与标记的像素颜色编码的差值足够小时,完成对该像素编码模型的训练。
示例性的,上述的像素编码模型可以利用神经网络等人工智能算法构建得到。
上述像素编码模型输出的像素编码结果位归一化到[0,1]的三通道浮点型数组,该数组经过放大、取整处理后得到最终的像素编码结果。
与上述的手部深度图像的处理方法相对应的,本申请实施例还提出一种手部深度图像的处理装置,参见图5所示,该装置包括:
图像处理单元100,用于从目标深度图像中分割得到手部深度图像;
编码处理单元110,用于对所述手部深度图像的像素进行编码处理,得到所述手部深度图像各像素的编码结果;
位置确定单元120,用于根据所述手部深度图像各像素的编码结果以及预设的编码与手模型位置对应关系,分别确定所述手部深度图像各像素对应的手模型位置;
其中,所述编码与手模型位置对应关系表示像素编码与像素在手模型上的位置的对应关系。
作为一种示例性的实现方式,所述图像处理单元100,包括:
图像获取单元,用于获取目标深度图像;
第一处理单元,用于从所述目标深度图像中检测出手部图像像素;
第二处理单元,用于确定检测出的手部图像像素的连通区域的中心点位置;
分割处理单元,用于根据所述中心点位置,从所述目标深度图像中分割得到手部深度图像。
作为一种示例性的实现方式,所述分割处理单元,还用于:
计算得到目标图像区域内的手部图像像素比例,其中,所述目标图像区域包括以所述中心点位置为中心,以预设距离为半径的图像区域;
根据所述目标图像区域内的手部图像像素比例,确定在所述目标图像区域内是否存在手部图像区域;
如果存在手部图像区域,则根据所述中心点位置,从所述目标深度图像中分割得到手部深度图像。
作为一种示例性的实现方式,所述第一处理单元从所述目标深度图像中检测出手部图像像素时,具体用于:
对所述目标深度图像进行分类处理,分别确定所述目标深度图像的每个像素属于手部图像像素的概率;
根据每个像素属于手部图像像素的概率,以及预设的像素分类阈值,确定所述目标深度图像中的手部图像像素。
作为一种示例性的实现方式,所述第一处理单元对所述目标深度图像进行分类处理,分别确定所述目标深度图像的每个像素属于手部图像像素的概率时,具体用于:
将所述目标深度图像输入预先训练的手部像素分割模型,分别确定所述目标深度图像的每个像素属于手部图像像素的概率;
其中,所述手部像素分割模型至少通过计算深度图像样本的像素属于手部图像像素的概率训练得到。
作为一种示例性的实现方式,所述编码处理单元110对所述手部深度图像的像素进行编码处理,得到所述手部深度图像各像素的编码结果时,具体用于:
将所述手部深度图像输入预先训练的像素编码模型,得到所述手部深度图像各像素的编码结果;
其中,所述像素编码模型至少通过对手部深度图像样本的像素进行编码训练得到。
具体的,上述各个手部深度图像的处理装置实施例中的各个单元的具体工作内容,请参见上述方法实施例的内容,此处不再赘述。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。
本申请所提供的几个实施例中,应该理解到,所揭露的终端,装置和方法,可以通过其它的方式实现。例如,以上所描述的终端实施例仅仅是示意性的,例如,模块或子模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个子模块或模块可以结合或者可以集成到另一个模块,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的,作为模块或子模块的部件可以是或者也可以不是物理模块或子模块,即可以位于一个地方,或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中,也可以是各个模块或子模块单独物理存在,也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现,也可以采用软件功能模块或子模块的形式实现。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元,或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种手部深度图像的处理方法,其特征在于,包括:
从目标深度图像中分割得到手部深度图像;
对所述手部深度图像的像素进行编码处理,得到所述手部深度图像各像素的编码结果;
根据所述手部深度图像各像素的编码结果以及预设的编码与手模型位置对应关系,分别确定所述手部深度图像各像素对应的手模型位置;
其中,所述编码与手模型位置对应关系表示像素编码与像素在手模型上的位置的对应关系。
2.根据权利要求1所述的方法,其特征在于,所述从目标深度图像中分割得到手部深度图像,包括:
获取目标深度图像;
从所述目标深度图像中检测出手部图像像素;
确定检测出的手部图像像素的连通区域的中心点位置;
根据所述中心点位置,从所述目标深度图像中分割得到手部深度图像。
3.根据权利要求2所述的方法,其特征在于,在确定检测出的手部图像像素的连通区域的中心点位置后,所述方法还包括:
计算得到目标图像区域内的手部图像像素比例,其中,所述目标图像区域包括以所述中心点位置为中心,以预设距离为半径的图像区域;
根据所述目标图像区域内的手部图像像素比例,确定在所述目标图像区域内是否存在手部图像区域;
如果存在手部图像区域,则根据所述中心点位置,从所述目标深度图像中分割得到手部深度图像。
4.根据权利要求2或3所述的方法,其特征在于,所述从所述目标深度图像中检测出手部图像像素,包括:
对所述目标深度图像进行分类处理,分别确定所述目标深度图像的每个像素属于手部图像像素的概率;
根据每个像素属于手部图像像素的概率,以及预设的像素分类阈值,确定所述目标深度图像中的手部图像像素。
5.根据权利要求4所述的方法,其特征在于,所述对所述目标深度图像进行分类处理,分别确定所述目标深度图像的每个像素属于手部图像像素的概率,包括:
将所述目标深度图像输入预先训练的手部像素分割模型,分别确定所述目标深度图像的每个像素属于手部图像像素的概率;
其中,所述手部像素分割模型至少通过计算深度图像样本的像素属于手部图像像素的概率训练得到。
6.根据权利要求1所述的方法,其特征在于,所述对所述手部深度图像的像素进行编码处理,得到所述手部深度图像各像素的编码结果,包括:
将所述手部深度图像输入预先训练的像素编码模型,得到所述手部深度图像各像素的编码结果;
其中,所述像素编码模型至少通过对手部深度图像样本的像素进行编码训练得到。
7.一种手部深度图像的处理装置,其特征在于,包括:
图像处理单元,用于从目标深度图像中分割得到手部深度图像;
编码处理单元,用于对所述手部深度图像的像素进行编码处理,得到所述手部深度图像各像素的编码结果;
位置确定单元,用于根据所述手部深度图像各像素的编码结果以及预设的编码与手模型位置对应关系,分别确定所述手部深度图像各像素对应的手模型位置;
其中,所述编码与手模型位置对应关系表示像素编码与像素在手模型上的位置的对应关系。
8.根据权利要求7所述的装置,其特征在于,所述图像处理单元,包括:
图像获取单元,用于获取目标深度图像;
第一处理单元,用于从所述目标深度图像中检测出手部图像像素;
第二处理单元,用于确定检测出的手部图像像素的连通区域的中心点位置;
分割处理单元,用于根据所述中心点位置,从所述目标深度图像中分割得到手部深度图像。
9.根据权利要求8所述的装置,其特征在于,所述分割处理单元,还用于:
计算得到目标图像区域内的手部图像像素比例,其中,所述目标图像区域包括以所述中心点位置为中心,以预设距离为半径的图像区域;
根据所述目标图像区域内的手部图像像素比例,确定在所述目标图像区域内是否存在手部图像区域;
如果存在手部图像区域,则根据所述中心点位置,从所述目标深度图像中分割得到手部深度图像。
10.根据权利要求8或9所述的装置,其特征在于,所述第一处理单元从所述目标深度图像中检测出手部图像像素时,具体用于:
对所述目标深度图像进行分类处理,分别确定所述目标深度图像的每个像素属于手部图像像素的概率;
根据每个像素属于手部图像像素的概率,以及预设的像素分类阈值,确定所述目标深度图像中的手部图像像素。
CN201911155308.2A 2019-11-22 2019-11-22 一种手部深度图像的处理方法及装置 Active CN111127535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911155308.2A CN111127535B (zh) 2019-11-22 2019-11-22 一种手部深度图像的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911155308.2A CN111127535B (zh) 2019-11-22 2019-11-22 一种手部深度图像的处理方法及装置

Publications (2)

Publication Number Publication Date
CN111127535A true CN111127535A (zh) 2020-05-08
CN111127535B CN111127535B (zh) 2023-06-20

Family

ID=70496386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911155308.2A Active CN111127535B (zh) 2019-11-22 2019-11-22 一种手部深度图像的处理方法及装置

Country Status (1)

Country Link
CN (1) CN111127535B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080082472A1 (en) * 2005-04-04 2008-04-03 Spadac Inc. Event, threat and result change detection system and method
KR20160147450A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
CN106846403A (zh) * 2017-01-04 2017-06-13 北京未动科技有限公司 一种三维空间中手部定位的方法、装置及智能设备
CN107341811A (zh) * 2017-06-20 2017-11-10 上海数迹智能科技有限公司 基于深度图像的利用MeanShift算法进行手部区域分割的方法
CN107679489A (zh) * 2017-09-29 2018-02-09 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法、装置及计算设备
US20180061068A1 (en) * 2015-05-06 2018-03-01 Peking University Shenzhen Graduate School Depth/Disparity Map Post-processing Method and Device
CN108564063A (zh) * 2018-04-27 2018-09-21 北京华捷艾米科技有限公司 基于深度信息的掌心定位方法及系统
CN108734135A (zh) * 2018-05-22 2018-11-02 京东方科技集团股份有限公司 一种训练图像的获取方法及装置
CN109685069A (zh) * 2018-12-27 2019-04-26 乐山师范学院 图像检测方法、装置及计算机可读存储介质
CN109977834A (zh) * 2019-03-19 2019-07-05 清华大学 从深度图像中分割人手与交互物体的方法和装置
CN110221732A (zh) * 2019-05-15 2019-09-10 青岛小鸟看看科技有限公司 一种触控投影系统和触控动作识别方法
CN110443239A (zh) * 2019-06-28 2019-11-12 平安科技(深圳)有限公司 文字图像的识别方法及其装置
CN110443205A (zh) * 2019-08-07 2019-11-12 北京华捷艾米科技有限公司 一种手部图像分割方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080082472A1 (en) * 2005-04-04 2008-04-03 Spadac Inc. Event, threat and result change detection system and method
US20180061068A1 (en) * 2015-05-06 2018-03-01 Peking University Shenzhen Graduate School Depth/Disparity Map Post-processing Method and Device
KR20160147450A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
CN106846403A (zh) * 2017-01-04 2017-06-13 北京未动科技有限公司 一种三维空间中手部定位的方法、装置及智能设备
CN107341811A (zh) * 2017-06-20 2017-11-10 上海数迹智能科技有限公司 基于深度图像的利用MeanShift算法进行手部区域分割的方法
CN107679489A (zh) * 2017-09-29 2018-02-09 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法、装置及计算设备
CN108564063A (zh) * 2018-04-27 2018-09-21 北京华捷艾米科技有限公司 基于深度信息的掌心定位方法及系统
CN108734135A (zh) * 2018-05-22 2018-11-02 京东方科技集团股份有限公司 一种训练图像的获取方法及装置
CN109685069A (zh) * 2018-12-27 2019-04-26 乐山师范学院 图像检测方法、装置及计算机可读存储介质
CN109977834A (zh) * 2019-03-19 2019-07-05 清华大学 从深度图像中分割人手与交互物体的方法和装置
CN110221732A (zh) * 2019-05-15 2019-09-10 青岛小鸟看看科技有限公司 一种触控投影系统和触控动作识别方法
CN110443239A (zh) * 2019-06-28 2019-11-12 平安科技(深圳)有限公司 文字图像的识别方法及其装置
CN110443205A (zh) * 2019-08-07 2019-11-12 北京华捷艾米科技有限公司 一种手部图像分割方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAHUI YU等: "Free-form image inpainting with gated convolution" *
康彩琴: "基于RGBD数据的手势识别及应用", 《中国硕士学位论文全文数据库(信息科技辑)》 *
马平平: "基于区域自适应的图像间颜色迁移算法与性能评价" *

Also Published As

Publication number Publication date
CN111127535B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN110472623B (zh) 图像检测方法、设备以及系统
CN109886997B (zh) 基于目标检测的识别框确定方法、装置及终端设备
CN108596197B (zh) 一种印章匹配方法及装置
CN109344874A (zh) 一种基于深度学习的染色体自动分析方法及系统
CN110619333B (zh) 一种文本行分割方法、文本行分割装置及电子设备
CN109461133B (zh) 桥梁螺栓脱落检测方法及终端设备
CN104102347A (zh) 指尖定位方法及指尖定位终端
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN108460388A (zh) 定位标志的检测方法、装置及计算机可读存储介质
CN112035821A (zh) 图形验证码识别方法、装置、计算机设备及存储介质
CN113283439B (zh) 基于图像识别的智能计数方法、装置及系统
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
CN109472257B (zh) 一种字符版面确定方法及装置
CN109919164B (zh) 用户界面对象的识别方法及装置
CN111127535A (zh) 一种手部深度图像的处理方法及装置
CN111104965A (zh) 车辆目标识别的方法及装置
CN113989823B (zh) 基于ocr坐标的图片表格还原方法及系统
CN114723791A (zh) 特征点匹配方法、装置、电子设备和存储介质
CN114820707A (zh) 一种用于摄像头目标自动追踪的计算方法
JP4991278B2 (ja) 画像処理装置
CN113963070A (zh) 一种圆形标定板识别方法
CN112381034A (zh) 一种车道线检测方法、装置、设备及存储介质
CN107798291B (zh) 一种限速标识识别方法、装置和系统
CN110232321B (zh) 指尖点击位置的检测方法、装置、终端及计算机存储介质
CN114299037B (zh) 一种对象检测结果的质量评估方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant