CN110232321B - 指尖点击位置的检测方法、装置、终端及计算机存储介质 - Google Patents

指尖点击位置的检测方法、装置、终端及计算机存储介质 Download PDF

Info

Publication number
CN110232321B
CN110232321B CN201910390081.3A CN201910390081A CN110232321B CN 110232321 B CN110232321 B CN 110232321B CN 201910390081 A CN201910390081 A CN 201910390081A CN 110232321 B CN110232321 B CN 110232321B
Authority
CN
China
Prior art keywords
image
real
depth image
hand
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910390081.3A
Other languages
English (en)
Other versions
CN110232321A (zh
Inventor
张朵朵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN201910390081.3A priority Critical patent/CN110232321B/zh
Publication of CN110232321A publication Critical patent/CN110232321A/zh
Application granted granted Critical
Publication of CN110232321B publication Critical patent/CN110232321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明适用于计算机应用技术领域，提供了一种指尖点击位置的检测方法、装置、终端及计算机存储介质，该指尖点击位置的检测方法包括：采集当前场景的基准深度图像；同步采集所述当前场景的实时深度图像和实时彩色图像；根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；根据所述手部轮廓确定所述指尖的点击位置；解决了现有技术中指尖点击位置检测精度较低、占用系统资源较多、算法复杂度较大且检测效果不稳定的问题。

Description

指尖点击位置的检测方法、装置、终端及计算机存储介质
技术领域
本发明属于计算机技术领域，尤其涉及一种指尖点击位置的检测方法、装置、终端及计算机存储介质。
背景技术
基于视觉的手势识别成为了人机交互领域的重要技术，其中指尖点击位置检测是手势识别的基础。指尖点击位置检测技术是一种从图像中正确检测手部区域并确定指尖点击位置的技术。现有的指尖点击位置检测技术主要基于单帧彩色图像，或者基于单帧深度图像，又或者基于视频序列。
然而，基于单帧彩色图像的指尖点击位置检测技术对图像中的背景和光线的要求较高，易受相近颜色和相近轮廓的干扰，在背景复杂、光线不均匀或者过暗过亮的情况下检测精度较低；基于单帧深度图像的指尖点击位置检测技术，主要通过深度学习的方法进行指尖点击位置检测，占用的系统资源较多；而基于视频序列的指尖点击位置检测技术，要求背景不能有太大变化且手部运动速度不能过快，具有算法复杂度较高且检测效果不稳定的问题。
发明内容
有鉴于此，本发明实施例提供了一种指尖点击位置的检测方法、装置、终端及计算机存储介质，能够解决现有技术中指尖点击位置检测精度较低、占用系统资源较多、算法复杂度较大且检测效果不稳定的问题。
本发明实施例的第一方面提供了一种指尖点击位置的检测方法，包括：
采集当前场景的基准深度图像；
同步采集所述当前场景的实时深度图像和实时彩色图像；
根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；
根据所述手部轮廓确定所述指尖的点击位置。
本发明实施例的第二方面提供了一种指尖点击位置的检测装置，包括：
第一采集单元，用于采集当前场景的基准深度图像；
第二采集单元，用于同步采集所述当前场景的实时深度图像和实时彩色图像；
第一确定单元，用于根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；
第二确定单元，用于根据所述手部轮廓确定所述指尖的点击位置。
本发明实施例的第三方面提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
本发明实施例的第四方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述所述方法的步骤。
本发明实施例中，通过采集当前场景的基准深度图像，然后同步采集所述当前场景的实时深度图像和实时彩色图像；接着根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；最后根据所述手部轮廓确定所述指尖的点击位置，完成对指尖点击位置的检测；具有运算简单的特点，通过结合基准深度图像和实时深度图像进行手部轮廓的确定，有效解决了现有技术中进行指尖点击位置检测时对图像中的背景和光线的要求较高，在背景复杂、光线不均匀或者过暗过亮的情况下检测精度较低的问题，同时也可以避免相近颜色和相近轮廓的干扰，提高了检测结果的精度和稳定性，且占用的系统资源较少。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种指尖点击位置的检测方法的实现流程示意图；
图2是本发明实施例提供的一种指尖点击位置的检测方法步骤102的具体实现流程示意图；
图3是本发明实施例提供的一种指尖点击位置的检测方法步骤201的具体实现流程示意图；
图4是本发明实施例提供的第一手部区域图像示意图；
图5是本发明实施例提供的第二手部区域图像示意图；
图6是本发明实施例提供的第三手部区域图像示意图；
图7是本发明实施例提供的进行形态学滤波处理之后的第三手部区域图像示意图；
图8是本发明实施例提供的一种指尖点击位置的检测方法步骤103的具体实现流程示意图；
图9是本发明实施例提供的对手部轮廓进行多边形拟合的示意图；
图10是本发明实施例提供的一种指尖点击位置的检测装置的示意图
图11是本发明实施例提供的一种终端的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种指尖点击位置的检测方法的实现流程示意图。本实施例中的指尖点击位置的检测方法应用于终端，可以由终端上的指尖点击位置的检测装置执行，适用于需要提高指尖点击位置的检测精度的情形。如图1所示的指尖点击位置的检测方法可以包括：步骤101至步骤104。
步骤101，采集当前场景的基准深度图像。
步骤102，同步采集所述当前场景的实时深度图像和实时彩色图像。
本发明实施例中，在进行指尖点击位置的检测时，需要采集设备采集当前场景的基准深度图像，然后同步采集所述当前场景的实时深度图像和实时彩色图像，以确定所述当前场景中的手部轮廓。
具体的，所述采集设备可以为基于结构光、双目视觉、时间飞行算法(TOF)的深度相机以及彩色相机，或者也可以为能够同时进行深度图像采集和彩色图像采集的摄像头。
可选的，在本发明的一些实施例中，所述采集设备为结构光深度相机与彩色相机，所述结构光深度相机与所述彩色相机的采集时间和采集频率相同，以实现同步采集所述当前场景的实时深度图像和实时彩色图像。
可选的，在同步采集所述当前场景的实时深度图像和实时彩色图像之后，可以对所述实时深度图像和所述实时彩色图像进行对齐处理，使得所述实时深度图像和所述实时彩色图像中像素坐标相互对应。
例如，当同步采集的所述当前场景的实时深度图像和实时彩色图像不是对齐的图像时，可以对所述实时深度图像和所述实时彩色图像进行对齐处理，得到对齐的实时深度图像和实时彩色图像。
需要说明的是，当同步采集的所述当前场景的实时深度图像和实时彩色图像是对齐的实时深度图像和实时彩色图像时，则可以不需要对所述实时深度图像和所述实时彩色图像进行对齐处理。其中，图像的对齐处理方法可以包括：在图像梯度方向IGO(imagegradient orientations)上进行子空间学习或者及利用OPENCV进行图像的对齐处理。
可选的，在本发明的一些实施方式中，所述采集当前场景的基准深度图像可以包括：在所述当前场景无手部运动时采集得到的深度图像作为所述当前场景的基准深度图像。
例如，在所述当前场景无手部运动时采集得到的第一帧深度图像作为所述当前场景的基准深度图像并保存。
在本发明的一些实施方式中，在同步采集所述当前场景的实时深度图像和实时彩色图像时，还需要判断基准深度图像是否已存在，若不存在，则进行基准深度图像的采集，若存在，则继续执行步骤103。
步骤103，根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓。
可选的，在本发明的一些实施方式中，如图2所示，所述根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓可以包括：步骤201至步骤204。
步骤201，对所述基准深度图像和所述实时深度图像进行作差运算，得到第一手部区域图像。
本发明实施例中，通过对所述基准深度图像和所述实时深度图像进行作差运算，从而根据所述基准深度图像和所述实时深度图像确定进入当前环境的手部区域。
可选的，如图3所示，在本发明的一些实施方式中，所述对所述基准深度图像和所述实时深度图像进行作差运算，得到第一手部区域图像可以包括：步骤301至步骤302。
步骤301，计算所述实时深度图像中各个像素点与所述基准深度图像中对应位置的像素点的像素值差。
步骤302，将所述像素差值大于第一预设阈值且小于第二预设阈值的像素点确定为手部区域像素点，并根据所述手部区域像素点得到所述第一手部区域图像。
例如，将满足MIN_H<|flat_d(i,j)-cur_d(i,j)|<MAX_H的(i,j)位置的像素点确定为手部区域像素点，其中，flat_d(i,j)表示所述基准深度图像中(i,j)位置的像素点的像素值，cur_d(i,j)表示所述实时深度图像中(i,j)位置的像素点的像素值。所述第一预设阈值MIN_H和所述第二预设阈值MAX_H的取值可以根据实际经验进行确定。例如，所述第一预设阈值MIN_H可以设置为8，所述第二预设阈值MAX_H可以设置为200。
在确定好所述手部区域像素点之后，可以根据所述手部区域的像素点得到所述第一手部区域图像hand_d。例如，如图4所示，可以将所述手部区域的像素点映射成二值图像，其中，白色前景表示手部区域，黑色表示为背景。
步骤202，获取所述实时彩色图像对应的第二手部区域图像。
例如，利用预先构建的椭圆模型获取所述实时彩色图像对应的第二手部区域图像。
在本发明的一些实施方式中，所述利用预先构建的椭圆模型获取所述实时彩色图像对应的第二手部区域图像，可以包括：将所述实时彩色图像转换为YCbCr格式的彩色图像；根据所述YCbCr格式的彩色图像中各个像素点的CbCr值分别判断所述YCbCr格式的彩色图像中各个像素点中是否位于所述预先构建的椭圆模型对应的椭圆内，将位于所述预先构建的椭圆模型对应的椭圆内的像素点确定为手部区域像素点，并根据所述手部区域像素点得到所述第二手部区域图像。
其中，将所述实时彩色图像转换为YCbCr格式的彩色图像的转换公式为：
Figure GDA0003002225580000071
在CbCr二维空间中，皮肤像素点近似成一个椭圆分布。所述预先构建的椭圆模型可以为：以Cb为横坐标，Cr为纵坐标，椭圆的中心点坐标P为(113,155.6)，长半轴laxes＝23.4，短半轴saxes＝15.2，椭圆与水平方向上的旋转夹角angle＝43.0。
根据所述YCbCr格式的彩色图像中各个像素点的CbCr值即可判断所述YCbCr格式的彩色图像中各个像素点中是否位于所述预先构建的椭圆模型对应的椭圆内(包括椭圆边界)，将位于所述预先构建的椭圆模型对应的椭圆内的像素点确定为手部区域像素点。
在将位于所述预先构建的椭圆模型对应的椭圆内的像素点确定为手部区域像素点之后，即可根据所述手部区域像素点得到所述第二手部区域图像hand_c。例如，如图5所示，可以将所述手部区域的像素点映射成二值图像，其中，白色前景表示手部区域，黑色表示为背景。
步骤203，取所述第一手部区域图像和所述第二手部区域图像的交集，得到第三手部区域图像。
例如，在得到如图4和图5所示的第一手部区域图像hand_d和所述第二手部区域图像hand_c之后，取所述第一手部区域图像和所述第二手部区域图像的交集hand＝hand_d∩hand_c，可以得到如图6所示的第三手部区域图像。
步骤204，对所述第三手部区域图像进行滤波处理，得到所述当前场景中的手部轮廓。
例如，对所述第三手部区域图像进行形态学滤波处理，得到所述当前场景中的手部轮廓。
本发明实施例中，可以通过对所述第三手部区域图像进行滤波处理，去除所述第三手部区域图像的细小空洞，例如，如图7所示为进行形态学滤波处理后的第三手部区域图像hand_region，接着，获取所述进行形态学滤波处理后的第三手部区域图像hand_region的所有轮廓，计算每个轮廓的面积，取面积最大的轮廓为最终的手部轮廓，即，所述当前场景中的手部轮廓。
其中，所述对所述第三手部区域图像进行形态学滤波处理包括对所述第三手部区域图像进行膨胀和腐蚀。膨胀是对图像中的高亮部分进行领域扩张，就是求局部最大值的操作。将图像中的每一点与卷积核进行卷积操作，即计算核覆盖区域的像素点的最大值，得到的结果即为该像素位置膨胀后的值。腐蚀是对图像中的高亮部分进行领域缩减，即求局部最小值的操作。将图像中的每一点与卷积核进行卷积操作，即计算核覆盖区域的像素点的最小值，得到的结果即为该像素位置腐蚀后的值。卷积核可以是任何形状和大小，多数情况下是一个正方形或者圆形。例如，本发明将所述卷积核定义为9x9的椭圆形卷积核。如此，膨胀对应的求解公式为：
Figure GDA0003002225580000081
腐蚀对应的求解公式为：
Figure GDA0003002225580000082
其中，src(i,j)是图像中(i,j)位置膨胀腐蚀前的像素值，k(x,y)是卷积核在(x,y)位置的值，dst(i,j)是图像中(i,j)位置膨胀腐蚀后的像素值。
本发明实施例中，分别通过实时深度图像和实时彩色图像进行手部区域获取，联合两部分信息得到手部区域，接着，通过对所述手部区域的轮廓面积进行计算，最终确定手部轮廓，解决了仅根据单幅彩色图像的肤色提取手部区域，受到其他近似肤色的物体造成的干扰及单幅彩色图像手部跟踪跟丢的问题；以及仅根据单幅深度图像确定手部区域不够精确的问题。
步骤104，根据所述手部轮廓确定所述指尖的点击位置。
本发明实施中，在获取了所述当前场景中的手部轮廓之后，即可根据所述手部轮廓确定所述指尖的点击位置。可选的，如图8所示，所述根据所述手部轮廓确定所述指尖的点击位置，可以包括：步骤801至步骤805。
步骤801，计算所述手部轮廓的重心位置。
例如，由以下公式计算所述重心位置(center_Px,center_Py)：
Figure GDA0003002225580000091
Figure GDA0003002225580000092
其中，N为所述手部轮廓像素点的总个数，Pxi为第i个轮廓像素点的横坐标，Pyi为第i个轮廓像素点的纵坐标。
步骤802，对所述手部轮廓进行多边形拟合，并确定拟合得到的多边形的各个顶点。
例如，可以通过多边形拟合算法对所述手部轮廓进行多边形拟合，并确定拟合得到的多边形的各个顶点。如图9所示，为进行多边形拟合得到的多边形，以及多边形的各个顶点P0、P1、P2、P3、P4、P5。
步骤803，随机选择某个顶点并计算其角度，判断所述角度是否大于第三预设阈值且小于第四预设阈值。
例如，选取其中一个顶点Pi，记另外两个顶点分别为pi1与pi2。如果顶点pi-1与pi之间的距离dis小于预设距离，则按顺时针方向找与pi-1相邻的顶点作为pi1，否则将顶点pi-1作为pi1。如果顶点pi+1与pi之间的距离dis小于所述预设距离，则按逆时针方向找与pi+1相邻的顶点作为pi2，否则将顶点pi+1作为pi2，并得到顶点pi的角度∠pi1pipi2，然后，判断所述角度是否大于第三预设阈值且小于第四预设阈值。
其中，所述预设距离可以为根据实践经验得到的距离，本发明对此不做限制。例如，所述预设距离为20mm。
同样的，所述第三预设阈值和所述第四预设阈值可以根据实践经验设定，本发明对此不做限制。例如，所述第三预设阈值可以为6°，所述第四预设阈值可以为70°。
步骤804，当所述角度大于第三预设阈值且小于第四预设阈值时，计算所述实时深度图像与所述基准深度图像在所述某个顶点处的像素绝对差值，同时判断所述像素绝对差值是否小于第五预设阈值。
所述第五预设阈值可以根据实践经验设定，本发明对此不做限制。例如，所述第五预设阈值可以为12。
步骤805，当所述像素绝对差值小于所述第五预设阈值时，计算所述某个顶点处到所述重心位置的距离，并判断所述距离是否大于第六预设阈值；若所述距离大于所述第六预设阈值，则将所述随机选择的顶点确定为所述指尖的点击位置，否则重新计算其它顶点的角度。
所述第六预设阈值可以根据实践经验设定，本发明对此不做限制。例如，所述第六预设阈值可以为20cm。
也就是说，本发明通过计算所述多边形的某个顶点的角度是否大于第三预设阈值且小于第四预设阈值、像素绝对差值是否小于第五预设阈值以及到所述重心位置的距离是否大于第六预设阈值来确定所述某个顶点是否为所述指尖的点击位置。并且，当所述多边形的某个顶点的角度大于第三预设阈值且小于第四预设阈值、像素绝对差值小于第五预设阈值以及到所述重心位置的距离大于第六预设阈值时，则确定所述某个顶点为所述指尖的点击位置，否则，重新选择其他顶点，并重新执行上述步骤801至805。
可选的，在本发明的一些实施方式中，上述根据所述手部轮廓确定所述指尖的点击位置，还可以包括：计算所述手部轮廓的重心位置；接着，对所述手部轮廓进行多边形拟合，并确定拟合得到的多边形的各个顶点；然后，计算所述多边形的各个顶点的角度，将所述角度大于第三预设阈值且小于第四预设阈值的顶点确定为第一待确定顶点；再接着，计算所述实时深度图像与所述基准深度图像在所述第一待确定顶点处的像素绝对差值，将所述像素绝对差值小于第五预设阈值的所述第一待确定顶点确定为第二待确定顶点；最后，计算所述第二待确定顶点到所述重心位置的距离，并判断所述距离中最大的距离是否大于第六预设阈值；若所述距离中最大的距离大于第六预设阈值，则将所述最大的距离对应的第二待确定顶点确定为所述指尖的点击位置。
例如，在得到如图9所示的多边形，以及按逆时针排列的多边形的各个顶点P0、P1、P2、P3、P4、P5之后，以P0为起始顶点，遍历每个顶点，计算各个顶点对应的角度。其中，各个顶点对应的角度由与其相邻的顶点确定，例如，选取其中一个顶点Pi，记另外两个顶点分别为pi1与pi2。如果顶点pi-1与pi之间的距离dis小于预设距离，则按顺时针方向找与pi-1相邻的顶点作为pi1，否则将顶点pi-1作为pi1。如果顶点pi+1与pi之间的距离dis小于所述预设距离，则按逆时针方向找与pi+1相邻的顶点作为pi2，否则将顶点pi+1作为pi2，并得到顶点pi的角度∠pi1pipi2。其中，所述预设距离可以为根据实践经验得到的距离，本发明对此不做限制。例如，所述预设距离为20mm。
在得到所述多边形的各个顶点的角度之后，即可筛选出角度大于第三预设阈值且小于第四预设阈值的顶点，并将其确定为第一待确定顶点。同样的，所述第三预设阈值和所述第四预设阈值可以根据实践经验设定，本发明对此不做限制。例如，所述第三预设阈值可以为6°，所述第四预设阈值可以为70°。
也就是说，本发明通过将计算所述多边形的各个顶点中同时满足角度大于第三预设阈值且小于第四预设阈值、像素绝对差值小于第五预设阈值以及到所述重心位置的距离最大且该最大的距离大于第六预设阈值的顶点确定为所述指尖的点击位置。
可选的，在本发明的一些实施方式中，在上述步骤203之后，还可以包括：统计连续预设帧数的所述第三手部区域图像中手部区域的像素点个数，并判断所述像素点个数是否均小于预设像素点个数；若所述像素点个数均小于所述预设像素点个数，则将当前采集得到的所述实时深度图像更新为所述基准深度图像。
例如，所述预设帧数为15帧，所述预设像素点个数为300个，则可以理解的是，如果连续采集的15帧深度图像与彩色图像联合确定的手部区域hand中的像素点个数均小于300，则可以证明此时的场景中没有手部运动，则将基准深度图像更新为当前采集的深度图像，如此，可以解决单幅深度图像不稳定，仅根据单幅深度图像提取手部区域受噪声影响较大，以及仅根据多幅深度图通过手势运动确定手部区域精度较低的问题。
在上述描述的实施方式中，所述指尖点击位置的检测方法步骤102之后还可以包括：判断指尖是否已经发生过一次成功点击，若指尖已经发生过一次成功点击，则计算所述当前彩色图像与上一次点击对应的彩色图像在点击位置邻域内的颜色变化量colorRes，其中，当colorRes小于预设颜色变化量时，则结束所述指尖点击位置的检测。
其中，若指尖已经发生过一次成功点击，则根据上一次的点击位置坐标p(x,y)，确定以上一次指尖点击位置为中心点的矩形框左上顶点的坐标，以及矩形框的长和宽(rx,ry,rwidth,rheight)，其中rx＝x-30，ry＝y-30，
rwidth＝rheight＝60。然后再计算所述实时彩色图像与上一次点击对应的彩色图像在所述矩形框内的颜色变化量colorRes。计算方法为：将所述实时彩色图像与所述上一次点击对应的彩色图像分别拆分为R、G、B三个通道；遍历所述实时彩色图像与所述上一次点击对应的彩色图像上矩形框内的每个像素点，分别计算三个通道的颜色变化均值：R_res，G_res，B_res，公式如下：
Figure GDA0003002225580000121
Figure GDA0003002225580000122
Figure GDA0003002225580000123
其中，last_R(i,j)为上一次点击对应的彩色图像在矩形框内(i,j)位置对应的红色分量值，last_G(i,j)与last_B(i,j)分别为上一次点击对应的彩色图像在矩形框内(i,j)位置对应的绿色分量值与蓝色分量值；cur_G(i,j)为所述实时彩色图像在矩形框内(i,j)位置对应的绿色分量值，cur_R(i,j)与cur_B(i,j)分别为所述实时彩色图像在矩形框内(i,j)位置对应的红色分量值与蓝色分量值；由公式colorRes＝(R_res+G_res+B_res)/3计算得到所述颜色变化量colorRes。
可选的，在上述描述的实施方式中，上述步骤805中，将所述最大的距离对应的第二待确定顶点确定为所述指尖的点击位置之后，还可以包括：将所述最大的距离对应的第二待确定顶点的角平分线向外的方向确定为指尖点击的方向。
本发明实施例中，通过采集当前场景的基准深度图像，并同步采集所述当前场景的实时深度图像和实时彩色图像；接着根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；最后根据所述手部轮廓确定所述指尖的点击位置，完成对指尖点击位置的检测；具有运算简单的特点，有效解决了现有技术中进行指尖点击位置检测时对图像中的背景和光线的要求较高，在背景复杂、光线不均匀或者过暗过亮的情况下检测精度较低的问题，同时也可以避免相近颜色和相近轮廓的干扰，提高了检测结果的精度和稳定性，且占用的系统资源较少。
参照下述表1，为本发明一实施例中对指尖点击位置检测成功率进行测试所获取的结果示意图。测试参数如下：图像采集设备：orbbecDeeyea深度相机，彩色图分辨率：640×480，深度图分辨率：640×400，要求设备采集的彩色图像与深度图像中的对应坐标位置对齐；测试高度为：30cm，35cm，每个高度下对应两个角度：30°，45°，该角度是指镜头水平方向与拍摄平面水平方向的夹角，镜头垂直向下时，该角度为0°。
将深度图像的深度有效区域均分为3×3的小区域，在每个小区域内随机点击N次，N＝100，统计点击成功次数。指尖点击位置检测成功率＝点击成功次数/总点击次数。统计结果如表1所示，其中每行为相机高度，每列为相机角度。
表1：
Figure GDA0003002225580000131
Figure GDA0003002225580000141
由表1中可以看出，在上述实验环境下，指尖点击位置检测成功率的平均值均大于88％，在图像中心区域，均可高达98％；指尖点击位置检测成功率主要依赖于相机获取深度图的精度，在某些指尖点击角度下，由于光线遮挡原因，指尖深度图获取不完整，导致指尖点击位置检测失败。
参照下述表2，为本发明一实施例中对指尖点击位置检测方法的测试精度进行测试所获取的结果示意图。其中指尖点击位置检测精度定义为：3×3小区域内点击位置与实际位置的像素偏移量。计算公式如下：
Figure GDA0003002225580000142
其中，(x,y)是实际坐标值，(xi,yi)是第i次点击的坐标值，N是在(x,y)位置指尖点击位置检测成功的总次数，N＝100。具体测试结果如表2所示。
表2：
Figure GDA0003002225580000143
由表2中可以看出，图像中心位置的指尖点击位置检测精度最高，且均小于5个像素。
本发明实施例中，通过采集当前场景的基准深度图像，并同步采集所述当前场景的实时深度图像和实时彩色图像；接着根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；最后根据所述手部轮廓确定所述指尖的点击位置，以完成对指尖点击位置的检测；具有运算简单的特点，每帧的处理时间约为10ms，实时性强。本发明通过结合基准深度图像和实时深度图像进行手部轮廓的确定，有效解决了现有技术中进行指尖点击位置检测时对图像中的背景和光线的要求较高，在背景复杂、光线不均匀或者过暗过亮的情况下检测精度较低的问题，同时也可以避免相近颜色和相近轮廓的干扰，在相近颜色或相近轮廓的干扰下对指尖点击位置有更加稳定的检测效果；提高了检测结果的精度和稳定性，且占用的系统资源较少。
本发明实施例还提供一种指尖点击位置的检测装置，所述检测装置包括用于执行前述的指尖点击位置的检测方法中的各步骤的模块，该装置中未详细描述之处请详见前述方法的描述。
参见图10，图10是本发明实施例提供的一种指尖点击位置的检测装置的示意图，所述指尖点击位置的检测装置包括：
第一采集单元11，用于采集当前场景的基准深度图像；
第二采集单元12，用于同步采集所述当前场景的实时深度图像和实时彩色图像；
第一确定单元13，用于根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；
第二确定单元14，用于根据所述手部轮廓确定所述指尖的点击位置。
可选的，所述第一确定单元13，还具体用于：对所述基准深度图像和所述实时深度图像进行作差运算，得到第一手部区域图像；利用预先构建的椭圆模型获取所述实时彩色图像对应的第二手部区域图像；取所述第一手部区域图像和所述第二手部区域图像的交集，得到第三手部区域图像；对所述第三手部区域图像进行形态学滤波处理，得到所述当前场景中的手部轮廓。
可选的，所述指尖点击位置的检测装置还可以包括更新单元，所述更新单元用于：在所述取所述第一手部区域图像和所述第二手部区域图像的交集，得到第三手部区域图像之后，统计连续预设帧数的所述第三手部区域图像中手部区域的像素点个数，并判断所述像素点个数是否均小于预设像素点个数；若所述像素点个数均小于所述预设像素点个数，则将当前采集得到的所述实时深度图像更新为所述基准深度图像。
可选的，所述第一确定单元13，还具体用于：计算所述实时深度图像中各个像素点与所述基准深度图像中对应位置的像素点的像素值差；将所述像素差值大于第一预设阈值且小于第二预设阈值的像素点确定为手部区域像素点，并根据所述手部区域像素点得到所述第一手部区域图像。
可选的，所述第一确定单元13，还具体用于：将所述实时彩色图像转换为YCbCr格式的彩色图像；根据所述YCbCr格式的彩色图像中各个像素点的CbCr值分别判断所述YCbCr格式的彩色图像中各个像素点中是否位于所述预先构建的椭圆模型对应的椭圆内，将位于所述预先构建的椭圆模型对应的椭圆内的像素点确定为手部区域像素点，并根据所述手部区域像素点得到所述第二手部区域图像。
可选的，所述第二确定单元14，还具体用于：计算所述手部轮廓的重心位置；对所述手部轮廓进行多边形拟合，并确定拟合得到的多边形的各个顶点；计算所述多边形的各个顶点的角度，将所述角度大于第三预设阈值且小于第四预设阈值的顶点确定为第一待确定顶点；计算所述实时深度图像与所述基准深度图像在所述第一待确定顶点处的像素绝对差值，将所述像素绝对差值小于第五预设阈值的所述第一待确定顶点确定为第二待确定顶点；计算所述第二待确定顶点到所述重心位置的距离，并判断所述距离中最大的距离是否大于第六预设阈值；若所述距离中最大的距离大于第六预设阈值，则将所述最大的距离对应的第二待确定顶点确定为所述指尖的点击位置。
可选的，所述第一采集单元11，还具体用于：在所述当前场景无手部运动时采集得到的深度图像作为所述当前场景的基准深度图像。
图11是本发明实施例提供的终端的示意图。该实施例的终端配置上述采集设备；如图11所示，该终端11还可以包括：处理器110、存储器111以及存储在存储器111中并可在处理器110上运行的计算机程序112，例如，指尖点击位置的检测的程序。处理器110执行计算机程序112时实现上述指尖点击位置的检测方法实施例中的步骤，例如图1所示的步骤101至步骤104。或者，处理器110执行计算机程序112时实现上述各装置实施例中各模块/单元的功能，例如，图10所示单元11至14的功能。
示例性的，计算机程序112可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器111中，并由处理器110执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序112在终端11中的执行过程。例如，计算机程序112可以被分割成第一采集单元、第二采集单元、第一确定单元和第二确定单元(虚拟装置中的单元)，各单元具体功能如下：
第一采集单元，用于采集当前场景的基准深度图像；
第二采集单元，用于同步采集所述当前场景的实时深度图像和实时彩色图像；
第一确定单元，用于根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；
第二确定单元，用于根据所述手部轮廓确定所述指尖的点击位置。
终端11可包括，但不仅限于，处理器110、存储器111。本领域技术人员可以理解，图11仅仅是终端11的示例，并不构成对终端11的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器110可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器111可以是终端11的内部存储单元，例如终端11的硬盘或内存。存储器111也可以是终端11的外部存储设备，例如终端11上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器111还可以既包括终端11的内部存储单元也包括外部存储设备。存储器111用于存储计算机程序以及终端设备所需的其他程序和数据。存储器111还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种指尖点击位置的检测方法，其特征在于，包括：
采集当前场景的基准深度图像；
同步采集所述当前场景的实时深度图像和实时彩色图像；
根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；
根据所述手部轮廓确定所述指尖的点击位置；
在所述同步采集所述当前场景的实时深度图像和实时彩色图像之后，还包括：
判断所述指尖是否已经发生过一次成功点击，若指尖已经发生过一次成功点击，则计算所述实时彩色图像与上一次点击对应的实时彩色图像在所述点击位置邻域内的颜色变化量；
若所述颜色变化量小于预设颜色变化量，则结束所述指尖点击位置的检测。
2.如权利要求1所述的检测方法，其特征在于，所述根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓，包括：
对所述基准深度图像和所述实时深度图像进行作差运算，得到第一手部区域图像；
获取所述实时彩色图像对应的第二手部区域图像；
取所述第一手部区域图像和所述第二手部区域图像的交集，得到第三手部区域图像；
对所述第三手部区域图像进行滤波处理，得到所述当前场景中的手部轮廓。
3.如权利要求2所述的检测方法，其特征在于，在所述取所述第一手部区域图像和所述第二手部区域图像的交集，得到第三手部区域图像之后，还包括：
统计连续预设帧数的所述第三手部区域图像中手部区域的像素点个数，并判断所述像素点个数是否均小于预设像素点个数；
若所述像素点个数均小于所述预设像素点个数，则将当前采集得到的所述实时深度图像更新为所述基准深度图像。
4.如权利要求2所述的检测方法，其特征在于，所述对所述基准深度图像和所述实时深度图像进行作差运算，得到第一手部区域图像，包括：
计算所述实时深度图像中各个像素点与所述基准深度图像中对应位置的像素点的像素值差；
将所述像素差值大于第一预设阈值且小于第二预设阈值的像素点确定为手部区域像素点，并根据所述手部区域像素点得到所述第一手部区域图像。
5.如权利要求2所述的检测方法，其特征在于，利用预先构建的椭圆模型获取所述实时彩色图像对应的第二手部区域图像，包括：
将所述实时彩色图像转换为YCbCr格式的彩色图像；
根据所述YCbCr格式的彩色图像中各个像素点的CbCr值分别判断所述YCbCr格式的彩色图像中各个像素点中是否位于所述预先构建的椭圆模型对应的椭圆内，将位于所述预先构建的椭圆模型对应的椭圆内的像素点确定为手部区域像素点，并根据所述手部区域像素点得到所述第二手部区域图像。
6.如权利要求1-5任意一项所述的检测方法，其特征在于，所述根据所述手部轮廓确定所述指尖的点击位置，包括：
计算所述手部轮廓的重心位置；
对所述手部轮廓进行多边形拟合，并确定拟合得到的多边形的各个顶点；
随机选择某个顶点并计算其角度，判断所述角度是否大于第三预设阈值且小于第四预设阈值；
当所述角度大于第三预设阈值且小于第四预设阈值时，计算所述实时深度图像与所述基准深度图像在所述某个顶点处的像素绝对差值，同时判断所述像素绝对差值是否小于第五预设阈值；
当所述像素绝对差值小于所述第五预设阈值时，计算所述某个顶点到所述重心位置的距离，并判断所述距离是否大于第六预设阈值；若所述距离大于所述第六预设阈值，则将所述随机选择的顶点确定为所述指尖的点击位置，否则重新计算其它顶点的角度。
7.如权利要求1-5任意一项所述的检测方法，其特征在于，所述采集当前场景的基准深度图像，包括：
在所述当前场景无手部运动时采集得到的深度图像作为所述当前场景的基准深度图像。
8.一种指尖点击位置的检测装置，其特征在于，包括：
第一采集单元，用于采集当前场景的基准深度图像；
第二采集单元，用于同步采集所述当前场景的实时深度图像和实时彩色图像；
第一确定单元，用于根据所述基准深度图像、所述实时深度图像和所述实时彩色图像确定所述当前场景中的手部轮廓；
第二确定单元，用于根据所述手部轮廓确定所述指尖的点击位置；
所述第二采集单元，还用于在所述同步采集所述当前场景的实时深度图像和实时彩色图像之后，判断所述指尖是否已经发生过一次成功点击，若指尖已经发生过一次成功点击，则计算所述实时彩色图像与上一次点击对应的实时彩色图像在所述点击位置邻域内的颜色变化量；若所述颜色变化量小于预设颜色变化量，则结束所述指尖点击位置的检测。
9.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201910390081.3A 2019-05-10 2019-05-10 指尖点击位置的检测方法、装置、终端及计算机存储介质 Active CN110232321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910390081.3A CN110232321B (zh) 2019-05-10 2019-05-10 指尖点击位置的检测方法、装置、终端及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910390081.3A CN110232321B (zh) 2019-05-10 2019-05-10 指尖点击位置的检测方法、装置、终端及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110232321A CN110232321A (zh) 2019-09-13
CN110232321B true CN110232321B (zh) 2021-07-06

Family

ID=67860523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910390081.3A Active CN110232321B (zh) 2019-05-10 2019-05-10 指尖点击位置的检测方法、装置、终端及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110232321B (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2092410B1 (en) * 2006-12-08 2019-04-24 Visteon Global Technologies, Inc. Display and user interface
US9360959B2 (en) * 2010-10-12 2016-06-07 Tactonic Technologies, Llc Fusing depth and pressure imaging to provide object identification for multi-touch surfaces
CN102982557B (zh) * 2012-11-06 2015-03-25 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN103426000B (zh) * 2013-08-28 2016-12-28 天津大学 一种静态手势指尖检测方法
WO2016121329A1 (ja) * 2015-01-29 2016-08-04 パナソニックＩｐマネジメント株式会社 画像処理装置、スタイラス、および画像処理方法
CN106682585A (zh) * 2016-12-02 2017-05-17 南京理工大学 一种基于kinect2的动态手势识别方法
KR20180104918A (ko) * 2017-03-14 2018-09-27 한국전자통신연구원 Rgb-d 영상 기반 손 검출 장치 및 그 방법
CN107563286B (zh) * 2017-07-28 2020-06-23 南京邮电大学 一种基于Kinect深度信息的动态手势识别方法
CN107885327B (zh) * 2017-10-27 2020-11-13 长春理工大学 一种基于Kinect深度信息的指尖检测方法
CN108876836B (zh) * 2018-03-29 2021-08-27 北京旷视科技有限公司 一种深度估计方法、装置、系统及计算机可读存储介质
CN108829268A (zh) * 2018-07-11 2018-11-16 南京邮电大学 基于单个rgb摄像头的键盘输入方法

Also Published As

Publication number Publication date
CN110232321A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN109859226B (zh) 一种图形分割的棋盘格角点亚像素的检测方法
CN109978925B (zh) 一种机器人位姿的识别方法及其机器人
JP6417702B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN110930411B (zh) 一种基于深度相机的人体分割方法及系统
US11281897B2 (en) Gesture shaking recognition method and apparatus, and gesture recognition method
CN109698944B (zh) 投影区域校正方法、投影设备及计算机可读存储介质
KR101409810B1 (ko) 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111144337B (zh) 火灾检测方法、装置及终端设备
US11922658B2 (en) Pose tracking method, pose tracking device and electronic device
CN110874827B (zh) 湍流图像复原方法、装置、终端设备及计算机可读介质
CN107272899B (zh) 一种基于动态手势的vr交互方法、装置及电子设备
CN110807807A (zh) 一种单目视觉的目标定位的图案、方法、装置及设备
JP2021517281A (ja) スマートホームシーン向けのマルチジェスチャー精分割方法
WO2021056501A1 (zh) 提取特征点的方法、可移动平台及存储介质
CN107153806B (zh) 一种人脸检测方法及装置
CN113228105A (zh) 一种图像处理方法、装置和电子设备
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
CN110673607A (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN111161348A (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110232321B (zh) 指尖点击位置的检测方法、装置、终端及计算机存储介质
CN109816709B (zh) 基于单目摄像头的深度估计方法、装置及设备
WO2019148894A1 (zh) 一种利用图像斑块追踪测量偏移的方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co., Ltd

Address before: 12 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant