CN111368675B - 手势深度信息的处理方法、装置、设备及存储介质 - Google Patents

手势深度信息的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111368675B
CN111368675B CN202010119188.7A CN202010119188A CN111368675B CN 111368675 B CN111368675 B CN 111368675B CN 202010119188 A CN202010119188 A CN 202010119188A CN 111368675 B CN111368675 B CN 111368675B
Authority
CN
China
Prior art keywords
depth
finger feature
points
preset
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010119188.7A
Other languages
English (en)
Other versions
CN111368675A (zh
Inventor
黄少光
许秋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Realis Multimedia Technology Co Ltd
Original Assignee
Shenzhen Realis Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Realis Multimedia Technology Co Ltd filed Critical Shenzhen Realis Multimedia Technology Co Ltd
Priority to CN202010119188.7A priority Critical patent/CN111368675B/zh
Publication of CN111368675A publication Critical patent/CN111368675A/zh
Priority to PCT/CN2021/073731 priority patent/WO2021169705A1/zh
Application granted granted Critical
Publication of CN111368675B publication Critical patent/CN111368675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及图像处理领域，公开了一种手势深度信息的处理方法、装置、设备及存储介质，用于提高基于深度相机测量手部特征点深度信息的准确性。该方法包括：采集手部深度图像，获取手部深度图像中包含的预设手指特征点及其深度值；根据深度值判断预设手指特征点是否为噪点，当预设手指特征点为噪点时，在预设手指特征点所在的手指上，获取离预设手指特征点最近的手指特征点，作为目标手指特征点；判断目标手指特征点是否为噪点；当不为噪点时，判断预设手指特征点与目标手指特征点的连线上的像素点是否均为噪点；当不均为噪点时，计算预设手指特征点与目标手指特征点的连线上的所有正常点的中值深度，作为预设手指特征点的深度。

Description

手势深度信息的处理方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及手势深度信息的处理方法、装置、设备及存储介质。
背景技术
近年来，随着人机交互、机器视觉等技术的发展，深度相机逐渐运用到物体识别、场景建模等应用场景。与普通的彩色相机仅能拍摄物体的2D图像不同，深度相机是一种3D摄像机，其所拍摄的深度图像不仅包括颜色信息，还包括深度信息，即图像中的实际物体特征点距离相机的距离，通过深度图像，可以得到物体的三维坐标，从而还原真实场景，实现场景建模等应用。
目前，在通过深度相机采集用户的手部3D图像时，由于环境光线、手部晃动等原因，很容易导致采集到的手部深度信息存在噪声，比如对于手指尖的点，由于手指尖是手的末端，晃动幅度最大，因此很有可能误测它处的深度信息作为手指尖的深度信息。因此，现有的基于深度相机测量手部特征点深度信息的准确性还有待提高。
发明内容
本发明的主要目的在于提出一种手势深度信息的处理方法、装置、设备及存储介质，旨在提高基于深度相机测量手部特征点深度信息的准确性。
本发明第一方面提供了一种手势深度信息的处理方法，所述手势深度信息的处理方法包括：
通过深度相机采集手部深度图像，获取所述手部深度图像中包含的预设手指特征点和所述预设手指特征点的深度值；
根据所述深度值判断所述预设手指特征点是否为噪点；
当所述预设手指特征点为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的预设手指特征点，作为目标手指特征点；
判断所述目标手指特征点是否为噪点；
当所述目标手指特征点不为噪点时，判断所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点；
当所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点不均为噪点时，计算所述预设手指特征点与所述目标手指特征点的连线上的所有正常点的中值深度，作为所述预设手指特征点的深度。
可选的，在本发明第一方面的第一种实现方式中，所述根据所述深度值判断所述预设手指特征点是否为噪点的步骤包括：
根据所述深度相机的工作深度范围，识别所述手部深度图像中的手部区域的非噪点，并获取所述非噪点的深度值；
计算获取到的所有非噪点的深度值的中值，并计算所述预设手指特征点的深度值与所述中值之差的绝对值；
判断所述预设手指特征点的深度值与所述中值之差的绝对值是否大于或等于预设阈值；
当所述预设手指特征点的深度值与所述中值之差的绝对值大于或等于预设阈值时，判定所述预设手指特征点为噪点。
可选的，在本发明第一方面的第二种实现方式中，所述判断所述目标手指特征点是否为噪点的步骤包括：
获取所述目标手指特征点的深度值，计算所述目标手指特征点的深度值与所述中值之差的绝对值；
判断所述目标手指特征点的深度值与所述中值之差的绝对值是否大于或等于所述预设阈值；
当所述目标手指特征点的深度值与所述中值之差的绝对值大于或等于所述预设阈值时，判定所述目标手指特征点为噪点；
当所述目标手指特征点的深度值与所述中值之差的绝对值小于所述预设阈值时，判定所述目标手指特征点不为噪点。
可选的，在本发明第一方面的第三种实现方式中，所述判断所述目标手指特征点是否为噪点的步骤之后，还包括：
当所述目标手指特征点为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的正常点的深度，将离所述预设手指特征点最近的正常点的深度作为所述预设手指特征点的深度。
可选的，在本发明第一方面的第四种实现方式中，所述判断所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点的步骤之后，还包括：
当所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点均为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的正常点的深度，将离所述预设手指特征点最近的正常点的深度作为所述预设手指特征点的深度。
本发明第二方面提供了一种手势深度信息的处理装置，所述手势深度信息的处理装置包括：
采集模块，用于通过深度相机采集手部深度图像，获取所述手部深度图像中包含的预设手指特征点和所述预设手指特征点的深度值；
第一判断模块，用于根据所述深度值判断所述预设手指特征点是否为噪点；
获取模块，用于当所述预设手指特征点为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的预设手指特征点，作为目标手指特征点；
第二判断模块，用于判断所述目标手指特征点是否为噪点；
第三判断模块，用于当所述目标手指特征点不为噪点时，判断所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点；
计算模块，用于当所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点不均为噪点时，计算所述预设手指特征点与所述目标手指特征点的连线上的所有正常点的中值深度，作为所述预设手指特征点的深度。
本发明第三方面提供了一种手势深度信息的处理设备，所述手势深度信息的处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述手势深度信息的处理设备执行上述的手势深度信息的处理方法。
本发明的第四方面提供了一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的手势深度信息的处理方法。
本发明通过深度相机采集手部深度图像，获取手部深度图像中包含的预设手指特征点和预设手指特征点的深度值；根据深度值判断预设手指特征点是否为噪点；当预设手指特征点为噪点时，在预设手指特征点所在的手指上，获取离预设手指特征点最近的预设手指特征点，作为目标手指特征点；判断目标手指特征点是否为噪点；当目标手指特征点不为噪点时，判断预设手指特征点与目标手指特征点的连线上，除目标手指特征点以外的像素点是否均为噪点；当预设手指特征点与目标手指特征点的连线上，除目标手指特征点以外的像素点不均为噪点时，计算预设手指特征点与目标手指特征点的连线上的所有正常点的中值深度，作为预设手指特征点的深度。这种方式当预设手指特征点为噪点时，通过找正常点的中值深度取代该预设手指特征点的深度，能够获取到更加稳定、准确的手部特征点深度信息，从而提高了基于深度相机测量手部特征点深度信息的准确性。
附图说明
图1为本发明手势深度信息的处理方法的一个实施例的流程示意图；
图2为本发明实施例手部深度图像中包含的预设手部特征点的示意图；
图3为本发明手势深度信息的处理装置的一个实施例的模块示意图；
图4为本发明实施例提供的手势深度信息的处理设备的结构示意图。
具体实施方式
本发明实施例提供了一种手势深度信息的处理方法、装置、设备及存储介质，当预设手指特征点为噪点时，通过找正常点的中值深度取代该预设手指特征点的深度，能够获取到更加稳定、准确的手部特征点深度信息，从而提高了基于深度相机测量手部特征点深度信息的准确性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明手势深度信息的处理方法实施例的具体流程进行描述。
参照图1，图1为本发明手势深度信息的处理方法的一个实施例的流程示意图，该方法包括：
步骤101，通过深度相机采集手部深度图像，获取所述手部深度图像中包含的预设手指特征点和所述预设手指特征点的深度值；
可以理解的是，本发明的执行主体可以为手势深度信息的处理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
在本实施例中，服务器与深度相机通信连接，该深度相机具备深度图像的拍摄功能，其具体型号可以灵活选择，比如可以是kinectV1(第一代kinect)或kinectV2(第二代kinect)等。
首先，服务器通过深度相机采集用户的手部深度图像，并获取该手部深度图像中包含的预设手指特征点。参照图2，图2为本发明实施例手部深度图像中包含的预设手部特征点的示意图，该手部深度图像中包含21个预设手部特征点，具体包括20个位于手指上的预设手指特征点：拇指T0、T1、T2、T3，食指I0、I1、I2、I3，中指M0、M1、M2、M3，无名指R0、R1、R2、R3，小指L0、L1、L2、L3，以及1个位于手腕上的预设手腕特征点W。
服务器获取采集到的手部深度图像中包含的预设手指特征点的深度值，该深度值表示预设手指特征点距离深度相机的距离。具体地，服务器可以首先通过深度相机采集手部RGB图像和手部深度图像，通过对齐算法将两个图像进行对齐，从而定位手的位置和手的特征点在RGB图像中的位置，然后再将该RGB图像与手部深度图像进行坐标映射，从而获取到该手部深度图像中包含的整个手的深度信息，并通过深度学习模型获取手腕特征点和手指特征点的二维信息，同时获取到该手部深度图像中包含的整个手的深度信息，再从整个手的深度信息中获取预设手指特征点的深度值。
步骤102，根据所述深度值判断所述预设手指特征点是否为噪点；
该步骤102具体可以包括：根据所述深度相机的工作深度范围，识别所述手部深度图像中的手部区域的非噪点，并获取所述非噪点的深度值；计算获取到的所有非噪点的深度值的中值，并计算所述预设手指特征点的深度值与所述中值之差的绝对值；判断所述预设手指特征点的深度值与所述中值之差的绝对值是否大于或等于预设阈值；当所述预设手指特征点的深度值与所述中值之差的绝对值大于或等于预设阈值时，判定所述预设手指特征点为噪点。
以kinectV2相机为例，kinectV2相机的工作深度范围是500～4500mm，物体距离相机太近或太远都会导致深度信息测量不准确，为此，服务器可以获取该手部深度图像中的手部区域的所有像素点的深度值，将深度值处于500～4500mm的像素点作为非噪点，从而实现对手部深度图像中的手部区域的非噪点的识别。
在识别到手部深度图像中的手部区域的非噪点后，计算所有非噪点的深度值的中值，即中位数。具体地，服务器获取每个非噪点的深度值并将该深度值由小到大进行排列，得到一个数列，当该数列的项数为奇数时，处于中间位置的深度值即为中位数，当该数列的项数为偶数时，中位数则为处于中间位置的2个深度值的平均数。之后，服务器计算手部深度图像中包含的预设手指特征点的深度值与该中值之差的绝对值，并判断该绝对值是否大于或等于预设阈值，若该绝对值大于或等于预设阈值，则服务器判定该预设手指特征点为噪点，反之，若该绝对值小于预设阈值，则说明该预设手指特征点为非噪点，此时不对该预设手指特征点的深度值做任何处理。
需要说明的是，上述预设阈值可以根据人手掌的长度确定，比如可以将图2中特征点W到M3的长度作为预设阈值。因为拍照时手掌是可以活动的，如果手臂不动，手掌向前向后最大的距离就是手掌活动空间的深度阈值，超出该深度阈值的点均视为不正常。
步骤103，当所述预设手指特征点为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的预设手指特征点，作为目标手指特征点；
该步骤中，当服务器判定预设手指特征点为噪点时，在该预设手指特征点所在的手指上，获取离该预设手指特征点最近的预设手指特征点，作为目标手指特征点。
步骤104，判断所述目标手指特征点是否为噪点；
该步骤104具体可以包括：获取所述目标手指特征点的深度值，计算所述目标手指特征点的深度值与所述中值之差的绝对值；判断所述目标手指特征点的深度值与所述中值之差的绝对值是否大于或等于所述预设阈值；当所述目标手指特征点的深度值与所述中值之差的绝对值大于或等于所述预设阈值时，判定所述目标手指特征点为噪点；当所述目标手指特征点的深度值与所述中值之差的绝对值小于所述预设阈值时，判定所述目标手指特征点不为噪点。
在判断目标手指特征点是否为噪点时，服务器首先获取该目标手指特征点的深度值，计算该目标手指特征点的深度值与上述中值之差的绝对值，然后判断该绝对值是否大于或等于上述预设阈值，若该绝对值大于或等于预设阈值，则服务器判定该目标手指特征点为噪点，反之，若该绝对值小于预设阈值，则判定该目标手指特征点不为噪点。
步骤105，当所述目标手指特征点不为噪点时，判断所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点；
该步骤中，当目标手指特征点不为噪点时，服务器进一步判断预设手指特征点与该目标手指特征点的连线上，除该目标手指特征点以外的像素点是否均为噪点，具体判断方式可以参照上述判断目标手指特征点是否为噪点的方式，此处不做赘述。
步骤106，当所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点不均为噪点时，计算所述预设手指特征点与所述目标手指特征点的连线上的所有正常点的中值深度，作为所述预设手指特征点的深度。
该步骤中，当预设手指特征点与目标手指特征点的连线上，除该目标手指特征点以外的像素点不均为噪点时，服务器获取该连线上的所有正常点(即非噪点)的深度值的中值，即中值深度，将该中值深度作为该预设手指特征点的深度。
以图2的中指为例，对于手指特征点M3，当判定其为噪点时，则在中指上获取离M3最近的手部特征点M2，将M2作为目标手指特征点并判断M2是否为噪点，如果M2不为噪点，则判断M3与M2连线上的像素点是否均为噪点，若不均为噪点，则计算M3与M2连线上的所有正常点的中值深度，将该中值深度作为手指特征点M3的深度。
同理，对于手指特征点M2，当判定其为噪点时，则在中指上获取离M2最近的手部特征点，这里假设离M2最近的手部特征点为M1，则将M1作为目标手指特征点并判断M1是否为噪点，如果M1不为噪点，则判断M2与M1连线上的像素点是否均为噪点，若不均为噪点，则计算M2与M1连线上的所有正常点的中值深度，将该中值深度作为手指特征点M2的深度。
本实施例通过上述方式，当预设手指特征点为噪点时，通过找正常点的中值深度取代该预设手指特征点的深度，能够获取到更加稳定、准确的手部特征点深度信息，从而提高了基于深度相机测量手部特征点深度信息的准确性。
进一步地，基于本发明手势深度信息的处理方法第一实施例，提出本发明手势深度信息的处理方法第二实施例。
在本实施例中，上述步骤104之后，还可以包括：当所述目标手指特征点为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的正常点的深度，将离所述预设手指特征点最近的正常点的深度作为所述预设手指特征点的深度。
具体地，当目标手指特征点为噪点时，服务器可以在预设手指特征点所在的手指上，以该预设手指特征点为中心，检索离该预设手指特征点最近的正常点，即深度值处于预设范围内的像素点，然后将该正常点的深度作为该预设手指特征点的深度。
以图2的中指为例，对于手指特征点M3，当判定其为噪点时，则在中指上获取离M3最近的手部特征点M2，若M2也为噪点，则可以以M3为中心检索离M3最近的正常点，该正常点的深度即可作为手指特征点M3的深度。
进一步地，上述步骤105之后，还可以包括：当所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点均为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的正常点的深度，将离所述预设手指特征点最近的正常点的深度作为所述预设手指特征点的深度。
具体地，当预设手指特征点与目标手指特征点的连线上，除该目标手指特征点以外的像素点均为噪点时，服务器可以在预设手指特征点所在的手指上，以该预设手指特征点为中心，检索离该预设手指特征点最近的正常点，即深度值处于预设范围内的像素点，然后将该正常点的深度作为该预设手指特征点的深度。
以图2的中指为例，对于手指特征点M3，当判定其为噪点时，则在中指上获取离M3最近的手部特征点M2，将M2作为目标手指特征点并判断M2是否为噪点，如果M2不为噪点，则可以以M3为中心检索离M3最近的正常点，该正常点的深度即可作为手指特征点M3的深度。
在本实施例中，当目标手指特征点为噪点，或者当预设手指特征点与目标手指特征点的连线上，除目标手指特征点以外的像素点均为噪点时，通过将离该预设手指特征点最近的正常点的深度作为该预设手指特征点的深度，进一步提高了基于深度相机测量手部特征点深度信息的准确性。
本发明实施例还提供一种手势深度信息的处理装置。
参照图3，图3为本发明手势深度信息的处理装置的一个实施例的模块示意图。本实施例中，所述手势深度信息的处理装置包括：
采集模块301，用于通过深度相机采集手部深度图像，获取所述手部深度图像中包含的预设手指特征点和所述预设手指特征点的深度值；
第一判断模块302，用于根据所述深度值判断所述预设手指特征点是否为噪点；
获取模块303，用于当所述预设手指特征点为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的预设手指特征点，作为目标手指特征点；
第二判断模块304，用于判断所述目标手指特征点是否为噪点；
第三判断模块305，用于当所述目标手指特征点不为噪点时，判断所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点；
计算模块306，用于当所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点不均为噪点时，计算所述预设手指特征点与所述目标手指特征点的连线上的所有正常点的中值深度，作为所述预设手指特征点的深度。
可选的，所述第一判断模块302还用于：
根据所述深度相机的工作深度范围，识别所述手部深度图像中的手部区域的非噪点，并获取所述非噪点的深度值；
计算获取到的所有非噪点的深度值的中值，并计算所述预设手指特征点的深度值与所述中值之差的绝对值；
判断所述预设手指特征点的深度值与所述中值之差的绝对值是否大于或等于预设阈值；
当所述预设手指特征点的深度值与所述中值之差的绝对值大于或等于预设阈值时，判定所述预设手指特征点为噪点。
可选的，所述第二判断模块304还用于：
获取所述目标手指特征点的深度值，计算所述目标手指特征点的深度值与所述中值之差的绝对值；
判断所述目标手指特征点的深度值与所述中值之差的绝对值是否大于或等于所述预设阈值；
当所述目标手指特征点的深度值与所述中值之差的绝对值大于或等于所述预设阈值时，判定所述目标手指特征点为噪点；
当所述目标手指特征点的深度值与所述中值之差的绝对值小于所述预设阈值时，判定所述目标手指特征点不为噪点。
可选的，所述手势深度信息的处理装置还包括：
第一处理模块，用于当所述目标手指特征点为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的正常点的深度，将离所述预设手指特征点最近的正常点的深度作为所述预设手指特征点的深度。
可选的，所述手势深度信息的处理装置还包括：
第二处理模块，用于当所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点均为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的正常点的深度，将离所述预设手指特征点最近的正常点的深度作为所述预设手指特征点的深度。
上述手势深度信息的处理装置中各个模块的功能实现及有益效果与上述手势深度信息的处理方法实施例中各步骤相对应，此处不再赘述。
上面从模块化功能实体的角度对本发明实施例中的手势深度信息的处理装置进行了详细描述，下面从硬件处理的角度对本发明实施例中手势深度信息的处理设备进行详细描述。
参照图4，图4为本发明实施例提供的手势深度信息的处理设备的结构示意图。该手势深度信息的处理设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)410(例如，一个或一个以上处理器)和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对手势深度信息的处理设备400中的一系列指令操作。更进一步地，处理器410可以设置为与存储介质430通信，在手势深度信息的处理设备400上执行存储介质430中的一系列指令操作。
手势深度信息的处理设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口460，和/或，一个或一个以上操作系统431，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图4示出的手势深度信息的处理设备结构并不构成对手势深度信息的处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种存储介质，该存储介质可以为非易失性存储介质，也可以为易失性存储介质，所述存储介质中存储有手势深度信息的处理程序，所述手势深度信息的处理程序被处理器执行时实现如上所述的手势深度信息的处理方法的步骤。
其中，在所述处理器上运行的手势深度信息的处理程序被执行时所实现的方法及有益效果可参照本发明手势深度信息的处理方法的各个实施例，此处不再赘述。
本领域技术人员可以理解，上述集成的模块或单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种手势深度信息的处理方法，其特征在于，所述手势深度信息的处理方法包括如下步骤：
通过深度相机采集手部深度图像，获取所述手部深度图像中包含的预设手指特征点和所述预设手指特征点的深度值；
根据所述深度值判断所述预设手指特征点是否为噪点；
当所述预设手指特征点为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的预设手指特征点，作为目标手指特征点；
判断所述目标手指特征点是否为噪点；
当所述目标手指特征点不为噪点时，判断所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点；
当所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点不均为噪点时，计算所述预设手指特征点与所述目标手指特征点的连线上的所有正常点的中值深度，作为所述预设手指特征点的深度，所述中值深度为所述连线上非噪点的深度值的中值。
2.如权利要求1所述的手势深度信息的处理方法，其特征在于，所述根据所述深度值判断所述预设手指特征点是否为噪点的步骤包括：
根据所述深度相机的工作深度范围，识别所述手部深度图像中的手部区域的非噪点，并获取所述非噪点的深度值；
计算获取到的所有非噪点的深度值的中值，并计算所述预设手指特征点的深度值与所述中值之差的绝对值；
判断所述预设手指特征点的深度值与所述中值之差的绝对值是否大于或等于预设阈值；
当所述预设手指特征点的深度值与所述中值之差的绝对值大于或等于预设阈值时，判定所述预设手指特征点为噪点。
3.如权利要求2所述的手势深度信息的处理方法，其特征在于，所述判断所述目标手指特征点是否为噪点的步骤包括：
获取所述目标手指特征点的深度值，计算所述目标手指特征点的深度值与所述中值之差的绝对值；
判断所述目标手指特征点的深度值与所述中值之差的绝对值是否大于或等于所述预设阈值；
当所述目标手指特征点的深度值与所述中值之差的绝对值大于或等于所述预设阈值时，判定所述目标手指特征点为噪点；
当所述目标手指特征点的深度值与所述中值之差的绝对值小于所述预设阈值时，判定所述目标手指特征点不为噪点。
4.如权利要求1-3中任一项所述的手势深度信息的处理方法，其特征在于，所述判断所述目标手指特征点是否为噪点的步骤之后，还包括：
当所述目标手指特征点为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的正常点的深度，将离所述预设手指特征点最近的正常点的深度作为所述预设手指特征点的深度。
5.如权利要求1-3中任一项所述的手势深度信息的处理方法，其特征在于，所述判断所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点的步骤之后，还包括：
当所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点均为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的正常点的深度，将离所述预设手指特征点最近的正常点的深度作为所述预设手指特征点的深度。
6.一种手势深度信息的处理装置，其特征在于，所述手势深度信息的处理装置包括：
采集模块，用于通过深度相机采集手部深度图像，获取所述手部深度图像中包含的预设手指特征点和所述预设手指特征点的深度值；
第一判断模块，用于根据所述深度值判断所述预设手指特征点是否为噪点；
获取模块，用于当所述预设手指特征点为噪点时，在所述预设手指特征点所在的手指上，获取离所述预设手指特征点最近的预设手指特征点，作为目标手指特征点；
第二判断模块，用于判断所述目标手指特征点是否为噪点；
第三判断模块，用于当所述目标手指特征点不为噪点时，判断所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点；
计算模块，用于当所述预设手指特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点不均为噪点时，计算所述预设手指特征点与所述目标手指特征点的连线上的所有正常点的中值深度，作为所述预设手指特征点的深度，所述中值深度为所述连线上非噪点的深度值的中值。
7.如权利要求6所述的手势深度信息的处理装置，其特征在于，所述第一判断模块还用于：
根据所述深度相机的工作深度范围，识别所述手部深度图像中的手部区域的非噪点，并获取所述非噪点的深度值；
计算获取到的所有非噪点的深度值的中值，并计算所述预设手指特征点的深度值与所述中值之差的绝对值；
判断所述预设手指特征点的深度值与所述中值之差的绝对值是否大于或等于预设阈值；
当所述预设手指特征点的深度值与所述中值之差的绝对值大于或等于预设阈值时，判定所述预设手指特征点为噪点。
8.如权利要求7所述的手势深度信息的处理装置，其特征在于，所述第二判断模块还用于：
获取所述目标手指特征点的深度值，计算所述目标手指特征点的深度值与所述中值之差的绝对值；
判断所述目标手指特征点的深度值与所述中值之差的绝对值是否大于或等于所述预设阈值；
当所述目标手指特征点的深度值与所述中值之差的绝对值大于或等于所述预设阈值时，判定所述目标手指特征点为噪点；
当所述目标手指特征点的深度值与所述中值之差的绝对值小于所述预设阈值时，判定所述目标手指特征点不为噪点。
9.一种手势深度信息的处理设备，其特征在于，所述手势深度信息的处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述手势深度信息的处理设备执行如权利要求1-5中任一项所述的手势深度信息的处理方法。
10.一种存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的手势深度信息的处理方法。
CN202010119188.7A 2020-02-26 2020-02-26 手势深度信息的处理方法、装置、设备及存储介质 Active CN111368675B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010119188.7A CN111368675B (zh) 2020-02-26 2020-02-26 手势深度信息的处理方法、装置、设备及存储介质
PCT/CN2021/073731 WO2021169705A1 (zh) 2020-02-26 2021-01-26 手势深度信息的处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010119188.7A CN111368675B (zh) 2020-02-26 2020-02-26 手势深度信息的处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111368675A CN111368675A (zh) 2020-07-03
CN111368675B true CN111368675B (zh) 2023-06-20

Family

ID=71208247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010119188.7A Active CN111368675B (zh) 2020-02-26 2020-02-26 手势深度信息的处理方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111368675B (zh)
WO (1) WO2021169705A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368675B (zh) * 2020-02-26 2023-06-20 深圳市瑞立视多媒体科技有限公司 手势深度信息的处理方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN107491763A (zh) * 2017-08-24 2017-12-19 歌尔科技有限公司 基于深度图像的手指区域分割方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8744168B2 (en) * 2009-08-24 2014-06-03 Samsung Electronics Co., Ltd. Target analysis apparatus, method and computer-readable medium
US20110219340A1 (en) * 2010-03-03 2011-09-08 Pathangay Vinod System and method for point, select and transfer hand gesture based user interface
WO2018048000A1 (ko) * 2016-09-12 2018-03-15 주식회사 딥픽셀 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
CN107038424B (zh) * 2017-04-20 2019-12-24 华中师范大学 一种手势识别方法
CN109214297A (zh) * 2018-08-09 2019-01-15 华南理工大学 一种结合深度信息与肤色信息的静态手势识别方法
CN109767467B (zh) * 2019-01-22 2020-11-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110378945B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN110675346B (zh) * 2019-09-26 2023-05-30 武汉科技大学 适用于Kinect的图像采集与深度图增强方法及装置
CN111354029B (zh) * 2020-02-26 2023-05-05 深圳市瑞立视多媒体科技有限公司 手势深度确定方法、装置、设备及存储介质
CN111368675B (zh) * 2020-02-26 2023-06-20 深圳市瑞立视多媒体科技有限公司 手势深度信息的处理方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN107491763A (zh) * 2017-08-24 2017-12-19 歌尔科技有限公司 基于深度图像的手指区域分割方法及装置

Also Published As

Publication number Publication date
WO2021169705A1 (zh) 2021-09-02
CN111368675A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
US20210190497A1 (en) Simultaneous location and mapping (slam) using dual event cameras
CN111354029B (zh) 手势深度确定方法、装置、设备及存储介质
US9286694B2 (en) Apparatus and method for detecting multiple arms and hands by using three-dimensional image
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
JP2018532199A (ja) 眼の特徴を用いる眼ポーズ識別
CN109934065B (zh) 一种用于手势识别的方法和装置
CN109711472B (zh) 训练数据生成方法和装置
KR20080029080A (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
US11798177B2 (en) Hand tracking method, device and system
CN111709973A (zh) 目标跟踪方法、装置、设备及存储介质
CN113012224A (zh) 定位初始化方法和相关装置、设备、存储介质
CN105809664B (zh) 生成三维图像的方法和装置
CN113902652B (zh) 散斑图像校正方法、深度计算方法、装置、介质及设备
CN111368675B (zh) 手势深度信息的处理方法、装置、设备及存储介质
CN111179408A (zh) 三维建模的方法及设备
CN114565777A (zh) 数据处理方法和装置
CN115035188A (zh) 一种基于目标的距离测量方法、装置及终端设备
CN114494857A (zh) 一种基于机器视觉的室内目标物识别和测距方法
CN108734721B (zh) 追踪系统以及追踪方法
Mizuchi et al. Monocular 3d palm posture estimation based on feature-points robust against finger motion
CN109087338B (zh) 一种图像稀疏光流的提取方法和装置
CN112967328A (zh) 图像深度信息局部动态生成方法和装置
CN110675454A (zh) 物体定位方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant