CN108230383A - 手部三维数据确定方法、装置及电子设备 - Google Patents

手部三维数据确定方法、装置及电子设备 Download PDF

Info

Publication number
CN108230383A
CN108230383A CN201710198505.7A CN201710198505A CN108230383A CN 108230383 A CN108230383 A CN 108230383A CN 201710198505 A CN201710198505 A CN 201710198505A CN 108230383 A CN108230383 A CN 108230383A
Authority
CN
China
Prior art keywords
palm
hand images
finger
hand
centre
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710198505.7A
Other languages
English (en)
Other versions
CN108230383B (zh
Inventor
王权
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710198505.7A priority Critical patent/CN108230383B/zh
Priority to PCT/CN2018/080960 priority patent/WO2018177337A1/zh
Publication of CN108230383A publication Critical patent/CN108230383A/zh
Priority to US16/451,077 priority patent/US11120254B2/en
Application granted granted Critical
Publication of CN108230383B publication Critical patent/CN108230383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Abstract

本发明提供一种手部三维数据确定方法、装置及电子设备，所述方法包括：获取双目摄像系统拍摄的第一手部图像和第二手部图像；分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓；根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓，确定各所述关键点的深度信息以及各所述区域轮廓的深度信息；至少根据各所述关键点及其深度信息和各所述区域轮廓及其深度信息，确定手部三维数据。根据本发明提供的技术方案确定的手部三维数据更加准确且更丰富，且本发明具有较高的效率和准确性。

Description

手部三维数据确定方法、装置及电子设备
技术领域
本发明涉及三维建模领域，具体涉及一种手部三维数据确定方法、装置及电子设备。
背景技术
手部数据是人机交互领域中重要的输入数据，通过捕捉人体手部数据的变化可以实现利用手势动作对智能设备进行控制。
现有的捕捉手部数据的方式通常是基于图像特征提取的算法，确定指尖、手指、手指方向等数据，并可以进一步利用图像跟踪算法对这些关键点或者区域进行跟踪，以此来实现人机交互控制等。
发明内容
本发明提供了一种确定手部三维数据的技术方案，包括：
获取双目摄像系统拍摄的第一手部图像和第二手部图像；
分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓；
根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓，确定各所述关键点的深度信息以及各所述区域轮廓的深度信息；
至少根据各所述关键点及其深度信息和各所述区域轮廓及其深度信息，确定手部三维数据。
优选地，所述关键点包括以下至少之一：指尖、指关节点、掌心。
优选地，所述覆盖所述关键点的区域轮廓包括以下至少之一：覆盖指尖和/或指关节点的手指区域轮廓、覆盖掌心的手掌区域轮廓。
优选地，所述手部三维数据包括以下至少之一：各所述关键点的三维数据、各所述区域轮廓的边缘三维点云数据、手部方向数据、手势信息。优选地，所述分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓包括：
分别在所述第一手部图像和第二手部图像中识别掌心；
分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定覆盖所述掌心的手掌区域轮廓。
优选地，所述分别从所述第一手部图像和第二手部图像中识别关键点以及覆盖所述关键点的区域轮廓包括：
分别在所述第一手部图像和第二手部图像中识别掌心；
分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定至少一指尖和/或指关节点位置；
分别根据所述第一手部图像和第二手部图像中的各所述指尖和/或指关节点位置，确定各覆盖所述指尖和/或指关节点的手指区域轮廓。
优选地，在所述分别根据所述第一手部图像和第二手部图像中的所述指尖位置确定手指区域轮廓后，还包括：分别在所述第一手部图像和第二手部图像中根据各个所述手指区域轮廓修正所述指尖位置并确定指根位置；根据修正后的指尖位置和所述指根位置确定各个手指区域轮廓的相对分布。
优选地，所述分别在所述第一手部图像和第二手部图像中根据手指区域轮廓修正所述指尖位置并确定指根位置，包括：
分别对各个手指区域轮廓上的边缘点进行主成分分析处理，将得到的主方向作为手指方向；
分别将各所述手指方向上的最大投影点确定为修正后的指尖位置；
分别将各所述手指方向上的最小投影点确定为指根位置。
优选地，所述根据修正后的指尖位置和所述指根位置确定各个手指区域轮廓的相对分布，包括：
分别确定各个所述指根位置相对于所述掌心的位置的方向；
确定各个所述指根位置相对于所述掌心的位置的方向的平均方向；
分别将各个所述指根位置相对于所述掌心的位置的方向与所述平均方向进行比对；
剔除偏离所述平均方向大于预设阈值的方向所对应的指根位置；
根据保留的各个指根位置相对于所述掌心的位置的方向确定各个手指的相对分布。
优选地，所述分别在所述第一手部图像和第二手部图像中识别掌心，包括：
分别在经过二值化处理后所述第一手部图像和第二手部图像中确定最大连通区域轮廓；
分别根据所述第一手部图像和第二手部图像中最大连通区域轮廓确定所述掌心的位置。
优选地，所述分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定所述覆盖所述掌心的手掌区域轮廓，包括：分别根据2个所述最大连通区域内的各个点到边缘的距离确定初始掌心位置；
分别根据所述初始掌心位置到2个所述最大连通区域的边缘的距离确定手掌半径；
分别根据所述手掌半径确定手掌区域轮廓。
优选地，所述分别在所述第一手部图像和第二手部图像中识别掌心，包括：
分别在经过二值化处理后所述第一手部图像和第二手部图像中确定最大连通区域；
分别根据所述第一手部图像和第二手部图像中最大连通区域确定所述掌心的位置；
所述分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定至少一指尖和/或指关节点位置，包括：
在所述最大连通区域内确定距所述掌心位置最远的点；
基于所述距所述掌心位置最远的点在所述最大连通区域内确定疑似手指区域轮廓；
根据各个所述疑似手指区域轮廓的形状从各个所述距所述掌心位置最远的点中确定指尖并获取其位置；
所述分别对所述第一手部图像和第二手部图像中的根据所述指尖位置确定手指区域轮廓，包括：
根据各个所述疑似手指区域轮廓的形状从各个所述疑似手指区域轮廓中确定手指区域轮廓。
优选地，根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的所述关键点和所述区域轮廓以及从所述第二手部图像识别出的相应关键点和相应区域轮廓，确定所述关键点的深度信息以及所述区域轮廓的深度信息，包括：
根据所述双目摄像系统的摄像参数、掌心在所述第一手部图像和第二手部图像中的位置确定所述掌心的深度信息；
将手掌区域轮廓的边缘点投影到所述掌心所在的深度，得到手掌区域轮廓的深度信息。
优选地，根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的所述关键点和所述区域轮廓以及从所述第二手部图像识别出的相应关键点和相应区域轮廓，确定所述关键点的深度信息以及所述区域轮廓的深度信息，包括：
分别在所述第一手部图像和第二手部图像中确定各个指尖位置与掌心位置的相对位置向量；
根据所述相对位置向量差的模长确定两张图像中相应的各对指尖，以及两张图像中相应的各对手指区域轮廓；
根据所述双目摄像系统的摄像参数、各对指尖在所述第一手部图像和第二手部图像中的位置确定各对指尖的深度信息；
将各对手指区域轮廓的边缘点投影到相应的各对指尖所在的深度，以得到各对手指区域轮廓的深度信息。
优选地，确定所述区域轮廓的边缘三维点云数据包括：
根据两张手部图像中的对应的各所述手指区域轮廓上的边缘点的位置和所述指尖位置的深度建立手指区域轮廓边缘三维点云数据；和/或
根据两张手部图像中的所述手掌区域轮廓上的边缘点的位置和所述掌心位置的深度建立手掌区域轮廓边缘三维点云数据。
优选地，确定所述手部方向数据包括：
对所述手指区域轮廓边缘三维点云数据进行主成分分析处理，得到主方向记为手指方向；和/或
对所述手掌区域轮廓边缘三维点云数据进行主成分分析处理，得到的最小特征值对应的特征方向记为手掌法向。
优选地，确定所述关键点的三维数据包括：
将所述手指方向上的最大投影点作为指尖并确定其三维数据；和/或
根据所述双目摄像系统的摄像参数确定初始掌心三维位置；
调整所述初始掌心三维位置，得到调整后的掌心三维位置并确定其三维数据。
根据第二方面，本发明提供了一种手部三维数据确定装置，包括：
获取单元，用于获取双目摄像系统拍摄的第一手部图像和第二手部图像；
识别单元，用于分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓；
深度确定单元，用于根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓，确定各所述关键点的深度信息以及各所述区域轮廓的深度信息；
三维数据确定单元，用于至少根据各所述关键点及其深度信息和各所述区域轮廓及其深度信息，确定手部三维数据。
优选地，所述关键点包括以下至少之一：指尖、指关节点、掌心。
优选地，所述覆盖所述关键点的区域轮廓包括以下至少之一：覆盖指尖和/或指关节点的手指区域轮廓、覆盖掌心的手掌区域轮廓。
优选地，所述手部三维数据包括以下至少之一：各所述关键点的三维数据、各所述区域轮廓的边缘三维点云数据、手部方向数据、手势信息。优选地，所述识别单元包括：
掌心识别单元，用于分别在所述第一手部图像和第二手部图像中识别掌心；
手掌识别单元，用于分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定覆盖所述掌心的手掌区域轮廓。
优选地，所述识别单元包括：
掌心识别单元，用于分别在所述第一手部图像和第二手部图像中识别掌心；
指尖识别单元，用于分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定至少一指尖和/或指关节点位置；
手指识别单元，用于分别根据所述第一手部图像和第二手部图像中的各所述指尖和/或指关节点位置，确定各覆盖所述指尖和/或指关节点的手指区域轮廓。
优选地，还包括：指尖修正单元，用于分别在所述第一手部图像和第二手部图像中根据各个所述手指区域轮廓修正所述指尖位置并确定指根位置；
分布确定单元，用于根据修正后的指尖位置和所述指根位置确定各个手指区域轮廓的相对分布。
优选地，所述分别在所述第一手部图像和第二手部图像中根据手指区域轮廓修正所述指尖位置并确定指根位置，包括：
手指方向确定单元，用于分别对各个手指区域轮廓上的边缘点进行主成分分析处理，将得到的主方向作为手指方向；
指尖确定单元，用于分别将各所述手指方向上的最大投影点确定为修正后的指尖位置；
指根确定单元，用于分别将各所述手指方向上的最小投影点确定为指根位置。
优选地，所述分布确定单元包括：
指根相对方向确定单元，用于分别确定各个所述指根位置相对于所述掌心的位置的方向；
平均方向确定单元，用于确定各个所述指根位置相对于所述掌心的位置的方向的平均方向；
方向比对单元，用于分别将各个所述指根位置相对于所述掌心的位置的方向与所述平均方向进行比对；
剔除单元，用于剔除偏离所述平均方向大于预设阈值的方向所对应的指根位置；
分布识别单元，用于根据保留的各个指根位置相对于所述掌心的位置的方向确定各个手指的相对分布。
优选地，所述掌心识别单元包括：
连通区域确定单元，用于分别在经过二值化处理后所述第一手部图像和第二手部图像中确定最大连通区域轮廓；
掌心位置确定单元，用于分别根据所述第一手部图像和第二手部图像中最大连通区域轮廓确定所述掌心的位置。
优选地，所述手掌识别单元包括：
初始掌心位置确定单元，用于分别根据2个所述最大连通区域内的各个点到边缘的距离确定初始掌心位置；
手掌半径确定单元，用于分别根据所述初始掌心位置到2个所述最大连通区域的边缘的距离确定手掌半径；
手掌区域轮廓确定单元，用于分别根据所述手掌半径确定手掌区域轮廓。
优选地，所述掌心识别单元包括：
连通区域确定单元，用于分别在经过二值化处理后所述第一手部图像和第二手部图像中确定最大连通区域；
掌心位置确定单元，用于分别根据所述第一手部图像和第二手部图像中最大连通区域确定所述掌心的位置；
所述指尖识别单元包括：
远点确定单元，用于在所述最大连通区域内确定距所述掌心位置最远的点；
疑似区域确定单元，用于基于所述距所述掌心位置最远的点在所述最大连通区域内确定疑似手指区域轮廓；
指尖确定单元，用于根据各个所述疑似手指区域轮廓的形状从各个所述距所述掌心位置最远的点中确定指尖并获取其位置；
所述手指识别单元包括：
手指确定单元，用于根据各个所述疑似手指区域轮廓的形状从各个所述疑似手指区域轮廓中确定手指区域轮廓。
优选地，所述深度确定单元包括：
掌心深度确定单元，用于根据所述双目摄像系统的摄像参数、掌心在所述第一手部图像和第二手部图像中的位置确定所述掌心的深度信息；
手掌区域深度确定单元，用于将手掌区域轮廓的边缘点投影到所述掌心所在的深度，得到手掌区域轮廓的深度信息。
优选地，所述深度确定单元包括：
相对位置确定单元，用于分别在所述第一手部图像和第二手部图像中确定各个指尖位置与掌心位置的相对位置向量；
手指匹配单元，用于根据所述相对位置向量差的模长确定两张图像中相应的各对指尖，以及两张图像中相应的各对手指区域轮廓；
指尖深度确定单元，用于根据所述双目摄像系统的摄像参数、各对指尖在所述第一手部图像和第二手部图像中的位置确定各对指尖的深度信息；
手指深度确定单元，用于将各对手指区域轮廓的边缘点投影到相应的各对指尖所在的深度，以得到各对手指区域轮廓的深度信息。
优选地，所述三维数据确定单元包括：
手指点云数据确定单元，用于根据两张手部图像中的对应的各所述手指区域轮廓上的边缘点的位置和所述指尖位置的深度建立手指区域轮廓边缘三维点云数据；和/或
手掌点云数据确定单元，用于根据两张手部图像中的所述手掌区域轮廓上的边缘点的位置和所述掌心位置的深度建立手掌区域轮廓边缘三维点云数据。
优选地，所述三维数据确定单元包括：
手指方向确定单元，用于对所述手指区域轮廓边缘三维点云数据进行主成分分析处理，得到主方向记为手指方向；和/或
手掌法向确定单元，用于对所述手掌区域轮廓边缘三维点云数据进行主成分分析处理，得到的最小特征值对应的特征方向记为手掌法向。
优选地，所述三维数据确定单元包括：
指尖三维数据确定单元，用于将所述手指方向上的最大投影点作为指尖并确定其三维数据；和/或
掌心三维位置确定单元，用于根据所述双目摄像系统的摄像参数确定初始掌心三维位置；
掌心三维数据确定单元，用于调整所述初始掌心三维位置，得到调整后的掌心三维位置并确定其三维数据。
根据第三方面，本发明提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面或者第一方面的任意一种可选方式中所述的方法。
根据本发明提供的手部三维数据确定方法、装置及电子设备，在双目摄像系统拍摄的第一手部图像和第二手部图像中识别关键点和区域轮廓，之后根据人体手部的特点可以实现对关键点和区域轮廓进行匹配，由此可以确定关键点的深度和区域轮廓的深度；最终根据关键点的匹配结果和关键点的深度、区域轮廓上的边缘点的匹配结果和区域轮廓上的边缘点被投影的深度确定手部三维数据，由此确定的手部三维数据更加准确且更丰富，并具有较高的效率和准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的手部三维数据确定方法的流程图；
图2为本发明实施例的手部关键点和区域轮廓示意图；
图3为本发明实施例的手部三维数据确定装置的结构示意图；
图4为本发明实施例的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供了一种手部三维数据确定方法，如图1所示该方法包括如下步骤：
S1，获取双目摄像系统拍摄的第一手部图像和第二手部图像，其中双目摄像系统具有2个成像设备，基于视差原理利用2个成像设备从不同的位置获取被测物体的两幅图像，即第一手部图像和第二手部图像。双目摄像系统有多种，利用任一种现有的系统拍摄对手部进行拍摄获取2个手部图像都是可行的。
S2，分别从第一手部图像和第二手部图像中识别至少一关键点以及覆盖关键点的区域轮廓，其中关键点可以包括以下至少之一：指尖、指关节点、掌心，覆盖关键点的区域轮廓可以包括以下至少之一：覆盖指尖和/或指关节点的手指区域轮廓，覆盖掌心的手掌区域轮廓。例如，关键点为指尖(5个)和掌心(1个)，区域轮廓为覆盖这些指尖的手指区域轮廓和覆盖掌心的手掌区域轮廓。上述2个手部图像为二维图像，从二维图像中识别出符合预定特征的目标的方式有多种，利用现有的方式都是可行的。
S3，根据双目摄像系统的摄像参数、从第一手部图像识别出的各关键点和各区域轮廓以及从第二手部图像识别出的各相应关键点和各相应区域轮廓，确定各关键点的深度信息以及各区域轮廓的深度信息。双目摄像系统的两个摄像头对同一物体进行拍摄得到两张图像，要确定图像中物体的深度信息则需要将两张图像中的物点匹配起来，即图像匹配是指将三维空间中一点或一个区域轮廓在左右摄像机的两个成像面上的像点或区域轮廓对应起来。在找到相互匹配的物点之后，即可根据摄像参数确定该物点的深度。
对于关键点而言，首先以关键点是掌心为例，经过识别处理，可以在上述2图像中分别识别出掌心aL和aR，由于2个图像中分别只有1个掌心，因此可以直接将aL和aR对应起来；同理，也可以直接将手掌区域轮廓对应起来。关于区域轮廓的匹配，区域轮廓是由很多个点组成的，本步骤可以只对区域轮廓上的边缘点进行处理。
关于深度信息的确定，具体可以以双目摄像系统的双目连线的中点为原点建立坐标系，其中，与双目摄像系统的成像平面平行的平面为XY平面，与这一平面垂直的方向为Z方向，Z方向即为深度方向，关键点的深度值就是在这一坐标系下的Z坐标值。在确定了匹配结果后，则可以基于同一物点在左右相机上的投影点，借助双目摄像机参数，恢复摄像机的广角畸变，再利用摄像机焦距、左右摄像机间隔等参数，根据相机的几何成像关系可将此物点的深度信息计算出来。
S4，至少根据各关键点及其深度信息和各区域轮廓及其深度信息，确定手部三维数据，手部三维数据可以包括以下至少之一：各关键点的三维数据、各区域轮廓的边缘三维点云数据、手部方向数据、手势信息。
与现有技术相比，现有技术通常需要借助红外线、多角度拍摄、连续拍摄等辅助手段确定物点的深度进而确定物点的三维信息，而无法通过单帧的二维图像得到手部三维信息，受到硬件本身性能的影响，其精度十分有限，通常只能得到指尖单点的三维信息。本发明实施例提供的手部三维数据确定方法，在双目摄像系统拍摄的第一手部图像和第二手部图像中识别关键点和区域轮廓，之后根据人体手部的特点可以实现对关键点和区域轮廓进行匹配，由此可以确定关键点的深度和区域轮廓的深度；最终根据关键点的匹配结果和关键点的深度、区域轮廓上的边缘点的匹配结果和区域轮廓上的边缘点被投影的深度确定手部三维数据，根据本发明提供的技术方案，只要是在二维图像中能够识别出的物点、区域轮廓等内容，均可以通过相互匹配确定深度，并进一步确定其三维数据，由此可以实现基于单帧的二维图像确定手部大量三维信息，并使确定的手部三维数据更加准确且更丰富，避免产生不合理的手部三维数据，并且具有较高的效率和准确性。
如图2所示，对于仅需要识别掌心23和覆盖掌心23的手掌区域轮廓24的情况，上述步骤S2可以通过多种方式实现，例如可以包括如下步骤：
S21a，分别在第一手部图像和第二手部图像中识别掌心23。具体可以根据图像中的线条特征、区域特征识别掌心23。
为了减少光照条件对图像的影响，可以选用红外摄像头，以直接得到灰度图像，然后对图像进行二值化处理，将大于某一阈值的像素点全部赋值为255，余下的像素点赋值为0，由此得到线条图。进一步地，步骤S21a可以包括如下步骤：
S21a1，分别在经过二值化处理后第一手部图像和第二手部图像中确定最大连通区域轮廓，即找到赋值为255的点构成的最大连通集，将其余的点全部赋值为0，这个最大连通集被看作手在图像中的投影区域轮廓；
S21a2，分别根据第一手部图像和第二手部图像中最大连通区域轮廓确定掌心23的位置。具体地，可以分别从2个最大连通区域轮廓的边缘出发对最大连通区域轮廓进行曼哈顿距离变换，即从边缘点出发做广度优先搜索，逐层记录每个点到边缘点的最小曼哈顿距离，得到区域轮廓内每个点到边缘的曼哈顿距离。然后将距边缘最远的点初步确定为掌心23。
S22a，分别在第一手部图像和第二手部图像中根据识别的掌心23的位置确定覆盖掌心23的手掌区域轮廓24。在确定了掌心23的情况下，确定覆盖掌心23的区域的方式有多种，优选地，可以包括如下步骤：
S22a1，分别根据初始掌心23位置到2个最大连通区域的边缘的距离确定手掌半径。具体地，可以找出边缘点中距掌心23最近的点，将最近的点与掌心23之间的欧氏距离初步定为手掌半径；
S22a2，分别根据手掌半径确定手掌区域轮廓24。例如可以在手部区域轮廓内，将与掌心23的欧氏距离小于1.5倍半径的点构成的区域轮廓标记为手掌区域轮廓24。上述优选实施方式在二值化处理后的手部图像中寻找最大连通区域，进而基于最大连通区域确定掌心23和手掌区域轮廓24，本方案通过线条特征寻找最大连通区域，然后基于最大连通区域来确定手掌，以减少图像颜色和灰度的影响，由此可以提高处理效率。
如图2所示，对于需要识别指尖21和覆盖指尖21的手指区域轮廓22的情况，上述步骤S2可以包括如下步骤：
S21b，分别在第一手部图像和第二手部图像中识别掌心23。也即在识别指尖21和手指区域轮廓22之前，优选为首先确定掌心23，然后基于掌心23确定指尖21和手指区域轮廓22。此步骤可以与上述步骤S21a相同，此次不再赘述；
S22b，分别在第一手部图像和第二手部图像中根据识别的掌心23的位置确定至少一指尖21和/或指关节点位置。如上，在确定掌心23的过程中，分别在两图像中确定了最大连通区域，由此可以基于该最大连通区域进一步寻找指尖21和手指区域轮廓22。优选地，步骤S22b可以包括如下步骤：
S22b1，在最大连通区域内确定距掌心23位置最远的点；
S22b2，基于距掌心23位置最远的点在最大连通区域内确定疑似手指区域轮廓。具体地，可以在最大连通区域内找到距掌心23位置最远的点，从该最远的点出发，在最大连通区域轮廓内做广度优先延伸，得到疑似手指区域轮廓。
S22b3，根据各个疑似手指区域轮廓的形状从各个距掌心23位置最远的点中确定指尖21并获取其位置；
S23b，分别根据第一手部图像和第二手部图像中的各指尖21和/或指关节点位置，确定各覆盖指尖21和/或指关节点的手指区域轮廓22。
步骤S22b3和S23b具体操作过程为：基于形状特征判断这些疑似手指区域轮廓的形状是否为手指，若疑似手指区域轮廓的形状是手指，则将相应的最远的点(出发点)初步确定为指尖，并将该疑似手指区域轮廓判定为手指区域轮廓22。若疑似手指区域轮廓的形状不是手指，则将疑似手指区域轮廓剔除，继续判断其余疑似手指区域轮廓(将这一步骤多次重复)，直至所有疑似手指区域轮廓均被判定完毕，找到全部手指区域轮廓22和相应的指尖21，然后获取其位置。上述优选实施方式在二值化处理后的手部图像中确定掌心，进而在最大连通区域边缘上的点中确定与掌心相距最远的点，然后基于该出发点寻找疑似手指的区域轮廓，在找到的疑似手指的区域轮廓中进一步根据轮廓形状排除非手指区域轮廓，以筛选出手指区域轮廓，由此可以排除手腕等其它区域对识别过程的影响，并在找到手指区域轮廓后，将相应的出发点确定为指尖，由此可以提高准确率和处理效率。
作为一个优选的实施方式，在上述步骤S23b之后，还可以包括如下步骤：
S24b，分别在第一手部图像和第二手部图像中根据各个手指区域轮廓22修正指尖21位置并确定指根位置。由于之前确定的指尖21位置是根据2个图像的内容分别确定的，在确定两张图像中相应的了手指区域轮廓22之后，可以对之前的指尖21位置进行修正，即重新确定指尖21位置，修正后的指尖21位置比之前确定指尖21位置更加准确。指根位置即手指与手掌相连的位置，在已知指尖21位置和掌心23位置的情况下，确定各个指根位置的方式有多种。步骤S24b优选包括如下步骤：
S24b1，分别对各个手指区域轮廓22上的边缘点进行主成分分析处理，将得到的主方向作为手指方向。主成分分析是一种多元统计方法，对二维点做统计分析，得到两个向量分别对应两个特征值，对应的特征值越大表示点云沿这个方向的分布越显著，主方向即对应的特征值最大的向量。
S24b2，分别将各手指方向上的最大投影点确定为修正后的指尖21位置；
S24b3，分别将各手指方向上的最小投影点确定为指根位置。
S25b，根据修正后的指尖21位置和指根位置确定各个手指区域轮廓22的相对分布。即识别出拇指、食指、中指、无名指、小指。具体地，对于每个手指均可根据指尖21和指根这两个点确定一条直线，5个手指则对应5条直线，这5条直线彼此之间存在一定角度，并且这5条直线相对于掌心23的方向的各不相同，根据上述直线的角度和相对于掌心23的方向即可确定出每个直线具体对应哪个手指。根据上述优选方案，通过确定的手指相对分布可以进一步确定缺少的手指以及相应的手势，并且在建模时可以忽略缺少的手指以提高建模效率。
步骤S25b优选可以包括如下步骤：
S25b1，分别确定各个指根位置相对于掌心23的位置的方向；
S25b2，确定各个指根位置相对于掌心23的位置的方向的平均方向；
S25b3，分别将各个指根位置相对于掌心23的位置的方向与平均方向进行比对；
S25b4，剔除偏离平均方向大于预设阈值的方向所对应的指根位置，偏离平均方向超过一定阈值的指根被判断为误检为手指的手腕，从手指集合中剔除。
S25b5，根据保留的各个指根位置相对于掌心23的位置的方向确定各个手指的相对分布。也即根据保留的各个指根位置相对于掌心23位置的方向判断各个手指的顺序，保留的手指中，按照指根相对掌心23的方向，顺序标记为拇指、食指、中指、无名指、小指。上述优选方案根据手指相对于掌心的方向确定手指的相对分布，避免针对手指区域轮廓的形状进行分析，减少了形状判断操作，本方案具有较高的准确性和处理效率，由此确定出的相对分布信息可以为手势判断提供依据。
对于仅需要确定掌心23深度信息和手掌区域轮廓24的深度信息的情况，上述步骤S3可以包括如下步骤：
S31a,根据双目摄像系统的摄像参数、掌心23在第一手部图像和第二手部图像中的位置确定掌心23的深度信息。如上，由于两张手部图像中分别只有1个掌心23，因此可以直接将二者对应起来，同理也可以直接将手掌区域轮廓24对应起来。在确定了相应的物点之后，即可根据摄像参数确定这些物点的深度信息。
S32a,将手掌区域轮廓24的边缘点投影到掌心23所在的深度，得到手掌区域轮廓24的深度信息。在确定了掌心23的深度信息的前提下，由此即可基于该深度确定一个平面，然后将手掌区域轮廓24的边缘点全部投影到该深度平面上，也即将上述两个手部图像中的手掌区域轮廓24均投影到该平面上，该平面上则有2个手掌区域轮廓24，然后对2个手掌区域轮廓24的每对最接近的点进行匹配，由此即可实现对区域轮廓的所有的边缘点进行匹配，之后即可根据摄像参数确定这些物点的深度信息。上述优选实施方式首先确定掌心这一物点的深度，然后将两张手部图像中的手掌区域轮廓边缘上的点均投影到基于掌心深度建立的平面上，将投影深度作为手掌区域轮廓的深度，避免针对区域轮廓的点一一进行匹配，由此可以提高处理效率。
对于需要确定指尖21深度信息和手指区域轮廓22的深度信息的情况，上述步骤S3可以包括如下步骤：
S31b,分别在第一手部图像和第二手部图像中确定各个指尖21位置与掌心23位置的相对位置向量；
S32b,根据相对位置向量差的模长确定两张图像中相应的各对指尖21，以及两张图像中相应的各对手指区域轮廓22。例如将第一手部图像和第二手部图像中的相对位置向量差的模长最小的一对指尖21位置(即相对掌心23的向量差的模长最小的一对指尖21)看作同一指尖21，进一步可以将匹配的指尖21位置对应的手指区域轮廓22进行匹配。
S33b,根据双目摄像系统的摄像参数、各对指尖21在第一手部图像和第二手部图像中的位置确定各对指尖21的深度信息；
S34b,将各对手指区域轮廓22的边缘点投影到相应的各对指尖21所在的深度，以得到各对手指区域轮廓22的深度信息。与上述步骤S31a和S32a类似地，即先确定指尖21深度信息，然后基于指尖21深度建立投影平面，将手指区域轮廓22边缘上的点全部投影到该平面上以确定边缘点的深度信息。上述优选实施方式首先根据指尖21位置与掌心23位置的相对位置向量对两种图像中的手指进行匹配，以确定相应的各对指尖21、手指区域轮廓22，然后首先确定指尖21这一物点的深度，并将两张手部图像中的手指区域轮廓22边缘上的点均投影到基于相应的指尖21深度建立的平面上，将投影深度作为手指区域轮廓22的深度，避免针对区域轮廓的点一一进行匹配，由此可以提高处理效率。
关于上述步骤S4，此前的步骤已经确定了关键点和区域轮廓的深度信息，在此基础上，各关键点的三维数据、各区域轮廓的边缘三维点云数据、手部方向数据这三种数据的确定顺序有多种。由于指尖21和掌心23这种关键点在实际应用中尤为重要，为了更准确地确定关键点的三维数据，本实施例是在确定了区域点云数据和手部方向数据的基础上，才进行关键点的三维数据的确定操作。具体地，可以首先确定覆盖这些关键点的区域轮廓的点云数据，例如可以包括如下步骤S41和S42中的至少一个：
S41，根据两张手部图像中的对应的各手指区域轮廓22上的边缘点的位置和指尖21位置的深度建立手指区域轮廓22边缘三维点云数据，也即将手指区域轮廓22边缘上的点全部投影到基于指尖21建立的投影平面上以确定边缘点的深度信息，该深度信息与位置信息的集合即为手指区域轮廓22的三维点云数据。
S42，根据两张手部图像中的手掌区域轮廓24上的边缘点的位置和掌心23位置的深度建立手掌区域轮廓24边缘三维点云数据，也即将手掌区域轮廓24边缘上的点全部投影到基于掌心23建立的投影平面上以确定边缘点的深度信息，该深度信息与位置信息的集合即为手指区域轮廓22的三维点云数据。
进一步地，可以基于上述步骤得到的点云数据，得到手指方向数据和/或手掌法向数据，具体可以包括如下步骤：
S42a，对手指区域轮廓22边缘三维点云数据进行主成分分析处理，得到主方向记为手指方向。如前文，主成分分析是一种多元统计方法，此处是对三维点做分析，将会得到三个向量分别对应三个特征值，对应的特征值越大表示点云沿这个方向的分布越显著，主方向即对应的特征值最大的向量。
S42b，对手掌区域轮廓24边缘三维点云数据进行主成分分析处理，得到的最小特征值对应的特征方向记为手掌法向，即将得到的最小特征值对应的特征方向记为手掌法向。
最后基于方向数据和三维点云数据确定关键点的三维数据，具体可以包括如下步骤：
S42a1，将手指方向上的最大投影点作为指尖21并确定其三维数据；
S42a2，将手指方向上的最小投影点作为指根并确定其三维数据。
S42b1，根据双目摄像系统的摄像参数确定初始掌心23三维位置,此步骤可以直接根据之前确定的掌心23的深度信息和摄像参数来确定，但基于此确定的位置可以被认为是不够准确的，需要基于该初始位置进一步进行调整；
S42b2，调整初始掌心23三维位置，直至以移动后的掌心23位置为中心的三维手掌区域轮廓24投影到第一手部图像和第二手部图像上的边缘点在手掌区域轮廓24内，且投影到第一手部图像和第二手部图像上的边缘点的曼哈顿距离之和最小，将移动后的掌心23位置确定为掌心23位置，然后结合其深度信息组成掌心23的三维数据。
上述确定掌心三维数据的方式首先通过匹配二维图像中掌心并结合摄像参数确定初始掌心位置，随后将手掌区域轮廓上的点投影基于初始掌心的深度建立的平面上，根据投影的点的效果调整初始掌心位置，由此确定掌心三位数据具有更高的准确性。
上述优选实施方式首先确定区域点云数据，然后基于区域点云数据确定手部方向数据，最后基于区域点云数据和手部方向数据确定关键点的三维数据，由此确定的关键点的三维数据更加准确且更加稳定。
关于手势信息，步骤S4可以包括如下步骤：判断步骤S2中确定的区域轮廓的数量是否小于预设数量，当区域轮廓的数量小于预设数量时，确定缺少的区域轮廓。缺少的区域轮廓如果是手指区域轮廓22，则需要在步骤S2中确定手指间的相对分布，在确定了相对分布的情况下，即可确定缺少的是哪根手指。
具体地，当检测到的手指的个数少于5时，可以假设此时的手势是一种常用而且不难做出的手势，并在此基础上枚举可能的手势，找出最合适的一个。例如可以预先存储一个常见手指蜷缩手势表：
其中，一个5位二进制数表示一个手势，从最高位到最低位依次表示大拇指、食指、中指、无名指、小指的状态，1表示手指伸展，0表示手指蜷缩，如：01000表示除食指以外的其他手指都是蜷缩状态。由此即可确定出图像中缺少的手指，也即得到手势信息。上述优选实施方式首先根据关键区域轮廓的数量判断图像中的手部是否完整，在确定了不完整的情况下根据区域轮廓的相对分布确定缺少的区域轮廓，进而确定手势，此方式不必进行大量的枚举操作和图形分析操作，具有较高的处理效率。
本发明的另一个实施例还提供了一种手部三维数据确定装置，如图3所示，该装置包括：
获取单元31，用于获取双目摄像系统拍摄的第一手部图像和第二手部图像；
识别单元32，用于分别从第一手部图像和第二手部图像中识别至少一关键点以及覆盖关键点的区域轮廓；
深度确定单元33，用于根据双目摄像系统的摄像参数、从第一手部图像识别出的各关键点和各区域轮廓以及从第二手部图像识别出的各相应关键点和各相应区域轮廓，确定各关键点的深度信息以及各区域轮廓的深度信息；
三维数据确定单元34，用于至少根据各关键点及其深度信息和各区域轮廓及其深度信息，确定手部三维数据。
与现有技术相比，现有技术通常需要借助红外线、多角度拍摄、连续拍摄等辅助手段确定物点的深度进而确定物点的三维信息，而无法通过单帧的二维图像得到手部三维信息，受到硬件本身性能的影响，其精度十分有限，通常只能得到指尖单点的三维信息。本发明实施例提供的手部三维数据确定方法，在双目摄像系统拍摄的第一手部图像和第二手部图像中识别关键点和区域轮廓，之后根据人体手部的特点可以实现对关键点和区域轮廓进行匹配，由此可以确定关键点的深度和区域轮廓的深度；最终根据关键点的匹配结果和关键点的深度、区域轮廓上的边缘点的匹配结果和区域轮廓上的边缘点被投影的深度确定手部三维数据，根据本发明提供的技术方案，只要是在二维图像中能够识别出的物点、区域轮廓等内容，均可以通过相互匹配确定深度，并进一步确定其三维数据，由此可以实现基于单帧的二维图像确定手部大量三维信息，并使确定的手部三维数据更加准确且更丰富，具有较高的效率和准确性。
优选地，关键点包括以下至少之一：指尖、指关节点、掌心。
优选地，覆盖关键点的区域轮廓包括以下至少之一：覆盖指尖和/或指关节点的手指区域轮廓，覆盖掌心的手掌区域轮廓。
优选地，手部三维数据包括以下至少之一：各关键点的三维数据、各区域轮廓的边缘三维点云数据、手部方向数据、手势信息。
优选地，识别单元包括：
掌心识别单元，用于分别在第一手部图像和第二手部图像中识别掌心；
手掌识别单元，用于分别在第一手部图像和第二手部图像中根据识别的掌心的位置确定覆盖掌心的手掌区域轮廓。上述优选实施方式在二值化处理后的手部图像中寻找最大连通区域，进而基于最大连通区域确定掌心23和手掌区域轮廓24，本方案通过线条特征寻找最大连通区域，然后基于最大连通区域来确定手掌，以减少图像颜色和灰度的影响，由此可以提高处理效率。优选地，识别单元包括：
掌心识别单元，用于分别在第一手部图像和第二手部图像中识别掌心；
指尖识别单元，用于分别在第一手部图像和第二手部图像中根据识别的掌心的位置确定至少一指尖和/或指关节点位置；
手指识别单元，用于分别根据第一手部图像和第二手部图像中的各指尖和/或指关节点位置，确定各覆盖指尖和/或指关节点的手指区域轮廓。上述优选实施方式在二值化处理后的手部图像中确定掌心，进而在最大连通区域边缘上的点中确定与掌心相距最远的点，然后基于该出发点寻找疑似手指的区域轮廓，在找到的疑似手指的区域轮廓中进一步根据轮廓形状排除非手指区域轮廓，以筛选出手指区域轮廓，由此可以排除手腕对识别过程的影响，并在找到手指区域轮廓后，将相应的出发点确定为指尖，由此可以提高准确率和处理效率。
优选地，该装置还可以还包括：
指尖修正单元，用于分别在第一手部图像和第二手部图像中根据各个手指区域轮廓修正指尖位置并确定指根位置；
分布确定单元，用于根据修正后的指尖位置和指根位置确定各个手指区域轮廓的相对分布。根据上述优选方案，通过确定的手指相对分布可以进一步确定缺少的手指以及相应的手势，并且在建模时可以忽略缺少的手指以提高建模效率。
优选地，分别在第一手部图像和第二手部图像中根据手指区域轮廓修正指尖位置并确定指根位置，包括：
手指方向确定单元，用于分别对各个手指区域轮廓上的边缘点进行主成分分析处理，将得到的主方向作为手指方向；
指尖确定单元，用于分别将各手指方向上的最大投影点确定为修正后的指尖位置；
指根确定单元，用于分别将各手指方向上的最小投影点确定为指根位置。
优选地，分布确定单元包括：
指根相对方向确定单元，用于分别确定各个指根位置相对于掌心的位置的方向；
平均方向确定单元，用于确定各个指根位置相对于掌心的位置的方向的平均方向；
方向比对单元，用于分别将各个指根位置相对于掌心的位置的方向与平均方向进行比对；
剔除单元，用于剔除偏离平均方向大于预设阈值的方向所对应的指根位置；
分布识别单元，用于根据保留的各个指根位置相对于掌心的位置的方向确定各个手指的相对分布。上述优选方案根据手指相对于掌心的方向确定手指的相对分布，避免针对手指区域轮廓的形状进行分析，减少了形状判断操作，本方案具有较高的准确性和处理效率，由此确定出的相对分布信息可以为手势判断提供依据。优选地，掌心识别单元包括：
连通区域确定单元，用于分别在经过二值化处理后第一手部图像和第二手部图像中确定最大连通区域轮廓；
掌心位置确定单元，用于分别根据第一手部图像和第二手部图像中最大连通区域轮廓确定掌心的位置。
优选地，手掌识别单元包括：
初始掌心位置确定单元，用于分别根据2个最大连通区域内的各个点到边缘的距离确定初始掌心位置；
手掌半径确定单元，用于分别根据初始掌心位置到2个最大连通区域的边缘的距离确定手掌半径；
手掌区域轮廓确定单元，用于分别根据手掌半径确定手掌区域轮廓。
优选地，掌心识别单元包括：
连通区域确定单元，用于分别在经过二值化处理后第一手部图像和第二手部图像中确定最大连通区域；
掌心位置确定单元，用于分别根据第一手部图像和第二手部图像中最大连通区域确定掌心的位置；
指尖识别单元包括：
远点确定单元，用于在最大连通区域内确定距掌心位置最远的点；
疑似区域确定单元，用于基于距掌心位置最远的点在最大连通区域内确定疑似手指区域轮廓；
指尖确定单元，用于根据各个疑似手指区域轮廓的形状从各个距掌心位置最远的点中确定指尖并获取其位置；
手指识别单元包括：
手指确定单元，用于根据各个疑似手指区域轮廓的形状从各个疑似手指区域轮廓中确定手指区域轮廓。
优选地，深度确定单元包括：
掌心深度确定单元，用于根据双目摄像系统的摄像参数、掌心在第一手部图像和第二手部图像中的位置确定掌心的深度信息；
手掌区域深度确定单元，用于将手掌区域轮廓的边缘点投影到掌心所在的深度，得到手掌区域轮廓的深度信息。上述优选实施方式首先确定掌心这一物点的深度，然后将两张手部图像中的手掌区域轮廓边缘上的点均投影到基于掌心深度建立的平面上，将投影深度作为手掌区域轮廓的深度，避免针对区域轮廓的点一一进行匹配，由此可以提高处理效率。
优选地，深度确定单元包括：
相对位置确定单元，用于分别在第一手部图像和第二手部图像中确定各个指尖位置与掌心位置的相对位置向量；
手指匹配单元，用于根据相对位置向量差的模长确定两张图像中相应的各对指尖，以及两张图像中相应的各对手指区域轮廓；
指尖深度确定单元，用于根据双目摄像系统的摄像参数、各对指尖在第一手部图像和第二手部图像中的位置确定各对指尖的深度信息；
手指深度确定单元，用于将各对手指区域轮廓的边缘点投影到相应的各对指尖所在的深度，以得到各对手指区域轮廓的深度信息。上述优选实施方式首先根据指尖位置与掌心位置的相对位置向量对两种图像中的手指进行匹配，以确定相应的各对指尖、手指区域轮廓，然后首先确定指尖这一物点的深度，并将两张手部图像中的手指区域轮廓边缘上的点均投影到基于相应的指尖深度建立的平面上，将投影深度作为手指区域轮廓的深度，避免针对区域轮廓的点一一进行匹配，由此可以提高处理效率。
优选地，三维数据确定单元包括：
手指点云数据确定单元，用于根据两张手部图像中的对应的各手指区域轮廓上的边缘点的位置和指尖位置的深度建立手指区域轮廓边缘三维点云数据；和/或
手掌点云数据确定单元，用于根据两张手部图像中的手掌区域轮廓上的边缘点的位置和掌心位置的深度建立手掌区域轮廓边缘三维点云数据。
优选地，三维数据确定单元包括：
手指方向确定单元，用于对手指区域轮廓边缘三维点云数据进行主成分分析处理，得到主方向记为手指方向；和/或
手掌法向确定单元，用于对手掌区域轮廓边缘三维点云数据进行主成分分析处理，得到的最小特征值对应的特征方向记为手掌法向。
优选地，三维数据确定单元包括：
指尖三维数据确定单元，用于将手指方向上的最大投影点作为指尖并确定其三维数据；和/或
掌心三维位置确定单元，用于根据双目摄像系统的摄像参数确定初始掌心三维位置；
掌心三维数据确定单元，用于调整初始掌心三维位置，得到调整后的掌心三维位置并确定其三维数据。上述确定掌心三维数据的方式首先通过匹配二维图像中掌心并结合摄像参数确定初始掌心位置，随后将手掌区域轮廓上的点投影基于初始掌心的深度建立的平面上，根据投影的点的效果调整初始掌心位置，由此确定掌心三位数据具有更高的准确性。
上述优选实施方式首先确定区域点云数据，然后基于区域点云数据确定手部方向数据，最后基于区域点云数据和手部方向数据确定关键点的三维数据，由此确定的关键点的三维数据更加准确且更加稳定。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图4，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备400的结构示意图：如图4所示，计算机系统400包括一个或多个处理器、通信部等，上述一个或多个处理器例如：一个或多个中央处理单元(CPU)401，和/或一个或多个图像处理器(GPU)413等，处理器可以根据存储在只读存储器(ROM)402中的可执行指令或者从存储部分408加载到随机访问存储器(RAM)403中的可执行指令而执行各种适当的动作和处理。通信部412可包括但不限于网卡，上述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与ROM 402和/或RAM 403通信以执行可执行指令，通过总线404与通信部412相连、并经通信部412与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，获取双目摄像系统拍摄的第一手部图像和第二手部图像；分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓；根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓，确定各所述关键点的深度信息以及各所述区域轮廓的深度信息；至少根据各所述关键点及其深度信息和各所述区域轮廓及其深度信息，确定手部三维数据。。
此外，在RAM 403中，还可存储有装置操作所需的各种程序和数据。CPU 401、ROM402以及RAM 403通过总线404彼此相连。在有RAM 403的情况下，ROM 402为可选模块。RAM403存储可执行指令，或在运行时向ROM402中写入可执行指令，可执行指令使CPU 401执行上述通信方法对应的操作。输入/输出(I/O)接口405也连接至总线404。通信部412可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线404链接上。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
需要说明的，如图4所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图4的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU 413和CPU 401可分离设置或者可将GPU 413集成在CPU401上，通信部可分离设置，也可集成设置在CPU 401或GPU 413上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，获取双目摄像系统拍摄的第一手部图像和第二手部图像；分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓；根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓，确定各所述关键点的深度信息以及各所述区域轮廓的深度信息；至少根据各所述关键点及其深度信息和各所述区域轮廓及其深度信息，确定手部三维数据。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被CPU 401执行时，执行本申请的方法中限定的上述功能。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种手部三维数据确定方法，其特征在于，包括：
获取双目摄像系统拍摄的第一手部图像和第二手部图像；
分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓；
根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓，确定各所述关键点的深度信息以及各所述区域轮廓的深度信息；
至少根据各所述关键点及其深度信息和各所述区域轮廓及其深度信息，确定手部三维数据。
2.根据权利要求1所述的方法，其特征在于，所述关键点包括以下至少之一：指尖、指关节点、掌心。
3.根据权利要求1或2所述的方法，其特征在于，所述覆盖所述关键点的区域轮廓包括以下至少之一：覆盖指尖和/或指关节点的手指区域轮廓、覆盖掌心的手掌区域轮廓。
4.根据权利要求1-3所述任一方法，其特征在于，所述手部三维数据包括以下至少之一：各所述关键点的三维数据、各所述区域轮廓的边缘三维点云数据、手部方向数据、手势信息。
5.根据权利要求1-4所述任一方法，其特征在于，所述分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓包括：
分别在所述第一手部图像和第二手部图像中识别掌心；
分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定覆盖所述掌心的手掌区域轮廓。
6.根据权利要求1-4所述任一方法，其特征在于，所述分别从所述第一手部图像和第二手部图像中识别关键点以及覆盖所述关键点的区域轮廓包括：
分别在所述第一手部图像和第二手部图像中识别掌心；
分别在所述第一手部图像和第二手部图像中根据识别的所述掌心的位置确定至少一指尖和/或指关节点位置；
分别根据所述第一手部图像和第二手部图像中的各所述指尖和/或指关节点位置，确定各覆盖所述指尖和/或指关节点的手指区域轮廓。
7.根据权利要求1-4所述任一方法，其特征在于，根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的所述关键点和所述区域轮廓以及从所述第二手部图像识别出的相应关键点和相应区域轮廓，确定所述关键点的深度信息以及所述区域轮廓的深度信息，包括：
根据所述双目摄像系统的摄像参数、掌心在所述第一手部图像和第二手部图像中的位置确定所述掌心的深度信息；
将手掌区域轮廓的边缘点投影到所述掌心所在的深度，得到手掌区域轮廓的深度信息。
8.根据权利要求1-4所述任一方法，其特征在于，根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的所述关键点和所述区域轮廓以及从所述第二手部图像识别出的相应关键点和相应区域轮廓，确定所述关键点的深度信息以及所述区域轮廓的深度信息，包括：
分别在所述第一手部图像和第二手部图像中确定各个指尖位置与掌心位置的相对位置向量；
根据所述相对位置向量差的模长确定两张图像中相应的各对指尖，以及两张图像中相应的各对手指区域轮廓；
根据所述双目摄像系统的摄像参数、各对指尖在所述第一手部图像和第二手部图像中的位置确定各对指尖的深度信息；
将各对手指区域轮廓的边缘点投影到相应的各对指尖所在的深度，以得到各对手指区域轮廓的深度信息。
9.一种手部三维数据确定装置，其特征在于，包括：
获取单元，用于获取双目摄像系统拍摄的第一手部图像和第二手部图像；
识别单元，用于分别从所述第一手部图像和第二手部图像中识别至少一关键点以及覆盖所述关键点的区域轮廓；
深度确定单元，用于根据所述双目摄像系统的摄像参数、从所述第一手部图像识别出的各所述关键点和各所述区域轮廓以及从所述第二手部图像识别出的各相应关键点和各相应区域轮廓，确定各所述关键点的深度信息以及各所述区域轮廓的深度信息；
三维数据确定单元，用于至少根据各所述关键点及其深度信息和各所述区域轮廓及其深度信息，确定手部三维数据。
10.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-8所述任一方法。
CN201710198505.7A 2017-03-29 2017-03-29 手部三维数据确定方法、装置及电子设备 Active CN108230383B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710198505.7A CN108230383B (zh) 2017-03-29 2017-03-29 手部三维数据确定方法、装置及电子设备
PCT/CN2018/080960 WO2018177337A1 (zh) 2017-03-29 2018-03-28 手部三维数据确定方法、装置及电子设备
US16/451,077 US11120254B2 (en) 2017-03-29 2019-06-25 Methods and apparatuses for determining hand three-dimensional data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710198505.7A CN108230383B (zh) 2017-03-29 2017-03-29 手部三维数据确定方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108230383A true CN108230383A (zh) 2018-06-29
CN108230383B CN108230383B (zh) 2021-03-23

Family

ID=62656518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710198505.7A Active CN108230383B (zh) 2017-03-29 2017-03-29 手部三维数据确定方法、装置及电子设备

Country Status (3)

Country Link
US (1) US11120254B2 (zh)
CN (1) CN108230383B (zh)
WO (1) WO2018177337A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063653A (zh) * 2018-08-07 2018-12-21 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109840500A (zh) * 2019-01-31 2019-06-04 深圳市商汤科技有限公司 一种三维人体姿态信息检测方法及装置
WO2020073245A1 (zh) * 2018-10-10 2020-04-16 深圳市道通智能航空技术有限公司 手势识别方法、vr视角控制方法以及vr系统
CN111401219A (zh) * 2020-03-10 2020-07-10 厦门中控智慧信息技术有限公司 一种手掌关键点检测方法和装置
CN111953933A (zh) * 2020-07-03 2020-11-17 北京中安安博文化科技有限公司 一种确定火灾区域的方法、装置、介质和电子设备
CN112183388A (zh) * 2020-09-30 2021-01-05 北京字节跳动网络技术有限公司 图像处理方法、装置、设备和介质
CN112198962A (zh) * 2020-09-30 2021-01-08 聚好看科技股份有限公司 一种与虚拟现实设备交互的方法及虚拟现实设备
CN113393572A (zh) * 2021-06-17 2021-09-14 北京千丁互联科技有限公司 点云数据生成方法、装置、移动终端和可读存储介质
CN113756059A (zh) * 2021-09-29 2021-12-07 四川虹美智能科技有限公司 物联网安全洗衣机系统
CN113780201A (zh) * 2021-09-15 2021-12-10 墨奇科技（北京）有限公司 手部图像的处理方法及装置、设备和介质
CN114077307A (zh) * 2020-08-12 2022-02-22 奇景光电股份有限公司 具有输入界面的模拟系统与方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230383B (zh) * 2017-03-29 2021-03-23 北京市商汤科技开发有限公司 手部三维数据确定方法、装置及电子设备
CN108197596B (zh) * 2018-01-24 2021-04-06 京东方科技集团股份有限公司 一种手势识别方法和装置
CN110909580B (zh) * 2018-09-18 2022-06-10 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
JP7280032B2 (ja) * 2018-11-27 2023-05-23 ローム株式会社 入力デバイス、自動車
CN112013865B (zh) * 2020-08-28 2022-08-30 北京百度网讯科技有限公司 确定交通卡口的方法、系统、电子设备以及介质
CN112215134A (zh) * 2020-10-10 2021-01-12 北京华捷艾米科技有限公司 手势跟踪方法及装置
CN112258538A (zh) * 2020-10-29 2021-01-22 深兰科技（上海）有限公司 人体三维数据的获取方法和装置
WO2023000119A1 (zh) * 2021-07-17 2023-01-26 华为技术有限公司 手势识别方法、装置、系统及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统
CN102981623A (zh) * 2012-11-30 2013-03-20 深圳先进技术研究院 触发输入指令的方法及系统
CN102902355B (zh) * 2012-08-31 2015-12-02 中国科学院自动化研究所 移动设备的空间交互方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6417969B1 (en) * 1988-07-01 2002-07-09 Deluca Michael Multiple viewer headset display apparatus and method with second person icon display
US6198485B1 (en) * 1998-07-29 2001-03-06 Intel Corporation Method and apparatus for three-dimensional input entry
US7660458B1 (en) * 2004-12-14 2010-02-09 Google Inc. Three-dimensional model construction using unstructured pattern
US7983451B2 (en) * 2006-06-30 2011-07-19 Motorola Mobility, Inc. Recognition method using hand biometrics with anti-counterfeiting
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
KR101581954B1 (ko) * 2009-06-25 2015-12-31 삼성전자주식회사 실시간으로 피사체의 손을 검출하기 위한 장치 및 방법
TWI434225B (zh) * 2011-01-28 2014-04-11 Nat Univ Chung Cheng Stereo Matching Method Using Quantitative Operation of Image Intensity Value
US8971572B1 (en) * 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9239624B2 (en) * 2012-04-13 2016-01-19 Nokia Technologies Oy Free hand gesture control of automotive user interface
US9111135B2 (en) * 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US9864433B2 (en) * 2012-07-13 2018-01-09 Softkinetic Software Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
CN102831407B (zh) * 2012-08-22 2014-10-29 中科宇博（北京）文化有限公司 仿生机械恐龙的视觉识别系统实现方法
US9870056B1 (en) * 2012-10-08 2018-01-16 Amazon Technologies, Inc. Hand and hand pose detection
TWI516093B (zh) * 2012-12-22 2016-01-01 財團法人工業技術研究院 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
JP2014186715A (ja) * 2013-02-21 2014-10-02 Canon Inc 情報処理装置、情報処理方法
TWI649675B (zh) * 2013-03-28 2019-02-01 新力股份有限公司 Display device
JP6044426B2 (ja) * 2013-04-02 2016-12-14 富士通株式会社 情報操作表示システム、表示プログラム及び表示方法
JP2015119373A (ja) * 2013-12-19 2015-06-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
EP3120294A1 (en) * 2014-03-20 2017-01-25 Telecom Italia S.p.A. System and method for motion capture
JP6548518B2 (ja) * 2015-08-26 2019-07-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
KR101745406B1 (ko) * 2015-09-03 2017-06-12 한국과학기술연구원 깊이 영상 기반의 손 제스처 인식 장치 및 방법
US10146375B2 (en) * 2016-07-01 2018-12-04 Intel Corporation Feature characterization from infrared radiation
US10380796B2 (en) * 2016-07-19 2019-08-13 Usens, Inc. Methods and systems for 3D contour recognition and 3D mesh generation
EP3537381B1 (en) * 2016-11-07 2021-04-21 Sony Corporation Information processing device, information processing method, and recording medium
CN106931910B (zh) * 2017-03-24 2019-03-05 南京理工大学 一种基于多模态复合编码和极线约束的高效三维图像获取方法
CN108230383B (zh) * 2017-03-29 2021-03-23 北京市商汤科技开发有限公司 手部三维数据确定方法、装置及电子设备
JP6955369B2 (ja) * 2017-05-22 2021-10-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
CN109558000B (zh) * 2017-09-26 2021-01-22 京东方科技集团股份有限公司 一种人机交互方法及电子设备
US10956714B2 (en) * 2018-05-18 2021-03-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, electronic device, and storage medium
US20200160548A1 (en) * 2018-11-16 2020-05-21 Electronics And Telecommunications Research Institute Method for determining disparity of images captured multi-baseline stereo camera and apparatus for the same
WO2020209624A1 (en) * 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head mounted display device and operating method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统
CN102902355B (zh) * 2012-08-31 2015-12-02 中国科学院自动化研究所 移动设备的空间交互方法
CN102981623A (zh) * 2012-11-30 2013-03-20 深圳先进技术研究院 触发输入指令的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡弘等: "《Leap Motion 关键点模型手姿态估计方法》", 《计算机辅助设计与图形学学报》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029466A1 (zh) * 2018-08-07 2020-02-13 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109063653A (zh) * 2018-08-07 2018-12-21 北京字节跳动网络技术有限公司 图像处理方法和装置
WO2020073245A1 (zh) * 2018-10-10 2020-04-16 深圳市道通智能航空技术有限公司 手势识别方法、vr视角控制方法以及vr系统
CN109840500B (zh) * 2019-01-31 2021-07-02 深圳市商汤科技有限公司 一种三维人体姿态信息检测方法及装置
CN109840500A (zh) * 2019-01-31 2019-06-04 深圳市商汤科技有限公司 一种三维人体姿态信息检测方法及装置
CN111401219A (zh) * 2020-03-10 2020-07-10 厦门中控智慧信息技术有限公司 一种手掌关键点检测方法和装置
CN111401219B (zh) * 2020-03-10 2023-04-28 厦门熵基科技有限公司 一种手掌关键点检测方法和装置
CN111953933A (zh) * 2020-07-03 2020-11-17 北京中安安博文化科技有限公司 一种确定火灾区域的方法、装置、介质和电子设备
CN111953933B (zh) * 2020-07-03 2022-07-05 北京中安安博文化科技有限公司 一种确定火灾区域的方法、装置、介质和电子设备
CN114077307A (zh) * 2020-08-12 2022-02-22 奇景光电股份有限公司 具有输入界面的模拟系统与方法
CN112183388A (zh) * 2020-09-30 2021-01-05 北京字节跳动网络技术有限公司 图像处理方法、装置、设备和介质
CN112198962A (zh) * 2020-09-30 2021-01-08 聚好看科技股份有限公司 一种与虚拟现实设备交互的方法及虚拟现实设备
CN112198962B (zh) * 2020-09-30 2023-04-28 聚好看科技股份有限公司 一种与虚拟现实设备交互的方法及虚拟现实设备
CN113393572A (zh) * 2021-06-17 2021-09-14 北京千丁互联科技有限公司 点云数据生成方法、装置、移动终端和可读存储介质
CN113393572B (zh) * 2021-06-17 2023-07-21 北京千丁互联科技有限公司 点云数据生成方法、装置、移动终端和可读存储介质
CN113780201A (zh) * 2021-09-15 2021-12-10 墨奇科技（北京）有限公司 手部图像的处理方法及装置、设备和介质
CN113756059A (zh) * 2021-09-29 2021-12-07 四川虹美智能科技有限公司 物联网安全洗衣机系统
CN113756059B (zh) * 2021-09-29 2023-09-29 四川虹美智能科技有限公司 物联网安全洗衣机系统

Also Published As

Publication number Publication date
WO2018177337A1 (zh) 2018-10-04
CN108230383B (zh) 2021-03-23
US20190311190A1 (en) 2019-10-10
US11120254B2 (en) 2021-09-14

Similar Documents

Publication Publication Date Title
CN108230383A (zh) 手部三维数据确定方法、装置及电子设备
Papazov et al. Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features
CN103577815B (zh) 一种人脸对齐方法和系统
CN104978548B (zh) 一种基于三维主动形状模型的视线估计方法与装置
JP3962803B2 (ja) 頭部検出装置、頭部検出方法および頭部検出プログラム
US20200134868A1 (en) Gaze point determination method and apparatus, electronic device, and computer storage medium
CN109271950B (zh) 一种基于手机前视摄像头的人脸活体检测方法
CN109343700B (zh) 眼动控制校准数据获取方法和装置
EP3339943A1 (en) Method and system for obtaining optometric parameters for fitting eyeglasses
AU2016214084A1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN104915656B (zh) 一种基于双目视觉测量技术的快速人脸识别方法
CN107766776A (zh) 一种手指静脉识别方法及装置
CN105678235B (zh) 基于典型区域多维度特征的三维人脸表情识别方法
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
WO2020042541A1 (zh) 眼球追踪交互方法和装置
CN107545252A (zh) 基于多姿态人脸模型的视频中人脸识别方法及装置
CN112308932B (zh) 一种注视检测方法、装置、设备及存储介质
CN107292299B (zh) 基于内核规范相关分析的侧面人脸识别方法
CN109325408A (zh) 一种手势判断方法及存储介质
JP2008204200A (ja) 顔解析システム及びプログラム
CN112132812B (zh) 证件校验方法、装置、电子设备及介质
US20170007118A1 (en) Apparatus and method for estimating gaze from un-calibrated eye measurement points
CN108255285A (zh) 一种基于掌间点检测的运动手势检测方法
Gallo et al. View-independent hand posture recognition from single depth images using PCA and Flusser moments
US20230144111A1 (en) A method for generating a 3d model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant