CN111897436B - 一种基于单rgb图像的手部抓取对象握力预测方法 - Google Patents

一种基于单rgb图像的手部抓取对象握力预测方法 Download PDF

Info

Publication number
CN111897436B
CN111897436B CN202010810526.1A CN202010810526A CN111897436B CN 111897436 B CN111897436 B CN 111897436B CN 202010810526 A CN202010810526 A CN 202010810526A CN 111897436 B CN111897436 B CN 111897436B
Authority
CN
China
Prior art keywords
hand
grip strength
pressure
data
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn - After Issue
Application number
CN202010810526.1A
Other languages
English (en)
Other versions
CN111897436A (zh
Inventor
李梦成
戴翘楚
于涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weilan Technology Co ltd
Original Assignee
Beijing Weilan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Weilan Technology Co ltd filed Critical Beijing Weilan Technology Co ltd
Priority to CN202010810526.1A priority Critical patent/CN111897436B/zh
Publication of CN111897436A publication Critical patent/CN111897436A/zh
Application granted granted Critical
Publication of CN111897436B publication Critical patent/CN111897436B/zh
Withdrawn - After Issue legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本发明提供了一种基于单RGB图像的手部抓取对象握力预测方法，包括以下步骤:S1：利用握力视觉联合采集系统进行人手姿态与握力的联合测量,获取握力数据和视觉数据；S2：利用压力分析算法，对握力数据进行握力解耦，提取人手由于与物体接触所引起的压力；S3：利用深度学习算法，分析压力和视觉数据，提取特征，构建握力预测模型；S4:利用构建的握力预测模型，输入单张人手与物体交互的RGB图片，输出人手握力的预测。本发明通过实现视觉和触觉的联合数据采集和分析，最终实现了基于单色或彩色人手的姿态图片作为输入而能输出人手抓取物体的握力预测。本发明可以应用于VR人机交互算法、仿生机器人手臂的设计等方向。

Description

一种基于单RGB图像的手部抓取对象握力预测方法
技术领域
本发明涉及到计算机视觉技术领域，尤其涉及到一种基于单RGB图像的手部抓取对象握力预测方法。
背景技术
随着计算机视觉领域的不断发展，人手的姿态识别和三维重建逐渐成为研究的热门话题。人手作为人类与外界进行物理交互的主要手段，理解人手运动以及交互方式对于人机交互、机器人设计、仿生学等应用方向有着重要的意义。然而，现有的人手识别算法主要将目光集中在单手的姿态上，缺少与物体交互时的握力等物理数据的分析，且带有握力传感器手套的人手在外观上与裸手有一定的区别。
发明内容
本发明的目的是为了克服现有技术的不足，提供了一种基于单RGB图像的手部抓取对象握力预测方法。
本发明是通过以下技术方案实现：
本发明提供了一种基于单RGB图像的手部抓取对象握力预测方法，该基于单RGB图像的手部抓取对象握力预测方法包括以下步骤：
S1：利用握力视觉联合采集系统进行人手姿态与握力的联合测量,获取握力数据和视觉数据；
S2：利用压力分析算法，对握力数据进行握力解耦，提取人手由于与物体接触所引起的压力；
S3：利用深度学习算法，分析压力和视觉数据，提取特征，构建握力预测模型；
S4: 利用构建的握力预测模型，输入单张人手与物体交互的RGB图片，输出人手握力的预测。
优选的，步骤S1中所述的握力视觉联合采集系统包括：
一套多相机采集系统，所述多相机采集系统包括已知相机参数以及空间坐标的多台相机；
一套柔性手部压力传感系统，所述柔性手部压力传感系统包括能穿戴在人手上的手套，以及均匀分布在所述手套掌侧区域的压力传感器；
一套采集软件，所述采集软件分别与所述多相机采集系统和所述柔性手部压力传感系统信号连接，所述采集软件通过所述多相机采集系统和所述柔性手部压力传感系统同步采集人手的视觉数据和对应的握力数据、并将采集的视觉数据和对应的握力数据配对存储。
优选的，所述采集软件采集的视觉数据包括人手带有所述手套从五指平摊到稳定抓握物体整个过程中各个视角的交互图片，所述采集软件采集的握力数据包括对应每一交互图片的压力数据，每一交互图片和对应的压力数据通过所述采集软件在时间上对应配对。
优选的，步骤S3中所述的深度学习算法为能够迁移学习握力数据、并使得从带有所述手套的人手与物体的交互图片中学习到适用于裸手的握力预测模型的学习算法。
优选的，所述采集软件采集的视觉数据还包括人的裸手从五指平摊到稳定抓握物体整个过程中各个视角的交互图片。
优选的，步骤2中所述的压力分析算法为能够将人手姿态变化引起的人手压力和与物体接触产生压力进行解耦的分析算法。
本发明通过实现视觉和触觉的联合数据采集和分析，最终实现了基于单色或彩色人手的姿态图片作为输入而能输出人手抓取物体的握力预测。本发明可以应用于VR人机交互算法、仿生机器人手臂的设计等方向。
附图说明
图1是本发明实施例提供的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了方便理解本发明实施例提供的基于单RGB图像的手部抓取对象握力预测方法，下面结合附图及具体的实施例对其进行详细说明。
请参考图1, 图1是本发明实施例提供的流程图。
如图1所示，本发明实施例提供的基于单RGB图像的手部抓取对象握力预测方法包括以下步骤：
S1：利用握力视觉联合采集系统进行人手姿态与握力的联合测量,获取握力数据和视觉数据；
S2：利用压力分析算法，对握力数据进行握力解耦，提取人手由于与物体接触所引起的压力；
S3：利用深度学习算法，分析压力和视觉数据，提取特征，构建握力预测模型；
S4: 利用构建的握力预测模型，输入单张人手与物体交互的RGB图片，输出人手握力的预测。
在上述步骤中，步骤S1中所述的握力视觉联合采集系统包括一套多相机采集系统、一套柔性手部压力传感系统及一套采集软件。
所述多相机采集系统包括已知相机参数以及空间坐标的多台相机。所述多台相机能够从不同角度拍摄人手与物体交互的RGB图片。具体的，每台相机的视角差异大约在45度左右，可以覆盖各个视角。相机的相对位置关系通过棋盘格标定法提前进行标定并记录。
所述柔性手部压力传感系统包括能穿戴在人手上的手套，以及均匀分布在所述手套掌侧区域的压力传感器。通过所述手套能够穿戴在人手上，并能够通过均匀分布在所述手套掌侧区域的压力传感器实时记录人手与物体接触的压力位置和大小。压力传感器分布在人手手掌侧的区域，包括各个手指的指节和指腹以及手掌的各处，压力传感器至少支持256级不同的压力数据输出，同时测量范围要涵盖人手的最大握力。
所述采集软件分别与所述多相机采集系统和所述柔性手部压力传感系统信号连接，所述采集软件通过所述多相机采集系统和所述柔性手部压力传感系统同步采集人手的视觉数据和对应的握力数据、并将采集的视觉数据和对应的握力数据配对存储。
所述采集软件采集的视觉数据包括人手带有所述手套从五指平摊到稳定抓握物体整个过程中各个视角的交互图片，所述采集软件采集的握力数据包括对应每一交互图片的压力数据，每一交互图片和对应的压力数据通过所述采集软件在时间上对应配对。此外，所述采集软件采集的视觉数据还包括人的裸手从五指平摊到稳定抓握物体整个过程中各个视角的交互图片。
具体而言，通过所述采集软件进行数据采集时，采集人手从五指平摊到稳定抓握物体的全过程，包括各个视角的相机图片序列以及对应的压力传感器握力数据，并通过所述采集软件进行视觉和触觉数据在时间上的对齐；此后，脱下具有压力传感器的手套，在裸手情况下以相同姿态抓握物体并记录下各个视角的相机图片。该采集过程应重复多次，涵盖不同的人手、不同的物体、不同的抓握方式，采集尽可能多样性的数据。
在上述步骤中，步骤2中所述的压力分析算法为能够将人手姿态变化引起的人手压力和与物体接触产生压力进行解耦的分析算法。通过所述压力分析算法，能够将姿态变化引起的人手压力和与物体接触产生压力进行解耦。
具体的，通过采集人手从空手到握住物体的过程中压力传感数据的连续变化，所有压力传感器输出压力的平均值记为握力平均值，在握力平均值变化梯度最大的时刻即为即将握住物体的时刻，此时压力数据的来源为人手姿态的变化，而握力平均值最大时即为完全稳定握住物体时的压力，将两者的数据相减得到解耦后的压力数据，该压力数据排除了人手姿态变化引起的压力变化，使得该数据完全来源于与物体的接触。
在上述步骤中，步骤S3中所述的深度学习算法为能够迁移学习握力数据、并使得从带有所述手套的人手与物体的交互图片中学习到适用于裸手的握力预测模型的学习算法。所述深度学习算法能够迁移学习压力数据，使得从带有手套的人手与物体交互图片中学习到适用于裸手的握力预测模型。
利用所述握力预测模型输出人手握力的预测以网络的形式呈现，网络包括两个部分：
网络第一个部分，输入为一张人手与物体交互的图片，输入可以为穿戴有压力传感器手套的图片，也可以是以大致相同动作进行交互的裸手图片，中间输出为网络特征，最终输出为握力分布图。
网络第二个部分为交叉对抗网络，网络以第一部分的中间输出特征为输入，输出为预测输入图片是否穿戴有握力传感器。通过网络第二部分的对抗训练，最终实现从带有传感器手套图片信息到没有传感器手套的迁移。
本发明通过实现视觉和触觉的联合数据采集和分析，最终实现了基于单色或彩色人手的姿态图片作为输入而能输出人手抓取物体的握力预测。本发明可以应用于VR人机交互算法、仿生机器人手臂的设计等方向。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于单RGB图像的手部抓取对象握力预测方法，其特征在于，包括以下步骤:
S1：利用握力视觉联合采集系统进行人手姿态与握力的联合测量,获取握力数据和视觉数据；
S2：利用压力分析算法，对握力数据进行握力解耦，提取人手由于与物体接触所引起的压力；
S3：利用深度学习算法，分析压力和视觉数据，提取特征，构建握力预测模型；
所述的深度学习算法为能够迁移学习握力数据、并使得从带有手套的人手与物体的交互图片中学习到适用于裸手的握力预测模型的学习算法；所述深度学习算法能够迁移学习压力数据，使得从带有手套的人手与物体交互图片中学习到适用于裸手的握力预测模型；
利用所述握力预测模型输出人手握力的预测以网络的形式呈现，所述网络包括两个部分：
所述网络第一个部分，输入为一张人手与物体交互的图片，输入可以为穿戴有压力传感器手套的图片，也可以是以大致相同动作进行交互的裸手图片，中间输出为网络特征，最终输出为握力分布图；
所述网络第二个部分为交叉对抗网络，网络以第一部分的中间输出特征为输入，输出为预测输入图片是否穿戴有握力传感器；通过网络第二部分的对抗训练，最终实现从带有传感器手套图片信息到没有传感器手套的迁移；
S4:利用构建的握力预测模型，输入单张人手与物体交互的RGB图片，输出人手握力的预测。
2.如权利要求1所述的基于单RGB图像的手部抓取对象握力预测方法，其特征在于，步骤S1中所述的握力视觉联合采集系统包括：
一套多相机采集系统，所述多相机采集系统包括已知相机参数以及空间坐标的多台相机；
一套柔性手部压力传感系统，所述柔性手部压力传感系统包括能穿戴在人手上的手套，以及均匀分布在所述手套掌侧区域的压力传感器；
一套采集软件，所述采集软件分别与所述多相机采集系统和所述柔性手部压力传感系统信号连接，所述采集软件通过所述多相机采集系统和所述柔性手部压力传感系统同步采集人手的视觉数据和对应的握力数据、并将采集的视觉数据和对应的握力数据配对存储。
3.如权利要求2所述的基于单RGB图像的手部抓取对象握力预测方法，其特征在于，所述采集软件采集的视觉数据包括人手带有所述手套从五指平摊到稳定抓握物体整个过程中各个视角的交互图片，所述采集软件采集的握力数据包括对应每一交互图片的压力数据，每一交互图片和对应的压力数据通过所述采集软件在时间上对应配对。
4.如权利要求3所述的基于单RGB图像的手部抓取对象握力预测方法，其特征在于，所述采集软件采集的视觉数据还包括人的裸手从五指平摊到稳定抓握物体整个过程中各个视角的交互图片。
5.如权利要求1所述的基于单RGB图像的手部抓取对象握力预测方法，其特征在于，步骤2中所述的压力分析算法为能够将人手姿态变化引起的人手压力和与物体接触产生压力进行解耦的分析算法。
CN202010810526.1A 2020-08-13 2020-08-13 一种基于单rgb图像的手部抓取对象握力预测方法 Withdrawn - After Issue CN111897436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010810526.1A CN111897436B (zh) 2020-08-13 2020-08-13 一种基于单rgb图像的手部抓取对象握力预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010810526.1A CN111897436B (zh) 2020-08-13 2020-08-13 一种基于单rgb图像的手部抓取对象握力预测方法

Publications (2)

Publication Number Publication Date
CN111897436A CN111897436A (zh) 2020-11-06
CN111897436B true CN111897436B (zh) 2021-04-27

Family

ID=73230192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010810526.1A Withdrawn - After Issue CN111897436B (zh) 2020-08-13 2020-08-13 一种基于单rgb图像的手部抓取对象握力预测方法

Country Status (1)

Country Link
CN (1) CN111897436B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9134343B2 (en) * 2012-09-28 2015-09-15 Intel Corporation Sort probe gripper
CN107340852A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 手势控制方法、装置和终端设备
US10817795B2 (en) * 2018-01-25 2020-10-27 Facebook Technologies, Llc Handstate reconstruction based on multiple inputs
CN110197156B (zh) * 2019-05-30 2021-08-17 清华大学 基于深度学习的单图像的人手动作与形状重建方法及装置
CN110271007B (zh) * 2019-07-24 2021-02-02 广州科博锐视科技有限公司 一种机械手臂的物体抓取方法及相关装置

Also Published As

Publication number Publication date
CN111897436A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN108972494B (zh) 一种仿人机械手抓取控制系统及其数据处理方法
Xu et al. Tactile identification of objects using Bayesian exploration
Shi et al. Computer vision-based grasp pattern recognition with application to myoelectric control of dexterous hand prosthesis
Kim et al. System design and implementation of UCF-MANUS—An intelligent assistive robotic manipulator
CN109243575B (zh) 一种基于移动交互和增强现实的虚拟针灸方法及系统
JP2019128940A (ja) 特に作業者の人間工学的解析のためのシステム及び方法
Asai et al. Finger motion estimation based on frequency conversion of EMG signals and image recognition using convolutional neural network
Taddeucci et al. An approach to integrated tactile perception
CN111897436B (zh) 一种基于单rgb图像的手部抓取对象握力预测方法
Ángel-López et al. Kinematic hand analysis using motion capture technology
KR100994408B1 (ko) 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치
Shimobayashi et al. Independent control of supernumerary appendages exploiting upper limb redundancy
Liu et al. Virtual reality based tactile sensing enhancements for bilateral teleoperation system with in-hand manipulation
CN109214295B (zh) 基于Kinect v2和Leap Motion的数据融合的手势识别方法
Behbahani et al. Haptic SLAM for context-aware robotic hand prosthetics-simultaneous inference of hand pose and object shape using particle filters
CN114882113A (zh) 基于同类物体形状对应性的五指机械灵巧手抓取迁移方法
Kashiwagi et al. Measuring grasp posture using an embedded camera
Burns et al. Multi-modal dataset for human grasping
James et al. Realtime Hand Landmark Tracking to Aid Development of a Prosthetic Arm for Reach and Grasp Motions
Sun et al. Smart soft robotic manipulator for artificial intelligence of things (AIOT) based unmanned shop applications
Sanford et al. Grip pressure measurements during activities of daily life
Ghosh Capturing human hand kinematics for object grasping and manipulation
Liang et al. A deformable fingertip sensor assists the manipulator in distinguishing the hardness of the object
Zhang et al. A Novel Gesture Recognition Technique based on sEMG Armband and Leap Motion Controller
Anand et al. Object Shape Discrimination using Sensitized Glove

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
AV01 Patent right actively abandoned
AV01 Patent right actively abandoned
AV01 Patent right actively abandoned

Granted publication date: 20210427

Effective date of abandoning: 20230625

AV01 Patent right actively abandoned

Granted publication date: 20210427

Effective date of abandoning: 20230625