CN112149574A - 一种面向陪护机器人的意图柔性映射方法及装置 - Google Patents
一种面向陪护机器人的意图柔性映射方法及装置 Download PDFInfo
- Publication number
- CN112149574A CN112149574A CN202011014566.1A CN202011014566A CN112149574A CN 112149574 A CN112149574 A CN 112149574A CN 202011014566 A CN202011014566 A CN 202011014566A CN 112149574 A CN112149574 A CN 112149574A
- Authority
- CN
- China
- Prior art keywords
- gesture
- palm
- fingertip
- intention
- finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003993 interaction Effects 0.000 claims abstract description 48
- 230000033001 locomotion Effects 0.000 claims description 24
- 238000006073 displacement reaction Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000005452 bending Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 abstract description 25
- 230000006870 function Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000019771 cognition Effects 0.000 abstract description 4
- 230000011218 segmentation Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 206010000087 Abdominal pain upper Diseases 0.000 description 3
- 208000002193 Pain Diseases 0.000 description 3
- 230000032683 aging Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000035622 drinking Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000036407 pain Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 239000003651 drinking water Substances 0.000 description 2
- 235000020188 drinking water Nutrition 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 235000003642 hunger Nutrition 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本发明为了解决现有技术中存在的技术问题，创新提出了一种面向陪护机器人的意图柔性映射方法，通过目标物体检测的方式感知交互情境，利用基于视觉的手势识别技术来进行人机交互，利用用户在使用同一种手势表达不同语义时，由于对不同事物的认知不同而形成的特征差异作为柔性映射的基础，实现了同一交互情境下一种手势到多种语义的映射，摆脱了传统的一种指令对应一种操作的人机交互模式，这样只需要规定少量的手势即可以完成多个功能，本发明还提出了一种面向陪护机器人的意图柔性映射装置，降低了老年人的认知负担，使得对陪护机器人的使用更加的简易、灵活。
Description
技术领域
本发明涉及意图映射领域，尤其是涉及面向陪护机器人的意图柔性映射方法及装置。
背景技术
随着科技、医疗的不断发展和进步，我国老龄化人口也不断同步增长，养老以凸显为一个社会问题。同时，随着老龄化和少子化情况的日益加重，越来越多的老人处于“空巢”或独居状态。据统计，70％以上的老年人出现孤独感，特别是体弱、失能、独居、高龄、丧偶的老年人，然而，中国养老产业的发展还处在初级阶段，面临服务供给侧严重不足等问题。近年来，随着人工智能及机器人技术的不断飞速发展，以人工智能护理机器人为核心的智能老年护理，在全球范围内呈现出井喷的研究发展态势。
智能陪护机器人是一种多功能服务机器人，主要辅助老年人生活，具有服务、安全监护、人机交互以及娱乐等功能。随着人工智能的不断发展，陪护机器人已经开始融入人们的工作和生活中。
目前陪护机器人的前景广阔，但是，仍存在较多问题，具体表现为以下几个方面：第一，大部分陪护机器人就相当于一个移动的平板电脑，除了能够移动外，其操作方式、功能并没有创新，不符合老年人易用性的要求；第二，部分陪护机器人缺乏智能化的交互功能，尤其在较为杂乱的环境下识别准确率非常低；第三，大多数陪护机器人缺乏环境感知能力，不能及时有效的感知自身所处的环境状况，从而导致使用范围存在单一性、局限性的问题；同时，在老年人与机器人进行手势交互时，传统的人机交互基本都是用户输入一个指令，然后机器人执行相关动作，这种一对一的映射方式需要大量的控制手势以达到功能完善的目的。但是对于老年人来说，过多的手势指令会造成严重的记忆负担，不利于老年人与陪护机器人的交互，不满足易操作性的要求。
发明内容
本发明为了解决现有技术中存在的问题，创新提出了一种面向陪护机器人的意图柔性映射及装置，有效解决由于现有老年陪护机器人造成交互不方便、手势指令过多带来的记忆负担重的问题，实现了同一交互情境下一种手势到多种语义的映射，只需要规定少量的手势即可以完成多个功能，降低了老年人的认知负担，使得对陪护机器人的使用更加的简易、灵活。
本发明第一方面提供了一种面向陪护机器人的意图柔性映射方法，包括：
获取目标群体的手势以及手势周围所处的交互情景，并对获取的手势进行识别处理；
根据手势的识别结果以及手势周围所处的交互情景确定当前手势意图序号r；
通过掌心和每个指尖的位置信息，计算出手指的弯曲度与手势的位移量；
根据手指的弯曲度与手势的位移量，确定各个手指的弯曲度集合h与手势移动方向d；
根据各个手指的弯曲度集合h、手势移动方向d与手势意图序号r，确定意图判定集合I，通过将意图判定集合I与预先设置的手势-语义数据集比对来获取用户意图，实现柔性映射。
可选地，通过掌心和每个指尖的位置信息，计算出手指的弯曲度与手势的位移量具体包括：
通过Canny算法对手势轮廓二值图计算掌心的位置坐标；
根据掌心位置的坐标以及指尖候选点确定目标指尖的位置坐标；
根据目标指尖的位置坐标以及掌心位置坐标计算手指的弯曲度；
根据手势开始时掌心的位置坐标以及手势结束时掌心的位置坐标确定手势移动方向。
进一步地，通过Canny算法对手势轮廓二值图计算掌心的位置坐标具体包括：
使用Canny算法对手势二值图进行边缘检测；
提取手势的轮廓二值图，并根据空间矩表达式计算手势轮廓二值图的轮廓区域内横坐标总和u10以及轮廓区域内横坐标总和u01，空间矩表达式具体是：
uj，i＝∑x，y(array(x，y)·xj·yi)，uj，i为手势轮廓二值图的空间矩，array(x，y)为只有0、1的手势轮廓二值图像，i、j的取值为0或1，分别表示轮廓内外的像素，x为point类型中点向量的横坐标，y为point类型中点向量的纵坐标；
根据轮廓区域内横坐标总和u10、轮廓区域内横坐标总和u01、手势轮廓区域内非0像素总数u00通过质心坐标公式计算手势轮廓的质心坐标，即手势掌心位置，其中，质心横坐标公式具体是：
质心纵坐标公式具体是：
可选地，根据掌心位置的坐标以及指尖候选点确定目标指尖的位置坐标具体包括：
获取手势开始时轮廓的二值图，计算手势开始时轮廓点的曲率，筛选获得第一指尖候选点；
获取手势结束时轮廓的二值图，计算手势结束时轮廓点的曲率，筛选获得第二指尖候选点；
第一指尖候选点距掌心的距离与同一手指同一位置处的第二指尖候选点距掌心的距离不同的点为目标指尖点。
进一步地，第一指尖候选点为曲率值大于预设曲率值的手势开始时的手势轮廓点，第二指尖候选点为曲率值大于预设曲率值的手势结束时的手势轮廓点。
可选地，根据目标指尖的位置坐标以及掌心位置坐标计算手指的弯曲度具体是：
根据各个目标指尖的位置坐标以及掌心位置坐标计算各个目标指尖与掌心的欧式距离Lm，根据各个目标指尖与掌心的欧式距离Lm确定各个目标指尖的弯曲度，其中，m为手指顺序。
进一步地，根据各个目标指尖与掌心的欧式距离Lm确定各个目标指尖的弯曲度具体是：
如果Lm大于第一预设阈值，则所述目标手指轻微弯曲；如果Lm小于第一预设阈值且大于第二预设阈值，则所述目标手指正常弯曲；如果Lm小于第二预设阈值且大于第三预设阈值，则所述目标手指严重弯曲；如果Lm小于第三预设阈值，则所述目标手指完全弯曲。
可选地，根据手势开始时掌心的位置坐标以及手势结束时掌心的位置坐标确定手势移动方向具体包括：
将手势结束时掌心的横坐标以及手势开始时掌心的横坐标作差值处理，如果差值大于预设移动阈值；和/或，
将手势结束时掌心的纵坐标以及手势开始时掌心的纵坐标作差值处理，如果差值大于预设移动阈值；则判断手势发生移动；
根据手势结束以及开始时的横坐标差值以及纵坐标差值判断手势移动方向。
进一步地，根据手势结束以及开始时的横坐标差值以及纵坐标差值判断手势移动方向具体是：
如果手势结束时掌心的横坐标与手势开始时掌心的横坐标的差值大于0，则表示手势向身体侧移动；如果手势结束时掌心的横坐标与手势开始时掌心的横坐标的差值小于0，则表示手势向远离身体侧移动；
如果手势结束时掌心的纵坐标与手势开始时掌心的纵坐标的差值大于0，则表示手势向上移动；如果手势结束时掌心的纵坐标与手势开始时掌心的纵坐标的差值小于0，则表示手势向下移动。
本发明第二方面提供了一种面向陪护机器人的意图柔性映射装置，包括：
获取模块，获取目标群体的手势以及手势周围所处的交互情景，并对获取的手势进行识别处理；
第一确定模块，根据手势的识别结果以及手势周围所处的交互情景确定当前手势意图序号r；
计算模块，通过掌心和每个指尖的位置信息，计算出手指的弯曲度与手势的位移量；
第二确定模块，根据手指的弯曲度与手势的位移量，确定各个手指的弯曲度集合h与手势移动方向d；
比对模块，根据各个手指的弯曲度集合h、手势移动方向d与手势意图序号r，确定意图判定集合I，通过将意图判定集合I与预先设置的手势-语义数据集比对来获取用户意图，实现柔性映射。
本发明采用的技术方案包括以下技术效果：
1、本发明有效解决由于现有老年陪护机器人造成交互不方便、手势指令过多带来的记忆负担重的问题，通过目标物体检测的方式感知交互情境，利用基于视觉的手势识别技术来进行人机交互，利用用户在使用同一种手势表达不同语义时，由于对不同事物的认知不同而形成的特征差异作为柔性映射的基础，实现了同一交互情境下一种手势到多种语义的映射，摆脱了传统的一种指令对应一种操作的人机交互模式，这样只需要规定少量的手势即可以完成多个功能，同时，降低了老年人的认知负担，使得对陪护机器人的使用更加的简易、灵活。
2、本发明技术方案采用先通过曲率寻找指尖候选点，再对指尖候选点使用指尖候选点与掌心距离筛选的方法来进行目标指尖点的检测，这样既可以降低时空复杂度，又能减少指尖检测的误识率。
3、本发明技术方案采用Canny算法进行掌心位置检测，具有错误率低、定位性高、响应最小等优点。
应当理解的是以上的一般描述以及后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见的，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方案中实施例一方法的流程示意图；
图2为本发明方案中实施例一中方法步骤S3的流程示意图；
图3为本发明方案中实施例一中方法步骤S31的流程示意图；
图4为本发明方案中实施例一中方法步骤S31中手势边缘检测以及掌心检测的示意图；
图5为本发明方案中实施例一中方法步骤S32的流程示意图；
图6为本发明方案中实施例一中方法步骤S32中指尖候选点的示意图；
图7为本发明方案中实施例一中方法步骤S33中指尖弯曲度的示意图；
图8为本发明方案中实施例一中方法步骤S34的流程示意图；
图9为本发明方案中实施例一中柔性映射方法总体框图；
图10为本发明方案中实施例一中柔性映射方法过程示意图；
图11为本发明方案中实施例二装置的结构示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
实施例一
如图1所示，本发明提供了一种面向陪护机器人的意图柔性映射方法，包括：
S1，获取目标群体的手势以及手势周围所处的交互情景，并对获取的手势进行识别处理；
S2，根据手势的识别结果以及手势周围所处的交互情景确定当前手势意图序号r；
S3，通过掌心和每个指尖的位置信息，计算出手指的弯曲度与手势的位移量；
S4，根据手指的弯曲度与手势的位移量，确定各个手指的弯曲度集合h与手势移动方向d；
S5，根据各个手指的弯曲度集合h、手势移动方向d与手势意图序号r，确定意图判定集合I，通过将意图判定集合I与预先设置的手势-语义数据集比对来获取用户意图，实现柔性映射。
本发明中柔性映射是指对动态手势进行识别，然后结合交互情境与手势特征的差异进行灵活映射。其中，在步骤S1-S2中，通过OpenCV(基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库)中提供的基于SIFT(尺度不变特征变换)特征匹配的对象检测对周边环境进行目标检测，根据检测到的物体集来对应不同的情景。为了解决复杂背景、光照变化强等情况下识别率低的问题，本文使用高斯肤色模型与帧间差分法相结合的方式进行手势分割，该方法可以通过运动检测粗略的找到手的位置，然后再进行细化分割，减少了背景对于手势分割的影响。为了降低噪声对图像的影响，本文采用双边滤波对二值化图像进行滤波处理。
在手势识别的过程中，使用Kinect(体感传感器)获取用户手势区域的深度和彩色图像，从而进行手势的识别。同时，通过对用户所处位置的目标检测来获取到当前的交互情境。最后，将手势识别结果与交互情境相结合获取动作序号。
为了寻找同一手势在表达不同语义时的特征差异，本文以认知实验的方式进行数据统计分析。首先，邀请了10位老人，请他们根据所描述的不同的语义来进行手势动作，观察发现，对于一些不同的语义它们可以通过相同的手势来表达，例如同一手势可以表达肚子饿与肚子疼；一种手势可以表达喝水、吃药、倒水等语义；同一手势也可以控制机器人的快走与慢走等。通过老年人的这些手势动作观察发现，老年人在通过相同的手势表达不同语义时，其中的区别大多数都体现在对某件事情的情感或者手势所描述所需求物品的大小(人对事物的认知情况)以及手势的方向上。例如用手捂住肚子既可以表达饥饿，也可以表达肚子疼，但是当肚子疼的时候往往伴随着痛苦，这种痛苦表现在手势上则是手使用力量的不同肚子疼时，人会不自觉的手指发力。例如“握”的手势可以表达喝水、吃药、倒水、抓取等语义，当表达喝水时，手势通常是自然握下但没有握紧，留出杯子大小的空隙；而对于吃药，大多数老年人都会通过大幅度握拳留下药片大小的空隙来表达；对于抓取动作，它的握拳程度相比于上述两种情况会变得更加紧密；对于倒水动作，它的握拳程度与喝水类似，但是人们可以通过手势倾倒的方向来区分，向内表示喝水，向外表示倒水。结合上述例子发现，无论是反映情感的的手部力量，还是描述需求物品的大小，其反映到手势上的特征都为手指的弯曲程度，因此本文提出将手指的弯曲度和手势方向作为新的手势特征来进行柔性映射。
为了能够适用复杂背景和黑暗条件，满足用户人机交互的需求。本文采用基于Kinect的动态交互手势识别算法对手势进行识别，该方法利用Kinect的摄像头获取手势图像，进行手势分割后，以质心(掌心)运动轨迹正切角的值进行均匀量化编码，将实时采集的待辨识编码序列分别计算后与各个提前训练好的模型对比，计算出概率最大值，然后取最大概率所对应的手势作为识别结果(待辨识编码序列与各个提前训练好的模型的编码序列对比相似度，取相似度高的即为手势识别结果)。同时，设置概率阈值模型，概率低于阈值模型的手势为未定义手势(识别结果为空)，以此建立隐藏的马尔可夫模型来识别动态手势。最后，将手势识别结果映射到序号h，并与目标检测结果b结合形成数组r(h,b)，将r(h,b)与手势数据集相比较，得到手势意图序号r。手势数据集由手势意图序号、手势特征(手势识别结果)与交互情境(目标检测结果)组成。举例说明，数组中h是指手势识别的结果，比如五指张开；b是指目标检测的结果，比如识别到了桌子、椅子等，返回交互场景结果为客厅；将h与b存入一个数组r(h,b)中，之后将r(h,b)与提前设置的手势数据集相比较，得到手势意图序号r(与手势意图一一对应)，例如手势意图为抓取，序号为1。同一手势识别结果、不同交互场景对应不同的手势意图，即不同的手势意图序号，不同手势识别结果、同一交互场景也对应不同的手势意图，即不同的手势意图序号。
如图2所示，本发明技术方案中步骤S3具体包括：
S31，通过Canny算法对手势轮廓二值图计算掌心的位置坐标；
S32，根据掌心位置的坐标以及指尖候选点确定目标指尖的位置坐标；
S33，根据目标指尖的位置坐标以及掌心位置坐标计算手指的弯曲度；
S34，根据手势开始时掌心的位置坐标以及手势结束时掌心的位置坐标确定手势移动方向。
其中，如图3所示，步骤S31具体包括：
S311，使用Canny算法对手势二值图进行边缘检测；
S312，提取手势的轮廓二值图，并根据空间矩表达式计算手势轮廓二值图的轮廓区域内横坐标总和u10以及轮廓区域内横坐标总和u01，空间矩表达式具体是：
uj，i＝∑x，y(array(x，y)·xj·yi)，uj，i为手势轮廓二值图的空间矩，array(x，y)为只有0、1的手势轮廓二值图像，i、j的取值为0或1，分别表示轮廓内外的像素，x为point类型中点向量的横坐标，y为point类型中点向量的纵坐标；
S313，根据轮廓区域内横坐标总和u10、轮廓区域内横坐标总和u01、手势轮廓区域内非0像素总数u00通过质心坐标公式计算手势轮廓的质心坐标，即手势掌心位置，其中，质心横坐标公式具体是：
质心纵坐标公式具体是：
在步骤S311中，获取到手势轮廓的二值图后，为了得到质心(掌心)的坐标，首先需要得到手势的轮廓，即使用Canny算法对手势轮廓的二值图进行边缘检测，如图4左侧附图。
手势边缘检测后就可以提取手势的轮廓并计算出轮廓矩和轮廓质心，本文使用OpenCV中的FindContoursz()函数进行手势轮廓的查找，该方法是以点向量的形式进行存储，即使用point类型的vector(向量)表示，方便下面轮廓矩和轮廓质心的计算。OpenCV中的矩主要包括空间矩、中心矩和中心归一化矩三种，本发明采用中心矩来计算质心，中心矩具有平移不变性的特点，可以避免手势移动对计算轮廓矩以及质心的影响。u00表示非0像素总数，即轮廓的面积。
在步骤S313中，计算得到轮廓的矩后，根据一阶中心矩推导可得到轮廓的质心坐标公式。中心矩的公式可表示为：
手势轮廓区域内非0像素总数u00，即轮廓的面积，轮廓质心坐标为(横坐标总和/轮廓面积，纵坐标总和/轮廓面积)，如图4右侧所示。
如图5所示，步骤S32具体包括：
S321，获取手势开始时轮廓的二值图，计算手势开始时轮廓点的曲率，筛选获得第一指尖候选点；
S322，获取手势结束时轮廓的二值图，计算手势结束时轮廓点的曲率，筛选获得第二指尖候选点；
S323，第一指尖候选点距掌心的距离与同一手指同一位置处的第二指尖候选点距掌心的距离不同的点为目标指尖点。
第一指尖候选点为曲率值大于预设曲率值的手势开始时的手势轮廓点，第二指尖候选点为曲率值大于预设曲率值的手势结束时的手势轮廓点。
在步骤S321-S323中，针对当前指尖检测存在的问题，本文采用基于YCbCr颜色空间(是色彩空间的一种，通常会用于影片中的影像连续处理，或是数字摄影系统中)与背景差分法相结合的方式进行手势分割，该方法可以从图像中先找出手部区域的位置，然后再对该区域进行手势分割与细化，从而减少复杂的背景对手势检测和识别的影响。然后采用先通过曲率找寻指尖候选点，再对指尖候选点使用重心距离法的方式来进行指尖的检测，这样既可以降低时空复杂度，又能减少指尖检测的误识率。
具体地，通过手势分割、二值化处理以及双边滤波后，可以得到手势轮廓的二值图，定义Pn为手势轮廓上的一点，分别按照顺时针和逆时针遍历k个像素得到Pn+k和Pn-k两点。设点Pn+k与点Pn形成向量P1，点Pn-k与点Pn形成向量P2，则点Pn处的曲率K即是这两个向量夹角的余弦值，其公式如下：
通过对手势轮廓中的提取可以发现，如图6所示，不仅在手指指尖处有明显的曲率特征，在关节处、手指凹陷处以及手腕关节处均有明显的曲率特征，因此称曲率处理后的点为指尖候选点。
找出指尖候选点后，下一步需要从这些候选点中通过重心距离法找到真正的指尖点，对于手指呈张开姿势的手势，重心距离法可以通过寻找距离掌心最远的点的方式找出指尖点，但是对于那些握拳状的手势，其手指凹陷处距离掌心距离则大于指尖到掌心的距离。因此，本文提出了通过动态手势寻找指尖点的方法，手势开始时进行一次取指尖候选点，得到第一指尖候选点，手势结束时再次进行指尖点的检测，得到第二指尖候选点，分别并计算其距掌心的距离，若到掌心距离不变，则该点为凹陷处点或关节点，舍去。第一指尖候选点距掌心的距离与同一手指同一位置处的第二指尖候选点距掌心的距离不同的点为目标指尖点。
进一步地，步骤S33具体是：
根据各个目标指尖的位置坐标以及掌心位置坐标计算各个目标指尖与掌心的欧式距离Lm，欧式距离Lm计算公式具体是：
如图7所示，根据各个目标指尖与掌心的欧式距离Lm确定各个目标指尖的弯曲度具体是：
如果Lm大于第一预设阈值t1，则所述目标手指轻微弯曲；如果Lm小于第一预设阈值t1且大于第二预设阈值t2，则所述目标手指正常弯曲；如果Lm小于第二预设阈值t2且大于第三预设阈值t3，则所述目标手指严重弯曲；如果Lm小于第三预设阈值t2，则所述目标手指完全弯曲，即握拳手势。其中，第一预设阈值t1大于第二预设阈值t2，第二预设阈值t2远大于第三预设阈值t3。
进一步地，如图8所示，步骤S34具体包括：
S341，将手势结束时掌心的横坐标以及手势开始时掌心的横坐标作差值处理，如果差值大于预设移动阈值；和/或，
S342，将手势结束时掌心的纵坐标以及手势开始时掌心的纵坐标作差值处理，如果差值大于预设移动阈值；则判断手势发生移动；
S343，根据手势结束以及开始时的横坐标差值以及纵坐标差值判断手势移动方向。
在步骤S341-S342中，将手势结束时掌心的横坐标以及手势开始时掌心的横坐标作差值处理，如果差值大于预设移动阈值；和/或，将手势结束时掌心的纵坐标以及手势开始时掌心的纵坐标作差值处理，如果差值大于预设移动阈值；则判断手势发生移动；
根据得到的掌心点坐标，设置预设移动阈值为v，当手势结束时与手势开始时的掌心横坐标移动量以及纵坐标移动量均小于预设移动阈值v时判定手势没有发生位移，当横坐标移动量或纵坐标移动量大于预设移动阈值v时判定手势发生了位移。
在步骤S343中，根据手势结束以及开始时的横坐标差值以及纵坐标差值判断手势移动方向具体是：
如果手势结束时掌心的横坐标与手势开始时掌心的横坐标的差值Δx大于0，则表示手势向身体侧移动；如果手势结束时掌心的横坐标与手势开始时掌心的横坐标的差值Δx小于0，则表示手势向远离身体侧移动；
如果手势结束时掌心的纵坐标与手势开始时掌心的纵坐标的差值Δy大于0，则表示手势向上移动；如果手势结束时掌心的纵坐标与手势开始时掌心的纵坐标的差值Δy小于0，则表示手势向下移动。
当判定发生移动时，根据根据公式：
进行坐标相减，分别得到掌心点在x，y方向上的移动量Δx与Δy，最后根据Δx与Δy的正负判断手势移动的方向，最终得到手势移动方向d。
在步骤S4-S5中，根据手指的弯曲度与手势的位移量，确定各个手指的弯曲度集合(h1，h2，h3，h4，h5)与手势移动方向d；根据各个手指的弯曲度集合h、手势移动方向d与手势意图序号r，确定意图判定集合I[r，(h1，h2，h3，h4，h5)，d]，通过将意图判定集合I与预先设置的手势-语义数据集比对来获取用户意图，实现柔性映射，如果存在匹配(意图判定集合I与预先设置的手势-语义数据集比对一致)，则映射成功；如果不存在匹配(意图判定集合I与预先设置的手势-语义数据集比对不一致)，则映射不存在。
基于特征差异的柔性映射方法需要建立手势与语义的一对多的灵活映射，因此，首先需要建立起手势数据集和手势-语义数据集。手势数据集由手势意图序号、手势特征(手势识别结果)与交互情境(目标检测结果)组成；手势-语义数据集则由手势意图序号、语义、手指弯曲度和手势方向等条件组成，它描述了手势在某种条件(手指弯曲度和手势方向、交互场景或交互情景)下与语义的映射关系。
如图9所示，基于柔性映射的人机交互过程可以分为信息输入与识别、特征值的计算与比较、意图获取。信息输入与识别的过程中，使用Kinect获取用户手势区域的深度和彩色图像，从而进行手势的识别。同时，通过对用户所处位置的目标检测来获取到当前的交互情境。最后，将手势识别结果与交互情境相结合获取手势意图序号。本发明技术方案中特征值的计算与比较的过程是进行柔性映射的关键，首先进行手势的分割与边缘检测以获取到手势的轮廓，其次对手势轮廓进行指尖检测和掌心检测以计算手指的弯曲程度和手势的移动方向，最后，将计算得到的特征值与特征阈值进行比较，获取各个特征的序号。获取意图的过程中，首先将得的的手势意图序号、特征序号相结合，形成意图判定集合(即意图判定序列)，然后将得到的意图判定集合与建立的手势-语义数据集(即柔性映射模型)进行计较，从而获取到用户的真实意图。
基于特征差异的柔性映射方法的关键就是将计算得到的特征值与认知实验获得的阈值进行比较，从而实现手势分类，完成映射。
柔性映射整体架构过程如图10所示，首先，将获取到的手势进行分割和二值化处理，得到手势的轮廓，为特征值的计算做准备。其次，将手势识别结果与目标检测结果相结合得到当前手势的意图序号r。然后，通过指尖检测与掌心检测获取到掌心和每个指尖的位置信息，从而计算出手指的弯曲度与手势的位移量，得到各个手指的弯曲度集合(h1，h2，h3，h4，h5)与手势移动方向d。最后，将这些特征序列与手势意图序号相结合即可得到意图判定集合I[r，(h1，h2，h3，h4，h5)，d]，通过将其与手势-语义数据集比对来获取用户意图，实现柔性映射。
需要说明的是，本发明各个步骤均可以通过程序语言编程实现，编程实现思路与各个步骤相对应，也可以通过其他方式实现，本发明在此不做限制。
本发明有效解决由于现有老年陪护机器人造成交互不方便、手势指令过多带来的记忆负担重的问题，通过目标物体检测的方式感知交互情境，利用基于视觉的手势识别技术来进行人机交互，利用用户在使用同一种手势表达不同语义时，由于对不同事物的认知不同而形成的特征差异作为柔性映射的基础，实现了同一交互情境下一种手势到多种语义的映射，摆脱了传统的一种指令对应一种操作的人机交互模式，这样只需要规定少量的手势即可以完成多个功能，同时，降低了老年人的认知负担，使得对陪护机器人的使用更加的简易、灵活。
本发明技术方案采用先通过曲率寻找指尖候选点，再对指尖候选点使用指尖候选点与掌心距离筛选的方法来进行目标指尖点的检测，这样既可以降低时空复杂度，又能减少指尖检测的误识率。
本发明技术方案采用Canny算法进行掌心位置检测，具有错误率低、定位性高、响应最小等优点。
实施例二
如图11所示，本发明技术方案还提供了一种面向陪护机器人的意图柔性映射装置，包括：
获取模块101，获取目标群体的手势以及手势周围所处的交互情景，并对获取的手势进行识别处理；
第一确定模块102，根据手势的识别结果以及手势周围所处的交互情景确定当前手势意图序号r；
计算模块103，通过掌心和每个指尖的位置信息，计算出手指的弯曲度与手势的位移量；
第二确定模块104，根据手指的弯曲度与手势的位移量，确定各个手指的弯曲度集合h与手势移动方向d；
比对模块105，根据各个手指的弯曲度集合h、手势移动方向d与手势意图序号r，确定意图判定集合I，通过将意图判定集合I与预先设置的手势-语义数据集比对来获取用户意图，实现柔性映射。
本发明有效解决由于现有老年陪护机器人造成交互不方便、手势指令过多带来的记忆负担重的问题，通过目标物体检测的方式感知交互情境，利用基于视觉的手势识别技术来进行人机交互，利用用户在使用同一种手势表达不同语义时，由于对不同事物的认知不同而形成的特征差异作为柔性映射的基础，实现了同一交互情境下一种手势到多种语义的映射，摆脱了传统的一种指令对应一种操作的人机交互模式，这样只需要规定少量的手势即可以完成多个功能，同时，降低了老年人的认知负担，使得对陪护机器人的使用更加的简易、灵活。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种面向陪护机器人的意图柔性映射方法，其特征是，包括：
获取目标群体的手势以及手势周围所处的交互情景，并对获取的手势进行识别处理；
根据手势的识别结果以及手势周围所处的交互情景确定当前手势意图序号r；
通过掌心和每个指尖的位置信息，计算出手指的弯曲度与手势的位移量；
根据手指的弯曲度与手势的位移量，确定各个手指的弯曲度集合h与手势移动方向d；
根据各个手指的弯曲度集合h、手势移动方向d与手势意图序号r，确定意图判定集合I，通过将意图判定集合I与预先设置的手势-语义数据集比对来获取用户意图，实现柔性映射。
2.根据权利要求1所述的面向陪护机器人的意图柔性映射方法，其特征是，通过掌心和每个指尖的位置信息，计算出手指的弯曲度与手势的位移量具体包括：
通过Canny算法对手势轮廓二值图计算掌心的位置坐标；
根据掌心位置的坐标以及指尖候选点确定目标指尖的位置坐标；
根据目标指尖的位置坐标以及掌心位置坐标计算手指的弯曲度；
根据手势开始时掌心的位置坐标以及手势结束时掌心的位置坐标确定手势移动方向。
3.根据权利要求2所述的面向陪护机器人的意图柔性映射方法，其特征是，通过Canny算法对手势轮廓二值图计算掌心的位置坐标具体包括：
使用Canny算法对手势二值图进行边缘检测；
提取手势的轮廓二值图，并根据空间矩表达式计算手势轮廓二值图的轮廓区域内横坐标总和u10以及轮廓区域内横坐标总和u01，空间矩表达式具体是：
uj，i＝∑x，y(array(x，y)·xj·yi)，uj，i为手势轮廓二值图的空间矩，array(x，y)为只有0、1的手势轮廓二值图像，i、j的取值为0或1，分别表示轮廓内外的像素，x为point类型中点向量的横坐标，y为point类型中点向量的纵坐标；
根据轮廓区域内横坐标总和u10、轮廓区域内横坐标总和u01、手势轮廓区域内非0像素总数u00通过质心坐标公式计算手势轮廓的质心坐标，即手势掌心位置，其中，质心横坐标公式具体是：
质心纵坐标公式具体是：
4.根据权利要求2所述的面向陪护机器人的意图柔性映射方法，其特征是，根据掌心位置的坐标以及指尖候选点确定目标指尖的位置坐标具体包括：
获取手势开始时轮廓的二值图，计算手势开始时轮廓点的曲率，筛选获得第一指尖候选点；
获取手势结束时轮廓的二值图，计算手势结束时轮廓点的曲率，筛选获得第二指尖候选点；
第一指尖候选点距掌心的距离与同一手指同一位置处的第二指尖候选点距掌心的距离不同的点为目标指尖点。
5.根据权利要求4所述的面向陪护机器人的意图柔性映射方法，其特征是，第一指尖候选点为曲率值大于预设曲率值的手势开始时的手势轮廓点，第二指尖候选点为曲率值大于预设曲率值的手势结束时的手势轮廓点。
6.根据权利要求2所述的面向陪护机器人的意图柔性映射方法，其特征是，根据目标指尖的位置坐标以及掌心位置坐标计算手指的弯曲度具体是：
根据各个目标指尖的位置坐标以及掌心位置坐标计算各个目标指尖与掌心的欧式距离Lm，根据各个目标指尖与掌心的欧式距离Lm确定各个目标指尖的弯曲度，其中，m为手指顺序。
7.根据权利要求6所述的面向陪护机器人的意图柔性映射方法，其特征是，根据各个目标指尖与掌心的欧式距离Lm确定各个目标指尖的弯曲度具体是：
如果Lm大于第一预设阈值，则所述目标手指轻微弯曲；如果Lm小于第一预设阈值且大于第二预设阈值，则所述目标手指正常弯曲；如果Lm小于第二预设阈值且大于第三预设阈值，则所述目标手指严重弯曲；如果Lm小于第三预设阈值，则所述目标手指完全弯曲。
8.根据权利要求2所述的面向陪护机器人的意图柔性映射方法，其特征是，根据手势开始时掌心的位置坐标以及手势结束时掌心的位置坐标确定手势移动方向具体包括：
将手势结束时掌心的横坐标以及手势开始时掌心的横坐标作差值处理，如果差值大于预设移动阈值；和/或，
将手势结束时掌心的纵坐标以及手势开始时掌心的纵坐标作差值处理，如果差值大于预设移动阈值；则判断手势发生移动；
根据手势结束以及开始时的横坐标差值以及纵坐标差值判断手势移动方向。
9.根据权利要求8所述的面向陪护机器人的意图柔性映射方法，其特征是，根据手势结束以及开始时的横坐标差值以及纵坐标差值判断手势移动方向具体是：
如果手势结束时掌心的横坐标与手势开始时掌心的横坐标的差值大于0，则表示手势向身体侧移动；如果手势结束时掌心的横坐标与手势开始时掌心的横坐标的差值小于0，则表示手势向远离身体侧移动；
如果手势结束时掌心的纵坐标与手势开始时掌心的纵坐标的差值大于0，则表示手势向上移动；如果手势结束时掌心的纵坐标与手势开始时掌心的纵坐标的差值小于0，则表示手势向下移动。
10.一种面向陪护机器人的意图柔性映射装置，其特征是，包括：
获取模块，获取目标群体的手势以及手势周围所处的交互情景，并对获取的手势进行识别处理；
第一确定模块，根据手势的识别结果以及手势周围所处的交互情景确定当前手势意图序号r；
计算模块，通过掌心和每个指尖的位置信息，计算出手指的弯曲度与手势的位移量；
第二确定模块，根据手指的弯曲度与手势的位移量，确定各个手指的弯曲度集合h与手势移动方向d；
比对模块，根据各个手指的弯曲度集合h、手势移动方向d与手势意图序号r，确定意图判定集合I，通过将意图判定集合I与预先设置的手势-语义数据集比对来获取用户意图，实现柔性映射。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011014566.1A CN112149574A (zh) | 2020-09-24 | 2020-09-24 | 一种面向陪护机器人的意图柔性映射方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011014566.1A CN112149574A (zh) | 2020-09-24 | 2020-09-24 | 一种面向陪护机器人的意图柔性映射方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112149574A true CN112149574A (zh) | 2020-12-29 |
Family
ID=73896469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011014566.1A Pending CN112149574A (zh) | 2020-09-24 | 2020-09-24 | 一种面向陪护机器人的意图柔性映射方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112149574A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284404A (zh) * | 2021-04-26 | 2021-08-20 | 广州九舞数字科技有限公司 | 一种基于用户动作的电子沙盘展示方法及装置 |
| CN113848790A (zh) * | 2021-09-28 | 2021-12-28 | 德州学院 | 一种智能看护型机器人系统及其控制方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140307919A1 (en) * | 2013-04-15 | 2014-10-16 | Omron Corporation | Gesture recognition device, gesture recognition method, electronic apparatus, control program, and recording medium |
| CN104992156A (zh) * | 2015-07-07 | 2015-10-21 | 济南大学 | 基于手势与多语义之间柔性映射的手势操控方法 |
| CN105138949A (zh) * | 2015-07-07 | 2015-12-09 | 济南大学 | 基于多手势与语义之间柔性映射的手势操控方法 |
| CN109933206A (zh) * | 2019-03-26 | 2019-06-25 | 长安大学 | 一种基于Leap Motion的手指无接触绘图方法及系统 |
| CN110414363A (zh) * | 2019-07-02 | 2019-11-05 | 中国科学院合肥物质科学研究院 | 一种基于高速图像处理的特征识别系统 |
-
2020
- 2020-09-24 CN CN202011014566.1A patent/CN112149574A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140307919A1 (en) * | 2013-04-15 | 2014-10-16 | Omron Corporation | Gesture recognition device, gesture recognition method, electronic apparatus, control program, and recording medium |
| CN104992156A (zh) * | 2015-07-07 | 2015-10-21 | 济南大学 | 基于手势与多语义之间柔性映射的手势操控方法 |
| CN105138949A (zh) * | 2015-07-07 | 2015-12-09 | 济南大学 | 基于多手势与语义之间柔性映射的手势操控方法 |
| CN109933206A (zh) * | 2019-03-26 | 2019-06-25 | 长安大学 | 一种基于Leap Motion的手指无接触绘图方法及系统 |
| CN110414363A (zh) * | 2019-07-02 | 2019-11-05 | 中国科学院合肥物质科学研究院 | 一种基于高速图像处理的特征识别系统 |
Non-Patent Citations (3)
| Title |
|---|
| 徐彪等: "手势识别与机械手掌仿真装置", 《计算机产品与流通》 * |
| 程淑红等: "基于手势多特征融合及优化Multiclass-SVC的手势识别", 《仪器仪表学报》 * |
| 邓卫斌等: "人机交互中手势图像手指指尖识别方法仿真", 《计算机仿真》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284404A (zh) * | 2021-04-26 | 2021-08-20 | 广州九舞数字科技有限公司 | 一种基于用户动作的电子沙盘展示方法及装置 |
| CN113848790A (zh) * | 2021-09-28 | 2021-12-28 | 德州学院 | 一种智能看护型机器人系统及其控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Athira et al. | A signer independent sign language recognition with co-articulation elimination from live videos: an Indian scenario | |
| Kumar et al. | A multimodal framework for sensor based sign language recognition | |
| Chakraborty et al. | Review of constraints on vision‐based gesture recognition for human–computer interaction | |
| Bandini et al. | Analysis of the hands in egocentric vision: A survey | |
| Hasan et al. | RETRACTED ARTICLE: Static hand gesture recognition using neural networks | |
| Shenoy et al. | Real-time Indian sign language (ISL) recognition | |
| Pan et al. | Real-time sign language recognition in complex background scene based on a hierarchical clustering classification method | |
| Qi et al. | Computer vision-based hand gesture recognition for human-robot interaction: a review | |
| Agrawal et al. | A survey on manual and non-manual sign language recognition for isolated and continuous sign | |
| Shin et al. | Skeleton-based dynamic hand gesture recognition using a part-based GRU-RNN for gesture-based interface | |
| WO2005114556A2 (en) | Sign based human-machine interaction | |
| Miah et al. | Rotation, Translation and Scale Invariant Sign Word Recognition Using Deep Learning. | |
| CN112149574A (zh) | 一种面向陪护机器人的意图柔性映射方法及装置 | |
| Huo et al. | Hand gesture recognition with augmented reality and leap motion controller | |
| Sarma et al. | Hand gesture recognition using deep network through trajectory-to-contour based images | |
| Pun et al. | Real-time hand gesture recognition using motion tracking | |
| Ito et al. | Japanese sign language classification based on gathered images and neural networks. | |
| Enikeev et al. | Recognition of sign language using leap motion controller data | |
| Jindal et al. | A comparative analysis of established techniques and their applications in the field of gesture detection | |
| Caplier et al. | Comparison of 2D and 3D analysis for automated cued speech gesture recognition | |
| Czupryna et al. | Real-time vision pointer interface | |
| Lahiani et al. | A survey on hand gesture recognition for mobile devices | |
| Huda et al. | Real-time hand-gesture recognition for the control of wheelchair | |
| Jothimani et al. | Sign and Machine Language Recognition for Physically Impaired Individuals | |
| Qiu et al. | Research on Intention Flexible Mapping Algorithm for Elderly Escort Robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201229 |
|
| RJ01 | Rejection of invention patent application after publication |