CN109048930A - 基于镜像视觉实现机器人舞蹈姿态自主评判的系统 - Google Patents

Abstract

本发明涉及一种基于镜像视觉实现机器人舞蹈姿态自主评判的系统，包括视觉摄像头、图像处理模块、自主学习模块和自主评判模块，视觉摄像头、图像处理模块、自主学习模块和自主评判模块依次建立数据传输连接，图像处理模块还与自主评判模块建立数据连接。采用该种系统，通过对机器人舞蹈姿态的镜像视觉图像采集、预处理、特征提取及特征融合，在建立舞蹈姿态样例集的基础上进行机器学习，建立舞蹈姿态自主评判模型，使机器人具备理解自身舞蹈姿态美感的能力，从视觉信息感知通道出发，实现了机器人更加精准评判自身舞蹈姿态的审美结果，具有如舞蹈治疗、机器人玩具等更广泛的应用范围。

Description

基于镜像视觉实现机器人舞蹈姿态自主评判的系统

技术领域

本发明涉及社会机器人领域，尤其涉及机器人自主认知领域，具体是指一种基于镜像视觉实现机器人舞蹈姿态自主评判的系统。

背景技术

社会机器人，是具有社会属性的一类机器人；近年来，已作为机器人学的新兴分支之一，获得了越来越多的关注。具体来说，社会机器人是指一种能与人类或其他智能体进行沟通交流，并在沟通交流过程中根据其所扮演的社会角色行使特定行为与准则的自主机器人。目前，社会机器人已以多种角色形式出现在人类社会之中，如：工作助手、服务员、宠物、生活伴侣等，为人类提供服务和帮助。

机器人舞蹈，是社会机器人承载的重要社会行为之一，是发展人工智能和人-机器人交互的一个重要途径。机器人舞蹈领域，根据研究内容的差异可以被分为四大类：合作式人-机器人舞蹈、模仿人类舞蹈动作、舞蹈与音乐同步、机器人舞蹈自主创作。其中，机器人舞蹈自主创作强调了机器人应通过与人交互并利用自身智能来创作出高品质舞蹈；同时，它关注着提升机器人自主认知能力以便使机器人能够理解自身产生的各种舞蹈对象，如：

舞蹈姿态、舞蹈动作、舞蹈等。值得注意的是，机器人对各种舞蹈对象的美感理解(审美)是其理解内容的重要组成部分，这样才能发挥出高品质舞蹈；并且在机器人舞蹈领域的四大类别之中，仅有机器人舞蹈自主创作具有上述美感理解(审美)要求。

作为机器人舞蹈的基础组成部分，机器人舞蹈姿态是一种静态身体造型，通常被用于表达情感、性格、情绪、语义和主题；同时，机器人舞蹈姿态也是作为机器人舞蹈中的一类重要舞蹈对象，需要机器人在舞蹈创作中自主理解其美感程度(自主审美)。若一个机器人能够自主感知其自身舞蹈姿态的美感，该机器人将通过舞蹈创作的形式表现出更加自主的能力与类人的行为，从而进一步提升人工智能水平，并为发展机器意识奠定一定的基础。因此，探索机器人舞蹈姿态的自主审美是有重要意义的。

关于机器人舞蹈领域中各种舞蹈对象的审美问题，许多学者进行了较为深入的研究，主要是从以下三种舞蹈对象上进行：机器人舞蹈姿态、机器人舞蹈动作和机器人舞蹈。然而，尽管人类在其舞蹈创作过程中对于自身舞蹈姿态审美方面积累了丰富的经验，但借鉴人类经验设计相关机器人舞蹈姿态自主审美方法的研究较少。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够从镜像图像中集成不同视觉特征来表征自身舞蹈姿态，实现机器人更加精准评判自身舞蹈姿态的审美结果的基于镜像视觉实现机器人舞蹈姿态自主评判的系统。

为了实现上述目的，本发明的基于镜像视觉实现机器人舞蹈姿态自主评判的系统具有如下构成：

该基于镜像视觉实现机器人舞蹈姿态自主评判的系统，其主要特点是，所述的系统包括视觉摄像头、图像处理模块、自主学习模块和自主评判模块，所述的视觉摄像头、图像处理模块、自主学习模块和自主评判模块依次建立数据传输连接，所述的图像处理模块还与所述的自主评判模块建立数据连接。

进一步地，所述的视觉摄像头用以采集所述的机器人在镜前展示样本舞蹈姿态的相应的样本镜像视觉图像，并将相应的样本镜像视觉图像的数据传输给所述的图像处理模块；以及所述的视觉摄像头用以采集所述的机器人在镜前展示新的舞蹈姿态的相应的新镜像视觉图像，并将相应的新镜像视觉图像的数据传输给所述的图像处理模块。

进一步地，所述的图像处理模块用以将样本镜像视觉图像处理得到相应的样本混合特征，并将相应的样本混合特征的数据传输给所述的自主学习模块；以及所述的图像处理模块用以将新镜像视觉图像处理得到相应的新混合特征，并将相应的新混合特征的数据传输给所述的自主评判模块。

其中，所述的图像处理模块包括图像预处理子模块、特征提取子模块、特征融合子模块。所述的图像预处理子模块包括依次连接的自动目标定位单元、目标分割单元和目标子图像加工单元。所述的特征提取子模块包括并列连接的FREAK特征提取单元和Hu不变矩特征提取单元。

所述的图像预处理子模块用以将相应的样本镜像视觉图像进行图像预处理获得相应的样本灰度图像和样本区域形状图像，并将相应的样本灰度图像和样本区域形状图像的数据传输给所述的特征提取子模块；以及图像预处理子模块用以将相应的新镜像视觉图像进行图像预处理获得相应的新灰度图像和新区域形状图像，并将相应的新灰度图像和新区域形状图像的数据传输给所述的特征提取子模块。所述的特征提取子模块用以从相应的样本灰度图像和样本区域形状图像中提取数个样本图像特征，并将所述的数个样本图像特征的数据传输给所述的特征融合子模块；以及所述的特征提取子模块用以从相应的新灰度图像和新区域形状图像中提取数个新图像特征，并将所述的数个新图像特征的数据传输给所述的特征融合子模块。所述的特征融合子模块用以将所述的数个样本图像特征融合得到相应的样本混合特征，并将相应的样本混合特征的数据传输给所述的自主学习模块；以及所述的特征融合子模块用以将所述的数个新图像特征融合得到相应的新混合特征，并将相应的新混合特征的数据传输给所述的自主评判模块。

进一步地，所述的自主学习模块用以根据相应的样本混合特征与自身植入的审美标签构成舞蹈姿态样例集，并基于所述的舞蹈姿态样例集进行机器学习，建立舞蹈姿态自主评判模型。

其中，所述的自主学习模块包括依次连接的审美标签存储子模块、舞蹈姿态样例集存储子模块、投票感知器算法子模块和舞蹈姿态自主评判模型存储子模块。

进一步地，所述的自主评判模块根据所述的舞蹈姿态自主评判模型和相应的新混合特征对新的舞蹈姿态进行自主评判。

采用了本发明的基于镜像视觉实现机器人舞蹈姿态自主评判的系统，通过对机器人舞蹈姿态的镜像视觉图像采集、预处理、特征提取及特征融合，在建立舞蹈姿态样例集的基础上进行机器学习，这为进一步机器人舞蹈自主创作奠定了基础；并且，视觉混合特征(基于角点的FREAK特征和Hu不变矩特征)能够较完整地刻画机器人舞蹈姿态，且对于机器自主审美来说是有效的特征；投票感知器算法是一种较为合适的机器学习方法，与上述舞蹈姿态样例集一起，能够较好地建立舞蹈姿态自主评判模型，使得机器人具备了理解自身舞蹈姿态美感的能力。从视觉信息感知通道出发，实现了机器人更加精准评判自身舞蹈姿态的审美结果，可以应用到如舞蹈治疗、机器人玩具等更广泛的范围。

附图说明

图1为本发明的基于镜像视觉实现机器人舞蹈姿态自主评判的系统的结构框图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

如图1所示，为本发明的基于镜像视觉实现机器人舞蹈姿态自主评判的系统的结构框图。所述的系统包括视觉摄像头、图像处理模块、自主学习模块和自主评判模块，视觉摄像头、图像处理模块、自主学习模块和自主评判模块依次建立数据传输连接，图像处理模块还与自主评判模块建立数据连接。

其中，所述的视觉摄像头用以采集所述的机器人在镜前展示样本舞蹈姿态的相应的样本镜像视觉图像，并将相应的样本镜像视觉图像的数据传输给所述的图像处理模块；以及所述的视觉摄像头用以采集所述的机器人在镜前展示新的舞蹈姿态的相应的新镜像视觉图像，并将相应的新镜像视觉图像的数据传输给所述的图像处理模块。

所述的图像处理模块用以将样本镜像视觉图像处理得到相应的样本混合特征，并将相应的样本混合特征的数据传输给所述的自主学习模块；以及所述的图像处理模块用以将新镜像视觉图像处理得到相应的新混合特征，并将相应的新混合特征的数据传输给所述的自主评判模块。

所述的图像处理模块还包括图像预处理子模块、特征提取子模块、特征融合子模块。所述的图像预处理子模块包括依次连接的自动目标定位单元、目标分割单元和目标子图像加工单元。所述的特征提取子模块包括并列连接的FREAK(Fast Retina Keypoint)特征提取单元和Hu不变矩特征提取单元。

所述的图像预处理子模块用以将相应的样本镜像视觉图像进行图像预处理获得相应的样本灰度图像和样本区域形状图像，并将相应的样本灰度图像和样本区域形状图像的数据传输给所述的特征提取子模块；以及图像预处理子模块用以将相应的新镜像视觉图像进行图像预处理获得相应的新灰度图像和新区域形状图像，并将相应的新灰度图像和新区域形状图像的数据传输给所述的特征提取子模块。

所述的特征提取子模块用以从相应的样本灰度图像和样本区域形状图像中提取数个样本图像特征，并将所述的数个样本图像特征的数据传输给所述的特征融合子模块；以及所述的特征提取子模块用以从相应的新灰度图像和新区域形状图像中提取数个新图像特征，并将所述的数个新图像特征的数据传输给所述的特征融合子模块。

所述的特征融合子模块用以将所述的数个样本图像特征融合得到相应的样本混合特征，并将相应的样本混合特征的数据传输给所述的自主学习模块；以及所述的特征融合子模块用以将所述的数个新图像特征融合得到相应的新混合特征，并将相应的新混合特征的数据传输给所述的自主评判模块。

所述的自主学习模块用以根据相应的样本混合特征与自身植入的审美标签构成舞蹈姿态样例集，并基于所述的舞蹈姿态样例集进行机器学习，建立舞蹈姿态自主评判模型。

所述的自主学习模块包括投票感知器算法子模块、审美标签存储子模块、舞蹈姿态样例集存储子模块和舞蹈姿态自主评判模型存储子模块。所述的自主学习模块根据审美标签存储子模块中存储的审美标签组的数据和传输过来的相应的样本混合特征的数据，经过归一化、组合之后构成舞蹈姿态样例集，存储于舞蹈姿态样例集存储子模块，并通过投票感知器算法子模块基于该舞蹈姿态样例集进行机器学习，建立舞蹈姿态自主评判模型，存储于舞蹈姿态自主评判模型存储子模块。

所述的自主评判模块根据所述的舞蹈姿态自主评判模型和相应的新混合特征对新的舞蹈姿态进行自主评判。

在具体实施时，以一个双足类人机器人为例，通过其“眼睛”(视觉摄像头)捕获镜中自身舞蹈姿态图像(即镜像视觉图像)，该图像为RGB彩色图像。接下来，进行图像处理、自主学习和自主评判。其中，图像处理包括图像预处理阶段、特征提取阶段和特征融合阶段。图像预处理阶段分三个步骤进行：自动目标定位、目标分割、目标子图像加工。

其中，自动目标定位是在镜像视觉图像(原始图像)上自动定位机器人的准确位置；而目标分割则根据在原始图像上的机器人位置，将机器人本体(前景)从背景中分割出来；而目标子图像加工则是在分割出来的机器人本体子图像上作进一步图像加工，为特征提取准备好相关子图像(灰度图像和区域形状图像)。在特征提取阶段，将从灰度图像和区域形状图像中分别提取出两种特征：基于角点的FREAK特征和Hu不变矩特征。在特征融合阶段，则将上述两种特征融合在一起，共同表征机器人舞蹈姿态。

然后使用监督学习的方法进行机器审美模型训练，在观察机器人实施样本舞蹈姿态后进行人工审美标注。这样，机器人采集到的舞蹈姿态由混合特征进行刻画，形成了样本；同时，在该舞蹈姿态上得到了审美标签；两者共同构成了一个机器人舞蹈姿态样例。当足够的机器人舞蹈姿态样例获得后，形成样例集，进而可以进行机器学习，训练对应的机器审美模型。在机器审美模型训练完毕后，即可对新的机器人舞蹈姿态进行自主审美评判。

在一个具体实施例中，自动目标定位方法如下：

a)读取镜像视觉图像(原始图像)I1；

b)转换RGB彩色图像I1成为单一灰度图像I2；

c)在灰度图像I2上侦测所有SURF(Speeded Up Robust Features，加速稳健特征)特征点位置；

d)选择强度最大的N个SURF特征点，同时去除奇异的SURF特征点(离图像边界过近)；

e)基于上述强度最大的N’个SURF特征点位置(去除奇异点后)，得到对应的最小外接矩形MER；

f)设置合理的偏置，修正最小外接矩形MER的左上角顶点位置、宽和高，即将MER的左上角顶点位置横纵坐标、宽和高分别加上对应的偏置值(单位：像素)，得到近似最小外接矩形AMER；

g)将近似最小外接矩形AMER绘制在原始图像上，标记机器人本体的位置。

在一个具体实施例中，区域形状图像提取方法如下：

a)读取目标分割所得到的机器人本体子图像RI1；

b)转换RGB彩色图像RI1成为单一灰度图像RI2；

c)二值化灰度图像RI2成为黑白图像RI3；

d)使用八向连通种子填充算法对黑白图像RI3填充孔洞，得到图像RI4；

e)腐蚀图像RI4，得到图像RI5；

f)膨胀图像RI5，得到结果图像RI6(即区域形状图像)。

在一个具体实施例中，特征提取阶段主要提取两类特征：一类是基于灰度图像产生的，它通过计算角点的FREAK(Fast Retina Keypoint)特征得到；另一类是基于区域形状图像产生的，它通过计算区域的Hu不变矩特征得到。值得注意的是，灰度图像和区域形状图像均是基于机器人本体子图像(目标分割的结果)所产生的。由于角点从一定程度上反映了物体轮廓的特征，在目标匹配、目标跟踪上具有良好的效果；同时，由于灰度图像中过滤掉了背景，仅包含机器人本体的前景，故检测后所获得的角点集中于机器人本体之上。因此，本实施例在灰度图像上使用角点来定位特征点，在角点处提取FREAK特征。另外，由于Hu不变矩对二维物体的描述具有旋转、缩放和平移不变性，因此，本实施例在区域形状图像上使用Hu不变矩作为特征。

针对机器人舞蹈姿态镜像图像，特征提取阶段提取了两种视觉特征：基于角点的FREAK特征和Hu不变矩特征，它们分别从不同的角度刻画了机器人舞蹈姿态的内在本质。显然，将这两种特征融合在一起，可以更加完整地描述机器人舞蹈姿态。

由于投票感知器算法(Voted Perceptron)学习时间和预测速度更好一些；因此，本实施例选择其作为训练机器审美模型的机器学习方法。

采用了本发明的基于镜像视觉实现机器人舞蹈姿态自主评判的系统，通过对机器人舞蹈姿态的镜像视觉图像采集、预处理、特征提取及特征融合，在建立舞蹈姿态样例集的基础上进行机器学习，这为进一步机器人舞蹈自主创作奠定了基础，并且，视觉混合特征(基于角点的FREAK特征和Hu不变矩特征)能够较完整地刻画机器人舞蹈姿态，且对于机器自主审美来说是有效的特征；投票感知器算法是一种较为合适的机器学习方法，与上述舞蹈姿态样例集一起，能够较好地建立舞蹈姿态自主评判模型，使得机器人具备了理解自身舞蹈姿态美感的能力。从视觉信息感知通道出发，实现了机器人更加精准评判自身舞蹈姿态的审美结果，可以应用到如舞蹈治疗、机器人玩具等更广泛的范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (10)

1.一种基于镜像视觉实现机器人舞蹈姿态自主评判的系统，其特征在于，所述的系统包括视觉摄像头、图像处理模块、自主学习模块和自主评判模块，所述的视觉摄像头、图像处理模块、自主学习模块和自主评判模块依次建立数据传输连接，所述的图像处理模块还与所述的自主评判模块建立数据连接。

2.根据权利要求1所述的基于镜像视觉实现机器人舞蹈姿态自主评判的系统，其特征在于，所述的视觉摄像头用以采集所述的机器人在镜前展示样本舞蹈姿态的相应的样本镜像视觉图像，并将相应的样本镜像视觉图像的数据传输给所述的图像处理模块；以及所述的视觉摄像头用以采集所述的机器人在镜前展示新的舞蹈姿态的相应的新镜像视觉图像，并将相应的新镜像视觉图像的数据传输给所述的图像处理模块。

3.根据权利要求2所述的基于镜像视觉实现机器人舞蹈姿态自主评判的系统，其特征在于，所述的图像处理模块用以将样本镜像视觉图像处理得到相应的样本混合特征，并将相应的样本混合特征的数据传输给所述的自主学习模块；以及所述的图像处理模块用以将新镜像视觉图像处理得到相应的新混合特征，并将相应的新混合特征的数据传输给所述的自主评判模块。

4.根据权利要求3所述的基于镜像视觉实现机器人舞蹈姿态自主评判的系统，其特征在于，所述的图像处理模块包括图像预处理子模块、特征提取子模块、特征融合子模块。

5.根据权利要求4所述的基于镜像视觉实现机器人舞蹈姿态自主评判的系统，其特征在于，所述的图像预处理子模块用以将相应的样本镜像视觉图像进行图像预处理获得相应的样本灰度图像和样本区域形状图像，并将相应的样本灰度图像和样本区域形状图像的数据传输给所述的特征提取子模块；以及图像预处理子模块用以将相应的新镜像视觉图像进行图像预处理获得相应的新灰度图像和新区域形状图像，并将相应的新灰度图像和新区域形状图像的数据传输给所述的特征提取子模块。

6.根据权利要求4或5所述的基于镜像视觉实现机器人舞蹈姿态自主评判的系统，其特征在于，所述的图像预处理子模块包括依次连接的自动目标定位单元、目标分割单元和目标子图像加工单元。

7.根据权利要求4所述的基于镜像视觉实现机器人舞蹈姿态自主评判的系统，其特征在于，所述的特征提取子模块用以从相应的样本灰度图像和样本区域形状图像中提取数个样本图像特征，并将所述的数个样本图像特征的数据传输给所述的特征融合子模块；以及所述的特征提取子模块用以从相应的新灰度图像和新区域形状图像中提取数个新图像特征，并将所述的数个新图像特征的数据传输给所述的特征融合子模块。

8.根据权利要求4所述的基于镜像视觉实现机器人舞蹈姿态自主评判的系统，其特征在于，所述的特征融合子模块用以将所述的数个样本图像特征融合得到相应的样本混合特征，并将相应的样本混合特征的数据传输给所述的自主学习模块；以及所述的特征融合子模块用以将所述的数个新图像特征融合得到相应的新混合特征，并将相应的新混合特征的数据传输给所述的自主评判模块。

9.根据权利要求3所述的基于镜像视觉实现机器人舞蹈姿态自主评判的系统，其特征在于，所述的自主学习模块用以根据相应的样本混合特征与自身植入的审美标签构成舞蹈姿态样例集，并基于所述的舞蹈姿态样例集进行机器学习，建立舞蹈姿态自主评判模型。

10.根据权利要求9所述的基于镜像视觉实现机器人舞蹈姿态自主评判的系统，其特征在于，所述的自主评判模块根据所述的舞蹈姿态自主评判模型和相应的新混合特征对新的舞蹈姿态进行自主评判。