CN109815890A - 实现机器人舞蹈姿态自主审美理解与判断的系统 - Google Patents

Abstract

本发明涉及一种实现机器人舞蹈姿态自主审美理解与判断的系统，其中包括用于捕获机器人舞蹈姿态镜像图像的视觉信号捕获模块、用于视觉元素初级加工的视觉感知模块、用于处理审美对象统一表征、审美经验积累以及进行审美判断的神经加工决策模块、用于报告或应用审美判断结果的行为扩展模块。采用本发明的实现机器人舞蹈姿态自主审美理解与判断的系统，使用了一种仿人脑的、可计算的审美认知神经模型，从视觉信息感知入手，让机器人具备理解自身舞蹈姿态美感并能实施自主审美判断的能力，且结构简单，便于实现，具有更广泛的应用范围。

Description

实现机器人舞蹈姿态自主审美理解与判断的系统

技术领域

本发明涉及社会机器人领域，尤其涉及机器人自主认知领域，具体是指一种实现机器人舞蹈姿态自主审美理解与判断的系统。

背景技术

审美是人脑的高级认知功能之一，其任务为感知对象的美感。同时，审美也是一个复杂的心理活动过程，它涉及到许多心理子过程(如：感知、记忆、判断等)，并伴随着大量神经心理活动。为了理解人脑中完成审美功能的具体过程，对人脑审美神经机制研究是一种必要的科学基础。通过运用脑科学和认知神经科学方法，神经美学研究了人脑与审美机制之间的关系，探索了人脑的神经活动过程和神经处理机制。

由于神经美学是一个新兴的交叉学科，且人脑深层次的审美机理仍有待进一步揭示，故现有的审美认知神经模型主要有以下三种：(1)Chatterjee提出的视觉审美的认知神经模型；(2)等人提出的审美加工的三阶段模型；(3)Leder等人提出的审美体验的五阶段加工模型。

对人类行为的模仿，是发展机器人自主能力和智能水平的一种有效途径。在人类舞蹈活动中，人类舞者常常通过镜子观察他们自己的舞蹈姿态，并使用所积累的审美经验自主完成这些舞蹈姿态的审美评价。通过模仿这一人类舞蹈行为，立于镜前的双足类人机器人通过镜观也能自主完成其自身舞蹈姿态的审美评价。

在对上述人类舞蹈行为的模仿中，为进一步提升机器人的认知能力和自主能力，发展人工智能，需要让机器人能以类似于人脑的视觉审美认知加工方式，对显现在镜中的自身舞蹈姿态进行自主审美评价。然而，现有的审美认知神经模型无法计算，且针对视觉的可计算审美认知模型研究较少；同时，针对基于仿人脑的、可计算的审美认知神经模型的机器人舞蹈姿态自主审美系统研究较少。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够将审美认知模型可计算化、结构简单、便于实现的实现机器人舞蹈姿态自主审美理解与判断的系统。

为了实现上述目的，本发明的实现机器人舞蹈姿态自主审美理解与判断的系统具有如下构成：

该实现机器人舞蹈姿态自主审美理解与判断的系统，其主要特点是，所述的系统包括视觉信号捕获模块、视觉感知模块、神经加工决策模块，其中：

所述的视觉信号捕获模块用于提取所述的机器人舞蹈姿态对应的机器人舞蹈姿态镜像图像并将所述的机器人舞蹈姿态镜像图像传输给所述的视觉感知模块。所述的视觉信号捕获模块的功能相当于人类的视觉感受器(人眼)。

所述的视觉感知模块用于视觉元素初级加工，即提取所述的机器人舞蹈姿态镜像图像中的初级视觉特征并将所述的初级视觉特征传输给所述的神经加工决策模块；

所述的神经加工决策模块用于处理审美对象统一表征、审美经验积累以及进行审美判断，具体为：融合所述的初级视觉特征得到相应的审美对象统一表征，训练机器审美模型并存储相应的已训练的机器审美模型的参数，以及所述的神经加工决策模块根据所述的已训练的机器审美模型的参数恢复已训练的机器审美模型并结合经过所述的审美对象统一表征后的机器人舞蹈姿态进行审美判断。

进一步地，所述的视觉感知模块包括依次连接的目标定位子模块、目标分割子模块和特征提取子模块，其中：

所述的目标定位子模块用于接收所述的视觉信号捕获模块传输的机器人舞蹈姿态镜像图像，并定位所述的机器人舞蹈姿态镜像图像中的机器人本体的位置；该子模块的功能相当于人脑对视觉刺激中感兴趣目标的注意。

所述的目标分割子模块用于将所述的机器人本体从所述的机器人舞蹈姿态镜像图像中分割出来，并形成所述的机器人舞蹈姿态镜像子图像；该子模块的功能相当于人脑对视觉刺激中感兴趣目标从背景环境中的分离。

所述的特征提取子模块用于处理及提取所述的机器人舞蹈姿态镜像子图像的初级视觉特征，并将所述的初级视觉特征传输给所述的神经加工决策模块；该子模块的功能相当于人脑对视觉刺激中感兴趣目标的视觉元素的提取。

进一步地，所述的神经加工决策模块包括特征组合子模块、数据存储子模块、数据获取子模块、审美理解子模块和审美判断子模块，所述的特征组合子模块分别与所述的数据存储子模块和审美判断子模块连接，所述的数据存储子模块还分别与所述的数据获取子模块和审美理解子模块连接，所述的审美理解子模块还分别与所述的数据获取子模块和审美判断子模块连接。

更进一步地，所述的特征组合子模块用于融合所述的初级视觉特征得到相应的机器人舞蹈姿态的统一表征，即审美对象统一表征；所述的数据存储子模块包括存储机器人舞蹈姿态训练样例集的样例集子单元和存储所述的已训练的机器审美模型的参数的参数子单元；所述的数据获取子模块用于提取所述的数据存储子模块中样例集子单元内的机器人舞蹈姿态训练样例集，或提取所述的数据存储子模块中参数子单元内的已训练的机器审美模型的参数，并传输给所述的审美理解子模块；所述的审美理解子模块用于调取所述的数据存储子模块的机器人舞蹈姿态训练样例集数据并训练得到相应的已训练的机器审美模型，并将该已训练的机器审美模型的参数存入所述的数据存储子模块中，以及，所述的审美理解子模块通过所述的数据获取子模块传输已训练的机器审美模型的参数恢复相应的已训练的机器审美模型；所述的审美判断子模块结合所述的审美理解子模块所恢复的、已训练的机器审美模型，和所述的特征组合子模块传输的、经过审美对象统一表征后的机器人舞蹈姿态，进行审美判断得到相应的审美结果。

其中，所述的初级视觉特征包括颜色特征、形状特征和方位特征，这与人脑中提取的视觉元素是保持一致的，所述的审美对象统一表征即颜色特征、形状特征和方位特征融合得到的一种混合特征。特征组合子模块的功能相当于人脑对视觉刺激中感兴趣目标的内在统一表征；数据存储子模块的功能相当于人脑的“记忆”机制；数据获取子模块的功能相当于人脑的“回忆”机制；审美理解子模块的功能相当于人脑的“思考”机制；审美判断子模块的功能相当于人脑的“决策”机制；所述的机器人舞蹈姿态训练样例集中每一个训练样例的构成包括经过所述的特征组合子模块处理的、对应于一个已知机器人舞蹈姿态的审美对象统一表征，以及人为植入的、对应于该已知机器人舞蹈姿态的审美标签。

更进一步地，所述的系统还包括行为扩展模块，用以输出所述的神经加工决策模块的审美判断结果。其中，所述的行为扩展模块通过文字、语音或图像输出所述的神经加工决策模块的审美判断结果。行为扩展模块的功能相当于人类的外部行为或活动。

采用了本发明的实现机器人舞蹈姿态自主审美理解与判断的系统，基于一种仿人脑的、可计算的审美认知神经模型，该系统的框架由三个阶段构成：视觉感知、神经加工决策以及行为扩展，在视觉感知阶段中，出现在视觉图像中的一个审美对象(目标)将被自动地定位，然后将从背景中分割出来，最后用于从不同方面描述该审美对象的三种特征(颜色特征、形状特征、方位特征)将被提取出来；在神经加工决策阶段，基于上述三种特征进行融合，得到一种更为完整和准确的混合特征，实现审美对象统一表征；考虑到人类审美经验的形成是一个监督学习的过程，基于所获得的上述训练样例集，一个好的机器审美模型将被训练得到，其模型参数将作为“记忆”部分被存储。当一个新的审美对象需要被审美判断时，将通过获取已存储的模型参数来恢复得到所训练的机器审美模型，从而实现自主审美判断；在行为扩展阶段，审美判断的结果将被输出，作为报告的实现；另外，审美判断的结果可应用于引导进一步的活动(如：创作、教育等)，具有更广泛应用范围。

附图说明

图1为本发明的实现机器人舞蹈姿态自主审美理解与判断的系统的结构框图。

图2为本发明的实现机器人舞蹈姿态自主审美理解与判断的系统的机器人舞蹈姿态镜像图像。

图3为本发明的实现机器人舞蹈姿态自主审美理解与判断的系统的机器人舞蹈姿态区域形状子图像。

图4为本发明的实现机器人舞蹈姿态自主审美理解与判断的系统的机器人舞蹈姿态色块分布子图像。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

如图1所示，为本发明的实现机器人舞蹈姿态自主审美理解与判断的系统的结构框图。

在一个具体实施方式中，以双足类人机器人为例，机器人身上的重要部位(如：头部、肩膀、手臂、腿部等)需要标示出具有独特颜色的色块，以区别于其涉身环境，本发明的系统需要实现以下几个功能：

1)自动目标定位

机器人站在镜子前面对自身舞蹈姿态进行采集，视觉信号捕获模块获得机器人舞蹈姿态镜像图像，如图2所示，视觉感知模块的目标定位子模块根据机器人身体部位上的独特颜色(作为前景色)进行颜色过滤，其他颜色置为黑色(作为背景色)；然后，根据颜色过滤结果(色块颜色的空间分布)进行定位，估计一个近似最小外接矩形，使其既能够包含所有具有色块颜色的像素，也能尽可能完整地将机器人本体在原始图像上纳入其中。

2)目标分割

为了将机器人本体(前景)从原始图像中分离出来，本实施例中视觉感知模块的目标分割子模块使用GrabCut图像分割算法，使用自动目标定位中计算得到的近似最小外接矩形，作为GrabCut算法的输入，实现机器人本体的前景分割，产生机器人舞蹈姿态镜像子图像。

3)特征提取

视觉感知模块的特征提取子模块需要提取所述的机器人舞蹈姿态镜像子图像的视觉特征，包括颜色特征、形状特征和方位特征。

首先，基于机器人舞蹈姿态镜像子图像，通过运用一些图像处理方法(包括：灰度化、二值化、孔洞填充、腐蚀、膨胀)，产生对应的机器人舞蹈姿态区域形状子图像如图3所示，并通过颜色阈值法过滤出色块颜色产生机器人舞蹈姿态色块分布子图像如图4所示。

在机器人舞蹈姿态镜像子图像上，使用颜色矩方法计算颜色特征。具体来说，将机器人舞蹈姿态镜像子图像划分为25个大小相同的子图像，每个子图像上的每个颜色通道均需计算一组颜色矩，包括：一阶矩(均值)E_i，二阶矩(方差)σ_i，三阶矩(斜度)s_i.

其中，p_ij为第j个图像像素在第i个颜色通道上的值，N为图像中像素总数。颜色矩在RGB彩色空间中被计算。

在机器人舞蹈姿态区域形状子图像上，使用Hu不变矩方法计算形状特征。在Hu不变矩方法中，7个Hu不变矩的定义如下：

其中，τ_jk为归一化的(j+k)阶中心矩：

另外，M_jk为在离散数字图像上基于区域形状f(x,y)的(j+k)阶中心距，M₀₀为(0+0)阶中心距：

其中，V和U分别指的是图像的高度和宽度，指的是区域形状的重心。

在机器人舞蹈姿态区域形状子图像及机器人舞蹈姿态色块分布子图像上，分别计算得到机器人的区域形状质心和机器人身上各个色块的质心，并映射到机器人舞蹈姿态区域形状子图像；以区域形状质心为中心将机器人舞蹈姿态区域形状子图像划分为n个象限，并判断各象限中是否存在色块质心以及统计各象限中出现的色块质心的数量，通过使用n位方位编码器和色块空间分布直方图方法，提取方位特征，具体为：

a)基于机器人舞蹈姿态区域形状子图像，计算机器人舞蹈姿态的形状区域质心的位置；并基于该形状区域质心，引4条经过该质心的直线，将机器人舞蹈姿态区域形状子图像的整个空间划分为8个象限，象限按顺序编号。

b)统计每个象限中是否出现色块质心的情况，汇总到八个象限的整体情况，该整体情况由一个八位方位编码器(八位整数)来描述。在这个八位方位编码器中，每一位(bit)对应着一个象限，以象限编号的逆序组合编码。具体来说，从右至左，第i位描述了第i个象限中是否出现了色块质心；若是，则第i位取值为1，否则为0。这样，对于一个机器人舞蹈姿态镜像子图像，总存在一个对应的基于八象限分割的区域形状子图像，进而对应着一个八位方位编码表征各个色块的空间分布整体情况。作为最完整的情况，即每个象限之中都有色块质心出现，其对应的八位方位编码为11111111(对应于十进制数255)。为产生机器人舞蹈姿态的方位特征，每个八位方位编码需要使用进一步的归一化处理，每个八位方位编码(八位整数)对应的十进制数除以255。若某个机器人舞蹈姿态镜像子图像对应的八位方位编码为01110111(对应于十进制数119)，则其对应的归一化结果为0.4667 (由119除以255得到，保留四位小数)。这样，对于一个机器人舞蹈姿态镜像子图像，上述归一化的八位方位编码是计算得到的一个用于表征机器人舞蹈姿态的象限方位特征。

c)假设在机器人舞蹈姿态镜像子图像中存在W个具有特定颜色的色块，整个图像空间被划分为Z个(划分方法应根据具体任务被设计)。那么，色块质心的总数目为W个。同时假设T(i)为出现在第i个象限中的色块质心数目，则色块空间分布直方图H的定义如下：

h_i＝T(i)，i＝1，2，...，Z (5)

而对应的归一化处理后的色块空间分布直方图H’的定义如下：

若某个机器人舞蹈姿态镜像子图像，其色块空间分布直方图H为(1,5,2,0,1,2,1,0)，则其归一化处理后的色块空间分布直方图H’为(0.0833,0.4167,0.1667,0,0.0833,0.1667, 0.0833,0)。这样，针对机器人舞蹈姿态镜像子图像及上述八象限划分图像空间方法， (h′₁，h′₂，h′₃，h′₄，h′₅，h′₆，h′₇，h′₈)(Z＝8)用于存储色块质心空间分布的归一化定量统计。因此，对于一个机器人舞蹈姿态镜像子图像，上述归一化处理后的色块空间分布直方图H’是计算得到的另一个用于表征机器人舞蹈姿态的空间方位特征。

4)审美对象统一表征

神经加工决策模块的特征组合子模块将颜色特征、形状特征和方位特征进行特征融合，得到相应的混合特征，形成机器人舞蹈姿态的统一表征，即审美对象统一表征。具体来说，经过归一化处理后的颜色矩特征、Hu不变矩特征、8位方位编码及色块空间分布直方图共同构成该混合特征，统一表征机器人舞蹈姿态。

5)审美经验积累

为使机器人拥有对自身舞蹈姿态进行审美判断的能力，需要通过训练对应的机器审美模型使其积累审美经验，实现对自身舞蹈姿态的审美理解。首先需要准备机器人舞蹈姿态训练样例集。每个机器人舞蹈姿态训练样例由两部分构成：经过特征组合子模块处理的、对应于一个已知机器人舞蹈姿态的统一表征该机器人舞蹈姿态的特征值，以及刻画该已知机器人舞蹈姿态的审美标记(例如“好”或“不好”)。在机器人舞蹈姿态训练样例集建好后存入神经加工决策模块的数据存储子模块中，用于训练机器审美模型。

本实施例中，神经加工决策模块的审美理解子模块选用Bagging方法作为具体的机器学习方法，训练机器审美模型。

首先，针对机器人舞蹈姿态训练样例集，抽取K个训练样例子集(K个训练子集之间是相互独立的)。具体为，每轮从机器人舞蹈姿态训练样例集中使用Bootstraping的方法抽取n个训练样例(在训练样例子集中，有些样例可能被多次抽取到，而有些样例可能一次都没有被抽中)，共进行K轮抽取，得到K个训练子集。

其次，每次使用一个训练样例子集训练得到一个模型，K个训练样例子集共得到K个模型。其中，Bagging方法中所使用的基分类器为REPTree。

然后，将上一步得到的K个模型采用投票的方式得到相应的审美分类结果。

最后，将审美理解子模块学习训练得到的相应的机器审美模型的参数存入数据存储子模块中，以便于在为审美判断子模块服务时能够提取到这些参数恢复已训练的机器审美模型。

数据存储子模块中包括样例集子单元和参数子单元。其中，样例集子单元存储的机器人舞蹈姿态样例集，用于在进行机器审美模型训练时，通过数据获取子模块为审美理解子模块提供训练机器审美模型的数据；参数子单元存储的是已训练好的(已学习到的)机器审美模型的参数，用于在进行审美判断时，通过数据获取子模块为审美理解子模块提供恢复已训练的机器审美模型的参数。

6)新的机器人舞蹈姿态的审美判断

当审美经验积累完毕后，即机器审美模型训练结束后，视觉信号捕获模块提取新的机器人舞蹈姿态镜像图像能在视觉感知和统一表征的基础上获得其新的混合特征，结合已训练的机器审美模型，可以对其实施自主审美判断。这需要通过特征组合子模块融合新的初级视觉特征以形成新的审美对象统一表征，并通过数据获取子模块读取已训练的机器审美模型的参数，在审美理解子模块中恢复已训练的机器审美模型，审美判断子模块根据新的审美对象统一表征和恢复的已训练的机器审美模型进行审美判断。

7)输出机器人舞蹈姿态的审美判断结果

通过文字、语音、图像等多种方式均可实现机器人舞蹈姿态的审美判断结果的输出，可以根据实际需要进行选择。

采用了本发明的实现机器人舞蹈姿态自主审美理解与判断的系统，基于一种仿人脑的、可计算的审美认知神经模型，该系统的框架由三个阶段构成：视觉感知、神经加工决策以及行为扩展，在视觉感知阶段中，出现在视觉图像中的一个审美对象(目标)将被自动地定位，然后将从背景中分割出来，最后用于从不同方面描述该审美对象的三种特征(颜色特征、形状特征、方位特征)将被提取出来；在神经加工决策阶段，基于上述三种特征进行融合，得到一种更为完整和准确的混合特征，实现审美对象统一表征；考虑到人类审美经验的形成是一个监督学习的过程，基于所获得的上述训练样例集，一个好的机器审美模型将被训练得到，其模型参数将作为“记忆”部分被存储。当一个新的审美对象需要被审美判断时，将通过获取已存储的模型参数来恢复得到所训练的机器审美模型，从而实现自主审美评价；在行为扩展阶段，审美判断的结果将被输出，作为报告的实现；另外，审美判断的结果可应用于引导进一步的活动(如：创作、教育等)，具有更广泛应用范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (12)

1.一种实现机器人舞蹈姿态自主审美理解与判断的系统，其特征在于，所述的系统包括视觉信号捕获模块、视觉感知模块、神经加工决策模块，其中：

所述的视觉信号捕获模块用于提取所述的机器人舞蹈姿态对应的机器人舞蹈姿态镜像图像并将所述的机器人舞蹈姿态镜像图像传输给所述的视觉感知模块；

所述的视觉感知模块用于视觉元素初级加工，即提取所述的机器人舞蹈姿态镜像图像中的初级视觉特征并将所述的初级视觉特征传输给所述的神经加工决策模块；

所述的神经加工决策模块用于融合所述的初级视觉特征得到相应的审美对象统一表征，训练机器审美模型并存储相应的已训练的机器审美模型的参数，以及所述的神经加工决策模块根据所述的已训练的机器审美模型的参数恢复已训练的机器审美模型并结合经过所述的审美对象统一表征后的机器人舞蹈姿态进行审美判断。

2.根据权利要求1所述的实现机器人舞蹈姿态自主审美理解与判断的系统，其特征在于，所述的视觉感知模块包括依次连接的目标定位子模块、目标分割子模块和特征提取子模块，其中：

所述的目标定位子模块用于接收所述的视觉信号捕获模块传输的机器人舞蹈姿态镜像图像，并定位所述的机器人舞蹈姿态镜像图像中的机器人本体的位置；

所述的目标分割子模块用于将所述的机器人本体从所述的机器人舞蹈姿态镜像图像中分割出来，并形成所述的机器人舞蹈姿态镜像子图像；

所述的特征提取子模块用于处理及提取所述的机器人舞蹈姿态镜像子图像的初级视觉特征，并将所述的初级视觉特征传输给所述的神经加工决策模块。

3.根据权利要求1所述的实现机器人舞蹈姿态自主审美理解与判断的系统，其特征在于，所述的神经加工决策模块包括特征组合子模块、数据存储子模块、数据获取子模块、审美理解子模块和审美判断子模块，所述的特征组合子模块分别与所述的数据存储子模块和审美判断子模块连接，所述的数据存储子模块还分别与所述的数据获取子模块和审美理解子模块连接，所述的审美理解子模块还分别与所述的数据获取子模块和审美判断子模块连接。

4.根据权利要求3所述的实现机器人舞蹈姿态自主审美理解与判断的系统，其特征在于，所述的特征组合子模块用于融合所述的初级视觉特征得到相应的机器人舞蹈姿态的统一表征，即审美对象统一表征。

5.根据权利要求4所述的实现机器人舞蹈姿态自主审美理解与判断的系统，其特征在于，所述的数据存储子模块包括存储机器人舞蹈姿态训练样例集的样例集子单元和存储所述的已训练的机器审美模型的参数的参数子单元。

6.根据权利要求5所述的实现机器人舞蹈姿态自主审美理解与判断的系统，所述的机器人舞蹈姿态训练样例集中每一个训练样例的构成包括经过所述的特征组合子模块处理的、对应于一个已知机器人舞蹈姿态的审美对象统一表征，以及人为植入的、对应于该已知机器人舞蹈姿态的审美标签。

7.根据权利要求6所述的实现机器人舞蹈姿态自主审美理解与判断的系统，其特征在于，所述的数据获取子模块用于提取所述的数据存储子模块中样例集子单元内的机器人舞蹈姿态训练样例集，或提取所述的数据存储子模块中参数子单元内的已训练的机器审美模型的参数，并传输给所述的审美理解子模块。

8.根据权利要求7所述的实现机器人舞蹈姿态自主审美理解与判断的系统，其特征在于，所述的审美理解子模块用于调取所述的数据存储子模块的机器人舞蹈姿态训练样例集的数据并训练得到相应的已训练的机器审美模型，并将该已训练的机器审美模型的参数存入所述的数据存储子模块中，以及，所述的审美理解子模块通过所述的数据获取子模块传输已训练的机器审美模型的参数恢复相应的已训练的机器审美模型。

9.根据权利要求8所述的实现机器人舞蹈姿态自主审美理解与判断的系统，其特征在于，所述的审美判断子模块结合所述的审美理解子模块所恢复的、已训练的机器审美模型和所述的特征组合子模块传输的、经过审美对象统一表征后的机器人舞蹈姿态，进行审美判断得到相应的审美结果。

10.根据权利要求1-9中任一所述的实现机器人舞蹈姿态自主审美理解与判断的系统，其特征在于，所述的初级视觉特征包括颜色特征、形状特征和方位特征。

11.根据权利要求1-9中任一所述的实现机器人舞蹈姿态自主审美理解与判断的系统，其特征在于，所述的系统还包括行为扩展模块，用以输出所述的神经加工决策模块的审美判断结果。

12.根据权利要求11所述的实现机器人舞蹈姿态自主审美理解与判断的系统，其特征在于，所述的行为扩展模块通过文字、语音或图像输出所述的神经加工决策模块的审美判断结果。