CN102580327A - 智能机器人皮影戏表演的编辑与控制方法 - Google Patents

Abstract

本发明涉及一种智能机器人皮影戏表演的编辑与控制方法。皮影戏可通过机械装置进行操控，但表现动作单一，缺乏感染力。本发明使用基于2D图形的动画皮影人物进行动作的预先编排；使用点对点空间映射算法将2D图形人物的运动轨迹转换为皮影机器人的舵机运动数据；按皮影戏表演时播放的音乐的节奏来排放和调整由步骤二生成的舵机运动数据，同时编辑移动控制模块的控制数据；使用BPM探测算法和自耦合算法对步骤三所排放的数据进行进一步调整和优化；进行普通播放和即兴表演。本发明系统运行稳定，人物控制灵活，响应快，精度高，增加了现代的娱乐元素，真正做到对皮影艺术传承的作用。

Description

智能机器人皮影戏表演的编辑与控制方法

技术领域

    本发明涉及一种机器人控制方法，具体涉及一种智能机器人皮影戏表演的编辑与控制方法。

背景技术

皮影戏是一种用灯光照射兽皮或纸板做成的人物剪影以表演故事的民间戏剧，用于表演的皮影人的四肢和头部是分别雕成的，用绳线联缀而成，在透光的幕布上由竹棍操纵进行表演。但这种极富中国乡土特色的传统民间艺术正面临着失传的窘境，技艺纯熟的表演者越来越少，只能通过摄录影像资料进行流传。皮影戏这种形式的傀儡艺术是可以通过机械装置进行操控的，代替真人演绎，也能进行现场表演，但简单的机械操控只能呆板地拉拽线、绳，表现动作单一，缺乏感染力，失去了皮影戏本该有的灵动性和精彩度。

发明内容

本发明的目的是提供一种一种灵活度和操控性更好、并能对表演流程即动作进行实时编辑的智能机器人皮影戏表演的编辑与控制方法。

本发明所采用的技术方案是：

一种智能机器人皮影戏表演的编辑与控制方法，其特征在于：

由以下步骤实现：

步骤一：使用基于2D图形的动画皮影人物进行动作的预先编排；

步骤二：使用点对点空间映射算法将2D图形人物的运动轨迹转换为皮影机器人的舵机运动数据；

步骤三：按皮影戏表演时播放的音乐的节奏来排放和调整由步骤二生成的舵机运动数据，同时编辑移动控制模块的控制数据；

步骤四：使用BPM探测算法和自耦合算法对步骤三所排放的数据进行进一步调整和优化；

步骤五：如果选择普通播放模式，则将步骤四最终生成的一系列数据发送给皮影机器人控制模块，并同时播放皮影戏的音乐和背景动画；否则，转向步骤六，进入即兴表演模式；

步骤六：对外界的声音使用语音识别算法和BPM探测算法进行识别，根据识别的结果来播放不同的皮影动作。

步骤一和步骤二中的舵机运动数据由动作编辑器取得，通过对虚拟动画皮影的动作调整，配合动作记录时间轴的标记，将一个或一组动作录制为动作数据库的一个子集，并为其标注该动作的类型以及相关属性。

所述的动作编辑器与皮影机器人的舵机驱动相关联，在进行动作编辑的同时，皮影动画影响所对应的皮影机器人会进行实时的动作映射。

所述的动作编辑器设置有皮影机器人移动控制模块的驱动接口，在进行动作编辑的同时访问移动控制模块，驱动皮影机器人所设置的履带式底盘，进而控制皮影机器人在戏台轨道上的位移。

步骤三中的皮影戏表演排放和调整由剧本编辑器完成，剧本编辑器将舵机运动数据集合打包成剧本数据，进行自上而下的模型翻译，即从剧本层逐步翻译为动作集合、机械臂动作集合、舵机运动集合，然后按照对剧本的编排输出给皮影控制结构以及移动控制模块完成皮影的动作演出。

步骤四中的调整和优化是指，使用BPM探测算法和自耦合算法对步骤三所排放的数据进行播放时间点和时间长度的细微调整，使动作的播放与音乐的节奏点一致，而又不会发生两个动作之间的数据碰撞。

    本发明具有以下优点：

本发明所描述的方法是根据皮影机器人以及表演舞台的机械设施、嵌入式主板以及传感器回传的数据而制作的一套机器人表演皮影戏的编排、录制与表演工具。为了实现上述功能，系统软件提供了动作编辑器与剧本编辑播放器。这其中包含了2D物理引擎、点对点空间映射算法、BPM探测算法以及动作自耦合算法，用于提高动作和剧本的编辑效率和表演效果。同时为了增加表演的娱乐性和趣味性，除了提供了普通剧本表演模式外，还设计了一种智能即兴表演模式。利用投影仪投射电脑动画来作为皮影的成影光源，也大大增强了皮影戏表演的感染力。本发明能够让机器人活灵活现地再现皮影戏的同时，增加了现代的娱乐元素，能够更好地宣传和弘扬皮影戏这一传统艺术，真正做到对皮影艺术传承的作用，系统运行稳定，人物控制灵活，响应快，精度高，为保护皮影艺术提供了新的途径。 

附图说明

图1为本发明系统构成图。

图2为皮影机器人控制结构图。

图3为本发明系统流程图。

图4为动作编辑器的流程框图。

图中，1-嵌入式平台主板，2-调试器，3-皮影机器人，4-传感器组，5-移动控制模块，6-数据总线接口，7-机械臂，8-舵机，9-导轨，10-履带式移动底盘。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

一、系统组成：

本发明所述的一种智能机器人皮影戏表演系统，设置有嵌入式平台主板1，嵌入式平台主板1通过调试器2与皮影机器人3上的运动驱动装置进行数字通信控制，控制皮影机器人3的肢体运动，移动控制模块5采集皮影机器人3上传感器组4的数据，计算后并通过数据总线接口6反馈到嵌入式平台主板1，控制皮影机器人3在戏台上的位移。其中，嵌入式平台主板1为Intel Atom平台EMB-4650工控板，移动控制模块5的核心为MSP430F149超低功耗单片机，传感器组4为红外光电开关，数据总线接口6为RS232/ RS-485总线。嵌入式平台主板1通过USB接口与调试器2连接；调试器2与皮影机器人3上运动驱动装置之间通过UART进行数字通信控制；移动控制模块5通过UART与数据总线接口6连接。

根据传统皮影戏的表演方式，系统在皮影机器人3上设计了三个3R串联型机械臂组，每个机械臂组有机械臂7和数字舵机8组成，并配以设置在导轨9上的履带式移动底盘10。CDS5500数字舵机有控制灵活、响应快、扭矩大、高转速、高精度、总线式连接等优点，能够满足系统要求。系统使用接口丰富的Intel Atom平台中的USB以及RS232/RS485总线接口对皮影机器人3进行数据通信，在Intel Atom Z510 CPU的高效处理能力的支持下，使用2D物理引擎实现动作编辑功能，配合空间点对点映射算法将虚拟动画皮影与真实皮影的动作进行同步。Z510 CPU主频为1.1GHz，并且拥有512KB的二级缓存，支持超线程技术，这对于系统在使用BPM探测算法以及动作子耦合算法的时更好地利用CPU的多线程处理能力，加快计算。

为了能让用户在对皮影戏编剧时可以灵活调整剧本的内容，系统软件设计了剧本编辑播放器。在进行剧本编辑的时，用户需要参照剧本背景音乐的节奏、曲调等信息。这些信息由BPM探测算法在对音乐文件加载的同时进行处理。在对音频文件进行处理时，BPM探测算法需要消耗大量系统资源，Intel Atom平台对大容量内存的良好支持保证了在算法最复杂情况下的系统稳定性。此外，Intel Atom平台的IDE外部存储通道为对动作数据库以及已经存储的剧本的快速访问提供了良好的支持。在对剧本进行播放时，系统利用了Intel Atom平台强大的娱乐处理能力，使用DVI高清图像输出接口将剧本配套的WPF动画输出至投影机，投影机从舞台幕布后方将动画透射至幕布上。同时投影机也作为皮影人物在幕布上的投影光源。

系统还利用Intel Atom对音频输入输出的完美支持将皮影戏剧本的背景音乐输出至媒体音箱。在智能即兴模式下，用户可以通过麦克风使用音频输入接口将音频输入给系统，系统通过算法智能匹配出皮影动作并进行播放。

系统对皮影机器人3使用星形网络结构进行统一控制。使用板载的USB以及RS232接口实现对皮影机器人3以及移动控制结构的数据传输与控制。系统对皮影控制结构使用一个USB对应一套控制结构，而对于皮影的移动控制结构则使用modbus总线由一个RS232接口实现对多达255个下位机的控制。此外，系统使用平台的IDE接口接驳大容量硬盘，大容量硬盘可以为系统提供足够的硬盘空间存放皮影戏的动作数据库以及皮影戏的影音文件。

二、流程方法：

本发明所述的一种智能机器人皮影戏表演的编辑与控制方法，由以下步骤实现：

步骤一：使用基于2D图形的动画皮影人物进行动作的预先编排；

步骤二：使用点对点空间映射算法将2D图形人物的运动轨迹转换为皮影机器人的舵机运动数据；

步骤三：按皮影戏表演时播放的音乐的节奏来排放和调整由步骤二生成的舵机运动数据，同时编辑移动控制模块的控制数据；

步骤四：使用BPM探测算法和自耦合算法对步骤三所排放的数据进行进一步调整和优化；

步骤五：如果选择普通播放模式，则将步骤四最终生成的一系列数据发送给皮影机器人控制模块和移动控制模块，并同时播放皮影戏的音乐和背景动画；否则，转向步骤六，进入即兴表演模式。

步骤六：对外界的声音使用语音识别算法和BPM探测算法进行识别，根据识别的结果来播放不同的皮影动作。

步骤一和步骤二中的舵机运动数据由动作编辑器取得，通过对虚拟动画皮影的动作调整，配合动作记录时间轴的标记，将一个或一组动作录制为动作数据库的一个子集，并为其标注该动作的类型以及相关属性。动作编辑器使用WPF开发，基于开源2D物理引擎FarseerPhysics。动作编辑器提供动作记录功能，通过用户对虚拟动画皮影的动作调整，配合动作记录时间轴的标记，用户可以将一个（组）动作录制为动作数据库的一个子集，并为其标注该动作的类型以及相关属性。动作编辑器除了有直观的虚拟动画皮影的动作创建方式外，还可以使用纯数据编辑方式，系统软件提供了纯数据编辑方式，可以对动作的每个细节进行仔细打理。每个动作保存编辑后都会自动进入系统的动作数据库中，由剧本编辑器进行智能调度。动作编辑器也与舵机驱动相关联，在进行动作编辑的同时，动画小人所对应的皮影结构也会完全仿制动画小人的动作，做到实时动作映射，使用户的动作编辑更为直观。动作编辑器也提供动作播放功能，可以对正在进行的编辑或者数据库中的动作进行播放，便于用户进行动作评估。动作编辑器也提供了移动控制模块的驱动接口，用户可以在进行动作编辑的同时对移动控制模块进行访问，驱动履带式底盘进而设置动画小人对应的控制结构的位置。动作编辑器的流程框图如图4所示。

步骤三中的皮影戏表演排放和调整由剧本编辑器完成，剧本编辑器将舵机运动数据集合打包成剧本数据，进行自上而下的模型翻译，即从剧本层逐步翻译为动作集合、机械臂动作集合、舵机运动集合，然后按照对剧本的编排输出给皮影控制结构以及移动控制模块完成皮影的动作演出。剧本播放器是将剧本编辑器编辑好的剧本内容打包好，然后进行自上而下的模型翻译，即从剧本层逐步翻译为动作集合、机械臂动作集合、舵机运动集合。然后按照用户对剧本的编排输出给皮影控制结构以及移动控制模块完成皮影的动作演出。演出的同时会严格按照用户预先编辑的动作顺序、开始时间进行播放；也会与音乐播放器播放的音乐时间匹配，保证动作的时间准确性。此外，用户预先准备好的背景动画也会同时经过系统的显示输出接口输出给投影设备，在幕布的后方显示出当前的动画内容，做到情景交融，将传统的灯影子与现代数字技术完美结合。

步骤四中的剧本是针对戏曲设计的。因此每部剧本在编辑之前必须要导入该剧本的音频。在音频导入后系统会调用BPM算法以及频谱处理算法对音频文件进行分析，将鼓点信息以及音频能量等信息进行处理。用户在进行剧本编辑时，有两个关键元素，即时间和动作。时间即为对时间轴的操控。由于本系统支持2个皮影同时演出，所以建立了两个时间轴，但是两个时间轴的长度跟导入的音频文件的长度是相同的，两个时间轴的位置也是同步的。剧本新建后用户需要添加动作，动作分两类，一类为皮影动作，另一类为皮影的履带式底盘的运动。添加动作时，用户需要首先选择这个动作的开始点和结束点。在代码实现中是记录的开始点和持续时间。然后用户再对之前建立的“空动作”进行赋值操作。若为皮影动作，则直接从动作列表中自行选择，即可添加。而履带式底盘的运动，则需要用户输入运动目的地。用户添加过动作后可以继续对动作的开始时间以及持续时间进行修改。此时对开始时间以及持续时间的修改也会影响到该动作内部对应的机械臂运动以及舵机运动的时间。由于用户不可能将一部戏中所有的动作都逐一编辑好，然后逐个添加，因此在非特定剧情区间内，比如某段时间内皮影只是站在某处以一种普通的方式去说话或者聆听，将使用动作自耦合算法进行自动的动作插入与分配。特定剧情区间和非特定剧情区间的动作的起止时间均需要用户进行指定，但是非特定区间的动作用户只需要指定其大致类型，而后根据动作自耦合算法进行自动填补。用户在进行剧本编辑的同时，可以参考剧本对应戏曲的鼓点等信息进行编辑。在编辑的同时，可以使用播放器对动作进行实时播放，用户可以对播放效果进行剧本的进一步修改与完善。

三、算法说明：

1、为了给系统自耦合算法提供耦合依据，选择BPM（Beat Per Minutes）音乐节拍探测算法，提取出播放的音乐或者麦克风输入音乐的鼓点信息。

算法流程如下：

在通过播放器播放音频文件或通过NAudio捕获音频输入时，首先要对音频数据进行分帧处理。音频播放中使用的是44100Hz双声道高质量WAV音频文件，音频输入中采用8000Hz采样率，单声道，16Bit量化宽度。统一使用1024个采样点为一帧，分别用a[n]、b[n]存储左右声道的1024个采样值，采用下式计算短时能量：

                                                 

用E[i]存储当前位置前1s内43组1024采样值的能量，则1s内的平均能量<E>：

     

对于音频播放和音频采集，有两种不同的处理模式。在音频播放中，采取统一前期处理，即在载入音频文件时，便集体对整个音频文件进行预处理，只需存储处理结果鼓点信息即可，这种方式方便用户对音频播放的拖拽操作。而对于音频采集，必须实时对数据进行处理，这种处理略去了预测模块，因此探测效果稍微差一点。

这样，每获得一帧音频数据以后，则对e和<E>进行比较，如果

，则判断该音频帧为鼓点帧，其中C为判定权重系数。

但是，如果仅用上述方法，得到的节拍信息可能是杂乱无章的。因为，对于大部分音乐，其音乐节拍为45BPM到180BPM，对应0.75Hz到3.0Hz，这与1s内43组能量数据即43Hz相比，细节信息过于明显。在进行节拍检测时，容易对同一鼓点进行多次标记识别。

为了解决上述问题，提出公式：

 

式中beat[i]用于存放鼓点信息，i表明当前音频数据位置，beat[i]=1表示探测出鼓点，beat[i]=0表示未探测出鼓点，i’为上次鼓点位置。

上式相当于低通滤波器的效果，对能量信息进行平滑处理，更能够凸出3Hz一下的鼓点信息。

这样有了音乐的节拍信息，我们也就有了音乐的分段信息。将此信息递交给动作自耦合算法，再加上用户交互信息对动作进行自动组合选择，智能生成最终的剧本戏。

2、在智能剧本编辑中，无论BPM探测出时间段信息还是用户指定时间段信息，最终都要对动作库里面的动作进行智能重组，自动生成脚本。在此提出一种简单的自耦合算法。

该算法主要考虑到三个因素：动作类型、初末位置匹配度P、时间匹配度T。动作类型主要由用户根据整个音乐的基调进行指定，比如：走、跳、慢节奏舞蹈、快节奏舞蹈、对话等。自耦合算法根据此类型从相应的数据库中进行再次匹配。初末位置匹配度P主要用来保证前一动作和后一动作的连贯性，即前一动作的末位置与后一动作初始位置尽可能接近。给出表达式：

              

时间匹配度T主要用来保证需要时间和动作运动时间之间的相似，即动作运动尽可能保证原来运动速度，保留动作运动速度含义。

加入权重后的最终判定公式：

                     

该公式表明20mm的差距和1s的时间差在判定上是等权重的。

根据上式从动作类型库中选出S最小的动作作为最佳匹配动作。

四、表演形式：

1、智能即兴演出是本发明的功能之一，通过麦克风对声音信号进行采集，并且同步实时的对采集到的音频信号进行节拍检测以及FFT频谱分析，然后根据检测到的高能量信号，调用动作自耦合算法进行实时动作调度，实现即兴演出的效果。

2、皮影戏播放时依然是以时间为中心，该时间是以戏曲播放器的时间为准。由于皮影控制结构的最底层为舵机的运动，所以皮影戏播放需要将剧本逐步翻译为动作集合、机械臂运动集合、舵机运动集合。而后将所有的舵机运动集合以时间为索引，沿着戏曲播放器的时间将舵机运动广播给所有的皮影控制结构。在动作与动作之间，使用自耦合算法的平滑过渡保证动作的流畅度。为了实现皮影戏的“灯影子”效果，使用投影仪安放在舞台后面，并投放出场景的动画，既完全显示出了皮影，又融情于景，将传统艺术与现代技术结合。

Claims (6)

1.一种智能机器人皮影戏表演的编辑与控制方法，其特征在于：

由以下步骤实现：

步骤一：使用基于2D图形的动画皮影人物进行动作的预先编排；

步骤二：使用点对点空间映射算法将2D图形人物的运动轨迹转换为皮影机器人的舵机运动数据；

步骤三：按皮影戏表演时播放的音乐的节奏来排放和调整由步骤二生成的舵机运动数据，同时编辑移动控制模块的控制数据；

步骤四：使用BPM探测算法和自耦合算法对步骤三所排放的数据进行进一步调整和优化；

步骤五：如果选择普通播放模式，则将步骤四最终生成的一系列数据发送给皮影机器人控制模块，并同时播放皮影戏的音乐和背景动画；否则，转向步骤六，进入即兴表演模式；

步骤六：对外界的声音使用语音识别算法和BPM探测算法进行识别，根据识别的结果来播放不同的皮影动作。

2.根据权利要求1所述的智能机器人皮影戏表演的编辑与控制方法，其特征在于：

步骤一和步骤二中的舵机运动数据由动作编辑器取得，通过对虚拟动画皮影的动作调整，配合动作记录时间轴的标记，将一个或一组动作录制为动作数据库的一个子集，并为其标注该动作的类型以及相关属性。

3.根据权利要求2所述的智能机器人皮影戏表演的编辑与控制方法，其特征在于：

所述的动作编辑器与皮影机器人的舵机驱动相关联，在进行动作编辑的同时，皮影动画影响所对应的皮影机器人会进行实时的动作映射。

4.根据权利要求2或3所述的智能机器人皮影戏表演的编辑与控制方法，其特征在于：

所述的动作编辑器设置有皮影机器人移动控制模块的驱动接口，在进行动作编辑的同时访问移动控制模块，驱动皮影机器人所设置的履带式底盘，进而控制皮影机器人在戏台轨道上的位移。

5.根据权利要求1、2或3所述的智能机器人皮影戏表演的编辑与控制方法，其特征在于：

步骤三中的皮影戏表演排放和调整由剧本编辑器完成，剧本编辑器将舵机运动数据集合打包成剧本数据，进行自上而下的模型翻译，即从剧本层逐步翻译为动作集合、机械臂动作集合、舵机运动集合，然后按照对剧本的编排输出给皮影控制结构以及移动控制模块完成皮影的动作演出。

6.根据权利要求1、2或3所述的智能机器人皮影戏表演的编辑与控制方法，其特征在于：

步骤四中的调整和优化是指，使用BPM探测算法和自耦合算法对步骤三所排放的数据进行播放时间点和时间长度的细微调整，使动作的播放与音乐的节奏点一致，而又不会发生两个动作之间的数据碰撞。

Images