CN107330913B - 一种基于自主学习剧本的智能机器人提线木偶表演系统 - Google Patents

一种基于自主学习剧本的智能机器人提线木偶表演系统 Download PDF

Info

Publication number
CN107330913B
CN107330913B CN201710391603.2A CN201710391603A CN107330913B CN 107330913 B CN107330913 B CN 107330913B CN 201710391603 A CN201710391603 A CN 201710391603A CN 107330913 B CN107330913 B CN 107330913B
Authority
CN
China
Prior art keywords
module
script
puppet
motor
background music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710391603.2A
Other languages
English (en)
Other versions
CN107330913A (zh
Inventor
胡凯
夏旻
徐春燕
张艳
孔维斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201710391603.2A priority Critical patent/CN107330913B/zh
Publication of CN107330913A publication Critical patent/CN107330913A/zh
Application granted granted Critical
Publication of CN107330913B publication Critical patent/CN107330913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J19/00—Puppet, marionette, or shadow shows or theatres
    • A63J19/006—Puppets or marionettes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Toys (AREA)

Abstract

本发明公开了一种基于自主学习剧本的智能机器人提线木偶表演系统，属于智能机器人表演系统领域。其包括以下步骤：步骤1：跟踪测量老旧木偶的运动，录下艺术家的讲述和背景音乐，然后存储为计算资源，并根据指示驱动新的提线机器人木偶运动，播放讲述和背景音乐以及驱动渲染灯光；步骤2：依据计算资源计算出老旧木偶的运动，得到一个可供人工修正的剧本模式；步骤3：根据工作人员的操作，优化编排所述剧本模式或者重新彻底编排剧本模式，以机器人提线木偶的形式重新进行无限自动展示。优点：通过上述步骤可以使机器人木偶自主学习或者对机器人木偶进行重新编排，以使机器人木偶无限自动展示学习到的剧本。

Description

一种基于自主学习剧本的智能机器人提线木偶表演系统
技术领域
本发明涉及智能机器人表演系统领域，特别涉及一种基于自主学习剧本的智能机器人提线木偶表演系统。
背景技术
提线木偶是一种传统舞台上使用的设备，在艺术家的操作下，用于展示各种艺术人物、动物、各种剧本，是我们国家传统艺术的瑰宝之一，国际其他国家上也有一定类似的表现形式。由于每次表演时，都需要艺术家的亲手操作、解说以及背景音乐的配合，所以需要大量的人力来进行一次次表演，这样的需求严重制约着这一表演形式在当今社会的发展。申请号为CN20120133417.7的机器人控制的木偶表演装置，其虽然能够利用机器人控制木偶进行表演，但是其仅仅是一个执行机构，不能够进行自主学习。
发明内容
本发明的目的是提供一种基于自主学习剧本的智能机器人提线木偶表演系统，其能够自主学习剧本，进行无限自动展示。
本发明的上述技术目的是通过以下技术方案得以实现的：一种基于自主学习剧本的智能机器人提线木偶表演方法，包括以下步骤：
步骤1：跟踪测量老旧木偶的运动，录下艺术家的讲述和背景音乐，然后存储为计算资源，并根据指示驱动新的提线机器人木偶运动，播放讲述和背景音乐以及驱动渲染灯光；
步骤2：依据步骤1中的计算资源计算出老旧木偶的运动，得到一个可供人工修正的剧本模式；
步骤3：根据工作人员的操作，优化编排所述剧本模式中的动作、解说、背景音乐和渲染舞台背景，或者重新彻底编排剧本模式，以机器人提线木偶的形式重新进行无限自动展示。
进一步的，其中步骤2包括以下步骤：
1)采样：在舞台中心以及舞台四角贴上标志图案，采用相机以及麦克风保存所需分析的艺术家的剧本的视频信息；
2)目标区域提取：在采样步骤中拍摄时，选取出单帧图像中舞台的四角的标志图案，得到图案I(c,f,d)，其中I代表的是目前处理的图像，其中c为相机来源，f代表的是帧数，d目前等于1，代表的是第d次处理过程，并统计出四个中最大的面积M(max,c)和最小的面积M(min,c)；
3)去背景：分析单帧图像I(c，f，d)，采用直方图统计法的方法，统计出出现次数最大的颜色值，删除所有这些颜色值，得到I(c，f，d)，其中d＝2；
4)去噪：统计出所有整体联通区域Block(c，f，d，b)的面积大小，仅保留面积在M(max，c)和最小的面积M(min，c)之间的整体联通区域，得到图像I(c，f，d)，此时d＝3；
5)二值化：把图像I(c，f，d)二值化，得到新的I(c，f，d)，其中d＝4；
6)特征提取：提取出整体联通区域Block(c，f，d，b)的一系列像素值，作为这个整体联通区域Block(c，f，d，b)的特征值Ts(c，f，d，b)，Ts(c，f，d，b)＝(t1，t2，…，tnn)，其中tnn为第n*n个方块的特征值，b代表的是图像I(c，f，d)中d＝4的所有联通区域的编号；
7)识别：选出对整体联通区域Block(c，f，d，b)的识别的结果；
8)计算位置和电机运动关系；
9)系统保护：判断每个电机组的位置信息是否安全，从而判断是否取消该点运动。
进一步的，其中识别步骤包括以下步骤：
1)将每个待识别的联通区域的特征值Ts(c，f，d，b)＝(t1，t2，…，tnn)与已知的贴上的标志图案的特征值Ttar(e)＝(t′1，t′2，…，t’nn)一一相减，其中e代表的是已知贴上的某个标志图案，即1和0的对比，取绝对值之和，公式如下：
Figure GDA0002881726710000021
2)得到每个待识别的联通区域与任意一个已知的贴上的标志图案的特征值Ttar(e)之间的偏离与整体方块数目的比例程度；
3)选出PorDevi(c，f，d，b，e)最小的结果，如果其值也在偏离阈值TPorDevi范围内，即PorDevi(c，f，d，b，e)＜TPorDevi，那么将Ttar(e)作为Block(c，f，d，b)识别的结果。
一种基于自主学习剧本的智能机器人提线木偶表演系统，包括有：
学习模块：其用于跟踪测量老旧木偶的运动，录下艺术家的讲述和背景音乐，然后存储为计算资源给计算模块，并根据指示驱动新的提线机器人木偶运动，播放讲述和背景音乐以及驱动渲染灯光；
计算模块：依据学习模块中的计算资源计算出老旧木偶的运动，得到一个可供人工修正的剧本模式；
控制模块：根据工作人员的操作，优化编排所述剧本模式中的动作、解说、背景音乐和渲染舞台背景，或者重新彻底编排剧本模式，以机器人提线木偶的形式重新进行无限自动展示。
进一步的，所述学习模块包括有：
电机模块：其用于带动木偶上的提拉点运动，包括若干个电机组，所述电机组包括一个横向运动的电机和一个纵向运动的电机组合成一个能够上下左右运动的电机组；
控制模块：其受控于电脑控制电机驱动模块工作。
进一步的，所述学习模块还包括有：
发光模块：其用灯光显示学习模块的工作状态；
发音模块：其用声音显示学习模块的工作状态，以及用于播放剧本的解说和背景音乐。
进一步的，所述控制模块包括有：
姿势与电机参数对应模块：用于计算木偶的每个姿势中的位置与电机旋转位置的一一对应关系；
基本姿态修正模块：用于在对木偶姿势中的位置与电机旋转位置的一一对应关系中进行人为的数据修正；
基础动作设定模块：用于在静态姿势设定的基础上，设定两个静态姿势之间变换从而形成的基础动作；
连贯动作设定模块：用于将多个基础动作能够联合，连贯成为一个连贯动作，等待调用；
动作切片模块：用于把捕捉表演时的艺术家对老旧木偶的所有动作按照要求，一步步切片成一个个基础动作和一个个连贯动作；
声音翻译模块：用于把录下的艺术家的解说，翻译成数字式的文字；
灯光声音动作同步模块：用于设定在单元时间内，一个或者多个木偶的连贯动作，以及对应渲染灯光、背景音乐；
新剧本编排模块：用于按照剧本，把单元时间内，一个或者多个木偶的连贯动作，以及对应渲染灯光、背景音乐这些内容连贯成一个剧本；
数据保存模块：用于保存控制软件部分内的所有设定内容；
播放模块：用于把新剧本编排模块中的剧本的内容调出，转换成电机的运动控制信息、灯光控制信息和背景音乐播放信息，以及把的艺术家的解说翻译成数字式的文字以数字合成的形式进行播放。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
一是可以基于人工智能、机器视觉的自主学习方式，利用学习模块捕捉表演时的艺术家对老旧木偶的所有动作，录下艺术家的解说和背景音乐，然后计算模块利用学习模块中获得的计算资源来一步一步计算，最终得到一个可供人工修正的剧本模块，然后工作人员在此剧本模式的基础上，优化编排动作、解说、背景音乐，以机器人提线木偶的形式重新进行无限自动展示；
二是可以使用控制模块彻底编排新剧本，包括动作模块、解说、背景音乐，以机器人提线木偶的形式进行无限自动展示一个新剧本的方式；
通过上述两个过程可以使机器人木偶自主学习或者对机器人木偶进行重新编排，以使机器人木偶无限自动展示学习到的剧本，从而使得提线木偶这一国家传统艺术的瑰宝很有可能具有新的生命力，重新焕发出青春。
附图说明
图1为本实施例用于体现电机组的结构示意图；
图2为本实施例用于体现学习模块的示意图；
图3为本实施例的程序流程图；
图4为本实施例用于体现标志图案的示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
实施例：一种基于自主学习剧本的智能机器人提线木偶表演系统，如图1和2所示，学习模块用于跟踪测量老旧人偶的运动，录下艺术家的讲述、背景音乐，然后提供计算资源给计算模块、控制软件模块，根据指示驱动新的提线机器人木偶的运动，播放讲述和背景音乐，驱动渲染灯光等。
学习模块包括电源、按钮、发光模块、彩光渲染模块、发音模块、图像捕捉装置、录音装置、控制模块、通信模块、电机驱动模块、电机模块、拉线模块、机器木偶模块、电脑。
其中，电源用于对整个系统进行供电，本实施例中采用的是220V的交流电源转20安培、48V的变压器，48V供电机、电机驱动电路使用，然后再进行一次变压，使用48V转5V的模块电源，5V给控制器、通信电路使用。按钮为控制控制器的电源打开和关闭时使用，本实施例中采用的是轻触自锁的微动开关。
彩光渲染模块用于渲染舞台的效果，本实施例采用的是带有控制器的帕灯54颗3w全彩手拉手遥控led。
发音模块用于显示播放背景音乐、提示操作、播放语音合成软件合成的讲述，本实施例中采用的普通音箱。
图像捕捉装置用于录下老艺术家按照其剧本进行表演的视频，从而提供自主学习的样本，本实施例中采用的是9个索尼HXR-MC2500C专业摄影机。
录音装置用于录下艺术家后期口述的讲解，本实施例使用的是一个魅声T8-2的专业麦克风。控制模块用于接受电脑的操作指令后，发出对应模式的、规定的脉宽调制方波给所有的电机驱动电路，控制它们的带动电机的运动，本实施例中，控制器采用的是STM32F107芯片。
通信模块用于与控制器与电脑的通信，本实施例采用的USB通信模块。电机驱动模块和电机模块用于电机带动拉线模块的运动，本实施例采用的台达伺服电机750W ASD-B2-0721-B和专业驱动模块ECMA-C20807RS。
拉线模块即运动模块，如图1所示，有两个模块，一个是用于在电机的运动下带动提拉点的工作，本实施例采用的是二维度的直角坐标机器人十字滑台结构，上下左右运动范围为500mm，每一个两个电机带动的直角坐标机器人带动一个木偶提拉点，从而构成一个电机组；另一个是一个运动转盘，它上面放置了多个电机组，转盘下方一个电机的旋转，带动其上所有电机组的旋转，这样构成一个电机组阵列，一个电机组阵列带动一个木偶的所有运动。
机器木偶模块为根据需要设计的木偶，可以是人偶或者动物偶，它的上面设置有多个提拉点，都与同一个电机组阵列的一个电机组固定连接，最后每个电机组阵列下方有个滑行轨道，可以沿舞台进行自主左右运动。
电脑用于获得亮度计的结果，用于分析和保存信息，用于驱动控制模块来改变各个导光板、指示灯的工作，用于提供计算资源给算法使用，本实施例中采用的是戴尔T5810型图形工作站。
控制模块用于根据工作人员的操作，优化编排动作、解说、背景音乐，渲染舞台背景，或者重新彻底编排剧本，以机器人提线木偶的形式重新进行无限自动展示故事。
其结构包括姿势与电机参数对应模块、基本姿态修正模块、基础动作设定模块、连贯动作设定模块、动作切片模块、声音翻译模块、灯光声音动作同步模块、新剧本编排模块、数据保存模块和播放模块。
姿势与电机参数对应模块用于计算木偶的每个姿势中的位置与电机旋转位置的一一对应关系，即为上述步骤8的反映射关系。
基本位置修正模块用于在对木偶姿势中的位置与电机旋转位置的一一对应关系中进行人为的数据修正，即在Moters_Pos(e,c,f,H,W)中添加修正值Moters_Pos(e,c,f,H+hdevi,W+wdevi)，使得由于拉线、转盘等不均匀、变形引起的位置偏差。本实施例中无偏差。
基础动作设定模块用于在静态姿势设定的基础上，设定两个静态姿势之间变换从而形成的基础动作，其中包括有2组位置信息和运动时间信息，基本限定为该运动速度不能超过步骤9中的保护速度；
连贯动作设定模块用于将多个基础动作能够联合，连贯成为一个连贯动作，以备调用，即把它们按照时间轴进行连续编号，每两个连贯动作的之间末点位置和新的起点位置构成了一个平滑动作，该平滑动作的要求也是运动速度不能超过步骤9中的保护速度，如果超过，那么增加基础时间帧。
动作切片模块用于把捕捉表演时的艺术家对老旧木偶的所有动作按照要求，一步步切片成一个个基础动作和一个个连贯动作，即把步骤9中的结果，按照采集时的每帧间隔的时间构成的基础时间帧，进行切片。
声音切片模块用于把录下的艺术家的解说，翻译成数字式的文字，本实施例采用的是现有的讯飞语音分析软件。
灯光声音动作模块同步用于设定在单元时间内，一个或者多个木偶的连贯动作，以及对应渲染灯光、背景音乐；
新剧本编排模块用于按照剧本，把单元时间内，一个或者多个木偶的连贯动作，以及对应渲染灯光、背景音乐这些内容连贯陈一个长时间的故事。
数据保存模块用于保存控制软件部分内的所有设定内容，以备未来调用，本实施例中数据库为ACCESS。
播放模块用于在把3.8中的剧本编排的内容调出，转换成电机的运动控制信息、灯光控制信息、背景音乐播放信息，以及把的艺术家的解说翻译成数字式的文字以数字合成的形式进行播放，本实施例采用的是现有的讯飞语音合成软件。
一种基于自主学习剧本的智能机器人提线木偶表演方法，用于在以下条件下：
·艺术家的老旧木偶上、舞台的颜色均为统一颜色，本实施例统一成绿色；
·如图4所示，在提拉点贴上标志图案，该标志图案白底、外边为统一长度为L、、宽度为L/(n+2)的黑色正方形，的黑色正方形，正方形内部设计为n*n个大小统一、颜色只有黑或白的方块。
如图4所示，本实施例中，标志图案为正方形大小为7cm*7cm，中间有效标志方块为5*5个，每个1cm，其特征码由左往右、由上往下标志，黑色为0，白色为1，图4特征码的即为(0、1、0、1、0；1、1、0、0、1；0、1、1、0、1；0、0、0、1、0；1、1、0、0、0)。每个木偶的对应一个电机矩阵，木偶有四肢、身子5个提拉点，舞台中有5个木偶。
·在舞台中心、舞台四角贴上标志图案的情况下；
·舞台为长Ld、宽Wd的长方形，本实施例中长度为2米*1米。
捕捉各个标志图案的位置，从而计算出老旧木偶的运动，得到一个可供人工修正的剧本模式。其中工作过程分为采样、目标区域提取、去背景、去噪、二值化、特征提取、识别、计算位置和电机运动关系、系统保护九个步骤。
1)采样：采样部分为采用相机、麦克风保存所需分析的艺术家的剧本的视频信息。期间相机需要一个或者多个相机环形、面对静止面对艺术家操纵的老旧木偶的表演舞台中心，各个相机与表演舞台中心距离均相等；每个非最边缘的相机Ci与表演舞台中心O1形成的连线CiO1，与其相邻一相Ci+1与表演舞台中心O1形成的连线Ci+1O1，这两条连线形成的角度θ(CiO1，Ci+1O1)。与这个非最边缘的相机Ci与表演舞台中心O1形成的连线CiO1，与其相邻另一个相机Ci+1与表演舞台中心O1形成的连线Ci-1O1，这两条连线形成的角度θ(CiO1，Ci-1O1)，最好为等角度，即
θ(CiO1，Ci-1O1)＝θ(CiO1，Ci+1O1)
本实施例中，采用是9个索尼HXR-MC2500C专业摄影机，其中1个正对于舞台，离舞台中心距离为2米，其余8个以15度的角度均匀在左右散开，离舞台中心距离为2米。
2)目标区域提取：在拍摄时，由于舞台的四角贴了标志图案，所以工作人员可以方便的人工的设定四角图案，选取出单帧图像中舞台的四角的标志图案，统计出四个中最大的面积M(max，c)和M(min，c)，其中c代表相机来源。由于相机是静止的，所以每个相机的视频只需要选取一次，每帧图片全部一致。然后，得到一个舞台的非矩形的四边形Rc，其中R代表的是这个非矩形的四边形，c代表的是某一相机拍摄到的。把图像中所有这个非矩形的四边形以外的所有图像全部删除。只关心这个四边形内部的信息，得到图案I(c，f，d)，其中I代表的是目前处理的图像，其中c为相机来源，f代表的是帧数，d目前等于1，代表的是第d次处理过程。
本实施例中，拍摄的视频每秒30帧、分辨率为854*480。
3)去背景：在分析单帧图像I(c，f，d)内，采用直方图统计法的方法，统计出出现次数最大的颜色值，删除所有这些颜色值，得到I(c，f，d)，其中d＝2；
4)去噪：在剩下的I(c，f，d)，其中d＝2中，选择出所有的整体联通区域Block(c，f，d，b)，其中Block代表的是目前处理的图像，其中c为相机来源，f代表的是帧数，d目前等于2，代表的是第2次处理过程，b代表的是I(c，f，d)，其中d＝2中所有联通区域的编号。
统计，所有Block(c，f，d，b)的面积大小BlockM(c，f，d，b)，如果BlockM(c，f，d，b)≥M(max，c)或者BlockM(c，f，d，b)≤M(min，c)，那么删除这些图案。仅留下M(min，c)＜BlockM(c，f，d，b)＜M(max，c)的区域。
得到图像I(c，f，d)，此时d＝3；
5)二值化：
把图像I(c，f，d)二值化，得到新的I(c，f，d)其中d＝4。
本实施例中二值化采用的分水岭算法。
6)特征提取：
对图像I(c，f，d)，此时d＝4中的每一个整体联通区域Block(c，f，d，b)，统计其黑色边缘的4个点A(c，f，d，b)、B(c，f，d，b)、C(c，f，d，b)、D(c，f，d，b)，然后得到线段AB(c，f，d，b)、BC(c，f，d，b)、CD(c，f，d，b)、AD(c，f，d，b)。
把AB(c，f，d，b)、BC(c，f，d，b)、CD(c，f，d，b)、AD(c，f，d，b)切割成2(n+1)个等分，n来源于上述“在提拉点贴上标志图案，该标志图案白底、外边为统一大小的黑色正方形，正方形内部设计为n*n个大小统一、颜色只有黑或白的方块，每个标志图案的方块的黑白颜色不一致的统计数目要大于j个”的数据。得到点AB(c，f，d，b，ni)、BC(c，f，d，b，ni)、CD(c，f，d，b，ni)、AD(c，f，d，b，ni)，其中ni从3到2n-3，每2n为间隔。
然后可以得到线段
Figure GDA0002881726710000081
等n*n个线段，这些线段横竖交叉点即为“正方形内部设计为n*n个大小统一、颜色只有黑或白的方块”的中心，计算出这些线段的交叉点的像素的值，得到一系列像素值，把这些像素值按照顺序排列，那么得到这个整体联通区域Block(c，f，d，b)的特征值，即Ts(c，f，d，b)＝(t1，t2，…，tnn)，其中tnn为第n*n个方块的像素特征值，其值由于已经二值化，所以只有可能为0或者1。
如图4所示，本实施例中n为5，j为3。
7)识别：将每个待识别的联通区域的特征值Ts(c，f，d，b)＝(t1，t2，…，tnn)与已知的贴上的标志图案的特征值Ttar(e)＝(t′1，t′2，…，t’nn)一一相减，其中e代表的是已知贴上的某个标志图案，即1和0的对比，取绝对值之和。即
Figure GDA0002881726710000091
得到每个待识别的联通区域与任意一个已知的贴上的标志图案的特征值Ttar(e)之间的偏离与整体方块数目的比例程度。越小那么就越相似，越大越不一致。
选出PorDevi(c，f，d，b，e)最小的结果，如果其值也在偏离阈值TPorDevi范围内，即PorDevi(c，f，d，b，e)＜TPorDevi，那么将Ttar(e)作为作为Block(c，f，d，b)识别的结果。
本实施例中TPorDevi为12％。
这里Ttar(e)里面包括了每张贴图图案的正反两面，即可以识别图案的左右对调的情况，即可以识别出当木偶按照艺术家要求左右旋转的情况。
8)计算位置和电机运动关系：将Block(c，f，d，b)与Ttar(e)对应后，那么就可以对应到对应的电机组Moters(e)的运动位置，其工作条件为：
·已知舞台为长Ld、宽Wd的长方形；
·已知电机带动的拉线模块为两种，一种是负责左右180度调转的模块，一种是上下、左右运动的模块。
工作步骤为：
首先使用人工测量的手段，直接通过软件手动驱动电机运动，测定上下运动时，在舞台的最下方的电机组旋转位置为Moters_Pos(e，c，f，Hmin，W)，在舞台的最上方的电机组旋转位置为Moters_Pos(e，c，f，Hmax，W)，其中H表示的是电机组纵向的运动位置，W表示的是电机组横向的运动位置。然后，同样方法，可以测定左右运动时，在舞台的最左方的电机组旋转位置为Moters_Pos(e，c，f，H，Wmin)，在舞台的最右方的电机组旋转位置为Moters_Pos(e，c，f，H，Wmax)，其中H表示的是电机组纵向的运动位置，W表示的是电机组横向的运动位置。以及上下运动时Ld对应到的像素个数PixLd，左右运动时Wd对应的像素个数PixWd。
然后，通过简单的比例对应关系，那么很容易得到，当已知图像中Block(c，f，d，b)识别的结果，可计算出其中心点在Block_center(c，f，d，b，Hh，Ww)识别的结果，其中Hh，Ww为像素在图像中的像素坐标，可计算出其中心点在Moters_Pos(e，c，f，Hh，Ww)。
然后，把多个相机的值进行平均，那么就可以得到最终的该电机组的位置Moters_Pos(e，f，Hh，Ww)。
最后，需要判断是否一个木偶的所有提拉点均实现了左右对调，如果是，那么负责旋转的电机的工作状态就被设置，如果不是，那么不设置负责旋转的电机的工作状态。
9)系统保护：
当每个视频的分析过程结束后，把每个电机组的位置信息Moters_Pos(e，ff，Hh，Ww)与下1帧的位置信息Moters_Pos(e，ff+1，Hh，Ww)进行相减，如果其运动的距离，超过阈值Tmove，那么说明运动过程超过系统设备安全的运动速度，会对系统产生伤害，那么取消该点运动，然后计算与下2帧的运动距离Moters_Pos(e，ff+2，Hh，Ww)是否大于2*Tmove，如果也超过，那么就计算与下n帧，是否大于n*Tmove，直至成功。假设第i帧与第i+m帧Moters_Pos(e，ff+m，Hh，Ww)符合条件，那么第i+1到i+m-1这些帧的位置为第i帧与第i+m帧位置的线段的m份等分点。
本实施例中，每帧之间的系统设备安全的运动速度Tmove为15个像素。
然后，每个电机的在各个时间点的各个位置构成了一个的采集完毕、待人工优化的剧本。
本发明一是可以基于人工智能、机器视觉的自主学习方式，利用学习模块捕捉表演时的艺术家对老旧木偶的所有动作，录下艺术家的解说和背景音乐，然后计算模块利用学习模块中获得的计算资源来一步一步计算，最终得到一个可供人工修正的剧本模块，然后工作人员在此剧本模式的基础上，优化编排动作、解说、背景音乐，以机器人提线木偶的形式重新进行无限自动展示；
二是可以使用控制模块彻底编排新剧本，包括动作模块、解说、背景音乐，以机器人提线木偶的形式进行无限自动展示一个新剧本的方式；
通过上述两个过程可以使机器人木偶自主学习或者对机器人木偶进行重新编排，以使机器人木偶无限自动展示学习到的剧本，从而使得提线木偶这一国家传统艺术的瑰宝很有可能具有新的生命力，重新焕发出青春。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (6)

1.一种基于自主学习剧本的智能机器人提线木偶表演方法，其特征是：包括以下步骤：
步骤1：跟踪测量老旧木偶的运动，录下艺术家的讲述和背景音乐，然后存储为计算资源，并根据指示驱动新的提线机器人木偶运动，播放讲述和背景音乐以及驱动渲染灯光；
步骤2：依据步骤1中的计算资源计算出老旧木偶的运动，得到一个可供人工修正的剧本模式，包括以下步骤：
1)采样：在舞台中心以及舞台四角贴上标志图案，采用相机以及麦克风保存所需分析的艺术家的剧本的视频信息；
2)目标区域提取：在采样步骤中拍摄时，选取出单帧图像中舞台的四角的标志图案，得到图案I(c，f，d)，其中I代表的是目前处理的图像，其中c为相机来源，f代表的是帧数，代表的是第d次处理过程，并统计出四个中最大的面积M(max，c)和最小的面积M(min，c)；
3)去背景：分析单帧图像I(c，f，d)，采用直方图统计法的方法，统计出出现次数最大的颜色值，删除所有这些颜色值，得到I(c，f，d)，其中d＝2；
4)去噪：统计出所有整体联通区域Block(c，f，d，b)的面积大小，仅保留面积在M(max，c)和最小的面积M(min，c)之间的整体联通区域，得到图像I(c，f，d)，此时d＝3；
5)二值化：把图像I(c，f，d)二值化，得到新的I(c，f，d)，其中d＝4；
6)特征提取：提取出整体联通区域Block(c，f，d，b)的一系列像素值，作为这个整体联通区域Block(c，f，d，b)的特征值Ts(c，f，d，b)，Ts(c，f，d，b)＝(t1，t2，…，tnn)，其中tnn为第n*n个方块的特征值，b代表的是图像I(c，f，d)中d＝4的所有联通区域的编号；
7)识别：选出对整体联通区域Block(c，f，d，b)的识别的结果；
8)计算位置和电机运动关系；
9)系统保护：判断每个电机组的位置信息是否安全，从而判断是否取消该电机组运动；
步骤3：根据工作人员的操作，优化编排步骤2中剧本模式中的动作、解说、背景音乐和渲染舞台背景，或者重新彻底编排剧本模式，以机器人提线木偶的形式重新进行无限自动展示。
2.根据权利要求1所述的方法，其特征是：识别步骤包括以下步骤：
① 将每个待识别的联通区域的特征值Ts(c，f，d，b)＝(t1，t2，…，tnn)与已知的贴上的标志图案的特征值Ttar(e)＝(t′1，t′2，…，t’nn)一一相减，其中e代表的是已知贴上的某个标志图案，即1和0的对比，取绝对值之和，公式如下：
Figure FDA0002881726700000021
② 得到每个待识别的联通区域与任意一个已知的贴上的标志图案的特征值Ttar(e)之间的偏离与整体方块数目的比例程度；
③ 选出PorDevi(c，f，d，b，e)最小的结果，如果其值也在偏离阈值TPorDevi范围内，即PorDevi(c，f，d，b，e)＜TPorDevi，那么将Ttar(e)作为Block(c，f，d，b)识别的结果。
3.一种基于自主学习剧本的智能机器人提线木偶表演系统，其特征是：包括有：
学习模块：其用于跟踪测量老旧木偶的运动，录下艺术家的讲述和背景音乐，然后存储为计算资源，并根据指示驱动新的提线机器人木偶运动，播放讲述和背景音乐以及驱动渲染灯光；
计算模块：依据所述学习模块中的计算资源计算出老旧木偶的运动，得到一个可供人工修正的剧本模式，包括：
1)采样：在舞台中心以及舞台四角贴上标志图案，采用相机以及麦克风保存所需分析的艺术家的剧本的视频信息；
2)目标区域提取：在采样步骤中拍摄时，选取出单帧图像中舞台的四角的标志图案，得到图案I(c，f，d)，其中I代表的是目前处理的图像，其中c为相机来源，f代表的是帧数，代表的是第d次处理过程，并统计出四个中最大的面积M(max，c)和最小的面积M(min，c)；
3)去背景：分析单帧图像I(c，f，d)，采用直方图统计法的方法，统计出出现次数最大的颜色值，删除所有这些颜色值，得到I(c，f，d)，其中d＝2；
4)去噪：统计出所有整体联通区域Block(c，f，d，b)的面积大小，仅保留面积在M(max，c)和最小的面积M(min，c)之间的整体联通区域，得到图像I(c，f，d)，此时d＝3；
5)二值化：把图像I(c，f，d)二值化，得到新的I(c，f，d)，其中d＝4；
6)特征提取：提取出整体联通区域Block(c，f，d，b)的一系列像素值，作为这个整体联通区域Block(c，f，d，b)的特征值TS(c，f，d，b)，Ts(c，f，d，b)＝(t1，t2，…，tnn)，其中tnn为第n*n个方块的特征值，b代表的是图像I(c，f，d)中d＝4的所有联通区域的编号；
7)识别：选出对整体联通区域Block(c，f，d，b)的识别的结果；
8)计算位置和电机运动关系；
9)系统保护：判断每个电机组的位置信息是否安全，从而判断是否取消该电机组运动；
控制模块：根据工作人员的操作，优化编排所述剧本模式中的动作、解说、背景音乐和渲染舞台背景，或者重新彻底编排剧本模式，以机器人提线木偶的形式重新进行无限自动展示。
4.根据权利要求3所述的一种基于自主学习剧本的智能机器人提线木偶表演系统，其特征是：所述学习模块包括：
电机模块：其用于带动木偶上的提拉点运动，包括若干个电机组，所述电机组包括一个横向运动的电机和一个纵向运动的电机组合成一个能够上下左右运动的电机组；
控制模块：其用于控制电机驱动模块工作。
5.根据权利要求3所述的一种基于自主学习剧本的智能机器人提线木偶表演系统，其特征是：所述学习模块还包括有：
发光模块：其用灯光显示学习模块的工作状态；
发音模块：其用声音显示学习模块的工作状态，以及用于播放剧本的解说和背景音乐。
6.根据权利要求3所述的一种基于自主学习剧本的智能机器人提线木偶表演系统，其特征是：所述控制模块包括有：
姿势与电机参数对应模块：用于计算木偶的每个姿势中的位置与电机旋转位置的一一对应关系；
基本姿态修正模块：用于在对木偶姿势中的位置与电机旋转位置的一一对应关系中进行人为的数据修正；
基础动作设定模块：用于在静态姿势设定的基础上，设定两个静态姿势之间变换从而形成的基础动作；
连贯动作设定模块：用于将多个基础动作能够联合，连贯成为一个连贯动作，等待调用；
动作切片模块：用于把捕捉表演时的艺术家对老旧木偶的所有动作按照要求，一步步切片成一个个基础动作和一个个连贯动作；
声音翻译模块：用于把录下的艺术家的解说，翻译成数字式的文字；
灯光声音动作同步模块：用于设定在单元时间内，一个或者多个木偶的连贯动作，以及对应渲染灯光、背景音乐；
新剧本编排模块：用于按照剧本，把单元时间内，一个或者多个木偶的连贯动作，以及对应渲染灯光、背景音乐这些内容连贯成一个剧本；
数据保存模块：用于保存控制软件部分内的所有设定内容；
播放模块：用于把新剧本编排模块中的剧本的内容调出，转换成电机的运动控制信息、灯光控制信息和背景音乐播放信息，以及把的艺术家的解说翻译成数字式的文字以数字合成的形式进行播放。
CN201710391603.2A 2017-05-27 2017-05-27 一种基于自主学习剧本的智能机器人提线木偶表演系统 Active CN107330913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710391603.2A CN107330913B (zh) 2017-05-27 2017-05-27 一种基于自主学习剧本的智能机器人提线木偶表演系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710391603.2A CN107330913B (zh) 2017-05-27 2017-05-27 一种基于自主学习剧本的智能机器人提线木偶表演系统

Publications (2)

Publication Number Publication Date
CN107330913A CN107330913A (zh) 2017-11-07
CN107330913B true CN107330913B (zh) 2021-03-02

Family

ID=60193098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710391603.2A Active CN107330913B (zh) 2017-05-27 2017-05-27 一种基于自主学习剧本的智能机器人提线木偶表演系统

Country Status (1)

Country Link
CN (1) CN107330913B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110115849B (zh) * 2019-04-30 2020-06-26 厦门大学 一种小型提线木偶机器人控制方法、系统、终端设备
CN110456744B (zh) * 2019-07-26 2021-03-16 武汉虹捷信息技术有限公司 一种皮影的自动表演控制方法、设备及存储介质
CN112192585B (zh) * 2020-10-13 2022-02-15 厦门大学 一种面向掌中木偶表演机器人的交互表演方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102580327A (zh) * 2012-03-27 2012-07-18 付少锋 智能机器人皮影戏表演的编辑与控制方法
CN102728074A (zh) * 2012-05-23 2012-10-17 宁波华亿第三极科技有限公司 智能互动木偶剧表演系统及其控制方法
CN103272390A (zh) * 2013-06-20 2013-09-04 西安电子科技大学 一种提线木偶戏表演设备及控制系统和控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160096120A1 (en) * 2014-10-02 2016-04-07 Disney Enterprises, Inc. Puppet control mechanism

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102580327A (zh) * 2012-03-27 2012-07-18 付少锋 智能机器人皮影戏表演的编辑与控制方法
CN102728074A (zh) * 2012-05-23 2012-10-17 宁波华亿第三极科技有限公司 智能互动木偶剧表演系统及其控制方法
CN103272390A (zh) * 2013-06-20 2013-09-04 西安电子科技大学 一种提线木偶戏表演设备及控制系统和控制方法

Also Published As

Publication number Publication date
CN107330913A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN112633535B (zh) 一种基于无人机图像的光伏电站智能巡检方法及系统
CN107330913B (zh) 一种基于自主学习剧本的智能机器人提线木偶表演系统
US6020892A (en) Process for producing and controlling animated facial representations
CN110281231B (zh) 无人化fdm增材制造的移动机器人三维视觉抓取方法
CN101776952B (zh) 一种新型互动投影系统
CN110096937A (zh) 一种用于辅助车辆自动驾驶的图像识别的方法及装置
CN110211222B (zh) 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备
CN109079788B (zh) 一种基于人形机器人的国际象棋下棋方法及人形机器人
CN105549725A (zh) 一种三维场景互动展示装置及方法
CN103727877B (zh) 果实识别定位的方法、装置及系统
US12005592B2 (en) Creating training data variability in machine learning for object labelling from images
CN109087553B (zh) 一种临摹绘画方法
CN103443826A (zh) 网格动画
CN113297701B (zh) 多种类工业零件堆叠场景的仿真数据集生成方法及装置
CN114489347A (zh) 动态沙盘及其演示方法和系统
CN106952346B (zh) 一种基于画平面多边形生成吊顶3d模型的系统及方法
CN201699871U (zh) 互动投影装置
CN113838158B (zh) 一种图像和视频的重构方法、装置、终端设备及存储介质
CN117022971B (zh) 一种智能物流码垛机器人控制系统
CN104019761A (zh) 一种玉米植株三维形态获取装置和方法
CN112330753B (zh) 一种增强现实系统的目标检测方法
CN112566335A (zh) 一种无人机编队流光灯效实现方法、系统及无人机编队
CN116685028A (zh) 一种虚拟环境数字人场景灯光智能控制系统
CN202028163U (zh) 一种象棋开局摆棋系统
CN115050010A (zh) 一种针对三维物体检测器的迁移学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant