CN110757471A - 一种基于计算机视觉的舞蹈机器人的系统及其操作方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的舞蹈机器人的系统及其操作方法，包括系统部分和方法部分，方法部分包括基于深度学习的动作捕捉算法和角度转换算法；通过动作捕捉技术，将从视频中捕捉到的人物动作对应到机器人的动作，实现更方便快捷的机器人编舞操作；本发明采取基于深度学习的动作捕捉算法openpose，使用主流配置电脑即可完成；采用在机器人端仅实现数据的传输与舵机的控制功能，将数据通过无线通讯模块传至云端或PC端完成，极大地减少了编程人员的工作量，提高了工作效率，具有节省人力、节省资源、提高工作效率的特点。

Description

一种基于计算机视觉的舞蹈机器人的系统及其操作方法

技术领域

本发明涉及智能机器人领域，特别涉及一种基于计算机视觉的舞蹈机器人的系统及其操作方法。

背景技术

随着科学技术的发展，跳舞机器人逐步出现在了人们的视野中，其以满满的科技感迅速得到了人们的亲睐，跳舞机器人在娱乐、教育领域有巨大的市场，在春晚上就有过跳舞机器人的阵列表演；但是，当前市场上的跳舞机器人的编舞十分麻烦，需要对每个动作进行编码，一般有通过软件设置、或者通过手动固定舞蹈动作两种方法；并且传统的动作捕捉技术，需要采用专用设备，使用很不方便，极大地限制了舞蹈机器人的发展。

发明内容

为了克服上述现有技术的缺陷，本发明的目的在于提供一种基于计算机视觉的舞蹈机器人的系统及其操作方法，通过基于深度学习的动作捕捉技术，将从视频和现实中捕捉到的人物动作对应到机器人的动作，实现更方便快捷的机器人编舞功能；并且使用主流配置电脑即可完成，无需单独购买设备；同时，将数据通过无线通讯模块传至云端或PC端完成，极大地减少了编程人员的工作量，提高了工作效率，具有节省人力、节省资源、提高工作效率的特点。

为了达到上述目的，本发明的技术方案是这样实现的。

一种基于计算机视觉的舞蹈机器人系统，包括机器人本体、设置在机器人本体内部的信息处理装置、无线传输模块、计算机，所述的信息处理装置设置在机器人本体内部，计算机端对图像信息进行捕捉，处理，形成命令，然后通过无线传输模块将命令传输到机器人端的信息处理装置进行处理，信息处理装置将处理后的动作命令传输到机器人端，由舵机控制机器人各个部位的组件完成舞蹈动作；

所述机器人本体包括机器人各个部位的组件、设置在机器人各个关节部位的舵机，当收到动作命令后，舵机控制各个部位的组件做出相应的动作；

所述信息处理装置主要作用是对计算机端的命令进行分析、转化、校核指令中的机器人角度信息，转化成协议命令传输给舵机，由舵机控制机器人本体动作；

所述计算机包括安装在计算机上的信息采集模块、上位机软件，信息采集模块对视频中的动作进行拍摄采集，并传输给上位机软件进行计算处理。

优选的，所述的信息处理装置包括四总线缓冲门、稳压器、微处理器、陀螺仪与加速度模块和多组总线舵机；四总线缓冲门通过引脚与微处理器相连，功能是充当媒介，分析传递指令，将微处理器与舵机连接；稳压器通过引脚与微处理器相连，用于维持机器人内部电压稳定；陀螺仪与加速度模块通过引脚与微处理器相连，功能是对指令中的机器人姿态信息进行二次校核和修正；多组总线舵机通过引脚与微处理器相连，多组总线舵机为舵机接口，负责指令转化。

优选的，所述微处理器作为信息处理装置的主控部件，控制陀螺仪与加速度模块对上位机软件的角度指令做二次校核、修正和分类，并传递给各个部件部位，控制机器人各部分工作。

优选的，所述的无线传输模块型号为ESP8266，无线传输模块的数据传送接口即引脚1与微处理器的引脚22连接，无线传输模块的数据接收接口即引脚2与微处理器的引脚21连接。

优选的，所述的无线传输模块是一种专为移动设备、可穿戴电子产品设计的wifi模块，内置CP\DP协议，可以通过串口简单控制，作用是负责上位机与机器人内部信息处理装置之间的指令传递。

优选的，所述的上位机软件安装在电脑端、云端或者手机端，均能实现视频的选取和对视频中或者对人动作的捕捉。

优选的，所述舞蹈机器人系统的操作方法包括计算机端和机器人端两部分，具体实施步骤如下：

在计算机端的实施步骤如下：

步骤一，选择视频并在计算机端进行播放，输出图像信息，同步的，打开摄像头；

步骤二，图像采集模块对视频画面中人物的动作进行实时逐帧拍摄，形成图像数据链，并将图像数据链实时传输到上位机软件中，上位机软件接受图像信息，并使用基于深度学习的算法openpose进行处理，openpose算法分别检测出步骤一传输的图像数据链中的人物的眼睛、鼻子和肩部、肘部等全身主要关节位置，进行编号，再将编号的各个位置进行拼接，从而捕捉到身体姿态，进而输出18个关节的坐标位置；

步骤三，上位机软件接收18个关节的位置使用角度转换算法，角度转换算法对步骤二捕捉到的身体姿态的各个部分的角度和加速度进行计算；

步骤四，对步骤三计算得到的角度和加速度数据进行打包，形成计算机命令，通过无线传输模块传输到机器人端的信息处理装置进行处理。

在机器人端的实施步骤如下：

步骤五，信息处理装置接受无线传输模块发送的角度信息，结合陀螺仪对角度进行二次修正，将修正后角度发送到舵机；

步骤六，舵机接受修正后的角度信息，并将其动作完成，等待下一帧数据指令。

优选的，步骤三中所述角度转换算法对身体姿态的各个部分的角度和加速度计算的具体计算方法为，将视频中人的各个关键动作定位到不同点，将相邻点中一点固定，计算另一点的角度，以此类推。

本发明的有益效果：

本发明提供一种基于计算机视觉的舞蹈机器人的系统及其操作方法，通过动作捕捉技术，将从视频中捕捉到的人物动作对应到机器人的动作，实现更方便快捷的机器人编舞系统；本发明采取基于深度学习的动作捕捉技术，使用主流配置电脑即可完成，无需单独购买设备；我们采用在机器人端仅实现数据的传输与舵机的控制功能，将数据通过无线通讯模块传至云端或PC端完成，极大地减少了编程人员的工作量，提高了工作效率，具有节省人力、节省资源、提高工作效率的特点。

附图说明

图1为本发明跳舞机器人示意图。

图2-1为本发明四总线缓冲门的电路图。

图2-2为本发明稳压器的电路图。

图2-3为本发明微处理器的电路图。

图2-4为本发明无线传输模块的电路图。

图2-5为本发明陀螺仪与加速度模块的电路图。

图2-6为本发明多组总线舵机的电路图。

图3为本发明跳舞机器人流程框图。

图4为本发明跳舞机器人图像捕捉流程框图。

图5为本发明跳舞机器人角度修正流程框图。

其中：1.四总线缓冲门，2.稳压器，3.微处理器，4.无线传输模块4，5.陀螺仪与加速度模块，6.多组总线舵机。

具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合实施例对本发明的技术方案做进一步的描述。

参见图1、图3、图4、图5和图2-1、图2-2、图2-3、图2-4、图2-5、图2-6，一种基于计算机视觉的舞蹈机器人的系统，包括机器人本体、设置在机器人本体内部的信息处理装置、无线传输模块4、计算机，所述的信息处理装置设置在机器人本体内部，计算机端对图像信息进行捕捉，处理，形成命令，然后通过无线传输模块4将命令传输到机器人端的信息处理装置进行处理，信息处理装置将处理后的动作命令传输到机器人端，由舵机控制机器人各个部位的组件完成舞蹈动作；

所述机器人本体包括机器人各个部位的组件、设置在机器人各个关节部位的舵机，当收到动作命令后，舵机控制各个部位的组件做出相应的动作；

所述信息处理装置主要作用是对计算机端的命令进行分析、转化、校核指令中的机器人角度信息，转化成协议命令传输给舵机，由舵机控制机器人本体动作；

所述计算机包括安装在计算机上的信息采集模块、上位机软件，信息采集模块对视频中的动作进行拍摄采集，并传输给上位机软件进行计算处理。

所述的信息处理装置包括四总线缓冲门1、稳压器2、微处理器3、陀螺仪与加速度模块5和多组总线舵机6，微处理器3安装在机器人本体内，微处理器3与无线传输模块4相连，无线传输模块4与上位机服务器相连，上位机服务器与图像采集模块相连；微处理器3与四总线缓冲门1、陀螺仪加速度模块5和多组总线舵机6分别相连；

所述的四总线缓冲门1为74HC125三态输出的四总线缓冲门；四总线缓冲门1的引脚3与微处理器3串口2的RXD即引脚9连接，四总线缓冲门1的引脚4和微处理器3串口2的XD即引脚10连接,四总线缓冲门1的引脚2与多组总线舵机6的单总线输入即引脚3连接，将AR转换成分时复用的单总线协议供舵机使用；

所述的稳压器2为ASM1117-5.0正向低压降三端稳压器；稳压器2的引脚1接7.4V电压输入，引脚2为5V输出为系统供电，引脚3接GND，维持电路中有持续、稳定的输出电压和电流，保证各个模块的正常工作；

所述的无线传输模块4型号为ESP8266，无线传输模块4的数据传送接口即引脚1与微处理器3的引脚22连接，无线传输模块4的数据接收接口即引脚2与微处理器3的引脚21连接；无线传输模块4是一种专为移动设备、可穿戴电子产品设计的wifi模块，内置CP\DP协议，可以通过串口简单控制；

所述的陀螺仪与加速度模块5型号为MP-6050，为整合性6轴运动处理组件，陀螺仪与加速度模块5通过I2C接口与微处理器3连接，所述I2C的数据线SDA即引脚4与微处理器3的引脚21连接，所述I2C的时钟线SCL即引脚3与微处理器3的22引脚连接，电源即引脚1接5V电压，接地线即引脚2与GND连接；模块三轴陀螺仪与三轴加速度仪对当前姿态角度与加速度进行二次校核与修正，规范机器人动作，便于通过控制舵机机器人本体的动作进行控制；陀螺仪与加速度模块5的I2C为MP6050传送数据到单片机的一种协议，类似于SB；

所述微处理器3型号为SC15F2K60S2,微处理器3的电源端即引脚18接稳压器2的5V输出接口即引脚2，微处理器3电源地即引脚20接地；作为主控与各设备连接，控制各设备工作，并对他们反映的数据做简单的处理；

所述多组总线舵机6引脚分别接7.4V、GND、和串行总线；

所述的微处理器3作为信息处理装置的主控部件，四总线缓冲门1主要功能是充当媒介，将微处理器3的指令分析传递给舵机，稳压器2用于维持机器人本体内部的电压稳定，陀螺仪与加速度模块5主要功能是对指令中的机器人姿态信息进行二次校核和修正；多组总线舵机6为舵机接口，主要负责指令转化；

所述的舵机包括控制机器人手臂前后摆动的舵机1和舵机4，控制机器人手臂向两侧摆动的舵机2和舵机5，控制机器人肘部内曲、伸展的舵机3和舵机6，控制机器人腿部左右方向的舵机7和舵机11，控制机器人腿部前后方向的舵机8和舵机12，控制机器人膝部弯曲、伸展的舵机9和舵机13，控制机器人脚部动作的舵机10和舵机14；

当无线传输模块4将上位机命令传输到机器人内部信息处理装置时，主控部件微处理器3接收到命令，向陀螺仪与加速度模块5发送指令，由陀螺仪与加速度模块5对指令中的机器人姿态信息进行二次校核和修正后，将数据信息反馈给微处理器3，微处理器3将陀螺仪与加速度模块5反馈的数据信息形成协议指令，发送给多组总线舵机6，舵机1对接收到的协议指令进行分解，分别发总到各个舵机，由舵机控制机器人各个部位做出规范动作；

所述的上位机软件可以安装在电脑端、云端或者手机端，均能实现视频的选取和对视频中或者对人动作的捕捉；

所述的无线传输模块可以为蓝牙、wifi、GPRS等各种传输方式；

所述的MCU为微处理器，可以为多串口的各种单片机；

所述的舵机采用总线舵机；

所述的云端为上位机软件部分，可以为服务器、家用电脑、手机等设备。

一种基于计算机视觉的舞蹈机器人系统的操作方法,所述舞蹈机器人系统的操作方法包括计算机端和机器人端两部分，具体实施步骤如下：

在计算机端的实施步骤如下：

步骤一，选择视频并在计算机端进行播放，输出图像信息，同步的，打开摄像头；

步骤二，图像采集模块对视频画面中人物的动作进行实时逐帧拍摄，形成图像数据链，并将图像数据链实时传输到上位机软件中，上位机软件接受图像信息，并使用基于深度学习的算法openpose进行处理，openpose算法分别检测出步骤一传输的图像数据链中的人物的眼睛、鼻子和肩部、肘部等全身主要关节位置，进行编号，再将编号的各个位置进行拼接，从而捕捉到身体姿态，进而输出18个关节的坐标位置；

步骤三，上位机软件接受18个关节的位置使用角度转换算法，姿态转换算法对步骤二捕捉到的身体姿态的各个部分的角度和加速度进行计算；

步骤四，对步骤三计算得到的角度和加速度数据进行打包，形成计算机命令，通过无线传输模块4传输到机器人端的信息处理装置进行处理。

在机器人端的实施步骤如下：

步骤五，信息处理装置接受无线传输模块4发送的角度信息，结合陀螺仪对角度进行二次修正，将修正后角度发送到舵机；

步骤六，舵机接受修正后的角度信息，并将其动作完成，等待下一帧数据指令；

所述的动作捕捉技术主要是利用图像采集模块对视频画面中人物的动作进行实时拍摄或读取视频文件，具体的方法将画面中图像逐帧截取，以保证的动作的连贯性，对图像利用姿态检测算法进行处理；

所述的基于深度学习的姿态检测算法为openpose算法，是一种基于双分支多级CNN的体系结构的深度学习算法，主要是通过图像识别的方法，分别检测出眼睛、鼻子和肩部、肘部等18个全身主要关节，编号为1到18，每个点包含三个信息(x,y,confidence)，x代表该点在图像中的横坐标位置，y代表该点在图像中的纵坐标位置，confidence为置信度，x，y取值为0到1之间，图像左上角为(0，0)坐标点，右下角为(1，1)坐标点，confidence取值为0到1之间，代表该点的准确度；

所述的角度转换算法，主要计算原理是将视频中人的各个关键动作定位到不同点，将相邻点中一点固定，计算另一点的角度，以此类推；例如以手腕为参考点，计算肘部角度，再以肘部为参考点计算肩部角度，通过两点距离变化判断前后摆动角度；

计算时，通过点与点之间的坐标计算他们的位置关系，从而计算关节角度，然后通过相邻两帧关节角度的变化，进而计算出关节移动的速度与加速度。

以机器人右侧手臂为例，经过openpose算法找出肩部、肘部、手部的x坐标与y坐标，筛选置信度大于0.5的点，分别记为(x1,y1)、(x2,y2)、(x3,y3)；记θ1、θ2、θ3分别为机器人舵机1、2、3的旋转角度，α＝arctan((x1-x2)/(y1-y2))，β＝arctan((x2-x3)/(y2-y3))，LB为标准臂长，L1为当前臂长投影，根据不同情况：

当y1>y2>y3时，θ1＝90-(L1/LB)*90,θ2＝α,θ3＝180°-(α+β)，当y3>y2>y1时,θ1＝90+(L1/LB)*90,θ2＝90-α,θ3＝α-β。

所述置信度也称为可靠度，或置信水平、置信系数，即在抽样对总体参数作出估计时，由于样本的随机性，其结论总是不确定的；因此，采用一种概率的陈述方法，也就是数理统计中的区间估计法，即估计值与总体参数在一定允许的误差范围以内，其相应的概率有多大，这个相应的概率称作置信度。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于计算机视觉的舞蹈机器人系统,其特征在于：所述系统包括机器人本体、设置在机器人本体内部的信息处理装置、无线传输模块(4)、计算机，所述的信息处理装置设置在机器人本体内部，计算机端对图像信息进行捕捉，处理，形成命令，然后通过无线传输模块(4)将命令传输到机器人端的信息处理装置进行处理，信息处理装置将处理后的动作命令传输到机器人端，由舵机控制机器人各个部位的组件完成舞蹈动作；

所述机器人本体包括机器人各个部位的组件、设置在机器人各个关节部位的舵机，当收到动作命令后，舵机控制各个部位的组件做出相应的动作；

所述信息处理装置主要作用是对计算机端的命令进行分析、转化、校核指令中的机器人角度信息，转化成协议命令传输给舵机，由舵机控制机器人本体动作；

所述计算机包括安装在计算机上的信息采集模块、上位机软件，信息采集模块对视频中的动作进行拍摄采集，并传输给上位机软件进行计算处理。

2.根据权利要求1所述的一种基于计算机视觉的舞蹈机器人系统，其特征在于：所述的信息处理装置包括四总线缓冲门(1)、稳压器(2)、微处理器(3)、陀螺仪与加速度模块(5)和多组总线舵机(1)；四总线缓冲门(1)通过引脚与微处理器(3)相连，功能是充当媒介，分析传递指令，将微处理器(3)与舵机连接；稳压器(2)通过引脚与微处理器(3)相连，用于维持机器人内部电压稳定；陀螺仪与加速度模块(5)通过引脚与微处理器(3)相连，功能是对指令中的机器人姿态信息进行二次校核和修正；多组总线舵机(1)通过引脚与微处理器(3)相连，多组总线舵机(1)为舵机接口，负责指令转化。

3.根据权利要求2所述的一种基于计算机视觉的舞蹈机器人系统，其特征在于：所述微处理器(3)作为信息处理装置的主控部件，控制陀螺仪与加速度模块(5)对上位机软件的角度指令做二次校核、修正和分类，并传递给各个部件部位，控制机器人各部分工作。

4.根据权利要求1所述的一种基于计算机视觉的舞蹈机器人系统,其特征在于：所述的无线传输模块(4)型号为ESP8266，无线传输模块(4)的数据传送接口即引脚1与微处理器(3)的引脚22连接，无线传输模块(4)的数据接收接口即引脚2与微处理器(3)的引脚21连接。

5.根据权利要求3所述的一种基于计算机视觉的舞蹈机器人系统，其特征在于：所述的无线传输模块(4)是一种为移动设备、可穿戴电子产品设计的wifi模块，内置CP\DP协议，通过串口简单控制，作用是负责上位机与机器人内部信息处理装置之间的指令传递。

6.根据权利要求1所述的一种基于计算机视觉的舞蹈机器人系统,其特征在于：所述的上位机软件安装在电脑端、云端或者手机端，均能实现视频的选取和对视频中或者对人动作的捕捉。

7.根据权利要求1-6任一项所述的一种基于计算机视觉的舞蹈机器人系统的操作方法,其特征在于：所述舞蹈机器人系统的操作方法包括计算机端和机器人端两部分，具体实施步骤如下：

在计算机端的实施步骤如下：

步骤一，选择视频并在计算机端进行播放，输出图像信息，同步的，打开摄像头；

步骤二，图像采集模块对视频画面中人物的动作进行实时逐帧拍摄，形成图像数据链，并将图像数据链实时传输到上位机软件中，上位机软件接受图像信息，并使用基于深度学习的算法openpose进行处理，openpose算法分别检测出步骤一传输的图像数据链中的人物的眼睛、鼻子和肩部、肘部等全身主要关节位置，进行编号，再将编号的各个位置进行拼接，从而捕捉到身体姿态，进而输出18个关节的坐标位置；

步骤三，上位机软件接收18个关节的位置使用角度转换算法，角度转换算法对步骤二捕捉到的身体姿态的各个部分的角度和加速度进行计算；

步骤四，对步骤三计算得到的角度和加速度数据进行打包，形成计算机命令，通过无线传输模块传输到机器人端的信息处理装置进行处理。

在机器人端的实施步骤如下：

步骤五，信息处理装置接受无线传输模块发送的角度信息，结合陀螺仪对角度进行二次修正，将修正后角度发送到舵机；

步骤六，舵机接受修正后的角度信息，并将其动作完成，等待下一帧数据指令。

8.根据权利要求7所述的一种基于计算机视觉的舞蹈机器人系统的操作方法,其特征在于：步骤三中所述角度转换算法对身体姿态的各个部分的角度和加速度计算的具体计算方法为，将视频中人的各个关键动作定位到不同点，将相邻点中一点固定，计算另一点的角度，以此类推。

Images