CN109500817A - 多足机器人的360度视觉追踪控制系统及控制方法 - Google Patents

Abstract

本发明公开了机器人控制技术领域一种多足机器人的360度视觉追踪控制系统及控制方法，该系统包括无线控制模块、无线接收模块、图像分析模块、中央处理器以及运动控制模块，无线控制模块通过无线接收模块与图像分析模块连接，图像分析模块通过信号转换模块与中央处理器连接，中央处理器通过运动控制模块控制对应舵机；该方法中摄像头启动图像抓捕模式，经过数据分析后得到坐标系的转换值，并在多足机器人云台及支撑脚的坐标系中进行调整，实时跟踪物体。本发明控制每一个动作执行部件实时完成追踪动作指令，动作相应快、位置准确，不受方位的限制，提高了整个机器人物体追踪的实时性，使机器人快捷的辨别方向进行追踪。

Description

多足机器人的360度视觉追踪控制系统及控制方法

技术领域

本发明涉及机器人控制技术领域，具体的说，是涉及一种多足机器人的360度视觉追踪控制系统及控制方法。

背景技术

随着智能产业的迅速发展，国民生活水平越来越高，人们对电子消费的产品要求也是越来越高，很多公司和机构针对服务型机器人及娱乐机器人进行了重点研究与开发。对于可以跟随物体执行追踪机器人，基本都需要事先预设好动作，再同机器人自身加载红外模块或者超声波模块，这种方法识别率底、判断能力单一、活动物体与与动作同步率低且容易丢失物体。尤其是随着现在机器人行业快速发展，玩家在需要让机器人按照动态物体追踪的时候，必须通过植入更多的传感设备的辅助作用下实现追踪，有时候还受限于光线，黑色物体，夹角等因素，而无法让跳舞机器人准确的判断物体位置距离。

上述缺陷，值得解决。

发明内容

为了克服现有的技术的不足，本发明提供一种多足机器人的360度视觉追踪控制系统及控制方法。

本发明技术方案如下所述：

一种多足机器人的360度视觉追踪控制系统，其特征在于，包括无线控制模块、无线接收模块、图像分析模块、中央处理器以及运动控制模块；

所述无线控制模块与无线控制终端无线连接，用于启动多足机器人的控制器；

所述无线接收模块与所述图像分析模块连接，其将接收到的无线图像信息传输至所述图像分析模块；

所述图像分析模块对接收到的信息处理后，发送至信号转换模块，所述信号转换模块与所述中央处理器连接；

所述中央处理器对图像数据进行运动轨迹数据分析，获取数据值，并将所述数据值的信息传输至所述运动控制模块；

所述运动控制模块与所述多足机器人中转动连接位置处的舵机连接，并控制所述舵机的转动方向及角度。

根据上述方案的本发明，其特征在于，所述无线接收模块与所述多足机器人的摄像头连接，所述摄像头内设有图像抓捕模块，所述图像抓捕模块与所述图像分析模块连接，其将通过所述摄像头拍摄的图像传输至所述图像分析模块。

进一步的，在所述图像抓捕模块中，驱动芯片的电源引脚与电源VCC连接，其SCL引脚、SDA引脚与所述摄像头内的控制芯片连接，且所述SCL引脚、所述SDA引脚还经过排阻RN4与电源VCC连接，所述驱动芯片的D2-D9引脚与所述控制芯片连接。

更进一步的，所述驱动芯片的型号为OV7725。

更进一步的，所述控制芯片的型号为STM32F7XX，优选为STM32F765VGT6。

根据上述方案的本发明，其特征在于，所述数据值为物体的方位值。

根据上述方案的本发明，其特征在于，在所述中央处理器中，主控芯片U3的第五引脚与晶体谐振器X1的第一引脚连接，所述主控芯片U3的第六引脚与所述晶体谐振器X1的第三引脚连接，所述晶体谐振器X1的第一引脚经过第十三电容C13与其第四引脚连接并接地，所述晶体谐振器X1的第三引脚经过第十四电容C14接地，所述主控芯片U3的第十二引脚和第十三引脚与所述无线接收模块连接；所述主控芯片U3的第二十一引脚和第二十二引脚与所述摄像头连接。

进一步的，所述晶体谐振器X的型号为8M-10PPM。

进一步的，所述主控芯片的信号为STM32F103CB。

另一方面，一种多足机器人的360度视觉追踪的控制方法，其特征在于，无线控制终端通过无线控制模块发送指令，无线接收模块接收所述无线控制模块的指令后，将其传送到摄像头，所述摄像头启动图像抓捕模式，所述无线接收模块将抓捕到的图像传输到图像分析模块，所述图像分析模块计算出该多足机器人与物体之间的坐标误差，并将其转换发送至中央处理器，所述中央处理器将根据所述坐标误差取得的数据值通过坐标系转换，映射到多足机器人云台及支撑脚的坐标系中进行调整，所述云台和所述支撑脚进行位置调整及误差补偿后，实时跟踪物体。

根据上述方案的本发明，其特征在于，在所述图像分析模块计算坐标误差的过程中，先建立摄像头第一视角O与物体之间的三维坐标系XYZ，其中Z轴数值为摄像头与物体之间短距离，X轴数值为横向方向，Y轴为纵向方向；物体出现在摄像头视野A点，摄像头将OA的距离作为初始参考，物体由A点移动得到图像A1点，计算以原始A点作为参考运动的A1点反馈到X、Y、Z轴后的数据，最终得到物体移动前后的坐标误差。

进一步的，在所述云台和所述支撑脚进行位置调整及误差补偿的过程中，所述运动控制模块针对每个轴的数据值，控制多足机器人中对应舵机做出与坐标误差数据值呈反比例的调节控制。

进一步的，物体由A点移动到B点后，B点在X轴的投影为D点，在Y轴的投影为C点，则图像在摄像头视角的X轴取得投影的夹角α关系为tanα=tan∠AOD，投影在Y轴的夹角β关系为tanβ=tan∠AOC；

计算需要调整的角度α和β后，所述中央处理器通过运动控制模块控制多足机器人中对应舵机转动；

所述多足机器人中，首先所有支撑脚的纵向舵机相互交错上下转动，然后所有支撑脚的横向舵机同时相互交错左右转动，所产生的状态左右方向追踪根据分辨的A1图像取得大小值做反比速度补偿。

根据上述方案的本发明，其有益效果在于：本发明实现了实时采集图像数据，并经过内置控制模块对图像数据值实时处理后，控制每一个动作执行部件实时完成追踪动作指令，动作响应快、位置准确，不受方位的限制，提高了整个机器人物体追踪的实时性，控制模块通过优化算法对舵机实现路径规划控制，避免舵机反应先快后慢的自身的缺陷，使机器人快捷的辨别方向进行追踪。

附图说明

图1为本发明中多足机器人的结构示意图。

图2为本发明中多足机器人支撑脚的结构示意图。

图3为本发明中控制系统结构框图。

图4为本发明中图像抓捕模块的电路图。

图5为本发明中中央处理器的电路图。

图6为本发明中摄像头第一视角的投影示意图。

在图中，1、摄像头；2、云台；31、第一支撑脚；32、第二支撑脚；33、第三支撑脚；34、第四支撑脚；35、第五支撑脚；36、第六支撑脚；41、横向舵机；42、纵向舵机；43、辅助纵向舵机。

具体实施方式

下面结合附图以及实施方式对本发明进行进一步的描述：

请参阅图1-5，一种多足机器人的360度视觉追踪控制系统，涉及电子消费类领域，特别是具备视觉追踪的多足机器人，通过视觉抓捕物体，实现了360度无死角物体追踪的功能。

请参阅图1、图2，本实施例针对的多足机器人具有2N个支撑脚，支撑脚设于主体的侧面，主体上方设有云台2及摄像头1。

每个支撑脚中均包括了横向舵机41、纵向舵机42及辅助纵向舵机43，其中横向舵机41控制支撑脚左右的横向运动，纵向舵机42及辅助纵向舵机43控制支撑脚上下的竖向运动。

优选的，N=3，即本实施例中的机器人具有6个支撑脚，包括第一支撑脚31、第二支撑脚32、第三支撑脚33、第四支撑脚34、第五支撑脚35及第六支撑脚36，且第一支撑脚31、第三支撑脚33及第五支撑脚35同时抬起和落下，第二支撑脚32、第四支撑脚34、及第六支撑脚36同时抬起和落下，实现原地踏步的状态。

请参阅图3，包括无线控制模块、无线接收模块、图像分析模块、中央处理器以及运动控制模块。其中：

（1）无线控制模块与无线控制终端无线连接，用于启动多足机器人的控制器；

（2）无线接收模块与图像分析模块连接，其将接收到的无线图像信息传输至图像分析模块。优选的，无线接收模块与多足机器人的摄像头连接，摄像头内设有图像抓捕模块，图像抓捕模块与图像分析模块连接，其将通过摄像头拍摄的图像传输至图像分析模块；

（3）图像分析模块对接收到的信息处理后，发送至信号转换模块，信号转换模块与中央处理器连接；

（4）中央处理器对图像数据进行运动轨迹数据分析，获取数据值（优选为物体的方位值），并将数据值的信息传输至运动控制模块；

（5）运动控制模块与多足机器人中转动连接位置处的舵机连接，并控制舵机的转动方向及角度。

在各个模块实现的过程中：无线控制模块发送指令，无线接收模块将下达指令传送到摄像头，摄像头再启动图像抓捕模式，将抓捕的的物体给到图像分析模块计算出机器人本体跟物体的坐标的误差，进行转换发送到中央处理器，再把误差的坐标取得数据值通过坐标系旋转，映射云台2再到支撑脚的坐标系上去进行调整，位置及误差补偿，从而达到实时物体跟踪效果。

请参阅图4，在图像抓捕模块中，驱动芯片的电源引脚与电源VCC连接，其SCL引脚、SDA引脚与摄像头内的控制芯片连接，且SCL引脚、SDA引脚还经过排阻RN4与电源VCC连接，驱动芯片的D2-D9引脚与控制芯片连接。

本实施例中，控制芯片的型号为STM32F7XX，优选为STM32F765VGT6。驱动芯片的型号为OV7725。

请参阅图5，在中央处理器中，主控芯片U3的第五引脚与晶体谐振器X1的第一引脚连接，主控芯片U3的第六引脚与晶体谐振器X1的第三引脚连接，晶体谐振器X1的第一引脚经过第十三电容C13与其第四引脚连接并接地，晶体谐振器X1的第三引脚经过第十四电容C14接地，主控芯片U3的第十二引脚和第十三引脚与无线接收模块连接；主控芯片U3的第二十一引脚和第二十二引脚与摄像头连接。

本实施例中，主控芯片的信号为STM32F103CB，晶体谐振器X的型号为8M-10PPM。

请参阅图6，该多足机器人的360度视觉追踪的控制方法，无线控制终端通过无线控制模块发送指令，无线接收模块接收无线控制模块的指令后，将其传送到摄像头，摄像头启动图像抓捕模式，无线接收模块将抓捕到的图像传输到图像分析模块，图像分析模块计算出该多足机器人与物体之间的坐标误差，并将其转换发送至中央处理器，中央处理器将根据坐标误差取得的数据值通过坐标系转换，映射到多足机器人云台及支撑脚的坐标系中进行调整，云台和支撑脚进行位置调整及误差补偿后，实时跟踪物体。

多足机器人的初始状态如图1，图中第一支撑脚31、第三支撑脚33及第五支撑脚35中的纵向舵机42向上顺时针抬起；第一支撑脚31、第三支撑脚33及第五支撑脚35中的纵向舵机回到原始的初始位置，同时第二支撑脚32、第四支撑脚34、及第六支撑脚36中的纵向舵机向上顺时针抬起。循环上述过程，实现原地踏步的状态。

当云台中的云台横向舵机转动小于30度，支撑脚的纵向舵机42做角度补偿，当云台每增加60度，原地踏步的步骤做水平、垂直摄像头运动轨迹切换；物体处于摄像头挣钱方式，所有支撑脚的横向舵机做顺时针横向角度来回补偿和速度补偿；当物体大于摄像头的抓捕框时，补偿为0。

在图6中，先建立摄像头第一视角O与物体之间的三维坐标系XYZ，其中Z轴数值为摄像头与物体之间短距离，X轴数值为横向方向，Y轴为纵向方向。物体出现在摄像头视野A点，摄像头将OA的距离作为初始参考，物体由A点沿Z轴方向前后移动得到图像A1点，以原始A点作为参考运动的A1点大小值与整机的所有的关节舵机控制成反比例，图像越大速度越慢，图像越小速度越快。

在云台和支撑脚进行位置调整及误差补偿的过程中，运动控制模块针对每个轴的数据值，控制多足机器人中对应舵机做出与坐标误差数据值呈反比例的调节控制。实时运算数据已串口方式传输到中央处理器，中央处理器在通过摄像头处理反馈的X、Y、Z轴的数据，再针对每个轴的数据值实时下发指令到舵机。

例如，运动轨迹一：

物体由A点移动到B点后，B点在X轴的投影为D点，在Y轴的投影为C点，Z轴图像大小发生了变化。则图像在摄像头视角的X轴取得投影的夹角α关系为tanα=tan∠AOD，投影在Y轴的夹角β关系为tanβ=tan∠AOC；

计算需要调整的角度α和β后，视觉将运算取得数据传输到主控，主控将取得角度值做初始位置及误差补偿，中央处理器通过运动控制模块控制多足机器人中对应舵机转动，从而实现物体的上下方向追踪。

多足机器人中，首先所有支撑脚的纵向舵机相互交错上下转动，然后所有支撑脚的横向舵机同时相互交错左右转动，所产生的状态左右方向追踪根据分辨的A1图像取得大小值做反比速度补偿。

例如，运动轨迹二：

初始物体A点运动到B点，摄像头将B点图像以Z轴投影O，物体B点投影到Y轴位置为C点，X轴位置为D点，tanβ=tan∠AOC，得出在Y轴β的角度值。串口方式传输到中央处理器，主控在将取得角度下发到云台的云台纵向舵机，从而实现物体的上下方向追踪。

如上述的Y轴β值计算方式，得出在X轴α的角度值，传输到中央处理器，中央处理器的主控芯片将取得角度下发到云台横向转动舵机，转动横向舵机41在将角度反馈到主控芯片，主控芯片将取得角度值做初始位置及误差补偿，机器人的横向舵机41相互交错上下转动，所产生的状态为原地踏步的步态。当物体沿Z轴移动到A1，那么图像在摄像头视角的X、Y呈现出来的投影夹角为0，Z轴发生变化，视觉将运算取得数据传输到横向舵机41，横向舵机41直接在机器人的所有的纵向舵机42相互交错上下转动，同时在机器人的所有的横向舵机41相互交错左右转动，根据分辨的A1图像取得大小值做反比速度补偿，所产生的状态前后方向追踪。

例如，运动轨迹三：

当物体由A移动到D，那么图像在摄像头视角的X轴取得投影夹角为tanα=tan∠AOD,投影Y轴为角度0，Z轴图像大小也未变化。

视觉将运算取得数据传输到中央处理器的主控芯片，主控芯片将取得角度值做初始位置及误差补偿，机器人初始抬起支撑脚是垂直云台的纵向舵机42，主控芯片直接在机器人的所有的纵向舵机42相互交错上下转动，同时在机器人的所有的横向舵机41相互交错左右转动，根据分辨的A1图像取得大小值做反比速度补偿，所产生的状态左右方向追踪。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

上面结合附图对本发明专利进行了示例性的描述，显然本发明专利的实现并不受上述方式的限制，只要采用了本发明专利的方法构思和技术方案进行的各种改进，或未经改进将本发明专利的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (9)

1.一种多足机器人的360度视觉追踪控制系统，其特征在于，包括无线控制模块、无线接收模块、图像分析模块、中央处理器以及运动控制模块；

所述无线控制模块与无线控制终端无线连接，用于启动多足机器人的控制器；

所述无线接收模块与所述图像分析模块连接，其将接收到的无线图像信息传输至所述图像分析模块；

所述图像分析模块对接收到的信息处理后，发送至信号转换模块，所述信号转换模块与所述中央处理器连接；

所述中央处理器对图像数据进行运动轨迹数据分析，获取数据值，并将所述数据值的信息传输至所述运动控制模块；

所述运动控制模块与所述多足机器人中转动连接位置处的舵机连接，并控制所述舵机的转动方向及角度。

2.根据权利要求1所述的多足机器人的360度视觉追踪控制系统，其特征在于，所述无线接收模块与所述多足机器人的摄像头连接，所述摄像头内设有图像抓捕模块，所述图像抓捕模块与所述图像分析模块连接，其将通过所述摄像头拍摄的图像传输至所述图像分析模块。

3.根据权利要求2所述的多足机器人的360度视觉追踪控制系统，其特征在于，在所述图像抓捕模块中，驱动芯片的电源引脚与电源VCC连接，其SCL引脚、SDA引脚与所述摄像头内的控制芯片连接，且所述SCL引脚、所述SDA引脚还经过排阻RN4与电源VCC连接，所述驱动芯片的D2-D9引脚与所述控制芯片连接。

4.根据权利要求1所述的多足机器人的360度视觉追踪控制系统，其特征在于，所述数据值为物体的方位值。

5.根据权利要求1所述的多足机器人的360度视觉追踪控制系统，其特征在于，在所述中央处理器中，主控芯片U3的第五引脚与晶体谐振器X1的第一引脚连接，所述主控芯片U3的第六引脚与所述晶体谐振器X1的第三引脚连接，所述晶体谐振器X1的第一引脚经过第十三电容C13与其第四引脚连接并接地，所述晶体谐振器X1的第三引脚经过第十四电容C14接地，所述主控芯片U3的第十二引脚和第十三引脚与所述无线接收模块连接；所述主控芯片U3的第二十一引脚和第二十二引脚与所述摄像头连接。

6.一种多足机器人的360度视觉追踪的控制方法，其特征在于，无线控制终端通过无线控制模块发送指令，无线接收模块接收所述无线控制模块的指令后，将其传送到摄像头，所述摄像头启动图像抓捕模式，所述无线接收模块将抓捕到的图像传输到图像分析模块，所述图像分析模块计算出该多足机器人与物体之间的坐标误差，并将其转换发送至中央处理器，所述中央处理器将根据所述坐标误差取得的数据值通过坐标系转换，映射到多足机器人云台及支撑脚的坐标系中进行调整，所述云台和所述支撑脚进行位置调整及误差补偿后，实时跟踪物体。

7.根据权利要求6所述的多足机器人的360度视觉追踪的控制方法，其特征在于，在所述图像分析模块计算坐标误差的过程中，先建立摄像头第一视角O与物体之间的三维坐标系XYZ，其中Z轴数值为摄像头与物体之间短距离，X轴数值为横向方向，Y轴为纵向方向；物体出现在摄像头视野A点，摄像头将OA的距离作为初始参考，物体由A点移动得到图像A1点，计算以原始A点作为参考运动的A1点反馈到X、Y、Z轴后的数据，最终得到物体移动前后的坐标误差。

8.根据权利要求7所述的多足机器人的360度视觉追踪的控制方法，其特征在于，在所述云台和所述支撑脚进行位置调整及误差补偿的过程中，所述运动控制模块针对每个轴的数据值，控制多足机器人中对应舵机做出与坐标误差数据值呈反比例的调节控制。

9.根据权利要求7所述的多足机器人的360度视觉追踪的控制方法，其特征在于，物体由A点移动到B点后，B点在X轴的投影为D点，在Y轴的投影为C点，则图像在摄像头视角的X轴取得投影的夹角α关系为tanα=tan∠AOD，投影在Y轴的夹角β关系为tanβ=tan∠AOC；

计算需要调整的角度α和β后，所述中央处理器通过运动控制模块控制多足机器人中对应舵机转动；

所述多足机器人中，首先所有支撑脚的纵向舵机相互交错上下转动，然后所有支撑脚的横向舵机同时相互交错左右转动，所产生的状态左右方向追踪根据分辨的A1图像取得大小值做反比速度补偿。