CN103862457B - 一种带视觉系统的服务机器人 - Google Patents
一种带视觉系统的服务机器人 Download PDFInfo
- Publication number
- CN103862457B CN103862457B CN201410090666.0A CN201410090666A CN103862457B CN 103862457 B CN103862457 B CN 103862457B CN 201410090666 A CN201410090666 A CN 201410090666A CN 103862457 B CN103862457 B CN 103862457B
- Authority
- CN
- China
- Prior art keywords
- robot
- control
- service robot
- visual
- communication module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
本发明公开了一种带视觉系统的服务机器人，包括机器人车体及安装在其上方机械手，所述机器人车体内装有机器人控制车体运动和机械手动作的控制系统，所述机器人车体内还装有嵌入式视觉跟踪系统和WIFI通信模块，视觉跟踪系统的摄像头通过云台安装在机械手上，WIFI通信模块实现控制系统、视觉跟踪系统与上位机的数据与指令的无线传输。本发明在服务机器人上采用嵌入式视觉跟踪系统，利用摄像头进行视觉跟踪，并利用WIFI通信模块与上位机实现视觉传输，以WIFI无线网络为数据传输载体，实现实时控制、音视频传输和图像采集等功能的智能系统，本发明所述的服务机器人可用于在反恐侦查、战场C4ISR系统、消防救灾、生命探测等民用及军事领域。
Description
技术领域
本发明涉及服务机器人，特别涉及一种带视觉系统的服务机器人。
背景技术
针对目前服务机器人都是基于半自动模式下开展任务，这使得需要人的参与控制，这成了服务机器人发展的短板，尤其是高分辨率的物体识别技术一直困扰服务机器人进一步智能化的发展难题，以往一直是使用PC机的参与复杂的图像处理，再通过无线来控制机器人的动作，这样一来消耗了大量的传输时间和受到了距离的限制。
发明内容
为克服上述现有技术的缺陷与不足，本发明提供一种带视觉系统的服务机器人。
本发明所采用的技术方案是：
一种带视觉系统的服务机器人，包括机器人车体及安装在其上方机械手，所述机器人车体内装有机器人控制车体运动和机械手动作的控制系统，所述机器人车体内还装有嵌入式视觉跟踪系统和WIFI通信模块，视觉跟踪系统的摄像头通过云台安装在机械手上，WIFI通信模块实现控制系统、视觉跟踪系统与上位机的数据与指令的无线传输。
具体的，所述机器人车体装有四个车轮，每个车轮由一个直流电机驱动，四个直流电机由可充电电池供电。
优选的，所述云台包括两个数字舵机，摄像头可在云台上可水平0°～180°、上下0°～180°旋转。
优选的，所述机械手为五自由度机械手，包括五个微伺服舵机，分别对应于臂、肩、肘、前腕和夹持器的五个旋转关节。
优选的，所述控制系统包括单片机及分别与其连接的直流电机驱动电路、舵机驱动电路、下载串口以及数据通信接口。
优选的，所述机器人车体上还装有受控制系统控制的灯光装置。
优选的，所述嵌入式视觉跟踪系统采用采用PropellerP8X32A八核32位芯片嵌入linux系统，在linux系统上运行OPENCV图像处理库驱动摄像头，完成视频采集，数据传输、转发。
进一步优选的，所述上位机采用数据包格式传送指令到机器人WIFI模块，WIFI模块通过解包机制把数据包解开，通过串口发送到单片机并通过各驱动模块执行灯光控制、拍照和机器人运动操作。
优选的、所述上位机的软件客户端包括主窗口和配置窗口，主窗口包括视频显示区及控制按钮，用于显示回传视频和控制机器人运动，配置窗口完成WIFI无线网络及机器人控制指令自定义键值的配置。
优选的，所述上位机利用无线网卡通过Socket发送数据包到WIFI模块。
本发明在服务机器人上采用嵌入式视觉跟踪系统，利用摄像头进行视觉跟踪，并利用WIFI通信模块与上位机实现视觉传输，以WIFI无线网络为数据传输载体，实现实时控制、音视频传输和图像采集等功能的智能系统，本发明所述的服务机器人可用于在反恐侦查、战场C4ISR系统、消防救灾、生命探测等民用及军事领域。
附图说明
图1是本发明所述的服务机器人的立体示意图；
图2是本发明所述的服务机器人的侧视图；
图3是本发明的系统整体实现框图；
图4是本发明的电机驱动电路的实施例原理图；
图5是本发明的舵机驱动电路的实施例原理图；
图6是本发明的软件系统体系结构示意图。
具体实施方式
为了便于本领域技术人员理解，下面将结合附图以及实施例对本发明进行进一步详细描述。
如图1、2和3所示，本发明所揭示的带视觉系统的服务机器人，包括机器人车体及安装在其上方的机械手，所述机器人车体内装有机器人控制车体运动和机械手动作的控制系统，所述机器人车体内还装有嵌入式视觉跟踪系统和WIFI通信模块，视觉跟踪系统的摄像头通过云台安装在机械手上，WIFI通信模块实现控制系统、视觉跟踪系统与上位机的数据与指令的无线传输。
所述车体采用全铝合金钣金模型，面板上设计有多用途固定孔，满足以后升级的扩展，表面为氧化磨砂处理，可以起到抗氧化生锈等，车体装有4个车轮，内部主要由4个12V/120转直流电机和电池组构成，电机两两并联，相当于驱动两个电机，增大机器人的运载能力和爬坡能力。为方便电池充放电，设计了充放电电路，只需拨动开关即可实现充放电操作。电池组电源12V，可多个并联使用，为机器人提高持久动力。
机械手采用五自由度铝合金机械手，包括五个精确的微伺服舵机，分别对应于臂、肩、肘、前腕、夹持器五个旋转关节，每个关节可在规定的范围内活动，其可安装到移动平台用于工作人员可视作业，实时修改控制指令，随时精确地完成每一项任务。机械手的总体架构使用铝合金钣金材料磨砂氧化处理机械件加角度舵机构成，角度舵机的控制方式为高脉冲控制信号控制，对应的有32路舵机控制器。
摄像头选择高质量高清摄像头进行监控，摄像头满足0°～180°水平，0°～180°上下旋转，可以远程打开或关闭。摄像头型号为索尼PS2，通讯接口为USB协议。云台由2个MG995数字舵机及其他辅助材料构成。
WIFI模块采用TP-LINK全新推出的150Mbit.s-1迷你型3G无线路由器。该路由器具有尺寸小，供电电压低的特点。其供电电压只有5V，且支持OpenWrt。OpenWrt是一个基于Linux的开源路由固件，提供了一个完全可写的文件系统及软件包管理，对支持OpenWrt的路由器刷机后，其相当于一个Linux小系统。路由器选择OpenWrt作为操作系统，将USB摄像头采集的现场图片发给远端的PC控制终端，并将上位机发出的命令通过串口转发给单片机控制系统。
控制系统主要包括电源模块、电机驱动、舵机驱动、下载串口、单片机电路、红外壁障、车灯控制以及数据通信接口等。电机驱动采用英飞凌公司的BTS7960直流电刷电机驱动芯片，其具有大电流MOSFET半桥结构。芯片具有较高的集成度和足够的输出能力，并在能耗方面具有优势。在集成化和小型化的电机控制系统中，适合作为理想的电机驱动芯片。
图4为BTS7960与单片机组成的H电机驱动单元。由于所采用驱动芯片是半桥，因此需要采用两片以构成全桥实现电机的正反转。单片机产生2路PWM输出作为两片BTS7960的控制信号，同时要求PWM0、PWM1不能同时为高电平。采用定时器输出硬件PWM脉冲，使得单片机CPU只在改变PWM占空比时参与运算，这样可大幅减轻系统运算负担和PWM软件编程成本。
图5为舵机驱动方案电路图。为保证较高的电源利用率，舵机驱动采用LM2596开关型稳压芯片实现，它可以提供3A以上电流，驱动强劲。由于舵机型号为MG995，其工作电压为5.0V～7.0V.因此舵机驱动芯片选择了可调LM2596-ADJ芯片，其输出电压Vout＝Vref(1.0+R2/R1)，其中，Vref＝1.23V为芯片内部参考电压。
嵌入式视觉跟踪系统采用parallax公司的PropellerP8X32A八核32位芯片嵌入linux系统，在linux系统上运行OPENCV图像处理库驱动OV7665摄像头来实现，把常用的算法全部以函数的方式写好，外部可以通过串口总线来调用指令来调用模块中的功能模块，这样做可以把视觉处理等复杂功能可以内置在一个集成模块中。
WIFI视觉传输是以WIFI无线网络为数据传输载体，实现实时控制、音视频传输和图像采集等功能的智能系统。经测试，该机器人可用于在反恐侦查、战场C4ISR系统、消防救灾、生命探测等民用及军事领域。
操作员在操作终端通过WIFI无线网络连接到小车内置的WIFI模块上，并向其发出相关操作指令，WIFI模块接收指令并传递给内置的单片机，单片机通过控制电路让机器人执行相应的指令；同时，安装在机器人上的各种传感器和摄像头可以通过WIFI网络将数据反向传递给操作终端，从而实现上下行控制及双向通信，以便操作员实时了解机器人周围的环境，并根据环境情况发出指令控制机器人执行特定的任务，实现交互式操作。
本发明的软件系统体系结构如图6所示，操作系统采用OpenWrt，此部分在路由器刷机部分完成，主要完成视频采集、数据传输、转发等功能。上位机软件控制灯光控制、拍照、实时控制机器人运动等行为。下位机软件通过接收来自上位机的命令，从而执行相应操作。而连接上位机和下位机之间的纽带就是通信协议，软件部分包括通信协议，客户端控制软件和下位机软件。在此主要介绍通信协议和上位机的开发。
通信协议上位机采用数据包格式传送指令，也可以采用单字符的形式发送，由于单字符通信方式干扰较大，因此采用数据包格式传送指令，包头用OXFF，包尾用OXFF，无校验位。上位机利用无线网卡通过Socket发送数据包到路由器，路由器通过解包机制把数据包解开，通过串口发送到单片机并通过控制模块执行相关操作。其协议规定如表1所示。
表1 通信协议规定
| 数据位 | 功能 | 数据位 | 功能 |
| 0x00 | 停止 | 0x05 | 舵机上 |
| 0x01 | 前进 | 0x06 | 舵机下 |
| 0x02 | 后退 | 0x07 | 舵机左 |
| 0x03 | 电机左转 | 0x08 | 舵机右 |
| 0x04 | 电机右转 |
对于控制平台，采用一种基于WindowsCE.net技术的方法，文中使用VisualStudio2010编写C#上位机客户端。采用TCP/IP协议，利用Socket发送数据包到路由器。客户端包括两个窗口：主窗口和配置窗口。主窗口包括视频显示区及控制按钮区，主要用于显示回传视频和实现机器人运动控制。配置窗口主要完成WIFI无线网络及机器人控制指令自定义键值的配置。
根据表1的通信协议，上位机通过Socket以Byte打包的方式向机器人发送控制命令，同时接收摄像头回传视频流并在视频显示区实时显示。视频部分也可将摄像头拍摄的视频分解成一张张独立的jpg图片发送到客户端，客户端再将图片组合成视频。对于Socket数据发送，首先创建Socket对象的实例，创建Socket实例后上位机即可通过Connect方法连接到路由器，并通过Send方法路由器发送数据。数据发送完成后用Close方法关闭Socket以释放资源。
除此之外，采用配置文件的方式来存取上一次配置的数据，以免重复配置，并通过定义8个键盘值，便于观察事件的执行，以此可方便地通过键盘的触发事件实现电机和舵机的全方位移动，且增加了拍照和车灯控制命令，经测试上位机软件运行良好。
下位机软件驱动板采用arduino2560控制器。基于arduino2560的嵌入式控制系统提供了一种灵活性高且成本低的方案。下位机程序主要包括：外部中断、舵机PWM中断、定时器、串口中断、初始化等。下位机程序接收来自路由器转发的上位机命令，实现数据接收、摄像头云台全方位控制、电机转向、车灯控制、电池电量指示、红外壁障等功能。
在目前所设计小型服务机器人可实现移动搬运物体(加载多自由度机械臂)、目标跟踪、GPS定位、超声波测距、外网控制等，则可实现全方位、超远距离控制，并广泛应用于助老服务、险情探测服务、图像采集服务、目标定位服务、无线通信等领域。
以上为本发明的其中具体实现方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些显而易见的替换形式均属于本发明的保护范围。
Claims (5)
1.一种带视觉系统的服务机器人，包括机器人车体及安装在其上方的机械手，所述机器人车体内装有机器人控制车体运动和机械手动作的控制系统，其特征在于：所述机器人车体内还装有嵌入式视觉跟踪系统和WIFI通信模块，嵌入式视觉跟踪系统的摄像头通过云台安装在机械手上，WIFI通信模块实现控制系统、嵌入式视觉跟踪系统与上位机的数据与指令的无线传输；
所述控制系统包括单片机及分别与其连接的直流电机驱动电路、舵机驱动电路、下载串口以及数据通信接口；
所述嵌入式视觉跟踪系统采用PropellerP8X32A八核32位芯片嵌入linux系统，在linux系统上运行OPENCV图像处理库驱动摄像头，完成视频采集，数据传输、转发；
所述机器人车体装有四个车轮，每个车轮由一个直流电机驱动，四个直流电机由可充电电池供电；
所述直流电机两两并联；
所述机械手为五自由度机械手，包括五个微伺服舵机，分别对应于臂、肩、肘、前腕和夹持器的五个旋转关节；所述机械手用于通过实时修改的控制指令驱动控制，且所述机械手的总体架构使用铝合金钣金材料磨砂氧化处理机械件加角度舵机构成，角度舵机的控制方式为高脉冲控制信号控制，对应的有32路舵机控制器。
2.根据权利要求1所述的带视觉系统的服务机器人，其特征在于：所述云台包括两个数字舵机，摄像头在云台上可水平0°～180°、上下0°～180°旋转。
3.根据权利要求1所述的带视觉系统的服务机器人，其特征在于：所述机器人车体上还装有受控制系统控制的灯光装置。
4.根据权利要求1所述的带视觉系统的服务机器人，其特征在于：所述上位机采用数据包格式传送指令到机器人WIFI通信模块，WIFI通信模块通过解包机制把数据包解开，通过串口发送到单片机并通过各驱动模块执行灯光控制、拍照和机器人运动操作。
5.根据权利要求4所述的带视觉系统的服务机器人，其特征在于：所述上位机利用无线网卡通过Socket发送数据包到WIFI通信模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410090666.0A CN103862457B (zh) | 2014-03-13 | 2014-03-13 | 一种带视觉系统的服务机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410090666.0A CN103862457B (zh) | 2014-03-13 | 2014-03-13 | 一种带视觉系统的服务机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103862457A CN103862457A (zh) | 2014-06-18 |
| CN103862457B true CN103862457B (zh) | 2017-02-08 |
Family
ID=50901784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410090666.0A Expired - Fee Related CN103862457B (zh) | 2014-03-13 | 2014-03-13 | 一种带视觉系统的服务机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103862457B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104090574A (zh) * | 2014-07-03 | 2014-10-08 | 邢淦琛 | 一种智能环境清洁机 |
| CN104175308A (zh) * | 2014-08-12 | 2014-12-03 | 湖南信息职业技术学院 | 自主服务机器人 |
| CN104184944B (zh) * | 2014-08-15 | 2016-03-16 | 小米科技有限责任公司 | 获取多媒体数据流的方法及装置 |
| CN104503489A (zh) * | 2014-12-26 | 2015-04-08 | 国网重庆市电力公司电力科学研究院 | 一种数据采集控制装置、方法及系统 |
| CN105005304A (zh) * | 2015-03-26 | 2015-10-28 | 嘉兴市德宝威微电子有限公司 | 反恐机器人 |
| CN105080150A (zh) * | 2015-06-06 | 2015-11-25 | 昆山玖趣智能科技有限公司 | 一种智能玩具小车 |
| CN104988878B (zh) * | 2015-07-02 | 2017-01-18 | 洛阳理工学院 | 一种山地景区垃圾捡拾装置 |
| WO2017015898A1 (zh) * | 2015-07-29 | 2017-02-02 | Abb 瑞士股份有限公司 | 用于机器人拆垛设备的控制系统和用于控制机器人拆垛的方法 |
| CN105270237B (zh) * | 2015-11-04 | 2017-07-14 | 河海大学常州校区 | 一种三轮机器人小车 |
| CN105807774A (zh) * | 2016-05-16 | 2016-07-27 | 济南大学 | 车间智能服务机器人 |
| CN106166358B (zh) * | 2016-06-28 | 2019-04-16 | 新昌县坞捷农业科技有限公司 | 一种全自动消防一体机用可变式机械手 |
| CN106393129A (zh) * | 2016-09-30 | 2017-02-15 | 南京信息工程大学 | 一种基于树莓派的救灾机器人 |
| CN106441306A (zh) * | 2016-10-18 | 2017-02-22 | 华东师范大学 | 自主定位与地图构建的智能生命探测机器人 |
| CN106429415A (zh) * | 2016-11-08 | 2017-02-22 | 佛山市南海诚龙装饰材料有限公司 | 一种全自动木材制品生产备料系统 |
| CN106730554A (zh) * | 2016-11-12 | 2017-05-31 | 常州大学 | 基于嵌入式Linux的智能预警灭火机器人 |
| CN109079825A (zh) * | 2017-06-14 | 2018-12-25 | 天津玛斯特车身装备技术有限公司 | 机器人自动化视觉抓取系统 |
| CN108363345B (zh) * | 2018-01-29 | 2020-11-13 | 中标消安(北京)科技有限公司 | 一种消防灾害现场通讯系统 |
| CN108381554B (zh) * | 2018-05-22 | 2020-03-17 | 中国矿业大学 | 基于wifi辅助定位的视觉跟踪移动机器人及控制方法 |
| CN108569528A (zh) * | 2018-07-17 | 2018-09-25 | 广东嘉腾机器人自动化有限公司 | 无人搬运小车及自动化物流系统 |
| CN111283680B (zh) * | 2020-02-28 | 2023-07-18 | 华南理工大学 | 一种无线远程遥控机器人的系统和方法 |
| CN112783177A (zh) * | 2021-01-28 | 2021-05-11 | 谈斯聪 | 一种室内外移动机器人、车体两用装置、管理系统及方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6925357B2 (en) * | 2002-07-25 | 2005-08-02 | Intouch Health, Inc. | Medical tele-robotic system |
| CN1320987C (zh) * | 2004-06-04 | 2007-06-13 | 山东鲁能智能技术有限公司 | 电站设备智能自主巡检机器人 |
| CN1308123C (zh) * | 2004-07-22 | 2007-04-04 | 上海交通大学 | 智能移动机器人 |
| CN101254593A (zh) * | 2008-04-11 | 2008-09-03 | 山东电力研究院 | 视觉导航的变电站巡检机器人 |
| CN101293349A (zh) * | 2008-06-05 | 2008-10-29 | 广州大学 | 一种基于Wi-Fi的机器人 |
| US8322249B2 (en) * | 2008-12-18 | 2012-12-04 | Foster-Miller, Inc. | Robot arm assembly |
| CN202037601U (zh) * | 2011-02-24 | 2011-11-16 | 北京博创兴盛科技有限公司 | 全向侦察机器人系统 |
| CN202640348U (zh) * | 2012-07-02 | 2013-01-02 | 四川职业技术学院 | 无线fpv服务机器人 |
| CN203460170U (zh) * | 2013-08-01 | 2014-03-05 | 河北工程大学 | 一种轮式搜救机器人 |
| CN204054037U (zh) * | 2014-03-13 | 2014-12-31 | 湖南信息职业技术学院 | 一种带视觉系统的服务机器人 |
-
2014
- 2014-03-13 CN CN201410090666.0A patent/CN103862457B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN103862457A (zh) | 2014-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103862457B (zh) | 一种带视觉系统的服务机器人 | |
| CN104175308A (zh) | 自主服务机器人 | |
| CN105856186A (zh) | 一种带机械手臂的变电站智能巡检机器人及巡检方法 | |
| CN206178668U (zh) | 用于虚拟现实的动作捕捉装置 | |
| CN101053955A (zh) | 基于蓝牙技术移动机器人控制装置 | |
| CN109484214A (zh) | 一种新能源车充电机器人 | |
| CN207117778U (zh) | 影像摄取装置、可移动平台和影像摄取设备 | |
| CN109324649A (zh) | 一种变电站复合巡检系统及方法 | |
| CN207037466U (zh) | 一种应用于煤矿井下的视觉探测机器人系统 | |
| CN107450575A (zh) | 飞行控制系统及具有其的飞行器 | |
| CN204054037U (zh) | 一种带视觉系统的服务机器人 | |
| CN108270963A (zh) | 智能控制移动摄像监控系统及其控制方法 | |
| CN205704218U (zh) | 一种无线互联网社交机器人 | |
| CN204209679U (zh) | 自主服务机器人 | |
| CN206544183U (zh) | 一种基于广域互联网通讯的巡检机器人系统 | |
| CN206728172U (zh) | 一种视频监控装置 | |
| CN109676623A (zh) | 辅助监理机器人 | |
| CN205968985U (zh) | 一种基于智能移动终端控制的便携式侦查机器人 | |
| CN104700695A (zh) | 嵌入式机器人 | |
| CN109624629A (zh) | 基于矢量飞行的爬壁机器人 | |
| Sergeyeva et al. | Development of a Wi-Fi controlled mobile video device on the Arduino NANO basis | |
| CN109304716A (zh) | 一种分享机器人、分享机器人系统及共享方法 | |
| CN115503946A (zh) | 一种双臂型空中作业无人机及其操作方法 | |
| CN206653396U (zh) | 一种具有图像识别功能的早教机器人 | |
| CN206058517U (zh) | 一种出租车实时信息采集、监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170208 Termination date: 20190313 |