CN103475873B - 多功能行走平台及其图像传输方法 - Google Patents

Abstract

多功能行走平台及其图像传输方法。多路视频采集系统为多个摄像头同时采集每帧图像的过程，那么图像信息作为传递和表达信息最有效的方式之一，数据量呈几何级数增长，如果不经过任何处理，其数据量会非常惊人。本发明方法包括：移动装置（1），移动装置安装感知系统（2），感知系统通过以太网连接控制系统(3)；移动装置包括车身（4），车身连接一组支腿（5），支腿分别安装动轮（6）和万向轮（7）；所述的感知系统包括安装在电路板（8）上的中央处理器（9），所述的中央处理器连接图像压缩装置（10）、图像采集装置（11）、无线数据传输装置（12）、电源管理装置（13）和红外遥控装置（14）。本发明用于视频采集。

Description

多功能行走平台及其图像传输方法

技术领域：

本发明涉及一种多功能行走平台及其图像传输方法。

背景技术：

随着社会的发展，人们越来越希望用机器人代替自己完成那些枯燥、繁重、危险的工作。近年来，对移动机器人的研究受到重视，特别是在工程探险、反恐防爆、军事侦察等领域，人们已经清楚地体会到地面移动机器人的优越性。移动机器人能够移动到预定目标，完成设定的操作任务，相应地对移动机器人系统也提出了更高的要求，特别是在机器人的运动速度、灵活性、自主性、作业能力等方面的要求越来越高，其核心技术主要包括移动行走技术、遥控和遥操作技术、半自主和自主技术、多传感器信息融合技术、导航和定位技术、仿生技术、多智能体协调控制技术和微小型化技术等。

人们感受客观世界70％以上的信息是以眼睛得来的，因此视觉信息是当前信息研究的中心之一。同样，对机器人而言，计算机视觉检测信息量大，获得的信息是对环境最全面最深入的反应，被认为是最重要的感知力。因此机器人视觉导航系统在机器人的研究和应用中占有十分重要的地位，对机器人的智能化将起决定性作用。

伴随着通信技术和计算机网络技术的发展，网络带宽在逐渐增大，传输范围也越来越广。而多媒体技术特别是数字视频压缩编码的迅速发展，视频点播、可视电话、远程医疗和视频监控等应用的关键技术逐步得到解决，基于嵌入式的视频传输系统得到了广泛的应用；多路视频采集系统为多个摄像头同时采集每帧图像的过程，那么图像信息作为传递和表达信息最有效的方式之一，数据量呈几何级数增长，如果不经过任何处理，其数据量会非常惊人。

发明内容：

本发明的目的是提供一种多功能行走平台及其图像传输方法。

上述的目的通过以下的技术方案实现：

一种多功能行走平台，其组成包括：移动装置，所述的移动装置安装感知系统，所述的感知系统通过以太网连接控制系统；所述的移动装置包括车身，所述的车身连接一组支腿，所述的支腿分别安装动轮和万向轮；所述的感知系统包括安装在电路板上的中央处理器，所述的中央处理器连接图像压缩装置、图像采集装置、无线数据传输装置、电源管理装置和红外遥控装置。

所述的多功能行走平台，所述的图像压缩装置还具有图像输入模块，所述的图像输入模块连接数据处理模块，所述的数据处理模块连接系统控制模块和数据存储模块；其中，所述的数据处理模块为两片并行的ADV212芯片，所述的系统控制模块采用FPGA芯片，所述的FPGA芯片具有一组数据接口。

所述的多功能行走平台，所述的图像采集装置还具有总线复用器，所述的总线复用器连接一组视频解码芯片，所述的视频解码芯片连接CMOS摄像头，所述的CMOS摄像头安装在所述的支腿上。

所述的多功能行走平台，所述的电源管理装置还具有TPS65053RGE电源管理芯片，所述的TPS65053RGE电源管理芯片连接TPS5430DDA电源转换芯片。

所述的多功能行走平台，所述的红外遥控装置还具有MSP430芯片，所述的MSP430芯片连接红外接收器，所述的红外接收器连接远程红外遥控器；所述的MSP430芯片还通过减速直流电机连接所述的动力轮。

所述的多功能行走平台，所述的控制系统为远程PC机，所述的感知系统的无线数据传输装置通过以太网连接控制系统的PC机。

7.一种多功能行走平台的图像传输方法：

1）实现两片ADV21初始化，使其工作在静态图像编码状态；

2）系统控制模块的FPGA芯片接收CMOS摄像头接口输入的原始图像数据并缓存；

3）将输入的YCbCr4:2:2格式的原始图像数据分离成单独的亮度（Y）数据和色度（CbCr）数据；

4）将两片ADV212芯片压缩输出的亮度（Y）数据和色度（CrCb）数据的码流合并，形成完整的JPEG2000 数据流；

5）压缩数据流通过无线接口传输到可接受设备；

6）利用系统控制模块的FPGA芯片，实时对CMOS摄像头采集到的数据进行处理，并利用系统控制模块本身具有的ADV212芯片，通过JPEG2000压缩编码把图像组建成另外一组数据，此时中央处理器控制无线数据传输装置，把压缩编码的数据通过无线数据传输装置发射到可接受的控制系统；所述的远程控制系统再实时进行图像监控，并显示机器人的运行状态。

所述的多功能行走平台的图像传输方法，所述的ADV212芯片在初始化时，内部大量的寄存器需要赋值，其初始化顺序首先从直接寄存器的配置开始，依次是：PLL 寄存器、BOOT 寄存器、MMODE 寄存器和BUSMODE 寄存器，之后装载固件，之后软件重启并保存设配置，重启之后重新设置BUSMODE和MMODE寄存器，并通过IADDR和IDATA进行ADV212芯片的压缩参数配置，设置完系统参数后再设置 DMA 寄存器，使能中断，通过读取应用ID来检验固件装载是否正确，当确认固件装载正确后清除 EIRQFLG寄存，初始化完成。

有益效果：

1. 本发明在可遥控移动的移动装置上安装了感知系统，移动装置在远程红外遥控器的控制下按照指定路线移动，并通过感知系统的COMS摄像头获得周围环境的图像信息，再将图像信息通过无线数据传输装置发送到远程控制系统，这样给远程控制系统提供实时的监测信息。而感知系统自身安装的图像数据处理装置能够对图像进行采集、压缩、处理和无线传输的操作。图像压缩装置具有强大的图像处理功能，利用两块并行的ADV212芯片进行亮度数据压缩和色度数据压缩，最后将压缩后的数据合并成完整的JPEG2000数据流，保证了数据流的大小和畅通的传输。

2. 本发明设计的可移动多路视频采集系统主要进行车身控制系统和移动视频采集系统，控制系统可通过无线或有线的方式与移动装置进行通讯完成视频信息的采集、处理、压缩和传输，实现智能化的视频采集，视觉信息实时性强、数据量大，但其中感兴趣的、有用的信息包含在大量的环境信息之中，在采集端就进行视觉的辨别处理，将多路视觉信息的采集、处理、压缩集成于移动平台端，只将预先定义的有效信息传回控制平台，为后期的判断和操作做准备。

系统可对地下管道、狭小空间等复杂环境或矿山爆破区、井下和受灾地点等危险环境进行探测，以视觉实时画面方式将此区域的实际情况进行反馈，为设备的维护、危险探查和人员的搜救提供准确、及时的可视信息。

整体结构简单，实用、经济、操作可靠，能够适应各种不同的仓库环境的监控，有效监控距离达到150米，如果在直线无障碍的情况下，有效监控距离可以达到1000米。如将此机器人应用到其它场合，可以起到很好的跟踪监控效果。

附图说明：

附图1是本发明的外部结构示意图。

附图2是本发明感知系统的结构框图。

附图3是本发明涉及的感知系统进行无线视频传输的硬件整体结构框图。

附图4是本发明的ADV212芯片进行初始化的流程图。

附图5是本发明涉及的ADV212芯片的并行处理接线原理图。

附图6是本发明涉及的EPCS16接线电路图。

附图7是本发明涉及的JTAG下载配置方式原理图。

附图8是本发明涉及的DM365DD2控制器接口与K4T1G164QE硬件连接示意图。

附图9是本发明涉及的TPS60503RGE 典型应用电路图。

附图10是本发明电源管理装置设计的原理示意图。

图中，1为移动装置，2为感知系统，3为控制系统，4为车身，5为支腿，6为动，7为万向轮，8为电路板，9为中央处理器，10为图像压缩装置，11为图像采集装置，12为无线数据传输装置，13为电源管理装置，14为红外遥控装置，15为图像输入模块，16为数据处理模块，17为系统控制模块，18为数据存储模块，19为ADV212芯片，20为CMOS摄像头，21为MSP430芯片，22为红外接收器，23为远程红外遥控器。

具体实施方式：

实施例1：

一种多功能行走平台，其组成包括：移动装置1，所述的移动装置安装感知系统2，所述的感知系统通过以太网连接控制系统3；所述的移动装置包括车身4，所述的车身连接一组支腿5，所述的支腿分别安装动轮6和万向轮7，例如，选择其中两个所述的支腿并在其下方分别安装动轮，再选择一个所述的支腿并在其下方安装万向轮；所述的感知系统包括安装在电路板8上的中央处理器9，所述的中央处理器连接图像压缩装置10、图像采集装置11、无线数据传输装置12、电源管理装置13和红外遥控装置14。

实施例2：

实施例1所述的多功能行走平台，所述的图像压缩装置还具有图像输入模块15，所述的图像输入模块连接数据处理模块16，所述的数据处理模块连接系统控制模块17和数据存储模块18；其中，所述的数据处理模块为两片并行的ADV212芯片19，所述的系统控制模块采用FPGA芯片，所述的FPGA芯片具有一组数据接口。

所述的FPGA芯片上配置EPCS16芯片和SRAM芯片。

所述的图像输入模块主要接收端口输入的图像数据，系统中原始图像数据输入方式有两种：一是从 LVDS 端口输入，数据存储模块将接收到原始图像数据简单处理后传输给本系统；另一种从电路板上的视频接口，外接摄像头来采集原始图像数据。

采用 LVDS 接收数据时，主控计算机将原始图像数据发送到数据存储模块，数据存储模块将原始图像数据缓存后，经数据接口传输给图像压缩处理模块进行压缩编码操作。

采用视频接口采集数据时，则通过电路板上的摄像头接口上外接摄像头，来采集原始图像数据，再经由 ASIC 的 JPEG2000 图像压缩处理系统进行压缩编码，所以摄像头的图像分辨率要求较高。

所述的ADV212芯片对原始图像数据进行JPEG2000 压缩时，其中ADV212_0 进行亮度数据压缩，ADV212_1进行色度数据压缩，最后将压缩后的数据合并成完整的JPEG2000数据流。

所述的数据存储模块采用单纯图像存储的方式，之后将压缩编码后的图像数据存储在计算机内，再计通过算机软件，将存储的图像数据进行解码显示或进一步处理。

实施例3：

实施例1或2所述的多功能行走平台，所述的图像采集装置还具有总线复用器，所述的总线复用器连接一组视频解码芯片，所述的视频解码芯片连接CMOS摄像头20，所述的CMOS摄像头安装在所述的支腿上。

实施例4：

实施例1或2所述的多功能行走平台，所述的电源管理装置还具有TPS65053RGE电源管理芯片，所述的TPS65053RGE电源管理芯片连接TPS5430DDA电源转换芯片。

所述的TPS65053RGE电源管理芯片具有 2 个降压转换器(DC/DC)和 3 个低输入电压 LDO 的5通道电源管理芯片，多通道保证了不仅能满足目前的电源需要，也为日后系统升级需增加电源时提供方便；其中 DCDC1可以输出 1000mA 的电流，DCDC2 可以输出600mA 的电流；LDO1 可以输出 400mA 的电流，LDO2 和 LDO3 可以输出 200mA 的电流。TPS65053RGE 同时支持通过使能引脚控制降压转换器的工作状态，因而可以通过对使能引脚进行控制来满足 TMS320DM365 的电压上电顺序要求，该芯片的典型应用电路图如附图9所示。

本系统需要的电压为1.35V1.8V，3.3V和5V，由于TPS65053RGE的输入电压在1.5V到6.5V之间，而电源适配器为12V，因此必须进行12 到5V的转换，这里选用了 TI 公司的电源转换芯片TPS5430DDA，如附图9所示的TPS60503RGE 典型应用电路图，它支持的电压输入范围在 5.5V 和36V之间，输出的电流最大可以达到 3A，满足需求。

为了得到系统所需的其它电压，需要采用TPS65053RGE将5V电源转换成 1.35V、1.8V和 3.3V，系统的电源模块设计原理示意图如附图10所示。

实施例5：

实施例1或2所述的多功能行走平台，所述的红外遥控装置还具有MSP430芯片21，所述的MSP430芯片连接红外接收器22，所述的红外接收器连接远程红外遥控器23；所述的MSP430芯片还通过减速直流电机连接所述的动力轮。

实施例6：

实施例1或2所述的多功能行走平台，所述的控制系统为远程PC机，所述的感知系统的无线数据传输装置通过以太网连接控制系统的PC机。

所述的无线数据传输装置能够实现远程视频传输，需要将视频流通过以太网络传输到远程控制系统，同时系统开发调试时需要通过以太网络接口完成系统运行的操作系统内核和根文件系统镜像的下载，因此以太网接口必不可少，DM365 芯片内部集成以太网MAC 控制器（EMAC）和物理层数据输入输出管理模块（MDIO），其中 EMAC 控制着数据包从系统到 PHY 之间的传输流程，而 MDIO 模块负责 PHY 芯片的配置和状态检测；由于 DM365芯片内部已经集成以太网MAC 控制器，故只需外接一块 PHY 芯片即可完成网络通信功能；本系统采用的 PHY 芯片为 DAVICOM 公司生产的 DM9161B，它支持 10/100Mbps 快速以太网络通信。芯片采用 3.3V 供电，48 脚 LQFP 封装。本系统中以太网控制器模块电路如附图8所示。

其中DM9161B的TXEN为发送使能信号，高电平有效时表示发送数据总线上数据有效，TXCLK为发送时钟信号，用来为TXEN、TXD、TXER等提供参考时钟，由PHY芯片输出。COL为冲突检测信号，可以用来检测PHY芯片在半双工工作时数据总线上有没产生冲突。TXD[3:0]为4位的发送数据总线，RXD[3:0]为4位的接收数据总线。RXCLK为接收时钟信号，用来为RXEN、RXD、RXER等提供参考时钟，由PHY芯片输出。RXDV为接收数据有效信号，高电平有效时表示接收数据总线上的数据有效。RXER为接收数据错误信号，高电平有效时表示接收数据总线上数据存在错误。CRS为状态输出信号，高电平时表明PHY正在工作。MDIO 为数据I/O管理信号，MDC为数据时钟管理信号，直接与DM365的MDIO部分相连即可。MDINTR为中断状态输出信号，LINKSTS为链路或线缆状态输出信号，分别和DM365的GIO90和GIO92连接。同时为了芯片正常工作，XT和XT2引脚需要与25MHz的晶振相连接。TX+/TX-为发送差分数据对，RX+/RX-为接收差分数据对。

需要注意的是：在DM9161B与RJ-45接口之间需要放置一个带厄流线圈的网络隔离变压器。本系统采用了YL18-2050S隔离变压器，作用是将外部电路与DM9161B隔离，以防止强电或静电烧毁器件，实现网络接口的热插拔。

实施例7：

一种多功能行走平台的图像传输方法：

1）实现两片ADV21初始化，使其工作在静态图像编码状态；

2）系统控制模块的FPGA芯片接收CMOS摄像头接口输入的原始图像数据并缓存；

3）将输入的YCbCr4:2:2格式的原始图像数据分离成单独的亮度（Y）数据和色度（CbCr）数据；

4）将两片ADV212芯片压缩输出的亮度（Y）数据和色度（CrCb）数据的码流合并，形成完整的JPEG2000 数据流；

5）压缩数据流通过无线接口传输到可接受设备；

6）利用系统控制模块的FPGA芯片，实时对CMOS摄像头采集到的数据进行处理，并利用系统控制模块本身具有的ADV212芯片，通过JPEG2000压缩编码把图像组建成另外一组数据，此时中央处理器控制无线数据传输装置，把压缩编码的数据通过无线数据传输装置发射到可接受的控制系统；所述的远程控制系统再实时进行图像监控，并显示机器人的运行状态。

实施例8：

实施例7所述的多功能行走平台的图像传输方法，所述的ADV212芯片在初始化时，内部大量的寄存器需要赋值，用硬件语言实现工作量大，实现时也容易出错，因而我们采用嵌入式Nios II系统，使用简单的C语句，就可以轻松实现寄存器的赋值，简化了编程。其它功能实现采取Verilog HDL语言和原理图输入相结合的方式来实现。

如附图4所示的ADV212芯片的初始化流程图，其初始化顺序首先从直接寄存器的配置开始，依次是：PLL 寄存器、BOOT 寄存器、MMODE 寄存器和BUSMODE 寄存器，之后装载固件，之后软件重启并保存设配置，重启之后重新设置BUSMODE和MMODE寄存器，并通过IADDR和IDATA进行ADV212芯片的压缩参数配置，设置完系统参数后再设置 DMA 寄存器，使能中断，通过读取应用ID来检验固件装载是否正确，当确认固件装载正确后清除 EIRQFLG寄存，初始化完成。

Claims (1)

1.一种多功能行走平台，其组成包括：移动装置，其特征是：所述的移动装置安装感知系统，所述的感知系统通过以太网连接控制系统；所述的移动装置包括车身，所述的车身连接一组支腿，所述的支腿分别安装动轮和万向轮；所述的感知系统包括安装在电路板上的中央处理器，所述的中央处理器连接图像压缩装置、图像采集装置、无线数据传输装置、电源管理装置和红外遥控装置；

所述的图像压缩装置还具有图像输入模块，所述的图像输入模块连接数据处理模块，所述的数据处理模块连接系统控制模块和数据存储模块；其中，所述的数据处理模块为两片并行的ADV212 芯片，所述的系统控制模块采用FPGA 芯片，所述的FPGA 芯片具有一组数据接口；

所述的FPGA 芯片上配置EPCS16 芯片和SRAM 芯片，所述的图像输入模块主要接收端口输入的图像数据，系统中原始图像数据输入方式有两种：一是从 LVDS 端口输入，数据存储模块将接收到原始图像数据简单处理后传输给本系统；另一种从电路板上的视频接口，外接摄像头来采集原始图像数据；采用 LVDS 接收数据时，主控计算机将原始图像数据发送到数据存储模块，数据存储模块将原始图像数据缓存后，经数据接口传输给图像压缩处理模块进行压缩编码操作；采用视频接口采集数据时，则通过电路板上的摄像头接口上外接摄像头，来采集原始图像数据，再经由 ASIC 的 JPEG2000 图像压缩处理系统进行压缩编码；所述的ADV212 芯片对原始图像数据进行JPEG2000 压缩时，其中ADV212_0 进行亮度数据压缩，ADV212_1 进行色度数据压缩，最后将压缩后的数据合并成完整的JPEG2000数据流；所述的数据存储模块采用单纯图像存储的方式，之后将压缩编码后的图像数据存储在计算机内，再计通过算机软件，将存储的图像数据进行解码显示或进一步处理；

所述的图像采集装置还具有总线复用器，所述的总线复用器连接一组视频解码芯片，所述的视频解码芯片连接CMOS摄像头，所述的CMOS 摄像头安装在所述的支腿上；

所述的电源管理装置还具有TPS65053RGE 电源管理芯片，所述的TPS65053RGE 电源管理芯片连接TPS5430DDA 电源转换芯片；

所述的TPS65053RGE 电源管理芯片具有 2 个降压转换器(DC/DC) 和 3 个低输入电压 LDO 的5 通道电源管理芯片； DC/DC1 输出 1000mA 的电流，DC/DC2 输出600mA 的电流；LDO1输出 400mA 的电流，LDO2 和 LDO3 输出 200mA 的电流，TPS65053RGE 同时支持通过使能引脚控制降压转换器的工作状态，因而通过对使能引脚进行控制来满足TMS320DM365 的电压上电顺序要求；

所述的红外遥控装置还具有MSP430 芯片，所述的MSP430 芯片连接红外接收器，所述的红外接收器连接远程红外遥控器；所述的MSP430 芯片还通过减速直流电机连接所述的动轮；

所述的控制系统为远程PC 机，所述的感知系统的无线数据传输装置通过以太网连接控制系统的PC 机；

所述的无线数据传输装置实现远程视频传输，将视频流通过以太网络传输到远程控制系统，同时系统开发调试时通过以太网络接口完成系统运行的操作系统内核和根文件系统镜像的下载，DM365 芯片内部集成以太网MAC 控制器（EMAC）和物理层数据输入输出管理模块（MDIO），其中 EMAC 控制着数据包从系统到 PHY 之间的传输流程，而 MDIO 模块负责PHY 芯片的配置和状态检测；

本系统采用的 PHY 芯片为 DM9161B，支持 10/100Mbps 快速以太网络通信；

其中DM9161B 的TXEN 为发送使能信号，高电平有效时表示发送数据总线上数据有效，TXCLK 为发送时钟信号，用来为TXEN、TXD、TXER提供参考时钟，由PHY 芯片输出；COL 为冲突检测信号，用来检测PHY 芯片在半双工工作时数据总线上有没产生冲突，TXD[3:0] 为4位的发送数据总线，RXD[3:0] 为4 位的接收数据总线，RXCLK 为接收时钟信号，用来为RXEN、RXD、RXER 提供参考时钟，由PHY 芯片输出，RXDV 为接收数据有效信号，高电平有效时表示接收数据总线上的数据有效，RXER 为接收数据错误信号，高电平有效时表示接收数据总线上数据存在错误，CRS 为状态输出信号，高电平时表明PHY 正在工作；

MDIO 为数据I/O 管理信号，MDC 为数据时钟管理信号，直接与DM365 的MDIO相连；

MDINTR 为中断状态输出信号，LINKSTS 为链路或线缆状态输出信号，分别和DM365 的GIO90和GIO92 连接，同时为了芯片正常工作，XT 和XT2 引脚与25MHz 的晶振相连接，TX+/TX- 为发送差分数据对，RX+/RX- 为接收差分数据对；

在DM9161B 与RJ-45 接口之间放置一个带厄流线圈的网络隔离变压器，本系统采用YL18-2050S 隔离变压器，作用是将外部电路与DM9161B 隔离，以防止强电或静电烧毁器件，实现网络接口的热插拔；

所述的多功能行走平台的图像传输方法如下所述：

1）实现两片ADV21 初始化，使其工作在静态图像编码状态；

2）系统控制模块的FPGA 芯片接收CMOS 摄像头接口输入的原始图像数据并缓存；

3）将输入的YCbCr4:2:2 格式的原始图像数据分离成单独的亮度（Y）数据和色度（CbCr）数据；

4）将两片ADV212 芯片压缩输出的亮度（Y）数据和色度（CrCb）数据的码流合并，形成完整的JPEG2000 数据流；

5）压缩数据流通过无线接口传输到可接受设备；

6）利用系统控制模块的FPGA 芯片，实时对CMOS 摄像头采集到的数据进行处理，并利用系统控制模块本身具有的ADV212 芯片，通过JPEG2000 压缩编码把图像组建成另外一组数据，此时中央处理器控制无线数据传输装置，把压缩编码的数据通过无线数据传输装置发射到可接受的控制系统；所述的远程控制系统再实时进行图像监控，并显示机器人的运行状态；

所述的ADV212芯片在初始化时，内部大量的寄存器需要赋值，其初始化顺序首先从直接寄存器的配置开始，依次是：PLL 寄存器、BOOT 寄存器、MMODE 寄存器和BUSMODE 寄存器，之后装载固件，之后软件重启并保存设配置，重启之后重新设置BUSMODE 和MMODE 寄存器，并通过IADDR和IDATA 进行ADV212 芯片的压缩参数配置，设置完系统参数后再设置DMA 寄存器，使能中断，通过读取应用ID 来检验固件装载是否正确，当确认固件装载正确后清除 EIRQFLG 寄存，初始化完成。