CN110087037A - 一种集成摄像头的EtherCAT主站和工作方法 - Google Patents

Abstract

本发明公开了一种集成摄像头的EtherCAT主站，包括处理器、通信模块、视觉模块、显示模块、电源模块、存储模块，将视觉模块与EtherCAT主站相结合，第一处理单元读取视觉模块采集的图像并存储至存储模块，第二处理单元读取存储模块中存储的视频图像后进行处理，将处理结果发送至片上内存，由安装有EtherCAT主站程序的第三处理单元进行调取使用，避免了工业相机常用的UDP协议造成的信号干扰和传输延迟；图像处理过程中采用第一处理单元进行硬件加速，提高了图像处理性能；第三处理单元只运行EtherCAT主站程序，以太网帧收发由第一处理单元实现，使EtherCAT主站的性能和可靠性达到最优。本发明所提及的EtherCAT主站实现了嵌入式、高性能、信息交互、计算机视觉、工业以太网等特征。

Description

一种集成摄像头的EtherCAT主站和工作方法

技术领域

本发明涉及工业现场总线领域和视觉处理领域，具体涉及一种基于视觉技术和异构处理器技术的EtherCAT主站系统。

背景技术

未来的发展趋势必然是嵌入式，多元化，高性能的现场总线方案，实时以太网总线必然在工控领域成为发展趋势。EtherCAT实时以太网具有优点如下：精确的同步周期，更高的数据吞吐量，兼容性和开放性好。

近年来,为了满足工厂企业内部信息结成、综合自动化的需求，各大公司采用了工业以太网总线协议。然而,现场总线的实现成本一般都比较高，开发难度也相对较大，阻碍了现场总线技术的发展。因此,研究出集成视觉模块的EtherCAT主站有着十分重要的现实意义。

一套好的EtherCAT主站必须要有足够的实时性和完备的功能，现有的大多数EtherCAT主站性能仅能达到几十微秒的同步时钟，且功能较为单一，仅支持IO口的扩展。目前国内外对集成摄像头的Ether CAT主站的研究还停留在理论和方法的探索上，没有系统的标准和完善的解决方案，尤其是在如何提高计算性能和具体的实现上最具争议。

发明内容

本发明目的在于提供一种集成摄像头的EtherCAT主站和工作方法，将视觉模块与EtherCAT主站相结合，第一处理单元读取视觉模块采集的图像并存储至存储模块，第二处理单元读取存储模块中存储的视频图像后进行处理，将处理结果发送至片上内存，由安装有EtherCAT主站程序的第三处理单元进行调取使用，避免了工业相机常用的UDP协议造成的信号干扰和传输延迟；图像处理过程中采用第一处理单元进行硬件加速，提高了图像处理性能；第三处理单元只运行EtherCAT主站程序，以太网帧收发由第一处理单元实现，使EtherCAT主站的性能和可靠性达到最优；采用显示模块以显示主站输出信息、输入配置文件和外部控制指令，从而使EtherCAT主站具有了嵌入式、高性能、信息交互、计算机视觉、工业以太网等特征。

为达成上述目的，结合图1，本发明提出一种集成摄像头的EtherCAT主站，所述主站包括处理器、通信模块、视觉模块、显示模块、电源模块、存储模块。

所述电源模块分别与处理器、通信模块、视觉模块、显示模块、存储模块电连接，用以提供处理器、通信模块、视觉模块、显示模块、存储模块工作所需电能。

所述处理器分别与通信模块、视觉模块、显示模块、存储模块电连接。

所述处理器包括相互连接的第一处理单元、第二处理单元、第三处理单元。

所述显示模块包括用以显示主站输出信息的显示屏、用以连接第一处理单元和显示屏的显示接口、用以输入配置文件和外部控制指令的输入外设。

所述第一处理单元接收输入外设发送的配置文件，将配置文件转发至第二处理单元进行编译，编译结果共享至第三处理单元。

所述视觉模块与第一处理单元电连接，用以实时采集视频图像。

所述第一处理单元根据外部控制指令从视觉模块中读取采集到的视频图像，将之预处理后转存至存储模块，并触发第二处理单元。

优选的，所述存储模块包括第一存储单元、第二存储单元、第三存储单元。

所述第一存储单元采用同步动态随机存取内存，如DDR3，用以存储视觉模块采集到的视频图像。

所述第二存储单元采用FLASH内存，如QSPI FLASH内存，用以存储启动文件。

所述第三存储单元采用SD存储卡，用以存储文件系统。

所述第二处理单元读取存储模块中的视频图像，调用OPENCV库对图像进行处理，处理结果共享至第三处理单元。

优选的，所述第二处理单元响应于调用OPENCV库对图像进行处理，调用第一处理单元进行硬件加速。所述第二处理单元和第三处理单元通过片上内存(OCM)进行数据交互。

所述第三处理单元依次通过第一处理单元、通信模块与EtherCAT从站进行数据交互。所述通信模块包括相互连接的PHY芯片和RJ-45网口，PHY芯片与第一处理单元连接，RJ-45网口与EtherCAT从站连接，所述通信模块还包括USB接口，用以连接如鼠标等输入外设。

所述第一处理单元还用于同步时钟校准，时钟源取自与通信模块连接的第一个EtherCAT从站。

所述第三处理单元中安装有EtherCAT主站程序，调用第二处理单元共享的编译结果和处理结果，生成控制指令，将控制指令通过第一处理单元发送至EtherCAT从站，以及通过第一处理单元接收EtherCAT从站发送的控制反馈信息，将控制反馈信息转发至第二处理单元进行处理。

结合图3，基于前述集成摄像头的EtherCAT主站，本发明还提及一种集成摄像头的EtherCAT主站的工作方法，，所述工作方法包括：

S1：系统初始化。

S2：判断是否存在新输入的配置参数，如果存在新输入的配置参数，保存新的配置参数到文件系统，并且共享新的配置参数至片上内存，否则，从文件系统中读取原配置参数，将读取的原配置参数共享至片上内存。

S3：唤醒第三处理单元对EtherCAT从站进行实时控制。

S4：采用第一处理单元从视觉模块中读取采集的视频图像，将读取到的视频图像存储至存储模块。

S5：采用第二处理单元从存储模块中读取视频图像并对读取的视频图像进行处理。

S6：将处理结果共享至片上内存。

S7：从片上内存中读取控制反馈信息，通过显示模块以显示。

进一步的，所述唤醒第三处理单元对EtherCAT从站进行实时控制的过程包括以下步骤：

S31：初始化。

S32：使能EtherCAT从站。

S33：从片上内存读取配置参数，启动控制程序。

S34：读取片上内存中存储的处理后的控制脚本和视觉模块采集的图像数据，对EtherCAT从站进行实时控制。

S35：读取EtherCAT从站的控制反馈信息，将控制反馈信息共享至片上内存。

本发明提及的一种集成摄像头的EtherCAT主站，通过使用具有多个处理单元的处理器，基于AMP架构和开源SOEM EtherCAT主站，对支持EtherCAT的伺服驱动器和IO设备等进行控制，很好的提高了嵌入式EtherCAT主站的性能和可靠性，解决了嵌入式主站应用领域少，性能较差的问题。

采用基于硬件加速的OPENCV进行图像处理，提高了图像处理的速度，使其性能满足工业控制的要求。

用户操作界面采用如Qt等用户界面应用程序开发框架编写，图像由第一处理单元转换成HDMI时序并通过HDMI接口连接显示屏，采用USB接口连接鼠标或触摸屏等输入外设以实现人机交互。

用户通过将伺服从站或其他IO设备的配置文件写入操作界面窗口，这些文件会被保存到第二处理单元，第二处理单元对其进行编译，编译结果存储到OCM中，这些数据会被第三处理单元上运行的EtherCAT主站程序读取，并运用到具体控制中。

当工业控制需要用到视觉处理，第一处理单元对视觉模块采集的视频图像进行数据读写，并将数据存储到存储模块中，图像数据由第二处理单元中运行的OPENCV读取，并使用第一处理单元进行硬件加速，提高处理速度，处理结果被写入到OCM中由第三处理单元的EtherCAT主站调用并运用到控制中，EtherCAT主站中的一些控制反馈也写入到OCM中，由第二处理单元中的Linux读取，共享内存的读取和写入地址不重合。

由于第三处理单元只运行EtherCAT主站裸机并且以太网帧收发由第一处理单元实现，所以主站的性能和可靠性要优于其他嵌入式主站。由于视觉模块采集的视频图像直接由第一处理单元进行读取后存入存储模块，第二处理单元中直接从存储模块中读取图像并进行处理，不存在工业相机常用的UDP协议造成的信号干扰和传输延迟，同时使用第一处理单元进行硬件加速，提高了图像处理性能。

由于处理器直接读取并处理摄像头采集到的数据，在EtherCAT主站程序中读取处理过的数据，对伺服从站设备进行实时控制，减少了图像传输的延时，提高了视觉控制系统的实时性，降低了设备成本。

基于前述描述，所述处理器可以采用Zynq 7020异构处理器，用硬件方式对EtherCAT以太网帧进行收发，保证了其满足高性能主站的纳秒级同步时钟，同时，该处理器拥有双核ARM Cortex A9处理器，支持Linux操作系统，可以在此基础上开发出人性化的交互接口。

以上本发明的技术方案，与现有相比，其显著的有益效果在于：

1)第一处理单元读取视觉模块采集的图像并存储至存储模块，第二处理单元读取存储模块中存储的视频图像后进行处理，将处理结果发送至片上内存，由安装有EtherCAT主站程序的第三处理单元进行调取使用，避免了工业相机常用的UDP协议造成的信号干扰和传输延迟问题。

2)采用如Qt等用户界面应用程序开发框架编写用户操作界面，通过显示屏显示操作界面和处理器输出信息，采用USB接口连接鼠标或触摸屏等输入外设以实现人机交互。

3)第三处理单元只运行EtherCAT主站裸机并且以太网帧收发由第一处理单元实现，所以主站的性能和可靠性要优于其他嵌入式主站。

4)用硬件方式对EtherCAT以太网帧进行收发，保证了其满足高性能主站的纳秒级同步时钟。

5)图像处理过程中使用第一处理单元进行硬件加速，提高了图像处理性能。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明的集成摄像头的EtherCAT主站的结构示意图。

图2是本发明的集成摄像头的EtherCAT主站的FPGA框图。

图3是本发明的集成摄像头的EtherCAT主站的工作方法流程图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

结合图1，本发明提出一种集成摄像头的EtherCAT主站，包括处理器1、通信模块2、视觉模块3、显示模块4、电源模块5和存储模块6，所述处理器1分别连接通信模块2、视觉模块3、显示模块4、电源模块5和存储模块6。

在该实施例中，提供了EtherCAT主站所包含的其中一些设备的型号，应当理解，本实施例中提及的设备型号只是可供参考的其中一种，实际应用中不局限于此，能实现同等功能均可采用。

所述处理器1为Zynq 7020异构处理器，所述异构处理器1配备双核ARM Cortex-A9处理器，该处理器与基于28nmArtix-7的可编程逻辑集成，作为系统的核心，可实现优异的性能功耗比和最大的设计灵活性，包括片内FPGA、CPU0、CPU1，其中，CPU0运行Linux操作系统，CPU1运行EtherCAT主站裸机程序，双核通过OCM进行数据交互，片内FPGA负责图像采集和预处理以及以太网帧收发和总线同步时钟的校准。

所述通信模块包括PHY芯片和RJ-45网口，进行以太网帧的物理层收发。所述PHY芯片型号为DP83848C。

进一步的，USB接口的PHY芯片和HUB芯片的型号分别为USB3320C和USB2514。

所述视觉模块采用OV5640 CMOS类型数字图像传感器，该传感器支持输出最大为500万像素的图像(2592x1944分辨率)，支持使用VGA时序输出图像数据，支持自动对焦功能，输出图像的数据格式支持YUV(422/420)、YCbCr422、RGB565以及JPEG格式，本实施例采用RGB565格式数据读取。

所述显示接口为HDMI接口，与处理器1的IO之间相连，并通过49.9R电阻上拉3.3V，HDMI接口连接显示屏，时序由处理器1中的FPGA生成。

所述电源模块包括TI_TLV62130RGT和TI_TPS65400RGZ，采用DC-DC方式降压给所有元器件供电，输入电源3V-17V，输出1V，3.3V，1.8V和1.5V，其中TI_TLV62130RGT输出5V，TI_TPS65400RGZ输出1V，3.3V，1.8V和1.5V。

所述存储模块包括DDR3，QSPI FLASH和SD卡，分别用于存储视频图像、启动文件和文件系统。所述DDR3芯片为MT41K512M16HA-125，QSPI FLASH芯片为S25FL128SAGMFI00，SDIO端口扩展器为TI_TXS02612RTWR。

Linux操作系统运行网络协议和Qt，用户通过HDMI外接的显示器查看主站输出的信息，使用USB鼠标或触摸屏对主站进行设置和操作。

结合图3，本实施例的实施过程如下：

用户将带EtherCAT接口的伺服驱动器或IO设备通过网线连接到本发明的主站通信模块2，设备和电源模块5通电后开机。用户通过USB鼠标或触摸屏对显示器显示的界面进行操作，保存的数据将被存储在存储模块6的文件系统中。用户在用到视觉控制时，本发明的主站使用自带的OV5640摄像头采集图像数据，通过处理器1中的CPU0运行的OpenCV进行图像处理，并使用FPGA进行硬件加速，处理过的控制数据将通过片上内存(OCM)共享给CPU1中运行的EtherCAT主站，主站运行用户实现配置好的控制脚本进行控制，主站采集到的驱动器反馈和IO数据通过OCM共享给CPU0，并通过HDMI显示器显示在Qt编写的用户界面上。EtherCAT主站采用SOEM开源协议栈，支持CiA402协议，支持DC(分布式时钟)，同步周期1ms，满足控制的实时性要求，主站开启后先使能伺服驱动器从站和IO设备，接着松开电机抱闸，然后读取CPU0共享到OCM中的控制脚本，读取完毕后开始配合摄像头反馈的数据进行实时控制。

结合图2，本发明的FPGA实现方法如下：

OV Sensor为摄像头数据读取的IP核，摄像头复位由GPIO IP核完成，初始化由ARM上的IIC完成，将摄像头配置成RGB565格式输出，经过OV Sensor将数据转化为AXI Stream的24位格式，经过VDMA和ARM上的HP0传入DDR3。

HDMI ML为HDMI时序输出的IP核，图像数据从DDR3经过HP0和VDMA传入，将图像转换为HDMI格式后直接由HDMI接口输出。

AXI Ethmac在开源Ethmac IP核基础上进行改进，实现对以太网帧的收发，校验和对EtherCAT DC同步时钟的校准，时钟源取自第一个从站，接收到的以太网帧传入DDR3。

AXI协议严格的讲是一个点对点的主从接口协议，当多个外设需要互相交互数据时，我们需要加入一个AXI Interconnect模块，也就是AXI互联矩阵，作用是提供将一个或多个AXI主设备连接到一个或多个AXI从设备的一种交换机制(有点类似于交换机里面的交换矩阵)。

AXI VDMA提供内存和AXI流视频类型的目标外设之间的高带宽存储访问，这类目标外设包括支持AXI4-流视频协议的设备。初始化、状态和管理寄存器通过AXI4-Lite从接口访问。

AXI4-StreamInto Video和Video In to AXI4-Stream实现AXI总线数据流与视频流的相互转化。

Cmos Input为摄像头模块输入接口，包括：cmos_pclk,cmos_vsync,cmos_href和cmos_data[7:0]。Cmos_rstn为摄像头复位管脚输出。

HDMI Output为HDMI输出接口，包括：HDMI_CLK_P,HDMI_CLK_N,HDMI_D0_P,HDMI_D0_N,HDMI_D1_P,HDMI_D1_N,HDMI_D2_P和HDMI_D2_N。

FIFO(First Input First Output)简单说就是指先进先出。由于微电子技术的飞速发展，新一代FIFO芯片容量越来越大，体积越来越小，价格越来越便宜。作为一种新型大规模集成电路，FIFO芯片以其灵活、方便、高效的特性，逐渐在高速数据采集、高速数据处理、高速数据传输以及多机处理系统中得到越来越广泛的应用。

mii和mdio为以太网PHY接口。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种集成摄像头的EtherCAT主站，其特征在于，所述主站包括处理器、通信模块、视觉模块、显示模块、电源模块、存储模块；

所述电源模块分别与处理器、通信模块、视觉模块、显示模块、存储模块电连接，用以提供处理器、通信模块、视觉模块、显示模块、存储模块工作所需电能；

所述处理器分别与通信模块、视觉模块、显示模块、存储模块电连接；

所述处理器包括相互连接的第一处理单元、第二处理单元、第三处理单元；

所述显示模块包括用以显示主站输出信息的显示屏、用以连接第一处理单元和显示屏的显示接口、用以输入配置文件和外部控制指令的输入外设；

所述第一处理单元接收输入外设发送的配置文件，将配置文件转发至第二处理单元进行编译，编译结果共享至第三处理单元；

所述视觉模块与第一处理单元电连接，用以实时采集视频图像；

所述第一处理单元根据外部控制指令从视觉模块中读取采集到的视频图像，将之预处理后转存至存储模块，并触发第二处理单元；

所述第二处理单元读取存储模块中的视频图像，调用OPENCV库对图像进行处理，处理结果共享至第三处理单元；

所述第一处理单元通过通信模块与EtherCAT从站进行数据交互；

所述第三处理单元中安装有EtherCAT主站程序，调用第二处理单元共享的编译结果和处理结果，生成控制指令，将控制指令通过第一处理单元发送至EtherCAT从站，以及通过第一处理单元接收EtherCAT从站发送的控制反馈信息，将控制反馈信息转发至第二处理单元进行处理。

2.根据权利要求1所述的集成摄像头的EtherCAT主站，其特征在于，所述第二处理单元和第三处理单元通过片上内存进行数据交互。

3.根据权利要求2所述的集成摄像头的EtherCAT主站，其特征在于，所述片内存储器的读取地址和写入地址不重合。

4.根据权利要求1所述的集成摄像头的EtherCAT主站，其特征在于，所述第二处理单元响应于调用OPENCV库对图像进行处理，调用第一处理单元进行硬件加速。

5.根据权利要求1所述的集成摄像头的EtherCAT主站，其特征在于，所述存储模块包括第一存储单元、第二存储单元、第三存储单元；

所述第一存储单元采用同步动态随机存取内存，用以存储视觉模块采集到的视频图像；

所述第二存储单元采用FLASH内存，用以存储启动文件；

所述第三存储单元采用SD存储卡，用以存储文件系统。

6.根据权利要求1所述的集成摄像头的EtherCAT主站，其特征在于，所述第一处理单元还用于同步时钟校准，时钟源取自与通信模块连接的第一个EtherCAT从站。

7.根据权利要求1所述的集成摄像头的EtherCAT主站，其特征在于，所述通信模块包括相互连接的PHY芯片和RJ-45网口，PHY芯片与第一处理单元连接，RJ-45网口与EtherCAT从站连接；

所述通信模块还包括USB接口。

8.根据权利要求1所述的集成摄像头的EtherCAT主站，其特征在于，所述处理器采用Zynq 7020异构处理器。

9.一种集成摄像头的EtherCAT主站的工作方法，其特征在于，所述工作方法包括：

系统初始化；

判断是否存在新输入的配置参数，如果存在新输入的配置参数，保存新的配置参数到文件系统，并且共享新的配置参数至片上内存，否则，从文件系统中读取原配置参数，将读取的原配置参数共享至片上内存；

唤醒第三处理单元对EtherCAT从站进行实时控制；

采用第一处理单元从视觉模块中读取采集的视频图像，将读取到的视频图像存储至存储模块；

采用第二处理单元从存储模块中读取视频图像并对读取的视频图像进行处理；

将处理结果共享至片上内存；

从片上内存中读取控制反馈信息，通过显示模块以显示。

10.根据权利要求9所述的集成摄像头的EtherCAT主站的工作方法，其特征在于，所述唤醒第三处理单元对EtherCAT从站进行实时控制的过程包括以下步骤：

初始化；

使能EtherCAT从站；

从片上内存读取配置参数，启动控制程序；

读取片上内存中存储的处理后的控制脚本和视觉模块采集的图像数据，对EtherCAT从站进行实时控制；

读取EtherCAT从站的控制反馈信息，将控制反馈信息共享至片上内存。