CN103945124B - 一种智能相机的控制方法 - Google Patents

Abstract

本发明公开一种智能相机的控制方法，用于智能相机，该智能相机包括FPGA可编程器件、DSP处理器、ARM处理器、RAM存储器以及输入输出接口，该输入输出接口包括CCD/CMOS接口、视频流接口、I/O接口、网口和串口；该控制方法包括以下步骤：步骤1：ARM处理器监听输入输出接口，如果有控制指令，则根据预设的规则将控制指令分类，并发送至FPGA可编程器件和/或DSP处理器进行处理；其中，控制指令包括相机拍照指令、视频处理指令、选择是否启动运行指令、系统调用内部存储的相应程序指令、屏蔽检测功能指令；步骤2:ARM处理器接收用户的控制命令，进行初步判断，根据不同的命令发送至FPGA可编程器件或者DSP处理器进行处理；步骤3：DSP处理器将处理后的结果由输入输出接口发出。

Description

一种智能相机的控制方法

技术领域

本发明涉及智能相机，具体涉及一种智能相机的控制方法。

背景技术

当前工业技术发展速度飞速，在越来越高的人工成本下促使图像处理技术替代人工检测产品表面瑕疵，这就给国内外企业带来技术的更新革命竞赛。例如在车牌智能识别应用领域，当前车牌智能识别所使用的智能相机及系统结构主要是2种：第一种是国内企业能掌握的比较多基于计算机视觉系统，其需要PC+采集卡+ 相机+图像处理软件，其特点是：相机采用安防监控用普通模拟相机，经过采集卡采集后到PC进行车牌软件分析。该方法具有相机成本低的优点，但是具有软件开发难度大、系统稳定性差、维护难、需要有编程技术工程师开发项目应用等等的缺点。第二种是基于DSP开发，把DSP直接植入到相机内，一颗相机就能替代原来相机及车牌识别算法，然后将结果数据和图片发送到服务器端。该方法的优点是：应用简单开发项目容易，稳定性好，但具有成本高、不好普及的缺点。

发明内容

因此，针对上述的问题，本发明提出一种新型的智能相机及其控制方法，采用FPGA+ DSP+ ARM +触摸显示屏的架构而开发的新型智能相机，将CCD、CMOS芯片直接植入到FPGA+DSP+ARM板上做成体积小的智能相机，其采用的FPGA+ DSP+ARM架构成本低廉，与其他同类产品相比，具有更高处理速度和可靠性，无需PC控制及设定等优势，并解决了现有技术之不足。

为了解决上述技术问题，本发明的一种智能相机的控制方法，用于智能相机，该智能相机包括FPGA可编程器件、DSP处理器、ARM处理器、RAM存储器以及输入输出接口，该输入输出接口包括CCD/CMOS接口、视频流接口、I/O接口、网口和串口。该控制方法包括以下步骤：

步骤1：ARM处理器监听输入输出接口，如果有控制指令，则根据预设的规则将控制指令分类，并发送至FPGA可编程器件和/或DSP处理器进行处理；其中，控制指令包括相机拍照指令、视频处理指令、选择是否启动运行指令、系统调用内部存储的相应程序指令（通信口）；

步骤2: ARM处理器接收用户的控制命令，并进行初步判断，根据不同的命令发送至FPGA可编程器件或者DSP处理器进行处理；

如果是相机拍照指令，则转到步骤21，如果是选择视频处理指令，则转到步骤22；如果是是否启动运行指令，则转到步骤23；如果是系统调用内部存储的相应程序指令，则转到步骤24；

步骤21：相机拍照指令，是由FPGA可编程器件发送拍照信号，输入输出接口将采集的图像数据发给FPGA可编程器件，FPGA可编程器件接收到图像数据后进行图像处理；FPGA可编程器件图像处理后将图像数据传送给DSP处理器；DSP处理器对该图像数据进行视觉算法处理；

步骤22：视频处理指令，是由输入输出接口将采集的视频流发给FPGA可编程器件，FPGA可编程器件对接收到的视频流进行逐帧处理，处理后转发给DSP处理器进行算法分析；

步骤23：选择是否启动运行指令，是由输入输出接口将采集的是否启动发给ARM处理器，ARM处理器接收用户的操作指令，如果是启动，则发送至FPGA可编程器件执行启动；如果是不启动，则结束该流程；

步骤24：系统调用内部存储的相应程序指令（通信口），包括以下过程：ARM处理器预先设定每个程序是由FPGA可编程器件处理，还是由DSP处理器进行处理；ARM处理器接收用户的操作指令，并根据该操作指令找到相应的程序，然后查找该程序的优先级以及处理器，如果该程序的处理器是FPGA可编程器件，则由FPGA可编程器件启动该程序并处理；如果该程序的处理器是DSP处理器，则由DSP处理器启动该程序并处理；

一般的，在设定哪个程序是由FPGA可编程器件处理，还是由DSP处理器进行处理时，是根据该程序的复杂度来设定的，如果某个程序的复杂度很高，例如该程序的算法维度大于M，那么则由处理能力强的DSP处理器来处理，如果某个程序的复杂度不高，则可由处理能力较弱的FPGA可编程器件处理。

另外，ARM处理器还预先为每个程序设定运行的优先级；当同时有一个以上的程序待运行，记为程序A、程序B、程序C…程序N；

情形1：如果程序A、程序B、程序C…程序N预先设定均是由FPGA可编程器件单独进行处理，则将程序A、程序B、程序C…程序N的优先级排序，那么令位于单数号的程序（程序A、程序C…）由FPGA可编程器件进行处理，位于双数号的程序（程序B…）由DSP处理器进行处理；

情形2：如果程序A、程序B、程序C…程序N预先设定均是由DSP处理器单独进行处理，则将程序A、程序B、程序C…程序N的优先级排序，那么令位于单数号的程序（程序A、程序C…）由DSP处理器进行处理，位于双数号的程序（程序B…）由FPGA可编程器件进行处理；

情形3：如果程序A、程序B、程序C…程序N预先设定是由FPGA可编程器件或者DSP处理器，则按照优先级顺序执行上述程序，直到其中一个处理器（FPGA可编程器件或者DSP处理器）空闲，则重复情形1或者情形2的执行方法。

步骤3：DSP处理器将处理后的结果由输入输出接口发出。

进一步的，所述步骤21的相机拍照指令，具体包括以下过程：由FPGA可编程器件发送拍照信号，输入输出接口中的CCD/CMOS接口开始将每行像素数据发给FPGA可编程器件，由FPGA可编程器件进行ROI图像分割，ROI分割是根据ARM处理器发给FPGA可编程器件的程序设定的数据将正要处理图像的部位分割出来，然后再用FPGA可编程器件进行预处理，该预处理包括二值化处理、高斯、膨胀、RBG颜色提取、小波等处理。根据ROI分割出来的图像比原始图像小（根据检测设定检测区域）处理速度可以提到1-10倍；FPGA可编程器件处理后的图像已经只有原始图的几分之几，数据量很小，再传送给DSP处理器，由DSP处理器进行视觉算法处理，如灰度模保匹配、几何外形匹配，边缘提取及尺寸测量等算法处理；FPGA可编程器件处理后结果发给ARM处理器做图像显示及结果判定，最后由GPIO及以太网或串口发出结果数据。

步骤22：视频处理指令，是由输入输出接口将采集的视频流发给FPGA可编程器件，FPGA可编程器件可编程控制器对接收到的视频流进行逐帧处理，同时转发给DSP处理器的H264 编码器。如检测车辆主要目的是要车牌，FPGA可编程器件负责自动将车牌位置提取出来，然后将车牌左右上下30个像素范围的图片截取下来，然后进行颜色提取及神经网络分析提出处理，再发给DSP处理器。DSP处理器收到预处理后的小图进行OCR算法分析，并得出结果发给上位机，同时将图片压缩为JPG格式，由H264编码压缩通过BNC接口发出。

本发明采用上述方法，采用FPGA+ DSP+ ARM +触摸显示屏的架构，三核（FPGA+DSP+ ARM）协助处理，且FPGA和ARM价格低廉，因此整个智能相机成本低；且对程序的优先级以及处理器都做了预先设置，实现FPGA+ DSP+ ARM的三核协同完成智能处理，具有更高的处理速度和可靠性。

具体实施方式

现结合具体实施方式对本发明进一步说明。

本发明的一种智能相机的控制方法，用于智能相机，该智能相机包括FPGA可编程器件、DSP处理器、ARM处理器以及输入输出接口，该输入输出接口包括CCD/CMOS接口、视频流接口、I/O接口、网口和串口。该智能相机的工作流程如下：首先，初始化相机；然后相机上电后，启动自检，电压是否正常，接口是否连接，内存是否正常，显示是否正常；然后硬件检测正常后加载存储在ARM处理器的软件程序，并根据该软件程序执行该智能相机的控制方法。

其控制方法如下：ARM处理器监听输入输出接口的控制命令，跟并根据其控制命令的类别来发送至FPGA可编程器件或者DSP处理器进行处理。从RAM存储器里取出图片或视频，进行压缩编码并输出，RAM存储器等待输入输出接口的外部触发信号。等待输入输出接口是否给出拍照触发信号，当收到输入输出接口的触发信号后，从RAM存储器取出当前帧图像，进行OCR算法处理，处理后得到结果，将车牌数据和图片一起由输入输出接口通过以太网发送出去，ARM处理器启动软件程序开始运行处理，得出结果从输入输出接口输出。

另外，本发明的智能相机在进行自检，是通过其内设置的检测程序实现的。例如，可通过触摸屏设定检测工具，DSP处理器内部ROM已经烧入多个算法程序，用户只要选择相应工具，然后选择所要检测的区域，完成一个工具设定，可以重复添加不同的算法工具。

另外本发明还增加了视频流接口，此接口是采用DSP视频压缩算法功能，可输出高清的图像也可以压缩成录像用的视频格式，供安防监控用。

具体的，本发明的一种智能相机的控制方法包括以下步骤：

步骤1：ARM处理器监听输入输出接口，如果有控制指令，则根据预设的规则将控制指令分类，并发送至FPGA可编程器件和/或DSP处理器进行处理；其中，控制指令包括相机拍照指令、视频处理指令、选择是否启动运行指令、系统调用内部存储的相应程序指令（通信口）；

步骤2: ARM处理器接收用户的控制命令，并进行初步判断，根据不同的命令发送至FPGA可编程器件或者DSP处理器进行处理；

如果是相机拍照指令，则转到步骤21，如果是选择视频处理指令，则转到步骤22；如果是是否启动运行指令，则转到步骤23；如果是系统调用内部存储的相应程序指令，则转到步骤24；

步骤21：相机拍照指令，是由FPGA可编程器件发送拍照信号，输入输出接口将采集的图像数据发给FPGA可编程器件，FPGA可编程器件接收到图像数据后进行图像处理；FPGA可编程器件图像处理后将图像数据传送给DSP处理器；DSP处理器对该图像数据进行视觉算法处理；

步骤22：视频处理指令，是由输入输出接口将采集的视频流发给FPGA可编程器件，FPGA可编程器件对接收到的视频流进行逐帧处理，处理后转发给DSP处理器进行算法分析；

步骤23：选择是否启动运行指令，是由输入输出接口将采集的是否启动发给ARM处理器，ARM处理器接收用户的操作指令，如果是启动，则发送至FPGA可编程器件执行启动；如果是不启动，则结束该流程；

步骤24：系统调用内部存储的相应程序指令（通信口），包括以下过程：ARM处理器预先设定每个程序是由FPGA可编程器件处理，还是由DSP处理器进行处理；ARM处理器接收用户的操作指令，并根据该操作指令找到相应的程序，然后查找该程序的优先级以及处理器，如果该程序的处理器是FPGA可编程器件，则由FPGA可编程器件启动该程序并处理；如果该程序的处理器是DSP处理器，则由DSP处理器启动该程序并处理；

一般的，在设定哪个程序是由FPGA可编程器件处理，还是由DSP处理器进行处理时，是根据该程序的复杂度来设定的，如果某个程序的复杂度很高，例如该程序的算法维度大于M，那么则由处理能力强的DSP处理器来处理，如果某个程序的复杂度不高，则可由处理能力较弱的FPGA可编程器件处理。

另外，ARM处理器还预先为每个程序设定运行的优先级；当同时有一个以上的程序待运行，记为程序A、程序B、程序C…程序N；

情形1：如果程序A、程序B、程序C…程序N预先设定均是由FPGA可编程器件单独进行处理，则将程序A、程序B、程序C…程序N的优先级排序，那么令位于单数号的程序（程序A、程序C…）由FPGA可编程器件进行处理，位于双数号的程序（程序B…）由DSP处理器进行处理；

情形2：如果程序A、程序B、程序C…程序N预先设定均是由DSP处理器单独进行处理，则将程序A、程序B、程序C…程序N的优先级排序，那么令位于单数号的程序（程序A、程序C…）由DSP处理器进行处理，位于双数号的程序（程序B…）由FPGA可编程器件进行处理；

情形3：如果程序A、程序B、程序C…程序N预先设定是由FPGA可编程器件或者DSP处理器，则按照优先级顺序执行上述程序，直到其中一个处理器（FPGA可编程器件或者DSP处理器）空闲，则重复情形1或者情形2的执行方法。

另外，内部存储的相应程序一般是存储在存储器FLSH里面的。简单来说，上述程序是由ARM处理器指定好调用哪个算法程序进行执行，正常FPGA可编程器件的内部存储器已经写入几个算法程序比如程序1-程序10号，先执行哪个程序是由ARM处理器指定给FPGA可编程器件的，比如在开始检测前ARM处理器通过人工设定的指令用户程序设定好FPGA可编程器件要调用几个程序的先后顺序，开始运行时就按设定的调用流程加载到内存等待图片过来开始运算处理；

步骤3：DSP处理器将处理后的结果由输入输出接口发出。

进一步的，所述步骤21的相机拍照指令，具体包括以下过程：由FPGA可编程器件发送拍照信号，输入输出接口中的CCD/CMOS接口开始将每行像素数据发给FPGA可编程器件，由FPGA可编程器件进行ROI图像分割，ROI分割是根据ARM处理器发给FPGA可编程器件的程序设定的数据将正要处理图像的部位分割出来，然后再用FPGA可编程器件进行预处理，该预处理包括二值化处理、高斯、膨胀、RBG颜色提取、小波等处理。根据ROI分割出来的图像比原始图像小（根据检测设定检测区域）处理速度可以提到1-10倍；FPGA可编程器件处理后的图像已经只有原始图的几分之几，数据量很小，再传送给DSP处理器，由DSP处理器进行视觉算法处理，如灰度模保匹配、几何外形匹配，边缘提取及尺寸测量等算法处理；FPGA可编程器件处理后结果发给ARM处理器做图像显示及结果判定，最后由GPIO及以太网或串口发出结果数据；

步骤22：视频处理指令，是由输入输出接口将采集的视频流发给FPGA可编程器件，FPGA可编程器件可编程控制器对接收到的视频流进行逐帧处理，同时转发给DSP处理器的H264 编码器。如检测车辆主要目的是要车牌，FPGA可编程器件负责自动将车牌位置提取出来，然后将车牌左右上下30个像素范围的图片截取下来，然后进行颜色提取及神经网络分析提取处理，再发给DSP处理器。DSP处理器收到预处理后的小图进行OCR算法分析，并得出结果发给上位机，同时将图片压缩为JPG格式，由H264编码压缩通过BNC接口发出。

本发明采用上述方法，采用FPGA+ DSP+ ARM +触摸显示屏的架构，三核协助处理，且FPGA和ARM价格低廉，因此整个智能相机成本低，且三核协同完成了智能处理，具有更高的处理速度和可靠性。

本发明具体在应用到车牌识别领域时，将车牌识别OCR算法处理放到ARM处理器内执行，执行后的结果图片并附带字符信息通过输入输出接口发送给服务器，进而实现车牌识别。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (5)

1.一种智能相机的控制方法，用于智能相机，该智能相机包括FPGA可编程器件、DSP处理器、ARM处理器、RAM存储器以及输入输出接口，该输入输出接口包括CCD/CMOS接口、视频流接口、I/O接口、网口和串口；该控制方法包括以下步骤：

步骤1：ARM处理器监听输入输出接口，如果有控制指令，则根据预设的规则将控制指令分类，并发送至FPGA可编程器件和/或DSP处理器进行处理；其中，控制指令包括相机拍照指令、视频处理指令、选择是否启动运行指令、系统调用内部存储的相应程序指令；

步骤2: ARM处理器接收用户的控制命令，并进行初步判断，根据不同的命令发送至FPGA可编程器件或者DSP处理器进行处理；

如果是相机拍照指令，则转到步骤21，如果是选择视频处理指令，则转到步骤22；如果是是否启动运行指令，则转到步骤23；如果是系统调用内部存储的相应程序指令，则转到步骤24；

步骤21：相机拍照指令，是由FPGA可编程器件发送拍照信号，输入输出接口将采集的图像数据发给FPGA可编程器件，FPGA可编程器件接收到图像数据后进行图像处理；FPGA可编程器件图像处理后将图像数据传送给DSP处理器；DSP处理器对该图像数据进行视觉算法处理；

步骤22：视频处理指令，是由输入输出接口将采集的视频流发给FPGA可编程器件，FPGA可编程器件对接收到的视频流进行逐帧处理，处理后转发给DSP处理器进行算法分析；

步骤23：选择是否启动运行指令，是由输入输出接口将采集的是否启动发给ARM处理器，ARM处理器接收用户的操作指令，如果是启动，则发送至FPGA可编程器件执行启动；如果是不启动，则结束该流程；

步骤24：系统调用内部存储的相应程序指令，包括以下过程：ARM处理器预先设定每个程序是由FPGA可编程器件处理，还是由DSP处理器进行处理；ARM处理器接收用户的操作指令，并根据该操作指令找到相应的程序，然后查找该程序的优先级以及处理器，如果该程序的处理器是FPGA可编程器件，则由FPGA可编程器件启动该程序并处理；如果该程序的处理器是DSP处理器，则由DSP处理器启动该程序并处理；

步骤3：DSP处理器将处理后的结果由输入输出接口发出。

2.根据权利要求1所述的智能相机的控制方法，其特征在于：所述步骤24中，在设定哪个程序是由FPGA可编程器件处理，还是由DSP处理器进行处理时，是根据该程序的复杂度来设定的，如果某个程序的复杂度很高，即该程序的算法维度大于M，那么则由处理能力强的DSP处理器来处理，如果某个程序的复杂度不高，则由处理能力较弱的FPGA可编程器件处理。

3.根据权利要求1或2所述的智能相机的控制方法，其特征在于：所述步骤24中，ARM处理器还预先为每个程序设定运行的优先级；当同时有一个以上的程序待运行，记为程序A、程序B、程序C…程序N；

情形1：如果程序A、程序B、程序C…程序N预先设定均是由FPGA可编程器件单独进行处理，则将程序A、程序B、程序C…程序N的优先级排序，那么令位于单数号的程序由FPGA可编程器件进行处理，位于双数号的程序由DSP处理器进行处理；

情形2：如果程序A、程序B、程序C…程序N预先设定均是由DSP处理器单独进行处理，则将程序A、程序B、程序C…程序N的优先级排序，那么令位于单数号的程序由DSP处理器进行处理，位于双数号的程序由FPGA可编程器件进行处理；

情形3：如果程序A、程序B、程序C…程序N预先设定是由FPGA可编程器件或者DSP处理器，则按照优先级顺序执行上述程序，直到其中一个处理器空闲，则重复情形1或者情形2的执行方法。

4.根据权利要求1所述的智能相机的控制方法，其特征在于：所述步骤21的相机拍照指令，具体包括以下过程：由FPGA可编程器件发送拍照信号，输入输出接口中的CCD/CMOS接口开始将每行像素数据发给FPGA可编程器件，由FPGA可编程器件进行ROI图像分割，ROI分割是根据ARM处理器发给FPGA可编程器件的程序设定的数据将正要处理图像的部位分割出来，然后再用FPGA可编程器件进行预处理，该预处理包括二值化处理、高斯、膨胀、RBG颜色提取、小波等处理；根据ROI分割出来的图像比原始图像小，处理速度可以提到1-10倍；FPGA可编程器件处理后的图像已经只有原始图的几分之几，数据量很小，再传送给DSP处理器，由DSP处理器进行视觉算法处理；FPGA可编程器件处理后结果发给ARM处理器做图像显示及结果判定，最后由GPIO及以太网或串口发出结果数据。

5.根据权利要求1所述的智能相机的控制方法，其特征在于：所述步骤22的视频处理指令，是由输入输出接口将采集的视频流发给FPGA可编程器件，FPGA可编程器件可编程控制器对接收到的视频流进行逐帧处理，同时转发给DSP处理器的H264 编码器；

检测车辆主要目的是要车牌，FPGA可编程器件负责自动将车牌位置提取出来，然后将车牌左右上下30个像素范围的图片截取下来，然后进行颜色提取及神经网络分析提取处理，再发给DSP处理器；

DSP处理器收到预处理后的小图进行OCR算法分析，并得出结果发给上位机，同时将图片压缩为JPG格式，由H264编码压缩通过BNC接口发出。