CN110730304A - 一种加速图像采集和显示的智能相机 - Google Patents

Abstract

一种加速图像采集和显示的智能相机，图像传感器、FPGA、主处理器，高速存储器和显示输出接口，其中主处理器负责图形交互控制界面的绘制，以及各项控制参数的下达，FPGA负责图像传感器图的原始图像数据的采集处理，并根据主处理器的指令，合成原始图像数据和图形交互控制界面，并送显示输出接口输出。本发明发挥了FPGA并行处理数据的特点，节省宝贵的ARM主处理器运算资源；集成SOC芯片的共享高速内存，节省大数据量图像传输延时和数据总线带宽；使采集图像和用户交互界面刷新频率达到60帧/秒以上；自带显示接口、相机配置以及调试接口，简化了系统配置，提升了相机性能，扩大了应用。

Description

一种加速图像采集和显示的智能相机

技术领域

本发明涉及嵌入式视觉显示领域，具体的，涉及一种能够加速图像采集和显示的智能相机。

背景技术

嵌入式视觉是指在嵌入式系统中使用计算机视觉技术。具体而言，“嵌入式视觉”是指从视觉输入中提取出其背后含义的嵌入式系统。嵌入式视觉涉及到两种技术：嵌入式系统和计算机视觉。嵌入式系统可以是任何基于微处理器的系统，它们完成特定的工作，且随处可见；计算机视觉则使用数字处理和智能算法去理解图像或者视频，它是一个已经被研究很久，但仍然方兴未艾的领域。嵌入式视觉有望在今后得到广泛应用。

智能相机(Smart Camera)是一种高度集成化的微小型机器视觉系统。它将图像的采集、处理与通信功能集成于单一相机内，从而提供了具有多功能、模块化、高可靠性、易于实现的机器视觉解决方案。

现有的智能相机的一个技术难点在于对图像的处理，现有技术主要有两种处理方式。CPU直接处理显示和网络端处理显示。

现有技术一：CPU直接处理显示。在该方式中，处理器先通过外设接口如千兆网，USB以及采集卡等采集图像数据，然后用处理器对采集图像数据的裁剪、叠加、缩放等处理，处理器同时进行用户操作交互界面的绘制，最后CPU将所采集的图像与用户操作交互界面进行合成后，将图像输出到显示设备，图像的采集、处理、显示等操作都是由CPU完成。对于目前的台式机而言，主处理器性能非常强悍，而且都带显示GPU，这些操作不是负担，但是相对集成度高和功耗要求高的嵌入式设计，采集、显示就是非常重的负担，大大拖累系统性能，用户界面和图像采集性能很差，图像显示输出延时大，刷新不及时，对应现在高实时性要求复杂的应用无法满足要求。

现有技术二：网络端处理显示。在该方式中，相机内部处理器负责图像数据采集，相机内部启用远程网络服务，用于输入调整参数的用户操作交互界面位于远程服务器，用户在远端通过网络查看图像和相机运行状态。此方法可以省略相机端的显示接口，简化相机软硬件设计。但在该方案中，相机端需要开启网络服务，占用CPU资源，另外也需要占用网络传输带宽资源，由于网络传输带宽的限制，对于高速高分辨率的图像画面无法实现实时需求。

因此如何解决在嵌入式系统中，智能相机图像传感器图像显示输出延时大，刷新不及时，显示界面和图像采集不同步，达不到监控智能相机处理流程和结果的目的，避免图像显示输出占用处理器过多的运算资源，提高智能相机的性能成为现有技术亟需解决的技术问题。

发明内容

本发明的目的在于提出一种加速图像采集和显示的智能相机，图像处理的高速性和显示的实时性，节省处理器资源。

为达此目的，本发明采用以下技术方案：

一种加速图像采集和显示的智能相机，其特征在于，包括：

图像传感器，用于采集各类原始图像，并传送到FPGA中；

FPGA，用于通过图像传感器采集各类原始图像，经过处理后，将图像数据存储到高速存储器中，并发送中断信号通知主处理器，当收到主处理器的启动图像显示的指令后，从高速存储器中读取原始图像数据及主处理器产生的用户交互界面数据，根据主处理器设定的参数对这两副图像进行裁剪、缩放和叠加，最后通过显示输出接口输出；

主处理器，与所述FPGA共享高速存储器，用于设定图像采集、处理、叠加的各类参数，绘制户交互界面图像存储至共享高速存储器中，并通知FPGA启动图像显示；

高速存储器，被FPGA和主处理器共享，用于存储FPGA采集的原始图像数据和主处理器绘制的用户交互界面数据；

显示输出接口，用于输出经过FPGA叠加合成后的图像。

可选的，所述FPGA中还具有内存控制器，所述内存控制器用于高速内存空间的分配，以及FPGA和处理器读写带宽优先级管理。

可选的，所述FPGA中还具有控制寄存器，所述控制寄存器用于存储主处理器设定的各类参数，与中断请求组合完成控制指令的接收和分发，其中所述中断请求的优先级高。

可选的，所述主处理器为ARM处理器或者DSP，优选为ARM处理器。

可选的，所述FPGA、主处理器和高速存储器为SOC构架.

可选的，所述智能相机还具有调试接口.

可选的，所述高速存储器为DDR3、DDR4或者DDR5。

本发明采用主处理器和FPGA的协同处理，利用ARM和FPGA共享内存的硬件框架优势，发挥FPGA并行处理数据的特点，将图像显示高运算量处理转移至FPGA并行运算单元，节省宝贵的ARM主处理器运算资源，而且使采集图像和用户交互界面刷新频率达到60帧/秒以上，使智能相机本地显示输出成为可能，60帧/秒的显示输出既能满足高速自动化应用的需求，也能满足用户操作界面流畅性需求，在同等硬件资源的状况下，显著提升系统性能。本地自带高速显示接口，相机配置，调试，监控均在本地智能相机上完成，用户无需配置远端计算机图形界面通过网络设置智能相机参数，简化应用，节省系统成本。

附图说明

图1为根据本发明具体实施例的加速图像采集和显示的智能相机的模块图。

图中的附图标记所分别指代的技术特征为：

1、图像传感器；2、FPGA；3、主处理器；4、高速存储器；5、显示输出接口；21、内存控制器；22、控制寄存器。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本发明在于针对嵌入式系统中主处理器处理能力不足的问题，由FPGA完成图像传感器图像数据采集、图像处理、图像输出显示，由主处理器负责用户交互控制界面的绘制，以及包括图像采集参数、图像处理参数、图像显示参数控制指令在内的各项参数的下达，最后由FPGA进行合成显示输出。由于FPGA主要负责完成图像的采集与处理，主处理器完成参数的下达，大大加速了图像的采集和显示。本发明特别适用于现有技术中各类嵌入式芯片的FPGA与主处理器集成在一起的情况，提升了上述智能相机的处理速度。

具体而言，参见图1，示出了根据本发明的具体实施例的智能相机的模块图。

该智能相机包括：

图像传感器1，用于采集各类原始图像，并传送到FPGA 2中，在一个具体的实施例中，所述图像传感器为CMOS图像传感器；

FPGA2，用于通过图像传感器1采集各类原始图像，经过处理后，例如对原始图像进行裁剪、查表压缩之后，将图像数据存储到相机内部的高速存储器4中，并发送中断信号通知主处理器3图像采集完毕，图像数据已经保存至高速存储器4，当收到主处理器3的启动图像显示的指令后，从高速存储器4中读取原始图像数据及主处理器产生的用户交互界面数据，根据主处理器设定的参数对这两副图像进行裁剪、缩放和叠加等操作，最后通过显示输出接口5输出；

主处理器3，与所述FPGA共享高速存储器4，用于设定图像采集、处理、叠加的各类参数，包括采集图像的参数，图像裁剪参数，图像缩放参数，图像叠加运算方式参数等，绘制户交互界面图像存储至共享高速存储器中，并通知FPGA启动图像显示；在一个具体的实施例中，主处理器3可以为ARM处理器或者DSP，优选为ARM处理器。

高速存储器4，与FPGA2和主处理器3共享，用于存储FPGA2采集的原始图像数据和主处理器3绘制的用户交互界面数据；

显示输出接口5，用于输出经过FPGA叠加合成后的图像。

因此，在本发明中，主处理器负责图形交互控制界面的绘制，以及包括图像采集参数、图像处理参数、图像显示参数控制指令在内的各项参数的下达，FPGA负责图像传感器图的原始图像数据的采集处理，并根据主处理器的指令，合成原始图像数据和图形交互控制界面，并送显示输出接口5输出，充分发挥FPGA并行处理数据的特点，将图像显示高运算量处理转移至FPGA并行运算单元，节省宝贵的主处理器运算资源，达到图像处理的高速性和显示的实时性。

在一个具体的实施例中，所述高速存储器为DDR3、DDR4或者DDR5。高速存储器还可以为其它的高速的处理器。

进一步的，所述FPGA中还具有内存控制器21，所述内存控制器21用于高速内存空间的分配，以及FPGA和处理器读写带宽优先级管理。

当FPGA获取了图像的原始数据后，通过内存控制器将图像数据存储到相机内部的大容量高速存储器中，存储地址为ARM主处理器设定；主处理器所绘制的用户交互界面图像也一并通过内存控制器存储至共享高速存储器中。

更进一步的，所述FPGA中还具有控制寄存器22，所述控制寄存器用于存储主处理器3的设定图像采集、处理、叠加的各类参数，与中断请求组合完成控制指令的接收和分发，其中所述中断请求的优先级高。

更进一步的，所述FPGA、主处理器和高速存储器为SOC构架，进一步减少了功耗、节约了数据带宽。

更进一步的，所述智能相机还具有调试接口，因此，本发明的智能相机自带显示接口、相机配置以及调试接口，简化了系统配置，用户可以直接对智能相机进行调试，而无需带计算机主机。

实施例：

以下arm处理器为例具体的说明本发明的智能相机的工作流程。

ARM主处理器首先通过设置FPGA中的控制寄存器设定采集图像的参数，图像裁剪参数，图像缩放参数，图像叠加运算方式参数等，在控制寄存器设置ARM主处理生成的用户控制界面绘制图像数据在内存中的地址，设置FPGA采集图像传感器图像数据存储地址。

智能相机内部FPGA从图像传感器中采集原始图像，对原始图像进行裁剪、查表压缩之后，通过内存控制器将图像数据存储到相机内部的大容量高速存储器中，存储地址为ARM主处理器设定，同时发送中断信号通知主处理器图像采集完毕，图像数据已经保存至共享的高速存储器中。

ARM主处理器收到FPGA采集图像中断后，对高速存储器中的图像数据进行运算处理，如测量，目标检测，定位等运算，同时生成运算结果数据，另外ARM主处理器绘制用户交互界面图像一并通过内存控制器存储至共享高速存储器中。图像处理完毕，ARM主处理器通知FPGA启动图像显示。

FPGA收到显示指令，从高速存储器中读取原始图像数据，同时从高速存储器中读取ARM主处理器产生的用户交互界面数据，根据ARM主处理器的显示设定参数对这两副图像进行裁剪、缩放、叠加操作，最后通过显示输出接口输出。

本发明利用集成FPGA和ARM处理器的SOC芯片的共享高速内存的优势，节省大数据量图像传输延时和数据总线带宽，采用FPGA代替主处理器，实现图像的采集、裁剪、缩放等高运算量处理操作，ARM处理器生成用户交互图像界面存储到共享内存，FPGA将图像传感器采集的图像数据和ARM产生的界面图像叠加输出到显示接口，在嵌入式低性能的硬件上实现高实时性图像采集和用户交互图形界面显示功能，在标清显示分辨率的条件下，轻松实现用户界面和图像传感器图像采集显示60帧的刷新频率，几乎不占用ARM处理器运算资源，大大提升智能相机的性能，扩大应用范围。

因此，本发明具有如下优点：

1、发挥了FPGA并行处理数据的特点，将图像显示高运算量处理转移至FPGA并行运算单元，节省宝贵的ARM主处理器运算资源；

2、集成SOC芯片的共享高速内存，节省大数据量图像传输延时和数据总线带宽；

3、主处理器负责图像交互界面的生成和各类控制参数的下发，充分发挥了主处理器的优势；

4、本发明的智能相机自带显示接口、相机配置以及调试接口，简化了系统配置。

显然，本领域技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。

Claims (7)

1.一种加速图像采集和显示的智能相机，其特征在于，包括：

图像传感器，用于采集各类原始图像，并传送到FPGA中；

FPGA，用于通过图像传感器采集各类原始图像，经过处理后，将图像数据存储到高速存储器中，并发送中断信号通知主处理器，当收到主处理器的启动图像显示的指令后，从高速存储器中读取原始图像数据及主处理器产生的用户交互界面数据，根据主处理器设定的参数对这两副图像进行裁剪、缩放和叠加，最后通过显示输出接口输出；

主处理器，与所述FPGA共享高速存储器，用于设定图像采集、处理、叠加的各类参数，绘制户交互界面图像存储至共享高速存储器中，并通知FPGA启动图像显示；

高速存储器，被FPGA和主处理器共享，用于存储FPGA采集的原始图像数据和主处理器绘制的用户交互界面数据；

显示输出接口，用于输出经过FPGA叠加合成后的图像。

2.根据权利要求1所述的智能相机，其特征在于：

所述FPGA中还具有内存控制器，所述内存控制器用于高速内存空间的分配，以及FPGA和处理器读写带宽优先级管理。

3.根据权利要求1所述的智能相机，其特征在于：

所述FPGA中还具有控制寄存器，所述控制寄存器用于存储主处理器设定的各类参数，与中断请求组合完成控制指令的接收和分发，其中所述中断请求的优先级高。

4.根据权利要求2或3所述的智能相机，其特征在于：

所述主处理器为ARM处理器或者DSP，优选为ARM处理器。

5.根据权利要求4所述的智能相机，其特征在于：

所述FPGA、主处理器和高速存储器为SOC构架。

6.根据权利要求4所述的智能相机，其特征在于：

所述智能相机还具有调试接口。

7.根据权利要求4所述的智能相机，其特征在于：

所述高速存储器为DDR3、DDR4或者DDR5。

Images