CN109922247A - 一种智能相机及一种图像处理方法 - Google Patents

Abstract

本申请提供一种智能相机，包括：与所述智能相机的壳体可拆卸的固定连接，用于采集图像数据的图像采集装置；与所述图像采集装置通过可插拔端子相连接，用于对所述图像数据处理的内置图像处理装置；与所述内置图像处理装置相连，用于传输处理后的所述图像数据的接口模块；与所述内置图像处理装置相连的电源模块。通过将传统计算机平台运行的算法输出等功能集成到智能相机端，可通过算法调试配置工具配置相机要执行的图像处理算法，从而实现灵巧安装，节约空间，提高实时性，降低整体视觉检测系统功耗，降低了视觉检测整机成本。本申请还提供一种图像处理方法，具有上述有益效果。

Description

一种智能相机及一种图像处理方法

技术领域

本申请涉及工业视觉检测领域，特别涉及一种智能相机及一种图像处理方法。

背景技术

目前机器视觉领域常用的工业相机是机器视觉系统中的一个关键组件，其最本质的应用就是将图像采集后通过网络接口传输给后端。从功能角度工业相机只是单一的解决了图像的采集与高数据量传输功能，在整个机器视觉系统方案中，工业相机决定了所采集到的图像分辨率、图像质量等原始图像品质。然而，在整个机器视觉系统方案中，工业相机单一的功能导致工业相机的后端需要配置高性能的计算机平台，运行相应的图像处理算法，然后输出结果等，这样的方案存在不够实时性，数据交互反馈管理多，视觉系统成本高，体积大，功耗大等缺陷。另外市面上现有的智能相机更多是采用功耗更高，成本也更高的X86架构的系统，与工业控制PLC系统衔接也有一定的局限性，最关键是目前市面上多数架构是为了特定的行业领域做相应的算法，不能真正“智能化”。

发明内容

本申请的目的是提供一种智能相机及一种图像处理方法，解决现有的工业相机依赖于计算机平台带来的实时性差的问题。

为解决上述技术问题，本申请提供一种智能相机，具体技术方案如下：

与所述智能相机的壳体可拆卸的固定连接，用于采集图像数据的图像采集装置；

与所述图像采集装置通过可插拔端子相连接，用于对所述图像数据处理的内置图像处理装置；

与所述内置图像处理装置相连，用于传输处理后的所述图像数据的接口模块；

与所述内置图像处理装置相连的电源模块。

其中，所述图像采集装置具体为CMOS镜头，所述CMOS镜头最低为30万像素，最高为1300万像素。

其中，所述智能相机还包括：

与所述内置图像处理装置相连，用于将处理后的所述图像数据发送至外界设备的网络通信模块。

其中，所述内置图像处理装置具体包括双核CPU+FPGA的全可编程片上硬件、内存和存储器。

其中，所述内置图像处理装置和所述电源模块均通过硅胶导热介质与所述壳体内壁相接触。

其中，所述存储器包括eMMC和QSPI FLASH。

其中，所述智能相机还包括：

与所述内置图像处理装置相连的看门狗电路和以太网PHY芯片。

其中，所述电源模块为隔离可接入POE电源或DC电源。

其中，所述电源模块和所述网络通信模块集成于FPC电路板上。

其中，所述智能相机还包括：

设于所述壳体的外表面，与所述内置图像处理装置相连，用于指示所述智能相机工作状态的指示灯。

本申请还提供一种图像处理方法，应用于如上所述的智能相机，具体技术方案如下：

利用图像采集装置采集图像数据；

接收内置图像处理装置的参数指令；

判断所述内置图像处理装置中是否存在所述参数指令对应的处理算法；

若是，根据所述参数指令对所述图像数据进行处理；

若否，接收并运行所述参数指令对应的算法配置文件，以处理所述图像数据；

输出所述图像数据的处理结果。

本申请提供一种智能相机，包括：与所述智能相机的壳体可拆卸的固定连接，用于采集图像数据的图像采集装置；与所述图像采集装置通过可插拔端子相连接，用于对所述图像数据处理的内置图像处理装置；与所述内置图像处理装置相连，用于传输处理后的所述图像数据的接口模块；与所述内置图像处理装置相连的电源模块。

本申请通过将传统计算机平台运行的算法输出等功能集成到智能相机端，可通过算法调试配置工具配置相机要执行的图像处理算法，从而实现灵巧安装，节约空间，提高实时性，降低整体视觉检测系统功耗，降低了视觉检测整机成本。本申请还提供一种图像处理方法，具有上述有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种智能相机结构示意图；

图2为本申请实施例所提供的一种智能相机内部结构示意图；

图3为本申请实施例所提供的一种智能相机主板结构示意图；

图4为本申请实施例所提供的一种图像处理方法流程图；

图5为本申请实施例所提供的图像处理时采集进程与算法管理进程流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种智能相机结构示意图，该智能相机包括

与所述智能相机的壳体2可拆卸的固定连接，用于采集图像数据的图像采集装置1；

与所述图像采集装置1通过可插拔端子相连接，用于对所述图像数据处理的内置图像处理装置3；

与所述内置图像处理装置3相连，用于传输处理后的所述图像数据的接口模块4；

与所述内置图像处理装置相连的电源模块(电源模块未在图1示出)。

图像采集装置1通常为CMOS镜头，在此不限定CMOS镜头的像素范围，通常应由本领域技术人员根据智能相机的具体使用需求做相应设定。例如，CMOS镜头最低可以为30万像素，最高可以为1300万像素。

图像采集装置1需要与壳体2相对固定，当然，考虑到图像采集装置1的安全使用，其与壳体2相对固定连接时，可以采用一定的减震设计或采用减震结构，在此不作具体描述。

内置图像处理装置3需要与图像采集装置1相连接，直接处理图像采集装置1获取到的图像数据。则容易想到的是，该内置图像处理装置3至少需要包括可以对图像数据进行处理的处理器。在此对于何种处理器不作限定，优选的，内置图像处理装置3可以包括双核CPU+FPGA的全可编程片上硬件、内存和存储器。这样可以利用FPGA并行实现图像基础算法处理，增加图像处理速度。内存可以为DDR3规格，当然技术条件允许还可以使用DDR4等。存储器可以为存储器包括eMMC和QSPI FLASH等，用于存储图像数据和处理后的图像数据，便于日后查看和记录。

接口模块4的作用是与外界设备相连接，通常可用于传输图像数据等。容易理解的是，该接口部分包括网络输出接口与常规IO输入输出接口，可以通过该接口模块4与本地软件进行算法调试配置等工作，或者与工业控制系统PLC直接网络对接，或者通过IO口直接驱动具备开关特性的控制单元等等。

容易理解的是，处理器处理图像数据时通常需要应用到各种数据库及图像算法，因此，可以通过接口模块4进行数据库或图像算法的扩充。

在此对于接口模块4的具体接口类型不作限定，其可以包括常见的可以IO接口，例如USB接口、type-C等等。

电源模块可以为隔离可接入POE电源或DC电源。在此对于电源模块的具体电压要求不作限定。隔离电源可以起到保护电路和主板的作用。

基于上述实施例，作为优选的实施例，内置图像处理装置3和电源模块可以均通过硅胶导热介质与壳体2内壁相接触。

容易想到的是，当内置图像处理装置3进行数据处理时，以及电源模块工作时，均会产生大量的热量，容易造成安全隐患，降低内置图像处理装置3的数据处理性能，因此可以使用硅胶导热材料散热。当然还可以有其他散热方式，在此不一一举例限定。

基于上述实施例，作为优选的实施例，智能相机还可以包括：

与内置图像处理装置3相连，用于将处理后的图像数据发送至外界设备的网络通信模块。

进一步，智能相机还可以包括：

与内置图像处理装置3相连的看门狗电路和以太网PHY芯片。

优选的，该智能相机还可以包括网络通信模块，用于与外界进行网络数据交换。在此基础上，还可以使用其他无线通信模块，例如红外模块、蓝牙模块、Zigbee模块等等，均可以起到无线数据传输等作用。而网络通信模块还可以接收外界终端设备向智能相机发送的操作指令，便于智能相机的智能化运行。

看门狗电路用于保障内部系统的正常运行，并在异常时重启。

考虑到智能相机的使用环境恶劣，其需要较好的抗震能力，可以将电源模块和网络通信模块集成于FPC电路板上。当然，本实施例旨在说明智能相机内部的主板可以采用FPC电路板，具体哪些硬件模块或装置应视智能相机实际存在的部件而定。同时，利用FPC电路板作为主板在智能相机组装和拆卸时也较为方便。

参见图2，图2为本申请实施例所提供的一种智能相机内部结构示意图；

该智能相机以CMOS图像采集器作为图像采集装置1，同时利用FPGA+CPU的双核结构作为内置图像处理装置3，其中FPGA负责图像搬运算法处理，CPU负责初始化配置、算法与网络管理和智能相机的功能控制。需要说明的一点是，FPGA可以作为简单的图像处理器，即实际图像处理时，可以先由FPGA进行初步处理，再由CPU利用各种算法进行图像处理。

此外，该智能相机还包括DDR、eMMC、QSPI、RS232接口、看门狗和PHY芯片等，内置RJ45接口的POE电源.

本实施例仅作为一种优选的智能相机，本领域技术人员在此基础上还可以设计其他智能相机，均应在本申请的保护范围内。

基于上述实施例，作为优选的实施例，智能相机还包括：

设于壳体2的外表面，与内置图像处理装置3相连，用于指示智能相机工作状态的指示灯。

指示灯可以用于表明智能相机的工作状态，采用不同颜色的灯表明不同的工作状态，同时利用指示灯的亮暗程度表明智能相机是否处于启用状态或者电源模块的剩余电源量等，便于用户掌握智能相机的状态。

参见图3，图3为本申请实施例所提供的一种智能相机主板结构示意图，

智能相机可以采用一体化设计如图3，包括图像采集装置1，电源管理模块7，电源模块8，网络通信模块9，均集成在一块板子上，利用耐曲折、柔韧性好的FPC板11集成，增加抗震动能力，为了提高智能相机本身的散热功能，采用硅胶导热材料10，使产生热量较多的主芯片与电源模块8分别与外壳接触。需要说明的是，电源管理模块7可以用于对电源模块8进行控制管理，提高了智能相机的待机时长，进一步提高智能相机的可持续使用能力。但电源管理模块7可以利用其他具有数据处理功能的处理器代替，例如可以采用上文的CPU等等。

参见图4，图4为本申请实施例所提供的一种图像处理方法流程图，本申请还提供一种图像处理方法，应用于如上所述的智能相机，具体技术方案如下：

S101：利用图像采集装置采集图像数据；

S102：接收内置图像处理装置的参数指令；

S103：判断所述内置图像处理装置中是否存在所述参数指令对应的处理算法；若是，进入S104；若否，进入S105；

S104：根据所述参数指令对所述图像数据进行处理；

S105：接收并运行所述参数指令对应的算法配置文件，以处理所述图像数据；

S106：输出所述图像数据的处理结果。

除上述图像处理过程外，通常智能相机开启后，还需要进行图像采集装置的初始化，以及建立相机参数配置等UDP通信通道以接收参数指令。

该智能相机系统工业控制领域较流行的QNX系统，智能相机系统良好的支持了图像处理的基础库比如OPENCV2、OPENCV3，同时对目前市面比较流行的条码识别库ZBAR，开源OCR引擎TESSERACT都有良好的支持，并且接口全部开放，可以供有需求方二次开发图像处理算法。

智能相机内部软件包括两部分内容，智能相机图像采集管理进程和算法管理进程，两个进程独立运行，可以各自采用对应的处理器运行，互不干扰。

如图5所示，图5为本申请实施例所提供的图像处理时采集进程与算法管理进程流程图。由图5可以看出，将图像采集和算法管理两部分分别采用单独的进程执行，在图像采集进程将采集到图像发送至算法管理进程进行图像处理。具体的，对应硬件时，可以由FPGA实现图像的采集，由CPU实现针对于图像的算法处理，当然FPGA在控制采集图像后还可以进行简单的图像处理。

软件设计部分分为分主要是响应算法调试配置工具的下发的参数，命令等，以保证智能相机在特定的参数与指令下上传图像供算法调试配置工具调试算法使用。算法管理进程主要是针对调试完后形成的配置文件进行解析，然后用链表模式管理需要运行的算法，最终输出符合预期的结果。用链表模式管理算法，可以实现针对不同的图像处理需求采用不同的处理算法，具体采用何种图像处理算法应受CPU的调控，也即视用户的需求而定。现实中，传统的图像处理速度较慢的图像的基础处理，比如滤波操作，该智能相机为了提高图形处理运行速度，在功能使能的情况下，可指定FPGA发挥并行处理优势，直接与源图同步获取需要的滤波等基础图形处理，分别存在指定的内存空间，供后续算法调用。

这里对二次开发不进行管理，原因是如果进行二次开发，只需要调用系统提供的接口，实现图像算法处理后，将该软件移植到QNX平台，上电时候通过脚本指令启动该软件运行即可。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (11)

1.一种智能相机，其特征在于，包括：

与所述智能相机的壳体可拆卸的固定连接，用于采集图像数据的图像采集装置；

与所述图像采集装置通过可插拔端子相连接，用于对所述图像数据处理的内置图像处理装置；

与所述内置图像处理装置相连，用于传输处理后的所述图像数据的接口模块；

与所述内置图像处理装置相连的电源模块。

2.根据权利要求1所述的智能相机，其特征在于，所述图像采集装置具体为CMOS镜头，所述CMOS镜头最低为30万像素，最高为1300万像素。

3.根据权利要求1所述的智能相机，其特征在于，所述智能相机还包括：

与所述内置图像处理装置相连，用于将处理后的所述图像数据发送至外界设备的网络通信模块。

4.根据权利要求3述的智能相机，其特征在于，所述内置图像处理装置具体包括双核CPU+FPGA的全可编程片上硬件、内存和存储器。

5.根据权利要求4所述的智能相机，其特征在于，所述内置图像处理装置和所述电源模块均通过硅胶导热介质与所述壳体内壁相接触。

6.根据权利要求4所述的智能相机，其特征在于，所述存储器包括eMMC和QSPI FLASH。

7.根据权利要求4所述的智能相机，其特征在于，所述智能相机还包括：

与所述内置图像处理装置相连的看门狗电路和以太网PHY芯片。

8.根据权利要求7所述的智能相机，其特征在于，所述电源模块为隔离可接入POE电源或DC电源。

9.根据权利要求8所述的智能相机，其特征在于，所述电源模块和所述网络通信模块集成于FPC电路板上。

10.根据权利要求1所述的智能相机，其特征在于，所述智能相机还包括：

设于所述壳体的外表面，与所述内置图像处理装置相连，用于指示所述智能相机工作状态的指示灯。

11.一种图像处理方法，应用于权利要求1-10任一项所述的智能相机，其特征在于，包括：

利用图像采集装置采集图像数据；

接收内置图像处理装置的参数指令；

判断所述内置图像处理装置中是否存在所述参数指令对应的处理算法；

若是，根据所述参数指令对所述图像数据进行处理；

若否，接收并运行所述参数指令对应的算法配置文件，以处理所述图像数据；

输出所述图像数据的处理结果。