CN104993984B - 一种物联网视觉智能感知系统及方法 - Google Patents

Abstract

本发明公开了一种物联网视觉智能感知系统及方法，通过物联网技术，组建视觉智能感知装置群网络，并建立数据库系统，实现对视觉信息的综合处理和智能分析；其中服务器作为数据中心，通过Internet与远程监控PC、视觉智能感知装置通信；视觉智能感知装置实现对视觉信息的采集和处理，并经过其内部的Wi-Fi模块与服务器进行信息交互，或通过智能输出接口对外设进行控制，远程监控PC对视觉智能感知装置的实时数据进行显示并根据用户需求控制视觉感知装置；本发明系统及方法安全稳定，用途广泛，可以在平安城市建设、智能生产检测、应急指挥和救援、智能交通等各个行业大显身手。具有不可估计的经济价值和市场潜力。

Description

一种物联网视觉智能感知系统及方法

技术领域

本发明属于物联网设备与智能传感器技术领域，特别涉及一种物联网视觉智能感知系统及方法。

背景技术

物联网作为互联网的应用扩展，掀起了继计算机和互联网技术以后全球信息领域发展的第三次浪潮，受到各国政府的高度重视和支持。而视觉在人类捕获信息，感知世界中起着至关重要的作用，视觉智能感知则将图像获取、图像处理、图像识别等多种技术结合在一起。

视觉智能感知与物联网作为信息领域的重要研究内容，本设计将二者联合起来，实现一种物联网视觉智能感知系统。该系统可以在平安城市建设、智能生产检测、应急指挥和救援、智能交通、环境监测和节能环保、智能电网、数字城管、平安校园、数字矿山等各个行业大显身手。具有不可估计的经济价值和市场潜力。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种物联网视觉智能感知系统及方法，具有低成本、高精度、高速的、可扩展等特点。

为了实现上述目的，本发明采用的技术方案是：

一种物联网视觉智能感知系统，包括：

若干视觉智能感知装置，用于对视觉信息进行采集，处理，并将处理结果通过装置内部的Wi-Fi模块与服务器进行信息交互或通过输出接口对外设进行控制；

服务器上建立数据库，作为数据中心，通过Internet与远程监控PC通信，一方面服务器将视觉智能感知装置对视觉信息的处理结果发送给远程监控PC用以对视觉信息进行实时显示；另一方面服务器接收远程监控PC发送的用户或管理员的控制指令，并将其转发给视觉智能感知装置，实现对视觉智能感知装置的控制；

远程监控PC，实现人机交互功能，对各视觉智能感知装置的实时数据进行显示并内置有视觉智能感知装置的处理方式。

所述视觉智能感知装置包括用于采集视觉信息的采集模块、用于处理所采集视觉信息的处理器、用于实现与服务器进行信息交互的Wi-Fi模块以及用于与外设连接的智能输出接口，各个视觉智能感知装置组成物联网，服务器通过socket套接字编程创建一个网络接口与无线路由器进行连接，各个视觉智能感知装置的处理器将处理后的数据转换成Wi-Fi信号与无线路由器交互，服务器和每个视觉智能感知装置均有一个独立的IP地址；所述处理器内部集成了多种常用的图像处理模块，包括：降噪、图像增强、特征提取、运动模糊消除等，可根据具体需求对处理模块进行组合，实现对视觉信息的处理。

所述采集模块至少包括拍摄图像及视频所必需的CCD及光学镜头，可实现对场景图像信息的采集。

所述智能输出接口为集成接口，至少集成有串行通信接口、数字I/O接口以及USB接口。

所述数据库中的存储数据包括视觉智能感知装置对视觉信息的处理结果，数据库可对处理结果进行分类统计、实时记录。

所述的远程监控PC可实现人机交互功能，管理员或者用户根据需求，可通过远程监控PC设定视觉智能感知装置对视觉信息的处理方式，并通过服务器发送给视觉智能感知装置，视觉智能感知装置收到命令后，便可按照设定的处理方式对采集到的视觉信息进行处理。

本发明还提供了一种物联网视觉智能感知方法，包括如下步骤：

步骤1、视觉智能感知装置初始化：视觉智能感知装置初始化主要包括初始化操作系统和设备驱动程序，可通过测控程序写入接口将无界面Linux系统安装到视觉智能感知装置的处理器中。

步骤2、系统布设及连接：根据应用的需求，对多个视觉智能感知装置进行合理布设，连接视觉智能感知装置的图像采集外触发接口及智能输出接口到外部设备。

步骤3、网络的搭建：系统主要包括两路通信，其一为视觉智能感知装置与服务器的通信，通过Wi-Fi通信方式实现；其二为服务器与远程监控PC的通信，通过基于TCP/IP协议的通信方式实现。

步骤4、视觉信息的处理方式设定：处理方式由管理员设定，管理员只需要根据具体需求对模块化的处理算法进行组合，即可完成处理方式的设定，最后远程监控PC通过网络将处理方式发送至视觉智能感知装置。

步骤5、视觉采集信号的触发：视觉智能感知装置完成处理方式设定后，等待视觉采集信号触发。采集触发信号分两种：其一为来自外部设备的触发，外部设备的触发信号连接到视觉智能感知装置的图像采集外触发接口，视觉智能感知装置通过中断的方式获取图像采集的触发信号；其二为来自远程监控PC的触发信号，远程监控PC用来实现人机交互，管理员可通过远程监控PC发送视觉采集信号，采集信号以网络的方式发送至视觉智能感知装置。

步骤6、视觉信息的采集和处理：当视觉智能感知装置接收到视觉信息采集信号后，通过内部的处理器对连接在视觉感知接口的视觉采集模块进行控制，开始视觉信息的采集，并根据用户或管理员设定的处理方式，实现对视觉信息的处理。

步骤7、处理结果的输出：处理结果主要通过两种方式进行输出，其一通过视觉智能感知装置内的物联网远传接口将处理结果输出给服务器和远程监控PC；其二通过视觉智能感知装置的智能输出接口将处理结果发送到外部设备，以实现对外设的控制。

所述步骤3中，Wi-Fi通信的实现方式为：

多个视觉智能感知装置组成物联网，其中服务器通过socket套接字编程创建一个网络接口与无线路由器进行连接。每个视觉智能感知装置通过自带的Wi-Fi模块，将处理后的数据转换成Wi-Fi信号与该无线路由器交互。此过程中，服务器和每个视觉智能感知装置均有一个独立的IP地址，通过判断不同的IP地址，便可实现服务器全局控制、多个设备之间无线通信。

基于TCP/IP协议通信的实现方式为：远程监控PC与服务器之间通过Internet网络连接，使用基于TCP/IP协议的数据网络传输，服务器建立TCP监听，远程监控PC发起对服务器的连接，TCP建立后保持常连接状态不主动断开。

所述的步骤6中视觉采集方法依据V4L2编程模型实现，主要流程为：首先打开图像采集模块的驱动文件并获取驱动文件的采集能力；然后根据采集能力设置图像采集的帧格式；之后向驱动申请图像缓冲空间并将申请到的缓冲空间映射到用户空间；最后开始视觉信息的采集。

与现有技术相比，本发明构建了完善的物联网视觉智能感知处理的硬件平台和底层驱动程序，并建立了基于物联网通信的视觉信息感知、处理、控制、远传及程序写入等接口协议，留有可扩展的软件处理接口。根据不同的场合与检测内容，可设定不同的处理算法，实现相应的功能。

附图说明

图1是本发明的物联网视觉智能感知系统装置逻辑结构图。

图2是本发明的视觉智能感知装置逻辑结构图。

图3是本发明的视觉智能感知装置实现方法流程图。

图4是本发明的物联网视觉智能感知方法的服务器实现流程图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明的物联网视觉智能感知系统逻辑结构图如图1所示，通过物联网技术，组建视觉智能感知装置群网络，系统包括多个视觉智能感知装置，视觉智能感知装置用于对视觉信息进行采集和处理，并将处理结果一方面经过装置内部的Wi-Fi模块与服务器进行信息交互；一方面通过智能输出接口对外设进行控制。服务器作为数据中心，为了获得全面、准确的视觉信息，服务器建立数据库进行数据分析存储。另外，系统中远程监控PC实现人机交互功能，可对视觉智能感知装置的实时数据进行显示，并可根据用户需求设定视觉智能感知装置对视觉信息的处理方式。

如图1中所示的视觉智能感知装置逻辑结构图如图2所示，视觉智能感知装置中处理器采用基于ARMCortex-a9架构的四核处理器，配备双通道DDR3内存以及固态硬盘EMMC存储，兼具快速读取与超大容量。同时配合高效的电源管理单元S5M8767，可完美实现动态调整频率和电压，使得装置的运行更稳定，功耗更低。

如图2所示的视觉智能感知装置包括视觉感知接口、物联网远传接口、测控程序写入接口、智能输出接口、图像采集外触发接口、电源输入接口等功能接口。其中，视觉感知接口采用camera通信协议、实现对图像信息的采集；测控程序写入接口采用USBOTG通信标准，完全兼容USB2.0协议，并可提供一定的主机检测能力，支持主机通令协议(HNP)和对话请求协议(SRP)；物联网远传接口采用Wi-Fi通信技术，具有覆盖范围广，传输速度快的优点，并且可与TCP/IP无缝对接；图像采集外触发接口通过I/O中断的方式可实时获取外部设备的视觉信息采集信号；智能输出接口综合了I/O、RS232、USB等多种通信协议，可实现对不同设备的合理控制。

整个系统的实施主要包括视觉智能感知装置初始化，系统布设及连接、网络的搭建、视觉信息的处理方式设定、视觉采集信号的触发、视觉信息的采集和处理、处理结果的输出等主要步骤，下面对各个步骤进行详细说明：

一、视觉智能感知装置初始化：视觉智能感知装置初始化主要包括初始化操作系统和设备驱动程序，视觉智能感知装置处理器中安装无界面Linux系统。系统制作及安装过程如下：在主机PC上安装Ubuntu操作系统；在Ubuntu系统下搭建Linux-Qt编译环境；下载QT文件系统并对其进行裁剪，删除QT系统的操作界面文件并将其他相关设备驱动程序加入编译；重新编译QT文件系统；通过以上步骤即可得到无界面Linux系统，最后通过测控程序写入接口写入到处理器中。

二、系统布设及连接：根据应用的需求，对多个视觉智能感知装置进行合理布设，连接视觉智能感知装置的图像采集外触发接口和智能输出接口到外部设备。

三、网络的搭建：系统主要包括两路通信：其一为视觉智能感知装置与服务器的通信：多个视觉智能感知装置组成物联网，其中服务器通过socket套接字编程创建一个网络接口与无线路由器进行连接。每个视觉智能感知装置通过自带的Wi-Fi模块，将处理后的数据转换成Wi-Fi信号与该无线路由器交互。此过程中，服务器和每个视觉智能感知装置均有一个独立的IP地址，通过判断不同的IP地址，便可实现服务器全局控制、多个设备之间无线通信。其二为服务器与远程监控PC的通信：远程监控PC与服务器之间通过Internet网络连接，使用基于TCP/IP协议的数据网络传输，服务器建立TCP监听，远程监控PC发起对服务器的连接，TCP建立后保持常连接状态不主动断开。

四、视觉信息的处理方式设定：处理方式由管理员设定。其中视觉智能感知装置内部集成了多种常用的图像处理算法模块，包括：降噪、图像增强、特征提取、运动模糊消除等，管理员只需要根据具体需求对模块化的处理算法进行组合，即可完成处理方式的设定。最后通过远程监控PC将处理方式发送至视觉智能感知装置的物联网远传接口，并传输给视觉智能感知装置的处理器。

五、视觉采集信号的触发：视觉智能感知装置初始化及完成处理方式设定后，等待视觉采集信号触发。视觉采集信号分两种：其一为来自外部设备的触发，外部设备的触发信号接入视觉智能感知装置的图像采集外触发接口，装置通过中断的方式获取图像采集的触发信号；其二为来自远程监控PC的触发信号，远程监控PC用来实现人机交互，管理员可通过在远程监控PC上发送采集信号，采集信号以网络的方式发送至视觉智能感知装置。

六、视觉信息的采集和处理：当视觉智能感知装置得到视觉信息采集信号后，通过内部的处理器对连接在视觉感知接口的视觉采集模块进行控制，采集模块主要由拍摄图像所必需的CCD及光学镜头组成，并可外加应对不同环境及检测内容所需要的LED光源，采集模块可根据实际需求调整其工作距离、分辨率、焦距等指标。其视觉采集方法依据V4L2编程模型实现。主要流程为：首先打开图像采集模块的驱动文件并获取驱动文件的采集能力；然后根据采集能力设置图像采集的帧格式；之后向驱动申请图像缓冲空间并将申请到的缓冲空间映射到用户空间；最后开始视觉信息的采集，并根据管理员设定的处理方式，实现对视觉信息的处理。

七、处理结果的输出：处理结果主要通过两种方式进行输出，其一通过视觉智能感知装置内的物联网远传接口将处理结果输出给服务器，服务器通过建立的数据库对处理结果进行分类统计、实时记录，并将处理结果通过网络发送给远程监控PC，用以实时显示，方便人机交互；其二通过视觉智能感知装置的智能输出接口对外部执行设备进行控制，智能输出接口集成了串行通信，数字I/O，USB等多种常用接口，可根据不同的外设需求实现不同的通信协议以方便对不同外设进行控制。

下面描述系统中视觉智能感知装置和服务器两个部分的实现方法，视觉智能感知装置的实现方法流程如图3所示。

其中视觉智能感知装置作为视觉信息采集和处理单元，其内部处理器安装Linux多线程操作系统，可方便实现多任务之间的协调控制。具体实现方法为：视觉智能感知装置开机后初始化系统及驱动，接下来创建两个线程，分别处理与服务器的通信任务和对外部设备的控制任务。通信线程的实现流程为：视觉智能感知装置首先向服务器发送注册信息，经过确认后，装置一方面通过socket套接字接口接收服务器的命令数据、并通过管道通信方式传输给主线程用于视觉信息处理，一方面将主线程处理后的结果发送给服务器以供其对数据库更新；主线程的实现流程为：首先利用V4L2编程模型实现视觉信息的采集，并按照远程监控PC设定的处理方式对视觉信息进行处理，然后将处理结果通过管道通信方式发送给通信线程交由其进行信号发送或传输到控制线程用于对外设进行控制；控制线程的实现流程为：首先根据外设类型及需要的通信格式初始化智能输出接口，然后将接收到的处理结果转换成外设控制命令，最后发送给外部设备。

服务器实现方法流程如图4所示，作为整个物联网视觉智能感知系统的中枢，一方面接收各个视觉智能感知装置的上传数据，一方面可与远程监控PC信息交互。具体实现方法为：首先，服务器连接数据库并打开路由器节点通信端口，创建与路由器的通信连接，创建套接字监听外部设备的请求、主要是来自视觉智能感知装置与远程监控PC的网络连接请求；当接收到外部设备请求后，即建立TCP连接，并开始接收设备的注册信息；当收到设备的数据信息时，服务器通过数据格式判断访问数据类型，若为远程监控PC，则获取其控制命令并发送给视觉智能感知装置，若为视觉智能感知装置，则获取视觉信息处理结果，更新数据库并发送数据给远程监控PC，以便其进行实时数据显示。

本发明以自动生产线工件缺陷检测为具体的应用实施例，其过程如下：

1.视觉智能感知装置初始化

按照上文所述初始化方式对视觉智能感知装置进行初始化。

2.系统布设及连接

根据产品缺陷检测的需求，将初始化后的多个视觉智能感知装置以不同的角度布设在生产线的不同位置，以实现对工件不同部位的缺陷检测。连接视觉智能感知装置的图像采集外触发接口到流水线上的工件检测传感器，连接视觉智能感知装置的智能输出接口到流水线上的分流装置。

3.网络的搭建

网络搭建主要涉及到TCP/IP通信协议和Wi-Fi通信方式，按照上文所述的通信方式实现服务器、远程监控PC和视觉智能感知装置之间的协调通信。

4.视觉信息的处理方式设定

根据生产的要求和工件缺陷的信息，对每个视觉智能感知装置设定处理方式，处理方式可实现对工件每个部位缺陷的检测，并根据工件是否缺陷及缺陷类型给出不同输出。将处理算法通过构建的网络传输给视觉智能感知装置。

5.视觉采集信号的触发

当工件检测传感器感知到工件到来时，将图像采集信号发送到视觉智能感知装置的图像采集外触发接口，提醒视觉智能感知装置进行视觉采集。

6.视觉信息的采集和处理

视觉智能感知装置通过上文所述的采集方式进行视觉信息采集，并根据设定的处理方式对采集到的工件图像进行检测处理。处理结果为工件是否缺陷及缺陷类型。

7.处理结果的输出

视觉智能感知装置将处理结果一方面发送给分流装置，分流装置可根据工件是否缺陷及缺陷类型将工件分流到不同区域；另一方面将处理结果发送给服务器和远程监控PC，服务器对工件缺陷情况及数目进行统计，远程监控PC对统计结果进行实时显示。

Claims (10)

1.一种物联网视觉智能感知系统，其特征在于，包括：

若干视觉智能感知装置，用于对视觉信息进行采集，处理，并将处理结果通过装置内部的Wi-Fi模块与服务器进行信息交互或通过输出接口对外设进行控制；

服务器上建立数据库，作为数据中心，通过Internet与远程监控PC通信，一方面服务器将视觉智能感知装置对视觉信息的处理结果发送给远程监控PC用以对视觉信息进行实时显示；另一方面服务器接收远程监控PC发送的用户或管理员的控制指令，并将其转发给视觉智能感知装置，实现对视觉智能感知装置的控制；

远程监控PC，实现人机交互功能，对各视觉智能感知装置的实时数据进行显示并内置有视觉智能感知装置的处理方式。

2.根据权利要求1所述物联网视觉智能感知系统，其特征在于，所述视觉智能感知装置包括用于采集视觉信息的采集模块、用于处理所采集视觉信息的处理器、用于实现与服务器进行信息交互的Wi-Fi模块以及用于与外设连接的智能输出接口，各个视觉智能感知装置组成物联网，服务器通过socket套接字编程创建一个网络接口与无线路由器进行连接，各个视觉智能感知装置的处理器将处理后的数据转换成Wi-Fi信号与无线路由器交互，服务器和每个视觉智能感知装置均有一个独立的IP地址；所述处理器内部集成了包括降噪、图像增强、特征提取以及运动模糊消除在内的图像处理模块，根据具体需求对处理模块进行组合，实现对视觉信息的处理。

3.根据权利要求2所述物联网视觉智能感知系统，其特征在于，所述采集模块至少包括拍摄图像及视频所必需的CCD及光学镜头，实现对场景图像信息的采集。

4.根据权利要求2所述物联网视觉智能感知系统，其特征在于，所述智能输出接口为集成接口，至少集成有串行通信接口、数字I/O接口以及USB接口。

5.根据权利要求1所述物联网视觉智能感知系统，其特征在于，所述数据库中的存储数据包括视觉智能感知装置对视觉信息的处理结果，数据库具有对处理结果进行分类统计和实时记录的功能。

6.根据权利要求1所述物联网视觉智能感知系统，其特征在于，根据管理员或者用户根据需求，通过远程监控PC设定视觉智能感知装置对视觉信息的处理方式，并通过服务器发送给视觉智能感知装置，视觉智能感知装置收到命令后，按照设定的处理方式对采集到的视觉信息进行处理。

7.一种物联网视觉智能感知方法，其特征在于，包括如下步骤：

步骤1、视觉智能感知装置初始化：视觉智能感知装置初始化包括初始化操作系统和设备驱动程序，通过测控程序写入接口将无界面Linux系统安装到视觉智能感知装置的处理器中；

步骤2、系统布设及连接：根据应用的需求，对多个视觉智能感知装置进行合理布设，连接视觉智能感知装置的图像采集外触发接口及智能输出接口到外部设备；

步骤3、网络的搭建：系统包括两路通信，其一为视觉智能感知装置与服务器的通信，通过Wi-Fi通信方式实现；其二为服务器与远程监控PC的通信，通过基于TCP/IP协议的通信方式实现；

步骤4、视觉信息的处理方式设定：处理方式由管理员设定，管理员根据具体需求对模块化的处理算法进行组合，即完成处理方式的设定，最后远程监控PC通过网络将处理方式发送至视觉智能感知装置；

步骤5、视觉采集信号的触发：视觉智能感知装置完成处理方式设定后，等待视觉采集信号触发，采集触发信号分两种：其一为来自外部设备的触发，外部设备的触发信号连接到视觉智能感知装置的图像采集外触发接口，视觉智能感知装置通过中断的方式获取图像采集的触发信号；其二为来自远程监控PC的触发信号，远程监控PC用来实现人机交互，管理员通过远程监控PC发送视觉采集信号，采集信号以网络的方式发送至视觉智能感知装置；

步骤6、视觉信息的采集和处理：当视觉智能感知装置接收到视觉信息采集信号后，通过内部的处理器对连接在视觉感知接口的视觉采集模块进行控制，开始视觉信息的采集，并根据用户或管理员设定的处理方式，实现对视觉信息的处理；

步骤7、处理结果的输出：处理结果通过两种方式进行输出，其一通过视觉智能感知装置内的物联网远传接口将处理结果输出给服务器和远程监控PC；其二通过视觉智能感知装置的智能输出接口将处理结果发送到外部设备，以实现对外设的控制。

8.根据权利要求7所述物联网视觉智能感知方法，其特征在于，所述步骤3中，Wi-Fi通信的实现方式为：

多个视觉智能感知装置组成物联网，其中服务器通过socket套接字编程创建一个网络接口与无线路由器进行连接；每个视觉智能感知装置通过自带的Wi-Fi模块，将处理后的数据转换成Wi-Fi信号与该无线路由器交互；此过程中，服务器和每个视觉智能感知装置均有一个独立的IP地址，通过判断不同的IP地址，便可实现服务器全局控制、多个设备之间无线通信。

9.根据权利要求7所述物联网视觉智能感知方法，其特征在于，所述步骤3中，基于TCP/IP协议通信的实现方式为：远程监控PC与服务器之间通过Internet网络连接，使用基于TCP/IP协议的数据网络传输，服务器建立TCP监听，远程监控PC发起对服务器的连接，TCP建立后保持常连接状态不主动断开。

10.根据权利要求7所述物联网视觉智能感知方法，其特征在于，所述的步骤6中视觉采集方法依据V4L2编程模型实现，流程为：首先打开图像采集模块的驱动文件并获取驱动文件的采集能力；然后根据采集能力设置图像采集的帧格式；之后向驱动申请图像缓冲空间并将申请到的缓冲空间映射到用户空间；最后开始视觉信息的采集。