CN103679266A

CN103679266A - 一种管道视频检测的自动光源系统

Info

Publication number: CN103679266A
Application number: CN201310629662.0A
Authority: CN
Inventors: 李天剑; 刘相权; 王会香
Original assignee: Beijing Information Science and Technology University
Current assignee: Beijing Information Science and Technology University
Priority date: 2013-11-29
Filing date: 2013-11-29
Publication date: 2014-03-26
Anticipated expiration: 2033-11-29
Also published as: CN103679266B

Abstract

本发明提供了包括视频采集模块，光环境评价模块，光源控制模块装置的一种管道检测机器人视频检测的自动光源系统。该系统采用图像处理结合神经网络的方法将光照评价融合于管道视频检测过程之中，通过光源提供光照，视频采集产生取样图像，进行图像处理评价光照效果，结合神经网络算法产生控制信号反馈光照调节的闭环控制方式，实现自动光源的自动光照调整。在视频检测过程中，采用均匀间隔采样的方式采集检测图像，运用灰度统计直方图进行光照亮度的反映，根据灰度分布的统计特征，运用神经网络进行光照评价并运算产生反馈控制信号进行光源亮度调节，实现管道光源调整的高效化，优质化。

Description

一种管道视频检测的自动光源系统

技术领域

本发明涉及管道视频检测的自动光源系统，具体涉及上位机和下位机的通讯方式，基于图像处理技术和神经网络算法对检测环境光照的评价，光源系统光照的控制和调整方法。

背景技术

目前，我国很多管道机器人对管道进行检测采用的都是视频检测方法（Closed Circuit Television，简称CCTV），而在视频检测过程中，光源系统提供的光照环境对视频成像影响很大，影响着视频观看的效果以及运用图像处理技术对管道进行测量的质量。

现有CCTV检测用的光源系统是以人工方式进行控制的，工作人员在控制机器人运动和摄像头观察角度的同时需要根据经验对光源系统进行调节，以满足检测过程中的光照需求，费时费力，而且由于管道环境和检测的复杂性，往往操作中视频界面会出现一会过暗，一会又曝光过度产生眩目感的情况，增加了操作人员在看视频时的视觉疲劳感，这都制约着机器人的管道检测效率。在通过图像处理技术对管道进行检测方面上，大多都是针对于采集的图像进行直接的变换、分割、分析来实现识别和测量，忽略了光照环境可调节的影响，虽然图像处理技术已经有很多算法能够实现图像亮度的调节和各种检测与分割，但是结合光源系统实现合适的环境光照，得到优质的图像，无论从视觉效果还是检测精度方面，都会有更好的效果。

发明内容

本发明的一个目的，是提供一种管道检测环境照明情况下对光照进行智能调整的控制方式和方法。

本发明的该目的通过以下技术方案来实现：

管道视频检测的自动光源系统包括图像采集模块，图像处理及反馈控制信号模块、光源控制模块三部分。本系统通过管道机器人的CCD摄像头进行图像采集，通过USB线传输给上位机进行图像处理。上位机同时通过MAX232串行通讯接口与下位机的光照控制单元进行通讯，根据图像处理及控制算法获得的结果反馈光照控制信号，由下位机根据信号实现相应的光照调节。

本系统的上位机采用笔记本电脑，外连管道检测摄像头及光照控制单元，实现图像采集和光源亮度控制，内装配套功能的专用软件，实现采集图像的处理和控制信号的输出，软件提供各器件的驱动及管道视频视频成像界面，评价信息界面及控制信息界面。与上位机相连的图像采集模块采用成品CCD摄像头，下位机光照控制模块采用ATmega16单片机作为主控制器，通过固定端口输出不同占空比的PWM波信号实现光照电流的输出和调整。

本发明技术方案突出的实质性特点和显著的进步主要体现在：

采用图像采集和图像处理方式结合自组织特征映射神经网络算法对光照系统进行控制，将光照控制融合到管道机器人视频检测过程中，实时高效；采用交互反馈、相互促进策略将光照调整，视频检测，图像处理与测量几个方面联系起来，形成相互促进相互优化的效果：光照的优化调整给予工作人员优良的管道检测观察效果，同时利于通过图像处理进行相关测量数据的获得，通过图像处理对图像不同灰度区间的像素比例进行统计作为图像亮度的特征输入到神经网络中进行分类和评价，并利用自组织特征映射神经网络权值形成的拓扑结构作为光照亮度调节的搜索路径，实现模糊方式的快速调节，优化了管道视频检测的光源调节的算法问题；在操作界面中，采用尽最大可视化、友好化的宗旨，集实时视频显示，检测环境评价（光照评价、神经网络神经元分布与调节跟踪），控制信息实时显示，数据与控制信息存储历史，画面软件优化等功能界面于一体，便于操作和记录，提供更好的管道检测平台。

根据本发明的一个方面，提供了一种管道检测视频的自动光源系统，其特征在于包括：

视频采集单元，用于实时采集观察角度的管道环境图像；

图像处理单元，用于接收来自视频采集单元的管道环境图像信号，进行光照评价并输出对光源的反馈控制信号；

光源控制单元，用于根据所述反馈控制信号，进行光源照明的亮度调整。

根据本发明的另一个方面，提供了一种管道检测视频的自动光源亮度控制方法，其特征在于包括：

A）用视频采集单元实时采集观察角度的管道环境图像；

B）用图像处理单元接收来自视频采集单元的管道环境图像信号，进行光照评价并输出对光源的反馈控制信号；

C）用光源控制单元，根据所述反馈控制信号，进行光源照明的亮度调整。

附图说明

图1是根据本发明的一个实施例的系统工作流程图。

图2是根据本发明的一个实施例的图像处理单元工作流程之采集图像获取灰度特征流程图。

图3是根据本发明的一个实施例的图像处理单元工作之神经网络工作流程图。

图4是根据本发明的一个实施例的图像处理单元软件系统功能模块组成示意图。

图5是根据本发明的一个实施例的光源控制单元电路图。

图6是根据本发明的一个实施例的光源控制单元控制方法流程图。

图7是根据本发明的一个实施例的系统装置配置示意图。

具体实施方式

如图1所示，根据本发明的一个实施例的管道视频检测机器人的自动光源系统包括：视频采集单元101、图像处理单元102、光源控制单元103，各单元协调动作，交互促进。

视频采集单元101在管道视频检测机器人运行过程中对管道内的图象信息进行视频采集，并将采集到的视频信息通过线缆传输给图像处理单元102。

根据本发明的一个实施例，图像处理单元102包括上位机中加载的多个功能模块（如图4所示），包括：

-视频显示功能模块（401），用于实时的以视频界面的方式于上位机显示管道检测视频信息；

-灰度直方图评价模块（402）根据视频图像提供图像灰度化后的灰度分布信息；

-控制信息显示模块（403），用于对于上位机对下位机的反馈控制信号，和下位机对光源的亮度控制信息，进行整合记录及实时显示；

-神经网络功能模块（404），其为系统的核心模块，用于通过对资料信息的学习形成对光照情况的分类，形成并显示具有特征学习的神经网络拓扑结构，以此作为控制搜索的选择路径，根据采集图像的特征向量沿神经网络结构进行调节控制，实现快速模糊控制；

-控制状态选择模块（405），其具有对光源进行人工手动调节和自动调节的切换功能，用于进行自动调节和手动调节，自动调节即根据视频检测调整合适光照，手动调节则通过人机交互界面进行控制，通过鼠标滚轮对PWM占空比进行调节以控制亮度。

图2和图3是根据本发明的一个实施例的图像处理单元102的工作流程图。图像处理单元102的工作包括采集图像获取灰度特征向量（图2）和输入神经网络进行光照分类并产生控制信号（图3）的两个部分。

如图2所示，根据本发明的一个实施例的图像处理单元102以均匀时间间隔从获得的视频采集一帧图像（步骤201），在该时间间隔内完成图像灰度化（步骤202），一方面在显示界面输出灰度直方图反映光照环境的灰度分布情况（203），一方面对灰度图的如[0,46)、[46,233]、(233,256]的三个灰度区间的像素数m_a、m_b、m_c与图像总像素数A相除的结果进行统计，从而运算产生特征向量p(a,b,c)（204）。而上述三个灰度区间的选择是以管道环境进行图像采集和实验统计获得的。

根据本发明的一个实施例的本系统的神经网络为自组织特征映射神经网络，并以大量的实验图片的特征向量进行训练，同时对于人工判断为合适光照的图片进行标记，将因其获得兴奋的神经元标记为有效神经元，训练结束后成形为一个具有有效神经元和非有效神经元的神经网络。如图3所示，根据本发明的一个实施例，在实时检测中，将采集图像的特征向量输入神经网络（301），获得相应兴奋的步进神经元，判断该神经元是否有效神经元；如果“是”，则不对光照进行改变（302）；如果“否”，则搜索最近的第二灰度区间比例增大的神经元为参考神经元（303），比较该神经元与参考神经元的第三灰度区间比例差值的正/负，对应的通过串口通讯向下位机发送光源的减弱/增强信号（如果差值为零则搜索次近神经元重复进行判断和信号发送）（304，305）；继续采集并获得光照变化后的图像特征向量并获得新兴神经元（306）；判断相应的步进神经元是否有效神经元，若“否”则继续重复上述步骤进行搜索（307），若“是”则进行试探是否需稳定于此，其策略为沿上一步光照调节方式继续进行（308），根据新的步进神经元是否仍为有效神经元来判断是否肯定试探过程，如果“否”，则否决试探，返回上一步的调节状态结束本阶段循环（310），如果“是”则肯定并继续进行试探（310），直至判断为否而结束本阶段循环。

图5是根据本发明的一个实施例的光源控制单元电路图。光源控制单元103采用ATmega16作为下位机处理芯片进行光源亮度控制，单片机采用最小系统，由外部晶振电路（C4、C5、X1）、复位电路、三极管放大驱动电路（Q1、R1、R2、R3、C1、C2、C3、D1）、串口通讯电路（MAX232、J1）四部分组成。单片机通过21端口（PD7/OC2）加载三极管驱动电路对LED灯输出PWM信号波，通过改变信号占空比实现对灯光亮度的调节。单片机通过端口14（PD0/RXD）、15（PD1/TXD）外接MAX232与上位机串口实现串口通讯，单片机用查询方式获取上位机信号，当上位机通过串口J1向单片机发送光源控制信号时，MAX232进行电位转换由发送至14端口，单片机根据信号改变21端口PWM信号占空比实现亮度调节，并通过15端口发送占空比状态，呈现于人机交互界面中。

图6是根据本发明的一个实施例的光源控制单元控制方法流程图。如图6所示，根据本发明的一个具体实施例，启动光源控制单元103进行光照，下位机处理芯片进行初始化（601），根据管道环境信息的统计和实验，设置初始化PWM波占空比为0.8，采用为256级可调节占空比亮度控制；下位机不断通过串口查询上位机是否有中断反馈信号（602），当有信号时，则通过串口通讯将操作指令传输给单片机（603），单片机根据信号改变PWM波的占空比输出（604），实现对进行相应的光照增强/减弱调节，并反馈即时的PWM状态以呈现于人机交互界面（605），如此实现快速有效的光照亮度控制的执行。

以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。凡采用等同变换或者等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims

1.管道检测视频的自动光源系统，其特征在于包括：

视频采集单元（101），用于实时采集观察角度的管道环境图像；

图像处理单元（102），用于接收来自视频采集单元（101）的管道环境图像信号，进行光照评价并输出对光源的反馈控制信号；

光源控制单元（103），用于根据所述反馈控制信号，进行光源照明的亮度调整。

2.根据权利要求1的自动光源系统，其特征在于所述图像处理单元（102）包括用于进行如下操作的部分：

-视频显示功能模块（401），用于以视频界面的方式于上位机显示管道检测视频信息；

-灰度直方图评价模块（402），用于对所述管道检测视频信息进行灰度化，并提供图像灰度化后的灰度分布信息；

-控制信息显示模块（403），用于对上位机对下位机的反馈控制信号，和下位机对光源的亮度控制信息，进行整合记录及实时显示；

-神经网络功能模块（404），用于通过对资料信息的学习形成对光照情况的分类，形成并显示具有特征学习的神经网络拓扑结构，以此作为控制搜索的选择路径，根据采集图像的特征向量沿神经网络结构进行调节控制，实现快速模糊控制；

-控制状态选择模块（405），用于控制亮度。

3.根据权利要求2的自动光源系统，其特征在于所述灰度直方图评价模块（402）对灰度图的三个预定的灰度区间的像素数（m_a、m_b、m_c）与图像总像素数（A）相除的结果进行统计，从而运算产生特征向量（p(a,b,c)）（步骤204），其中上述三个灰度区间的选择是以管道环境进行图像采集和实验统计获得的。

4.根据权利要求3的自动光源系统，其特征在于所述神经网络功能模块（404）

将采集图像的特征向量输入神经网络（步骤301），获得相应兴奋的步进神经元；

判断上述神经元是否有效神经元，如“是”则不对光照进行改变（步骤302），如“否”则搜索最近的第二灰度区间比例增大的神经元为参考神经元（步骤303），并比较该比例增大的神经元与参考神经元的第三灰度区间比例差值的正/负，并通过串口通讯向下位机发送光源的减弱/增强信号，（步骤304和305）；

继续采集并获得光照变化后的图像特征向量并获得新兴神经元（步骤306）；

判断相应的步进神经元是否有效神经元，若“否”则继续重复上述步骤进行搜索（步骤307），若“是”则进行试探是否需稳定于此，其策略为沿上一步光照调节方式继续进行（步骤308），根据新的步进神经元是否仍为有效神经元来判断是否肯定试探过程，如“否”则否决试探并返回上一步的调节状态结束本阶段循环（步骤310），如“是”则肯定并继续进行试探（步骤310）直至判断为否而结束本阶段循环。

5.根据权利要求4的自动光源系统，其特征在于

控制状态选择模块（405）具有对光源进行人工手动调节和自动调节的切换功能，用于进行自动调节和手动调节，自动调节即根据视频检测调整合适光照，手动调节则通过人机交互界面进行控制，通过鼠标滚轮对PWM占空比进行调节以控制亮度；

所述光源控制单元（103）包括用于进行如下操作的部分：

通过单片机控制输出不同占空比的PWM信号产生光照效果，

接收所述反馈控制信号，

进行光源照明的亮度调整，

所述光源控制单元通过ATmega16单片机于端口产生不同占空比的PWM信号来控制光源光照强弱，可实现256级的不同占空比输出亮度控制。

6.管道检测视频的自动光源亮度控制方法，其特征在于包括：

A）用视频采集单元（101）实时采集观察角度的管道环境图像；

B）用图像处理单元（102）接收来自视频采集单元（101）的管道环境图像信号，进行光照评价并输出对光源的反馈控制信号；

C）用光源控制单元（103），根据所述反馈控制信号，进行光源照明的亮度调整。

7.根据权利要求6的方法，其特征在于所述步骤B）包括：

B1）以视频界面的方式于上位机显示管道检测视频信息；

B2）对所述管道检测视频信息进行灰度化，并提供图像灰度化后的灰度分布信息；

B3）对上位机对下位机的反馈控制信号，和下位机对光源的亮度控制信息，进行整合记录及实时显示；

B4）通过对资料信息的学习形成对光照情况的分类，形成并显示具有特征学习的神经网络拓扑结构，以此作为控制搜索的选择路径，根据采集图像的特征向量沿神经网络结构进行调节控制，实现快速模糊控制；

B5）进行亮度控制。

8.根据权利要求7的方法，其特征在于所述步骤B2）包括：

对灰度图的三个预定的灰度区间的像素数（m_a、m_b、m_c）与图像总像素数（A）相除的结果进行统计，从而运算产生特征向量（p(a,b,c)）（步骤204），其中上述三个灰度区间的选择是以管道环境进行图像采集和实验统计获得的。

9.根据权利要求8的方法，其特征在于所述步骤B4）包括：

10.根据权利要求9的方法，其特征在于进一步包括

根据视频检测调整合适光照，和/或通过人机交互界面进行控制以通过鼠标滚轮对PWM占空比进行调节以控制亮度；

其中

所述步骤C）包括：

通过单片机控制输出不同占空比的PWM信号产生光照效果，

接收所述反馈控制信号，

进行光源照明的亮度调整。