CN109598200B - 一种铁水罐罐号的图像智能识别系统及方法 - Google Patents
一种铁水罐罐号的图像智能识别系统及方法 Download PDFInfo
- Publication number
- CN109598200B CN109598200B CN201811297283.5A CN201811297283A CN109598200B CN 109598200 B CN109598200 B CN 109598200B CN 201811297283 A CN201811297283 A CN 201811297283A CN 109598200 B CN109598200 B CN 109598200B
- Authority
- CN
- China
- Prior art keywords
- module
- image
- detection module
- metal ladle
- hot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种铁水罐罐号的图像智能识别系统及方法,属于冶金自动化技术领域。该系统包括图像采集模块、运动检测模块、对象检测模块、彩色铁水罐图像动静态特征表示与描述模块、基于卷积神经网络的数字字符分类模块、上位机边缘计算模块等结构。该系统和方法解决了铁水罐在运输铁水过程中是高温环境,无法使用RFID等识别设备,且传统数字图像处理技术不能很好适应各种复杂环境等问题,通过对铁水罐表面印刷的数字字符图像进行分析和特征提取,建立基于特征的识别模型,实现对铁水罐罐号实时在线识别,从而实现对铁水罐物流信息自动跟踪,提高生产效率和节约人力成本。
Description
技术领域
本发明属于冶金自动化技术领域,具体涉及一种铁水罐罐号的图像智能识别系统及方法,特别适用于钢铁企业实现低成本的铁水罐铁水物料跟踪、铁水罐设备管理等任务,或因高温不能直接使用电子设备进行ID识别的环境。
背景技术
钢铁工业是支撑国民经济发展的重要原材料产业,我国是世界上最大的钢铁生产国,没有钢铁工业就没有中国的现代化工业,钢铁工业发展的水平是一个国家综合国力强弱的重要标志。在钢铁的生产过程中,铁水罐是钢铁冶金重要的物理运输工具,对铁水罐号自动识别是企业生产自动化,管理信息化的基础。
铁水罐号识别系统是由智能交通系统衍变而来,他们都是计算机视觉技术在各个行业的具体应用。计算机视觉就是用各种成像系统替代视觉器官作为输入信息。有计算机来替代大脑完成处理和解释。计算机视觉的最终目标是研究计算机能像人一样来感知和理解世界,具有自主的环境适应能力。在国内外很多钢铁企业已经利用传统数字图像处理技术来识别铁水罐号,取得了一定的成果,但基于传统的数字图像技术需要人工设计大量特征,在复杂的钢铁生产环境中,很多人工特征会被掩盖和遮挡,造成识别率低下,不能很好的适应各种复杂冶炼环境。因此如何克服现有技术的不足是目前冶金自动化技术领域亟需解决的问题。
发明内容
针对铁水罐在运输铁水过程中是高温环境,无法使用RFID等识别设备,且传统数字图像处理技术不能很好适应各种复杂环境等问题,本发明提供一种铁水罐罐号的图像智能识别系统及方法,该方法将动静态图像特征和深度学习技术相结合,实现对铁水罐物流信息自动跟踪,提高生产效率和节约人力成本。
为实现上述目的,本发明采用的技术方案如下:
一种铁水罐罐号的图像智能识别系统,包括图像采集模块、运动检测模块、对象检测模块、彩色铁水罐图像动静态特征表示与描述模块、基于卷积神经网络的数字字符分类模块和上位机边缘计算模块;
图像采集模块、运动检测模块、对象检测模块、彩色铁水罐图像动静态特征表示与描述模块、基于卷积神经网络的数字字符分类模块和上位机边缘计算模块依次顺序连接;
运动检测模块、对象检测模块还分别与上位机边缘计算模块连接;
所述的图像采集模块用于采集铁水罐图像,并将采集到的铁水罐图像传输至运动检测模块;
所述的运动检测模块用于检测采集到的铁水罐图像中是否有运动物体出现;
当检测有运动物体出现,所述的对象检测模块检测运动物体是否是铁水罐;
当检测运动物体为铁水罐,彩色铁水罐图像动静态特征表示与描述模块计算铁水罐的图像特征;
基于卷积神经网络的数字字符分类模块用于将彩色铁水罐图像动静态特征表示与描述模块得到的图像特征转换为字符数值;
上位机边缘计算模块用于根据基于卷积神经网络的数字字符分类模块传来的字符数值、运动检测模块的检测结果和对象检测模块的检测结果进行边缘计算,得到识别结果,并将识别结果传输至后台。
进一步,优选的是,所述的图像采集模块包括摄像头,所述的摄像头安装在火车运输铁水罐经过的计量位置处。
进一步,优选的是,所述的摄像头为彩色CCD摄像头;摄像头主光轴与铁轨垂直,高度与铁水罐的中心位置一致。
进一步,优选的是,所述的运动检测模块利用高斯混合背景模型检测图像中是否有运动物体出现。
进一步,优选的是,所述的对象检测模块利用深度学习对象检测方法检测运动物体是否是铁水罐。
进一步,优选的是,所述的图像特征为亮度特征、色度特征、纹理特征和光流场运动特征。
进一步,优选的是,基于卷积神经网络的数字字符分类模块利用卷积神经网络建立图像特征与数字字符值的关系模型,隐含层为高斯函数,输出层为稀疏交叉熵映射。
本发明同时提供一种铁水罐罐号的图像智能识别方法,采用上述铁水罐罐号的图像智能识别系统,包括如下步骤:
图像采集模块连续采集铁水罐图像并传送至运动检测模块,运动检测模块利用高斯混合背景模型检测图像中是否有运动物体出现;
当检测有运动物体出现,运动检测模块将图像传输至对象检测模块,对象检测模块利用深度学习对象检测方法检测运动物体是否是铁水罐;
当检测运动物体为铁水罐,对象检测模块将图像传输至彩色铁水罐图像动静态特征表示与描述模块,彩色铁水罐图像动静态特征表示与描述模块计算铁水罐的图像特征;
之后,基于卷积神经网络的数字字符分类模块将彩色铁水罐图像动静态特征表示与描述模块得到的图像特征转换为字符数值;上位机边缘计算模块根据基于卷积神经网络的数字字符分类模块传来的字符数值、运动检测模块的检测结果和对象检测模块的检测结果进行边缘计算,得到识别结果,并将识别结果传输至后台。
本发明所采用的原理如下:
(1)图像采集模块
将CCD彩色摄像机安装在火车运输铁水罐过计量称的地方,摄像头主光轴与铁轨垂直,高度与铁水罐的中心位置一致,固定摄像头的位置、焦距等参数。固定摄像头的目的是为了保证摄取的彩色图像在帧间具有特征可比性和对动态特征描述的准确性。图像大小设定为与人眼感知能力相当,图像过小影响特征提取的效果,图像过大影响算法处理速度。
(2)运动检测模块
混合高斯背景建模是基于像素样本统计信息的背景表示方法,利用像素在较长时间内大量样本值的概率密度等统计信息(如模式数量、每个模式的均值和标准差)表示背景,然后使用统计差分(如3σ原则)进行目标像素判断,可以对复杂动态背景进行建模。在混合高斯背景模型中,认为像素之间的颜色信息互不相关,对各像素点的处理都是相互独立的。对于视频图像中的每一个像素点,其值在序列图像中的变化可看作是不断产生像素值的随机过程,即用高斯分布来描述每个像素点的颜色呈现规律。对于多峰高斯分布模型,图像的每一个像素点按不同权值的多个高斯分布的叠加来建模,每种高斯分布对应一个可能产生像素点所呈现颜色的状态,各个高斯分布的权值和分布参数随时间更新。当处理彩色图像时,假定图像像素点R、G、B三色通道相互独立并具有相同的方差。对于随机变量X的观测数据集{x1,x2,…,xN},xt=(rt,gt,bt)为t时刻像素的样本,则单个采样点xt其服从的混合高斯分布概率密度函数。
其中k为分布模式总数,η(xt,μi,t,τi,t)为t时刻第i个高斯分布,μi,t为其均值,τi,t为其协方差矩阵,δi,t为方差,I为三维单位矩阵,ωi,t为t时刻第i个高斯分布的权重。
(3)对象检测模块
对象检测使用深度学习技术Faster RCNN网络模型来进行对象检测,检测出来的对象使用外接矩形来表示,外接矩形左上角给出了对象的名称和可信度。一般大于60%我们既任务是该对象。具体任务分一下4步:
Conv layers。作为一种CNN网络目标检测方法,Faster RCNN首先使用一组基础的conv+relu+pooling层提取image的feature maps。该feature maps被共享用于后续RPN层和全连接层。
Region Proposal Networks。RPN网络用于生成region proposals。该层通过softmax判断anchors属于foreground或者background,再利用bounding box regression修正anchors获得精确的proposals。
Roi Pooling。该层收集输入的feature maps和proposals,综合这些信息后提取proposal feature maps,送入后续全连接层判定目标类别。
Classification。利用proposal feature maps计算proposal的类别,同时再次bounding box regression获得检测框最终的精确位置。
(4)彩色铁水罐图像动静态特征表示与描述模块
铁水罐图像特征包含亮度特征、色度特征、纹理特征以及光流场运动特征。提取铁水罐图像内的RGB空间颜色三阶矩色彩信息,计算灰度差分统计特征表示纹理特征,以及计算光流场复杂度反映光流场运动特征;
①亮度特征
设I(i,j)为分割后的字符区域像素,则亮度特征B=(∑I(i,j))/(Count);其中B为亮度特征,Count为区域像素个数。
②色度特征
③纹理特征
利用灰度差分统计方法描述静态纹理复杂度,设(x,y)为图像中的一点,与点(x+Δx,y+Δy)之间的灰度差值为gΔ(x,y)=g(x,y)-g(x+Δx,y+Δy),设灰度差分的所有可能取值为m级,令点(x,y)在所给字符图像区域内移动,累计gΔ(x,y)取不同值的次数,可以作出gΔ(x,y)的直方图,由直方图可知,gΔ(x,y)取值的概率为pΔ(i)。该系统采用提取角度方向二阶矩ASM反映图像灰度分布的均匀程度,如果相近的像素灰度值差异较大,则ASM值越大,说明纹理越粗糙。
④光流场运动特征
首先需要建立字符动态变化的描述模型,采用光流场建立闪烁过程,按照光流计算的基本假设为微小运动和亮度恒定,得到I(x,y,t)=I(x+dx,y+dy,t+dt),在相邻帧之间将像素亮度恒定的点在限定区域内连线,构造出帧间光流图F。对F进行特征表示和描述可反映运动过程识别等信息。
(5)基于卷积神经网络的数字字符分类模块
卷积神经网络与普通神经网络的区别在于,卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中,一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中,通常包含若干个特征平面,每个特征平面由一些矩形排列的的神经元组成,同一特征平面的神经元共享权值,这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化,在网络的训练过程中卷积核将学习得到合理的权值。共享权值(卷积核)带来的直接好处是减少网络各层之间的连接,同时又降低了过拟合的风险。子采样也叫做池化(pooling),通常有均值子采样(mean pooling)和最大值子采样(maxpooling)两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度,减少了模型的参数。
通过大量实验结果比对,本发明设计了6个卷积层,每个卷积层后面使用Relu激活函数进行非线性转换,增加了网络的特征表达能力。特征数据在进入卷积层前先进了BatchNormal归一化处理,这样能加快网络收敛速度。在网络的第三层和第五层之后使用MaxPool池化层。最后两层采用了全连接层,第一个全连接层后面使用Dropout方法进行处理,避免训练的时候出现过拟合。在训练期间,使用稀疏交叉熵作为损失函数,采用自适应梯度下降算法反向训练网络。
(6)上位机边缘计算模块
该部分是工控主机硬件部分,由CPU和GPU计算模块组成,包括内存、固态硬盘部件,工控主机达到IP6防护等级。Faster RCNN网络和CNN网络都将充分利用GPU的强大计算能力,提供实时的在线铁水罐号识别。
本发明与现有技术相比,其有益效果为:
本发明是一种融合了传统数字图像处理技术和最新的深度学习技术来识别铁水罐号的方法,该方法属于物料跟踪系统的关键部分,将炼铁厂和炼钢厂之间的铁水物料信息有机联机起来,打通生产数据上的信息孤岛,是钢铁企业实现自动化、信息化、智能化的基础方法。该方法在各种复杂环境下都能很好的工作,具有较高的鲁棒性,该方法的应用极大提升了钢铁企业的生产效率,同时节约了人力成本,直接产生明显的经济效益。同时,将生产数据有机结合起来,为以后工业大数据应用提供有效的基础数据。
附图说明
图1为本发明系统的结构示意图;其中,1、图像采集模块;2、运动检测模块;3、对象检测模块;4、彩色铁水罐图像动静态特征表示与描述模块;5、基于卷积神经网络的数字字符分类模块;6、上位机边缘计算模块。箭头方向为数据或信号走向。
具体实施方式
下面结合实施例对本发明作进一步的详细描述。
本领域技术人员将会理解,下列实施例仅用于说明本发明,而不应视为限定本发明的范围。实施例中未注明具体技术或条件者,按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者,均为可以通过购买获得的常规产品。
本技术领域技术人员可以理解的是,本发明中涉及到的相关模块及其实现的功能是在改进后的硬件及其构成的装置、器件或系统上搭载现有技术中常规的计算机软件程序或有关协议就可实现,并非是对现有技术中的计算机软件程序或有关协议进行改进。例如,改进后的计算机硬件系统依然可以通过装载现有的软件操作系统来实现该硬件系统的特定功能。因此,可以理解的是,本发明的创新之处在于对现有技术中硬件模块的改进及其连接组合关系,而非仅仅是对硬件模块中为实现有关功能而搭载的软件或协议的改进。
本技术领域技术人员可以理解的是,本发明中提到的相关模块是用于执行本申请中所述操作、方法、流程中的步骤、措施、方案中的一项或多项的硬件设备。所述硬件设备可以为所需的目的而专门设计和制造,或者也可以采用通用计算机中的已知设备或已知的其他硬件设备。所述通用计算机有存储在其内的程序选择性地激活或重构。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
实施例1
如图1所示,一种铁水罐罐号的图像智能识别系统,包括图像采集模块1、运动检测模块2、对象检测模块3、彩色铁水罐图像动静态特征表示与描述模块4、基于卷积神经网络的数字字符分类模块5和上位机边缘计算模块6;
图像采集模块1、运动检测模块2、对象检测模块3、彩色铁水罐图像动静态特征表示与描述模块4、基于卷积神经网络的数字字符分类模块5和上位机边缘计算模块6依次顺序连接;
运动检测模块2、对象检测模块3还分别与上位机边缘计算模块6连接;
所述的图像采集模块1用于采集铁水罐图像,并将采集到的铁水罐图像传输至运动检测模块2;
所述的运动检测模块2用于检测采集到的铁水罐图像中是否有运动物体出现;
当检测有运动物体出现,所述的对象检测模块3检测运动物体是否是铁水罐;
当检测运动物体为铁水罐,彩色铁水罐图像动静态特征表示与描述模块4计算铁水罐的图像特征;
基于卷积神经网络的数字字符分类模块5用于将彩色铁水罐图像动静态特征表示与描述模块4得到的图像特征转换为字符数值;
上位机边缘计算模块6用于根据基于卷积神经网络的数字字符分类模块5传来的字符数值、运动检测模块2的检测结果和对象检测模块3的检测结果进行边缘计算,得到识别结果,并将识别结果传输至后台。
一种铁水罐罐号的图像智能识别方法,采用上述铁水罐罐号的图像智能识别系统,包括如下步骤:
图像采集模块连续采集铁水罐图像并传送至运动检测模块,运动检测模块利用高斯混合背景模型检测图像中是否有运动物体出现;
当检测有运动物体出现,运动检测模块将图像传输至对象检测模块,对象检测模块利用深度学习对象检测方法检测运动物体是否是铁水罐;
当检测运动物体为铁水罐,对象检测模块将图像传输至彩色铁水罐图像动静态特征表示与描述模块,彩色铁水罐图像动静态特征表示与描述模块计算铁水罐的图像特征;
之后,基于卷积神经网络的数字字符分类模块将彩色铁水罐图像动静态特征表示与描述模块得到的图像特征转换为字符数值;上位机边缘计算模块根据基于卷积神经网络的数字字符分类模块传来的字符数值、运动检测模块的检测结果和对象检测模块的检测结果进行边缘计算,得到识别结果,并将识别结果传输至后台。
实施例2
如图1所示,一种铁水罐罐号的图像智能识别系统,包括图像采集模块1、运动检测模块2、对象检测模块3、彩色铁水罐图像动静态特征表示与描述模块4、基于卷积神经网络的数字字符分类模块5和上位机边缘计算模块6;
图像采集模块1、运动检测模块2、对象检测模块3、彩色铁水罐图像动静态特征表示与描述模块4、基于卷积神经网络的数字字符分类模块5和上位机边缘计算模块6依次顺序连接;
运动检测模块2、对象检测模块3还分别与上位机边缘计算模块6连接;
所述的图像采集模块1用于采集铁水罐图像,并将采集到的铁水罐图像传输至运动检测模块2;
所述的运动检测模块2用于检测采集到的铁水罐图像中是否有运动物体出现;
当检测有运动物体出现,所述的对象检测模块3检测运动物体是否是铁水罐;
当检测运动物体为铁水罐,彩色铁水罐图像动静态特征表示与描述模块4计算铁水罐的图像特征;
基于卷积神经网络的数字字符分类模块5用于将彩色铁水罐图像动静态特征表示与描述模块4得到的图像特征转换为字符数值;
上位机边缘计算模块6用于根据基于卷积神经网络的数字字符分类模块5传来的字符数值、运动检测模块2的检测结果和对象检测模块3的检测结果进行边缘计算,得到识别结果,并将识别结果传输至后台。
所述的图像采集模块包括摄像头,所述的摄像头安装在火车运输铁水罐经过的计量位置处。
所述的摄像头为彩色CCD摄像头;摄像头主光轴与铁轨垂直,高度与铁水罐的中心位置一致。
所述的运动检测模块2利用高斯混合背景模型检测图像中是否有运动物体出现。
所述的对象检测模块3利用深度学习对象检测方法检测运动物体是否是铁水罐。
所述的图像特征为亮度特征、色度特征、纹理特征和光流场运动特征。
基于卷积神经网络的数字字符分类模块5利用卷积神经网络建立图像特征与数字字符值的关系模型,隐含层为高斯函数,输出层为稀疏交叉熵映射。
一种铁水罐罐号的图像智能识别方法,采用上述铁水罐罐号的图像智能识别系统,包括如下步骤:
图像采集模块连续采集铁水罐图像并传送至运动检测模块,运动检测模块利用高斯混合背景模型检测图像中是否有运动物体出现;
当检测有运动物体出现,运动检测模块将图像传输至对象检测模块,对象检测模块利用深度学习对象检测方法检测运动物体是否是铁水罐;当检测无运动物体出现,则把检测结果和图像发送至上位机边缘计算模块;上位机边缘计算模块通过边缘计算,将识别结果发送至后台;
当检测运动物体为铁水罐,对象检测模块将图像传输至彩色铁水罐图像动静态特征表示与描述模块,彩色铁水罐图像动静态特征表示与描述模块计算铁水罐的图像特征;当检测运动物体不为铁水罐,对象检测模块将检测结果和图像传输至上位机边缘计算模块;上位机边缘计算模块通过边缘计算,将识别结果发送至后台;
之后,基于卷积神经网络的数字字符分类模块将彩色铁水罐图像动静态特征表示与描述模块得到的图像特征转换为字符数值;上位机边缘计算模块根据基于卷积神经网络的数字字符分类模块传来的字符数值、运动检测模块的检测结果和对象检测模块的检测结果进行边缘计算,得到识别结果,并将识别结果传输至后台。识别结果包括未识别和已识别的铁水罐罐号,但不限于此。边缘计算模块还可将铁水罐视频传输至后台,但不限于此。
彩色铁水罐图像动静态特征表示与描述模块首先根据颜色一致性测量保留与数字字符近似的像素实现分割;再分别进行四类图像特征的提取,分别为亮度特征、色度特征、纹理特征、以及光流场动态纹理特征。卷积神经网络的数字字符分类模块实现最终识别,从而达到在线实时铁水罐号数字字符识别。
本发明在图像建模部分,首先采集不少于1000罐次图像视频信号作为训练集,并将其中的每一幅图像进行数值标注,训练图像对模型进行训练调整卷积神经网络的Spread参数。
本发明运动检测模块可利用600帧图像数据建立高斯混合背景模型,用当前最新图像减去背景模型,得到运动区域,在通过区域面积大小初步过滤掉干扰运动物。
对象检测模块利用深度学习对象检测方法检测运动物体是否是铁水罐,该算法能同时检测图像中出现的所有铁水罐对象。
彩色铁水罐图像动静态特征表示与描述模块计算铁水罐的图像特征,包括亮度特征、色度特征、纹理特征以及光流场运动特征。其中亮度特征为暗的铁水罐灰度值和亮的数字字符灰度值;色度特征为RGB空间颜色三阶矩;纹理特征为灰度差分统计量;光流场运动特征为铁水罐光流场纹理特征。
边缘计算模块负责图像的预处理,边缘计算整体框架,将识别结果传输给其它系统,不限于此。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种铁水罐罐号的图像智能识别系统,其特征在于,包括图像采集模块(1)、运动检测模块(2)、对象检测模块(3)、彩色铁水罐图像动静态特征表示与描述模块(4)、基于卷积神经网络的数字字符分类模块(5)和上位机边缘计算模块(6);
图像采集模块(1)、运动检测模块(2)、对象检测模块(3)、彩色铁水罐图像动静态特征表示与描述模块(4)、基于卷积神经网络的数字字符分类模块(5)和上位机边缘计算模块(6)依次顺序连接;
运动检测模块(2)、对象检测模块(3)还分别与上位机边缘计算模块(6)连接;
所述的图像采集模块(1)用于采集铁水罐图像,并将采集到的铁水罐图像传输至运动检测模块(2);
所述的运动检测模块(2)用于检测采集到的铁水罐图像中是否有运动物体出现;
当检测有运动物体出现,所述的对象检测模块(3)检测运动物体是否是铁水罐;
当检测运动物体为铁水罐,彩色铁水罐图像动静态特征表示与描述模块(4)计算铁水罐的图像特征;
基于卷积神经网络的数字字符分类模块(5)用于将彩色铁水罐图像动静态特征表示与描述模块(4)得到的图像特征转换为字符数值;
上位机边缘计算模块(6)用于根据基于卷积神经网络的数字字符分类模块(5)传来的字符数值、运动检测模块(2)的检测结果和对象检测模块(3)的检测结果进行边缘计算,得到识别结果,并将识别结果传输至后台。
2.根据权利要求1所述的铁水罐罐号的图像智能识别系统,其特征在于,所述的图像采集模块包括摄像头,所述的摄像头安装在火车运输铁水罐经过的计量位置处。
3.根据权利要求2所述的铁水罐罐号的图像智能识别系统,其特征在于,所述的摄像头为彩色CCD摄像头;摄像头主光轴与铁轨垂直,高度与铁水罐的中心位置一致。
4.根据权利要求1所述的铁水罐罐号的图像智能识别系统,其特征在于,所述的运动检测模块(2)利用高斯混合背景模型检测图像中是否有运动物体出现。
5.根据权利要求1所述的铁水罐罐号的图像智能识别系统,其特征在于,所述的对象检测模块(3)利用深度学习对象检测方法检测运动物体是否是铁水罐。
6.根据权利要求1所述的铁水罐罐号的图像智能识别系统,其特征在于,所述的图像特征为亮度特征、色度特征、纹理特征和光流场运动特征。
7.根据权利要求1所述的铁水罐罐号的图像智能识别系统,其特征在于,基于卷积神经网络的数字字符分类模块(5)利用卷积神经网络建立图像特征与数字字符值的关系模型,隐含层为高斯函数,输出层为稀疏交叉熵映射。
8.一种铁水罐罐号的图像智能识别方法,采用权利要求1-7任意一项所述的铁水罐罐号的图像智能识别系统,其特征在于,包括如下步骤:
图像采集模块连续采集铁水罐图像并传送至运动检测模块,运动检测模块利用高斯混合背景模型检测图像中是否有运动物体出现;
当检测有运动物体出现,运动检测模块将图像传输至对象检测模块,对象检测模块利用深度学习对象检测方法检测运动物体是否是铁水罐;
当检测运动物体为铁水罐,对象检测模块将图像传输至彩色铁水罐图像动静态特征表示与描述模块,彩色铁水罐图像动静态特征表示与描述模块计算铁水罐的图像特征;
之后,基于卷积神经网络的数字字符分类模块将彩色铁水罐图像动静态特征表示与描述模块得到的图像特征转换为字符数值;上位机边缘计算模块根据基于卷积神经网络的数字字符分类模块传来的字符数值、运动检测模块的检测结果和对象检测模块的检测结果进行边缘计算,得到识别结果,并将识别结果传输至后台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811297283.5A CN109598200B (zh) | 2018-11-01 | 2018-11-01 | 一种铁水罐罐号的图像智能识别系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811297283.5A CN109598200B (zh) | 2018-11-01 | 2018-11-01 | 一种铁水罐罐号的图像智能识别系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109598200A CN109598200A (zh) | 2019-04-09 |
CN109598200B true CN109598200B (zh) | 2023-03-03 |
Family
ID=65957153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811297283.5A Active CN109598200B (zh) | 2018-11-01 | 2018-11-01 | 一种铁水罐罐号的图像智能识别系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109598200B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222629A (zh) * | 2019-06-03 | 2019-09-10 | 中冶赛迪重庆信息技术有限公司 | 一种钢铁场景下的包号识别方法以及包号识别系统 |
CN111476244A (zh) * | 2020-05-29 | 2020-07-31 | 宝钢湛江钢铁有限公司 | 一种智能识别转炉用废钢料槽号码的系统及其方法 |
CN114139565A (zh) * | 2021-12-08 | 2022-03-04 | 湖北恒子工程技术有限公司 | 一种新型高温罐号识别系统 |
CN114227892A (zh) * | 2022-03-01 | 2022-03-25 | 深圳艾灵网络有限公司 | 混凝土浇筑系统、控制方法、装置、及控制设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105956618A (zh) * | 2016-04-27 | 2016-09-21 | 云南昆钢集团电子信息工程有限公司 | 基于图像动静态特征的转炉炼钢吹炼状态识别系统及方法 |
WO2017088604A1 (zh) * | 2015-11-24 | 2017-06-01 | 江苏海鹏特种车辆有限公司 | 铁水罐搬运车前车架升降转向装置 |
CN207690095U (zh) * | 2017-11-26 | 2018-08-03 | 湖南睿图智能科技有限公司 | 一种视觉检测识别装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130170711A1 (en) * | 2012-01-04 | 2013-07-04 | Cyclops Technologies, Inc. | Edge detection image capture and recognition system |
-
2018
- 2018-11-01 CN CN201811297283.5A patent/CN109598200B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017088604A1 (zh) * | 2015-11-24 | 2017-06-01 | 江苏海鹏特种车辆有限公司 | 铁水罐搬运车前车架升降转向装置 |
CN105956618A (zh) * | 2016-04-27 | 2016-09-21 | 云南昆钢集团电子信息工程有限公司 | 基于图像动静态特征的转炉炼钢吹炼状态识别系统及方法 |
CN207690095U (zh) * | 2017-11-26 | 2018-08-03 | 湖南睿图智能科技有限公司 | 一种视觉检测识别装置 |
Non-Patent Citations (4)
Title |
---|
Feasibility research of hot metal bottles" increasing dimension in Xuansteel;Wang feng 等;《Chinese Journal of Engineering》;20071231;第163-169页 * |
一种离线手持终端卸货管理系统的设计与应用;巫乔顺 等;《工业计量》;20171231;第27卷(第5期);第63-66页 * |
铁水罐号自动识别系统的研究;王燕;《中国优秀博硕士学位论文全文数据库 (硕士)工程科技Ⅰ辑(月刊)》;20051115(第07期);第B023-6页 * |
铁水罐号识别系统的研究与应用;白涵宇等;《工业计量》;20170526;第27卷(第03期);第91-92页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109598200A (zh) | 2019-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109598200B (zh) | 一种铁水罐罐号的图像智能识别系统及方法 | |
CN105956618B (zh) | 基于图像动静态特征的转炉炼钢吹炼状态识别系统及方法 | |
CN105825511B (zh) | 一种基于深度学习的图片背景清晰度检测方法 | |
CN110245663B (zh) | 一种用于钢卷信息识别的方法 | |
CN109657581B (zh) | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 | |
CN106886216B (zh) | 基于rgbd人脸检测的机器人自动跟踪方法和系统 | |
CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
CN105260715B (zh) | 面向偏僻地段的小动物目标检测方法 | |
Fu et al. | Recognition of surface defects on steel sheet using transfer learning | |
CN111127360B (zh) | 一种基于自动编码器的灰度图像迁移学习方法 | |
CN109409289A (zh) | 一种电力作业安全监督机器人安全作业识别方法及系统 | |
CN117253024B (zh) | 一种基于机器视觉的工业盐质检管控方法及系统 | |
CN105513053A (zh) | 一种用于视频分析中背景建模方法 | |
CN108073940B (zh) | 一种非结构化环境中的3d目标实例物体检测的方法 | |
CN110910363A (zh) | 基于机器视觉和深度学习的虚焊检测方法、系统及介质 | |
CN107871315B (zh) | 一种视频图像运动检测方法和装置 | |
CN117557784B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
Li et al. | Fast recognition of pig faces based on improved Yolov3 | |
CN114387262A (zh) | 一种基于机器视觉的螺母定位检测方法、装置及系统 | |
CN114170686A (zh) | 一种基于人体关键点的屈肘行为检测方法 | |
CN114155226A (zh) | 一种微小缺陷边缘计算方法 | |
Zhang et al. | Fabric defect detection based on visual saliency map and SVM | |
CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
CN109815887B (zh) | 一种基于多智能体协作的复杂光照下人脸图像的分类方法 | |
CN110796008A (zh) | 一种基于视频图像的早期火灾检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |