CN116092086A - 一种机床数据面板字符提取识别方法、系统、装置和终端 - Google Patents

一种机床数据面板字符提取识别方法、系统、装置和终端 Download PDF

Info

Publication number
CN116092086A
CN116092086A CN202310042215.9A CN202310042215A CN116092086A CN 116092086 A CN116092086 A CN 116092086A CN 202310042215 A CN202310042215 A CN 202310042215A CN 116092086 A CN116092086 A CN 116092086A
Authority
CN
China
Prior art keywords
image
character
recognition
noise
machine tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310042215.9A
Other languages
English (en)
Inventor
孙长江
付傲然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Platform For Smart Manufacturing Co Ltd
Original Assignee
Shanghai Platform For Smart Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Platform For Smart Manufacturing Co Ltd filed Critical Shanghai Platform For Smart Manufacturing Co Ltd
Priority to CN202310042215.9A priority Critical patent/CN116092086A/zh
Publication of CN116092086A publication Critical patent/CN116092086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/15—Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Character Input (AREA)

Abstract

本发明提供一种机床数据面板字符提取识别方法，包括：获取待识别图形；对所述待识别图像进行投影变换和畸变矫正；对所述矫正后的待识别图像进行区域分割，得到字符区域图像；去除所述字符区域图像的噪声；将去除噪声的字符区域图像进行增强，并提取出字符图像；将所述字符图像输入预训练的字符识别模型中，进行识别。本发明针对工业现场光照变换阻碍信息提取的问题，设计了针对性的降噪方法，实现了全时段的信息收集；使用相机单目视觉标定原理校正图像，提出一种不依赖光照条件的机床图像正规化方法对图像进行归一化处理，确定识别范围。

Description

一种机床数据面板字符提取识别方法、系统、装置和终端
技术领域
本发明涉及光学字符领域，具体地，涉及一种机床数据面板字符提取识别方法、系统、装置和终端。
背景技术
随着工业4.0与智能制造的发展，部分工厂对数字化改造的需求越来越大。对于非总线式的数控机床，无法通过总线通信的方式获取机床运行状态数据，同时机床运行的工作信息全部在面板上显示，因此可以通过机器视觉方法实现对机床主轴的工作状态、程序运行时间、刀具进给速率等信息的采集，以实现透明工厂的构建。
光学字符识别(OCR,Optical Character Recognition)是利用光学技术和计算机技术对图像中的字符和文字进行扫描识别的方法。在该领域，机器学习长期应用于模糊字符识别和语义整合，大大提高了字符识别的准确率。其中，在车牌识别、状态监测、缺陷检测等应用领域，由于其场景简单、识别目标对比度强、噪声低、待识别字符较少，大大降低了字符识别的难度。
相比于传统字符识别场景，在机床的实际运行环境中进行字符提取和识别的难点在于，由于光照条件复杂且不稳定、面板区域小、机床运行时的振动干扰等情况，采用工业相机拍摄得到的机床面板图像存在亮度和对比度不均匀的情况，同时由于不能干扰工人的面板操作，工业相机采用斜上方架设的方式对机床面板进行倾斜拍摄，因此图像存在较大畸变，从而增大了图像中字符区域提取和字符提取与识别的难度。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种机床数据面板字符提取识别方法、系统、装置和终端。
根据本发明的一个方面，提供一种机床数据面板字符提取识别方法，包括：
获取待识别图形；
对所述待识别图像进行投影变换和畸变矫正；
对所述矫正后的待识别图像进行区域分割，得到字符区域图像；
去除所述字符区域图像的噪声；
将去除噪声的字符区域图像进行增强，并提取出字符图像；
将所述字符图像输入预训练的字符识别模型中，进行识别。
优选地，所述对待识别图像进行投影变换和畸变校正，其中，通过畸变系数进行所述畸变校正，通过投影变换矩阵进行所述投影变换；
所述畸变系数的获取，包括：
标准棋盘格标定板放置字符待识别的机床面板处；
设三维世界坐标的点为X＝[X Y Z 1]T，二维相机平面像素坐标为m＝[u v 1]T，所述标准棋盘格标定板到二维相机平面的单应性关系为：s0m＝K[R,T]X，其中s为尺度因子，K为相机参数矩阵，R为旋转矩阵,T为平移向量；
令相机内参矩阵为
Figure BDA0004050849310000021
其中，[u0,v0]表示相机主点在图像中的像素坐标α、β是图像u、v轴方向的缩放因子，γ是径向畸变参数；
将三维世界坐标建立在标准棋盘格标定板上，令标标准棋盘格标定板为Z＝0的平面，则得
Figure BDA0004050849310000022
将K[r1 r2 t]称为单应性矩阵H，即
Figure BDA0004050849310000023
选取标准棋盘格标定板上多个标定点中心,根据其世界坐标和二维相机平面像素坐标，建立多个单应性矩阵联立方求解获得相机内参矩阵K；
基于内参矩阵K得到径向畸变参数γ；
所述变换矩阵的获取，包括：
基于所述相机内参矩阵K，相机对应的外参为：
Figure BDA0004050849310000024
Figure BDA0004050849310000031
Figure BDA0004050849310000032
r3＝r1×r2
t＝λK-1h3
投影变换矩阵的变换公式为：
Figure BDA0004050849310000033
投影变换前的源目标点为[x y 1]T
投影变换后的移动的目标点为[X' Y' Z']T
投影变换后图像在二维平面上，则投影变换后图像上点(X',Y',Z')为
Figure BDA0004050849310000034
优选地，对所述矫正后的待识别图像进行区域分割，得到字符区域图像；包括：
根据需要识别的字符的区域在图像中的位置划分矩形框作为字符区域图像；
将所述字符区域图像的左上顶点和右下顶点记录在字符区域标定文件中，每个所述字符区域图像的位置距离格式为[x1,y1,x2,y2],其中(x1,y1)为矩形框左上顶点的像素坐标，(x2,y2)为矩形框右下顶点的像素坐标。
优选地，所述去除所述字符区域图像的噪声，包括去除图像随机噪声和去除字符边界噪声；
所述去除图像随机噪声，包括：采用高斯滤波的方式去除字符区域图像的随机噪声，将像素点和邻域像素看作高斯分布的关系，针对图像平面上某点(x,y)，进行变形：
Figure BDA0004050849310000035
其中σ为高斯函数参数，(μx,μy)为模板中心坐标；
所述去除字符边界噪声，包括：
选取3×3的卷积核对去除图像随机噪声的图像进行降噪；
进行中值滤波，将字符边界与背景边界划分，得到去除噪声后的字符区域图像。
优选地，所述将去除噪声的字符区域图像进行增强，并提取出字符图像，包括：
对于去除噪声后的字符图像，采用阈值映射的方法，将图像灰度分段映射，提高灰度值的离散度，进行图像增强，其中：设输入图像的灰度为f(x,y)，输出图像的灰度为g(x,y)，则g(x,y)＝T[f(x,y)]，T是对f在(x,y)点灰度的映射函数；
得到增强的图像后，采用自适应阈值分割方法进行区域划分，设置灰度阈值，根据字符与背景图像的灰度梯度，将字符区域图像分割为包括字符区域的前景和图像，得到字符掩膜和字符图像。
优选地，所述识别模型预训练，包括建立字符模型训练数据集和训练识别模型；
所述建立字符模型训练数据集，包括：
将所述字符图像分割为单个字符的图像并保存；
对所述单个字符的图像对应的真实字符进行标注，构建用于字符模型训练数据集；
所述训练识别模型,包括：
将所述字符模型训练数据集输入到字符识别网络模型中训练优化；
设置网络结构层数和迭代次数进行模型训练；
当模型置信度结果达到工业检测需求后终止模型训练。
优选地，所述字符识别网络模型为单输入多输出模型，其采用MLP网络结构，其输入层用向量X表示，其隐藏层输出为f(W1x+b1)，W1是权重，b1是偏置函数的模型公式为：
f(x)＝G(b(2)+W(2)(s(b(1)+W(1)x))。
根据本发明的第二个方面，提供一种机床数据面板字符提取识别系统，包括：
投影矫正模块，所述投影矫正模块对待识别图像进行投影变换和畸变矫正；
区域分割模块，所述区域分割模块对所述矫正后的待识别图像进行区域分割，得到字符区域图像；
去除噪声模块，所述去除噪声模块去除所述字符区域图像的噪声；
增强提取模块，所述增强提取模块将去除噪声的字符区域图像进行增强，并提取出字符图像；
字符识别模块，所述字符识别模块将所述字符图像输入预训练的字符识别模型中，进行识别。
根据本发明的第三个方面，提供一种机床数据面板字符提取识别装置，包括：
若干台工业相机，所述若干台工业相机对应采集若干台数控机床的图像；
通讯服务总线，所述若干台工业相机采集的图像通过所述通讯服务总线传输；
图像处理和字符识别服务器，所述图像处理和字符识别服务器接收所述通讯服务总线输送的图像，并采用任一项所述的一种机床数据面板字符提取识别方法进行图像识别。
根据本发明的第四个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行任一项所述的方法，或，运行所述的系统。
与现有技术相比，本发明具有如下的有益效果：
本发明实施例的一种机床数据面板字符提取识别方法，针对工业现场光照变换阻碍信息提取的问题，设计了针对性的降噪方法，实现了全时段的信息收集；
本发明实施例的一种机床数据面板字符提取识别方法，使用相机单目视觉标定原理校正图像，提出一种不依赖光照条件的机床图像正规化方法对图像进行归一化处理，确定识别范围；
本发明实施例的一种机床数据面板字符提取识别系统和装置，实现了多类型工业机床在复杂工业生产现场的字符提取和识别的稳定性和可靠性，当机床操作系统和数据面板改变时，通过对标定参数的少量改动就可以满足不同数控系统机床的数据面板字符提取和识别，有利于扩大该发明使用范围。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例的一种机床数据面板字符提取识别方法的流程图；
图2为本发明实施例的一种机床数据面板字符提取识别装置的示意图；
图3为本发明实施例的一种机床数据面板字符提取识别装置中应用流程图；
图4为本发明实施例的不同光照下的字符提取效果图；
图5为本发明实施例的待识别图像矫正示例图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明提供一个实施例，一种机床数据面板字符提取识别方法，包括：
S1，获取待识别图形；
S2，对S1中获取的待识别图像进行投影变换和畸变矫正；
S3，对S2中矫正后的待识别图像进行区域分割，得到字符区域图像；
S4，去除S3中字符区域图像的噪声；
S5，将S4中获得的去除噪声的字符区域图像进行增强，并提取出字符图像；
S6，将S5获得的字符图像输入预训练的字符识别模型中，进行识别。
在本发明的一个实施例中实行S2。在本实施例中，待识别图像的投影变换和畸变矫正的预标定包括如下步骤a和步骤b。
步骤a，相机内参矩阵与畸变系数标定；
首先，识别固定在机床面板上方的标准棋盘格标定板，对标定板上的标定点X＝[XYZ1]T，对应的二维相机平面像素坐标m＝[uv1]T，可以得到标定板平面到图像平面的单应性关系为s0m＝K[R,T]X，其中s为尺度因子，K为相机参数矩阵，R为旋转矩阵,T为平移向量。令
Figure BDA0004050849310000061
将世界坐标系建立在标定板平面上，令标定板平面为Z＝0的平面，则可得
Figure BDA0004050849310000062
将Kr1r2t称为单应性矩阵H，即
Figure BDA0004050849310000063
H＝h1h2h3＝λK[r1r2t]，H即为单应性矩阵，选取标定板上多个标定点中心根据其世界坐标和像素坐标，建立多个单应性矩阵联立方求解获得相机内参矩阵K。
而对应的外参如下所示：
Figure BDA0004050849310000064
Figure BDA0004050849310000065
Figure BDA0004050849310000066
r3＝r1×r2
t＝λK-1h3
由此即可得到相机的内参矩阵、外参和畸变系数。
步骤b,投影变换矩阵标定(计算投影变换矩阵需要先获得外参矩阵，根据内参矩阵和标定得到的外参矩阵可以计算得到最终得投影变换矩阵)；
投影变换是将成像投影到一个新的视平面，也称作投影映射。投影变换矩阵的变换公式为：
Figure BDA0004050849310000071
源目标点为xy1T，移动的目标点为X'Y'Z'T，由于变换后图像在二维平面上，则变换后图像上点(X',Y',Z')为
Figure BDA0004050849310000072
在本发明的另一个优选实施例中，将上述S2中投影变换和畸变矫正的待识别图像，对其实行S3区域分割。具体的，对矫正后的待识别图像，根据需要识别的字符的区域在图像中的位置划分矩形框区域进行框选，将矩形框的左上顶点和右下顶点记录在字符区域标定文件(LOC文件)中每个矩形框的位置距离格式如[x1,y1,x2,y2],(x1,y1)为矩形框左上顶点的像素坐标，(x2,y2)为矩形框右下顶点的像素坐标。该矩形框为字符区域图像。
在本发明的另一个优选实施例中，对上述S3中得到的字符区域图像，实行S4的去噪处理。该过程分两步进行，第一步去除整幅图像随机分布的反光噪声、点状噪声及条纹噪声，第二步针对字符边界噪声进行针对性操作。
第一步，反光类型噪声使区域内灰度增大，与周围产生明显边界；单个点噪声相对字符大小不可忽略，在字体间分布会增大字符提取的难度；带状噪声则在图中生成明显条带，干扰识别结果。
高斯滤波能抑制图像输入时的随机噪声。高斯滤波将像素点与邻域像素看作高斯分布的关系，针对图像平面上某点μx,μy，变形为公式：
Figure BDA0004050849310000073
其中σ为高斯函数参数，μx,μy为模板中心坐标。
第二步，使用高斯滤波消除噪声时，字符与背景的边界被模糊化，选取3×3的卷积核进行降噪。处理后仍有少量斑点噪声，需进行中值滤波，将字符边界与背景边界划分，便于区域分割。
在本发明的另一个实施例中，上述S4去除噪声后的图像，实行S5增强处理，即增强文字和矩形框背景部分的灰度值区别。具体的，用阈值映射函数对图像边界进行提取，将图像灰度分段映射，提高灰度值的离散度，并据此进行字符提取。设输入图像的灰度为f(x,y)，输出图像的灰度为g(x,y)，则点运算可以表示为:gx,y＝T[f(x,y)]，其中T是对f在(x,y)点灰度的映射函数。此处，分段映射为将图像中的一个灰度区间中的灰度值根据映射函数变换到另一个区间。例如将灰度值[0.100]映射到[0,50]，再将灰度值[100,255]映射到[50,200],则图像中的两段灰度值采用了不同的映射函数
进一步的，根据待识别图像中文字灰度分布特点，为避免字符边缘点和字符背景干扰分割，设定灰度映射函数T[f(x,y)]＝1.2×f(x,y)+50。
对于增强后的字符区域，进行区域分割和字符提取。具体的，
首先根据字符区域标定文件的loc文件，对图像增强后的待识别图像进行字符区域分割，得到每个待识别字符串对应的矩形字符区域。之后，采用自适应阈值分割方法，将处理后的图像进行字符掩膜分割和字符提取。自适应阈值分割方法的像素变换公式如下所示，
Figure BDA0004050849310000081
综合强光照条件和弱光照条件下图像的灰度特点，选取T＝4为最佳值；
其中f是原始图像的灰度值，g是经过灰度映射后的图像灰度值，f(x,y)表示像素坐标(x,y)的像素点所对应的灰度值，g(x,y)表示像素坐标(x,y)的像素点经过灰度映射所对应的灰度值；
T是图像二值化所对应的阈值，对于原始图像和灰度映射后图像的每个像素点，当其灰度差值>T时将其在二值图像中对应像素点的值设为1，否则设为0.(在二值化图像中，1表示白色，0表示黑色)
经过变换，不同光照条件下的文字部分分割效果如图4所示，实现了字符划分，为下一步的字符识别提供了图像输入。
在本发明的另一个实施例中，将上述S5获得字符掩膜和字符图像输入S6中预训练好的字符识别模型，得到字符图像对应的字符结果。其中，字符识别模型的训练过程包括建立字符模型训练数据集和训练识别模型；其中
建立字符模型训练数据集，包括：将所述字符图像分割为单个字符的图像并保存；对所述单个字符的图像对应的真实字符进行标注，构建用于字符模型训练数据集；
所述训练识别模型,包括：将所述字符模型训练数据集输入到字符识别网络模型中训练优化；设置网络结构层数和迭代次数进行模型训练；当模型置信度结果达到工业检测需求后终止模型训练。
进一步的，所述字符识别网络模型为单输入多输出模型，其采用MLP网络结构，其输入层用向量X表示，其隐藏层输出为f(W1x+b1)，W1是权重，b1是偏置函数的模型公式为：f(x)＝G(b(2)+W(2)(s(b(1)+W(1)x))。
在较优实施例中，考虑到部分可能失败错误的字符结果，通过建立纠错字典对错误结果进行替换，如在数据面板的时间字符串中经常出现的冒号往往会被误识别为分号，通过纠错字典，将误识别为分号的字符结果替换为冒号。最终，识别结果输出与存储。将最终得到的字符图像识别结果发送至数据库存储。
基于相同的发明构思，根据本发明的第二个方面，提供一种机床数据面板字符提取识别系统，包括投影矫正模块、区域分割模块、去除噪声模块、增强提取模块和字符识别模块；投影矫正模块对待识别图像进行投影变换和畸变矫正；区域分割模块对矫正后的待识别图像进行区域分割，得到字符区域图像；去除噪声模块去除字符区域图像的噪声；增强提取模块将去除噪声的字符区域图像进行增强，并提取出字符图像；字符识别模块将字符图像输入预训练的字符识别模型中，进行识别。
基于相同的发明构思，本发明提供一种数控机床数据面板字符提取和识别装置，其结构示意图如图2所示，其采用多服务方式，相机拍摄端开启4个拍照服务使用4台工业相机同时对4台数控机床进行图像采集，使用工控机将采集到的图像通过通讯服务总线汇总发送至部署在高性能服务器上的图像处理和字符识别服务进行待识别图像的处理和字符识别。其中，通讯服务总线仅作为拍照服务和图像处理和字符识别服务间的消息转发服务，将从拍照服务端接收到的图像数据以数据包的形式发送至图像处理和字符识别服务端。
基于相同的发明构思，本发明提供一种数控机床数据面板字符提取和识别装置应用，其流程图如图3所示，包括：
S100，拍照服务启动后从工控机本地文件中加载程序配置文件，包括相机曝光时间、相机拍摄频率、拍摄图像尺寸等参数；
S200，拍照服务连接工业相机，进行相机初始化和参数配置；
S300，相机拍摄服务连接通讯服务总线，当总线连接失败时循环等待，直至连接成功进行下一步；
S400，拍照服务采用定时拍照的方式以固定时间间隔进行待识别数据面板的拍摄；
S500，相机成功拍摄到待识别数据面板的图像后，采用图像压缩方法对拍摄图像进行压缩，之后将压缩后的图像发送至通讯服务总线；
S600，对压缩图像进行图像处理和采用上述的方法进行字符识别服务；
S700，如需要继续执行图像识别则返回S400,否则，退出。
如图5所示，是本实施例中进行畸变校正的效果图(该图主要展示畸变校正效果，其内部文字并不需要清楚显示)；如图4所示，是本实施例生产现场采集到的在四种不同光照环境下的图像，验证了本发明在不同光照环境下可以有效识别字符。
基于相同的发明构思，本发明还提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行任一项所述的方法，或，运行所述的系统。
需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims (10)

1.一种机床数据面板字符提取识别方法，其特征在于，包括：
获取待识别图形；
对所述待识别图像进行投影变换和畸变矫正；
对所述矫正后的待识别图像进行区域分割，得到字符区域图像；
去除所述字符区域图像的噪声；
将去除噪声的字符区域图像进行增强，并提取出字符图像；
将所述字符图像输入预训练的字符识别模型中，进行识别。
2.根据权利要求1所述的一种机床数据面板字符提取识别方法，其特征在于，所述对待识别图像进行投影变换和畸变校正，其中，基于畸变系数进行所述畸变校正，通过投影变换矩阵进行所述投影变换；
所述畸变系数的获取，包括：
标准棋盘格标定板放置字符待识别的机床面板处；
设三维世界坐标的点为X＝[X Y Z 1]T，二维相机平面像素坐标为m＝[u v 1]T，所述标准棋盘格标定板到二维相机平面的单应性关系为：s0m＝K[R,T]X，其中s为尺度因子，K为相机参数矩阵，R为旋转矩阵,T为平移向量；
令相机内参矩阵为
Figure FDA0004050849300000011
其中，[u0,v0]表示相机主点在图像中的像素坐标α、β是图像u、v轴方向的缩放因子，γ是径向畸变参数；
将三维世界坐标建立在标准棋盘格标定板上，令标标准棋盘格标定板为Z＝0的平面，则得
Figure FDA0004050849300000012
将K[r1 r2 t]称为单应性矩阵H，即
Figure FDA0004050849300000013
H＝[h1 h2 h3]＝λK[r1 r2 t]
选取标准棋盘格标定板上多个标定点中心,根据其世界坐标和二维相机平面像素坐标，建立多个单应性矩阵联立方求解获得相机内参矩阵K；
基于内参矩阵K得到径向畸变参数γ；
所述投影变换矩阵的获取，包括：
基于所述相机内参矩阵K，相机对应的外参为：
Figure FDA0004050849300000021
Figure FDA0004050849300000022
Figure FDA0004050849300000023
r3＝r1×r2
t＝λK-1h3
基于所述内参矩阵为K和所述外参获得投影变换矩阵；
所述投影变换矩阵的变换公式为：
Figure FDA0004050849300000024
投影变换前的源目标点为[x y 1]T
投影变换后的移动的目标点为[X' Y' Z']T
投影变换后图像在二维平面上，则投影变换后图像上点(X',Y',Z')为
Figure FDA0004050849300000025
3.根据权利要求1所述的一种机床数据面板字符提取识别方法，其特征在于，对所述矫正后的待识别图像进行区域分割，得到字符区域图像，包括：
根据需要识别的字符的区域在图像中的位置划分矩形框作为字符区域图像；
将所述字符区域图像的左上顶点和右下顶点记录在字符区域标定文件中，每个所述字符区域图像的位置距离格式为[x1,y1,x2,y2],其中(x1,y1)为矩形框左上顶点的像素坐标，(x2,y2)为矩形框右下顶点的像素坐标。
4.根据权利要求1所述的一种机床数据面板字符提取识别方法，其特征在于，所述去除所述字符区域图像的噪声，包括去除图像随机噪声和去除字符边界噪声；其中，
所述去除图像随机噪声，包括：采用高斯滤波的方式去除字符区域图像的随机噪声，将像素点和邻域像素看作高斯分布的关系，针对图像平面上某点(x,y)，进行变形：
Figure FDA0004050849300000026
其中σ为高斯函数参数，(μx,μy)为模板中心坐标；
所述去除字符边界噪声，包括：
选取3×3的卷积核对去除图像随机噪声的图像进行降噪；
进行中值滤波，将字符边界与背景边界划分，得到去除噪声后的字符区域图像。
5.根据权利要求1所述的一种机床数据面板字符提取识别方法，其特征在于，所述将去除噪声的字符区域图像进行增强，并提取出字符图像，包括：
对于去除噪声后的字符图像，采用阈值映射的方法，将图像灰度分段映射，提高灰度值的离散度，进行图像增强，其中：设输入图像的灰度为f(x,y)，输出图像的灰度为g(x,y)，则g(x,y)＝T[f(x,y)]，T是对f在(x,y)点灰度的映射函数；
得到增强的图像后，采用自适应阈值分割方法进行区域划分，设置灰度阈值，根据字符与背景图像的灰度梯度，将字符区域图像分割为包括字符区域的前景和图像，得到字符掩膜和字符图像。
6.根据权利要求5所述的一种机床数据面板字符提取识别方法，其特征在于，所述识别模型预训练，包括建立字符模型训练数据集和训练识别模型；其中，
所述建立字符模型训练数据集，包括：
将所述字符图像分割为单个字符的图像并保存；
对所述单个字符的图像对应的真实字符进行标注，构建用于字符模型训练数据集；
所述训练识别模型,包括：
将所述字符模型训练数据集输入到字符识别网络模型中训练优化；
设置网络结构层数和迭代次数进行模型训练；
当模型置信度结果达到工业检测需求后终止模型训练。
7.根据权利要求6所述的一种机床数据面板字符提取识别方法，其特征在于，
所述字符识别网络模型为单输入多输出模型，其采用MLP网络结构，其输入层用向量X表示，其隐藏层输出为f(W1x+b1)，W1是权重，b1是偏置函数；所述字符识别网络模型模型公式为：
f(x)＝G(b(2)+W(2)(s(b(1)+W(1)x))。
8.一种机床数据面板字符提取识别系统，其特征在于，包括：
投影矫正模块，所述投影矫正模块对待识别图像进行投影变换和畸变矫正；
区域分割模块，所述区域分割模块对所述矫正后的待识别图像进行区域分割，得到字符区域图像；
去除噪声模块，所述去除噪声模块去除所述字符区域图像的噪声；
增强提取模块，所述增强提取模块将去除噪声的字符区域图像进行增强，并提取出字符图像；
字符识别模块，所述字符识别模块将所述字符图像输入预训练的字符识别模型中，进行识别。
9.一种机床数据面板字符提取识别装置，其特征在于，包括：
若干台工业相机，所述若干台工业相机对应采集若干台数控机床的图像；
通讯服务总线，所述若干台工业相机采集的图像通过所述通讯服务总线传输；
图像处理和字符识别服务器，所述图像处理和字符识别服务器接收所述通讯服务总线输送的图像，并采用权利要求1-7任一项所述的一种机床数据面板字符提取识别方法进行图像识别。
10.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。
CN202310042215.9A 2023-01-11 2023-01-11 一种机床数据面板字符提取识别方法、系统、装置和终端 Pending CN116092086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310042215.9A CN116092086A (zh) 2023-01-11 2023-01-11 一种机床数据面板字符提取识别方法、系统、装置和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310042215.9A CN116092086A (zh) 2023-01-11 2023-01-11 一种机床数据面板字符提取识别方法、系统、装置和终端

Publications (1)

Publication Number Publication Date
CN116092086A true CN116092086A (zh) 2023-05-09

Family

ID=86186558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310042215.9A Pending CN116092086A (zh) 2023-01-11 2023-01-11 一种机床数据面板字符提取识别方法、系统、装置和终端

Country Status (1)

Country Link
CN (1) CN116092086A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721094A (zh) * 2023-08-03 2023-09-08 济南邦德激光股份有限公司 一种复杂背景下的视觉图形识别方法、系统及激光切割机
CN117253233A (zh) * 2023-09-05 2023-12-19 广东奥普特科技股份有限公司 一种字符擦除方法、装置和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721094A (zh) * 2023-08-03 2023-09-08 济南邦德激光股份有限公司 一种复杂背景下的视觉图形识别方法、系统及激光切割机
CN116721094B (zh) * 2023-08-03 2023-12-19 济南邦德激光股份有限公司 一种复杂背景下的视觉图形识别方法、系统及激光切割机
CN117253233A (zh) * 2023-09-05 2023-12-19 广东奥普特科技股份有限公司 一种字符擦除方法、装置和设备
CN117253233B (zh) * 2023-09-05 2024-05-17 广东奥普特科技股份有限公司 一种字符擦除方法、装置和设备

Similar Documents

Publication Publication Date Title
CN110084757B (zh) 一种基于生成对抗网络的红外深度图像增强方法
CN110378837B (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN111429533B (zh) 一种相机镜头畸变参数估计装置及方法
US10733705B2 (en) Information processing device, learning processing method, learning device, and object recognition device
CN116092086A (zh) 一种机床数据面板字符提取识别方法、系统、装置和终端
KR102008283B1 (ko) 번호판인식방법 및 이를 수행하는 번호판인식장치
CN110443245B (zh) 一种非限制场景下的车牌区域的定位方法、装置及设备
CN113516719B (zh) 一种基于多单应性矩阵的相机标定方法、系统及存储介质
CN113112542A (zh) 一种视觉定位方法、装置、电子设备及存储介质
CN114418839A (zh) 图像拼接方法、电子设备以及计算机可读存储介质
JP2008158984A (ja) 画像処理装置および領域追跡プログラム
CN111353325A (zh) 关键点检测模型训练方法及装置
CN113228105A (zh) 一种图像处理方法、装置和电子设备
CN112036342B (zh) 单证抓拍方法、设备及计算机存储介质
CN115082552B (zh) 标记孔的定位方法、装置、装配设备及存储介质
CN113627210A (zh) 条形码图像的生成方法、装置、电子设备及存储介质
CN108764110B (zh) 基于hog特征行人检测器的递归错检校验方法、系统及设备
CN116524022B (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
CN114943954B (zh) 一种车位检测方法、装置和系统
CN116976372A (zh) 基于方形基准码的图片识别方法、装置、设备及介质
CN111428707B (zh) 图形识别码的识别方法、装置、存储介质及电子设备
KR20220144456A (ko) Svm 원 영상을 기반으로 근접 주행 환경을 인식하는 방법 및 시스템
CN112529943A (zh) 一种物体检测方法、物体检测装置及智能设备
CN114066731A (zh) 生成全景图的方法、装置、电子设备及存储介质
CN113033256A (zh) 一种指尖检测模型的训练方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination