CN108416355B - 一种基于机器视觉的工业现场生产数据的采集方法 - Google Patents

一种基于机器视觉的工业现场生产数据的采集方法 Download PDF

Info

Publication number
CN108416355B
CN108416355B CN201810195267.9A CN201810195267A CN108416355B CN 108416355 B CN108416355 B CN 108416355B CN 201810195267 A CN201810195267 A CN 201810195267A CN 108416355 B CN108416355 B CN 108416355B
Authority
CN
China
Prior art keywords
image
curve
camera
data
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810195267.9A
Other languages
English (en)
Other versions
CN108416355A (zh
Inventor
叶炜
李潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810195267.9A priority Critical patent/CN108416355B/zh
Publication of CN108416355A publication Critical patent/CN108416355A/zh
Application granted granted Critical
Publication of CN108416355B publication Critical patent/CN108416355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/2445—Alphabet recognition, e.g. Latin, Kanji or Katakana
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Character Discrimination (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)

Abstract

本发明涉及工业现场生产数据采集领域，尤其是涉及一种基于机器视觉的工业现场生产数据的采集方法。本发明采用机器视觉的方法直接从设备外部获取工业现场的生产加工数据，不需要担心车间设备陈旧以及设备的多样性。在采集工业现场生产加工数据时，该方法具有一定的通用性和适用性；本发明的系统利用相机拍摄每台设备的生产加工数据，然后在计算机上开发一个多功能图像识别系统，识别出设备显示界面上的生产加工数据，接着将数据保存至服务器的数据库中，从而实现了生产加工数据的采集和存储。

Description

一种基于机器视觉的工业现场生产数据的采集方法
技术领域
本发明涉及工业现场生产数据采集领域，尤其是涉及一种基于机器视觉的工业现场生产数据的采集方法。
背景技术
随着《中国制造2025》行动纲领的提出，传统制造业纷纷走上转型升级的道路。目前，很多制造业公司面临着生产数据采集不准确及时，作业安排不合理，生产效率不高等问题，企业的生产制造水平和管理水平亟待改造提升。当前企业制造车间采集生产加工数据大多是采用现场总线的方式，通过加工设备的预留接口，直接从设备中读取出来，但是，由于部分企业的生产加工设备比较陈旧，没有预留的接口，所以无法直接从设备内部读取出生产加工数据，另外，由于车间生产加工设备的多样性，如果直接通过接口来读取数据，需要单独对每台设备进行操作，工作量较大。
为此，急需提供一种无需考虑生产加工设备的多样性，且通用性和适用性均较好的工业现场生产数据采集方法。
发明内容
本发明的目的在于，针对背景技术中存在的不足，提供一种基于机器视觉的工业现场生产数据的采集系统。
为此，本发明的上述目的通过以下技术方案来实现：
一种基于机器视觉的工业现场生产数据的采集方法，所述采集方法包括建立基于机器视觉的工业现场生产数据的采集系统，所述采集系统包括：
-至少一个相机，所述相机用于拍摄生产加工设备显示屏的显示界面上的生产加工数据；
-计算机，所述计算机用于存储原始图像信息以及由计算机对相机所拍摄的图像进行识别处理；计算机上设有多功能图像识别系统，所述多功能图像识别系统用于识别处理经交换机传输的相机所拍摄的生产加工数据的图像，所述多功能图像识别系统包括字符识别模块、曲线识别模块；所述字符识别模块用于识别相机拍摄图像中的数字和字母；所述曲线识别模块用于提取相机拍摄图像中的曲线数据；
所述采集方法还包括：
(1)相机安装在生产加工设备的显示屏前用于拍摄生产加工设备显示屏显示界面上的生产加工数据；相机和显示屏之间的安装距离一般不超过0.5米，相机轴线和显示屏平面之间的夹角不低于45度，以确保显示屏拍摄时相机的视域尺寸和显示屏基本保证一致且不会产生较大的图像畸变；
(2)图像矫正：通过具有标准长度的参考系如直尺、黑白棋盘格等对相机进行标定，利用参考标准长度与所拍摄图像的尺寸对比，从而实现图像的矫正；
(3)设置采集对象：采集对象分别为数字/数字串、字母/字母串和曲线；
(4)对所拍摄的显示屏图像设置采集对象的图像区域；
(5)根据采集对象设置以及所确定的图像区域，分别通过字符识别模块对相机所拍摄图像中的数字/数字串、字母/字母串进行字符识别处理，以及通过曲线识别模块对相机所拍摄图像中的曲线数据进行曲线识别处理；
(6)采用字符识别模块和曲线识别模块进行识别处理时，如果无法成功识别，则返回错误信息。
(7)同一幅图像中可以存在多个采集对象及多个图像区域，在设置中分别标注明确。
在采用上述技术方案的同时，本发明还可以采用或者组合采用以下进一步的技术方案：
优选地，当相机数量很多，并且需要保存经计算机识别处理后的生产加工数据时，所述采集系统还包括：
-交换机，所述交换机用于连接相机与计算机；
-服务器，所述服务器用于存储经计算机识别处理后的生产加工数据。
优选地，所述图像矫正的实现方法是：先估算出相机的内参数、外参数以及畸变参数，然后利用这些参数将图像从相机坐标系恢复到世界坐标系；设置设备显示屏的某个角点为图像的基准点，当相机存在偏移时，该基准点可用于自动地找到目标图像区域，并且可以相对于该基准点找到采集对象的图像区域。
优选地，当所设置的采集对象为数字/数字串或者字母/字母串时，可以通过设定采集对象的位数来提高识别处理的准确度。
优选地，所述字符识别模块通过如下实现：(1)建立训练样本；(2)设计分类器；(3)待识别图像预处理；(4)应用分类器。
优选地，所述字符识别模块优选通过如下实现：
(1)建立训练样本：
训练样本图像全部都是只包含单个字符的图片，在建立训练样本时，需要对训练样本图像进行预处理；首先，将训练样本图像灰度化，然后采用中值滤波法进行降噪处理，接着采用双峰法求取合适的阈值对训练样本图像进行二值化，再接着对训练样本图像进行归一化，把训练样本图像全部变成大小相等的图片，最后把预处理过的训练样本图像中的黑色像素点的灰度值设为1，白色像素点的灰度值设为0，从而将每个训练样本都表示成一个0/1矩阵；
(2)设计分类器：
采用改进型的K近邻算法来设计分类器，先将所有训练样本转化为样本向量集，然后采用欧氏距离作为度量标准来计算待分类的实例和每个训练样本的相似度，接着从样本向量集中找到与实例相似度最高的2k个样本，再接着采用夹角余弦距离作为度量标准来计算待分类实例和这2k个样本的相似度，从这2k个样本中找到与实例相似度最高的k个样本，最后利用投票法在这k个样本中找到出现次数最多的类别作为最终的预测类别；并在改进型的K近邻算法中：k取3或5。
(3)待识别图像预处理：
首先，对待识别图像进行灰度化，将其变为灰度图，然后采用中值滤波法进行降噪处理，接着对其进行二值化；由于待识别图像不仅仅包含单个字符，所以需要对其进行分割，把每个字符都分割出来，然后再利用分类器对字符进行逐个识别；采用投影直方图的方法对待识别图像进行分割，待识别图像被分割成多张只包含单个字符的图像后，由于每张图像的大小不相同，采用归一化的方法，将所有单个字符图像调整为分类器能够识别的大小，然后再把归一化后的图像中的黑色像素点的灰度值设为1，白色像素点的灰度值设为0，从而将所有单个字符图像都表示成一个0/1矩阵；
(4)应用分类器：
对待识别图像进行预处理后，将分割好的每张单字符图像的0/1矩阵依次交给分类器来进行识别，将所有识别结果组合成一个字符串输出。
优选地，所述曲线识别模块通过如下实现：(1)曲线图像预处理；(2)曲线图像分割；(3)获取曲线区域的端点坐标值；(4)计算坐标转换比例因子；(5)提取曲线数据。
优选地，所述曲线识别模块优选通过如下实现：
(1)曲线图像预处理：
采用黑白棋盘格对相机进行标定，实现图像的矫正，然后利用标定得到的外参数将图像从相机坐标系恢复到世界坐标系，从而获取到标准的曲线图像，设置设备显示屏的左边角为曲线图像的基准点，当相机存在偏移时，该基准点可用于自动地找到目标曲线区域，接着对曲线图像进行灰度化、降噪处理以及二值化，当目标曲线和背景间像素灰度值差异较大时，采用二值化的方法能够有效地去除曲线的背景网格；
(2)曲线图像分割：
相对基准点切割出曲线区域1、X坐标轴区域2以及Y坐标轴区域3；
(3)获取曲线区域的端点坐标值：
采用投影直方图的方法切割出X坐标轴区域2的端点坐标x1和x2以及Y坐标轴区域3的端点坐标值y1和y2，并调用字符识别模块，识别出x1、x2、y1和y2的具体数值；
(4)计算坐标转换比例因子：
获取到曲线区域1的端点坐标值x1、x2、y1和y2后，结合曲线区域1的宽度W以及曲线区域1的高度H，其中，W和H分别代表曲线区域1的宽度和高度的像素点的个数，可以实现目标曲线的实际坐标值和像素坐标值的相互转换，这种换算关系可以用坐标转换比例因子表示，如式(1)和(2)所示：
Figure BDA0001592901940000051
Figure BDA0001592901940000052
在式(1)中，P为目标曲线的x坐标转换比例因子，代表在X坐标轴上每单位长度具有像素点的个数；在式(2)中，Q为目标曲线的y坐标转换比例因子，代表在Y坐标轴上每个像素点的真实高度值；
(5)提取曲线数据：
假设已知曲线上A点的横坐标为Ax，需要提取A点的纵坐标Ay；首先根据A点的真实横坐标Ax，计算出A点的像素横坐标Xa，Xa的计算公式如式(3)所示：
Xa＝P*(Ax-x1) (3)
然后，分别在Xa这一列像素点上从上向下以及从下向上扫描，当扫描到黑像素点，即是，灰度值为0的点时，分别记录此时的像素纵坐标Ya1和Ya2；如果Ya1和Ya2的差值大于某个假定的阈值，则舍弃这组数据，这样能够有效的防止噪声的干扰；接着，利用Ya1和Ya2求平均值得到Xa对应的像素纵坐标Ya；为了提高识别的准确率，在像素横坐标为Xa-2、Xa-1、Xa+1、Xa+2的4列像素点上进行同样的扫描和求平均值操作，分别得到相应的像素纵坐标Ya-2、Ya-1、Ya+1、Ya+2；然后，求Ya-2、Ya-1、Ya、Ya+1、Ya+2这5个像素纵坐标的平均值得到A点最终的像素纵坐标Ya；得到最终的Ya后，需要利用坐标转换比例因子Q将A点的像素纵坐标Ya转换为真实纵坐标Ay，Ay的计算公式如式(4)所示：
Ay＝Q*(H-Ya)+y1 (4)
这样就得到了A点的真实纵坐标Ay，从而实现了目标曲线上数据的提取。
优选地，在与计算机相连的服务器上建立一个数据库，在所述的数据库中建立3个表格，将字符识别模块识别出来的数字和字母以及曲线识别模块提取出来的曲线数据分别写入这3个表格中，其中，曲线数据包括曲线上点的横坐标以及横坐标所对应的纵坐标，从而实现对工业现场生产数据的保存。如果需要直接调用计算机识别处理后的生产加工数据，可以通过CAN总线、串口、以太网口等接口直接将生产加工数据从计算机中输出。
本发明提供一种基于机器视觉的工业现场生产数据的采集方法，具有如下优点：
(1)采用机器视觉的方法直接从设备外部获取工业现场的生产加工数据，不需要担心车间设备陈旧以及设备的多样性。在采集工业现场生产加工数据时，该方法具有一定的通用性和适用性。
(2)本发明的系统利用相机拍摄每台设备的生产加工数据，然后在PC机上开发一个多功能图像识别系统，识别出设备显示界面上的生产加工数据，接着将数据保存至服务器的数据库中，从而实现了生产加工数据的采集和存储。
(3)在设计字符识别模块的分类器时，对传统的K近邻算法进行改进，传统的K近邻算法是采用欧氏距离作为度量标准计算待分类实例与每个训练样本的相似度，然后直接从训练样本集中找到与实例相似度最高的k个样本，最后在这k个样本中找到出现次数最多的类别作为最终的预测类别。本发明采用欧氏距离和夹角余弦距离两个度量标准来计算待分类实例与训练样本的相似度，可以同时从空间位置和方向两个方面来预测待分类实例所属的类别，有利于提高分类器的准确率。
(4)在设计曲线识别模块时，设置设备显示屏的左边角为曲线图像的基准点，当相机发生偏移时，可以参考该基准点自动的找到目标曲线区域。
(5)相对基准点对曲线图像进行分割，把曲线图像分割成曲线区域、X坐标轴区域以及Y坐标轴区域，实现了坐标轴和曲线区域的分离，获取到需要识别的曲线区域。
(6)在提取曲线上某点的数据时，同时从上往下以及从下往上扫描，通过求平均值的方法得到该点的像素纵坐标，并且对前后相邻的4列像素点进行相同的操作，把5个像素纵坐标求平均得到最终的像素纵坐标，能够进一步提高数据提取的准确率。
附图说明
图1为本发明所提供的基于机器视觉的工业现场生产数据的采集系统的结构框图；
图2为字符图像分割过程图；
图3为曲线图像区域分割图；
图4为目标曲线的真实坐标图；
图5为目标曲线的像素坐标图。
具体实施方式
参照附图和具体实施例对本发明作进一步详细地描述。
一种基于机器视觉的工业现场生产数据的采集方法，包括建立基于机器视觉的工业现场生产数据的采集系统，采集系统包括：
-至少一个相机，相机用于拍摄生产加工设备显示屏的显示界面上的生产加工数据；
-计算机，计算机用于存储原始图像信息以及由计算机对相机所拍摄的图像进行识别处理；计算机上设有多功能图像识别系统，多功能图像识别系统用于识别处理经交换机传输的相机所拍摄的生产加工数据的图像，多功能图像识别系统包括字符识别模块、曲线识别模块；字符识别模块用于识别相机拍摄图像中的数字和字母；曲线识别模块用于提取相机拍摄图像中的曲线数据；
采集方法还包括：
(1)相机安装在生产加工设备的显示屏前用于拍摄生产加工设备显示屏显示界面上的生产加工数据；相机和显示屏之间的安装距离为0.5米，相机轴线和显示屏平面之间的夹角为90度；
(2)图像矫正：通过具有标准长度的参考系如直尺、黑白棋盘格等对相机进行标定，利用参考标准长度与所拍摄图像的尺寸对比，从而实现图像的矫正；
(3)设置采集对象：采集对象分别为数字/数字串、字母/字母串和曲线；
(4)对所拍摄的显示屏图像设置采集对象的图像区域；
(5)根据采集对象设置以及所确定的图像区域，分别通过字符识别模块对相机所拍摄图像中的数字/数字串、字母/字母串进行字符识别处理，以及通过曲线识别模块对相机所拍摄图像中的曲线数据进行曲线识别处理；
(6)采用字符识别模块和曲线识别模块进行识别处理时，如果无法成功识别，则返回错误信息。
(7)同一幅图像中可以存在多个采集对象及多个图像区域，在设置中分别标注明确。
当相机数量很多，并且需要保存经计算机识别处理后的生产加工数据时，采集系统还包括：
-交换机，交换机用于连接相机与计算机；
-服务器，服务器用于存储经计算机识别处理后的生产加工数据。
图像矫正的实现方法是：先估算出相机的内参数、外参数以及畸变参数，然后利用这些参数将图像从相机坐标系恢复到世界坐标系；设置设备显示屏的某个角点为图像的基准点，当相机存在偏移时，该基准点可用于自动地找到目标图像区域，并且可以相对于该基准点找到采集对象的图像区域。
当所设置的采集对象为数字/数字串或者字母/字母串时，可以通过设定采集对象的位数来提高识别处理的准确度。
字符识别模块通过如下实现：(1)建立训练样本；(2)设计分类器；(3)待识别图像预处理；(4)应用分类器。
字符识别处理具体包括如下步骤：
(1)建立训练样本：
训练样本图像全部都是只包含单个字符的图片，在建立训练样本时，需要对训练样本图像进行预处理；首先，将训练样本图像灰度化，然后采用中值滤波法进行降噪处理，接着采用双峰法求取合适的阈值对训练样本图像进行二值化，再接着对训练样本图像进行归一化，把训练样本图像全部变成大小相等的图片，最后把预处理过的训练样本图像中的黑色像素点的灰度值设为1，白色像素点的灰度值设为0，从而将每个训练样本都表示成一个0/1矩阵；
(2)设计分类器：
采用改进型的K近邻算法来设计分类器，先将所有训练样本转化为样本向量集，然后采用欧氏距离作为度量标准来计算待分类的实例和每个训练样本的相似度，接着从样本向量集中找到与实例相似度最高的2k个样本，再接着采用夹角余弦距离作为度量标准来计算待分类实例和这2k个样本的相似度，从这2k个样本中找到与实例相似度最高的k个样本，最后利用投票法在这k个样本中找到出现次数最多的类别作为最终的预测类别；改进型的K近邻算法中：k取3或5。
(3)待识别图像预处理：
首先，对待识别图像进行灰度化，将其变为灰度图，然后采用中值滤波法进行降噪处理，接着对其进行二值化；由于待识别图像不仅仅包含单个字符，所以需要对其进行分割，把每个字符都分割出来，然后再利用分类器对字符进行逐个识别；采用投影直方图的方法对待识别图像进行分割，待识别图像被分割成多张只包含单个字符的图像后，如图2所示，图2为字符图像分割过程图：将“1234ABCD”逐个的切割出来；由于每张图像的大小不相同，采用归一化的方法，将所有单个字符图像调整为分类器能够识别的大小，然后再把归一化后的图像中的黑色像素点的灰度值设为1，白色像素点的灰度值设为0，从而将所有单个字符图像都表示成一个0/1矩阵；
(4)应用分类器：
对待识别图像进行预处理后，将分割好的每张单字符图像的0/1矩阵依次交给分类器来进行识别，将所有识别结果组合成一个字符串输出，将图2所示的字符图像识别输出“1234ABCD”。
曲线识别模块通过如下实现：(1)曲线图像预处理；(2)曲线图像分割；(3)获取曲线区域的端点坐标值；(4)计算坐标转换比例因子；(5)提取曲线数据。
曲线识别处理具体包括：
(1)曲线图像预处理：
采用黑白棋盘格对相机进行标定，实现图像的矫正，然后利用标定得到的外参数将图像从相机坐标系恢复到世界坐标系，从而获取到标准的曲线图像，设置设备显示屏的左边角为曲线图像的基准点，当相机存在偏移时，该基准点可用于自动地找到目标曲线区域，接着对曲线图像进行灰度化、降噪处理以及二值化，当目标曲线和背景间像素灰度值差异较大时，采用二值化的方法能够有效地去除曲线的背景网格；
(2)曲线图像分割：
相对基准点切割出曲线区域1、X坐标轴区域2以及Y坐标轴区域3，如图3所示，图3为曲线图像区域分割图；
(3)获取曲线区域的端点坐标值：
采用投影直方图的方法切割出X坐标轴区域2的端点坐标x1和x2以及Y坐标轴区域3的端点坐标值y1和y2，并调用字符识别模块，识别出x1、x2、y1和y2的具体数值；在图3中，X坐标轴的左端点刻度值x1为0，右端点刻度值x2为9。Y坐标轴的下端点刻度值y1为0，上端点刻度值y2为250。x1、x2、y1、y2分别对应曲线区域1的左端点坐标值、右端点坐标值、下端点坐标值以及上端点坐标值。切割出x1、x2、y1、y2后，调用字符识别模块，将它们具体的数值识别出来。
(4)计算坐标转换比例因子：
获取到曲线区域1的端点坐标值x1、x2、y1和y2后，结合曲线区域1的宽度W以及曲线区域1的高度H，其中，W和H分别代表曲线区域1的宽度和高度的像素点的个数，可以实现目标曲线的实际坐标值和像素坐标值的相互转换，这种换算关系可以用坐标转换比例因子表示，如式(1)和(2)所示：
Figure BDA0001592901940000111
Figure BDA0001592901940000112
在式(1)中，P为目标曲线的x坐标转换比例因子，代表在X坐标轴上每单位长度具有像素点的个数；在式(2)中，Q为目标曲线的y坐标转换比例因子，代表在Y坐标轴上每个像素点的真实高度值；
(5)提取曲线数据：
如图4所示，图4为目标曲线的真实坐标图。
如图5所示，图5为目标曲线的像素坐标图。
假设已知曲线上A点的横坐标为Ax，需要提取A点的纵坐标Ay；首先根据A点的真实横坐标Ax，计算出A点的像素横坐标Xa，Xa的计算公式如式(3)所示：
Xa＝P*(Ax-x1) (3)
然后，分别在Xa这一列像素点上从上向下以及从下向上扫描，当扫描到黑像素点，即是，灰度值为0的点时，分别记录此时的像素纵坐标Ya1和Ya2；如果Ya1和Ya2的差值大于某个假定的阈值，则舍弃这组数据，这样能够有效的防止噪声的干扰；接着，利用Ya1和Ya2求平均值得到Xa对应的像素纵坐标Ya；为了提高识别的准确率，在像素横坐标为Xa-2、Xa-1、Xa+1、Xa+2的4列像素点上进行同样的扫描和求平均值操作，分别得到相应的像素纵坐标Ya-2、Ya-1、Ya+1、Ya+2；然后，求Ya-2、Ya-1、Ya、Ya+1、Ya+2这5个像素纵坐标的平均值得到A点最终的像素纵坐标Ya；得到最终的Ya后，需要利用坐标转换比例因子Q将A点的像素纵坐标Ya转换为真实纵坐标Ay，Ay的计算公式如式(4)所示：
Ay＝Q*(H-Ya)+y1 (4)
这样就得到了A点的真实纵坐标Ay，从而实现了目标曲线上数据的提取。
在与计算机相连的服务器上建立一个数据库，在数据库中建立3个表格，将字符识别模块识别出来的数字和字母以及曲线识别模块提取出来的曲线数据分别写入这3个表格中，其中，曲线数据包括曲线上点的横坐标以及横坐标所对应的纵坐标，从而实现对工业现场生产数据的保存。如果需要直接调用计算机识别处理后的生产加工数据，可以通过CAN总线、串口、以太网口等接口直接将生产加工数据从计算机中输出。
上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改、等同替换、改进等，都落入本发明的保护范围。

Claims (4)

1.一种基于机器视觉的工业现场生产数据的采集方法，其特征在于，所述采集方法包括建立基于机器视觉的工业现场生产数据的采集系统，所述采集系统包括：
-至少一个相机，所述相机用于拍摄生产加工设备显示屏的显示界面上的生产加工数据；
-计算机，所述计算机用于存储原始图像信息以及由计算机对相机所拍摄的图像进行识别处理；计算机上设有多功能图像识别系统，所述多功能图像识别系统用于识别处理经交换机传输的相机所拍摄的生产加工数据的图像，所述多功能图像识别系统包括字符识别模块、曲线识别模块；所述字符识别模块用于识别相机拍摄图像中的数字和字母；所述曲线识别模块用于提取相机拍摄图像中的曲线数据；
所述采集方法还包括：
(1)相机安装在生产加工设备的显示屏前用于拍摄生产加工设备显示屏显示界面上的生产加工数据；相机和显示屏之间的安装距离不超过0.5米，相机轴线和显示屏平面之间的夹角不低于45度，以确保显示屏拍摄时相机的视域尺寸和显示屏基本保证一致且不会产生较大的图像畸变；
(2)图像矫正：通过具有标准长度的参考系对相机进行标定，利用参考标准长度与所拍摄图像的尺寸对比，从而实现图像的矫正；
(3)设置采集对象：采集对象分别为数字/数字串、字母/字母串和曲线；
(4)对所拍摄的显示屏图像设置采集对象的图像区域；
(5)根据采集对象设置以及所确定的图像区域，分别通过字符识别模块对相机所拍摄图像中的数字/数字串、字母/字母串进行字符识别处理，以及通过曲线识别模块对相机所拍摄图像中的曲线数据进行曲线识别处理；
(6)采用字符识别模块和曲线识别模块进行识别处理时，如果无法成功识别，则返回错误信息；
(7)同一幅图像中可以存在多个采集对象及多个图像区域，在设置中分别标注明确；
所述图像矫正的实现方法是：先估算出相机的内参数、外参数以及畸变参数，然后利用这些参数将图像从相机坐标系恢复到世界坐标系；设置设备显示屏的某个角点为图像的基准点，当相机存在偏移时，该基准点可用于自动地找到目标图像区域，并且可以相对于该基准点找到采集对象的图像区域；
所述字符识别模块通过如下实现：(1)建立训练样本；(2)设计分类器；(3)待识别图像预处理；(4)应用分类器；
所述字符识别模块通过如下实现：
(1)建立训练样本：
训练样本图像全部都是只包含单个字符的图片，在建立训练样本时，需要对训练样本图像进行预处理；首先，将训练样本图像灰度化，然后采用中值滤波法进行降噪处理，接着采用双峰法求取合适的阈值对训练样本图像进行二值化，再接着对训练样本图像进行归一化，把训练样本图像全部变成大小相等的图片，最后把预处理过的训练样本图像中的黑色像素点的灰度值设为1，白色像素点的灰度值设为0，从而将每个训练样本都表示成一个0/1矩阵；
(2)设计分类器：
采用改进型的K近邻算法来设计分类器，先将所有训练样本转化为样本向量集，然后采用欧氏距离作为度量标准来计算待分类的实例和每个训练样本的相似度，接着从样本向量集中找到与实例相似度最高的2k个样本，再接着采用夹角余弦距离作为度量标准来计算待分类实例和这2k个样本的相似度，从这2k个样本中找到与实例相似度最高的k个样本，最后利用投票法在这k个样本中找到出现次数最多的类别作为最终的预测类别；并在改进型的K近邻算法中：k取3或5；
(3)待识别图像预处理：
首先，对待识别图像进行灰度化，将其变为灰度图，然后采用中值滤波法进行降噪处理，接着对其进行二值化；由于待识别图像不仅仅包含单个字符，所以需要对其进行分割，把每个字符都分割出来，然后再利用分类器对字符进行逐个识别；采用投影直方图的方法对待识别图像进行分割，待识别图像被分割成多张只包含单个字符的图像后，由于每张图像的大小不相同，采用归一化的方法，将所有单个字符图像调整为分类器能够识别的大小，然后再把归一化后的图像中的黑色像素点的灰度值设为1，白色像素点的灰度值设为0，从而将所有单个字符图像都表示成一个0/1矩阵；
(4)应用分类器：
对待识别图像进行预处理后，将分割好的每张单字符图像的0/1矩阵依次交给分类器来进行识别，将所有识别结果组合成一个字符串输出；
所述曲线识别模块通过如下实现：(1)曲线图像预处理；(2)曲线图像分割；(3)获取曲线区域的端点坐标值；(4)计算坐标转换比例因子；(5)提取曲线数据；
所述曲线识别模块通过如下实现：
(1)曲线图像预处理：
采用黑白棋盘格对相机进行标定，实现图像的矫正，然后利用标定得到的外参数将图像从相机坐标系恢复到世界坐标系，从而获取到标准的曲线图像，设置设备显示屏的左边角为曲线图像的基准点，当相机存在偏移时，该基准点可用于自动地找到目标曲线区域，接着对曲线图像进行灰度化、降噪处理以及二值化，当目标曲线和背景间像素灰度值差异大时，采用二值化的方法能够有效地去除曲线的背景网格；
(2)曲线图像分割：
相对基准点切割出曲线区域1、X坐标轴区域2以及Y坐标轴区域3；
(3)获取曲线区域的端点坐标值：
采用投影直方图的方法切割出X坐标轴区域2的端点坐标x1和x2以及Y坐标轴区域3的端点坐标值y1和y2，并调用字符识别模块，识别出x1、x2、y1和y2的具体数值；
(4)计算坐标转换比例因子：
获取到曲线区域1的端点坐标值x1、x2、y1和y2后，结合曲线区域1的宽度W以及曲线区域1的高度H，其中，W和H分别代表曲线区域1的宽度和高度的像素点的个数，可以实现目标曲线的实际坐标值和像素坐标值的相互转换，这种换算关系可以用坐标转换比例因子表示，如式(1)和(2)所示：
Figure FDA0002932960600000041
Figure FDA0002932960600000042
在式(1)中，P为目标曲线的x坐标转换比例因子，代表在X坐标轴上每单位长度具有像素点的个数；在式(2)中，Q为目标曲线的y坐标转换比例因子，代表在Y坐标轴上每个像素点的真实高度值；
(5)提取曲线数据：
假设已知曲线上A点的横坐标为Ax，需要提取A点的纵坐标Ay；首先根据A点的真实横坐标Ax，计算出A点的像素横坐标Xa，Xa的计算公式如式(3)所示：
Xa＝P*(Ax-x1) (3)
然后，分别在Xa这一列像素点上从上向下以及从下向上扫描，当扫描到黑像素点，即是，灰度值为0的点时，分别记录此时的像素纵坐标Ya1和Ya2；如果Ya1和Ya2的差值大于某个假定的阈值，则舍弃这组数据，这样能够有效的防止噪声的干扰；接着，利用Ya1和Ya2求平均值得到Xa对应的像素纵坐标Ya；为了提高识别的准确率，在像素横坐标为Xa-2、Xa-1、Xa+1、Xa+2的4列像素点上进行同样的扫描和求平均值操作，分别得到相应的像素纵坐标Ya-2、Ya-1、Ya+1、Ya+2；然后，求Ya-2、Ya-1、Ya、Ya+1、Ya+2这5个像素纵坐标的平均值得到A点最终的像素纵坐标Ya；得到最终的Ya后，需要利用坐标转换比例因子Q将A点的像素纵坐标Ya转换为真实纵坐标Ay，Ay的计算公式如式(4)所示：
Ay＝Q*(H-Ya)+y1 (4)
这样就得到了A点的真实纵坐标Ay，从而实现了目标曲线上数据的提取。
2.根据权利要求1所述的基于机器视觉的工业现场生产数据的采集方法，其特征在于，当相机数量很多，并且需要保存经计算机识别处理后的生产加工数据时，所述采集系统还包括：
-交换机，所述交换机用于连接相机与计算机；
-服务器，所述服务器用于存储经计算机识别处理后的生产加工数据。
3.根据权利要求1所述的基于机器视觉的工业现场生产数据的采集方法，其特征在于，当所设置的采集对象为数字/数字串或者字母/字母串时，可以通过设定采集对象的位数来提高识别处理的准确度。
4.根据权利要求l-3中任意一项所述的基于机器视觉的工业现场生产数据的采集方法，其特征在于，在与计算机相连的服务器上建立一个数据库，在所述的数据库中建立3个表格，将字符识别模块识别出来的数字和字母以及曲线识别模块提取出来的曲线数据分别写入这3个表格中，其中，曲线数据包括曲线上点的横坐标以及横坐标所对应的纵坐标，从而实现对工业现场生产数据的保存；如果需要直接调用计算机识别处理后的生产加工数据，可以通过CAN总线、串口、以太网口直接将生产加工数据从计算机中输出。
CN201810195267.9A 2018-03-09 2018-03-09 一种基于机器视觉的工业现场生产数据的采集方法 Active CN108416355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810195267.9A CN108416355B (zh) 2018-03-09 2018-03-09 一种基于机器视觉的工业现场生产数据的采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810195267.9A CN108416355B (zh) 2018-03-09 2018-03-09 一种基于机器视觉的工业现场生产数据的采集方法

Publications (2)

Publication Number Publication Date
CN108416355A CN108416355A (zh) 2018-08-17
CN108416355B true CN108416355B (zh) 2021-07-30

Family

ID=63130671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810195267.9A Active CN108416355B (zh) 2018-03-09 2018-03-09 一种基于机器视觉的工业现场生产数据的采集方法

Country Status (1)

Country Link
CN (1) CN108416355B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110497187B (zh) * 2019-07-31 2021-08-06 浙江大学山东工业技术研究院 基于视觉引导的太阳花模组装配系统
CN110490268A (zh) * 2019-08-26 2019-11-22 山东浪潮人工智能研究院有限公司 一种基于余弦相似度的改进最近邻距离比的特征匹配方法
CN110716513A (zh) * 2019-09-17 2020-01-21 国网河北能源技术服务有限公司 一种基于excel的间接式模拟量原始数据采集方法
CN111069702B (zh) * 2019-12-06 2021-10-26 宁夏天地奔牛实业集团有限公司 全自动坡口系统及方法
CN112109374A (zh) * 2020-08-26 2020-12-22 合肥工业大学 一种基于计算机视觉系统定位及控制折弯模具装卸的方法
CN113111870A (zh) * 2021-04-16 2021-07-13 嘉兴云切供应链管理有限公司 多台金属加工设备的5g远程中央控制系统及其方法
CN113298076B (zh) * 2021-06-18 2022-08-26 蓝思智能机器人(长沙)有限公司 平面加工设备的校正数据采集方法、装置、设备及介质
CN117940860A (zh) * 2021-10-28 2024-04-26 西门子（中国）有限公司 一种工业数据获取方法及装置
CN114331973A (zh) * 2021-12-08 2022-04-12 博迈科海洋工程股份有限公司 一种适用于油气模块制造过程的钢结构信息提取方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011106568A1 (en) * 2010-02-24 2011-09-01 Panavision Imaging, Llc Variable active image area image sensor

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7563971B2 (en) * 2004-06-02 2009-07-21 Stmicroelectronics Asia Pacific Pte. Ltd. Energy-based audio pattern recognition with weighting of energy matches
US7930152B2 (en) * 2006-07-14 2011-04-19 Colorado School Of Mines Method for signal and image processing with lattice gas processes
CN100541521C (zh) * 2007-11-14 2009-09-16 哈尔滨工程大学 中文印刷体公式识别方法
CN101566582B (zh) * 2008-04-23 2011-04-27 上海新先锋药业有限公司 基于机器视觉的粉针剂生产中药瓶标贴信息在线检测系统
US8934735B2 (en) * 2012-09-07 2015-01-13 Tandent Vision Science, Inc. Oriented, spatio-spectral illumination constraints for use in an image progress
US20140122355A1 (en) * 2012-10-26 2014-05-01 Bright Media Corporation Identifying candidates for job openings using a scoring function based on features in resumes and job descriptions
CN103413140A (zh) * 2013-07-16 2013-11-27 华立仪表集团股份有限公司 一种仪表标牌字符识别方法及设备
CN103612860B (zh) * 2013-11-23 2015-11-18 冶金自动化研究设计院 基于机器视觉的宽厚板成品库入库定位与位置识别系统
CN103679207A (zh) * 2014-01-02 2014-03-26 苏州大学 一种手写体数字识别方法及系统
CN103729651A (zh) * 2014-01-17 2014-04-16 重庆大学 基于局部光谱角度量流形近邻的高光谱遥感影像分类方法
CN103927539A (zh) * 2014-03-24 2014-07-16 新疆大学 离线式维吾尔文手写签名识别的一种高效的特征提取方法
CN104463195B (zh) * 2014-11-08 2018-08-07 沈阳工业大学 基于模板匹配的印刷体数字识别方法
US9652688B2 (en) * 2014-11-26 2017-05-16 Captricity, Inc. Analyzing content of digital images
CN104750844B (zh) * 2015-04-09 2016-03-02 中南大学 基于tf-igm的文本特征向量生成方法和装置及文本分类方法和装置
CN109271707B (zh) * 2015-08-28 2022-04-19 易良碧 对核能谱线进行仿真的模拟能谱曲线仿真方法
CN105718271A (zh) * 2016-02-15 2016-06-29 福州觉感视觉软件科技有限公司 一种机器视觉智能检测系统
CN106844481B (zh) * 2016-12-23 2021-01-05 北京信息科技大学 字体相似度及字体替换方法
CN106845358B (zh) * 2016-12-26 2020-11-10 苏州大学 一种手写体字符图像特征识别的方法及系统
CN106909941A (zh) * 2017-02-27 2017-06-30 广东工业大学 基于机器视觉的多表字符识别系统及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011106568A1 (en) * 2010-02-24 2011-09-01 Panavision Imaging, Llc Variable active image area image sensor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Image Enhancement of Text in Scenery Images for Degraded Character Recognition;Takahashi H等;《Technical report of IEICE》;20021231;第102卷;第59-64页 *
基于机器视觉的零件识别和测量系统研究;邓小峰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150115(第1期);第I138-1512页 *

Also Published As

Publication number Publication date
CN108416355A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN108416355B (zh) 一种基于机器视觉的工业现场生产数据的采集方法
CN110008809B (zh) 表格数据的获取方法、装置和服务器
CN108921865B (zh) 一种抗干扰的亚像素直线拟合方法
US10430951B2 (en) Method and device for straight line detection and image processing
CN108416809B (zh) 一种基于机器视觉的钢桶螺纹盖位姿识别方法
CN107103320B (zh) 嵌入式医疗数据图像识别及集成方法
CN108133216B (zh) 基于机器视觉的可实现小数点读取的数码管读数识别方法
CN109344820B (zh) 基于计算机视觉和深度学习的数字式电表读数识别方法
CN110738106A (zh) 一种基于fpga的光学遥感图像船舶检测方法
CN110009615B (zh) 图像角点的检测方法及检测装置
CN112364862B (zh) 一种基于直方图相似度的扰动变形汉字图片匹配的方法
CN106778766B (zh) 一种基于定位点的旋转数字识别方法及系统
CN108427954B (zh) 一种标牌信息采集与识别系统
CN110569848A (zh) 一种电力设备铭牌的特征提取方法及系统
CN107563314B (zh) 一种基于平行坐标系的车道线检测方法
CN112084804B (zh) 针对信息缺失条形码智能获取补足像素的工作方法
JP4224328B2 (ja) 車番認識装置
CN113228105A (zh) 一种图像处理方法、装置和电子设备
CN113840135B (zh) 色偏检测方法、装置、设备及存储介质
CN112288049B (zh) 基于模板匹配和限制连通域指针定位的指针表读数方法
CN114549649A (zh) 一种基于特征匹配的扫描地图点符号的快速识别方法
CN114298996A (zh) 基于图像处理的电路板划痕检测方法和系统
CN111428534B (zh) 一种基于点阵隐写信息编码的解密识别方法
CN115019066A (zh) 基于加权平均处理的三元灰度共生矩阵图像识别方法
CN114627463A (zh) 一种基于机器识别的非接触式配电数据识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant