CN111652541A - 工业生产监测方法、系统以及计算机可读存储介质 - Google Patents

工业生产监测方法、系统以及计算机可读存储介质 Download PDF

Info

Publication number
CN111652541A
CN111652541A CN202010379537.9A CN202010379537A CN111652541A CN 111652541 A CN111652541 A CN 111652541A CN 202010379537 A CN202010379537 A CN 202010379537A CN 111652541 A CN111652541 A CN 111652541A
Authority
CN
China
Prior art keywords
target area
information
target
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010379537.9A
Other languages
English (en)
Other versions
CN111652541B (zh
Inventor
葛永杰
陈定喜
赵衡振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Original Assignee
Midea Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd filed Critical Midea Group Co Ltd
Priority to CN202010379537.9A priority Critical patent/CN111652541B/zh
Publication of CN111652541A publication Critical patent/CN111652541A/zh
Application granted granted Critical
Publication of CN111652541B publication Critical patent/CN111652541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种工业生产监测系统，该系统与MES系统建立连接，获取MES系统中预存的包装箱上的文本信息，在包装箱移动至预定位置时，利用图像采集模块对包装箱上的信息进行采集，获得初始图像，并利用目标检测模块、目标识别模块以及信息判断模块，对初始图像进行目标区域的检测、优化以及目标区域内字符的识别，并将识别的字符信息与MES系统中预存的包装箱上的文本信息进行合格判断，从而判断包装上的信息是否合格。本发明还公开了一种工业生产的监测方法以及计算机可读存储介质。本发明实现了包装箱上除产品条形码以外形式的字符信息的自动识别。

Description

工业生产监测方法、系统以及计算机可读存储介质
技术领域
本发明涉及生产监控技术领域，尤其涉及一种工业生产监测方法、系统以及计算机可读存储介质。
背景技术
随着人工智能技术的发展，工业生产越来越自动化，如流水线生产加工，检验、装配以及入库，都通过机器连续地、重复地进行操作。
而在入库之前，需要对包装箱上的产品信息输入至生产信息管理系统(Manufacturing Execution System，MES)。现有的产品信息输入都是通过人工扫描包装箱上的产品条形码进行信息获取，并输入至MES系统。当然，后来也出现扫描设备，自动扫描包装箱上的产品条形码进行信息输入。但是扫描包装箱上不止包括产品条形码，还包括其他信息，例如产品型号、生产日期、产品有效期等等，这些信息只能通过手动输入至MES系统。
如此，有必要设计一种针对包装箱上除产品条形码以外形式的信息进行自动识别并输入至MES系统的方法。
发明内容
本发明的主要目的在于提供一种工业生产监测方法、系统以及计算机可读存储介质，旨在解决现有技术中无法对包装箱上除产品条形码以外形式的信息进行自动识别的技术问题。
为实现上述目的，本发明提供一种工业生产监测系统，与MES生产信息管理系统建立连接，获取MES系统中预存的包装箱上的文本信息；所述工业生产监测系统包括处理器、存储器以及图像采集模块、目标检测模块、目标识别模块、信息判断模块；其中，
所述图像采集模块在包装箱移动至预定位置时，对包装箱上的信息进行采集，获得初始图像；
所述目标检测模块确定初始图像中包含字符的目标区域，并根据所述目标区域的参数与上一张目标区域图像的目标区域参数的比较结果对所述目标区域进行优化，按照优化后的目标区域截取目标区域图像；
所述目标识别模块对目标区域图像进行字符识别，获得字符信息；
所述信息判断模块将所述目标模块获得的字符信息与MES系统中预存的包装箱上的文本信息进行合格判断，并输出判断结果。
可选地，所述目标检测模块包括：
区域参数确定单元，检测所述初始图像中的目标区域，并返回目标区域的参数；返回的目标区域参数包括目标区域的左上顶点坐标、宽度w和高度h；
区域优化单元，获取目标区域的高度h，并根据所获取的高度h与上一张目标区域图像中目标区域的高度h1的比较结果，对目标区域的宽度w和左上定点坐标进行对应调整；
区域提取单元，用于根据调整后的目标区域参数，截取目标区域对应的图像。
可选地，所述返回的目标区域参数还包括目标区域的类别。
可选地，所述目标检测模块在确定目标区域后，判断确定的目标区域个数是否是预置数，在确定的目标区域个数是预置数时，进行目标区域的截取。
可选地，工业生产监测系统还包括容错处理模块，对从MES系统获取的商品包装箱上的文本信息进行容错处理，并生成容错模板；
所述信息判断模块根据所述容错模板，对所述目标模块获得的字符信息进行合格判断，并输出判断结果。
可选地，所述商品包装箱上的文本信息包括第一类文本信息和第二类文本信息；所述容错处理模块对第二类文本信息进行容错处理，生成容错模板；所述目标识别模块识别的字符信息包括与所述第一类文本信息同一类别的第一类字符信息和与所述第二类文本信息同一类别的第二类字符信息；
所述信息判断模块先将第一类文本信息与第一类字符信息进行匹配，若匹配成功，则将进行第二类字符信息进行标点符号剔除，并分成多个段，再将每个段的字符信息与容错模板进行匹配；当每个段均匹配成功时，输出包装箱合格，否则输出包装箱不合格。
另外，本发明实施例还提供了一种工业生产监测方法，包括以下步骤：
获取MES系统中预存的包装箱上的文本信息；
在包装箱移动到预定位置时，对包装箱上的字符信息进行图像采集，获得初始图像；
检测初始图像中包含字符的目标区域，并根据所述目标区域的参数与上一张目标区域图像的目标区域参数的比较结果对所述目标区域进行优化，按照优化后的目标区域截取目标区域图像；
对所述字符图像进行字符识别，获得字符信息；
根据所述MES系统中预存的包装箱上的文本信息对所述字符信息进行合格判断，输出判断结果。
可选地，所述根据所述目标区域的参数与上一张目标区域图像的目标区域参数的比较结果对所述目标区域进行优化的步骤包括：
获取目标区域的高度h，并根据所获取的高度h与上一张目标区域图像中目标区域的高度h1的比较结果，对目标区域的宽度w和左上定点坐标进行对应调整。
可选地，所述工业生产监测方法还包括：
对所述MES系统中预存的包装箱上的文本信息进行容错处理，并生成容错模板，以根据容错模板对所述字符信息进行合格判断，输出判断结果。
另外，本发明实施例还提供了一种计算机可读存储设备，所述计算机可读存储介质上存储用于工业生产的监测程序，所述监测程序被处理器执行时实现上述任一实施方式的监测方法。
由于MES系统中预先存储商品包装箱上的信息，例如信息目标区域的参数、字符信息等等，因此，本发明实施例通过监测系统与MES系统结合，利用MES系统获取的商品包装信息，进行包装箱上信息的采集、目标区域的提取以及优化，并进行字符信息的识别，从而实现了包装箱上除产品条形码以外形式的字符信息的自动识别。
本发明实施例中，根据当前确定的目标区域的参数与上一张目标区域图像的目标区域参数的比较结果，进行目标区域的优化，使得无论包装箱的移动位置是否发生差异，所确定的目标区域均能包含所有的字符。
另外，本发明实施例中，通过将目标检测模块获取的目标区域图像直接进行字符识别，无需额外进行图像处理(例如利用投影法进行单个文字切割)，从而不但提高了字符识别的准确率，而且对图像的尺寸、字符的长度等等都没有限制，灵活适用于各种场景下的字符信息识别。
附图说明
图1是本发明一实施例的工业生产监测系统与MES系统连接的结构框图；
图2本发明图1中目标检测模块的细化结构框图；
图3本发明一实施例的监测系统中判断的印刷不合格的类别示意图；
图4本发明一实施例的监测系统中对包装箱上的文本信息进行容错处理的流程示意图；
图5为本发明一实施例的监测方法的流程示意图；
图6为本发明一实施例的监测方法中，对目标区域进行优化的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
随着人工智能的发展，工业自动化逐步加快进程，由半自动化向全自动化发展。而工业自动化生产过程中，除了机器设备自动运行外，还少不了监测系统，例如视觉监测或其他各类传感器监测等等。通过检测系统，实现对工业生产过程进行实时监测并进行数据上传，进而及时发现工业生产中的问题，保障工业生产的正常进行。
例如，一实施例中，商品包装箱上的产品批号和生产日期等信息具有重要意义，在商品出厂前要确保印刷字迹清晰完整，不能出现漏印，错印，甚至空白箱等现象，否则影响商品的流通与销售。因此，在商品出厂之前，需要通过对其进行合格判断。本发明实施例对此提出一种能准确检测商品包装信息并进行合格判断的监测方法。
本发明实施例提出的监测方法采用监测系统与MES系统连接，结合MES系统中预先存储的商品包装箱上的信息进行监测控制，并实现包装箱上的信息检测、识别及合格判断。
参照图1，示出了监测系统与MES系统的系统结构示意图。其中，监测系统100包括处理器101、存储器102以及图像采集模块103、目标检测模块104、目标识别模块105以及信息判断模块106、接口模块107。MES系统200包括存储模块201以及供监测系统100连接的接口模块202。
具体地，监测系统100中，图像采集模块103例如包括CCD相机、图形码扫描装置等实现图像采集的结构，用于对包装箱上的信息进行采集。目标检测模块104、目标识别模块105以及信息判断模块106可以为独立设置的处理模块，也可以为存储在存储器102中并供处理器101调用执行的计算机程序模块，用于实现对图像采集模块103所采集的图像进行目标提取、目标识别以及合格判断。另外，监测系统100可以通过接口模块202与MES系统200连接，以获取MES系统200的存储模块201中预先存储的数据，该数据可用于监测系统100对目标的检测、识别以及合格判断等等。当监测系统100合格判断结束后，将判断结果反馈给MES系统200。
进一步地，上述监测系统100还包括传送结构，例如皮带传送、辊筒传送等等。该传送结构包括传送通道，用于放置包装箱并带动包装箱运动。该传送通道的两侧分别设置图像采集模块103，用于对包装箱的相对两侧面上的信息进行采集。当然，该图像采集模块103也可以根据实际应用情况设置指定的位置，例如传送通道的正上方等等，或者仅设置1个，并位于传送通道的一侧。在传送结构将包装箱移动到指定的图像采集位置时，启动图像采集模块103，用于采集包装箱上的信息。间隔一段时间(例如2秒)后，传送结构将下一个包装箱移动到指定的图像采集位置，再启动图像采集模块103进行信息采集。
上述图像采集模块103采集的图像，将传输至处理器101，以使处理器101调用目标检测模块104对其进行目标检测。或者处理器101将图像采集模块103采集到的图像传输至目标检测模块104进行目标检测。目标检测模块104对图像采集模块103所采集的初始图像进行目标检测，也就是目标提取。具体地，目标检测模块104检测初始图像中包含字符的目标区域，并根据所述目标区域的参数与上一张目标区域图像的目标区域参数的比较结果对所述目标区域进行优化，按照优化后的目标区域截取目标区域图像。
一实施例中，参照图2，上述目标检测模块104包括：
区域参数确定单元104a，用于检测初始图像中的目标区域，并返回目标区域的参数；返回的目标区域参数包括目标区域的左上顶点坐标(x，y)、宽度w和高度h；
区域优化单元104b，用于获取目标区域的高度h，并根据所获取的高度h与上一张目标区域图像中目标区域的高度h1的比较结果，对目标区域的宽度w和左上定点坐标进行对应调整；
区域提取单元104c，用于根据调整后的目标区域参数，截取目标区域对应的图像。
一实施例中，区域参数确定单元104a根据图像字符的特性进行图像检测，确定字符区域，并返回字符区域的参数。相关实现算法有Faster R-CNN(Region-ConvolutionalNeural Networks)、CTPN(Connectionist Text Proposal Network)、YOLOv3等。需要理解的是，本发明实施例中的目标区域优选为长方形或正方形等规则图形。
区域优化单元104b对目标区域的参数进行调整时，首先对目标区域的左上顶点的横轴坐标x进行自适应调整处理。
Figure BDA0002481382360000061
然后对目标区域的宽度w进行适应性调整，并消除因对左上顶点横轴坐标调整而引起的宽度w变化影响。
Figure BDA0002481382360000062
其中，任意时刻t的目标区域参数为(xt,yt,wt,ht)，上一时刻参数为(xt-1,yt-1,wt-1,ht-1)。在对目标区域进行优化调整后，区域提取单元104c根据优化后的目标区域参数对采集图像进行区域截取，获得目标区域对应的图像。
由于图像采集模块103对包装箱上的信息进行采集时，包装箱的移动位置的变化会导致图像采集模块103采集到的图像有差异，进而使得确定的目标区域有差异。而现有的算法在进行比较时，都是参照目标模板或标准图片进行目标区域的确定，如此会造成误判，确定的目标区域无法包含所有的字符。
因此，本发明提出了一种目标区域的确定方法，即不再参照目标模板或标准图片进行目标区域的确定，而是在接收到图像采集模块103传输过来的图片后，将该图片确定的目标区域与上一张图片确定的目标区域进行比较，根据目标区域的高度进行目标区域的优化处理，获得优化后的目标区域。通过该优化方法，使得无论包装箱的移动位置是否发生差异，所确定的目标区域均能包含所有的字符。
可以理解的是，上述上一张图片是指按照进入目标检测模块104的顺序，当前图片的上一张图片。
进一步地，上述返回的目标区域参数还包括目标区域的类别，例如生产批次、生产日期等。由于生产批次和生产日期对应的字符数以及字符内容存在差异，故对其进行分类。当然，该预置参数也包括目标区域的类别。
进一步地，上述目标检测模块104还包括：校对单元104d，用于判断返回的目标区域个数是否为预置个数。当校对单元104d判断返回的目标区域个数为预置个数时，则通过区域提取单元104c进行目标区域的截取；当校对单元104d判断返回的目标区域个数不是预置个数时，则结束当前包装箱的监测，并将商品剔出。同时，还可以输出NG并亮红色灯光提示。
在目标检测模块104获取目标区域的图像后，目标识别模块105对其进行识别。具体地，目标识别模块105对目标区域图像进行字符识别，即提取目标区域图像中的字符，获得包装箱上的字符信息。信息判断模块106对获得的字符信息进行合格判断，例如将获得的字符信息与预置的字符信息进行匹配，若匹配成功，则确定该包装箱上的信息合格；否则确定该包装箱上的信息不合格，例如漏墨、错印、漏印、水平漏墨、水平拖墨、空白箱等等，如图3所示。
上述的字符识别例如采用CRNN(Convolutional Recurrent Neural Network，卷积循环神经网络)算法，能直接对图片进行识别获得字符。其中CRNN是一种卷积循环神经网络结构，包括卷积层，从输入图像中提取特征序列；循环层，预测从卷积层获取的特征序列的标签(真实值)分布；转录层，把循环层获取的标签分布通过去重整合等操作转换成最终的识别结果。
由于MES系统中预先存储商品包装箱上的信息，例如信息目标区域的参数、字符信息等等，因此，本发明实施例通过监测系统与MES系统结合，利用MES系统获取的商品包装信息，进行包装箱上信息的采集、目标区域的提取，并进行字符信息的识别，从而实现了包装箱上除产品条形码以外形式的字符信息的自动识别。
本发明实施例中，根据当前确定的目标区域的参数与上一张目标区域图像的目标区域参数的比较结果，进行目标区域的优化，使得无论包装箱的移动位置是否发生差异，所确定的目标区域均能包含所有的字符。
另外，本发明实施例中，通过将目标检测模块104获取的目标区域图像直接进行字符识别，无需额外进行图像处理(例如利用投影法进行单个文字切割)，从而不但提高了字符识别的准确率，而且对图像的尺寸、字符的长度等等都没有限制，灵活适用于各种场景下的字符信息识别。
进一步地，一实施例中，在对识别到的字符信息进行信息合格判断时，根据字符信息的类别进行分别判断。具体地，本发明实施例还设置容错处理模块107，用于在从MES系统中获取预先存储的商品包装箱上的文本信息后，对该信息进行容错处理，并生成容错模板。如图4所示，具体的容错处理过程包括：
S101，将待处理信息中的标点符号剔除，统计剔除后字符文本的长度；
S102，将剔除标点符号后的文本分为多个段；
例如，剔除标点符号的字符文本的长度为L，设置分段的数量为5，则前4小段中每小段为L/5个字符，第5小段为L-4×L/5个字符，设置分段的数量可根据应用情况进行调整；
S103，判断每一小段中是否存在容易混淆的字符，若存在，则进入步骤S104；否则，直接跳过，判断下一小段。
S104，进行容错处理，生成容错模板。例如小段“35G”中的G容易混淆为6和0，容错模板则生成为“35G356350”成为新小段。最终形成5个新小段等待与识别结果的相应小段匹配。
在进行容错处理时，有些类别的文本信息不需要进行容错处理，例如仅包括数字信息的日期信息，由于其比较单一，且易识别，因此不需要进行容错处理。而对于包括复杂信息的模式信息，既包括数字信息，又包括字母信息，则需要进行容错处理。
对应地，在进行合格性判断时，信息判断模块106先将未进行容错处理的类别信息与该类别对应的识别结果进行匹配，若不能匹配，则输出NG并亮红色灯光提示，产线将商品剔除，本次检测结束；若能匹配，则先将进行过容错处理的识别信息进行标点符号剔除，并分成多个小段，再将每个小段与容错模板对应进行匹配。当每个小段均匹配成功时，确定匹配成功，输出NG并亮绿色灯光提示；否则输出NG并亮红色灯光提示，产线将商品剔除。
另一实施例中，根据字符信息的类型选择对应的判断规则进行合格判断。例如，当字符信息中仅包含数字时，则可以先对该字符信息进行判断，若错误，则输出NG并亮红色灯光提示，将该包装箱剔除，本次检测结束；若正确，则进行其余的字符信息的合格判断。再例如，当字符信息中既包括数字，还包括字母，则可以分别对数字信息和字母信息进行识别后，再结合两个识别结果确认是否合格。
进一步地，在向MES系统获取文本信息之前，先与MES建立连接，连接失败时，输出MES连接失败并亮红色灯光提示，并等待处理；若连接成功，则从MES系统获取文本信息，进行图像采集并将采集到的图像进入目标检测。
如图5所示，基于上述与MES系统连接的监测系统，本发明实施例提出的一种工业生产的监测方法，包括以下步骤：
S100，获取MES系统中预存的包装箱上的文本信息；
S200，在包装箱移动到预定位置时，对包装箱上的字符信息进行图像采集，获得初始图像；
S300，检测初始图像中包含字符的目标区域，并根据所述目标区域的参数与上一张目标区域图像的目标区域参数的比较结果对所述目标区域进行优化，按照优化后的目标区域截取目标区域图像；
S400，对所述目标区域图像进行字符识别，获得字符信息；
S500，根据MES系统中预存的包装箱上的文本信息对所述字符信息进行合格判断，输出判断结果。
在获取MES系统中预存的包装箱上的文本信息之前，先与MES系统建立连接。连接失败时，输出MES连接失败并亮红色灯光提示，并等待处理；若连接成功，则从MES系统获取文本信息，进行图像采集并将采集到的图像进入目标检测。
上述包装箱通过传送机构移动到预定位置后，则控制图像采集模块103，对包装箱的相对两侧面上的信息进行采集，获得初始图像。然后对初始图像进行目标检测，确定包含字符信息的目标区域，并截取目标区域对应的图像，并对截取的图像进行字符识别，获得包装箱上的字符信息。最后，对获得的字符信息进行合格性判断，例如将获得的字符信息与预置的字符信息进行匹配，若匹配成功，则确定该包装箱上的信息合格；否则确定该包装箱上的信息不合格，例如漏墨、错印、漏印、水平漏墨、水平拖墨、空白箱等等。
由于MES系统中预先存储商品包装箱上的信息，例如信息目标区域的参数、字符信息等等，因此，本发明实施例通过监测系统与MES系统结合，利用MES系统获取的商品包装信息，进行包装箱上信息的采集、目标区域的提取以及优化，并进行字符信息的识别，从而实现了包装箱上除产品条形码以外形式的字符信息的自动识别。
由于MES系统中预先存储商品包装箱上的信息，例如信息目标区域的参数、字符信息等等，因此，本发明实施例通过监测系统与MES系统结合，利用MES系统获取的商品包装信息，进行包装箱上信息的采集、目标区域的提取，并进行字符信息的识别，从而实现了包装箱上除产品条形码以外形式的字符信息的自动识别。
本发明实施例中，根据当前确定的目标区域的参数与上一张目标区域图像的目标区域参数的比较结果，进行目标区域的优化，使得无论包装箱的移动位置是否发生差异，所确定的目标区域均能包含所有的字符。
另外，本发明实施例中，通过将获取的目标区域图像直接进行字符识别，无需额外进行图像处理(例如利用投影法进行单个文字切割)，从而不但提高了字符识别的准确率，而且对图像的尺寸、字符的长度等等都没有限制，灵活适用于各种场景下的字符信息识别。
进一步地，如图6所示，上述步骤S300具体包括：
S310，检测图像中的目标区域，并返回目标区域的参数；返回的目标区域参数包括目标区域的左上顶点坐标(x，y)、宽度w和高度h；
S320，获取目标区域中字符的高度h，并根据所获取的高度h与上一次检测的高度h1，对目标区域的参数进行对应调整；
S330，根据调整后的目标区域参数，截取目标区域对应的图像。
步骤S310中利用图像网格切割的方式，对每个网格进行像素检测，将存在字符的网格形成目标区域。需要理解的是，本发明实施例中的目标区域优选为长方形或正方形等规则图形。
步骤S320中对目标区域的参数进行调整时，首先对目标区域的左上顶点的横轴坐标x进行自适应调整处理。
Figure BDA0002481382360000111
然后对目标区域的宽度w进行适应性调整，并消除因对左上顶点横轴坐标调整而引起的宽度w变化影响。
Figure BDA0002481382360000112
其中，任意时刻t的目标区域参数为(xt,yt,wt,ht)，上一时刻参数为(xt-1,yt-1,wt-1,ht-1)。在对目标区域进行优化调整后，根据优化后的目标区域参数对采集图像进行区域截取，获得目标区域对应的图像。
进一步地，上述步骤S400中的字符识别例如采用CRNN算法，能直接对图片进行识别获得字符。其中CRNN是一种卷积循环神经网络结构，包括卷积层，从输入图像中提取特征序列；循环层，预测从卷积层获取的特征序列的标签(真实值)分布；转录层，把循环层获取的标签分布通过去重整合等操作转换成最终的识别结果。
进一步地，上述步骤S300中，确定目标区域后，还包括：判断返回的目标区域个数是否为预置个数。当判断返回的目标区域个数为预置个数时，则进行优化后的目标区域的截取；当判断返回的目标区域个数不是预置个数时，则结束当前包装箱的监测，并将商品剔出。同时，还可以输出NG并亮红色灯光提示。
进一步地，上述确定的目标区域包括类别，例如生产批次、生产日期等等。由于生产批次和生产日期对应的字符数以及字符内容存在差异，故对其进行分类。对应地，步骤S400中获得的字符信息也携带类别。步骤S500中根据字符信息的类别选择对应的判断规则进行合格判断。例如，当字符信息中仅包含数字时，则可以先对该字符信息进行判断，若错误，则输出NG并亮红色灯光提示，将该包装箱剔除，本次检测结束；若正确，则进行其余的字符信息的合格判断。再例如，当字符信息中既包括数字，还包括字母，则可以分别对数字信息和字母信息进行识别后，再结合两个识别结果确认是否合格。
进一步地，上述步骤S500针对例如既包括数字又包括字母的识别困难的字符信息，利用容错处理的方式进行合格性判断。具体地，如图4所示的容错处理过程，在从MES系统中获取预先存储的商品包装箱上的信息后，对该信息进行容错处理，并生成容错模板。在进行合格性判断时，先将未进行容错处理的类别信息与该类别对应的识别结果进行匹配，若不能匹配，则输出NG并亮红色灯光提示，产线将商品剔除，本次检测结束；若能匹配，则先将进行过容错处理的识别信息进行标点符号剔除，并分成多个小段，再将每个小段与容错模板对应进行匹配。当每个小段均匹配成功时，确定匹配成功，输出NG并亮绿色灯光提示；否则输出NG并亮红色灯光提示，产线将商品剔除。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种工业生产监测系统，其特征在于，与MES生产信息管理系统建立连接，获取MES系统中预存的包装箱上的文本信息；所述工业生产监测系统包括处理器、存储器以及图像采集模块、目标检测模块、目标识别模块、信息判断模块；其中，
所述图像采集模块在包装箱移动至预定位置时，对包装箱上的信息进行采集，获得初始图像；
所述目标检测模块检测初始图像中包含字符的目标区域，并根据所述目标区域的参数与上一张目标区域图像的目标区域参数的比较结果对所述目标区域进行优化，按照优化后的目标区域截取目标区域图像；
所述目标识别模块对目标区域图像进行字符识别，获得字符信息；
所述信息判断模块将所述目标模块获得的字符信息与MES系统中预存的包装箱上的文本信息进行合格判断，并输出判断结果。
2.如权利要求1所述的工业生产监测系统，其特征在于，所述目标检测模块包括：
区域参数确定单元，检测所述初始图像中的目标区域，并返回目标区域的参数；返回的目标区域参数包括目标区域的左上顶点坐标、宽度w和高度h；
区域优化单元，获取目标区域的高度h，并根据所获取的高度h与上一张目标区域图像中目标区域的高度h1的比较结果，对目标区域的宽度w和左上定点坐标进行对应调整；
区域提取单元，用于根据调整后的目标区域参数，截取目标区域对应的图像。
3.如权利要求1所述的工业生产监测系统，其特征在于，所述返回的目标区域参数还包括目标区域的类别。
4.如权利要求1所述的工业生产监测系统，其特征在于，所述目标检测模块在确定目标区域后，判断确定的目标区域个数是否是预置数，在确定的目标区域个数是预置数时，进行目标区域的截取。
5.如权利要求3所述的工业生产监测系统，其特征在于，所述工业生产监测系统还包括容错处理模块，对从MES系统获取的商品包装箱上的文本信息进行容错处理，并生成容错模板；
所述信息判断模块根据所述容错模板，对所述目标模块获得的字符信息进行合格判断，并输出判断结果。
6.如权利要求5所述的工业生产监测系统，其特征在于，所述商品包装箱上的文本信息包括第一类文本信息和第二类文本信息；所述容错处理模块对第二类文本信息进行容错处理，生成容错模板；所述目标识别模块识别的字符信息包括与所述第一类文本信息同一类别的第一类字符信息和与所述第二类文本信息同一类别的第二类字符信息；
所述信息判断模块先将第一类文本信息与第一类字符信息进行匹配，若匹配成功，则将进行第二类字符信息进行标点符号剔除，并分成多个段，再将每个段的字符信息与容错模板进行匹配；当每个段均匹配成功时，输出包装箱合格，否则输出包装箱不合格。
7.一种工业生产监测方法，其特征在于，所述工业生产监测方法包括以下步骤：
获取MES系统中预存的包装箱上的文本信息；
在包装箱移动到预定位置时，对包装箱上的字符信息进行图像采集，获得初始图像；
检测初始图像中包含字符的目标区域，并根据所述目标区域的参数与上一张目标区域图像的目标区域参数的比较结果对所述目标区域进行优化，按照优化后的目标区域截取目标区域图像；
对所述目标区域图像进行字符识别，获得字符信息；
根据所述MES系统中预存的包装箱上的文本信息对所述字符信息进行合格判断，输出判断结果。
8.如权利要求7所述的工业生产监测方法，其特征在于，所述根据所述目标区域的参数与上一张目标区域图像的目标区域参数的比较结果对所述目标区域进行优化的步骤包括：
获取目标区域的高度h，并根据所获取的高度h与上一张目标区域图像中目标区域的高度h1的比较结果，对目标区域的宽度w和左上定点坐标进行对应调整。
9.如权利要求7所述的工业生产监测方法，其特征在于，所述工业生产的监测方法还包括：
对所述MES系统中预存的包装箱上的文本信息进行容错处理，并生成容错模板，以根据容错模板对所述字符信息进行合格判断，输出判断结果。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储用于工业生产的监测程序，所述监测程序被处理器执行时实现如权利要求7-9中任一项所述的监测方法。
CN202010379537.9A 2020-05-07 2020-05-07 工业生产监测方法、系统以及计算机可读存储介质 Active CN111652541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010379537.9A CN111652541B (zh) 2020-05-07 2020-05-07 工业生产监测方法、系统以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010379537.9A CN111652541B (zh) 2020-05-07 2020-05-07 工业生产监测方法、系统以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111652541A true CN111652541A (zh) 2020-09-11
CN111652541B CN111652541B (zh) 2022-11-01

Family

ID=72347977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010379537.9A Active CN111652541B (zh) 2020-05-07 2020-05-07 工业生产监测方法、系统以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111652541B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038266A (zh) * 2021-03-05 2021-06-25 青岛智动精工电子有限公司 图像处理方法、装置及电子设备
CN114321872A (zh) * 2022-01-07 2022-04-12 神华神东电力有限责任公司 锅炉保护方法及锅炉保护装置
CN112785587B (zh) * 2021-02-04 2024-05-31 上海电气集团股份有限公司 堆叠生产过程中的异物检测方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899612A (zh) * 2015-06-26 2015-09-09 信码互通（北京）科技有限公司 具有纠错功能的字符编码方法、字符解码方法及其产品
CN105260734A (zh) * 2015-10-10 2016-01-20 燕山大学 一种具有自建模功能的商品油表面激光标码识别方法
CN110222629A (zh) * 2019-06-03 2019-09-10 中冶赛迪重庆信息技术有限公司 一种钢铁场景下的包号识别方法以及包号识别系统
CN110473227A (zh) * 2019-08-21 2019-11-19 图谱未来(南京)人工智能研究院有限公司 目标跟踪方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899612A (zh) * 2015-06-26 2015-09-09 信码互通（北京）科技有限公司 具有纠错功能的字符编码方法、字符解码方法及其产品
CN105260734A (zh) * 2015-10-10 2016-01-20 燕山大学 一种具有自建模功能的商品油表面激光标码识别方法
CN110222629A (zh) * 2019-06-03 2019-09-10 中冶赛迪重庆信息技术有限公司 一种钢铁场景下的包号识别方法以及包号识别系统
CN110473227A (zh) * 2019-08-21 2019-11-19 图谱未来(南京)人工智能研究院有限公司 目标跟踪方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785587B (zh) * 2021-02-04 2024-05-31 上海电气集团股份有限公司 堆叠生产过程中的异物检测方法、系统、设备及介质
CN113038266A (zh) * 2021-03-05 2021-06-25 青岛智动精工电子有限公司 图像处理方法、装置及电子设备
CN114321872A (zh) * 2022-01-07 2022-04-12 神华神东电力有限责任公司 锅炉保护方法及锅炉保护装置
CN114321872B (zh) * 2022-01-07 2024-01-19 神华神东电力有限责任公司 锅炉保护方法及锅炉保护装置

Also Published As

Publication number Publication date
CN111652541B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN106383131B (zh) 印刷品视觉检测方法、装置和系统
JP6203084B2 (ja) 配達物区分処理システム、および配達物区分処理方法
CN110427793B (zh) 一种基于深度学习的条码检测方法及其系统
EP3008666B1 (en) Image based object classification
JP6569532B2 (ja) 管理システム、リスト作成装置、リスト作成方法、管理方法及び管理用プログラム
CN110659574A (zh) 文档图像勾选框状态识别后输出文本行内容的方法及系统
WO2010114478A1 (en) Apparatus and methods for analysing goods cartons
CN111652541B (zh) 工业生产监测方法、系统以及计算机可读存储介质
CN111597857B (zh) 一种物流包裹检测方法、装置、设备及可读存储介质
US20230133152A1 (en) Automatic Object Detection and Changeover for Quality Assurance Inspection
KR20100041177A (ko) 자동 물류 시스템 및 그 제어방법
CN112001200A (zh) 识别码识别方法、装置、设备、存储介质和系统
WO2022227103A1 (zh) 一种零部件智能检测与标签系统及方法
CN111079575B (zh) 一种基于包装图像特征的物料识别方法及系统
CN113063802A (zh) 一种印刷标签缺陷检测方法及其装置
CN113034492A (zh) 一种印刷质量缺陷检测方法、存储介质
CN210836142U (zh) 一种物流产线rfid标签识别对比系统
CN111626982A (zh) 识别待检测货箱批次码的方法和装置
JP2020024111A (ja) 検査装置および検査方法
JP2020024110A (ja) 検査装置および検査方法
CN117358615B (zh) 一种自动喷码印刷缺陷检测方法及系统
CN117745187B (zh) 基于agv的药物自动配送系统及其方法
CN113822196B (zh) 一种方便复制传播的omr运输面单制作及识别方法
US20240185596A1 (en) Device and method for checking a marking of a product
JP6802107B2 (ja) 情報処理装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant