CN111507325A - 基于深度学习的工业视觉ocr识别系统及方法 - Google Patents

基于深度学习的工业视觉ocr识别系统及方法 Download PDF

Info

Publication number
CN111507325A
CN111507325A CN202010183018.5A CN202010183018A CN111507325A CN 111507325 A CN111507325 A CN 111507325A CN 202010183018 A CN202010183018 A CN 202010183018A CN 111507325 A CN111507325 A CN 111507325A
Authority
CN
China
Prior art keywords
picture
deep learning
industrial
ocr
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010183018.5A
Other languages
English (en)
Other versions
CN111507325B (zh
Inventor
牛小明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010183018.5A priority Critical patent/CN111507325B/zh
Publication of CN111507325A publication Critical patent/CN111507325A/zh
Application granted granted Critical
Publication of CN111507325B publication Critical patent/CN111507325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明提出一种基于深度学习的工业视觉OCR识别系统及方法，属于工业视觉OCR识别领域。为解决目前工业领域里面OCR检测与识别的方法无法高效兼顾工业视觉中的大、小视野的问题，本发明包括：通过PLC控制信号源向图像采集装置发送控制信号；当通过图像采集装置接收到所述控制信号时，对待拍照区域进行拍照并将拍照得到的图片传输到上位机，所述图片中至少包含ROI区域，所述ROI区域中至少包含待检测的OCR块和/或序列；通过上位机实时获取图像采集装置的图片，并基于ROI区域判断图片的视野范围大小，根据判断出的视野范围大小进行任务调度，选择相应的端到端的检测与识别方法，定位并选择出图片中的待识别内容。

Description

基于深度学习的工业视觉OCR识别系统及方法
技术领域
本发明涉及工业视觉OCR识别领域，特别涉及一种基于深度学习的工业视觉OCR识别系统及方法。
背景技术
工业视觉OCR识别广泛应用于生产制造过程中，比如在产品生产之后，需要打上生产日期标签，此时OCR识别的作用是用于判别当前张贴的生产日期标签是否是符合规定的；另外，在产品外包装箱上面需要印上该产品的字符LOGO，这些LOGO是否符合规定，也可以通过工业OCR识别来进行判别，等等；工业OCR识别包含装置和方法两部分内容。目前的OCR识别的专利在自然场景及在文档表格识别中应用较多，但是在工业里面的OCR识别相对较少，方法局限。
并且，工业领域里面OCR检测与识别的方法大多采用传统方法，因此受环境和光线的干扰较大；而自然场景里面的OCR检测与识别方法有的采用传统和深度学习方法混合，抗干扰性效果一般；个别端到端检测与识别网络，包含单独的文字检测网络和文字识别网络，无法高效兼顾工业视觉中的大、小视野，同时模型没有做GPU优化，因此很难直接应用于工业领域中。
发明内容
本发明的目的是提供一种基于深度学习的工业视觉OCR识别系统及方法，解决目前工业领域里面OCR检测与识别的方法无法高效兼顾工业视觉中的大、小视野的问题。
本发明解决其技术问题，采用的技术方案是：基于深度学习的工业视觉OCR识别系统，包括PLC控制信号源、图像采集装置和上位机，所述PLC控制信号源通过图像采集装置与上位机连接；
所述PLC控制信号源，用于向图像采集装置发送控制信号；
所述图像采集装置，用于当接收到所述控制信号时，对待拍照区域进行拍照并将拍照得到的图片传输到上位机，所述图片中至少包含ROI区域，所述ROI区域中至少包含待检测的OCR块和/或序列；
所述上位机，用于实时获取图像采集装置的图片，并基于ROI区域判断图片的视野范围大小，根据判断出的视野范围大小进行任务调度，选择相应的端到端的检测与识别方法，定位并选择出图片中的待识别内容。
进一步，所述基于ROI区域判断图片的视野范围大小过程中，若图片中仅包含ROI区域，则该图片为小视野范围的图片，若图片中除了包含ROI区域，还包含其它的文字区域，则该图片为大视野范围的图片。
进一步，针对小视野范围的图片，采用弱监督式端到端检测与识别方法，检测和识别采用一个深度学习网络，只标注待识别的内容，不标注待检测OCR块/序列的位置，定位并选择出图片中的待识别内容，针对大视野范围的图片，先通过轻量型的端到端检测与识别方法，定位并检测出待识别ROI区域，然后再通过弱监督式端到端的检测与识别方法，定位并选择出图片中的待识别内容。
进一步，在CPU类型的工控机上运行所述深度学习网络，并对该深度学习模型进行优化。
进一步，所述图像采集装置为工业相机。
进一步，定位并选择出图片中的待识别内容后，对识别结果进行输出并实时展示，通过显示屏对识别结果进行实时展示。
进一步，所述系统还包括光源，用于当待拍照区域光照强度不足时，对待拍照区域进行光照强度进行加强。
基于深度学习的工业视觉OCR识别方法，应用于所述的基于深度学习的工业视觉OCR识别系统，包括如下步骤：
步骤1、通过PLC控制信号源向图像采集装置发送控制信号；
步骤2、当通过图像采集装置接收到所述控制信号时，对待拍照区域进行拍照并将拍照得到的图片传输到上位机，所述图片中至少包含ROI区域，所述ROI区域中至少包含待检测的OCR块和/或序列；
步骤3、通过上位机实时获取图像采集装置的图片，并基于ROI区域判断图片的视野范围大小，根据判断出的视野范围大小进行任务调度，选择相应的端到端的检测与识别方法，定位并选择出图片中的待识别内容。
进一步，步骤3中，所述基于ROI区域判断图片的视野范围大小过程中，若图片中仅包含ROI区域，则该图片为小视野范围的图片，若图片中除了包含ROI区域，还包含其它的文字区域，则该图片为大视野范围的图片。
进一步，针对小视野范围的图片，采用弱监督式端到端检测与识别方法，检测和识别采用一个深度学习网络，只标注待识别的内容，不标注待检测OCR块/序列的位置，定位并选择出图片中的待识别内容，针对大视野范围的图片，先通过轻量型的端到端检测与识别方法，定位并检测出待识别ROI区域，然后再通过弱监督式端到端的检测与识别方法，定位并选择出图片中的待识别内容。
本发明的有益效果是，通过上述基于深度学习的工业视觉OCR识别系统及方法，上位机软件可根据工业图像视野范围大小，采用任务调度模式，选择合理的端到端检测与识别流程。并且，针对小视野范围的图片，本申请采用了一种弱监督式端到端检测与识别方法，检测和识别采用一个网络，只需标注识别的内容，不需要标注待检测OCR块/序列的位置，节约了标注和训练的时间，针对大视野范围的图片，可先通过轻量型的端到端检测算法，定位并检测出待识别ROI区域，然后再通过弱监督式端到端的检测与识别模块。
附图说明
图1为本发明实施例中深度学习工业OCR识别方法及装置的系统框图；
图2为本发明实施例中深度学习工业视觉OCR定位及识别流程图；
图3为本发明实施例中工业OCR文字区域块和/或序列检测训练及推理框图；
图4为本发明实施例中弱监督端到端工业OCR识别训练及推理框图；
图5为本发明实施例中深度学习工业OCR识别整体流程图；
图6为本发明实施例中深度学习工业OCR识别系统具体实施流程图。
具体实施方式
下面结合实施例及附图，详细描述本发明的技术方案。
本发明所述基于深度学习的工业视觉OCR识别系统，包括PLC控制信号源、图像采集装置和上位机，所述PLC控制信号源通过图像采集装置与上位机连接。
上述系统中，所述PLC控制信号源，用于向图像采集装置发送控制信号；所述图像采集装置，用于当接收到所述控制信号时，对待拍照区域进行拍照并将拍照得到的图片传输到上位机，所述图片中至少包含ROI区域，所述ROI区域中至少包含待检测的OCR块和/或序列；所述上位机，用于实时获取图像采集装置的图片，并基于ROI区域判断图片的视野范围大小，根据判断出的视野范围大小进行任务调度，选择相应的端到端的检测与识别方法，定位并选择出图片中的待识别内容。
上述系统中，所述基于ROI区域判断图片的视野范围大小过程中，若图片中仅包含ROI区域，则该图片为小视野范围的图片，若图片中除了包含ROI区域，还包含其它的文字区域，则该图片为大视野范围的图片。
针对小视野范围的图片，采用弱监督式端到端检测与识别方法，检测和识别采用一个深度学习网络，只标注待识别的内容，不标注待检测OCR块/序列的位置，定位并选择出图片中的待识别内容，针对大视野范围的图片，先通过轻量型的端到端检测与识别方法，定位并检测出待识别ROI区域，然后再通过弱监督式端到端的检测与识别方法，定位并选择出图片中的待识别内容。
并且，一般情况下，深度学习网络需要借助GPU来进行训练(数据量较大、模型参数较大)；为了获取实时效果的推理过程，一般也需要借助于GPU显卡来完成推理，而在工业环境中为了节约成本以及获取更好的系统稳定性，目前采用GPU的方式较少，因此本申请又对GPU深度学习模型进行了优化，推理过程可直接在CPU类型的工控机上运行所述深度学习网络，并对该深度学习模型进行优化，节约了成本。
实际应用中，所述图像采集装置优选为工业相机。并且，定位并选择出图片中的待识别内容后，对识别结果进行输出并实时展示，这里，可以优选通过显示屏对识别结果进行实时展示。
另外，所述系统还可以包括光源，用于当待拍照区域光照强度不足时，对待拍照区域进行光照强度进行加强，便于工业相机的拍摄到清晰的图片。
同时，本申请还提出一种基于深度学习的工业视觉OCR识别方法，应用于所述的基于深度学习的工业视觉OCR识别系统，包括如下步骤：
步骤1、通过PLC控制信号源向图像采集装置发送控制信号。
步骤2、当通过图像采集装置接收到所述控制信号时，对待拍照区域进行拍照并将拍照得到的图片传输到上位机，所述图片中至少包含ROI区域，所述ROI区域中至少包含待检测的OCR块和/或序列。
步骤3、通过上位机实时获取图像采集装置的图片，并基于ROI区域判断图片的视野范围大小，根据判断出的视野范围大小进行任务调度，选择相应的端到端的检测与识别方法，定位并选择出图片中的待识别内容。
步骤3中，所述基于ROI区域判断图片的视野范围大小过程中，若图片中仅包含ROI区域，则该图片为小视野范围的图片，若图片中除了包含ROI区域，还包含其它的文字区域，则该图片为大视野范围的图片。
针对小视野范围的图片，采用弱监督式端到端检测与识别方法，检测和识别采用一个深度学习网络，只标注待识别的内容，不标注待检测OCR块/序列的位置，定位并选择出图片中的待识别内容，针对大视野范围的图片，先通过轻量型的端到端检测与识别方法，定位并检测出待识别ROI区域，然后再通过弱监督式端到端的检测与识别方法，定位并选择出图片中的待识别内容。
实施例
本发明实施例的基于深度学习的工业视觉OCR识别系统及方法中，通过该系统可对工业领域产品表面的OCR图像进行精确的定位和准确的识别，深度学习工业OCR识别系统具体实施流程图见附图6。
具体应用过程中，该方法包括如下步骤：
S1:系统主要包含硬件(工业相机、光源、上位机、PLC控制信号源)和上位机软件两部分；PLC控制信号源发出控制信号给工业相机，工业相机拍照并将图片传输给上位机进行定位与识别，并对识别结果进行输出以及显示屏实时展示，深度学习工业OCR识别方法及装置的系统框图见附图1，深度学习工业OCR识别整体流程图见附图5。
其中，上位机软件是链接工业视觉OCR识别装置与方法的枢纽。上位机软件包含以下几部分：与相机的通信模块，实时获取相机的图像数据；任务调度模块，用于根据大、小视野进行任务调度；当图片为大视野范围的图片时：工业OCR文字区域块和/或序列检测推理模块的集成与封装、弱监督端到端工业OCR识别模块的集成与封装，当图片为小视野范围的图片时：弱监督端到端工业OCR识别模块的集成与封装；最后，对工业视觉OCR检测与识别结果的展示及反馈。
S2:方法主要包括：
相机的安放位置、焦距的设置以及拍摄的物体大小决定了ROI区域在图片中的大小，从而会导致两种情况出现：一是整张图片只包含ROI文字区域块和/或序列(小视野)；二是图片除了ROI文字区域块和/或序列之外，还有其它的文字区域块和/或序列(大视野)；因此，深度学习的工业视觉OCR定位及识别方法包含大视野识别流程和小视野识别流程两种模式。其中大视野识别流程是工业OCR文字区域块和/或序列检测和弱监督端到端工业OCR识别两部分的串联；小视野识别流程即弱监督的端到端工业OCR识别。深度学习工业视觉OCR定位及识别流程图见附图2；其中，S2内容主要包含如下：
S21:工业视觉OCR识别样本集的制作：
1)工业视觉ROI文字区域块和/或序列检测样本集制作：
该样本集应用于大视野场景；工业视觉ROI文字区域块/序列检测样本集分为三类：训练集、验证集和测试集；其中，训练集、验证集和测试集分别含有图像原始文件和ground truth文件(即：记录每张图片的ROI文字区域块和/或序列位置)。采集后的图像样本可进行不同尺度的平移、旋转、加噪、透视变换，增加背光、逆光干扰，目的是为了增加样本集的数量和样本的泛化性能，避免模型过拟合，增强模型的鲁棒性。
2)弱监督端到端工业OCR识别样本集制作：
该样本集应用于大视野和小视野两种场景：弱监督端到端工业OCR识别样本集分为三类：训练集、验证集和测试集；其中，训练集、验证集和测试集分别含有图像原始文件和ground truth文件(即：记录每张图片实际包含的字符序列真实内容，不需要记录ROI文字区域块和/或序列的位置)。采集后的图像样本可进行不同尺度的平移、旋转、加噪、透视变换，增加背光、逆光干扰，目的是为了增加样本集的数量和样本的泛化性能；同时，可利用数据生成方式对汉字及汉字序列进行自动图像生成，增加样本集的数量和样本的泛化性能；避免模型过拟合，增强模型的鲁棒性。
S22：工业视觉OCR检测及识别：
其中，大视野OCR识别流程具体为：
大视野识别流程是工业OCR文字区域块和/或序列检测和弱监督端到端工业OCR识别两部分的串联；工业图像首先经过工业OCR文字区域块和/或序列检测，将ROI文字区域块和/或序列检测检测出来，然后送入弱监督端到端工业识别模块中；该网络结构属于端到端类型，不需要对图像做预处理。工业OCR文字区域块和/或序列检测模块采用轻量型检测网络，易于工业移植使用；其深度学习网络不限于MobileNet、ShuffleNet、Thunder Net、DenseNet、PeleeNet、SqueezeNet等，工业OCR文字区域块和/或序列检测训练及推理框图见附图3。弱监督端到端工业OCR识别属于端到端网络，ground truth文件中只记录了文字块/序列的具体内容，不需要包含文字块/序列的具体位置，标签制作相对容易；其深度学习网络不仅限于MORAN网络，弱监督端到端工业OCR识别训练及推理框图见附图4。
其中，小视野OCR识别流程具体为：
小视野识别流程即弱监督的端到端工业OCR识别；与大视野识别流程的第二部分网络结构相同，训练和推理过程也一致，其深度学习网络不仅限于MORAN网络。
S23：深度学习模型优化：
由于训练数据样本集较大，网络模型复杂，通常采用GPU或GPU集群进行训练；训练后的模型若想得到较好的推理速度，通常借助GPU运行；工业中使用的工控机大多采用CPU，目前自带GPU显卡的很少，因为其成本和稳定性原因，因此，需要对GPU的深度学习推理模型进行优化，以在CPU类型的工控机上取得较好的运行效果。针对CPU的类型，目前主要分类两类优化，一个是针对Intel类型的CPU工控机对深度学习模型优化；一类是针对ARM类型的CPU工控机对深度学习模型优化。
基于Intel类型的CPU工控机，借助OpenVINO等工具对GPU深度学习模型进行优化；基于ARM类型的CPU工控机，借助NCNN、TVM等工具对GPU深度学习模型进行优化；模型优化过程不仅限于剪枝、量化等。
本实施例中：
(1)针对Intel类型CPU工控机，基于OpenVINO对GPU深度学习推理模型优化以tensorflow训练好的推理模型为例，优化流程如下：
a、为使用的训练框架配置Model Optimizer；
b、生成优化的Intermediate Representation(IR)文件；
c、使用Inference Engine测试IR格式的模型；
d、在目标环境集成Inference Engine到自己的应用中。
(2)针对ARM类型CPU工控机，基于NCNN对GPU深度学习推理模型优化，优化流程如下：
a、从github上下载ncnn源码，并进行编译；
b、以caffe模型为例，准备caffe网络和模型；比如，经过训练后得到的模型及文件deploy.prototxt，alexnet.caffemodel；
c、终端进入ncnn/build/tools目录，执行“./caffe2ncnn deplpy.prototxtalexnet.caffemodel alexnet.param alexnet.bin”，得到优化后的param和bin文件；
d、集成优化后的文件到自己的应用中。
综上所述，本实施例可通过上位机软件根据工业图像视野范围大小，采用任务调度模式，选择合理的端到端检测与识别流程。其次，针对小视野(工业相机拍照的图像中仅包含待检测的OCR块/序列)，采用了一种弱监督式端到端检测与识别方法，检测和识别采用一个网络，只需标注识别的内容，不需要标注待检测OCR块/序列的位置，节约了标注和训练的时间；针对大视野(工业相机拍照的图像中，除了待识别的文字块/序列，还有其它的文字区域)，可先通过轻量型的端到端检测算法，定位并检测出待识别ROI区域，然后再通过弱监督式端到端的检测与识别模块；由于没有传统图像预处理过程，对光线及环境的干扰，有较好的鲁棒性，而且识别过程可选用弱监督式的MORAN算法，因此对弯曲的文本仍然具有较好的识别效果。最后，深度学习网络需要借助GPU来进行训练(数据量较大、模型参数较大)；为了获取实时效果的推理过程，一般也需要借助于GPU显卡来完成推理，而在工业环境中为了节约成本以及获取更好的系统稳定性，目前采用GPU的方式较少，因此本专利又对GPU深度学习模型进行了优化，推理过程可直接使用普通CPU机器进行运行，节约了成本。

Claims (10)

1.基于深度学习的工业视觉OCR识别系统，其特征在于，包括PLC控制信号源、图像采集装置和上位机，所述PLC控制信号源通过图像采集装置与上位机连接；
所述PLC控制信号源，用于向图像采集装置发送控制信号；
所述图像采集装置，用于当接收到所述控制信号时，对待拍照区域进行拍照并将拍照得到的图片传输到上位机，所述图片中至少包含ROI区域，所述ROI区域中至少包含待检测的OCR块和/或序列；
所述上位机，用于实时获取图像采集装置的图片，并基于ROI区域判断图片的视野范围大小，根据判断出的视野范围大小进行任务调度，选择相应的端到端的检测与识别方法，定位并选择出图片中的待识别内容。
2.根据权利要求1所述的基于深度学习的工业视觉OCR识别系统，其特征在于，所述基于ROI区域判断图片的视野范围大小过程中，若图片中仅包含ROI区域，则该图片为小视野范围的图片，若图片中除了包含ROI区域，还包含其它的文字区域，则该图片为大视野范围的图片。
3.根据权利要求2所述的基于深度学习的工业视觉OCR识别系统，其特征在于，针对小视野范围的图片，采用弱监督式端到端检测与识别方法，检测和识别采用一个深度学习网络，只标注待识别的内容，不标注待检测OCR块/序列的位置，定位并选择出图片中的待识别内容，针对大视野范围的图片，先通过轻量型的端到端检测与识别方法，定位并检测出待识别ROI区域，然后再通过弱监督式端到端的检测与识别方法，定位并选择出图片中的待识别内容。
4.根据权利要求3所述的基于深度学习的工业视觉OCR识别系统，其特征在于，在CPU类型的工控机上运行所述深度学习网络，并对该深度学习模型进行优化。
5.根据权利要求1所述的基于深度学习的工业视觉OCR识别系统，其特征在于，所述图像采集装置为工业相机。
6.根据权利要求1所述的基于深度学习的工业视觉OCR识别系统，其特征在于，定位并选择出图片中的待识别内容后，对识别结果进行输出并实时展示，通过显示屏对识别结果进行实时展示。
7.根据权利要求1-6任意一项所述的基于深度学习的工业视觉OCR识别系统，其特征在于，所述系统还包括光源，用于当待拍照区域光照强度不足时，对待拍照区域进行光照强度进行加强。
8.基于深度学习的工业视觉OCR识别方法，应用于权利要求1-7任意一项所述的基于深度学习的工业视觉OCR识别系统，其特征在于，包括如下步骤：
步骤1、通过PLC控制信号源向图像采集装置发送控制信号；
步骤2、当通过图像采集装置接收到所述控制信号时，对待拍照区域进行拍照并将拍照得到的图片传输到上位机，所述图片中至少包含ROI区域，所述ROI区域中至少包含待检测的OCR块和/或序列；
步骤3、通过上位机实时获取图像采集装置的图片，并基于ROI区域判断图片的视野范围大小，根据判断出的视野范围大小进行任务调度，选择相应的端到端的检测与识别方法，定位并选择出图片中的待识别内容。
9.根据权利要求8所述的基于深度学习的工业视觉OCR识别方法，其特征在于，步骤3中，所述基于ROI区域判断图片的视野范围大小过程中，若图片中仅包含ROI区域，则该图片为小视野范围的图片，若图片中除了包含ROI区域，还包含其它的文字区域，则该图片为大视野范围的图片。
10.根据权利要求9所述的基于深度学习的工业视觉OCR识别方法，其特征在于，针对小视野范围的图片，采用弱监督式端到端检测与识别方法，检测和识别采用一个深度学习网络，只标注待识别的内容，不标注待检测OCR块/序列的位置，定位并选择出图片中的待识别内容，针对大视野范围的图片，先通过轻量型的端到端检测与识别方法，定位并检测出待识别ROI区域，然后再通过弱监督式端到端的检测与识别方法，定位并选择出图片中的待识别内容。
CN202010183018.5A 2020-03-16 2020-03-16 基于深度学习的工业视觉ocr识别系统及方法 Active CN111507325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010183018.5A CN111507325B (zh) 2020-03-16 2020-03-16 基于深度学习的工业视觉ocr识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010183018.5A CN111507325B (zh) 2020-03-16 2020-03-16 基于深度学习的工业视觉ocr识别系统及方法

Publications (2)

Publication Number Publication Date
CN111507325A true CN111507325A (zh) 2020-08-07
CN111507325B CN111507325B (zh) 2023-04-07

Family

ID=71874086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010183018.5A Active CN111507325B (zh) 2020-03-16 2020-03-16 基于深度学习的工业视觉ocr识别系统及方法

Country Status (1)

Country Link
CN (1) CN111507325B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973292A (zh) * 2022-07-29 2022-08-30 山东矩阵软件工程股份有限公司 一种基于不规则表面的文字识别方法、系统及存储介质
CN115631499A (zh) * 2022-09-28 2023-01-20 武汉安屏技术有限公司 一种基于机器视觉的钳形表液晶屏字符自动识别方法及系统
CN117292370A (zh) * 2023-11-23 2023-12-26 合肥天帷信息安全技术有限公司 一种图标字符的识别方法及装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761328A (en) * 1995-05-22 1998-06-02 Solberg Creations, Inc. Computer automated system and method for converting source-documents bearing alphanumeric text relating to survey measurements
CN101561316A (zh) * 2009-05-15 2009-10-21 江苏大学 一种基于感兴趣区域(roi)的在线检测视觉数据处理系统
US20160034773A1 (en) * 2014-08-04 2016-02-04 Datalogic ADC, Inc. Robust industrial optical character recognition
CN105701476A (zh) * 2016-02-04 2016-06-22 合肥泰禾光电科技股份有限公司 一种基于机器视觉的生产线产品自动化识别系统及方法
US9911033B1 (en) * 2016-09-05 2018-03-06 International Business Machines Corporation Semi-supervised price tag detection
CN108062301A (zh) * 2016-11-08 2018-05-22 希思特兰国际 文字翻译方法及其装置
US20180157386A1 (en) * 2016-12-05 2018-06-07 Jiawen Su System and Method for detection, exploration, and interaction of graphic application interface
CN108288037A (zh) * 2018-01-19 2018-07-17 深圳禾思众成科技有限公司 一种轮胎标码识别系统
CN108322788A (zh) * 2018-02-09 2018-07-24 武汉斗鱼网络科技有限公司 一种视频直播中的广告展示方法及装置
CN109101906A (zh) * 2018-07-27 2018-12-28 中国南方电网有限责任公司超高压输电公司贵阳局 一种变电站电力设备红外图像异常实时检测方法及装置
CN109508676A (zh) * 2018-11-14 2019-03-22 武汉万安智能技术有限公司 一种逻辑电路图信息提取的机器视觉检测算法
CN109844886A (zh) * 2016-08-11 2019-06-04 录象射流技术公司 具有多级生产打印检查的打印机设备、打印机标记系统以及方法
CN110116415A (zh) * 2019-06-12 2019-08-13 中北大学 一种基于深度学习的瓶罐类垃圾识别分类机器人
CN110473806A (zh) * 2019-07-13 2019-11-19 河北工业大学 光伏电池分拣的深度学习识别与控制方法及装置
CN110613480A (zh) * 2019-01-14 2019-12-27 广州爱孕记信息科技有限公司 基于深度学习的胎儿超声动态影像检测方法及系统
CN110738127A (zh) * 2019-09-19 2020-01-31 福建师范大学福清分校 基于无监督深度学习神经网络算法的安全帽识别方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761328A (en) * 1995-05-22 1998-06-02 Solberg Creations, Inc. Computer automated system and method for converting source-documents bearing alphanumeric text relating to survey measurements
CN101561316A (zh) * 2009-05-15 2009-10-21 江苏大学 一种基于感兴趣区域(roi)的在线检测视觉数据处理系统
US20160034773A1 (en) * 2014-08-04 2016-02-04 Datalogic ADC, Inc. Robust industrial optical character recognition
CN105701476A (zh) * 2016-02-04 2016-06-22 合肥泰禾光电科技股份有限公司 一种基于机器视觉的生产线产品自动化识别系统及方法
CN109844886A (zh) * 2016-08-11 2019-06-04 录象射流技术公司 具有多级生产打印检查的打印机设备、打印机标记系统以及方法
US20190220971A1 (en) * 2016-08-11 2019-07-18 Videojet Technologies Inc. Printer device, printer marking system and method with multi-stage production print inspection
US9911033B1 (en) * 2016-09-05 2018-03-06 International Business Machines Corporation Semi-supervised price tag detection
CN108062301A (zh) * 2016-11-08 2018-05-22 希思特兰国际 文字翻译方法及其装置
US20180157386A1 (en) * 2016-12-05 2018-06-07 Jiawen Su System and Method for detection, exploration, and interaction of graphic application interface
CN108288037A (zh) * 2018-01-19 2018-07-17 深圳禾思众成科技有限公司 一种轮胎标码识别系统
CN108322788A (zh) * 2018-02-09 2018-07-24 武汉斗鱼网络科技有限公司 一种视频直播中的广告展示方法及装置
CN109101906A (zh) * 2018-07-27 2018-12-28 中国南方电网有限责任公司超高压输电公司贵阳局 一种变电站电力设备红外图像异常实时检测方法及装置
CN109508676A (zh) * 2018-11-14 2019-03-22 武汉万安智能技术有限公司 一种逻辑电路图信息提取的机器视觉检测算法
CN110613480A (zh) * 2019-01-14 2019-12-27 广州爱孕记信息科技有限公司 基于深度学习的胎儿超声动态影像检测方法及系统
CN110116415A (zh) * 2019-06-12 2019-08-13 中北大学 一种基于深度学习的瓶罐类垃圾识别分类机器人
CN110473806A (zh) * 2019-07-13 2019-11-19 河北工业大学 光伏电池分拣的深度学习识别与控制方法及装置
CN110738127A (zh) * 2019-09-19 2020-01-31 福建师范大学福清分校 基于无监督深度学习神经网络算法的安全帽识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JUN SUN等: "An Effective Method of Weld Defect Detection and Classification Based on Machine Vision" *
MARTIN GRAFMÜLLER等: "Performance improvement of character recognition in industrial applications using prior knowledge for more reliable segmentation" *
刘俊伯: "基于循环神经网络的光学字符识别研究" *
张瑞: "基于CNN的工业环境字符识别方法研究" *
郑志霞等: "基于机器视觉的板材表面缺陷检测方法" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973292A (zh) * 2022-07-29 2022-08-30 山东矩阵软件工程股份有限公司 一种基于不规则表面的文字识别方法、系统及存储介质
CN115631499A (zh) * 2022-09-28 2023-01-20 武汉安屏技术有限公司 一种基于机器视觉的钳形表液晶屏字符自动识别方法及系统
CN117292370A (zh) * 2023-11-23 2023-12-26 合肥天帷信息安全技术有限公司 一种图标字符的识别方法及装置

Also Published As

Publication number Publication date
CN111507325B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Zhang et al. CCTSDB 2021: a more comprehensive traffic sign detection benchmark
CN111507325B (zh) 基于深度学习的工业视觉ocr识别系统及方法
CN107256246B (zh) 基于卷积神经网络的印花织物图像检索方法
CN109801265B (zh) 一种基于卷积神经网络的实时输电设备异物检测系统
CN104093016A (zh) 一种摄像头模组脏污检测方法及系统
CN104851099A (zh) 一种基于表示学习的图像融合方法
CN110796018A (zh) 一种基于深度图像和彩色图像的手部运动识别方法
CN112668492A (zh) 一种自监督学习与骨骼信息的行为识别方法
CN108959462A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
Lin et al. Live Face Verification with Multiple Instantialized Local Homographic Parameterization.
CN112464766A (zh) 一种农田地头自动识别方法及系统
CN111767831B (zh) 用于处理图像的方法、装置、设备及存储介质
CN112040198A (zh) 一种基于图像处理的智能水表读数识别系统与方法
CN112613438A (zh) 一种便携式柑橘在线测产仪
CN116524195B (zh) 语义分割方法、装置、电子设备及存储介质
CN115760886B (zh) 基于无人机鸟瞰图的地块划分方法、装置及相关设备
CN112149690A (zh) 一种基于生物图像特征识别的溯源方法和溯源系统
CN110619297B (zh) 一种豆类植物子实图像批量采集识别方法及装置
CN109829421B (zh) 车辆检测的方法、装置及计算机可读存储介质
CN113792807B (zh) 皮肤病分类模型训练方法、系统、介质和电子设备
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
CN111768007B (zh) 用于挖掘数据的方法和装置
CN110210401B (zh) 一种弱光下的目标智能检测方法
CN117218104A (zh) 电子雷管模块外观检测方法、系统、存储介质及电子设备
CN110008993A (zh) 一种基于深度神经网络的端到端图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant