CN112101336A - 一种基于计算机视觉的智能数据采集方式 - Google Patents

一种基于计算机视觉的智能数据采集方式 Download PDF

Info

Publication number
CN112101336A
CN112101336A CN202010938829.1A CN202010938829A CN112101336A CN 112101336 A CN112101336 A CN 112101336A CN 202010938829 A CN202010938829 A CN 202010938829A CN 112101336 A CN112101336 A CN 112101336A
Authority
CN
China
Prior art keywords
image
data acquisition
computer vision
character
mode based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010938829.1A
Other languages
English (en)
Inventor
郑会龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Cezhicheng Technology Co ltd
Original Assignee
Hangzhou Cezhicheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Cezhicheng Technology Co ltd filed Critical Hangzhou Cezhicheng Technology Co ltd
Priority to CN202010938829.1A priority Critical patent/CN112101336A/zh
Publication of CN112101336A publication Critical patent/CN112101336A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于计算机视觉的智能数据采集方式，包括以下步骤：①、图像预采集、②、图像特征匹配、③、字符识别、④、数据采集软件介入和⑤、系统调试。本方法利用图像特征匹配算法定位出图像中需要采集的字符区域，然后利用crnn算法进行字符的识别，从而实现对试验台数据的采集。该方法不需要对原试验台做改动，并且不会对生产过程产生影响，只需要在试验台前方架设摄像头用于采集试验台图像信息，增加一台图像处理服务器和摄像头组成局域网用于图像处理，开发软件可以根据工艺流程控制生产现场的数据采集。

Description

一种基于计算机视觉的智能数据采集方式
技术领域
本发明涉及一种基于计算机视觉的智能数据采集方式。
背景技术
在工业生产现场，存在大量的试验台承担着各种各样的实验任务，很多试验台的信息化程度不高，无法进行试验数据的导出，试验数据的记录都是由操作工人手动填写记录，整个试验台设备的升级改造成本高昂，并且现有设备都能正常使用，直接进行设备的升级会造成资源的极大浪费，且现场的施工改造还会影响生产进度。
发明内容
本发明目的是为了解决以上现有技术的不足，提出了一种基于计算机视觉的智能数据采集方式，
一种基于计算机视觉的智能数据采集方式，包括以下步骤：
①、图像预采集：在工业现场安装若干个网络摄像头，并将网络摄像头、图像处理服务器以及客户端电脑连接在同一网络内；
②、图像特征匹配：进行试验台所显示区域字符的定位，将采集的图像通过配准的方法变换、并保存到模板图像，根据模板图像上已知的字符区域坐标信息将采集图像的字符区域提取出来，并获得字符图像块；
③、字符识别：将采集到的大量的字符图像块，进行标注后，训练基于crnn的字符识别；
④、数据采集软件介入：通过专用的数据采集软件，以实现自动化的采集过程；
⑤、系统调试：对系统进行反复调试，直至满足需求。
优选的，所述的步骤②：图像特征匹配中具体包括：
(2-1)创建模板图像；
(2-2)记录模板图像上各个字符区域位置的坐标信息；
(2-3)将采集的图像通过特征匹配的方法变换到模板图像；
(2-4)按照记录的坐标信息将变换后的图像中字符的位置区域切割出来即可得到各个区域位置的字符图像块。
优选的，所述的步骤③：字符识别中具体包括：
(3-1)人工进行数据标注；
(3-2)将标注完成的数据划分为训练集和测试集，其中训练集用于系统训练，测试集用于系统测试；
(3-3)构建crnn网络模型并进行训练。
优选的，图像特征匹配采用AKAZE算法，通过各向异性的非线性滤波构建尺度空间，并通过改进局部差分二进制描述符(M-LDB)，结合FED构建的尺度空间梯度信息增加独特性。
优选的，构建crnn网络模型包括以下步骤：
(5-1)首先通过卷积神经网络(CNN)进行图片特征提取；
(5-2)利用循环神经网络(RNN)对序列进行预测；
(5-3)通过转录翻译层(CTC)的得到最终结果。
优选的，步骤(5-1)中构建的卷积神经网络采用的是VGG的结构。
优选的，步骤(5-2)构建的循环神经网络采用的是LSTM(long short termmemory)设计。
优选的，步骤(5-3)的转录翻译层(CTC)让RNN直接对序列数据进行学习。
有益效果：
本方法利用图像特征匹配算法定位出图像中需要采集的字符区域，然后利用crnn算法进行字符的识别，从而实现对试验台数据的采集。该方法不需要对原试验台做改动，并且不会对生产过程产生影响，只需要在试验台前方架设摄像头用于采集试验台图像信息，增加一台图像处理服务器和摄像头组成局域网用于图像处理，开发软件可以根据工艺流程控制生产现场的数据采集。
在室内光照条件变化不大的条件下，本数据采集方式的匹配准确率高达100％，其中CRNN字符识别模型的识别准确率高达99.3％。
附图说明：
图1是一种基于计算机视觉的智能数据采集方式的硬件组网方案图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
如图1所示，经硬件组网后，通过一种基于计算机视觉的智能数据采集方式的改造，使得原有的数显试验台具有智能数据采集功能，其中，智能数据采集主要包括以下步骤：
(1)试验台图像数据采集，在工业现场部署安装网络摄像头，将用于采集试验台图像的摄像头、图像处理服务器以及客户端电脑连接在一个局域网内，通过客户端电脑上的软件调用摄像头进行试验台图像采集；
(2)制作模板图，进行图像特征匹配，可以分为以下5个步骤：
(2-1)选取一张采集的试验台图像作为模版图，记录模版图中每个字符区域的中心点坐标和区域的宽度Width与高度Height，并记录为该场景的场景信息，写入内存数据库中；
(2-2)利用AKAZE算法对模板图像进行特征提取；
(2-3)利用AKAZE算法对采集的试验台图像进行特征提取；
(2-4)对两幅图像进行相似性度量找到匹配的特征点对；
(2-5)通过匹配的特征点对得到图像空间坐标变换参数，将采集的图像变换到模板图像，并根据模版图上的字符区域坐标将字符区域从采集的试验台图像上截取出来。
(3)字符识别模型训练，可以分为以下3个步骤：
(3-1)数据标注，将采集到的每张图像的名称与字符数值，保存在txt文档中；
(3-2)按照8:1:1的比例将标注完成的图像分为三份，分别作为训练集、验证集和测试集，用于训练crnn网络；
(3-3)训练CRNN字符识别网络。
(4)数据采集软件的开发，根据试验的工艺要求设计数据采集软件，实现自动化的采集过程，并具备试验数据的导出、打印等功能；
(5)系统测试及部署，主要包括以下两方面的测试：
(5-1)对软件系统各项功能进行测试；
(5-2)对图像处理算法进行测试，并计算识别准确率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于计算机视觉的智能数据采集方式，其特征在于，包括以下步骤：
①、图像预采集：在工业现场安装若干个网络摄像头，并将网络摄像头、图像处理服务器以及客户端电脑连接在同一网络内；
②、图像特征匹配：进行试验台所显示区域字符的定位，将采集的图像通过配准的方法变换、并保存到模板图像，根据模板图像上已知的字符区域坐标信息将采集图像的字符区域提取出来，并获得字符图像块；
③、字符识别：将采集到的大量的字符图像块，进行标注后，训练基于crnn的字符识别；
④、数据采集软件介入：通过专用的数据采集软件，以实现自动化的采集过程；
⑤、系统调试：对系统进行反复调试，直至满足需求。
2.根据权利要求1所述的一种基于计算机视觉的智能数据采集方式，其特征在于，所述的步骤②：图像特征匹配中具体包括：
(2-1)创建模板图像；
(2-2)记录模板图像上各个字符区域位置的坐标信息；
(2-3)将采集的图像通过特征匹配的方法变换到模板图像；
(2-4)按照记录的坐标信息将变换后的图像中字符的位置区域切割出来即可得到各个区域位置的字符图像块。
3.根据权利要求1所述的一种基于计算机视觉的智能数据采集方式，其特征在于，所述的步骤③：字符识别中具体包括：
(3-1)人工进行数据标注；
(3-2)将标注完成的数据划分为训练集和测试集，其中训练集用于系统训练，测试集用于系统测试；
(3-3)构建crnn网络模型并进行训练。
4.根据权利要求1所述的一种基于计算机视觉的智能数据采集方式，其特征在于，图像特征匹配采用AKAZE算法，通过各向异性的非线性滤波构建尺度空间，并通过改进局部差分二进制描述符(M-LDB)，结合FED构建的尺度空间梯度信息增加独特性。
5.根据权利要求3所述的一种基于计算机视觉的智能数据采集方式，其特征在于，构建crnn网络模型包括以下步骤：
(5-1)首先通过卷积神经网络(CNN)进行图片特征提取；
(5-2)利用循环神经网络(RNN)对序列进行预测；
(5-3)通过转录翻译层(CTC)的得到最终结果。
6.根据权利要求5所述的一种基于计算机视觉的智能数据采集方式，其特征在于，步骤(5-1)中构建的卷积神经网络采用的是VGG的结构。
7.根据权利要求1所述的一种基于计算机视觉的智能数据采集方式，其特征在于，步骤(5-2)构建的循环神经网络采用的是LSTM(long short termmemory)设计。
8.根据权利要求1所述的一种基于计算机视觉的智能数据采集方式，其特征在于，步骤(5-3)的转录翻译层(CTC)让RNN直接对序列数据进行学习。
CN202010938829.1A 2020-09-09 2020-09-09 一种基于计算机视觉的智能数据采集方式 Pending CN112101336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010938829.1A CN112101336A (zh) 2020-09-09 2020-09-09 一种基于计算机视觉的智能数据采集方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010938829.1A CN112101336A (zh) 2020-09-09 2020-09-09 一种基于计算机视觉的智能数据采集方式

Publications (1)

Publication Number Publication Date
CN112101336A true CN112101336A (zh) 2020-12-18

Family

ID=73751983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010938829.1A Pending CN112101336A (zh) 2020-09-09 2020-09-09 一种基于计算机视觉的智能数据采集方式

Country Status (1)

Country Link
CN (1) CN112101336A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797381A (zh) * 2022-10-20 2023-03-14 河南理工大学 基于地理分块与分层特征匹配的异源遥感影像配准方法
IT202100031409A1 (it) 2021-12-15 2023-06-15 Siaed S P A Sistema intelligente e metodo operativo per l’acquisizione digitale di documenti con calcolo di tasso di confidenza e interfacciamento su portale interattivo

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984930A (zh) * 2014-05-21 2014-08-13 南京航空航天大学 基于视觉的数字仪表识别系统及其识别方法
CN106650721A (zh) * 2016-12-28 2017-05-10 吴晓军 一种基于卷积神经网络的工业字符识别方法
CN106909941A (zh) * 2017-02-27 2017-06-30 广东工业大学 基于机器视觉的多表字符识别系统及方法
WO2019238063A1 (zh) * 2018-06-15 2019-12-19 众安信息技术服务有限公司 文本检测分析方法、装置及设备
CN111144401A (zh) * 2019-11-06 2020-05-12 华能国际电力股份有限公司海门电厂 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法
CN111259899A (zh) * 2020-01-13 2020-06-09 华中科技大学 一种喷码字符检测方法
CN111339902A (zh) * 2020-02-21 2020-06-26 北方工业大学 一种数显仪表的液晶屏示数识别方法及装置
CN111553334A (zh) * 2020-04-21 2020-08-18 招商局金融科技有限公司 问卷图像识别方法、电子装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984930A (zh) * 2014-05-21 2014-08-13 南京航空航天大学 基于视觉的数字仪表识别系统及其识别方法
CN106650721A (zh) * 2016-12-28 2017-05-10 吴晓军 一种基于卷积神经网络的工业字符识别方法
CN106909941A (zh) * 2017-02-27 2017-06-30 广东工业大学 基于机器视觉的多表字符识别系统及方法
WO2019238063A1 (zh) * 2018-06-15 2019-12-19 众安信息技术服务有限公司 文本检测分析方法、装置及设备
CN111144401A (zh) * 2019-11-06 2020-05-12 华能国际电力股份有限公司海门电厂 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法
CN111259899A (zh) * 2020-01-13 2020-06-09 华中科技大学 一种喷码字符检测方法
CN111339902A (zh) * 2020-02-21 2020-06-26 北方工业大学 一种数显仪表的液晶屏示数识别方法及装置
CN111553334A (zh) * 2020-04-21 2020-08-18 招商局金融科技有限公司 问卷图像识别方法、电子装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊海涛;龚琴;唐小利;王辰;李杨;: "基于图像识别技术的电力缴费智能核查系统", 电子世界, no. 13, pages 161 - 162 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202100031409A1 (it) 2021-12-15 2023-06-15 Siaed S P A Sistema intelligente e metodo operativo per l’acquisizione digitale di documenti con calcolo di tasso di confidenza e interfacciamento su portale interattivo
CN115797381A (zh) * 2022-10-20 2023-03-14 河南理工大学 基于地理分块与分层特征匹配的异源遥感影像配准方法
CN115797381B (zh) * 2022-10-20 2024-04-12 河南理工大学 基于地理分块与分层特征匹配的异源遥感影像配准方法

Similar Documents

Publication Publication Date Title
WO2021042505A1 (zh) 基于文字识别技术的笔记生成方法、装置和计算机设备
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN112507806B (zh) 智慧课堂信息交互方法、装置及电子设备
CN110838105A (zh) 一种业务流程模型图像识别与再构方法
CN112101336A (zh) 一种基于计算机视觉的智能数据采集方式
CN112541922A (zh) 基于数字图像的试卷布局分割方法、电子设备及存储介质
CN116052193B (zh) Rpa界面动态表格的拾取和匹配方法及系统
CN112486338A (zh) 医疗信息处理方法、装置及电子设备
CN113901933A (zh) 基于人工智能的电子发票信息抽取方法、装置及设备
CN110110622B (zh) 一种基于图像处理的医疗文本检测方法、系统和存储介质
CN116757886B (zh) 数据分析方法及分析装置
CN108053409B (zh) 一种遥感影像分割基准库自动构建方法及其系统
US10991085B2 (en) Classifying panoramic images
CN108133205B (zh) 复制图像中文本内容的方法及装置
CN115965987A (zh) 基于异构架构的表格文字结构化识别方法
CN112487774B (zh) 书写表单电子化方法、装置及电子设备
CN112487897B (zh) 笔迹内容评价方法、装置及电子设备
CN113657162A (zh) 一种基于深度学习的票据ocr识别方法
CN114238541A (zh) 敏感目标信息获取方法、装置和计算机设备
CN113628113A (zh) 一种图像拼接方法及其相关设备
CN113705157A (zh) 一种纸质作业拍照批改的方法
CN111027480A (zh) 电力部件识别方法、装置和计算机设备
CN112115949B (zh) 一种烟草证件以及订单的光学文字识别方法
CN111464743A (zh) 一种摄影构图匹配方法及系统
US20230153939A1 (en) Identifying location of shreds on an imaged form

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination