CN112990212A - 热成像温度图的读数方法、装置、电子设备和存储介质 - Google Patents
热成像温度图的读数方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112990212A CN112990212A CN202110164283.3A CN202110164283A CN112990212A CN 112990212 A CN112990212 A CN 112990212A CN 202110164283 A CN202110164283 A CN 202110164283A CN 112990212 A CN112990212 A CN 112990212A
- Authority
- CN
- China
- Prior art keywords
- text
- algorithm
- image
- thermal imaging
- temperature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000001931 thermography Methods 0.000 title claims abstract description 57
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 102100032202 Cornulin Human genes 0.000 claims abstract description 21
- 101000920981 Homo sapiens Cornulin Proteins 0.000 claims abstract description 21
- 238000013145 classification model Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 8
- 230000000750 progressive effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000013518 transcription Methods 0.000 claims description 4
- 230000035897 transcription Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000005272 metallurgy Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 20
- 238000004590 computer program Methods 0.000 description 10
- 238000012015 optical character recognition Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010310 metallurgical process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于冶金领域，公开了一种热成像温度图的读数方法、装置、电子设备和存储介质，其方法包括：通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像；通过CRNN+CTC算法训练的文本识别模型识别所述文本图像中的标签序列；基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置。通过本发明可以准确、自动识别成像图温度得到并录入其相关信息，极大的提高了成像图温度录入效率，降低了录入成本。
Description
技术领域
本发明涉及冶金领域，尤指一种热成像温度图的读数方法、装置、电子设备和存储介质。
背景技术
目前OCR识别算法已经逐渐达到成熟的时期，OCR识别技术也逐渐在各大场景中落地，比如身份证识别、银行卡识别、驾驶证识别等。而成像图温度识别的需求也逐渐在市场中显现出来，利用自动化识别热成像图温度方法来取代人工输入的方式，也越来越成为未来的趋势。
然而在冶金领域，传统的OCR识别过程由于红外相机本身的限制，会导致识别到的字体的边缘会比较模糊，影响温度的准确采集，因此无法满足冶金过程的热成像温度图的读数。
发明内容
本发明的目的是提供一种热成像温度图的读数方法、装置、电子设备和存储介质，解决上述问题。
本发明提供的技术方案如下：
一方面，提供一种热成像温度图的读数方法，包括：
通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像；
通过CRNN+CTC算法训练的文本识别模型识别所述文本图像中的标签序列；
基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置。
进一步优选的，所述通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像，包括：
通过所述文本检测模型分割所述当前热成像温度图的背景区域和文本图像；
通过所述文本检测模型中渐进的尺度扩展算法将所述文本图像分割成多个文本区域，获得包含多个文本区域的文本图像。
进一步优选的，所述通过CRNN+CTC算法训练的文本识别模型识别所述文本图像中的标签序列，包括：
通过所述文本识别模型的卷积层提取所述文本图像的特征序列；
将所述特征序列拼接输入至所述文本识别模型的循环网络，得到所述卷积层输出的特征序列的每一帧预测结果；
通过所述文本识别模型的转录层将所述每一帧预测结果转化为标签序列。
进一步优选的，在所述基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置之前，包括：
利用JieBa分词方法将所述文本图像的文本区域进行分词，得到分词数据；
利用词向量技术将所述分词数据映射成对应的词向量。
进一步优选的，所述基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置，包括：
基于所述词向量以及所述标签序列，通过所述NLP文本分类模型获得所述当前热成像温度图中的文字和文字框位置。
进一步优选的，在所述通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像之前，包括：
利用样本热成像温度图和样本标签，通过PSEnet算法训练文本检测模型。
进一步优选的，在所述通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像之前，包括：
利用样本文本图像和样本标签序列，通过CRNN+CTC算法训练的文本识别模型。
进一步优选的，在所述通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像之前，包括：
基于所述样本文本图像、所述样本标签序列、样本文字和样本文字框位置，通过TextCNN算法训练所述NLP文本分类模型。
另一方面，还提供一种热成像温度图的读数装置，包括：
检测模块，用于通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像；
识别模块，用于通过CRNN+CTC算法训练的文本识别模型识别所述文本图像中的标签序列；
获取模块，用于基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置。
一种电子设备，所述电子设备包括：
处理器；以及，存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述热成像温度图的读数方法。
一种存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述热成像温度图的读数方法所执行的操作。
本发明提供的一种热成像温度图的读数方法、装置、电子设备和存储介质至少具有以下技术效果：
通过本发明可以准确、自动识别成像图温度得到并录入其相关信息，极大的提高了成像图温度录入效率，降低了录入成本。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明：
图1是本发明的一种热成像温度图的读数方法的实施例一的示意图；
图2是本发明的文本检测模型网络结构的示意图；
图3是本发明的热成像温度图的文本检测示意图；
图4是本发明的热成像温度图的多行文本示意图；
图5是本发明的分割热成像温度图的多行文本示意图；
图6是本发明的CRNN基本网络结构图；
图7是本发明的TextCNN网络结构图；
图8是本发明的文本识别样本图像；
图9是本发明的一种热成像温度图的读数方法的实施例二的示意图；
图10是本发明的一种热成像温度图的读数装置的结构示意图；
图11是本发明的一种电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本文中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
实施例一
如图1所示，本实施例提供一种热成像温度图的读数方法，包括：
S100通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像。
具体的，传统的OCR识别过程由于红外相机本身的限制，会导致识别到的字体的边缘会比较模糊，影响温度的准确采集，因此无法满足冶金过程的热成像温度图的读数。
本实施例主要针对OCR识别场景中的热成像图温度读数识别，用于冶金过程，通过该方法识别钢包上的温度传感器的读数。钢包设置有温度传感器，用于显示温度读数。该方法通过红外相机拍摄温度传感器显示的温度读数并进行准确的识别。
示例性的，如图2所示，通过PSEnet算法实现文本检测，是利用FPN网络结构，因为FPN融合不同层的特征，也促使生成了不同的kernel尺寸。F连着n个分支，多个分割结果S1，S2…Sn。每个Si都是一个分割mask，在特定的scale上。不同分割mask的尺寸是由超参数设定的。在这些mask中，s1是最小的尺寸。为了得到这些分割mask，我们使用PSE算法来逐渐扩张所有的个体kernel从S1到完整的Sn，来获得最终的检测结果为R。
S200通过CRNN+CTC算法训练的文本识别模型识别所述文本图像中的标签序列。
具体的，如图6所示的CRNN基本网络结构图，CRNN+CTC算法是一种文字识别算法，整个CRNN网络可以分为三个部分：假设输入图像大小为(32，100，3)，注意提及图像都是(Height,Width,Channel)形式。
其中，Convlutional Layers，这里的卷积层就是一个普通的CNN网络，用于提取输入图像的Convolutional feature maps，即将大小为(32，100，3)的图像转换为(1，25，512)大小的卷积特征矩阵。
Recurrent Layers是循环网络，这里的循环网络层是一个深层双向LSTM网络，在卷积特征的基础上继续提取文字序列特征。由于CNN输出的Feature map是(1，25，512)大小，所以对于RNN最大时间长度T＝25(即有25个时间输入，每个输入x列向量有D＝512)。
Transcription Layers，将RNN输出做softmax后，为字符输出。
S300基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置。
具体的，如图7所示的TextCNN网络结构，将卷积神经网络CNN应用到文本分类任务，利用多个不同size的kernel来提取句子中的关键信息(类似于多窗口大小的ngram)，从而能够更好地捕捉局部相关性。
在本实施例中，使用该方法可以自动识别成像图温度得到并录入其相关信息，极大的提高了成像图温度录入效率，降低了录入成本。
具体的，PSEnet算法通过像素级分割发送准确分割出热成像温度图的背景区域和文本区域，并实现多行文本的精确分割。通过CRNN+CTC算法对分割后的文本区域进行精简识别，相比通用场景的近万个类别，识别精度要高，同时由于分类类别较少，极大的减少了识别的耗时。
进一步的，由于热成像图片上识别的温度文本会根据场景温度随机改变，所以采用来自图像分类的CNN模块对文本进行词义特征的提取及分类，另外经过训练学习的NLP文本分类模型可以适配复杂的场景变换。
实施例二
基于上述实施例，在本实施例中与上述实施例相同的部分就不一一赘述了，本实施例提供一种热成像温度图的读数方法，具体包括：
步骤S100所述通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像，包括：
通过所述文本检测模型分割所述当前热成像温度图的背景区域和文本图像。
示例性的，如图3所示，应用此文本检测算法主要两方面的原因：
热成像温度图背景相对复杂，温度较高的区域会受到高光影响，从而造成文本区域的误检。PSEnet算法是像素级的文本分割，可以精准的分割出哪部分像素为干扰背景，哪部分为真实文本区域。
通过所述文本检测模型中渐进的尺度扩展算法将所述文本图像分割成多个文本区域，获得包含多个文本区域的文本图像。
示例性的，如图4所示，热成像温度图会出现多行文本的情况，很容易将上下两行文本分分割为一个区域，无法将每一行文本准确分割。PSEnet渐进的尺度扩展算法完美的解决了这个问题。
示例性的，S1分割图如图5所示，其中的分割结果很明显，可以将每一行文本都很好的分割开，而以此为基础，渐进的扩展尺度，就会解决多行文本分割为一个文本区域的问题。
优选的，步骤S200所述通过CRNN+CTC算法训练的文本识别模型识别所述文本图像中的标签序列，包括：
通过所述文本识别模型的卷积层提取所述文本图像的特征序列。
将所述特征序列拼接输入至所述文本识别模型的循环网络，得到所述卷积层输出的特征序列的每一帧预测结果。
通过所述文本识别模型的转录层将所述每一帧预测结果转化为标签序列。
本发明的文本识别模块通过CRNN+CTC文本识别方法，对文本区域进行进一步的识别。
具体的，在CRNN的底部，卷积层自动从每个输入图像中提取特征序列。将得到的特征序列(所有特征图按照列进行拼接)输入到循环网络，用于对卷积层输出的特征序列的每一帧进行预测。在CRNN顶部的转录层中将循环层的每帧预测转化为标签序列。其中，CTC是为了解决神经网络lable和output不对齐的问题。
在本实施例中，由文本分割出来的区域只有热成像温度识别的文本区域，而此部分区域只涉及到以下几个字符：0,1,2,3,4,5,6,7,8,9,.,℃，>,＝,最，小，大，平，均。所以用于文本识别的输出只有上述19个字符，而不像普通文本识别需要近万个字符类别。由于类别只有十几类，相比通用场景的近万个类别，识别精度要高。同时由于分类类别较少，极大的减少了识别的耗时。
优选的，在所述基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置之前，包括：
利用JieBa分词方法将所述文本图像的文本区域进行分词，得到分词数据。
利用词向量技术将所述分词数据映射成对应的词向量。
优选的，所述基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置，包括：
基于所述词向量以及所述标签序列，通过所述NLP文本分类模型获得所述当前热成像温度图中的文字和文字框位置。
在本实施例中的NLP语义分类模块：文本识别模块使用了现有的TextCNN，TextCNN是NLP文本分类的通用方法。首先将每一行数据使用分词方法将其分词，通用分词技术例如JieBa分词，例如“河南易奇生物科技有限公司”分词为“河南易奇生物科技有限公司”；再将分词后的数据通过词向量技术(例如word2ve工具)映射成对应的词向量；在网络结构中，卷积层中卷积核只做一维滑动，宽度与词向量长度相等，高度一般取2-8的值。其中，网络也包括池化层，最终全连接和softmax做最后的分类。
具体的，由于热成像图片上识别的温度文本会根据场景温度随机改变，通过本实施例中的NLP文本分类模型实现文本分类，通过采用来自图像分类的CNN模块对文本进行词义特征的提取及分类，巧妙的将图片分类的思想迁移到文本分类的问题，另外经过训练学习的模型可以适配复杂的场景变换。
优选的，在所述通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像之前，包括：
利用样本热成像温度图和样本标签，通过PSEnet算法训练文本检测模型。
具体的，在训练阶段时，通过PSEnet算法基于样本数据训练文本检测模型，具体包括：
准备数据：
准备热成像图的数据样本，并标注数据，处理其标签为如下格式：
x1,y1,x2,y2,x3,y3,x4,y4,text
x1,y1,x2,y2,x3,y3,x4,y4,text
将准备好的图片和标签，输入到训练模块中进行训练。最终得到文本检测模型。
优选的，在所述通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像之前，包括：
利用样本文本图像和样本标签序列，通过CRNN+CTC算法训练的文本识别模型。
示例性的，如图8所示的文本识别样本图像，首先准备文本识别样本，标签格式如下：
将样本输入到CRNN+CTC网络中进行训练，得到文本识别模型。网络backbone选择densenet，因为densenet网络层数较深，识别效果更好。
优选的，在所述通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像之前，包括：
基于所述样本文本图像、所述样本标签序列、样本文字和样本文字框位置，通过TextCNN算法训练所述NLP文本分类模型，具体包括步骤：准备数据：
准备字符段，例如：
128℃，温度
大小，其他
>-25℃，温度
最大值，其他
...
将数据通过JieBa分词技术进行分词操作，再通过word2vec词向量技术将数据转化为词向量。输入到网络结构中，得到softmax输出结果，与one-hot后的标签求其损失，利用损失反向传播利用梯度下降的方式进行训练。最终得到训练好的模型。
在本实施例中，如图9、10所示，在训练上述模型后，前向阶段：
输入一张图片到系统中，首先图片经过文本检测模块，得到所有文本检测框。然后将所有检测框依次输出到文本识别模块中，得到每个文本检测框字段的识别结果。最后将每个字段输入到NLP语义分类模块中，得到热成像图温度的字段框位置及识别结果。
通过本发明使用深度学习的方法解决热成像图温度识别场景，解决了传统算法对于光照影响大的问题，并增强了算法的泛化能力。并且使用NLP语义分类来解决对应字段的识别选取，解决了传统用位置选定对应字段无法满足所有场景的问题和字段打印区域错位的问题。
同时，利用深度学习的方法自动识别热成像图温度读数，节省了传统人工输入，节省了人力时间。
实施例三
本发明还提供一种热成像温度图的读数装置，如图10所示，包括：
检测模块10，用于通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像。
识别模块20，用于通过CRNN+CTC算法训练的文本识别模型识别所述文本图像中的标签序列。
获取模块30，用于基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置。
在本实施例中，具体的，传统的OCR识别过程由于红外相机本身的限制，会导致识别到的字体的边缘会比较模糊，影响温度的准确采集，因此无法满足冶金过程的热成像温度图的读数。
示例性的，本实施例主要针对OCR识别场景中的热成像图温度读数识别，用于冶金过程，通过该方法识别钢包上的温度传感器的读数。钢包设置有温度传感器，用于显示温度读数。该方法通过红外相机拍摄温度传感器显示的温度读数并进行准确的识别。
另一方面，如图11所示，本发明提供一种电子设备100，包括处理器110、存储器120，其中，存储器120，用于存放计算机程序121；处理器110，用于执行存储器120上所存放的计算机程序121，实现上述所对应方法实施例中的方法。
所述电子设备100可以为桌上型计算机、笔记本、掌上电脑、平板型计算机、手机、人机交互屏等设备。所述电子设备100可包括，但不仅限于处理器110、存储器120。本领域技术人员可以理解，图11仅仅是电子设备100的示例，并不构成对电子设备100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，示例性的：电子设备100还可以包括输入/输出接口、显示设备、网络接入设备、通信总线、通信接口等。通信接口和通信总线，还可以包括输入/输出接口，其中，处理器110、存储器120、输入/输出接口和通信接口通过通信总线完成相互间的通信。该存储器120存储有计算机程序121，该处理器110用于执行存储器120上所存放的计算机程序121，实现上述所对应方法实施例中的方法。
所述处理器110可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器120可以是所述电子设备100的内部存储单元，示例性的：电子设备的硬盘或内存。所述存储器也可以是所述电子设备的外部存储设备，示例性的：所述电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器120还可以既包括所述电子设备100的内部存储单元也包括外部存储设备。所述存储器120用于存储所述计算机程序121以及所述电子设备100所需要的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
通信总线是连接所描述的元素的电路并且在这些元素之间实现传输。示例性的，处理器110通过通信总线从其它元素接收到命令，解密接收到的命令，根据解密的命令执行计算或数据处理。存储器120可以包括程序模块，示例性的，内核(kernel)，中间件(middleware)，应用程序编程接口(Application Programming Interface，API)和应用。该程序模块可以是有软件、固件或硬件、或其中的至少两种组成。输入/输出接口转发用户通过输入/输出接口(示例性的，感应器、键盘、触摸屏)输入的命令或数据。通信接口将所述电子设备100与其它网络设备、用户设备、网络进行连接。示例性的，通信接口可以通过有线或无线连接到网络以连接到外部其它的网络设备或用户设备。无线通信可以包括以下至少一种：无线保真(WiFi)，蓝牙(BT)，近距离无线通信技术(NFC)，全球卫星定位系统(GPS)和蜂窝通信等等。有线通信可以包括以下至少一种：通用串行总线(USB)，高清晰度多媒体接口(HDMI)，异步传输标准接口(RS-232)等等。网络可以是电信网络和通信网络。通信网络可以为计算机网络、因特网、物联网、电话网络。电子设备100可以通过通信接口连接网络，电子设备100和其它网络设备通信所用的协议可以被应用、应用程序编程接口(API)、中间件、内核和通信接口至少一个支持。
另一方面，本发明提供一种存储介质，所述存储介质中存储有至少一条指令，指令由处理器加载并执行以实现上述方法对应实施例所执行的操作。示例性的，存储介质可以是只读内存(ROM)、随机存取存储器(RAM)、只读光盘(CD-ROM)、磁带、软盘和光数据存储设备等。
它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其他的方式实现。示例性的，以上所描述的装置/电子设备实施例仅仅是示意性的，示例性的，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，示例性的，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序121发送指令给相关的硬件完成，所述的计算机程序121可存储于一存储介质中，该计算机程序121在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序121可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述存储介质可以包括：能够携带所述计算机程序121的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，示例性的，在某些司法管辖区，根据立法和专利实践，计算机可读的存储介质不包括电载波信号和电信信号。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种热成像温度图的读数方法，其特征在于，包括：
通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像；
通过CRNN+CTC算法训练的文本识别模型识别所述文本图像中的标签序列；
基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置。
2.根据权利要求1所述热成像温度图的读数方法，其特征在于，所述通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像，包括：
通过所述文本检测模型分割所述当前热成像温度图的背景区域和文本图像；
通过所述文本检测模型中渐进的尺度扩展算法将所述文本图像分割成多个文本区域，获得包含多个文本区域的文本图像。
3.根据权利要求1所述热成像温度图的读数方法，其特征在于，所述通过CRNN+CTC算法训练的文本识别模型识别所述文本图像中的标签序列，包括：
通过所述文本识别模型的卷积层提取所述文本图像的特征序列；
将所述特征序列拼接输入至所述文本识别模型的循环网络，得到所述卷积层输出的特征序列的每一帧预测结果；
通过所述文本识别模型的转录层将所述每一帧预测结果转化为标签序列。
4.根据权利要求1所述热成像温度图的读数方法，其特征在于，在所述基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置之前，包括：
利用JieBa分词方法将所述文本图像的文本区域进行分词，得到分词数据；
利用词向量技术将所述分词数据映射成对应的词向量。
5.根据权利要求4所述热成像温度图的读数方法，其特征在于，所述基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置，包括：
基于所述词向量以及所述标签序列，通过所述NLP文本分类模型获得所述当前热成像温度图中的文字和文字框位置。
6.根据权利要求1～4中任一项所述热成像温度图的读数方法，其特征在于，在所述通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像之前，包括：
利用样本热成像温度图和样本标签，通过PSEnet算法训练文本检测模型。
7.根据权利要求6所述热成像温度图的读数方法，其特征在于，在所述通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像之前，包括：
利用样本文本图像和样本标签序列，通过CRNN+CTC算法训练的文本识别模型。
8.根据权利要求6所述热成像温度图的读数方法，其特征在于，在所述通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像之前，包括：
基于所述样本文本图像、所述样本标签序列、样本文字和样本文字框位置，通过TextCNN算法训练所述NLP文本分类模型。
9.一种热成像温度图的读数装置，其特征在于，包括：
检测模块，用于通过PSEnet算法训练的文本检测模型定位当前热成像温度图的文本图像；
识别模块，用于通过CRNN+CTC算法训练的文本识别模型识别所述文本图像中的标签序列；
获取模块，用于基于所述文本图像的标签序列，利用TextCNN算法训练得到的NLP文本分类模型获取所述当前热成像温度图的文字和文字框位置。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；以及，存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1～8中任一项所述热成像温度图的读数方法。
11.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1～8中任一项所述热成像温度图的读数方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110164283.3A CN112990212A (zh) | 2021-02-05 | 2021-02-05 | 热成像温度图的读数方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110164283.3A CN112990212A (zh) | 2021-02-05 | 2021-02-05 | 热成像温度图的读数方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112990212A true CN112990212A (zh) | 2021-06-18 |
Family
ID=76348389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110164283.3A Pending CN112990212A (zh) | 2021-02-05 | 2021-02-05 | 热成像温度图的读数方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990212A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642582A (zh) * | 2021-08-13 | 2021-11-12 | 中国联合网络通信集团有限公司 | 电表读数识别方法、装置、电子设备和存储介质 |
| CN115330829A (zh) * | 2022-10-14 | 2022-11-11 | 冰轮智慧新能源技术(山东)有限公司 | 一种秸秆气化炉气化反应异常识别方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011145817A (ja) * | 2010-01-13 | 2011-07-28 | Hitachi Ltd | 作業実績収集システムおよび作業実績収集方法 |
| CN107818320A (zh) * | 2017-10-27 | 2018-03-20 | 国网四川省电力公司德阳供电公司 | 基于开源ocr技术变电设备红外图像数值的识别方法 |
| CN110059694A (zh) * | 2019-04-19 | 2019-07-26 | 山东大学 | 电力行业复杂场景下的文字数据的智能识别方法 |
| CN111090990A (zh) * | 2019-12-10 | 2020-05-01 | 中电健康云科技有限公司 | 一种医疗体检报告单文字识别及纠正方法 |
| CN111291629A (zh) * | 2020-01-17 | 2020-06-16 | 平安医疗健康管理股份有限公司 | 图像中文本的识别方法、装置、计算机设备及计算机存储介质 |
| CN111522951A (zh) * | 2020-04-26 | 2020-08-11 | 成都思维世纪科技有限责任公司 | 一种基于图像识别的敏感数据识别与分类的技术方法 |
| CN111651601A (zh) * | 2020-06-02 | 2020-09-11 | 全球能源互联网研究院有限公司 | 用于电力信息系统的故障分类模型的训练方法及分类方法 |
| CN112016547A (zh) * | 2020-08-20 | 2020-12-01 | 上海天壤智能科技有限公司 | 基于深度学习的图像文字识别方法、系统及介质 |
-
2021
- 2021-02-05 CN CN202110164283.3A patent/CN112990212A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011145817A (ja) * | 2010-01-13 | 2011-07-28 | Hitachi Ltd | 作業実績収集システムおよび作業実績収集方法 |
| CN107818320A (zh) * | 2017-10-27 | 2018-03-20 | 国网四川省电力公司德阳供电公司 | 基于开源ocr技术变电设备红外图像数值的识别方法 |
| CN110059694A (zh) * | 2019-04-19 | 2019-07-26 | 山东大学 | 电力行业复杂场景下的文字数据的智能识别方法 |
| CN111090990A (zh) * | 2019-12-10 | 2020-05-01 | 中电健康云科技有限公司 | 一种医疗体检报告单文字识别及纠正方法 |
| CN111291629A (zh) * | 2020-01-17 | 2020-06-16 | 平安医疗健康管理股份有限公司 | 图像中文本的识别方法、装置、计算机设备及计算机存储介质 |
| CN111522951A (zh) * | 2020-04-26 | 2020-08-11 | 成都思维世纪科技有限责任公司 | 一种基于图像识别的敏感数据识别与分类的技术方法 |
| CN111651601A (zh) * | 2020-06-02 | 2020-09-11 | 全球能源互联网研究院有限公司 | 用于电力信息系统的故障分类模型的训练方法及分类方法 |
| CN112016547A (zh) * | 2020-08-20 | 2020-12-01 | 上海天壤智能科技有限公司 | 基于深度学习的图像文字识别方法、系统及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘树春，等: "深度实践OCR：基于深度学习的文字识别", 30 April 2020, 机械工业出版社, pages: 300 - 305 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642582A (zh) * | 2021-08-13 | 2021-11-12 | 中国联合网络通信集团有限公司 | 电表读数识别方法、装置、电子设备和存储介质 |
| CN113642582B (zh) * | 2021-08-13 | 2023-07-25 | 中国联合网络通信集团有限公司 | 电表读数识别方法、装置、电子设备和存储介质 |
| CN115330829A (zh) * | 2022-10-14 | 2022-11-11 | 冰轮智慧新能源技术(山东)有限公司 | 一种秸秆气化炉气化反应异常识别方法 |
| CN115330829B (zh) * | 2022-10-14 | 2023-01-24 | 冰轮智慧新能源技术(山东)有限公司 | 一种秸秆气化炉气化反应异常识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Singh | Practical machine learning and image processing: for facial recognition, object detection, and pattern recognition using Python | |
| CN108765278B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| CN111414906B (zh) | 纸质票据图片的数据合成与文本识别方法 | |
| CN108073910B (zh) | 用于生成人脸特征的方法和装置 | |
| CN109117781B (zh) | 多属性识别模型的建立方法、装置及多属性识别方法 | |
| CN111931664A (zh) | 混贴票据图像的处理方法、装置、计算机设备及存储介质 | |
| US20100284611A1 (en) | Image sensor and image sensing method for character recognition | |
| CN112580643B (zh) | 一种基于深度学习的车牌识别方法、装置及存储介质 | |
| US20230274566A1 (en) | Sequence recognition method and apparatus, image processing device, and storage medium | |
| KR100708130B1 (ko) | 동영상 추출장치 및 방법 | |
| CN112990212A (zh) | 热成像温度图的读数方法、装置、电子设备和存储介质 | |
| US10055668B2 (en) | Method for the optical detection of symbols | |
| CN109947989A (zh) | 用于处理视频的方法和装置 | |
| CN114170468B (zh) | 文本识别方法、存储介质及计算机终端 | |
| CN110866900A (zh) | 水体颜色识别方法及装置 | |
| CN113537189A (zh) | 手写文字识别方法、装置、设备及存储介质 | |
| CN113436222A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| CN111369431A (zh) | 图像的处理方法、装置、可读介质和电子设备 | |
| CN111476226B (zh) | 一种文本定位方法、装置及模型训练方法 | |
| CN114155540B (zh) | 基于深度学习的文字识别方法、装置、设备及存储介质 | |
| CN111353532A (zh) | 图像生成方法及装置、计算机可读存储介质、电子设备 | |
| CN113052194A (zh) | 一种基于深度学习的服装色彩认知系统及其认知方法 | |
| CN113408517B (zh) | 一种图像显示方法及装置、电子设备 | |
| EP4047547A1 (en) | Method and system for removing scene text from images | |
| CN111353536B (zh) | 图像的标注方法、装置、可读介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |