CN117612176A - 两边引脚图识别抽取方法、装置、存储介质以及设备 - Google Patents
两边引脚图识别抽取方法、装置、存储介质以及设备 Download PDFInfo
- Publication number
- CN117612176A CN117612176A CN202311407652.2A CN202311407652A CN117612176A CN 117612176 A CN117612176 A CN 117612176A CN 202311407652 A CN202311407652 A CN 202311407652A CN 117612176 A CN117612176 A CN 117612176A
- Authority
- CN
- China
- Prior art keywords
- pin
- image
- rectangular frame
- pins
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 52
- 238000010586 diagram Methods 0.000 title claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 238000005192 partition Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 26
- 238000013136 deep learning model Methods 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000003909 pattern recognition Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Character Discrimination (AREA)
Abstract
本发明属于电子元器件引脚图的图像识别处理技术领域，具体涉及两边引脚图识别抽取方法、装置、存储介质以及设备；所述方法包括对原始引脚图像进行预处理，获取预处理图像；对预处理图像进行区域划分，获取若干个包含引脚的图像分区；对所述图像分区内的引脚进行识别，获取对应引脚的字符识别结果；基于所述字符识别结果对引脚的类型进行判断，获取引脚类型判断结果；基于所述引脚类型判断结果匹配信息抽取算法模型，所述信息抽取算法模型基于所述字符识别结果抽取具有对应关系的引脚编号、引脚名称并输出为符号图所需要的引脚信息，本发明在识别准确率上有了较大的提升，能更好地从两边引脚图上抽取到电子元器件建库所需的符号图信息。
Description
技术领域
本发明属于电子元器件引脚图的图像识别处理技术领域，具体涉及两边引脚图识别抽取方法、装置、存储介质以及设备。
背景技术
电子元器件是现代电子设备的基本构成部分，其生产和使用广泛应用于各个行业，正确识别和连接至关重要。然而，在电子元器件的入库过程中，识别引脚图的准确性和效率仍然存在一些挑战。传统上，人们需要手动查阅元器件的引脚图，并进行逐一比对和连接，这种方式耗时且容易出错。随着电子元器件的种类和规模不断增加，传统的手工识别引脚图的方法已经无法满足现代化的需求，通过人眼来识别引脚图需要耗费大量的人力和时间，容易出现人为错误，且效率低下。而在引脚图中两边引脚图占有大量比例，因此，自动化的两边引脚图识别抽取技术成为一种必要的选择。
目前的技术在电子元器件入库时，引脚图识别方面仍然存在一些不足。由于电子元器件的种类繁多，每种元器件的引脚图都有其独特的特征和规则。因此，开发一个通用的引脚图识别系统是具有挑战性的。引脚图中的引脚数量众多，且形状和排列方式各异，这给识别过程带来了复杂性。当前的技术在处理复杂引脚图时可能出现误识别或漏识别的情况。
发明内容
为了克服现有技术的不足，本发明提供两边引脚图识别抽取方法、装置、存储介质以及设备，以解决现有技术的引脚图识别在处理复杂引脚图时可能出现误识别或漏识别的情况的问题。
本发明其中一方案提供了一种两边引脚图识别抽取方法，包括：
对原始引脚图像进行预处理，获取预处理图像；
对预处理图像进行区域划分，获取若干个包含引脚的图像分区；
对所述图像分区内的引脚进行识别，获取对应引脚的字符识别结果；
基于所述字符识别结果对引脚的类型进行判断，获取引脚类型判断结果；
基于所述引脚类型判断结果匹配信息抽取算法模型，所述信息抽取算法模型基于所述字符识别结果抽取具有对应关系的引脚编号、引脚名称并输出为符号图所需要的引脚信息。
在本方案中，通过对两边引脚图进行分类型处理抽取引脚编号和引脚名称，包含了电子元器件的几乎所有两边引脚图的类型，能更好地适用于电子元器件建库符号图的自动化处理。
在本发明其中一个优选方案中，所述对原始引脚图像进行预处理，获取预处理图像包括：
对原始引脚图像进行滤波去噪处理；
对去噪处理后的原始图像数据进行灰度化处理；
对灰度化处理后的原始图像数据进行图像二值化处理。
在本发明其中一个优选方案中，所述对预处理图像进行区域划分，获取若干个包含引脚的图像分区包括：
基于边缘检测算法检测所述预处理图像中的边缘信息；
由直线识别算法基于边缘信息识别矩形框，并基于所述矩形框将所述预处理图像划分为若干个图像分区；
其中，边缘检测算法可采用Canny算法、Sobel算法、Laplacian算法或Roberts算法中的任意一种或多种协同处理。
在本方案中，将输入的两边引脚图进行图像预处理以减少噪声的影响，并进行灰度化处理。然后，进行图像二值化处理，将图像转换为黑白二值图像，以便进行后续的区域划分和字符检测。
在本发明其中一个优选方案中，基于所述矩形框将所述预处理图像划分为四个图像分区，所述图像分区包括：矩形框外左边、矩形框外右边、矩形框内左边、矩形框内右边。
在本方案中，将预处理图像划分为这四个图像分区有助于进一步分析和处理图像，并且可以根据具体需求对每个图像分区进行不同的处理或分析操作。可以根据图像分区的特点和应用场景，对每个分区进行目标检测、图像增强、目标跟踪等操作，以实现更精准的图像处理任务。
在本发明其中一个优选方案中，对所述图像分区内的引脚进行识别，获取对应引脚的字符识别结果包括：
通过第一深度学习模型检测图像分区内字符的位置和数量，生成若干个对应单一引脚的检测框，并分别对每个检测框中的内容进行字符识别；
通过第二深度学习模型将字符转化成文本作为字符识别结果。
在本方案中，基于深度学习进行字符检测识别。对于每个可能包含引脚的区域，使用字符检测模型进行检测，对区域中的每个检测框使用字符识别模型进行识别。第一深度学习模型可选的为DBnet文本检测模型，第二深度学习模型是基于SVTR_LCNet轻量级文本识别网络。通过分别训练检测和识别模型，训练后的模型可以更准确地识别出引脚上的字符，并将其与预定义的字符集进行匹配。
在本发明其中一个优选方案中，所述第一深度学习模型可采用卷积神经网络构建；所述第一深度学习模型构建后通过迁移学习的方式提高泛化性，且通过大规模字符数据集进行预训练，用于缩短训练时长；
和/或，所述第二深度学习模型可采用循环神经网络或长短期记忆网络构建。
在本方案中，通过迁移学习的方式可以帮助深度学习模型在新任务上更好地泛化，即利用在源任务上学到的知识和特征来辅助目标任务的学习。迁移学习方法包括：微调(Fine-tuning)、特征提取(Feature Extraction)、预训练部分冻结(Partial Freezing)、多任务训练(Multi-Task Learning)。
以及，通过大规模字符数据集进行预训练，即使用字符数据集进行监督学习的预训练。可以将字符数据集中的每个字符视为一个目标类别，对模型进行训练。通过使用字符数据集进行预训练，模型可以学习到字符的特征表达和特定形态的上下文信息。可以更好地学习到字符的特征和上下文信息，从而加速模型在图像分区内字符位置和数量的检测任务的收敛速度。同时，预训练模型还可以减少对大规模标注数据的需求，从而缩短训练时长并节省资源成本。
在本发明其中一个优选方案中，所述基于所述字符识别结果对引脚的类型进行判断，获取引脚类型判断结果包括：
根据字符识别结果分别获取字符的文本信息、位置信息，所述文本信息包括引脚名称、引脚编号；
基于所述文本信息、所述位置信息以及引脚图的矩形框，分析所述引脚名称、所述引脚编号与所述矩形框的位置关系，根据所述位置关系输出两边引脚图类型；
其中，所述引脚类型包括：所述引脚编号在所述矩形框内，所述引脚名称在所述矩形框外；所述引脚编号和所述引脚名称都在所述矩形框外；所述引脚编号和所述引脚名称都在所述矩形框内；所述引脚编号在所述矩形框外，所述名称在所述矩形框内。
在本发明其中一个优选方案中还指出了一种两边引脚图识别抽取装置，可用于上述多个方案中任意一个所述的两边引脚图识别抽取方法，包括：
图像预处理模块，对原始引脚图像进行预处理，获取预处理图像；
区域划分模块，对预处理图像进行区域划分，获取若干个包含引脚的图像分区；
引脚字符检测识别模块，对所述图像分区内的引脚进行识别，获取对应引脚的字符识别结果；
引脚类型判断模块，基于所述字符识别结果对引脚的类型进行判断，获取引脚类型判断结果；
信息抽取模块，基于所述引脚类型判断结果匹配信息抽取算法模型，所述信息抽取算法模型基于所述字符识别结果抽取具有对应关系的引脚编号、引脚名称并输出为符号图所需要的引脚信息。
在本方案中，可以实现对输入的两边引脚图进行信息抽取。该方法可以有效地提取出两边引脚的引脚编号、引脚名称及对应关系，为后续的电子元器件建符号图库和电路设计提供支持。同时，该装置具有较高的准确性和稳定性，适用于不同类型的两边引脚图。
在本发明其中一个优选方案中还指出了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行上述多个方案中任意一个所述的两边引脚图识别抽取方法。
在本发明其中一个优选方案中还指出了一种两边引脚图识别抽取设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器上存储有可被至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理在执行时能够实现两边引脚图识别抽取方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1表示本发明其中一实施例的两边引脚图识别抽取方法的流程示意图；
图2表示本发明其中一实施例的获取预处理图像的流程示意图；
图3表示本发明其中一实施例的获取若干个包含引脚的图像分区的流程示意图；
图4表示本发明其中一实施例的获取对应引脚的字符识别结果的流程示意图；
图5表示本发明其中一实施例的获取引脚类型判断结果的流程示意图；
图6表示本发明其中一实施例的两边引脚图识别抽取设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，若全文中出现的“和/或”或者“及/或”，其含义包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
电子元器件是现代电子设备的基本构成部分，其生产和使用广泛应用于各个行业，正确识别和连接至关重要。然而，在电子元器件的入库过程中，识别引脚图的准确性和效率仍然存在一些挑战。传统上，人们需要手动查阅元器件的引脚图，并进行逐一比对和连接，这种方式耗时且容易出错。随着电子元器件的种类和规模不断增加，传统的手工识别引脚图的方法已经无法满足现代化的需求，通过人眼来识别引脚图需要耗费大量的人力和时间，容易出现人为错误，且效率低下。而在引脚图中两边引脚图占有大量比例，因此，自动化的两边引脚图识别抽取技术成为一种必要的选择。
目前的技术在电子元器件入库时，引脚图识别方面仍然存在一些不足。由于电子元器件的种类繁多，每种元器件的引脚图都有其独特的特征和规则。因此，开发一个通用的引脚图识别系统是具有挑战性的。引脚图中的引脚数量众多，且形状和排列方式各异，这给识别过程带来了复杂性。当前的技术在处理复杂引脚图时可能出现误识别或漏识别的情况。
传统的图像算法主要基于图像处理和模式识别等技术，通过提取元器件图像中的特征来实现引脚图的识别和抽取。这些方法在一些简单和规则的场景下表现良好，但是在复杂场景下存在一些问题。此外，传统算法对于不同类型的元器件需要手动调整参数，导致算法的通用性不足。然而，深度学习技术也存在一些挑战和限制。首先，深度学习算法需要大量的标注数据进行训练，而获取和标注大规模的元器件图像数据是一项耗时耗力的工作。其次，深度学习算法的模型复杂度较高，需要大量的计算资源和时间进行训练和推理，这在一些资源受限的场景下可能会成为问题。此外，深度学习算法的可解释性较差，难以解释其决策过程，这在某些应用场景下可能会引发安全和可信性的问题。
请参照图1，本发明其中一实施例提供了一种两边引脚图识别抽取方法，包括：
S10、对原始引脚图像进行预处理，获取预处理图像；
S20、对预处理图像进行区域划分，获取若干个包含引脚的图像分区；
S30、对所述图像分区内的引脚进行识别，获取对应引脚的字符识别结果；
S40、基于所述字符识别结果对引脚的类型进行判断，获取引脚类型判断结果；
S50、基于所述引脚类型判断结果匹配信息抽取算法模型，所述信息抽取算法模型基于所述字符识别结果抽取具有对应关系的引脚编号、引脚名称并输出为符号图所需要的引脚信息。
在本实施例中，通过对两边引脚图进行分类型处理抽取引脚编号和引脚名称，包含了电子元器件的几乎所有两边引脚图的类型，能更好地适用于电子元器件建库符号图的自动化处理。
请参照图2，在本发明其中一个优选实施例中，所述对原始引脚图像进行预处理，获取预处理图像包括：
S101、对原始引脚图像进行滤波去噪处理；
S102、对去噪处理后的原始图像数据进行灰度化处理；
S103、对灰度化处理后的原始图像数据进行图像二值化处理。
在本实施例中，将输入的两边引脚图进行图像预处理以减少噪声的影响，并进行灰度化处理。然后，进行图像二值化处理，将图像转换为黑白二值图像，以便进行后续的区域划分和字符检测。
请参照图3，在本发明其中一个优选实施例中，所述对预处理图像进行区域划分，获取若干个包含引脚的图像分区包括：
S201、基于边缘检测算法检测所述预处理图像中的边缘信息；
S202、由直线识别算法基于边缘信息识别矩形框，并基于所述矩形框将所述预处理图像划分为若干个图像分区；
其中，边缘检测算法可采用Canny算法、Sobel算法、Laplacian算法或Roberts算法中的任意一种或多种协同处理。
在本实施例中，使用边缘检测算法检测图像中的边缘信息。根据图像中的边缘信息，使用直线检测算法将图像分割成不同的区域，每个区域代表着一个可能包含引脚的部分，通过对区域的形状、大小和位置进行分析，筛选出可能包含引脚的区域。
在本发明其中一个优选实施例中，基于所述矩形框将所述预处理图像划分为四个图像分区，所述图像分区包括：矩形框外左边、矩形框外右边、矩形框内左边、矩形框内右边。
在本实施例中，将预处理图像划分为这四个图像分区有助于进一步分析和处理图像，并且可以根据具体需求对每个图像分区进行不同的处理或分析操作。可以根据图像分区的特点和应用场景，对每个分区进行目标检测、图像增强、目标跟踪等操作，以实现更精准的图像处理任务。
请参照图4，在本发明其中一个优选实施例中，对所述图像分区内的引脚进行识别，获取对应引脚的字符识别结果包括：
S301、通过第一深度学习模型检测图像分区内字符的位置和数量，生成若干个对应单一引脚的检测框，并分别对每个检测框中的内容进行字符识别；
S302、通过第二深度学习模型将字符转化成文本作为字符识别结果。
在本实施例中，基于深度学习进行字符检测识别。对于每个可能包含引脚的区域，使用字符检测模型进行检测，对区域中的每个检测框使用字符识别模型进行识别。第一深度学习模型可选的为DBnet文本检测模型，第二深度学习模型是基于SVTR_LCNet轻量级文本识别网络。通过分别训练检测和识别模型，训练后的模型可以更准确地识别出引脚上的字符，并将其与预定义的字符集进行匹配。
在本发明其中一个优选实施例中，所述第一深度学习模型可采用卷积神经网络构建；所述第一深度学习模型构建后通过迁移学习的方式提高泛化性，且通过大规模字符数据集进行预训练，用于缩短训练时长；
和/或，所述第二深度学习模型可采用循环神经网络或长短期记忆网络构建。
在本实施例中，采用卷积神经网络(Convolutional Neural Network，CNN)构建的深度学习模型具有以下优势：
局部感知能力：CNN通过卷积层和池化层的结构，可以有效地捕捉输入图像的局部特征。对于字符识别任务来说，每个字符的形状和结构特征都可以被CNN模型有效地提取出来。
参数共享：CNN中采用参数共享机制，即在不同位置使用相同的卷积核对输入进行卷积操作。这种参数共享使得模型的参数量大大减少，减少了过拟合的风险，同时可以提高计算效率。
多层级特征提取：CNN模型包含多个卷积层和池化层，每一层都可以将前一层提取到的特征进一步抽象和组合，形成更高级、更抽象的特征表示。这种多层级的特征提取能力可以增强模型对于复杂图像的理解和表达能力。
自动特征学习：传统的图像处理方法通常需要手动设计特征提取算法，而CNN可以通过训练自动学习最优的特征表示。通过大规模数据的训练，CNN可以学习到更加鲁棒和判别性的特征，从而提高字符识别的准确性。
可扩展性：CNN模型可以通过增加网络层数或者调整网络结构来适应不同复杂度和规模的问题。对于字符识别任务，可以通过增加网络的深度或者使用更复杂的网络结构(如ResNet、EfficientNet等)来提高识别性能。
在实施例的其中一个应用场景中，通过迁移学习的方式可以帮助深度学习模型在新任务上更好地泛化，即利用在源任务上学到的知识和特征来辅助目标任务的学习。迁移学习方法包括：微调(Fine-tuning)、特征提取(Feature Extraction)、预训练部分冻结(Partial Freezing)、多任务训练(Multi-Task Learning)。
以及，通过大规模字符数据集进行预训练，即使用字符数据集进行监督学习的预训练。可以将字符数据集中的每个字符视为一个目标类别，对模型进行训练。通过使用字符数据集进行预训练，模型可以学习到字符的特征表达和特定形态的上下文信息。可以更好地学习到字符的特征和上下文信息，从而加速模型在图像分区内字符位置和数量的检测任务的收敛速度。同时，预训练模型还可以减少对大规模标注数据的需求，从而缩短训练时长并节省资源成本。
请参照图5，在本发明其中一个优选实施例中，所述基于所述字符识别结果对引脚的类型进行判断，获取引脚类型判断结果包括：
S401、根据字符识别结果分别获取字符的文本信息、位置信息，所述文本信息包括引脚名称、引脚编号；
S402、基于所述文本信息、所述位置信息以及引脚图的矩形框，分析所述引脚名称、所述引脚编号与所述矩形框的位置关系，根据所述位置关系输出两边引脚图类型；
其中，所述引脚类型包括：所述引脚编号在所述矩形框内，所述引脚名称在所述矩形框外；所述引脚编号和所述引脚名称都在所述矩形框外；所述引脚编号和所述引脚名称都在所述矩形框内；所述引脚编号在所述矩形框外，所述名称在所述矩形框内。
在本实施例中，进行两边引脚图类型判断。根据引脚上字符的识别结果，对引脚上字符的含义进行分析和匹配，对引脚进行类型判断。根据不同的应用场景，可以将两边引脚图分为不同的类型分为引脚编号在矩形框内，名称在矩形框外；引脚编号在矩形框外，名称在矩形框内；引脚编号和引脚名称都在矩形框内；引脚编号和引脚名称都在矩形框外。最后，进行信息抽取算法。分别对每个类型，根据引脚的类型和字符识别结果，将引脚的信息提取出来并将引脚编号与引脚名称一一对应起来。可以将提取出的引脚信息保存在数据结构中，以便后续的处理和应用。
在本发明其中一个优选实施例中还指出了一种两边引脚图识别抽取装置，可用于上述多个实施例中任意一个所述的两边引脚图识别抽取方法，包括：
图像预处理模块，对原始引脚图像进行预处理，获取预处理图像；
区域划分模块，对预处理图像进行区域划分，获取若干个包含引脚的图像分区；
引脚字符检测识别模块，对所述图像分区内的引脚进行识别，获取对应引脚的字符识别结果；
引脚类型判断模块，基于所述字符识别结果对引脚的类型进行判断，获取引脚类型判断结果；
信息抽取模块，基于所述引脚类型判断结果匹配信息抽取算法模型，所述信息抽取算法模型基于所述字符识别结果抽取具有对应关系的引脚编号、引脚名称并输出为符号图所需要的引脚信息。
在本实施例中，可以实现对输入的两边引脚图进行信息抽取。该方法可以有效地提取出两边引脚的引脚编号、引脚名称及对应关系，为后续的电子元器件建符号图库和电路设计提供支持。同时，该装置具有较高的准确性和稳定性，适用于不同类型的两边引脚图。
在本发明其中一个优选实施例中还指出了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行上述多个实施例中任意一个所述的两边引脚图识别抽取方法。
在本发明其中一个优选实施例中还指出了一种两边引脚图识别抽取设备，包括：
至少一个处理器210；以及，
与所述至少一个处理器210通信连接的存储器220；其中，所述存储器220上存储有可被至少一个处理器210执行的指令，所述指令被所述至少一个处理器210执行，以使所述至少一个处理器210在执行时能够实现两边引脚图识别抽取方法。在本实施例中，所述存储器220上存储有计算机程序240。所述处理器210和所述存储器220通过通讯总线230连接。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本发明各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序待封口件的形式实现。所述计算机程序待封口件包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digitalversatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种两边引脚图识别抽取方法，其特征在于，包括：
对原始引脚图像进行预处理，获取预处理图像；
对预处理图像进行区域划分，获取若干个包含引脚的图像分区；
对所述图像分区内的引脚进行识别，获取对应引脚的字符识别结果；
基于所述字符识别结果对引脚的类型进行判断，获取引脚类型判断结果；
基于所述引脚类型判断结果匹配信息抽取算法模型，所述信息抽取算法模型基于所述字符识别结果抽取具有对应关系的引脚编号、引脚名称并输出为符号图所需要的引脚信息。
2.如权利要求1所述的两边引脚图识别抽取方法，其特征在于，所述对原始引脚图像进行预处理，获取预处理图像包括：
对原始引脚图像进行滤波去噪处理；
对去噪处理后的原始图像数据进行灰度化处理；
对灰度化处理后的原始图像数据进行图像二值化处理。
3.如权利要求1所述的两边引脚图识别抽取方法，其特征在于，所述对预处理图像进行区域划分，获取若干个包含引脚的图像分区包括：
基于边缘检测算法检测所述预处理图像中的边缘信息；
由直线识别算法基于边缘信息识别矩形框，并基于所述矩形框将所述预处理图像划分为若干个图像分区；
其中，边缘检测算法可采用Canny算法、Sobel算法、Laplacian算法或Roberts算法中的任意一种或多种协同处理。
4.如权利要求2所述的两边引脚图识别抽取方法，其特征在于，基于所述矩形框将所述预处理图像划分为四个图像分区，所述图像分区包括：矩形框外左边、矩形框外右边、矩形框内左边、矩形框内右边。
5.如权利要求1所述的两边引脚图识别抽取方法，其特征在于，对所述图像分区内的引脚进行识别，获取对应引脚的字符识别结果包括：
通过第一深度学习模型检测图像分区内字符的位置和数量，生成若干个对应单一引脚的检测框，并分别对每个检测框中的内容进行字符识别；
通过第二深度学习模型将字符转化成文本作为字符识别结果。
6.如权利要求5所述的两边引脚图识别抽取方法，其特征在于，所述第一深度学习模型可采用卷积神经网络构建；所述第一深度学习模型构建后通过迁移学习的方式提高泛化性，且通过大规模字符数据集进行预训练，用于缩短训练时长；
和/或，所述第二深度学习模型可采用循环神经网络或长短期记忆网络构建。
7.如权利要求1所述的两边引脚图识别抽取方法，其特征在于，所述基于所述字符识别结果对引脚的类型进行判断，获取引脚类型判断结果包括：
根据字符识别结果分别获取字符的文本信息、位置信息，所述文本信息包括引脚名称、引脚编号；
基于所述文本信息、所述位置信息以及引脚图的矩形框，分析所述引脚名称、所述引脚编号与所述矩形框的位置关系，根据所述位置关系输出两边引脚图类型；
其中，所述引脚类型包括：所述引脚编号在所述矩形框内，所述引脚名称在所述矩形框外；所述引脚编号和所述引脚名称都在所述矩形框外；所述引脚编号和所述引脚名称都在所述矩形框内；所述引脚编号在所述矩形框外，所述引脚名称在所述矩形框内。
8.一种两边引脚图识别抽取装置，可用于权利要求1-7任意一项的两边引脚图识别抽取方法，其特征在于，包括：
图像预处理模块，对原始引脚图像进行预处理，获取预处理图像；
区域划分模块，对预处理图像进行区域划分，获取若干个包含引脚的图像分区；
引脚字符检测识别模块，对所述图像分区内的引脚进行识别，获取对应引脚的字符识别结果；
引脚类型判断模块，基于所述字符识别结果对引脚的类型进行判断，获取引脚类型判断结果；
信息抽取模块，基于所述引脚类型判断结果匹配信息抽取算法模型，所述信息抽取算法模型基于所述字符识别结果抽取具有对应关系的引脚编号、引脚名称并输出为符号图所需要的引脚信息。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行如权利要求1-7任意一项所述的两边引脚图识别抽取方法。
10.一种两边引脚图识别抽取设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器上存储有可被至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理在执行时能够实现两边引脚图识别抽取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311407652.2A CN117612176A (zh) | 2023-10-26 | 2023-10-26 | 两边引脚图识别抽取方法、装置、存储介质以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311407652.2A CN117612176A (zh) | 2023-10-26 | 2023-10-26 | 两边引脚图识别抽取方法、装置、存储介质以及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117612176A true CN117612176A (zh) | 2024-02-27 |
Family
ID=89956920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311407652.2A Pending CN117612176A (zh) | 2023-10-26 | 2023-10-26 | 两边引脚图识别抽取方法、装置、存储介质以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117612176A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6154874A (en) * | 1998-04-17 | 2000-11-28 | Lsi Logic Corporation | Memory-saving method and apparatus for partitioning high fanout nets |
| CN109508676A (zh) * | 2018-11-14 | 2019-03-22 | 武汉万安智能技术有限公司 | 一种逻辑电路图信息提取的机器视觉检测算法 |
| CN113256598A (zh) * | 2021-06-09 | 2021-08-13 | 合肥中科星翰科技有限公司 | 一种用于芯片生产的视觉检测系统 |
| CN113485160A (zh) * | 2021-07-26 | 2021-10-08 | 中国核电工程有限公司 | 一种基于图形匹配识别的仿真建模方法及装置 |
| CN113591965A (zh) * | 2021-07-26 | 2021-11-02 | 格力电器(南京)有限公司 | 一种aoi检测图像处理方法、装置、存储介质及计算机设备 |
| CN113919279A (zh) * | 2021-12-09 | 2022-01-11 | 深圳佑驾创新科技有限公司 | 高效pcb布局方法、装置、设备及计算机可读存储介质 |
| CN114445410A (zh) * | 2022-04-11 | 2022-05-06 | 武汉飞恩微电子有限公司 | 基于图像识别的电路板检测方法、计算机及可读存储介质 |
| EP4089644A1 (en) * | 2021-05-12 | 2022-11-16 | Rakuten Group, Inc. | Image matching system |
-
2023
- 2023-10-26 CN CN202311407652.2A patent/CN117612176A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6154874A (en) * | 1998-04-17 | 2000-11-28 | Lsi Logic Corporation | Memory-saving method and apparatus for partitioning high fanout nets |
| CN109508676A (zh) * | 2018-11-14 | 2019-03-22 | 武汉万安智能技术有限公司 | 一种逻辑电路图信息提取的机器视觉检测算法 |
| EP4089644A1 (en) * | 2021-05-12 | 2022-11-16 | Rakuten Group, Inc. | Image matching system |
| CN113256598A (zh) * | 2021-06-09 | 2021-08-13 | 合肥中科星翰科技有限公司 | 一种用于芯片生产的视觉检测系统 |
| CN113485160A (zh) * | 2021-07-26 | 2021-10-08 | 中国核电工程有限公司 | 一种基于图形匹配识别的仿真建模方法及装置 |
| CN113591965A (zh) * | 2021-07-26 | 2021-11-02 | 格力电器(南京)有限公司 | 一种aoi检测图像处理方法、装置、存储介质及计算机设备 |
| CN113919279A (zh) * | 2021-12-09 | 2022-01-11 | 深圳佑驾创新科技有限公司 | 高效pcb布局方法、装置、设备及计算机可读存储介质 |
| CN114445410A (zh) * | 2022-04-11 | 2022-05-06 | 武汉飞恩微电子有限公司 | 基于图像识别的电路板检测方法、计算机及可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| HONGBING WANG 等: "Recognition of Plate Identification Numbers Using Convolution Neural Network and Character Distribution Rules", 《ISIJ INTERNATIONAL》, vol. 59, no. 11, 31 December 2019 (2019-12-31), pages 2044 - 2051 * |
| 王福亮 等: "一种基于神经网络的基板引脚图像识别方法", 《计算机工程与应用》, no. 12, 31 December 2004 (2004-12-31), pages 202 - 204 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10817741B2 (en) | Word segmentation system, method and device | |
| CN111488826B (zh) | 一种文本识别方法、装置、电子设备和存储介质 | |
| CN110598686B (zh) | 发票的识别方法、系统、电子设备和介质 | |
| CN110781885A (zh) | 基于图像处理的文本检测方法、装置、介质及电子设备 | |
| US20190279368A1 (en) | Method and Apparatus for Multi-Model Primitive Fitting based on Deep Geometric Boundary and Instance Aware Segmentation | |
| CN104573688A (zh) | 基于深度学习的移动平台烟草激光码智能识别方法及装置 | |
| CN112052813B (zh) | 染色体间易位识别方法、装置、电子设备及可读存储介质 | |
| US10423817B2 (en) | Latent fingerprint ridge flow map improvement | |
| CN108932449B (zh) | 一种基于聚类的条码二值化方法及系统 | |
| CN116311214B (zh) | 车牌识别方法和装置 | |
| CN112149754B (zh) | 一种信息的分类方法、装置、设备及存储介质 | |
| Davy et al. | Reducing anomaly detection in images to detection in noise | |
| CN111626177A (zh) | 一种pcb元件识别方法及装置 | |
| CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
| CN111758117A (zh) | 检查系统、识别系统以及学习数据生成装置 | |
| Li et al. | IC solder joint inspection via generator-adversarial-network based template | |
| US10970531B2 (en) | Digitization of industrial inspection sheets by inferring visual relations | |
| CN113033305B (zh) | 活体检测方法、装置、终端设备和存储介质 | |
| CN111199240A (zh) | 银行卡识别模型的训练方法、银行卡识别方法以及装置 | |
| US10198613B2 (en) | Latent fingerprint pattern estimation | |
| CN117612176A (zh) | 两边引脚图识别抽取方法、装置、存储介质以及设备 | |
| Chi et al. | Handwriting Recognition Based on Resnet-18 | |
| CN114119569A (zh) | 基于机器学习的成像测井图像裂缝分割与识别方法和系统 | |
| KR20190093752A (ko) | 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템 | |
| CN114898379A (zh) | 一种弯曲文本识别的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |