CN111680680A - 一种目标码定位方法、装置、电子设备及存储介质 - Google Patents
一种目标码定位方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111680680A CN111680680A CN202010517844.9A CN202010517844A CN111680680A CN 111680680 A CN111680680 A CN 111680680A CN 202010517844 A CN202010517844 A CN 202010517844A CN 111680680 A CN111680680 A CN 111680680A
- Authority
- CN
- China
- Prior art keywords
- anchor point
- target code
- point frame
- original image
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000000605 extraction Methods 0.000 claims abstract description 52
- 238000013135 deep learning Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009432 framing Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 abstract description 5
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种目标码定位方法、装置、电子设备及存储介质，属于人工智能技术领域。该方法包括：获取包含目标码的原始图像；将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置，所述坐标位置包括所述目标码所在区域的中心点横坐标、中心点纵坐标、宽、高以及旋转角度。该方法将旋转角度纳入目标码的坐标位置中，使得在进行目标码定位时，可以直接利用包含目标码的原始图像作为输入，快速定位图像中目标码的位置，输出目标码所在区域的中心点横坐标、中心点纵坐标、宽、高以及旋转角度，而无需进行去噪等预处理和角度判断、旋转等后处理，具备准确度高、实时性好的特点。
Description
技术领域
本申请属于人工智能技术领域，具体涉及一种目标码定位方法、装置、电子设备及存储介质。
背景技术
在日常生活和工业应用中,普遍使用目标码(如一维码、二维码)记录产品信息，以便回溯生产流程，诸如：零售行业、物流行业、金融行业对目标码的使用需求越来越大。目标码技术应用的关键在于定位，即通过成像设备和算法获取目标码的精确位置，然后才能进行解码。
现有的目标码定位技术仅适用于简单环境，而对于某些生产环境复杂的行业，如服装行业，包装袋中的目标码常被包装袋上的字符遮挡，二者混合在一起，很容易产生误检或漏检；此外，现有的目标码定位技术仅能使用正矩形确定位置，对于目标码有旋转的情况，无法给出最小外接矩形和目标码旋转角度。如果想要得到准确的解码结果，必须再次确定旋转角度进行目标码校正。
如上所述，现有目标码定位技术主要存在两点缺陷。第一，对复杂环境缺少泛化性和鲁棒性；第二，对于实际场景中普遍存在的目标码旋转情况，需要采用定位加角度校正这样的两步法进行精确定位，流程复杂，且会导致每个步骤的误差累积，降低定位效果。
发明内容
鉴于此，本申请的目的在于提供一种目标码定位方法、装置、电子设备及存储介质，以改善现有目标码定位技术对复杂环境缺少泛化性和鲁棒性的问题。
本申请的实施例是这样实现的：
第一方面，本申请实施例提供了一种目标码定位方法，包括：获取包含目标码的原始图像；将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置，所述坐标位置包括所述目标码所在区域的中心点横坐标、中心点纵坐标、宽、高以及旋转角度。本申请实施例中，将旋转角度纳入目标码的坐标位置中，使得在进行目标码定位时，不需要采用传统的定位加角度校正这样的两步法进行精确定位，进而使得可以直接利用包含目标码的原始图像作为输入，快速定位图像中目标码的位置，输出目标码所在区域的中心点横坐标、中心点纵坐标、宽、高以及旋转角度，而无需进行去噪等预处理和角度判断、旋转等后处理，同时，由于没有角度判断、旋转等后处理的误差累计，因此具备准确度高、实时性好的特点。
结合第一方面实施例的一种可能的实施方式，所述特征提取网络包括：顺次连接的特征提取层、区域预测层和预测区域分类层；将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置，包括：将所述原始图像输入到所述特征提取层，利用所述特征提取层从所述原始图像中提取出目标码特征，得到特征图；利用所述区域预测层在所述特征图上对所述目标码所在的区域进行预测，生成至少一个锚点框；利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的类别进行识别，并将类别为所述目标码的锚点框在所述特征图上的坐标映射回所述原始图像，得到所述目标码的坐标位置。本申请实施例中，先利用特征提取层从原始图像中提取出目标码特征，得到特征图，然后再利用区域预测层在特征图上生成至少一个锚点框，对目标码所在的区域进行预测；最后再利用预测区域分类层对每个锚点框的类别进行识别，并将类别为目标码的锚点框在特征图上的坐标映射回原始图像，即可快速完成目标码的坐标位置，而无需进行去噪等预处理和角度判断、旋转等后处理。
结合第一方面实施例的一种可能的实施方式，在利用所述区域预测层在所述特征图上对所述目标码所在的区域进行预测，生成至少一个锚点框之后，所述方法还包括:利用所述区域预测层对所述至少一个锚点框中的每个锚点框的参数进行回归，其中，每个锚点框的参数包括该锚点框的中心点横坐标、中心点纵坐标、宽、高以及旋转角度；相应地，利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的类别进行识别，包括：利用所述预测区域分类层对参数回归后的所述至少一个锚点框中的每个锚点框的类别进行识别。本申请实施例中，在利用区域预测层对特征图上对目标码所在的区域进行预测，生成至少一个锚点框之后，还利用区域预测层对每个锚点框的参数进行回归，使其接近目标码的实际位置，以提高定位的准确性。
结合第一方面实施例的一种可能的实施方式，利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的类别进行识别，并将类别为所述目标码的锚点框在所述特征图上的坐标映射回原始图像，得到所述目标码的坐标位置，包括：利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的参数进行精确回归，以及对所述至少一个锚点框中的每个锚点框的类别进行识别，并将类别为所述目标码的锚点框在所述特征图上的坐标映射回原始图像，得到所述目标码的坐标位置。本申请实施例中，在利用预测区域分类层对每个描点框的类别进行识别的同时，还对每个锚点框的参数进行精确回归，使其更加接近目标码的真实位置，同时，由于采用并行的处理方式，还可以进一步提高处理效率。
结合第一方面实施例的一种可能的实施方式，利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的类别进行识别，并将类别为所述目标码的锚点框在所述特征图上的坐标映射回原始图像，得到所述目标码的坐标位置，包括：利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的参数进行精确回归，并对参数回归后的每个锚点框的类别进行识别，将类别为所述目标码的锚点框在所述特征图上的坐标映射回原始图像，得到所述目标码的坐标位置。本申请实施例中，在利用预测区域分类层对每个描点框的类别进行识别之前，先对每个锚点框的参数进行精确回归，使其更加接近目标码的真实位置，然后再对参数回归后的每个锚点框的类别进行识别。
结合第一方面实施例的一种可能的实施方式，获取包含目标码的原始图像，包括：获取包含一维码的原始图像。本申请实施例中，直接获取含一维码的原始图像作为输入，由于一维码为大量使用，一方面可以降低获取原始图像的难度，另一方面还可以增加方案的实用性。
结合第一方面实施例的一种可能的实施方式，在将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置之前，所述方法还包括：获取多个包含目标码的原始图像；将获取的多个原始图像组建训练样本集，对所述训练样本集中的每张原始图像进行标记，框出多个区域，并标注每个区域的类别，作为标签文件，其中，每张原始图像上框出的多个区域包括目标码所在区域和背景区域；利用所述训练样本集对基于深度学习的特征提取网络进行训练，得到训练好的特征提取网络。本申请实施例中，在组建训练样本集时，对训练样本集中的每张原始图像进行标记，框出多个区域，并标注每个区域的类别，作为标签文件，使得在训练时，网络模型基于该标签文件学习属于前景锚点框的特征和属于背景锚点框的特征，以便后续能精确识别描点框的类别。
第二方面，本申请实施例还提供了一种目标码定位装置，包括：获取模块以及处理模块；获取模块，用于获取包含目标码的原始图像；处理模块，用于将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置，所述坐标位置包括所述目标码所在区域的中心点横坐标、中心点纵坐标、宽、高以及旋转角度。
第三方面，本申请实施例还提供了一种电子设备，包括：存储器和处理器，所述处理器与所述存储器连接；所述存储器，用于存储程序；所述处理器，用于调用存储于所述存储器中的程序，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
第四方面，本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。
图1示出了本申请实施例提供的一种目标码定位方法的流程示意图。
图2示出了本申请实施例提供的一种目标码定位方法的原理示意图。
图3示出了本申请实施例提供的区域预测层的作用示意图。
图4示出了本申请实施例提供的预测区域分类层的作用示意图。
图5示出了本申请实施例提供的一种目标码定位装置的模块框图。
图6示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
针对现有目标码定位存在的问题，本申请提出了一种基于计算机视觉的、适用于复杂环境的任意角度目标码定位方法，以期快速、准确、端到端地完成目标码定位，保证后续识别的准确性。请参阅图1，为本申请实施例提供的一种目标码定位方法，下面将结合图1对其所包含的步骤进行说明。
步骤S101：获取包含目标码的原始图像。
获取包含例如一维码、二维码等目标码的原始图像，以实现目标码的精确定位，进而根据该目标码实现对物品的跟踪识别。例如，当需要对某物品进行跟踪识别时，可以采用摄像头拍摄的含目标码的原始图像作为输入。
步骤S102：将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置，所述坐标位置包括所述目标码所在区域的中心点横坐标、中心点纵坐标、宽、高以及旋转角度。
在获取到包含目标码的原始图像后，将该原始图像作为输入，将该原始图像输入到预先训练好的基于深度学习的特征提取网络，输出目标码的坐标位置，利用特征提取网络实现对目标码的精确定位。其中，该坐标位置包括目标码所在区域的中心点横坐标X、中心点纵坐标Y、宽W、高H以及旋转角度θ。该方法可以直接利用原始拍摄图像作为输入，快速定位图像中目标码的位置，无需进行去噪等预处理和角度判断、旋转等后处理，具备准确度高、实时性好的特点。
其中，该特征提取网络包括：顺次连接的特征提取层、区域预测层和预测区域分类层。作为一种实施方式，将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置的过程可以是：将包含目标码的原始图像输入到特征提取网络中的特征提取层，首先利用该特征提取层进行目标码特征提取，从该原始图像中提取出目标码特征，得到特征图(feature map)；在得到包含目标码特征的特征图后，然后利用区域预测层在该特征图上对目标码所在的区域进行预测，生成至少一个锚点框，以实现对目标码可能存在的区域的初步预测；在完成对目标码所在的区域的初步预测后，将包含至少一个锚点框的特征图作为预测区域分类层的输入，利用预测区域分类层对至少一个锚点框中的每个锚点框的类别进行识别，识别其中的锚点框具体是目标码的锚点框，还是作为背景的锚点框，并将类别为目标码的锚点框在特征图上的坐标映射回原始图像，得到目标码的坐标位置，即完成了目标码的定位。
其中，每个锚点框由(X,Y,W,H,θ)五个参数表示，分别为锚点框中心点横坐标、中心点纵坐标、宽、高、旋转角度。
作为又一种实施方式，在利用区域预测层在特征图上对目标码所在的区域进行预测，生成至少一个锚点框之后，该方法还包括:利用区域预测层对至少一个锚点框中的每个锚点框的参数进行回归，使其靠近目标码的实际坐标。相应地，利用预测区域分类层对至少一个锚点框中的每个锚点框的类别进行识别的过程为：利用预测区域分类层对参数回归后的至少一个锚点框中的每个锚点框的类别进行识别。也即，此时，将原始图像输入到预先训练好的基于深度学习的特征提取网络，输出目标码的坐标位置的过程为：将原始图像输入到特征提取层，利用特征提取层从原始图像中提取出目标码特征，得到特征图；利用区域预测层在特征图上对目标码所在的区域进行预测，生成至少一个锚点框；利用区域预测层对至少一个锚点框中的每个锚点框的参数进行回归；利用预测区域分类层对参数回归后的至少一个锚点框中的每个锚点框的类别进行识别，并将类别为目标码的锚点框在特征图上的坐标映射回原始图像，得到目标码的坐标位置。
除了利用区域预测层对至少一个锚点框中的每个锚点框的参数进行回归外，还可以在对至少一个锚点框中的每个锚点框的类别进行识别之前，利用预测区域分类层对至少一个锚点框中的每个锚点框的参数进行精确回归，也即利用预测区域分类层对至少一个锚点框中的每个锚点框的类别进行识别，并将类别为目标码的锚点框在特征图上的坐标映射回原始图像，得到目标码的坐标位置的过程为：利用预测区域分类层对至少一个锚点框中的每个锚点框的参数进行精确回归，并对参数回归后的每个锚点框的类别进行识别，将类别为目标码的锚点框在特征图上的坐标映射回原始图像，得到目标码的坐标位置。也即，此时，将原始图像输入到预先训练好的基于深度学习的特征提取网络，输出目标码的坐标位置的过程为：将原始图像输入到特征提取层，利用特征提取层从原始图像中提取出目标码特征，得到特征图；利用区域预测层在特征图上对目标码所在的区域进行预测，生成至少一个锚点框；利用区域预测层对至少一个锚点框中的每个锚点框的参数进行回归；利用预测区域分类层对至少一个锚点框中的每个锚点框的参数进行精确回归，并对参数回归后的每个锚点框的类别进行识别，将类别为目标码的锚点框在特征图上的坐标映射回原始图像，得到目标码的坐标位置。
当然，一种实施方式下，利用预测区域分类层对每个锚点框的参数进行精确回归，以及对每个锚点框的类别进行识别可以并向进行，也即，此时，利用预测区域分类层对至少一个锚点框中的每个锚点框的类别进行识别，并将类别为目标码的锚点框在特征图上的坐标映射回原始图像，得到目标码的坐标位置的过程可以为：利用预测区域分类层对至少一个锚点框中的每个锚点框的参数进行精确回归，以及对至少一个锚点框中的每个锚点框的类别进行识别，并将类别为目标码的锚点框在特征图上的坐标映射回原始图像，得到目标码的坐标位置。
其中，上述的目标码可以是一维码、二维码等特征码。此外，该方法还可以推广到其他任意角度物体的精确定位。
为了便于理解，下面以图示的形式进行示例，一种实施方式下，定位目标码的过程如图2所示，将含目标码的原始图像直接输入到基于深度学习的特征提取网络中的特征提取层，提取出目标码特征，然后在特征图上生成大量旋转锚点框，进行目标码可能区域的初步预测，并对预测的每个锚点框进行初步回归，随后将初步回归的锚点框进行精确回归，同时进行前景和背景的分类，最后将分类为前景的锚点框的坐标映射到原始图像坐标，即完成了目标码的定位。
其中，该实施方式下，在将包含目标码的原始图像作为输入后，先通过特征提取层中的卷积网络conv和池化max-pool叠加提取目标码特征，得到特征图(feature map)。然后利用区域预测层在feature map上生成大量锚点框，每个锚点框由(X,Y,W,H,θ)五个参数表示，分别为该锚点框的中心点横坐标、中心点纵坐标、宽、高、旋转角度。随后对锚点框的五个参数进行回归，使其靠近目标码的实际坐标。然后将包含锚点框的特征图作为预测区域分类层的输入，以实现对每个锚点框的参数进行精确回归，并对参数回归后的每个锚点框的类别进行识别，将类别为目标码的锚点框在特征图上的坐标映射回原始图像，得到目标码的坐标位置。该预测区域分类层具有两个作用，第一个作用是精确回归，对锚点框的五个参数进行再次调整，使其更加符合目标码的实际坐标；第二个作用是是分类，判断每个锚点框属于目标码(前景)还是背景，最后通过坐标映射，将分类为目标码的锚点框在featuremap上的坐标映射回原始图像，即得到目标码的精确位置。其中，该实施方式下，区域预测层的作用如图3所示。预测区域分类层的作用如图4所示。其中，需要说明的是，为了进一步提高速度，预测区域分类层对锚点框的五个参数进行再次调整，使其更加符合目标码的实际坐标，以及判断每个锚点框属于目标码(前景)还是背景可以并向进行，如图4所示。当然，也可以是先对每个锚点框进行精确回归后，再对参数回归后的描点框进行前景和背景的分类，如图2所示。
其中，上述的基于深度学习的特征提取网络为事先训练好的特征提取网络，因此，作为一种实施方式，在将原始图像输入到预先训练好的基于深度学习的特征提取网络，输出目标码的坐标位置之前，该方法还包括：训练特征提取网络，其训练过程可以是，获取多个包含目标码的原始图像，将获取的多个原始图像组建训练样本集，对训练样本集中的每张原始图像进行标记，框出多个区域，并标注每个区域的类别(属于前景还是背景)，作为标签文件，其中，每张原始图像上框出的多个区域包括目标码所在区域和背景区域，以使网络模型基于该标签文件学习属于前景锚点框的特征和属于背景锚点框的特征；最后利用训练样本集对基于深度学习的特征提取网络进行训练，得到训练好的特征提取网络。其中，具体训练的原理与现阶段训练基于深度学习的神经网络模型的原理类似，已经被本领域技术人员所熟知，在此不再叙述。
本申请实施例还提供了一种目标码定位装置100，如图5所示。该目标码定位装置100包括：获取模块110以及处理模块120。
获取模块110，用于获取包含目标码的原始图像。可选地，获取模块110，用于获取包含一维码的原始图像。
处理模块120，用于将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置，所述坐标位置包括所述目标码所在区域的中心点横坐标、中心点纵坐标、宽、高以及旋转角度。其中，所述特征提取网络包括：顺次连接的特征提取层、区域预测层和预测区域分类层；可选地，所述处理模块，用于：将所述原始图像输入到所述特征提取层，利用所述特征提取层从所述原始图像中提取出目标码特征，得到特征图；利用所述区域预测层在所述特征图上对所述目标码所在的区域进行预测，生成至少一个锚点框；利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的类别进行识别，并将类别为所述目标码的锚点框在所述特征图上的坐标映射回所述原始图像，得到所述目标码的坐标位置。
可选地，在利用所述区域预测层在所述特征图上对所述目标码所在的区域进行预测，生成至少一个锚点框之后，该处理模块还用于利用所述区域预测层对所述至少一个锚点框中的每个锚点框的参数进行回归，其中，每个锚点框的参数包括该锚点框的中心点横坐标、中心点纵坐标、宽、高以及旋转角度，相应地，处理模块120，用于利用所述预测区域分类层对参数回归后的所述至少一个锚点框中的每个锚点框的类别进行识别。
可选地，处理模块120，用于利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的参数进行精确回归，以及对所述至少一个锚点框中的每个锚点框的类别进行识别，并将类别为所述目标码的锚点框在所述特征图上的坐标映射回原始图像，得到所述目标码的坐标位置。
可选地，处理模块120，用于利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的参数进行精确回归，并对参数回归后的每个锚点框的类别进行识别，将类别为所述目标码的锚点框在所述特征图上的坐标映射回原始图像，得到所述目标码的坐标位置。
可选地，该目标码定位装置100还包括训练模块，用于：获取多个包含目标码的原始图像；将获取的多个原始图像组建训练样本集，对所述训练样本集中的每张原始图像进行标记，框出多个区域，并标注每个区域的类别，作为标签文件，其中，每张原始图像上框出的多个区域包括目标码所在区域和背景区域；利用所述训练样本集对基于深度学习的特征提取网络进行训练，得到训练好的特征提取网络。
本申请实施例所提供的目标码定位装置100，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
如图6所示，图6示出了本申请实施例提供的一种电子设备200的结构框图。所述电子设备200包括：收发器210、存储器220、通讯总线230以及处理器240。
所述收发器210、所述存储器220、处理器240各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线230或信号线实现电性连接。其中，收发器210用于收发数据。存储器220用于存储计算机程序，如存储有图5中所示的软件功能模块，即目标码定位装置100。其中，目标码定位装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器220中或固化在所述电子设备200的操作系统(operating system，OS)中的软件功能模块。所述处理器240，用于执行存储器220中存储的可执行模块，例如目标码定位装置100包括的软件功能模块或计算机程序。例如，处理器240，用于获取包含目标码的原始图像；以及将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置，所述坐标位置包括所述目标码所在区域的中心点横坐标、中心点纵坐标、宽、高以及旋转角度。
其中，存储器220可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器240可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器240也可以是任何常规的处理器等。
其中，上述的电子设备200，包括但不限于计算机。
本申请实施例还提供了一种非易失性计算机可读取存储介质(以下简称存储介质)，该存储介质上存储有计算机程序，该计算机程序被计算机如上述的电子设备200运行时，执行上述方法实施例所示的目标码定位方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，笔记本电脑,服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种目标码定位方法，其特征在于，包括：
获取包含目标码的原始图像；
将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置，所述坐标位置包括所述目标码所在区域的中心点横坐标、中心点纵坐标、宽、高以及旋转角度。
2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括：顺次连接的特征提取层、区域预测层和预测区域分类层；将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置，包括：
将所述原始图像输入到所述特征提取层，利用所述特征提取层从所述原始图像中提取出目标码特征，得到特征图；
利用所述区域预测层在所述特征图上对所述目标码所在的区域进行预测，生成至少一个锚点框；
利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的类别进行识别，并将类别为所述目标码的锚点框在所述特征图上的坐标映射回所述原始图像，得到所述目标码的坐标位置。
3.根据权利要求2所述的方法，其特征在于，在利用所述区域预测层在所述特征图上对所述目标码所在的区域进行预测，生成至少一个锚点框之后，所述方法还包括:
利用所述区域预测层对所述至少一个锚点框中的每个锚点框的参数进行回归，其中，每个锚点框的参数包括该锚点框的中心点横坐标、中心点纵坐标、宽、高以及旋转角度；
相应地，利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的类别进行识别，包括：
利用所述预测区域分类层对参数回归后的所述至少一个锚点框中的每个锚点框的类别进行识别。
4.根据权利要求2所述的方法，其特征在于，利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的类别进行识别，并将类别为所述目标码的锚点框在所述特征图上的坐标映射回原始图像，得到所述目标码的坐标位置，包括：
利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的参数进行精确回归，以及对所述至少一个锚点框中的每个锚点框的类别进行识别，并将类别为所述目标码的锚点框在所述特征图上的坐标映射回原始图像，得到所述目标码的坐标位置。
5.根据权利要求2所述的方法，其特征在于，利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的类别进行识别，并将类别为所述目标码的锚点框在所述特征图上的坐标映射回原始图像，得到所述目标码的坐标位置，包括：
利用所述预测区域分类层对所述至少一个锚点框中的每个锚点框的参数进行精确回归，并对参数回归后的每个锚点框的类别进行识别，将类别为所述目标码的锚点框在所述特征图上的坐标映射回原始图像，得到所述目标码的坐标位置。
6.根据权利要求1所述的方法，其特征在于，获取包含目标码的原始图像，包括：
获取包含一维码的原始图像。
7.根据权利要求1-6任一项所述的方法，其特征在于，在将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置之前，所述方法还包括：
获取多个包含目标码的原始图像；
将获取的多个原始图像组建训练样本集，对所述训练样本集中的每张原始图像进行标记，框出多个区域，并标注每个区域的类别，作为标签文件，其中，每张原始图像上框出的多个区域包括目标码所在区域和背景区域；
利用所述训练样本集对基于深度学习的特征提取网络进行训练，得到训练好的特征提取网络。
8.一种目标码定位装置，其特征在于，包括：
获取模块，用于获取包含目标码的原始图像；
处理模块，用于将所述原始图像输入到预先训练好的基于深度学习的特征提取网络，输出所述目标码的坐标位置，所述坐标位置包括所述目标码所在区域的中心点横坐标、中心点纵坐标、宽、高以及旋转角度。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述处理器与所述存储器连接；
所述存储器，用于存储程序；
所述处理器，用于调用存储于所述存储器中的程序，以执行如权利要求1-7中任一项所述的方法。
10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器运行时，执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010517844.9A CN111680680B (zh) | 2020-06-09 | 2020-06-09 | 一种目标码定位方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010517844.9A CN111680680B (zh) | 2020-06-09 | 2020-06-09 | 一种目标码定位方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111680680A true CN111680680A (zh) | 2020-09-18 |
| CN111680680B CN111680680B (zh) | 2023-10-13 |
Family
ID=72435649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010517844.9A Active CN111680680B (zh) | 2020-06-09 | 2020-06-09 | 一种目标码定位方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111680680B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705749A (zh) * | 2021-08-31 | 2021-11-26 | 平安银行股份有限公司 | 基于深度学习的二维码识别方法、装置、设备及存储介质 |
| CN114022558A (zh) * | 2022-01-05 | 2022-02-08 | 深圳思谋信息科技有限公司 | 图像定位方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610113A (zh) * | 2017-09-13 | 2018-01-19 | 北京邮电大学 | 一种图像中基于深度学习的小目标的检测方法及装置 |
| US20190347828A1 (en) * | 2018-05-09 | 2019-11-14 | Beijing Kuangshi Technology Co., Ltd. | Target detection method, system, and non-volatile storage medium |
| CN110826476A (zh) * | 2019-11-02 | 2020-02-21 | 国网浙江省电力有限公司杭州供电公司 | 识别目标物体的图像检测方法、装置、电子设备和存储介质 |
| CN111241947A (zh) * | 2019-12-31 | 2020-06-05 | 深圳奇迹智慧网络有限公司 | 目标检测模型的训练方法、装置、存储介质和计算机设备 |
-
2020
- 2020-06-09 CN CN202010517844.9A patent/CN111680680B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610113A (zh) * | 2017-09-13 | 2018-01-19 | 北京邮电大学 | 一种图像中基于深度学习的小目标的检测方法及装置 |
| US20190347828A1 (en) * | 2018-05-09 | 2019-11-14 | Beijing Kuangshi Technology Co., Ltd. | Target detection method, system, and non-volatile storage medium |
| CN110826476A (zh) * | 2019-11-02 | 2020-02-21 | 国网浙江省电力有限公司杭州供电公司 | 识别目标物体的图像检测方法、装置、电子设备和存储介质 |
| CN111241947A (zh) * | 2019-12-31 | 2020-06-05 | 深圳奇迹智慧网络有限公司 | 目标检测模型的训练方法、装置、存储介质和计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 李正明;章金龙;: "基于深度学习的抓取目标姿态检测与定位" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705749A (zh) * | 2021-08-31 | 2021-11-26 | 平安银行股份有限公司 | 基于深度学习的二维码识别方法、装置、设备及存储介质 |
| CN114022558A (zh) * | 2022-01-05 | 2022-02-08 | 深圳思谋信息科技有限公司 | 图像定位方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111680680B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109117848B (zh) | 一种文本行字符识别方法、装置、介质和电子设备 | |
| CN108875731B (zh) | 目标识别方法、装置、系统及存储介质 | |
| CN107944450B (zh) | 一种车牌识别方法及装置 | |
| US20210233250A1 (en) | System and method for finding and classifying lines in an image with a vision system | |
| US20210056715A1 (en) | Object tracking method, object tracking device, electronic device and storage medium | |
| CN110909712B (zh) | 运动目标检测方法、装置、电子设备及存储介质 | |
| JP7316731B2 (ja) | ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法 | |
| Vanetti et al. | Gas meter reading from real world images using a multi-net system | |
| CN112258507B (zh) | 互联网数据中心的目标对象检测方法、装置和电子设备 | |
| CN111680680B (zh) | 一种目标码定位方法、装置、电子设备及存储介质 | |
| CN113454640A (zh) | 用于利用在线学习进行对象跟踪的方法及系统 | |
| US20240078801A1 (en) | System and method for finding and classifying lines in an image with a vision system | |
| CN117115823A (zh) | 一种篡改识别方法、装置、计算机设备和存储介质 | |
| CN117593420A (zh) | 基于图像处理的平面图纸标注方法、装置、介质及设备 | |
| CN110570439B (zh) | 使用视觉系统在图像中查找和分类线的系统和方法 | |
| CN115713750B (zh) | 一种车道线检测方法、装置、电子设备及存储介质 | |
| CN117058421A (zh) | 基于多头模型的图像检测关键点方法、系统、平台及介质 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN112101139B (zh) | 人形检测方法、装置、设备及存储介质 | |
| CN114417965A (zh) | 图像处理模型的训练方法、目标检测方法及相关装置 | |
| Eldesokey et al. | Ellipse detection for visual cyclists analysis “In the wild” | |
| CN110851349B (zh) | 页面异常显示的检测方法、终端设备及存储介质 | |
| CN114241195A (zh) | 一种目标识别方法、装置、电子设备及存储介质 | |
| CN112819953A (zh) | 三维重建方法、网络模型训练方法、装置及电子设备 | |
| CN113591765A (zh) | 一种基于实例分割算法的异物检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240620 Address after: Room 1403, Building A, Greenland Everest, No. 460 Longteng Road, Bengshan District, Bengbu City, Anhui Province, 233000 Patentee after: Innovation Qizhi (Bengbu) Technology Co.,Ltd. Country or region after: China Address before: Room 611-64, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui 230000 Patentee before: AINNOVATION (HEFEI) TECHNOLOGY Co.,Ltd. Country or region before: China |