CN117854091B - 基于图像特征检测的包裹多面密集标签信息提取方法 - Google Patents

Abstract

本发明公开了一种基于图像特征检测的包裹多面密集标签信息提取方法，涉及产品包括标签检测技术领域，能够对产品包裹进行全方位采集，并在采集后能对标签部分进行扣除识别，得到各个面的疑似标签，并通过对疑似标签进行排查之后，确定哪些属实是属于包括的标签部分；最后通过对包裹的标签和文字部分内容进行识别，判定是否存在错乱拼接情况；能够对产品包裹进行快速整理收集，并识别，识别之后还能验证是否存在错乱拼接情况；本发明简单有效，且易于实用。

Description

基于图像特征检测的包裹多面密集标签信息提取方法

技术领域

本发明属于包裹标签检测技术领域，具体是基于图像特征检测的包裹多面密集标签信息提取方法。

背景技术

智慧仓储即采用先进的信息技术手段对仓储设备与仓储管理过程进行智能化改进，通过构建一套流程标准化的现代信息管理系统，提升采集、处理、流通、管理、分析的信息加工链与包含入库、出库、移库、盘点、掠选、分发的业务环节链的调度水平。智慧仓诸主要包括新技术的融合、积累数据资产、信息、产品沟通交流和智慧化运营，涉及仓储运输、仓储、配送、包装、装卸、入库、出库等环节实现自动化运转、高效运营。其中，产品信息智慧化运营管理是智慧仓储的关键环节，要实现智慧仓储全流程的高效运转，满足产品全流程信息追溯需求，必须依托有效的信息载体和技术手段。

在智慧仓储领域，所涉及的产品信息主要以各种不同类型样式的标签(或面单)贴附于产品外包装上进行展现，而信息的载体包括文字、数字、符号以及条码等不同形式。其中：文字、数字、符号等信息主要通过字符自动光学检测技术来实现信息的提取。条码是区别于文字而更加高效简洁的一种信息数字载体，具体指将信息按规定发码规则生成并发布的图形码，常见的条码包括条形码和二维码。通常，人们对条码信息的采集识别过程统称为扫码，扫码主要通过对光学设备采集到的条码图像进行识别处理，再根据编码规则解码出所包含的有效信息。现目前，在智慧仓储领域广泛采用的扫码方式以PDA扫码器和固定式扫码枪为主。

产品信息的数据采集和处理是通过科学高效的技术手段将产品信息从各种不同类型规格的面单中提取出来并加以处理整合，并最终得到实际用于仓储的有效产品信息的过程。在仓储行业实际生产生活的过程中，对仓储整体流程的准确性、速度具有较高的要求，在提高仓库产品的吞吐量和作业效率方面，实时、高效、准确的产品信息数据采集和处理具有至关重要的作用。

在产品出入库的过程中，通常采用多人同时搬运卸货的方式，传统读码系统只能单一顶面进行面单扫描，故需要大量人工在产品转运至传送带时手动调整包裹摆放，固定将面单朝上，避免面单条码、文字等信息无法扫描读取；而且还会存在部分面单因为破裂，导致的二维码与文字不对应情况出现；

为了解决这一问题，现提出如下技术方案。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了基于图像特征检测的包裹多面密集标签信息提取方法，该方法具体包括如下步骤：

对目标对象所有面的采集图像组进行筛分，根据采集图像组中与标准的标签图像之间的相似度确定疑似标签；

将所有的疑似标签中所有文字内容提炼，提炼后将其与表单分词进行一一比对，当疑似标签中出现不小于设定阈值数量的表单分词时，将疑似标签标记为确定标签；表单分词根据若干份确定的包裹标签中存在的所有文字出现频率分析得到；

对得到的确定标签进行验证分析，将误识别的确定标签去除，得到更新后的确定标签。

进一步地，在进行该方法之前还需进行下述步骤：

采集到目标对象各个面的图像，得到若干个采集图像构成的采集图像组。

进一步地，目标对象也就是产品包裹，采集目标对象与传送带贴合的面时，需要借助在在目标对象的传送带上设置一块透明部位，通过该透明部位采集目标对象与传送带贴合的面的图像。

进一步地，将采集图像与标准的标签图像进行比较，将相似度超过B1的标记为疑似标签，并将标准的标签图像相似度超过B1部分从采集图像中裁剪而出，得到的疑似标签，B1为预设数值。

进一步地，设定阈值为两个。

进一步地，设定阈值通过下述方式确定：

S1：设置设定阈值为一，此时根据上述方式确定所有的确定标签后，对其正确性进行验证，连续验证超过一百份之后，获取到其正确率；

S2：之后令设定阈值的数值加一，加一后重新按照上述过程确定相同数量的确定标签后，验证其正确率，若此时的正确率超过设定阈值加一之前且超过数值超过了X1，将前述步骤的设定阈值删除；若不满足超过的数值超过X1，则将设定阈值的数值定为上一步中的数值；

S3：之后重复步骤S2，直到确定出设定阈值。

进一步地，表单分词具体通过表单分析方式得到，表单分析具体方式为：

获取到所有的进过确定的包裹标签，将其标记为样本标签；

任选一样本标签，对其进行文字识别，得到其包含的所有的文字内容，对文字内容进行分词处理，将其拆分为若干个独立分词；

将独立分词里面的常规的词语去掉，常规的词语为管理员预设词；去除后剩余的独立分词标记为潜在分词，得到对应样本标签内的所有潜在分词；

对其余所有的样本标签进行相同的处理，得到所有的样本标签内容的潜在分词；

任意选取一个潜在分词，获取到其在所有的潜在分词中一共出现的次数，将该次数标记为总出次，再获取到该潜在分词出现在各个样本标签中的样本标签的个数，将其标记为对应潜在分词的单出次；

再计算对应潜在分词的合出次，合出次＝0.3总出次+0.7单出次；

之后对其余所有的潜在分词进行相同处理，得到所有的潜在分词的合出次，按照合出次从大到小的顺序对潜在分词进行排序，取前X1名的潜在分词，将其标记为表单分词；此处X1为预设的数值。

进一步地，对确定标签进行验证的方式为：

首先获取到确定标签组中的任一确定标签，之后对其进行文字识别，得到所有文字部分的内容，将其标记为描述信息；

再对确定标签中的二维码或条形码进行识别，获取到二维码或条形码中包含的信息，将其标记为码上信息；

将码上信息与描述信息进行相似度识别，获取到码上信息中与描述信息中一致的文字数量，将其除以码上信息中的总文字数，得到数值标记为相似度；

当相似度超过X2时，表示内容一致，此处X2为设定的数值；

否则，将对应的确定标签标记为待定标签；

对确定标签组中的所有确定标签处理完，得到所有的待定标签；

将待定标签传输给管理人员进行显示，并根据管理人员的选择，舍弃掉拼接后的，剩余的重新标记回确定标签；

更新确定标签组中的确定标签，得到新的经过验证后的确定标签组。

进一步地，对确定标签进行验证的方式为借助管理员进行人工鉴别。

与现有技术相比，本发明的有益效果是：

本发明能够对产品包裹进行全方位采集，并在采集后能对标签部分进行扣除识别，得到各个面的疑似标签，并通过对疑似标签进行排查之后，确定哪些属实是属于包括的标签部分；最后通过对包裹的标签和文字部分内容进行识别，判定是否存在错乱拼接情况；能够对产品包裹进行快速整理收集，并识别，识别之后还能验证是否存在错乱拼接情况；本发明简单有效，且易于实用。

附图说明

图1为本发明目标对象在传送带上的结构示意图；

图2为本发明包裹上文字与标签错乱拼接示意图；

图3为本发明包裹上文字与标签错乱拼接示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本申请提供了基于图像特征检测的包裹多面密集标签信息提取方法；

作为本申请的实施例一，该方法具体包括如下步骤：

步骤一：首先进行装置设置，设置方式如下：

首先，为了后续全文便于描述，全文统一采用目标对象替代包裹，在目标对象的传送带上设置一块透明部位，此处透明部位位置可以为固定处，固定处时，传送带应为全部透明，下方结构部分开窗，对应从窗口部分采集图像，该部位能够允许摄像机从底部拍摄，获取到包裹的底部图像；具体示意如图1，包括传送带1和透明部2；

同时在其他位置架设工业相机，用于获取到目标对象的除底部图像的所有图像，将所有的图像标记为采集图像，若干个采集图像构成采集图像组；

步骤二：对采集图像组进行筛分处理，筛分处理具体方式为：

获取到采集图像组中所有的采集图像，将采集图像与标准的标签图像进行比较，将相似度超过B1的标记为疑似标签，此处是将标准的标签图像相似度超过B1部分从采集图像中裁剪而出，得到的疑似标签，此处B1为预设数值；

之后对疑似标签部分进行文字识别，识别出疑似标签中的所有文字，将文字与表单分词进行匹配；

当疑似标签中的文字存在不小于设定阈值数量的表单分词时，将疑似标签标记为确定标签，确定标签为对应的标签图像；

当然，这里的设定阈值一般可以为两个，其具体也可以根据需求设置为其他个数，具体根据客户精度需求；

具体地，此处可以通过如下方式分析确定出设定阈值，

S1：比如首先设置设定阈值为一，此时根据上述方式确定所有的确定标签后，对其正确性进行验证，连续验证超过一百份之后，获取到其正确率；

S2：之后令设定阈值的数值加一，加一后重新按照上述过程确定相同数量的确定标签后，验证其正确率，若此时的正确率超过设定阈值加一之前且超过数值超过了X1，将前述步骤的设定阈值删除；若不满足超过的数值超过X1，则将设定阈值的数值定为上一步中的数值；

S3：之后重复步骤S2，直到确定出设定阈值；

具体地，前述步骤中提及的表单文字采用表单分析方式得到，表单分析具体方式为：

获取到所有的进过确定的包裹标签，将其标记为样本标签；

任选一样本标签，对其进行文字识别，得到其包含的所有的文字内容，对文字内容进行分词处理，此处分词处理采用现有技术，此处不做具体赘述，将其拆分为若干个词语，同步为了便于后续描述，将其标记为独立分词；

得到若干个独立分词，将独立分词里面的常规的词语去掉，常规的词语为管理员设置的一些常用且无实意的内容，比如“的”“人”“电话”等常规词；去除后剩余的独立分词标记为潜在分词；

之后得到对应样本标签内的所有潜在分词；

对其余所有的样本标签进行相同的处理，得到所有的样本标签内容的潜在分词；

任意选取一个潜在分词，获取到其在所有的潜在分词中一共出现的次数，将该次数标记为总出次，再获取到该潜在分词出现在各个样本标签中的样本标签的个数，将其标记为对应潜在分词的单出次；

再计算对应潜在分词的合出次，合出次＝0.3总出次+0.7单出次；此处的0.3和0.7为两个因素占最终效果的权重比，根据管理员需求预先设定；

之后对其余所有的潜在分词进行相同处理，得到所有的潜在分词的合出次，按照合出次从大到小的顺序对潜在分词进行排序，取前X1名的潜在分词，将其标记为表单分词；此处X1为预设的数值，一般为5；

步骤三：对筛分处理完之后的确定标签进行验证处理，验证处理具体方式为：

采用人工方式对确定标签进行验证是否正确，主要是验证是否存在原有标签未撕，新的标签覆盖并未完全，或者新的标签覆盖完全后被撕掉了部分漏出了原来下面的标签，从而造成的原来的二维码或者条形码与新贴的标签中的文字部分组合的情况，或者原来的文字与新的二维码或条形码组合的情况，从而导致信息不对应的情况，出现标签拼接的情况；

如图2和图3所示，图2和图3中为了维护用户隐私，故此没有采用真实标签替代，仅仅做出示例错误，图2和图3中文字标号部分A和B分别指代的两张不同的产品包裹标签，仅仅是示意出拼接后存在的一种情况，并未涉及拼接裂痕；

步骤四：得到包裹上的全部确定标签，整合形成一个确定标签组；

作为本申请的实施例二，本申请在实施例一基础上实施，与实施一不同之处在于，本申请中步骤三中对确定标签进行验证处理，验证是否存在原有标签未撕，新的标签覆盖并未完全，或者新的标签覆盖完全后被撕掉了部分漏出了原来下面的标签，从而造成的原来的二维码或者条形码与新贴的标签中的文字部分组合的情况，或者原来的文字与新的二维码或条形码组合的情况，从而导致信息不对应的情况，出现标签拼接的情况，本实施例中采用的方式为：

首先获取到确定标签组中的任一确定标签，之后对其进行文字识别，得到所有文字部分的内容，将其标记为描述信息；

再对确定标签中的二维码或条形码进行识别，获取到二维码或条形码中包含的信息，将其标记为码上信息；

将码上信息与描述信息进行相似度识别，获取到码上信息中与描述信息中一致的文字数量，将其除以码上信息中的总文字数，得到数值标记为相似度；

当相似度超过X2时，表示内容一致，此处X2为设定的数值；

否则，将对应的确定标签标记为待定标签；

对确定标签组中的所有确定标签处理完，得到所有的待定标签；

将待定标签传输给人工进行鉴别，若为拼接的则将其舍弃，否则重新标记回确定标签；

更新确定标签组中的确定标签，得到新的经过验证后的确定标签组。

上述公式中的部分数据均是去除量纲取其数值计算，公式是由采集的大量数据经过软件模拟得到最接近真实情况的一个公式；公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者通过大量数据模拟获得。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (6)

1.基于图像特征检测的包裹多面密集标签信息提取方法，其特征在于，该方法具体包括如下步骤：

采集到目标对象各个面的图像，得到若干个采集图像构成的采集图像组；

对目标对象所有面的采集图像组进行筛分，根据采集图像组中与标准的标签图像之间的相似度确定疑似标签；

将所有的疑似标签中所有文字内容提炼，提炼后将其与表单分词进行一一比对，当疑似标签中出现不小于设定阈值数量的表单分词时，将疑似标签标记为确定标签；表单分词根据若干份确定的包裹标签中存在的所有文字出现频率分析得到；

对得到的确定标签进行验证分析，将误识别的确定标签去除，得到更新后的确定标签；

目标对象也就是产品包裹，采集目标对象与传送带贴合的面时，需要借助在目标对象的传送带上设置一块透明部位，通过该透明部位采集目标对象与传送带贴合的面的图像；

对确定标签进行验证的方式为：

首先获取到确定标签组中的任一确定标签，之后对其进行文字识别，得到所有文字部分的内容，将其标记为描述信息；

再对确定标签中的二维码或条形码进行识别，获取到二维码或条形码中包含的信息，将其标记为码上信息；

将码上信息与描述信息进行相似度识别，获取到码上信息中与描述信息中一致的文字数量，将其除以码上信息中的总文字数，得到数值标记为相似度；

当相似度超过X2时，表示内容一致，此处X2为设定的数值；

否则，将对应的确定标签标记为待定标签；

对确定标签组中的所有确定标签处理完，得到所有的待定标签；

将待定标签传输给管理人员进行显示，并根据管理人员的选择，舍弃掉拼接后的，剩余的重新标记回确定标签；

更新确定标签组中的确定标签，得到新的经过验证后的确定标签组。

2.根据权利要求1所述的基于图像特征检测的包裹多面密集标签信息提取方法，其特征在于，将采集图像与标准的标签图像进行比较，将相似度超过B1的标记为疑似标签，并将标准的标签图像相似度超过B1部分从采集图像中裁剪而出，得到的疑似标签，B1为预设数值。

3.根据权利要求1所述的基于图像特征检测的包裹多面密集标签信息提取方法，其特征在于，设定阈值为两个。

4.根据权利要求1所述的基于图像特征检测的包裹多面密集标签信息提取方法，其特征在于，设定阈值通过下述方式确定：

S1：设置设定阈值为一，此时根据上述方式确定所有的确定标签后，对其正确性进行验证，连续验证超过一百份之后，获取到其正确率；

S2：之后令设定阈值的数值加一，加一后重新按照上述过程确定相同数量的确定标签后，验证其正确率，若此时的正确率超过设定阈值加一之前且超过数值超过了X1，将前述步骤的设定阈值删除；若不满足超过的数值超过X1，则将设定阈值的数值定为上一步中的数值；

S3：之后重复步骤S2，直到确定出设定阈值。

5.根据权利要求1所述的基于图像特征检测的包裹多面密集标签信息提取方法，其特征在于，表单分词具体通过表单分析方式得到，表单分析具体方式为：

获取到所有的经过确定的包裹标签，将其标记为样本标签；

任选一样本标签，对其进行文字识别，得到其包含的所有的文字内容，对文字内容进行分词处理，将其拆分为若干个独立分词；

将独立分词里面的常规的词语去掉，常规的词语为管理员预设词；去除后剩余的独立分词标记为潜在分词，得到对应样本标签内的所有潜在分词；

对其余所有的样本标签进行相同的处理，得到所有的样本标签内容的潜在分词；

任意选取一个潜在分词，获取到其在所有的潜在分词中一共出现的次数，将该次数标记为总出次，再获取到该潜在分词出现在各个样本标签中的样本标签的个数，将其标记为对应潜在分词的单出次；

再计算对应潜在分词的合出次，合出次＝0.3总出次+0.7单出次；

之后对其余所有的潜在分词进行相同处理，得到所有的潜在分词的合出次，按照合出次从大到小的顺序对潜在分词进行排序，取前X1名的潜在分词，将其标记为表单分词；此处X1为预设的数值。

6.根据权利要求1所述的基于图像特征检测的包裹多面密集标签信息提取方法，其特征在于，对确定标签进行验证的方式为借助管理员进行人工鉴别。