CN108875725A - 一种基于视觉识别的邮件自动分拣装置及方法 - Google Patents

Abstract

本发明公开的一种基于视觉识别的邮件自动分拣装置，包括图像采集单元、OCR模型搭建单元、识别处理单元、分拣单元，OCR模型搭建单元包括样本字体采集模块、标签管理模块、样本预处理模块和训练模块；识别处理单元包括图像预处理模块、OCR识别模块、控制调节模块、显示模块、接口模块；OCR识别模块用于识别二值化字符，将图像预处理得到的二值化字符放入OCR模型搭建单元得出的神经网络模型，得出字符识别结果；控制调节模块用于根据字符识别结果，判断邮件所属的类别，控制分拣单元对邮件进行分拣。本发明通过采集标签样本，对待识别标签字符进行神经网络训练，得出任意字符的OCR模型；对待分拣邮件进行识别归类。

Description

一种基于视觉识别的邮件自动分拣装置及方法

技术领域

本发明涉及物流领域，特别涉及一种基于视觉识别的邮件自动分拣装置及方法。

背景技术

目前，物流行业实现邮件分拣的方式主要是人力分拣，效率低下，极大程度地限制了物流的速度，同时也是对人力资源的一种浪费。应用神经网络训练进行机器学习的方法可以实现OCR识别，要根据实际情况训练出的模型文件才能有较高的实用性。但用机器学习方法识别物体的入门门槛较高。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于视觉识别的邮件自动分拣装置。

本发明的另一目的在于一种基于视觉识别的邮件自动分拣方法。

本发明的目的通过以下的技术方案实现：

一种基于视觉识别的邮件自动分拣装置，包括图像采集单元、OCR模型搭建单元、识别处理单元、分拣单元，其中

所述图像采集单元包括工业摄像头、可调式光源、第一传送带、二轴云台和云台座；所述图像采集单元用于采集邮件图像信息，所述工业摄像头用于采集邮件图像，所述可调式光源根据环境亮度情况为采集邮件图像提供合适的光源；所述二轴云台和云台座用于控制和支撑工业摄像头，所述第一传送带用于将邮件传送到工业摄像头正下方；

所述OCR模型搭建单元包括样本字体采集模块、标签管理模块、样本预处理模块和训练模块；所述样本字体采集模块用于从工业摄像头采集到的图像中提取出字体区域；所述标签管理模块用于管理提取出的字体区域的字符标签，其管理功能包括添加、查看、修改和删除标签；所述样本预处理模块用于处理字体区域，提取出适用于训练的二值化字符；所述训练模块用于将建立识别字体的神经网络模型；

所述识别处理单元包括图像预处理模块、OCR识别模块、控制调节模块、显示模块、接口模块；所述图像预处理模块用于处理字体区域，提取出适用于识别的二值化字符；所述OCR识别模块用于识别二值化字符，将图像预处理得到的二值化字符放入OCR模型搭建单元得出的神经网络模型，得出字符识别结果；所述控制调节模块用于根据字符识别结果，判断邮件所属的类别，控制分拣单元对邮件进行分拣；所述显示模块用于显示识别和分拣结果，用户通过显示模块检测分拣流程；所述接口模块实现与OCR模型搭建单元和分拣单元连接；

所述分拣单元包括第二传送带、设置在第二传送带上的M个隔板，M个分类收集箱，其中M≥1；所述隔板、第二传动带传送带均由控制调节模块控制，用于将特定分类的邮件推入分类收集箱内；所述第二传送带用于将邮件传送至隔板所在位置。

所述工业摄像头为高帧率的可变焦摄像头。该工业摄像头采集速度快，并能适应工业复杂环境的要求，能长时间稳定的工作。

所述可调式光源为环形LED光源。环形LED光源能最大程度避免阴影对识别的影响，同时可根据识别需求调节亮度、颜色，而且较为节能。

所述OCR模型搭建单元、识别处理单元集成在微型PC中。对于OCR模型搭建单元搭建好的OCR模型，用户只需控制样本拍摄，设置少量的几个参数，便可训练出合适的OCR模型；微型PC为识别处理单元提供界面，对整个装置进行控制。

本发明的另一目的通过以下的技术方案实现：

一种基于视觉识别的邮件自动分拣方法，包括OCR模型搭建阶段和OCR模型应用分拣邮件阶段；其中

OCR模型搭建阶段，将样本邮件放上传送带，由图像采集单元采集样本邮件的图像信息，传输给微型PC；微型PC中的OCR模型搭建单元，从样本邮件图像中提取字符信息，结合用户输入的字符标签，构建用于OCR识别的神经网络模型；

OCR模型应用分拣邮件阶段，将待分拣的邮件放上传送带，由图像采集单元采集待分拣邮件的图像信息，传输给微型PC；微型PC中的处理识别单元，从图像中提取字符信息，应用OCR模型搭建阶段训练出神经网络模型，进行字符识别；根据字符识别结果，微型PC中的控制调节模块判断邮件应该分属的类别，然后控制隔板将邮件推入对应类别的收集箱；用户通过显示屏监测识别和分拣结果。

一种基于视觉识别的邮件自动分拣方法，包括四个部分：提取字符区域、OCR模型获取、识别快件和分拣快件；其中

提取字符区域，对从图像采集模块得到的图像进行形态学处理，获取字符区域，并将字符数据随机分组为训练集和测试集；

OCR模型获取，用户选择使用预设识别模型，或选择使用自定义识别模型：若选择使用自定义识别模型，则对前一步骤获得的字符训练集进行神经网络训练，获得更高识别精度的OCR识别模型，用字符测试集输入OCR识别模型检验其效果，若效果好则进入下一步骤，否则重新搭建OCR识别模型；若选择使用预设识别模型，则同样用字符测试集检测其效果，效果好进入下一步骤，否则重新搭建；

识别快件，快件信息页朝上，通过传送带进入工业摄像头视野，图像采集单元对得到的图像进行形态学处理，获取字符区域；将字符输入上一步骤得到的神经网络模型，得到字符识别结果；

分拣快件，根据得到的字符识别结果，确定快件所属类别，控制隔板将快件推入对应的快件收集箱中。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明通过采集标签样本，对待识别标签字符进行神经网络训练，得出任意字符的OCR模型；对待分拣快递、信件、明信片等邮件上的信息进行识别归类，微型PC根据OCR模型识别结果，通过串口发送指令指挥机械结构进行自动分拣。

2、本发明结合神经网络算法，实现光学字符识别(OCR)；本发明降低机器学习识别字符门槛，用户可以方便通过简易操作自行训练符合实际情况的模型文件，实用性强。本发明创新地实现邮件自动分拣，提高物流效率，减少人力资源浪费。本发明扩展性强，可以用于物体识别领域，实现对其它物体的分拣。

附图说明

图1为本发明所述一种基于视觉识别的邮件自动分拣装置的结构示意图；图中，最右侧的分类收集箱为用于收集未识别的邮件。

图2为本发明所述图像采集单元的结构示意图。

图3为本发明所述分拣单元的结构示意图；此时左起第二个隔板正在将特定分类的邮件推入分类收集箱(天津)内。

图4为本发明所述一种基于视觉识别的邮件自动分拣方法的流程图。

图5为本发明所述OCR模型搭建单元的工作流程图。

图6为本发明所述识别处理单元的工作流程图。

其中，附图标记含义如下：

1-工业摄像头、2-可调式光源、3-第一传送带、4-二轴云台、5-云台座、6-邮件、7-微型PC、8-第二传送带、9-隔板，10-分类收集箱。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1、2、3、5、6所示，一种基于视觉识别的邮件自动分拣装置，包括图像采集单元、OCR模型搭建单元、识别处理单元、分拣单元，其中

如图2所示，所述图像采集单元包括工业摄像头、可调式光源、第一传送带、二轴云台和云台座；所述图像采集单元用于采集邮件图像信息，所述工业摄像头用于采集邮件图像，所述可调式光源根据环境亮度情况为采集邮件图像提供合适的光源；所述二轴云台和云台座用于控制和支撑工业摄像头，所述第一传送带用于将邮件传送到工业摄像头正下方；

如图5所示，所述OCR模型搭建单元包括样本字体采集模块、标签管理模块、样本预处理模块和训练模块；所述样本字体采集模块用于从工业摄像头采集到的图像中提取出字体区域；所述标签管理模块用于管理提取出的字体区域的字符标签，其管理功能包括添加、查看、修改和删除标签；所述样本预处理模块用于处理字体区域，提取出适用于训练的二值化字符；所述训练模块用于将建立识别字体的神经网络模型；

如图6所示，所述识别处理单元包括图像预处理模块、OCR识别模块、控制调节模块、显示模块、接口模块；所述图像预处理模块用于处理字体区域，提取出适用于识别的二值化字符；所述OCR识别模块用于识别二值化字符，将图像预处理得到的二值化字符放入OCR模型搭建单元得出的神经网络模型，得出字符识别结果；所述控制调节模块用于根据字符识别结果，判断邮件所属的类别，控制分拣单元对邮件进行分拣；所述显示模块用于显示识别和分拣结果，用户通过显示模块检测分拣流程；所述接口模块实现与OCR模型搭建单元和分拣单元连接；

如图3所示，所述分拣单元包括第二传送带、设置在第二传送带上的M个隔板，M个分类收集箱，其中M≥1；所述隔板、第二传动带传送带均由控制调节模块控制，用于将特定分类的邮件推入分类收集箱内；所述第二传送带用于将邮件传送至隔板所在位置。

所述工业摄像头为高帧率的可变焦摄像头。该工业摄像头采集速度快，并能适应工业复杂环境的要求，能长时间稳定的工作。

所述可调式光源为环形LED光源。环形LED光源能最大程度避免阴影对识别的影响，同时可根据识别需求调节亮度、颜色，而且较为节能。

所述OCR模型搭建单元、识别处理单元集成在微型PC中。对于OCR模型搭建单元搭建好的OCR模型，用户只需控制样本拍摄，设置少量的几个参数，便可训练出合适的OCR模型；微型PC为识别处理单元提供界面，对整个装置进行控制。

一种基于视觉识别的邮件自动分拣方法，包括OCR模型搭建阶段和OCR模型应用分拣邮件阶段；其中

OCR模型搭建阶段，将样本邮件放上传送带，由图像采集单元采集样本邮件的图像信息，传输给微型PC；微型PC中的OCR模型搭建单元，从样本邮件图像中提取字符信息，结合用户输入的字符标签，构建用于OCR识别的神经网络模型；

OCR模型应用分拣邮件阶段，将待分拣的邮件放上传送带，由图像采集单元采集待分拣邮件的图像信息，传输给微型PC；微型PC中的处理识别单元，从图像中提取字符信息，应用OCR模型搭建阶段训练出神经网络模型，进行字符识别；根据字符识别结果，微型PC中的控制调节模块判断邮件应该分属的类别，然后控制隔板将邮件推入对应类别的收集箱；用户通过显示屏监测识别和分拣结果。

如图4所示，一种基于视觉识别的邮件自动分拣方法，包括四个部分：提取字符区域、OCR模型获取、识别快件和分拣快件；其中

提取字符区域，对从图像采集模块得到的图像进行形态学处理，获取字符区域，并将字符数据随机分组为训练集和测试集；

OCR模型获取，用户选择使用预设识别模型，或选择使用自定义识别模型：若选择使用自定义识别模型，则对前一步骤获得的字符训练集进行神经网络训练，获得更高识别精度的OCR识别模型，用字符测试集输入OCR识别模型检验其效果，若效果好则进入下一步骤，否则重新搭建OCR识别模型；若选择使用预设识别模型，则同样用字符测试集检测其效果，效果好进入下一步骤，否则重新搭建；

识别快件，快件信息页朝上，通过传送带进入工业摄像头视野，图像采集单元对得到的图像进行形态学处理，获取字符区域；将字符输入上一步骤得到的神经网络模型，得到字符识别结果；

分拣快件，根据得到的字符识别结果，确定快件所属类别，控制隔板将快件推入对应的快件收集箱中。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于视觉识别的邮件自动分拣装置，其特征在于：包括图像采集单元、OCR模型搭建单元、识别处理单元、分拣单元，其中

所述图像采集单元包括工业摄像头、可调式光源、第一传送带、二轴云台和云台座；所述图像采集单元用于采集邮件图像信息，所述工业摄像头用于采集邮件图像，所述可调式光源根据环境亮度情况为采集邮件图像提供合适的光源；所述二轴云台和云台座用于控制和支撑工业摄像头，所述第一传送带用于将邮件传送到工业摄像头正下方；

所述OCR模型搭建单元包括样本字体采集模块、标签管理模块、样本预处理模块和训练模块；所述样本字体采集模块用于从工业摄像头采集到的图像中提取出字体区域；所述标签管理模块用于管理提取出的字体区域的字符标签，其管理功能包括添加、查看、修改和删除标签；所述样本预处理模块用于处理字体区域，提取出适用于训练的二值化字符；所述训练模块用于将建立识别字体的神经网络模型；

所述识别处理单元包括图像预处理模块、OCR识别模块、控制调节模块、显示模块、接口模块；所述图像预处理模块用于处理字体区域，提取出适用于识别的二值化字符；所述OCR识别模块用于识别二值化字符，将图像预处理得到的二值化字符放入OCR模型搭建单元得出的神经网络模型，得出字符识别结果；所述控制调节模块用于根据字符识别结果，判断邮件所属的类别，控制分拣单元对邮件进行分拣；所述显示模块用于显示识别和分拣结果，用户通过显示模块检测分拣流程；所述接口模块实现与OCR模型搭建单元和分拣单元连接；

所述分拣单元包括第二传送带、设置在第二传送带上的M个隔板，M个分类收集箱，其中M≥1；所述隔板、第二传动带传送带均由控制调节模块控制，用于将特定分类的邮件推入分类收集箱内；所述第二传送带用于将邮件传送至隔板所在位置。

2.根据权利要求1所述基于视觉识别的邮件自动分拣装置，其特征在于：所述工业摄像头为高帧率的可变焦摄像头。

3.根据权利要求1所述基于视觉识别的邮件自动分拣装置，其特征在于：所述可调式光源为环形LED光源。

4.根据权利要求1所述基于视觉识别的邮件自动分拣装置，其特征在于：所述OCR模型搭建单元、识别处理单元集成在微型PC中。

5.一种基于视觉识别的邮件自动分拣方法，其特征在于：包括OCR模型搭建阶段和OCR模型应用分拣邮件阶段；其中

OCR模型搭建阶段，将样本邮件放上传送带，由图像采集单元采集样本邮件的图像信息，传输给微型PC；微型PC中的OCR模型搭建单元，从样本邮件图像中提取字符信息，结合用户输入的字符标签，构建用于OCR识别的神经网络模型；

OCR模型应用分拣邮件阶段，将待分拣的邮件放上传送带，由图像采集单元采集待分拣邮件的图像信息，传输给微型PC；微型PC中的处理识别单元，从图像中提取字符信息，应用OCR模型搭建阶段训练出神经网络模型，进行字符识别；根据字符识别结果，微型PC中的控制调节模块判断邮件应该分属的类别，然后控制隔板将邮件推入对应类别的收集箱；用户通过显示屏监测识别和分拣结果。

6.一种基于视觉识别的邮件自动分拣方法，其特征在于：包括四个部分：提取字符区域、OCR模型获取、识别快件和分拣快件；其中

提取字符区域，对从图像采集模块得到的图像进行形态学处理，获取字符区域，并将字符数据随机分组为训练集和测试集；

OCR模型获取，用户选择使用预设识别模型，或选择使用自定义识别模型：若选择使用自定义识别模型，则对前一步骤获得的字符训练集进行神经网络训练，获得更高识别精度的OCR识别模型，用字符测试集输入OCR识别模型检验其效果，若效果好则进入下一步骤，否则重新搭建OCR识别模型；若选择使用预设识别模型，则同样用字符测试集检测其效果，效果好进入下一步骤，否则重新搭建；

识别快件，快件信息页朝上，通过传送带进入工业摄像头视野，图像采集单元对得到的图像进行形态学处理，获取字符区域；将字符输入上一步骤得到的神经网络模型，得到字符识别结果；

分拣快件，根据得到的字符识别结果，确定快件所属类别，控制隔板将快件推入对应的快件收集箱中。