CN111461133B - 快递面单品名识别方法、装置、设备及存储介质 - Google Patents

快递面单品名识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111461133B
CN111461133B CN202010310863.4A CN202010310863A CN111461133B CN 111461133 B CN111461133 B CN 111461133B CN 202010310863 A CN202010310863 A CN 202010310863A CN 111461133 B CN111461133 B CN 111461133B
Authority
CN
China
Prior art keywords
image
express
character
commodity name
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010310863.4A
Other languages
English (en)
Other versions
CN111461133A (zh
Inventor
许杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202010310863.4A priority Critical patent/CN111461133B/zh
Publication of CN111461133A publication Critical patent/CN111461133A/zh
Application granted granted Critical
Publication of CN111461133B publication Critical patent/CN111461133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Evolutionary Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及物流管理领域，公开了一种快递面单品名识别方法、装置、设备及存储介质。快递面单品名识别方法包括：获取预先拍摄的多张第一快递面单图像并进行标注，得到第一图像与第二图像并分别输入预置第一YOLOv2模型、预置第二YOLOv2模型中进行训练，对应得到第一检测模型、第二检测模型；获取待识别的第二快递面单图像并输入第一检测模型，输出第二快递面单图像中商品名称表格所在位置，再截取对应的表格区域图像，输入第二检测模型，输出商品名称表格内文字块所在位置；调用文字识别模型对文字块所在位置进行文字识别，输出对应的商品名称并进行展示，通过简化检验与识别流程，且只选择性识别快递面单中的商品名称，加快对快递面单品名的识别效率。

Description

快递面单品名识别方法、装置、设备及存储介质
技术领域
本发明涉及物流管理领域，尤其涉及一种快递面单品名识别方法、装置、设备及存储介质。
背景技术
随着物联网产业链的高速发展，快递运输作为各大经济模块的底层行业，不仅给经济发展带来更多的机遇，比如电商平台的鹏飞，世界工厂的框架搭建等，也跟我们的生活息息相关，给我们的生活带来了很多便利。偌大的物联网络，解决其管理难题的是一张张快递面单，将各式各样的快递分门别类，从纸上规划物流管理，决胜于千里。再往快递面单的应用上看，面单上面的重要信息如寄件人、寄件地址、收件人、收件地址等重要信息用户一般不会忘记填写，但是商品的名称，属性、各参数等，用户往往比较容易忽略，但是对快递公司来说，却也是重要的一项。
现有技术中多使用OCR技术来检查及识别快递面单上面的商品名称，虽然其识别速度和精度相对于人工检查及识别来说都有很大优势，但是仍存在不足之处，其一，OCR技术的面单识别条件比较苛刻，比如对录入的图像质量要求比较高，文本行需保持水平或竖直，不能对文本有遮挡，保持文本信息清晰等；其二，OCR技术不能做到选择性识别快递面单中的商品名称，一般是针对整版图片进行文字识别，大大增加其计算量，只用于提取无用信息；综上所述，可得到现有的识别技术对快递面单品名的识别效率低。
发明内容
本发明的主要目的在于解决目前快递面单品识别效率低的技术问题。
本发明第一方面提供了一种快递面单品名识别方法，包括：
获取预先拍摄的多张第一快递面单图像，并分别对所述各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置进行标注，对应得到第一图像与第二图像；
将所述第一图像作为第一训练样本图像输入预置第一YOLOv2模型中进行训练，得到用于检测快递面单中商品名称表格所在位置的第一检测模型，以及将所述第二图像作为第二训练样本图像输入预置第二YOLOv2模型中进行训练，得到用于检测商品名称表格内文字块所在位置的第二检测模型；
获取待识别的第二快递面单图像，并将所述第二快递面单图像输入所述第一检测模型进行检测，得到所述第二快递面单图像中商品名称表格所在位置；
从所述第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像，并将所述表格区域图像输入所述第二检测模型进行检测，得到所述第二快递面单图像中商品名称表格内文字块所在位置；
调用预置文字识别模型对所述表格区域图像内文字块所在位置进行文字识别，输出对应的文字信息，并将所述文字信息作为所述第二快递面单图像中的商品名称进行展示。
可选的，在本发明第一方面的第一种实现方式中，所述YOLOv2模型依次包括：第一Darknet-19网络、第二Darknet-19网络、Batch NonIlalization层、Passthrough层以及分类层；
其中，所述第一Darknet-19网络用于生成训练样本图像的先验框；
所述第二Darknet-19网络用于提取所述训练样本图像的目标特征图，并调整所述先验框的位置范围；
所述Batch NonIlalization层用于对所述目标特征图进行归一化处理；
所述Passthrough层用于生成细粒度更小的目标特征图；
所述分类层用于预测所述训练样本图像的检测结果。
可选的，在本发明第一方面的第二种实现方式中，所述第一检测模型或第二检测模型的训练过程包括：
将训练样本图像输入所述第一Darknet-19网络，通过所述第一Darknet-19网络对训练样本图像中的标注进行维度聚类，生成所述训练样本图像对应的先验框，其中，所述先验框用于圈定第一特征图的范围，所述训练样本图像为所述第一训练样本图像或所述第二训练样本图像；
将带有先验框的训练样本图像输入所述第二Darknet-19网络，通过所述第二Darknet-19网络提取所述训练样本图像的第一特征图，并调整先验框的位置范围，其中，所述第一特征图包括各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置；
将所述第一特征图输入所述Batch NonIlalization层，通过所述BatchNonIlalization层，对所述第一特征图进行归一化处理，得到规范化的第一特征图；
将所述规范化的第一特征图输入所述Passthrough层，通过所述Passthrough层对所述第二Darknet-19网络中不同语义化程度的卷积层在通道上做连接，并对对应的第一特征图做叠加，生成细粒度更小的第二特征图；
将所述第二特征图输入所述分类网络，通过所述分类网络对第二特征图中的各像素点进行预测，生成所述第二特征图对应的预测结果；
根据所述预测结果和所述训练样本图像中的标注，对所述YOLOv2模型的参数进行调整，直至所述YOLOv2模型收敛，得到对应的检测模型，其中，所述检测模型为所述第一检测模型或所述第二检测模型。
可选的，在本发明第一方面的第三种实现方式中，所述从所述第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像包括：
对所述第二快递面单图像进行二值化处理，得到所述第二快递面单图像像素的投影特征分布；
根据所述投影特征分布，分离所述第二快递面单图像中的商品名称表格与背景区域；
根据预设的切割阈值，确定所述第二快递面单图像中商品名称表格对应的切割范围；
根据所述切割范围，切割所述第二快递面单图像，得到商品名称表格所在位置对应的表格区域图像。
可选的，在本发明第一方面的第四种实现方式中，在所述从所述第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像之前，还包括：
若所述第二快递面单图像带有文字线框，则根据所述投影特征分布，判断是否存在大于预设数量的连续相同的投影特征；
若存在，则确定所述连续相同的投影特征为所述记录区域的文字线框，并将所述文字线框的颜色设置为所述快递面单的背景颜色。
可选的，在本发明第一方面的第五种实现方式中，所述将所述表格区域图像输入所述第二检测模型进行检测，得到所述第二快递面单图像中商品名称表格内文字块所在位置包括：
根据文字划分规则，对所述表格区域图像中的文字区域进行划分，得到多个短文字块区域，其中，所述文字划分规则包括不同文字类型与预设的文字长度；
通过所述第二检测模型对所述多个短文字块区域进行检测，得到所述多个短文字块所在位置；
根据所述短文字块所在位置，得到所述第二快递面单图像中商品名称表格内文字块所在位置。
可选的，在本发明第一方面的第六种实现方式中，所述调用预置文字识别模型，根据待识别的文字块所在位置，识别所述待识别的文字块对应的文字信息，得到所述待识别的快递面单的商品名称包括：
根据所述文字块中的多个短文字块所在位置，对所述文字块进行分割，得到对应的多个短文字块并进行编号；
将所述短文字块按照编号顺序输入所述文字识别模型，输出各短文字块对应的短文字信息；
根据所述短文字信息的输出顺序，拼接各短文字块对应的短文字信息，得到所述商品名称对应的文字信息并进行展示。
本发明第二方面提供了一种快递面单品名识别装置，包括：
图像获取模块，用于获取预先拍摄的多张第一快递面单图像，并分别对所述各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置进行标注，对应得到第一图像与第二图像；
模型训练模块，用于将所述第一图像作为第一训练样本图像输入预置第一YOLOv2模型中进行训练，得到用于检测快递面单中商品名称表格所在位置的第一检测模型，以及将所述第二图像作为第二训练样本图像输入预置第二YOLOv2模型中进行训练，得到用于检测商品名称表格内文字块所在位置的第二检测模型；
表格检测模块，用于获取待识别的第二快递面单图像，并将所述第二快递面单图像输入所述第一检测模型进行检测，得到所述第二快递面单图像中商品名称表格所在位置；
文字块检测模块，用于从所述第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像，并将所述表格区域图像输入所述第二检测模型进行检测，得到所述第二快递面单图像中商品名称表格内文字块所在位置；
文字识别模块，用于调用预置文字识别模型对所述表格区域图像内文字块所在位置进行文字识别，输出对应的文字信息，并将所述文字信息作为所述第二快递面单图像中的商品名称进行展示。
可选的，在本发明第二方面的第一种实现方式中，所述YOLOv2模型依次包括：第一Darknet-19网络、第二Darknet-19网络、Batch NonIlalization层、Passthrough层以及分类层；
所述第一Darknet-19网络用于生成训练样本图像的先验框；
所述第二Darknet-19网络用于提取所述训练样本图像的目标特征图，并调整所述先验框的位置范围；
所述Batch NonIlalization层用于对所述目标特征图进行归一化处理；
所述Passthrough层用于生成细粒度更小的目标特征图；
所述分类层用于预测所述训练样本图像的检测结果。
可选的，在本发明第二方面的第二种实现方式中，所述模型训练模块包括：
先验框生成单元，用于将训练样本图像输入所述第一Darknet-19网络，通过所述第一Darknet-19网络对训练样本图像中的标注进行维度聚类，生成所述训练样本图像对应的先验框，其中，所述先验框用于圈定第一特征图的范围，所述训练样本图像为所述第一训练样本图像或所述第二训练样本图像；
特征图提取单元，用于将带有先验框的训练样本图像输入所述第二Darknet-19网络，通过所述第二Darknet-19网络提取所述训练样本图像的第一特征图，并调整先验框的位置范围，其中，所述第一特征图包括各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置；
归一化处理单元，用于将所述第一特征图输入所述Batch NonIlalization层，通过所述Batch NonIlalization层，对所述第一特征图进行归一化处理，得到规范化的第一特征图；
特征图关联单元，用于将所述规范化的第一特征图输入所述Passthrough层，通过所述Passthrough层对所述第二Darknet-19网络中不同语义化程度的卷积层在通道上做连接，并对对应的第一特征图做叠加，生成细粒度更小的第二特征图；
结果预测单元，用于将所述第二特征图输入所述分类网络，通过所述分类网络对第二特征图中的各像素点进行预测，生成所述第二特征图对应的预测结果；
模型生成单元，用于根据所述预测结果和所述训练样本图像中的标注，对所述YOLOv2模型的参数进行调整，直至所述YOLOv2模型收敛，得到对应的检测模型，其中，所述检测模型为所述第一检测模型或所述第二检测模型。
可选的，在本发明第二方面的第三种实现方式中，所述文字块检测模块还包括图像截取单元，所述图像截图单元具体用于：
对所述第二快递面单图像进行二值化处理，得到所述第二快递面单图像像素的投影特征分布；
根据所述投影特征分布，分离所述第二快递面单图像中的商品名称表格与背景区域；
根据预设的切割阈值，确定所述第二快递面单图像中商品名称表格对应的切割范围；
根据所述切割范围，切割所述第二快递面单图像，得到商品名称表格所在位置对应的表格区域图像。
可选的，在本发明第二方面的第四种实现方式中，在所述文字块检测模块之前还包括线框处理模块，所述线框处理模块具体用于：
若所述第二快递面单图像带有文字线框，则根据所述投影特征分布，判断是否存在大于预设数量的连续相同的投影特征；
若存在，则确定所述连续相同的投影特征为所述记录区域的文字线框，并将所述文字线框的颜色设置为所述快递面单的背景颜色。
可选的，在本发明第二方面的第五种实现方式中，所述文字块检测模块还包括文字检测单元，所述文字检测单元用于：
根据文字划分规则，对所述表格区域图像中的文字区域进行划分，得到多个短文字块区域，其中，所述文字划分规则包括不同文字类型与预设的文字长度；
通过所述第二检测模型对所述多个短文字块区域进行检测，得到所述多个短文字块所在位置；
根据所述短文字块所在位置，得到所述第二快递面单图像中商品名称表格内文字块所在位置。
可选的，在本发明第二方面的第六种实现方式中，所述文字识别模块还包括：
文字块分割单元，用于根据所述文字块中的多个短文字块所在位置，对所述文字块进行分割，得到对应的多个短文字块并进行编号；
文字块识别单元，用于将所述短文字块按照编号顺序输入所述文字识别模型，输出各短文字块对应的短文字信息；
文字块拼接单元，用于根据所述短文字信息的输出顺序，拼接各短文字块对应的短文字信息，得到所述商品名称对应的文字信息并进行展示。
本发明第三方面提供了一种快递面单品名识别设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述快递面单品名识别设备执行上述的快递面单品名识别方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的快递面单品名识别方法。
本发明的技术方案中，先获取预先拍摄的多张第一快递面单图像作为训练样本图像；对各第一快递面单图像中商品名称表格所在位置进行标注得到第一图像，并作为第一训练样本图像输入预置第一YOLOv2模型中进行训练，得到用于检测快递面单中商品名称表格所在位置的第一检测模型；对度商品名称表格中文字块所在位置进行标注得到第二图像，并作为第二训练样本图像输入预置第二YOLOv2模型中进行训练，得到用于检测商品名称表格内文字块所在位置的第二检测模型；在训练得到模型后，将获取的待识别的第二快递面单图像输入第一检测模型进行检测，得到第二快递面单图像中商品名称表格所在位置；再从第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像，并输入第二检测模型进行检测，得到第二快递面单图像中商品名称表格内文字块所在位置；最后调用预置文字识别模型对表格区域图像内文字块所在位置进行文字识别，输出对应的文字信息，并将文字信息作为第二快递面单图像中的商品名称进行展示。通过YOLOv2模型预先训练好快递面单图像的检测模型，再结合文字识别模型对快递面单图像中的商品名称进行识别，简化其检测及识别流程；再选择性截取及识别商品名称所在文字块位置，减少模型计算量；最后对商品名称所在文字块进行分割识别，增加文字块的检测精度，变相对图像的要求降低；总而言之，以上步骤提升了对快递面单品名的识别效率。
附图说明
图1为本发明实施例中快递面单品名识别方法的第一个实施例示意图；
图2为本发明实施例中快递面单品名识别方法的第二个实施例示意图；
图3为本发明实施例中快递面单品名识别方法的第三个实施例示意图；
图4为本发明实施例中快递面单品名识别方法的第四个实施例示意图；
图5为本发明实施例中快递面单品名识别装置的一个实施例示意图；
图6为本发明实施例中快递面单品名识别装置的另一个实施例示意图；
图7为本发明实施例中快递面单品名识别设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种快递面单品名识别方法、装置、设备及存储介质，本发明的技术方案中，通过YOLOv2模型预先训练好快递面单图像的检测模型，再结合文字识别模型对快递面单图像中的商品名称进行识别，简化其检测及识别流程；再选择性截取及识别商品名称所在文字块位置，减少模型计算量；最后对商品名称所在文字块进行分割识别，增加文字块的检测精度，变相对图像的要求降低；提升对快递面单品名的识别效率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中快递面单品名识别方法的第一个实施例包括：
101、获取预先拍摄的多张第一快递面单图像，并分别对所述各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置进行标注，对应得到第一图像与第二图像；
可以理解的是，本发明的执行主体可以为快递面单品名识别装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
在本实施例中，通过摄像机或其他设备拍摄寄快递时用户填写的快递面单，得到对应的第一快递面单图像，其中，快递面单记录有表头、收件人信息、发件人信息、商品名称、条形码等内容。
训练模型时，先从存储器中获取第一快递面单图像，再进行标注，其中，根据训练的模型不同，标注不同的位置。此处需要对图像进行标注的位置有：第一快递面单图像中商品名称表格所在位置、商品名称表格中文字块所在位置，标注完毕后对应地得到第一图像与第二图像，根据第一图像与第二图像分别训练对应的两个的模型。
102、将所述第一图像作为第一训练样本图像输入预置第一YOLOv2模型中进行训练，得到用于检测快递面单中商品名称表格所在位置的第一检测模型，以及将所述第二图像作为第二训练样本图像输入预置第二YOLOv2模型中进行训练，得到用于检测商品名称表格内文字块所在位置的第二检测模型；
在本实施例中，YOLOv2模型是一个分类与检测相结合的模型，用来做目标分类及目标检测，其建立的初衷是在保证精准度的前提下，提升模型的训练速度。
YOLOv2模型由第一Darknet-19网络、第二Darknet-19网络以及第二Darknet-19网络中的Batch NonIlalization层、Passthrough层以及分类层连接而成。
第一Darknet-19网络是一个分类网络，通过对标注信息进行维度聚类来确定预测框的区域，得到先验框。先验框用于划定目标特征区域的中心点及尺寸，使第二Darknet-19网络的学习更加容易。
第二Darknet-19网络是经第一Darknet-19网络的分类模型修改而来，不同的是，前者是检测模型训练网络，后者是分类模型训练网络。将训练样本图像输入该网络，提取对应的目标特征图；随后经过每一次卷积，都将目标特征图的特征深化、细化及修正。
Batch NonIlalization层，从第二Darknet-19网络中每一个卷积层生成的目标特征图，都通过Batch NonIlalization层进行批量归一化处理，将特征图的数据进行规范化处理，用于提升模型的收敛性。
Passthrough层用于将目标特征图的特细粒度细化，将检测精度扩大，主要通过将第二Darknet-19网络最后一个个池化层与最后一个卷积层进行连接，并将对应池化或者卷积后的特征图叠加，将特征的分辨率进一步扩大，细化其特征细粒度。
分类层为多个1x1的卷积层，用于预测目标特征图中的特征框位置，而其输出的数据格式为先验框数量x(5+分类编号)，在YOLOv2模型中，先验框数量为5，分类编号为20位字符，括号中5代表特征图边界框的中心二维坐标、宽高尺寸、置信度，其中，特征图边界框的置信度由IOU(Intersection overUnion，交并比)进行表示。
103、获取待识别的第二快递面单图像，并将所述第二快递面单图像输入所述第一检测模型进行检测，得到所述第二快递面单图像中商品名称表格所在位置；
本实施例中，通过摄像机或者其他设备拍摄待识别商品名称的快递面单，得到对应的第二快递面单图像，快递面单包含多种类型的记录信息，如表头、收件人信息、发件人信息、商品名称、条形码等，而商品名称为其中一种记录信息，此处将商品名称的区域划分出来，以用于后续的文字块检测及文字识别。
具体的，若快递面单A分为区域1、区域2、区域3、区域4，背景区域，其中，区域1为商品名称所在位置；将快递面单A输入第一检测模型中，通过区域1的图像特征确定商品名称的区域范围，而区域2、区域3、区域4统一标记为背景区域。
104、从所述第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像，并将所述表格区域图像输入所述第二检测模型进行检测，得到所述第二快递面单图像中商品名称表格内文字块所在位置；
本实施例中，确定商品名称的所在区域后，通过对商品名称所在区域进行投影切割，得到第二检测模型的输入图像，即表格区域图像。具体截取过程如下所示：
先将第二快递面单转化为灰度图像，以直方图均衡化来提升灰度图的对比度，再对灰度图进行二值化，得到商品名称的投影特征；
对于商品名称的投影特征，根据文字缝隙的间隔设置切割预置，如纵向文字间隔的切割预置为a，横向为b，将商品名称对应的区域进行切割；
另一点需要考虑的是图片的边缘位置，一方面为了不会对边缘位置产生误切，另一方面需要将多余的边缘位置切除，减少边缘位置的噪点对商品名称所在区域的影响，故对边缘位置设置边缘阈值，比如为c，则从商品名称所在区域延伸c个单位，以切除其他边缘区域，得到表格区域图像。
另一方面，将截取的表格区域图像输入第二检测模型，根据文字的类型与长度对商品名称对应的文字块进行划分，得到多个文字短块；第二检测模型中存在多个检测器，分别对不同类型的文字与长度进行检测，并以此确定多个文字短块所在位置。比如商品名称1为基础护理套装海绵浸泡式快速卸甲水75ml，若设置检测文字长度为4，则该商品名称可分为文字短块1：基础护理，文字短块2：套装海绵，文字短块3：浸泡式快，文字短块:4：速卸甲水，文字短块5：75，文字短块6：ml，根据六个文字短块即可定位商品名称1对应的整个文字块所在位置。
105、调用预置文字识别模型对所述表格区域图像内文字块所在位置进行文字识别，输出对应的文字信息，并将所述文字信息作为所述第二快递面单图像中的商品名称进行展示。
本实施例中，将商品名称对应的每一个文字短块按空间位置顺序输入文字识别模型中，通过文字识别模型识别出每一个文字短块对应的短文字信息，再按输入顺序拼接成整个文字块对应的文字信息。
具体的，对于商品名称1为基础护理套装海绵浸泡式快速卸甲水75ml，该商品名称分为文字短块1至文字短块6，之后按文字短块1-6的顺序输入文字识别模型中，得到对应的短文字信息再拼接成商品名称1。
本发明实施例中，通过YOLOv2模型训练出用于检测快递面单中商品名称的模型，结合文字识别模型，简化整体的检测及识别流程；再选择性截取、检测及识别快递面单中商品名称的部分，减少模型计算量；以此增加对快递面单品名的识别效率。
请参阅图2，本发明实施例中快递面单品名识别方法的第二个实施例包括：
201、将训练样本图像输入所述第一Darknet-19网络，通过所述第一Darknet-19网络对训练样本图像中的标注进行维度聚类，生成所述训练样本图像对应的先验框，其中，所述先验框用于圈定第一特征图的范围，所述训练样本图像为所述第一训练样本图像或所述第二训练样本图像；
本实施例中，第一Darknet-19网络中含有19个卷积层、5个池化层、两个全连接层、一个softmax层，用于对训练样本图像中的每一目标特征进行分类。
YOLOv2模型引入先验框以提升训练的简易程度，训练样本图像根据标注信息内每一个目标特征的坐标位置进行归一化处理，生成每一个目标特征区域的中心坐标与宽高尺寸；再对标注信息进行聚类，确定训练样本图像中检测目标对应的目标特征区域，以此得到先验框，其中，先验框的区域个数由聚类个数来表示，先验框的区域维度由聚类中心的宽高维度来表示。
YOLOv2模型通过将训练样本图像划分为13x13的表格区域，然后每个表格区域都输入生成的5种先验框；再根据标注信息中坐标信息，选取最合适的一种先验框用于后续的检测模型训练。具体的，通过每一个先验框与对应的特征区域的IOU来筛选最适的先验框。
202、将带有先验框的训练样本图像输入所述第二Darknet-19网络，通过所述第二Darknet-19网络提取所述训练样本图像的第一特征图，并调整先验框的位置范围，其中，所述第一特征图包括各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置；
本实施例中，此处输入第二DarkNet-19网络的训练样本图像中带有先验框，根据先验框提取训练样本图像的第一特征图，第一特征图在每一次卷积后都增加其特征数量，在每一次池化后，都增加其通道数量，细化其细粒度，使得第一特征图的特征深度增加。
另外，在每一次卷积后，通过对比先验框与特征图框的中心坐标和宽高尺寸，计算先验框的偏移量，对应调整先验框的中心坐标与区域尺寸，逐步优化特征图的目标检测精准度。
203、将所述第一特征图输入所述Batch NonIlalization层，通过所述BatchNonIlalization层，对所述第一特征图进行归一化处理，得到规范化的第一特征图；
本实施例中，在卷积层后面都跟随一个Batch NonIlalization层，对训练得到的第一特征图进行归一化处理，增加网络的泛化能力，增加训练数据对训练网络的适应程度，然后再输入下一个卷积层或者池化层，如此既可提升模型的收敛性，减少对正则化的依赖，又可防止过拟合，提升模型的检测效率。具体的，对第一特征图中的训练数据先进行白化预处理，让训练数据消除特征之间的相关性，再对训练数据进行变化重构，恢复训练数据的特征分布。
204、将所述规范化的第一特征图输入所述Passthrough层，通过所述Passthrough层对所述第二Darknet-19网络中不同语义化程度的卷积层在通道上做连接，并对对应的第一特征图做叠加，生成细粒度更小的第二特征图；
本实施例中，通过Passthrough层对第一特征图作进行叠加处理，得到对应的第二特征图，以增加对待检测图像的检测细粒度，可检测更小的物体。第二Darknet-19网络卷积得到的最后的第一特征图大小为26*26，这里将最后最后一个卷积层得到的第一特征图与最后一个池化层得到的第一特征图进行全局特征融合，将第一特征图大小从26*26叠加为13*13，并增加其通道数目。
205、将所述第二特征图输入所述分类网络，通过所述分类网络和所述标注信息对第二特征图中的各像素点进行预测，生成所述第二特征图对应的预测结果；
本实施例中，在构建先验框时，对训练样本图像中的每一个先验框中的目标特征都进行了标注，通过对比标注的信息与目标特征对应的数据信息，对目标特征的类别作预测，得到检测结果，其中，每一个特征类别的数据格式为先验框中的四个坐标值、一个置信度和20个类别值，其中四个坐标值分别为先验框的中心二维坐标与区域宽高尺寸。通过以上各数据项目的对比，预测第二特征图中的groundtruth、ground false、background。
206、根据所述预测结果和所述训练样本图像中的标注，对所述YOLOv2模型的参数进行调整，直至所述YOLOv2模型收敛，得到对应的检测模型，其中，所述检测模型为所述第一检测模型或所述第二检测模型。
本实施例中，对于从第二特征图预测的ground truth、ground false、background，计算模型的损失值，ground truth的先验框计算两者的坐标误差、置信度差和分类差，对于其他两者的特征图框只需计算两者的置信度，其中，通过ground truth的大小调整每一部分的权重系数。以此循环，直到YOLOv2模型收敛，则得到对应的检测模型，此处检测模型包括用于检测快递面单中商品名称表格所在位置的第一检测模型、用于检测商品名称表格内文字块所在位置的第二检测模型。
本发明实施例中，详细描述了第一检测模型和第二检测模型的训练过程，通过对训练样本图像的标签进行聚类，确定图像的先验框，再提取先验框对应的第一特征图像，对第一特征图像归一化处理后加快模型收敛，接着对不同分辨率的第一特征图进行关联叠加，得到细粒度更小的第二特征图，使得模型检测精度增加，最后结合标注信息与第二特征图，预测训练样本图像的检测结果，当模型收敛时即可判定检测模型训练完成。
请参阅图3，本发明实施例中快递面单品名识别方法的第三个实施例包括：
301、获取预先拍摄的多张第一快递面单图像，并分别对所述各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置进行标注，对应得到第一图像与第二图像；
302、将所述第一图像作为第一训练样本图像输入预置第一YOLOv2模型中进行训练，得到用于检测快递面单中商品名称表格所在位置的第一检测模型，以及将所述第二图像作为第二训练样本图像输入预置第二YOLOv2模型中进行训练，得到用于检测商品名称表格内文字块所在位置的第二检测模型；
303、获取待识别的第二快递面单图像，并将所述第二快递面单图像输入所述第一检测模型进行检测，得到所述第二快递面单图像中商品名称表格所在位置；
304、对所述第二快递面单图像进行二值化处理，得到所述第二快递面单图像像素的投影特征分布；
本实施例中，对第二快递面单的二值化处理在于利用商品名称所在位置与背景区域的颜色差异，将商品名称从快递面单中准确分类开，具体处理方式如下所示：
通过公式
Figure BDA0002457793450000131
将第二快递面单图像将RGB三通彩色图像转化为单通道的灰度图，其中，R、B、G分别为图像中的红色、绿色、蓝色三种颜色的像素值，WR、WG、WB分别为三种颜色的权重，优选的，取WR＝0.299，WG＝0.587，WB＝0.114；
再采用直方图均衡化提升灰度图的对比度，通过累计分布函数变换进行直方图的修正，并改变投影特征的均匀密度分布；
接着根据直方图的均匀密度分布，使用OTSU(最大类间方差法)算法计算二值化处理的阈值，将阈值之上与阈值之下的颜色分布进行二值化；
最后使用中值滤波的方法处理二值图的噪点，即以每一个像素点为中心与周围八个其他像素点形成多个九宫格，计算九宫格的像素中值，作为该像素点的值。
305、根据所述投影特征分布，分离所述第二快递面单图像中的商品名称表格与背景区域；
本实施例中，通过二值化处理后的二值图，可明显区分商品名称表格与背景区域，需注意的是，若快递面单颜色为黑底白字，而我们训练的面单为白底黑字，则在此处需对快递面单做反色处理，将黑底白字的快递面单转化为白底黑字。
306、根据预设的切割阈值，确定所述第二快递面单图像中商品名称表格对应的切割范围；
本实施例中，此处通过投影分割的方法对二值图进行分割，可对二值图的水平和垂直方向做投影，根据投影的空白间隔的大小即可判断出需要切割的位置，为保证不会因为第二快递面单中存在间隙较大的文字组合而从商品名称中间切除，误切快递面单表格，故需设置切割阈值，即文字之间的切割间隙大小，另一方面为考虑商品名称表格边缘位置产品误切和噪点的影响，将商品名称表格对边缘位置保留一定的宽度并将其他边缘区域切除。
307、根据所述切割范围，切割所述第二快递面单图像，得到商品名称表格所在位置对应的表格区域图像；
本实施例中，上一步骤已划定了商品名称表格的切除范围，此处直接根据切除线对第二快递图像进行切除即可，保留切割内区域，即为表格区域图像。
308、将所述表格区域图像输入所述第二检测模型进行检测，得到所述第二快递面单图像中商品名称表格内文字块所在位置；
309、调用预置文字识别模型对所述表格区域图像内文字块所在位置进行文字识别，输出对应的文字信息，并将所述文字信息作为所述第二快递面单图像中的商品名称进行展示。
本发明实施例中，介绍了从待检测的第二快递面单图像中，对商品名称表格所在位置对应的表格区域图像进行截取的过程，通过将第二快递面单图像二值化，以分离商品名称表格所在位置与背景，再以设置的切割预置，确定需要切割的范围，最后根据切割的范围进行切割即可得到表格区域图像，以用于后面选择性对快递面单中的商品名称进行识别。
请参阅图4，本发明实施例中快递面单品名识别方法的第四个实施例包括：
401、获取预先拍摄的多张第一快递面单图像，并分别对所述各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置进行标注，对应得到第一图像与第二图像；
402、将所述第一图像作为第一训练样本图像输入预置第一YOLOv2模型中进行训练，得到用于检测快递面单中商品名称表格所在位置的第一检测模型，以及将所述第二图像作为第二训练样本图像输入预置第二YOLOv2模型中进行训练，得到用于检测商品名称表格内文字块所在位置的第二检测模型；
403、获取待识别的第二快递面单图像，并将所述第二快递面单图像输入所述第一检测模型进行检测，得到所述第二快递面单图像中商品名称表格所在位置；
404、从所述第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像，并将所述表格区域图像输入所述第二检测模型进行检测，得到所述第二快递面单图像中商品名称表格内文字块所在位置；
405、根据所述文字块中的多个短文字块所在位置，对所述文字块进行分割，得到对应的多个短文字块并进行编号；
本实施例中，通过第二检测器检测得到文字块中每一个短文字块所在位置，此处根据商品名称对每一个短文字块按顺序进行编号，比如商品名称1为：文字短块A+文字短块B+文字短块C+文字短块D，这里分别对文字短块A、文字短块B、文字短块C、文字短块D按顺序编号1、2、3、4。
406、将所述短文字块按照编号顺序输入所述文字识别模型，输出各短文字块对应的短文字信息；
本实施例中，相对于整体识别整个文字短块的文字信息，分别识别每一个文字短块对应的短文字信息，降低文字识别模型的识别难度，增加其识别精度，不需区分标点符号、中英文字符、文字长度等，只需按照输入的文字短块的顺序进行识别即可。比如将商品名称1的每一个文字短块按照1、2、3、4的顺序，将文字短块A、文字短块B、文字短块C、文字短块D顺序输入文字识别模型中，即可得到对应的短文字信息A、短文字信息B、短文字信息C、短文字信息C。
407、根据所述短文字信息的输出顺序，拼接各短文字块对应的短文字信息，得到所述商品名称对应的文字信息并进行展示。
本实施例中，对从文字识别模型中输出的短文字信息同步进行拼接，保证最后拼接的文字信息内容为商品名称。比如对于商品名称1的每一个文字短块识别后按照编号1、2、3、4的顺序，将短文字信息A、短文字信息B、短文字信息C、短文字信息C输出文字识别模型，则同步将短文字信息A与短文字信息B进行拼接，再将短文字信息A+B与短文字信息C进行拼接，以此类推，则最后得到的文字信息为短文字信息A+短文字信息B+短文字信息C+短文字信息D，即为商品名称1的识别结果。
在本发明实施例中，介绍了文字块的识别过程，通过将文字块切割成短文字块进行识别，得到对应的短文字信息后再拼接成文字块对应的文字信息，并以该文字信息作为快递面单的商品名称，增加文字块识别的精度，变相降低对第二快递面单图像的质量要求。
上面对本发明实施例中快递面单品名识别方法进行了描述，下面对本发明实施例中快递面单品名识别装置进行描述，请参阅图5，本发明实施例中快递面单品名识别装置一个实施例包括：
图像获取模块501，用于获取预先拍摄的多张第一快递面单图像，并分别对所述各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置进行标注，对应得到第一图像与第二图像；
模型训练模块502，用于将所述第一图像作为第一训练样本图像输入预置第一YOLOv2模型中进行训练，得到用于检测快递面单中商品名称表格所在位置的第一检测模型，以及将所述第二图像作为第二训练样本图像输入预置第二YOLOv2模型中进行训练，得到用于检测商品名称表格内文字块所在位置的第二检测模型；
表格检测模块503，用于获取待识别的第二快递面单图像，并将所述第二快递面单图像输入所述第一检测模型进行检测，得到所述第二快递面单图像中商品名称表格所在位置；
文字块检测模块504，用于从所述第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像，并将所述表格区域图像输入所述第二检测模型进行检测，得到所述第二快递面单图像中商品名称表格内文字块所在位置；
文字识别模块505，用于调用预置文字识别模型对所述表格区域图像内文字块所在位置进行文字识别，输出对应的文字信息，并将所述文字信息作为所述第二快递面单图像中的商品名称进行展示。
本发明实施例中，通过YOLOv2模型训练出用于检测快递面单中商品名称的模型，结合文字识别模型，简化检测及识别流程；再选择性截取、检测及识别快递面单中商品名称的部分，减少模型计算量；以此增加对快递面单品名的识别效率。
请参阅图6，本发明实施例中快递面单品名识别装置的另一个实施例包括：
图像获取模块601，用于获取预先拍摄的多张第一快递面单图像，并分别对所述各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置进行标注，对应得到第一图像与第二图像；
模型训练模块602，用于将所述第一图像作为第一训练样本图像输入预置第一YOLOv2模型中进行训练，得到用于检测快递面单中商品名称表格所在位置的第一检测模型，以及将所述第二图像作为第二训练样本图像输入预置第二YOLOv2模型中进行训练，得到用于检测商品名称表格内文字块所在位置的第二检测模型；
表格检测模块603，用于获取待识别的第二快递面单图像，并将所述第二快递面单图像输入所述第一检测模型进行检测，得到所述第二快递面单图像中商品名称表格所在位置；
文字块检测模块604，用于从所述第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像，并将所述表格区域图像输入所述第二检测模型进行检测，得到所述第二快递面单图像中商品名称表格内文字块所在位置；
文字识别模块605，用于调用预置文字识别模型对所述表格区域图像内文字块所在位置进行文字识别，输出对应的文字信息，并将所述文字信息作为所述第二快递面单图像中的商品名称进行展示。
具体的，所述YOLOv2模型依次包括：第一Darknet-19网络、第二Darknet-19网络、Batch NonIlalization层、Passthrough层以及分类层；
所述第一Darknet-19网络用于生成训练样本图像的先验框；
所述第二Darknet-19网络用于提取所述训练样本图像的目标特征图，并调整所述先验框的位置范围；
所述Batch NonIlalization层用于对所述目标特征图进行归一化处理；
所述Passthrough层用于生成细粒度更小的目标特征图；
所述分类层用于预测所述训练样本图像的检测结果。
具体的，所述模型训练模块602包括：
先验框生成单元6021，用于将训练样本图像输入所述第一Darknet-19网络，通过所述第一Darknet-19网络对训练样本图像中的标注进行维度聚类，生成所述训练样本图像对应的先验框，其中，所述先验框用于圈定第一特征图的范围，所述训练样本图像为所述第一训练样本图像或所述第二训练样本图像；
特征图提取单元6022，用于将带有先验框的训练样本图像输入所述第二Darknet-19网络，通过所述第二Darknet-19网络提取所述训练样本图像的第一特征图，并调整先验框的位置范围，其中，所述第一特征图包括各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置；
归一化处理单元6023，用于将所述第一特征图输入所述Batch NonIlalization层，通过所述Batch NonIlalization层，对所述第一特征图进行归一化处理，得到规范化的第一特征图；
特征图关联单元6024，用于将所述规范化的第一特征图输入所述Passthrough层，通过所述Passthrough层对所述第二Darknet-19网络中不同语义化程度的卷积层在通道上做连接，并对对应的第一特征图做叠加，生成细粒度更小的第二特征图；
结果预测单元6025，用于将所述第二特征图输入所述分类网络，通过所述分类网络对第二特征图中的各像素点进行预测，生成所述第二特征图对应的预测结果；
模型生成单元6026，用于根据所述预测结果和所述训练样本图像中的标注，对所述YOLOv2模型的参数进行调整，直至所述YOLOv2模型收敛，得到对应的检测模型，其中，所述检测模型为所述第一检测模型或所述第二检测模型。
具体的，所述文字块检测模块604还包括图像截取单元6041，所述图像截图单元6041用于：
对所述第二快递面单图像进行二值化处理，得到所述第二快递面单图像像素的投影特征分布；
根据所述投影特征分布，分离所述第二快递面单图像中的商品名称表格与背景区域；
根据预设的切割阈值，确定所述第二快递面单图像中商品名称表格对应的切割范围；
根据所述切割范围，切割所述第二快递面单图像，得到商品名称表格所在位置对应的表格区域图像。
具体的，在所述文字块检测模型604之前还包括线框处理模块606，所述线框处理模块606用于：
若所述第二快递面单图像带有文字线框，则根据所述投影特征分布，判断是否存在大于预设数量的连续相同的投影特征；
若存在，则确定所述连续相同的投影特征为所述记录区域的文字线框，并将所述文字线框的颜色设置为所述快递面单的背景颜色。
具体的，所述文字块检测模块604还包括文字检测单元6042，所述文字检测单元6042用于：
根据文字划分规则，对所述表格区域图像中的文字区域进行划分，得到多个短文字块区域，其中，所述文字划分规则包括不同文字类型与预设的文字长度；
通过所述第二检测模型对所述多个短文字块区域进行检测，得到所述多个短文字块所在位置；
根据所述短文字块所在位置，得到所述第二快递面单图像中商品名称表格内文字块所在位置。
具体的，所述文字识别模块605还包括：
文字块分割单元6051，用于根据所述文字块中的多个短文字块所在位置，对所述文字块进行分割，得到对应的多个短文字块并进行编号；
文字块识别单元6052，用于将所述短文字块按照编号顺序输入所述文字识别模型，输出各短文字块对应的短文字信息；
文字块拼接单元6053，用于根据所述短文字信息的输出顺序，拼接各短文字块对应的短文字信息，得到所述商品名称对应的文字信息并进行展示。
本发明实施例中，通过YOLOv2模型训练出用于检测快递面单中商品名称的模型，其检测精度即效率都得到提升，再结合文字识别模型，更简化整体的检测及识别流程；再选择性截取、检测及识别快递面单中商品名称的部分，减少模型计算量；接着以短文字块的形式进行识别，进一步增加其识别精度，总而言之以此增加对快递面单品名的识别效率。
上面图5和图6从模块化功能实体的角度对本发明实施例中的快递面单品名识别装置进行详细描述，下面从硬件处理的角度对本发明实施例中快递面单品名识别设备进行详细描述。
图7是本发明实施例提供的一种快递面单品名识别设备的结构示意图，该快递面单品名识别设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对快递面单品名识别设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在快递面单品名识别设备700上执行存储介质730中的一系列指令操作。
基于快递面单品名识别设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的快递面单品名识别设备结构并不构成对基于快递面单品名识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述快递面单品名识别方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种快递面单品名识别方法，其特征在于，所述快递面单品名识别方法包括：
获取预先拍摄的多张第一快递面单图像，并分别对所述各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置进行标注，对应得到第一图像与第二图像；
将所述第一图像作为第一训练样本图像输入预置第一YOLOv2模型中进行训练，得到用于检测快递面单中商品名称表格所在位置的第一检测模型，以及将所述第二图像作为第二训练样本图像输入预置第二YOLOv2模型中进行训练，得到用于检测商品名称表格内文字块所在位置的第二检测模型；
获取待识别的第二快递面单图像，并将所述第二快递面单图像输入所述第一检测模型进行检测，得到所述第二快递面单图像中商品名称表格所在位置；
从所述第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像，并将所述表格区域图像输入所述第二检测模型进行检测，得到所述第二快递面单图像中商品名称表格内文字块所在位置；
调用预置文字识别模型对所述表格区域图像内文字块所在位置进行文字识别，输出对应的文字信息，并将所述文字信息作为所述第二快递面单图像中的商品名称进行展示。
2.根据权利要求1所述的快递面单品名识别方法，其特征在于，所述YOLOv2模型依次包括：第一Darknet-19网络、第二Darknet-19网络、Batch NonIlalization层、Passthrough层以及分类层；
其中，所述第一Darknet-19网络用于生成训练样本图像的先验框；
所述第二Darknet-19网络用于提取所述训练样本图像的目标特征图，并调整所述先验框的位置范围；
所述Batch NonIlalization层用于对所述目标特征图进行归一化处理；
所述Passthrough层用于生成细粒度更小的目标特征图；
所述分类层用于预测所述训练样本图像的检测结果。
3.根据权利要求2所述的快递面单品名识别方法，其特征在于，所述第一检测模型或第二检测模型的训练过程包括：
将训练样本图像输入所述第一Darknet-19网络，通过所述第一Darknet-19网络对训练样本图像中的标注进行维度聚类，生成所述训练样本图像对应的先验框，其中，所述先验框用于圈定第一特征图的范围，所述训练样本图像为所述第一训练样本图像或所述第二训练样本图像；
将带有先验框的训练样本图像输入所述第二Darknet-19网络，通过所述第二Darknet-19网络提取所述训练样本图像的第一特征图，并调整先验框的位置范围，其中，所述第一特征图包括各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置；
将所述第一特征图输入所述Batch NonIlalization层，通过所述BatchNonIlalization层，对所述第一特征图进行归一化处理，得到规范化的第一特征图；
将所述规范化的第一特征图输入所述Passthrough层，通过所述Passthrough层对所述第二Darknet-19网络中不同语义化程度的卷积层在通道上做连接，并对对应的第一特征图做叠加，生成细粒度更小的第二特征图；
将所述第二特征图输入所述分类网络，通过所述分类网络对第二特征图中的各像素点进行预测，生成所述第二特征图对应的预测结果；
根据所述预测结果和所述训练样本图像中的标注，对所述YOLOv2模型的参数进行调整，直至所述YOLOv2模型收敛，得到对应的检测模型，其中，所述检测模型为所述第一检测模型或所述第二检测模型。
4.根据权利要求1所述的快递面单品名识别方法，其特征在于，所述从所述第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像包括：
对所述第二快递面单图像进行二值化处理，得到所述第二快递面单图像像素的投影特征分布；
根据所述投影特征分布，分离所述第二快递面单图像中的商品名称表格与背景区域；
根据预设的切割阈值，确定所述第二快递面单图像中商品名称表格对应的切割范围；
根据所述切割范围，切割所述第二快递面单图像，得到商品名称表格所在位置对应的表格区域图像。
5.根据权利要求4所述的快递面单品名识别方法，其特征在于，在所述从所述第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像之前，还包括：
若所述第二快递面单图像带有文字线框，则根据所述投影特征分布，判断是否存在大于预设数量的连续相同的投影特征；
若存在，则确定所述连续相同的投影特征为所述记录区域的文字线框，并将所述文字线框的颜色设置为所述快递面单的背景颜色。
6.根据权利要求1-5中任一项所述的快递面单品名识别方法，其特征在于，所述将所述表格区域图像输入所述第二检测模型进行检测，得到所述第二快递面单图像中商品名称表格内文字块所在位置包括：
根据文字划分规则，对所述表格区域图像中的文字区域进行划分，得到多个短文字块区域，其中，所述文字划分规则包括不同文字类型与预设的文字长度；
通过所述第二检测模型对所述多个短文字块区域进行检测，得到所述多个短文字块所在位置；
根据所述短文字块所在位置，得到所述第二快递面单图像中商品名称表格内文字块所在位置。
7.根据权利要求6所述的快递面单品名识别方法，其特征在于，所述调用预置文字识别模型对所述表格区域图像内文字块所在位置进行文字识别，输出对应的文字信息，并将所述文字信息作为所述第二快递面单图像中的商品名称进行展示包括：
根据所述文字块中的多个短文字块所在位置，对所述文字块进行分割，得到对应的多个短文字块并进行编号；
将所述短文字块按照编号顺序输入所述文字识别模型，输出各短文字块对应的短文字信息；
根据所述短文字信息的输出顺序，拼接各短文字块对应的短文字信息，得到所述商品名称对应的文字信息并进行展示。
8.一种快递面单品名识别装置，其特征在于，所述快递面单品名识别装置包括：
图像获取模块，用于获取预先拍摄的多张第一快递面单图像，并分别对所述各第一快递面单图像中商品名称表格所在位置、所述商品名称表格中文字块所在位置进行标注，对应得到第一图像与第二图像；
模型训练模块，用于将所述第一图像作为第一训练样本图像输入预置第一YOLOv2模型中进行训练，得到用于检测快递面单中商品名称表格所在位置的第一检测模型，以及将所述第二图像作为第二训练样本图像输入预置第二YOLOv2模型中进行训练，得到用于检测商品名称表格内文字块所在位置的第二检测模型；
表格检测模块，用于获取待识别的第二快递面单图像，并将所述第二快递面单图像输入所述第一检测模型进行检测，得到所述第二快递面单图像中商品名称表格所在位置；
文字块检测模块，用于从所述第二快递面单图像中截取商品名称表格所在位置对应的表格区域图像，并将所述表格区域图像输入所述第二检测模型进行检测，得到所述第二快递面单图像中商品名称表格内文字块所在位置；
文字识别模块，用于调用预置文字识别模型对所述表格区域图像内文字块所在位置进行文字识别，输出对应的文字信息，并将所述文字信息作为所述第二快递面单图像中的商品名称进行展示。
9.一种快递面单品名识别设备，其特征在于，所述快递面单品名识别设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述快递面单品名识别设备执行如权利要求1-7中任一项所述的快递面单品名识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的快递面单品名识别方法。
CN202010310863.4A 2020-04-20 2020-04-20 快递面单品名识别方法、装置、设备及存储介质 Active CN111461133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010310863.4A CN111461133B (zh) 2020-04-20 2020-04-20 快递面单品名识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010310863.4A CN111461133B (zh) 2020-04-20 2020-04-20 快递面单品名识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111461133A CN111461133A (zh) 2020-07-28
CN111461133B true CN111461133B (zh) 2023-04-18

Family

ID=71684639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010310863.4A Active CN111461133B (zh) 2020-04-20 2020-04-20 快递面单品名识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111461133B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288039B (zh) * 2020-11-26 2024-01-23 深源恒际科技有限公司 一种用于ocr模型训练的样本标注方法及系统
CN113033541B (zh) * 2021-04-15 2024-04-30 北京合众鼎成科技有限公司 发行公告版面分析方法
CN113240376A (zh) * 2021-05-31 2021-08-10 中邮信息科技(北京)有限公司 物品信息确定方法、装置、电子设备及介质
CN116071773B (zh) * 2023-03-15 2023-06-27 广东电网有限责任公司东莞供电局 检测电网建设类档案中表格的方法、装置、介质和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242400A (zh) * 2018-11-02 2019-01-18 南京信息工程大学 一种基于卷积门控循环神经网络的物流快递单号识别方法
CN109241857A (zh) * 2018-08-13 2019-01-18 杭州睿琪软件有限公司 一种单据信息的识别方法及系统
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN110751232A (zh) * 2019-11-04 2020-02-04 哈尔滨理工大学 一种中文复杂场景文本检测与识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN109241857A (zh) * 2018-08-13 2019-01-18 杭州睿琪软件有限公司 一种单据信息的识别方法及系统
CN109242400A (zh) * 2018-11-02 2019-01-18 南京信息工程大学 一种基于卷积门控循环神经网络的物流快递单号识别方法
CN110751232A (zh) * 2019-11-04 2020-02-04 哈尔滨理工大学 一种中文复杂场景文本检测与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丁明宇 ; 牛玉磊 ; 卢志武 ; 文继荣 ; .基于深度学习的图片中商品参数识别方法.软件学报.2017,(04),全文. *

Also Published As

Publication number Publication date
CN111461133A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111461133B (zh) 快递面单品名识别方法、装置、设备及存储介质
CN109829914B (zh) 检测产品缺陷的方法和装置
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
US9965695B1 (en) Document image binarization method based on content type separation
EP1091320A2 (en) Processing multiple digital images
EP1081648B1 (en) Method for processing a digital image
CN112507782A (zh) 文本图像的识别方法及装置
CN112883926B (zh) 表格类医疗影像的识别方法及装置
CN110598566A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN111680690A (zh) 一种文字识别方法及装置
CN111814739B (zh) 快递包裹体积的检测方法、装置、设备及存储介质
CN115618847B (zh) 一种解析pdf文档的方法、装置和可读存储介质
CN111612747A (zh) 产品表面裂缝快速检测方法及检测系统
CN116342525A (zh) 基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统
CN113392819B (zh) 一种批量化学术图像自动分割标注装置和方法
JP6628336B2 (ja) 情報処理システム
JP5027201B2 (ja) テロップ文字領域検出方法，テロップ文字領域検出装置およびテロップ文字領域検出プログラム
CN112884741A (zh) 一种基于图像相似性对比的印刷表观缺陷检测方法
CN111914706A (zh) 一种文字检测输出结果质量检测和控制的方法与装置
CN116363655A (zh) 一种财务票据识别方法及系统
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN116030472A (zh) 文字坐标确定方法及装置
CN114494678A (zh) 文字识别方法和电子设备
CN114332866A (zh) 一种基于图像处理的文献曲线分离与坐标信息提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant