CN111695559B - 基于YoloV3模型的运单图片信息打码方法及系统 - Google Patents

基于YoloV3模型的运单图片信息打码方法及系统 Download PDF

Info

Publication number
CN111695559B
CN111695559B CN202010350502.2A CN202010350502A CN111695559B CN 111695559 B CN111695559 B CN 111695559B CN 202010350502 A CN202010350502 A CN 202010350502A CN 111695559 B CN111695559 B CN 111695559B
Authority
CN
China
Prior art keywords
frame
square
coding
picture
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010350502.2A
Other languages
English (en)
Other versions
CN111695559A (zh
Inventor
陈才宁
寇宇
赵兴
林灿
陈婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Leap New Technology Co ltd
Original Assignee
Shenzhen Leap New Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Leap New Technology Co ltd filed Critical Shenzhen Leap New Technology Co ltd
Priority to CN202010350502.2A priority Critical patent/CN111695559B/zh
Publication of CN111695559A publication Critical patent/CN111695559A/zh
Application granted granted Critical
Publication of CN111695559B publication Critical patent/CN111695559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00—Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B41J29/38—Drives, motors, controls or automatic cut-off devices for the entire printing mechanism
    • B41J29/393—Devices for controlling or analysing the entire machine ; Controlling or analysing mechanical parameters involving printing of test patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于YoloV3模型的运单图片信息打码方法及系统，其中方法包括：将运单图片输入至训练好的YoloV3模型进行检测，得到运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息；选择寄方栏框或收方栏框，比较其高度与宽度两者间的大小，并结合寄方框和收方框的相对位置关系，识别出运单图片的当前姿态；结合运单图片的当前姿态、寄方框、寄方栏框、收方框和收方栏框的信息，在寄方框和寄方栏框中设定打码区域，并对打码区域进行打码操作。通过上述方式，本发明能够对运单图片上的寄方框和寄方栏框进行打码，避免寄方客户的信息泄露，并且自动化实现打码，降低人力消耗，节省了人力资源。

Description

基于YoloV3模型的运单图片信息打码方法及系统
技术领域
本申请涉及物流运输技术领域，特别是涉及一种基于YoloV3模型的运单图片信息打码方法及系统。
背景技术
随着物流行业的快速发展，物流行业的竞争越来越激烈，物流信息的保密处理从而也显得越来越重要。
如在运单外部服务中，通常要由外部人员对运单信息进行录入。由于运单是用图片的形式展示给外包人员，这样就造成大量客户信息泄露。因此，为了保护寄方客户的隐私和防止同行竞争者对寄方客户信息的利用，需要对寄方的信息隐藏后推送给外包人员。
目前，主要是通过工作人员采用涂抹的方式对物流运单上的寄方信息进行隐藏，而该种方式耗时长，且工作量巨大，浪费了大量的人力资源。
发明内容
本申请提供一种基于YoloV3模型的运单图片信息打码方法及系统，以解决现有运单图片的信息隐藏方式效率低下且工作量大的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于YoloV3模型的运单图片信息打码方法，包括：S1、将运单图片输入至训练好的YoloV3模型进行检测，得到运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息；运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息包括各个框的高度、宽度以及中心点坐标、以及各个框的顶点的坐标；寄方框与寄方栏框的高度相同，收方框和收方栏框的高度相同；S2、选择寄方栏框或收方栏框，比较其高度与宽度两者间的大小，并结合寄方框和收方框的相对位置关系，识别出运单图片的当前姿态；S3、结合运单图片的当前姿态、寄方框、寄方栏框、收方框和收方栏框的信息，在寄方框和寄方栏框中设定打码区域，并对打码区域进行打码操作。
作为本发明的进一步改进，步骤S2之后还包括：根据当前姿态，将运单图片进行旋转摆正；摆正后的运单图片中，寄方框和寄方栏框并排，收方框在寄方框正下方，收方栏框在寄方栏框正下方。
作为本发明的进一步改进，步骤S2之前还包括：步骤S3包括：S31、计算连接寄方框中心点到寄方栏框中心点的第一直线的斜率；S32、以摆正后运单图片寄方框的左上角顶点为打码点的起点，沿第一直线的斜率走向，按照预设打码高度和步长，逐点打码至寄方栏框上边框的中心点处。
作为本发明的进一步改进，步骤S2之前还包括：步骤S32中沿第一直线的斜率走向逐点打码前包括：判断当前打码点按照寄方框高度作为打码高度进行打码，打码后的区域下边界是否会超过收方框的上边框，若否，则预设打码高度为寄方框的高度；若是，则预设打码高度为寄方框上边框与收方框上边框两者间的距离。
作为本发明的进一步改进，步骤S2之前还包括：训练好的YoloV3模型通过如下步骤得到：获取样本图片，将样本图片进行数据清洗以及数据增强，得到目标图片；对目标图片中的寄方框、寄方栏框、收方框和收方栏框进行打标，生成标注信息；标注信息包括目标图片中各个框的中心点的X轴坐标、Y轴坐标，以及各个框的宽度和高度；将目标图片和标注信息输入至YoloV3模型进行训练。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种基于YoloV3模型的运单图片信息打码系统，包括：检测模块，用于将运单图片输入至训练好的YoloV3模型进行检测，得到运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息；运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息包括各个框的高度、宽度以及中心点坐标、以及各个框的顶点的坐标；寄方框与寄方栏框的高度相同，收方框和收方栏框的高度相同；识别模块，用于选择寄方栏框或收方栏框，比较其高度与宽度两者间的大小，并结合寄方框和收方框的相对位置关系，识别出运单图片的当前姿态；打码模块，用于结合运单图片的当前姿态、寄方框、寄方栏框、收方框和收方栏框的信息，在寄方框和寄方栏框中设定打码区域，并对打码区域进行打码操作。
作为本发明的进一步改进，其还包括：摆正模块，用于根据当前姿态，将运单图片进行旋转摆正；摆正后的运单图片中，寄方框和寄方栏框并排，收方框在寄方框正下方，收方栏框在寄方栏框正下方。
作为本发明的进一步改进，打码模块包括：计算单元，用于计算连接寄方框中心点到寄方栏框中心点的第一直线的斜率；打码单元，用于以摆正后运单图片寄方框的左上角顶点为打码点的起点，沿第一直线的斜率走向，按照预设打码高度和步长，逐点打码至寄方栏框上边框的中心点处。
作为本发明的进一步改进，打码模块还包括：判断单元，用于判断当前打码点按照寄方框高度作为打码高度进行打码，打码后的区域下边界是否会超过收方框的上边框，若否，则预设打码高度为寄方框的高度；若是，则预设打码高度为寄方框上边框与收方框上边框两者间的距离。
作为本发明的进一步改进，其还包括：样本获取模块，用于获取样本图片，将样本图片进行数据清洗以及数据增强，得到目标图片；标注模块，用于对目标图片中的寄方框、寄方栏框、收方框和收方栏框进行打标，生成标注信息；标注信息包括目标图片中各个框的中心点的X轴坐标、Y轴坐标，以及各个框的宽度和高度；训练模块，用于将目标图片和标注信息输入至YoloV3模型进行训练。
本申请的有益效果是：本发明的基于YoloV3模型的运单图片信息打码方法通过训练好的YoloV3模型识别出运单图片上的寄方框、寄方栏框、收方框和收方栏框的信息，在利用寄方栏框或收方栏框的信息识别出运单图片的当前姿态，最后结合运单图片的姿态和寄方框、寄方栏框、收方框和收方栏框的信息，对寄方框和寄方栏框中的打码区域进行打码，其实现了自动将运单图片上的寄方客户信息进行隐藏，不需要通过人为方式，提升了隐藏客户信息的操作效率，同时降低了人力资源的消耗。
附图说明
图1是本发明第一实施例的基于YOLOV3模型的运单图片信息打码方法的流程示意图；
图2是本发明第二实施例的基于YOLOV3模型的运单图片信息打码方法的流程示意图；
图3是本发明运单图片的框架结构示意图；
图4是本发明第四实施例的基于YOLOV3模型的运单图片信息打码方法的流程示意图；
图5是本发明运单图片打码过程第一示意图；
图6是本发明第五实施例的基于YOLOV3模型的运单图片信息打码方法的流程示意图；
图7是本发明运单图片打码过程第二示意图
图8是本发明第一实施例的基于YOLOV3模型的运单图片信息打码系统的功能模块示意图；
图9是本发明第二实施例的基于YOLOV3模型的运单图片信息打码系统的功能模块示意图；
图10是本发明第三实施例的基于YOLOV3模型的运单图片信息打码系统的功能模块示意图；
图11是本发明第四实施例的基于YOLOV3模型的运单图片信息打码系统的功能模块示意图；
图12是本发明第五实施例的基于YOLOV3模型的运单图片信息打码系统的功能模块示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的基于YOLOV3模型的运单图片信息打码方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括步骤：
步骤S1：将运单图片输入至训练好的YoloV3模型进行检测，得到运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息。
需要说明的是，运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息包括各个框的高度、宽度以及中心点坐标、以及各个框的顶点的坐标；寄方框与寄方栏框的高度相同，收方框和收方栏框的高度相同。
本实施例中，采用YoloV3模型来检测运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息，在进行检测之前，首先需要对YoloV3模型进行训练，如图2所示，具体地训练步骤如下：
步骤S11：获取样本图片，将样本图片进行数据清洗以及数据增强，得到目标图片。
在步骤S11中，为了提高训练的效率和效果，本实施例中，对样本图片进行数据清洗和数据增强操作。其中，数据清洗包括去除模糊的、寄方框、寄方栏框、收方框和收方栏框残缺的运单图片；数据增强具体包括以下方式：
1、对摆正姿态下的样本图片随机旋转90°的倍数，从而使得YoloV3模型对顺时针旋转90°、逆时针旋转90°、倒立的运单图片的识别能力增强；
2、对样本图片随机进行仿射变化，以增强YoloV3模型对不同倾斜程度的运单图片的泛化识别能力，其中，仿射变化是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间；
3、随机改变样本图片的亮度、饱和度，以增强YoloV3模型对不同光照下的运单图片的泛化识别能力。
通过以上数据增强方式，可以有效增加YoloV3模型的泛化识别能力。需要说明的是，本实施例中数据清洗和数据增强并不局限于以上方式，其他可实现数据清洗或数据增强目的的操作也属于本发明的保护范围之内。
步骤S12：对目标图片中的寄方框、寄方栏框、收方框和收方栏框进行打标，生成标注信息。
需要说明的是，标注信息包括目标图片中各个框的中心点的X轴坐标、Y轴坐标，以及各个框的宽度和高度。
在步骤S12中，为了实现对寄方框、寄方栏框、收方框和收方栏框的定位，需要对识别的目标图片上的寄方框、寄方栏框、收方框和收方栏框进行打标，即框住各个框并记录各个框中心点的X轴坐标、Y轴坐标，以及各个框的宽度和高度，生成标注信息，需要说明的是，在本发明实施例中，以运单图片左上角的顶点为坐标系原点建立坐标系，进而以该原点进行计算得到各个框的中心点X轴坐标、Y轴坐标，另外，在本实施例中，标注信息可以以txt格式的文件记录，例如，如下所示为一目标图片中寄方框、收方框、寄方栏框和收方栏框的标注信息：
其中，第一列数据0、1、2、3分别代表寄方框、收方框、寄方栏框和收方栏框的标号，每一行的第二、三、四、五个数据分别代表每个方框的中心点的X轴坐标、Y轴坐标、宽度和高度。其中，上述数据均已进行归一化操作，具体为，X轴坐标和宽度通过除以整个运单图片的宽度来执行归一化操作，Y轴坐标和高度通过除以整个运单图片的高度来执行归一化操作。
步骤S13：将目标图片和标注信息输入至YoloV3模型进行训练。
在步骤S13中，将目标图片和标注信息输入至YoloV3模型中训练，采用平方差损失函数进行计算，整个训练过程采用随机梯度下降优化器进行优化，直至损失函数不再下降时为止，得到训练好的YoloV3模型。
将运单图片输入至训练好的YoloV3模型进行检测，得到运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息后，执行步骤S2。
步骤S2：选择寄方栏框或收方栏框，比较其高度与宽度两者间的大小，并结合寄方框和收方框的相对位置关系，识别出运单图片的当前姿态。
需要说明的是，在步骤S2之前，进一步的，将属于同一联运单的寄方框、寄方栏框、收方框和收方栏框合成在同一框群中。在实际物流运输过程中会出现多个收寄方的情况，使得拍摄的一张运单图片上出现多联运单，为了避免将不同联的寄方框、寄方栏框、收方框和收方栏框混淆，本实施例中，还需要将属于同一联运单的寄方框、寄方栏框、收方框和收方栏框合成在同一框群中，即聚集寄方框、寄方栏框、收方框和收方栏框四种距离最相近的框。具体的，可通过两两计算方框的中心点距离，将距离小于预设阈值的方框合为同一框群。
本发明实施例中，如图3所示，当运单图片摆正时，寄方框和寄方栏框并排，收方框在寄方框正下方，收方栏框在寄方栏框正下方，并且，寄方栏框和收方栏框的高度要小于宽度，而当运单图片逆时针旋转90°或顺时针旋转90°时，寄方栏框和收方栏框的高度则要大于宽度，其中，逆时针旋转90°是指运单图片当前姿态相对于摆正姿态，逆时针旋转了90°，顺时针旋转90°是指运单图片当前姿态相对于摆正姿态，顺时针旋转了90°。
在步骤S2中，选择的寄方栏框或收方栏框则可以选择任一框群中的寄方栏框或收方栏框。需要说明的是，若寄方框和收方框的高度与宽度不相等的情况下，也可采用寄方框或收方框来进行判断，通常情况下，寄方框和收方框的高度与宽度差由于较小，而寄方栏框和收方栏框的高度与宽度差相差较大，所以优先采用寄方栏框或收方栏框来进行判断。通过比较寄方栏框或收方栏框的高度与宽度两者间的大小，即可确认该运单图片是处于摆正或倒立姿态，还是处于逆时针旋转90°或顺时针旋转90°姿态。然后，再结合寄方框与收方框之间的相对位置关系，来识别出运单图片的当前姿态。具体步骤如下：
1、判断寄方栏框或收方栏框的宽度是否小于高度。
2、若宽度小于高度，则说明该运单图片处于逆时针旋转90°或顺时针旋转90°姿态，此时通过寄方框的中心点的X轴坐标值与收方框的中心点的X轴坐标值的大小关系来确定寄方框和收方框之间的位置关系。当寄方框的中心点的X轴坐标值小于收方框的中心点的X轴坐标值时，说明寄方框在收方框左侧，则该运单图片当前姿态相对于摆正姿态，逆时针旋转了90°；当寄方框的中心点的X轴坐标值大于收方框的中心点的X轴坐标值时，说明寄方框在收方框右侧，则该运单图片当前姿态相对于摆正姿态，顺时针旋转了90°。
3、若宽度大于高度，则说明该运单图片处于摆正或倒立姿态，此时通过寄方框的中心点的Y轴坐标值与收方框的中心点的Y轴坐标值的大小关系来确定寄方框和收方框之间的位置关系。当寄方框的中心点的Y轴坐标值小于收方框的中心点的Y轴坐标值时，说明寄方框在收方框下侧，则该运单图片当前姿态相对于摆正姿态，旋转了180°，即倒立姿态；当寄方框的中心点的Y轴坐标值大于收方框的中心点的Y轴坐标值时，说明寄方框在收方框上侧，则该运单图片当前姿态相对于摆正姿态，旋转了0°，即摆正姿态。
通过比较寄方栏框或收方栏框高度与宽度两者间的大小，并结合寄方框和收方框的相对位置关系，识别出所述运单图片的当前姿态之后，执行步骤S3。
步骤S3：结合运单图片的当前姿态、寄方框、寄方栏框、收方框和收方栏框的信息，在寄方框和寄方栏框中设定打码区域，并对打码区域进行打码操作。
在步骤S3中，识别运单图片的当前姿态后，结合寄方框、寄方栏框、收方框和收方栏框的信息，在寄方框和寄方栏框中设定打码区域，该打码区域覆盖寄方客户的所有信息，再对该打码区域进行打码操作，从而隐藏寄方客户的信息。在不同姿态，具体为顺时针旋转90°姿态、逆时针旋转90°姿态、摆正姿态、旋转180°姿态这四种姿态下，对运单图片的打码操作基本一致。本实施例中，以摆正姿态的运单图片对打码操作进行说明。因此，在步骤S2之后还包括：
在识别出运单图片的当前姿态后，根据运单图片的当前姿态，将运单图片进行旋转摆正。
具体为，若通过上述步骤判断出运单图片处于顺时针旋转90°姿态，则运单图片将逆时针旋转90°进行摆正；若判断出运单图片处于逆时针90°姿态，则运单图片将顺时针旋转90°进行摆正；若判断出运单图片处于摆正姿态，则运单图片保持现有姿态不变；若判断出运单图片处于倒立姿态，则运单图片将逆时针或顺时针旋转180°进行摆正。通过对运单图片进行摆正操作，以使方便对寄方的信息进行打码隐藏操作，摆正后的运单图片中，寄方框和寄方栏框并排，收方框在寄方框正下方，收方栏框在寄方栏框正下方。
下面以摆正姿态的运单图片进行打码操作说明，并就相对于摆正姿态下，其它三种姿态的打码方式的差别之处进行说明。
进一步的，如图4所示，步骤S3具体包括以下步骤：
步骤S31：计算连接寄方框中心点到寄方栏框中心点的第一直线的斜率。
在步骤S31中，连接寄方框中心点和寄方栏框中心点，并根据两点的坐标计算得到第一直线的方程：y＝k1*x+b，其中k1为第一直线的斜率。
步骤S32：以摆正后运单图片寄方框的左上角顶点为打码点的起点，沿第一直线的斜率走向，按照预设打码高度和步长，逐点打码至寄方栏框上边框的中心点处。
需要理解的是，通常地，寄方栏框内填写的寄方客户的信息只需要占据寄方栏框的一半区域，因此，为了提升打码的效率，本实施例中，在对寄方栏框进行打码时，只需要打码至寄方栏框的中部区域。
在步骤S32中，如图5所示，以摆正后的运单图片寄方框的左上角顶点为起点，沿第一直线的斜率走向(图中箭头所示方向)，按照预设打码高度和步长进行打码，直至打码至寄方栏框上边框的中心点处，从而完成对寄方框和寄方栏框的打码区域进行打码。其中，在本发明实施例中，预设打码高度为寄方框的高度，步长可设置为九个像素点，而其他替代实施例中，预设打码高度也可以略小于寄方框的高度，步长也可根据实际情况进行设置，只要可以将运单图片中的寄方信息隐藏即可。
当运单图片在其它姿态下时，如当运单图片处于倒立姿态时，打码点的起点则是运单图片寄方框的右下角的顶点，打码方向则是沿第一直线的斜率走向自右向左，按照预设打码高度和步长进行打码，直至打码至寄方栏框上边框的中心点处；当运单图片处于顺时针旋转90°时，打码点的起点则是运单图片寄方框的右上角的顶点，打码方向则是沿第一直线的斜率走向自上向下，按照预设打码高度和步长进行打码，直至打码至寄方栏框上边框的中心点处；当运单图片处于逆时针旋转90°时，打码点的起点则是运单图片寄方框的左下角的顶点，打码方向则是沿第一直线的斜率走向自下向上，按照预设打码高度和步长进行打码。可以理解的是，在不同姿态下，实际的打码操作为，以寄方框左边框上远离收方框的顶点作为打码起点，沿第一直线的斜率走向，按照预设打码高度和步长进行打码，直至打码至寄方栏框上边框的中心点处。
进一步的，如图6所示，为了防止寄方框、寄方栏框、收方框和收方栏框定位不准确，导致寄方框、寄方栏框与收方框、收方栏框发生部分重叠，进而导致将收方客户的信息也被打码的情况出现，步骤S32之前，还包括：
步骤S33：判断当前打码点按照寄方框高度作为打码高度进行打码，打码后的区域下边界是否会超过收方框的上边框，若否，则预设打码高度为寄方框的高度；若是，则预设打码高度为寄方框上边框与收方框上边框两者间的距离。
在步骤S33中，在进行打码操作时，初始按照寄方框高度作为打码高度进行打码，判断在该打码高度的情况下，打码后的区域下边界是否会超过收方框的上边框；若未超过，则说明寄方框、寄方栏框与收方框、收方栏框未发生重叠，则将预设打码高度设置为寄方框的高度；若超过，则说明寄方框、寄方栏框与收方框、收方栏框发生重叠，如图7所示，为了防止将收方的信息也打码，此时将预设打码高度设置为寄方框上边框与收方框上边框两者间的距离，即图7中黑色区域的高度。具体打码操作如下：
首先，将第一直线沿靠近寄方栏框上边框的方向平移半个寄方框的高度，得到l1的直线方程:
y1＝k1·x+hjf/2+b1；
其中，hjf为寄方框的高度，b1为Y轴截距。
其次，以收方框中心点为起点，计算终点为收方栏框中心点的第二直线的斜率k2，并将第二直线沿靠近收方栏框上边框的方向平移半个收方框高度，得到l2的直线方程：
y2＝k2·x+hsf/2+b2；
其中，hsf为寄方框的高度，b2为Y轴截距。
然后，进行打码操作时，每行进一个打码点，即每个打码点(xn,yn)进行打码前，先判断是否满足|yn1|+hjf>|yn2|，其中yn1为当前打码点的xn值代入直线方程l1得到的y值，yn2为当前打码点的xn值代入直线方程l2得到的y值。
若满足，则说明寄方框、寄方栏框与收方框、收方栏框发生重叠，此时将预设打码高度设置为寄方框上边框与收方框上边框两者间的距离，即|yn1-yn2|；若不满足，则说明寄方框、寄方栏框与收方框、收方栏框没有发生重叠，则预设打码高度设置为寄方框的高度。
进一步地，为了不遮盖寄方栏框中收件人员手写的备注信息，设置从打码起点至第一直线的中点这一段区域设置打码强度为强模糊打码，强模糊打码采用高斯模糊打码，设置高斯矩阵和标准差分别为15*15、8.5；而第一直线的中点至打码终点这一段区域设置打码强度为弱模糊打码，弱模糊打码也采用高斯模糊打码，但设置高斯矩阵和标准差分别为5*5、3.5。
本实施例通过训练好的YoloV3模型识别出运单图片上的寄方框、寄方栏框、收方框和收方栏框的信息，在利用寄方栏框或收方栏框的信息识别出运单图片的当前姿态，最后结合运单图片的姿态和寄方框、寄方栏框、收方框和收方栏框的信息，对寄方框和寄方栏框中的打码区域进行打码，其实现了自动将运单图片上的寄方客户信息进行隐藏，不需要通过人为方式，提升了隐藏客户信息的操作效率，同时降低了人力资源的消耗。
图8是本发明实施例的基于YOLOV3模型的运单图片信息打码系统的结构示意图。如图8所示，该基于YoloV3模型的运单图片信息打码系统包括检测模块10、识别模块11、打码模块12。
其中，检测模块10，用于将运单图片输入至训练好的YoloV3模型进行检测，得到运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息；运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息包括各个框的高度、宽度以及中心点坐标、以及各个框的顶点的坐标；寄方框与寄方栏框的高度相同，收方框和收方栏框的高度相同；识别模块11，用于选择寄方栏框或收方栏框，比较其高度与宽度两者间的大小，并结合寄方框和收方框的相对位置关系，识别出运单图片的当前姿态；打码模块12，用于结合运单图片的当前姿态、寄方框、寄方栏框、收方框和收方栏框的信息，在寄方框和寄方栏框中设定打码区域，并对打码区域进行打码操作。
上述实施例的基础上，其他实施例中，如图9所示，该基于YoloV3模型的运单图片信息打码系统还包括摆正模块13，用于根据当前姿态，将运单图片进行旋转摆正；摆正后的运单图片中，寄方框和寄方栏框并排，收方框在寄方框正下方，收方栏框在寄方栏框正下方。
上述实施例的基础上，其他实施例中，如图10所示，打码模块12包括计算单元121和打码单元122。
其中，计算单元121，用于计算连接寄方框中心点到寄方栏框中心点的第一直线的斜率；打码单元122，用于以摆正后运单图片寄方框的左上角顶点为打码点的起点，沿第一直线的斜率走向，按照预设打码高度和步长，逐点打码至寄方栏框上边框的中心点处。
上述实施例的基础上，其他实施例中，如图11所示，打码模块12还包括判断单元123，用于判断当前打码点按照寄方框高度作为打码高度进行打码，打码后的区域下边界是否会超过收方框的上边框，若否，则预设打码高度为寄方框的高度；若是，则预设打码高度为寄方框上边框与收方框上边框两者间的距离。
上述实施例的基础上，其他实施例中，如图12所示，基于YOLOV3模型的运单图片信息打码系统还包括样本获取模块14、标注模块15和训练模块16。
其中，样本获取模块14，用于获取样本图片，将样本图片进行数据清洗以及数据增强，得到目标图片；标注模块15，用于对目标图片中的寄方框、寄方栏框、收方框和收方栏框进行打标，生成标注信息；标注信息包括目标图片中各个框的中心点的X轴坐标、Y轴坐标，以及各个框的宽度和高度；训练模块16，用于将目标图片和标注信息输入至YoloV3模型进行训练。
关于上述五个实施例基于YoloV3模型的运单图片信息打码系统中各模块实现技术方案的其他细节，可参见上述实施例中的基于YoloV3模型的运单图片信息打码方法中的描述，此处不再赘述。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对发明的具体实施方式进行了详细说明，但其只作为范例，本发明并不限制于以上描述的具体实施方式。对于本领域的技术人员而言，任何对该发明进行的等同修改或替代也都在本发明的范畴之中，因此，在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等，都应涵盖在本发明的范围内。

Claims (10)

1.一种基于Yo1oV3模型的运单图片信息打码方法，其特征在于，包括：
S1、将运单图片输入至训练好的Yo1oV3模型进行检测，得到所述运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息；所述运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息包括各个框的高度、宽度以及中心点坐标、以及各个框的顶点的坐标；所述寄方框与寄方栏框的高度相同，收方框和收方栏框的高度相同；将属于同一联运单的寄方框、寄方栏框、收方框和收方栏框合成在同一框群中；
S2、选择寄方栏框或收方栏框，比较其高度与宽度两者间的大小，并结合寄方框和收方框的相对位置关系，识别出所述运单图片的当前姿态；选择的寄方栏框或收方栏框为任一框群中的寄方栏框或收方栏框；
S3、结合运单图片的当前姿态、寄方框、寄方栏框、收方框和收方栏框的信息，在寄方框和寄方栏框中设定打码区域，并对所述打码区域进行打码操作。
2.根据权利要求1所述的基于Yo1oV3模型的运单图片信息打码方法，其特征在于，所述步骤S2之后还包括：
根据当前姿态，将所述运单图片进行旋转摆正；摆正后的运单图片中，寄方框和寄方栏框并排，收方框在寄方框正下方，收方栏框在寄方栏框正下方。
3.根据权利要求2所述的基于Yo1oV3模型的运单图片信息打码方法，其特征在于，所述步骤S3包括：
S31、计算连接寄方框中心点到寄方栏框中心点的第一直线的斜率；
S32、以摆正后运单图片寄方框的左上角顶点为打码点的起点，沿第一直线的斜率走向，按照预设打码高度和步长，逐点打码至寄方栏框上边框的中心点处。
4.根据权利要求3所述的基于Yo1oV3模型的运单图片信息打码方法，其特征在于，所述步骤S32中沿第一直线的斜率走向逐点打码前包括：
判断当前打码点按照寄方框高度作为打码高度进行打码，打码后的区域下边界是否会超过收方框的上边框，若否，则预设打码高度为寄方框的高度；若是，则预设打码高度为寄方框上边框与收方框上边框两者间的距离。
5.根据权利要求1所述的基于Yo1oV3模型的运单图片信息打码方法，其特征在于，所述训练好的Yo1oV3模型通过如下步骤得到：
获取样本图片，将所述样本图片进行数据清洗以及数据增强，得到目标图片；
对所述目标图片中的寄方框、寄方栏框、收方框和收方栏框进行打标，生成标注信息；所述标注信息包括目标图片中各个框的中心点的X轴坐标、Y轴坐标，以及各个框的宽度和高度；
将所述目标图片和标注信息输入至Yo1oV3模型进行训练。
6.一种基于Yo1oV3模型的运单图片信息打码系统，其特征在于，包括：
检测模块，用于将运单图片输入至训练好的Yo1oV3模型进行检测，得到所述运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息；所述运单图片中的寄方框、寄方栏框、收方框和收方栏框的信息包括各个框的高度、宽度以及中心点坐标、以及各个框的顶点的坐标；所述寄方框与寄方栏框的高度相同，收方框和收方栏框的高度相同；将属于同一联运单的寄方框、寄方栏框、收方框和收方栏框合成在同一框群中；
识别模块，用于选择寄方栏框或收方栏框，比较其高度与宽度两者间的大小，并结合寄方框和收方框的相对位置关系，识别出所述运单图片的当前姿态；选择的寄方栏框或收方栏框为任一框群中的寄方栏框或收方栏框；
打码模块，用于结合运单图片的当前姿态、寄方框、寄方栏框、收方框和收方栏框的信息，在寄方框和寄方栏框中设定打码区域，并对所述打码区域进行打码操作。
7.根据权利要求6所述的基于Yo1oV3模型的运单图片信息打码系统，其特征在于，其还包括：
摆正模块，用于根据当前姿态，将所述运单图片进行旋转摆正；摆正后的运单图片中，寄方框和寄方栏框并排，收方框在寄方框正下方，收方栏框在寄方栏框正下方。
8.根据权利要求7所述的基于Yo1oV3模型的运单图片信息打码系统，其特征在于，打码模块包括：
计算单元，用于计算连接寄方框中心点到寄方栏框中心点的第一直线的斜率；
打码单元，用于以摆正后运单图片寄方框的左上角顶点为打码点的起点，沿第一直线的斜率走向，按照预设打码高度和步长，逐点打码至寄方栏框上边框的中心点处。
9.根据权利要求8所述的基于Yo1oV3模型的运单图片信息打码系统，其特征在于，所述打码模块还包括：
判断单元，用于判断当前打码点按照寄方框高度作为打码高度进行打码，打码后的区域下边界是否会超过收方框的上边框，若否，则预设打码高度为寄方框的高度；若是，则预设打码高度为寄方框上边框与收方框上边框两者间的距离。
10.根据权利要求6所述的基于Yo1oV3模型的运单图片信息打码系统，其特征在于，其还包括：
样本获取模块，用于获取样本图片，将所述样本图片进行数据清洗以及数据增强，得到目标图片；
标注模块，用于对所述目标图片中的寄方框、寄方栏框、收方框和收方栏框进行打标，生成标注信息；所述标注信息包括目标图片中各个框的中心点的X轴坐标、Y轴坐标，以及各个框的宽度和高度；
训练模块，用于将所述目标图片和标注信息输入至Yo1oV3模型进行训练。
CN202010350502.2A 2020-04-28 2020-04-28 基于YoloV3模型的运单图片信息打码方法及系统 Active CN111695559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010350502.2A CN111695559B (zh) 2020-04-28 2020-04-28 基于YoloV3模型的运单图片信息打码方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010350502.2A CN111695559B (zh) 2020-04-28 2020-04-28 基于YoloV3模型的运单图片信息打码方法及系统

Publications (2)

Publication Number Publication Date
CN111695559A CN111695559A (zh) 2020-09-22
CN111695559B true CN111695559B (zh) 2023-07-18

Family

ID=72476690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010350502.2A Active CN111695559B (zh) 2020-04-28 2020-04-28 基于YoloV3模型的运单图片信息打码方法及系统

Country Status (1)

Country Link
CN (1) CN111695559B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201594304U (zh) * 2009-02-02 2010-09-29 北京航天普霖科技有限公司 多功能票据喷墨打码机
CN107369086A (zh) * 2017-07-06 2017-11-21 上海你我贷互联网金融信息服务有限公司 一种身份证打码系统及方法
CN107571636A (zh) * 2017-09-14 2018-01-12 四川伟图智能科技有限公司 可定位激光打码打标检测系统
CN107609406A (zh) * 2017-08-09 2018-01-19 南京邮电大学 一种基于地理编码的快递地址加密方法
CN107798299A (zh) * 2017-10-09 2018-03-13 平安科技（深圳）有限公司 票据信息识别方法、电子装置及可读存储介质
CN109493285A (zh) * 2018-09-18 2019-03-19 阿里巴巴集团控股有限公司 基于众包的图像处理方法、装置、服务器及存储介质
CN109886865A (zh) * 2019-01-07 2019-06-14 平安科技（深圳）有限公司 自动屏蔽不良信息的方法、装置、计算机设备以及存储介质
CN109977943A (zh) * 2019-02-14 2019-07-05 平安科技（深圳）有限公司 一种基于yolo的图像目标识别方法、系统和存储介质
CN110458499A (zh) * 2019-08-14 2019-11-15 北京顺丰同城科技有限公司 一种快递订单生成方法、装置、电子设备及存储介质
WO2019227615A1 (zh) * 2018-06-01 2019-12-05 平安科技（深圳）有限公司 校正发票图像的方法、装置、计算机设备和存储介质
CN110598686A (zh) * 2019-09-17 2019-12-20 携程计算机技术（上海）有限公司 发票的识别方法、系统、电子设备和介质
CN110991435A (zh) * 2019-11-27 2020-04-10 南京邮电大学 一种基于深度学习的快递运单关键信息定位方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120215714A1 (en) * 2011-02-23 2012-08-23 Unisys Corp. E-freight processing for air waybills
CN106502617A (zh) * 2016-12-09 2017-03-15 北京小米移动软件有限公司 物流信息显示方法及装置
CN108399518A (zh) * 2018-02-08 2018-08-14 优荑众创实业（深圳）有限公司 物联网包装管理系统及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201594304U (zh) * 2009-02-02 2010-09-29 北京航天普霖科技有限公司 多功能票据喷墨打码机
CN107369086A (zh) * 2017-07-06 2017-11-21 上海你我贷互联网金融信息服务有限公司 一种身份证打码系统及方法
CN107609406A (zh) * 2017-08-09 2018-01-19 南京邮电大学 一种基于地理编码的快递地址加密方法
CN107571636A (zh) * 2017-09-14 2018-01-12 四川伟图智能科技有限公司 可定位激光打码打标检测系统
CN107798299A (zh) * 2017-10-09 2018-03-13 平安科技（深圳）有限公司 票据信息识别方法、电子装置及可读存储介质
WO2019227615A1 (zh) * 2018-06-01 2019-12-05 平安科技（深圳）有限公司 校正发票图像的方法、装置、计算机设备和存储介质
CN109493285A (zh) * 2018-09-18 2019-03-19 阿里巴巴集团控股有限公司 基于众包的图像处理方法、装置、服务器及存储介质
CN109886865A (zh) * 2019-01-07 2019-06-14 平安科技（深圳）有限公司 自动屏蔽不良信息的方法、装置、计算机设备以及存储介质
CN109977943A (zh) * 2019-02-14 2019-07-05 平安科技（深圳）有限公司 一种基于yolo的图像目标识别方法、系统和存储介质
CN110458499A (zh) * 2019-08-14 2019-11-15 北京顺丰同城科技有限公司 一种快递订单生成方法、装置、电子设备及存储介质
CN110598686A (zh) * 2019-09-17 2019-12-20 携程计算机技术（上海）有限公司 发票的识别方法、系统、电子设备和介质
CN110991435A (zh) * 2019-11-27 2020-04-10 南京邮电大学 一种基于深度学习的快递运单关键信息定位方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Shrikant P Mudnur ; Satish Raj Goyal ; K. N. Jariwala ; Warish D. Patel ; Bhupendra Ramani.Extraction of Maximum Secret Information Hidden in Approximate Band of Haar Wavelet Transform of an Image.2018 Conference on Information and Communication Technology (CICT).2019,1-5. *
快递行业末端配送信息化解决方案;杨雯水;物流技术与应用;第22卷(第1期);119-121 *

Also Published As

Publication number Publication date
CN111695559A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
US10713528B2 (en) System for determining alignment of a user-marked document and method thereof
US9607199B2 (en) Decoding machine-readable optical codes with aesthetic component
CN102799850B (zh) 一种条形码识别方法和装置
CN102360419B (zh) 计算机扫描阅读管理方法及系统
CN111127339B (zh) 一种文档图像的梯形畸变矫正方法及装置
US20170293992A1 (en) Image code for processing information and device and method for generating and parsing same
CN101908136A (zh) 一种表格识别处理方法及系统
US20040165786A1 (en) System and method for converting whiteboard content into an electronic document
US12002198B2 (en) Character defect detection method and device
CN103839058A (zh) 一种基于标准模版的文档图像的信息定位方法
CN104143094A (zh) 一种无需答题卡的试卷自动阅卷处理方法及系统
CN108305291B (zh) 利用包含定位二维码的墙体广告的单目视觉定位定姿方法
CN106709952B (zh) 一种显示屏幕的自动标定方法
JP2012027908A (ja) 視覚処理装置、視覚処理方法、および、視覚処理システム
CN111652205A (zh) 基于深度学习的文本矫正方法、装置、设备和介质
CN111695559B (zh) 基于YoloV3模型的运单图片信息打码方法及系统
CN102902662B (zh) 将交互式电子白板软件中的对象插入到Word页面中的方法
CN104881641A (zh) 基于移动设备的问卷和表格数字化识别方法及系统
CN110070490A (zh) 图像拼接方法和装置
CN110084117A (zh) 基于二值图分段投影的文档表格线检测方法、系统
CN113971799A (zh) 一种车辆铭牌信息位置检测方法和系统
CN114359931A (zh) 一种快递面单识别方法、装置、计算机设备及存储介质
JP2005227929A (ja) 対象物の撮影画像の処理方法、画像表示システム、プログラム、および、記録媒体
CN109685074B (zh) 一种基于Scharr算子的银行卡卡号行定位方法
CN107886808B (zh) 一种盲文方辅助标注方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 floor 4, building a, Lufthansa aviation Park, hourui community, Hangcheng street, Bao'an District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Leap New Technology Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: Shenzhen Leap New Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant