CN113449532A - 检测包裹的方法、装置、计算设备、物流系统及存储介质 - Google Patents

检测包裹的方法、装置、计算设备、物流系统及存储介质 Download PDF

Info

Publication number
CN113449532A
CN113449532A CN202010216758.4A CN202010216758A CN113449532A CN 113449532 A CN113449532 A CN 113449532A CN 202010216758 A CN202010216758 A CN 202010216758A CN 113449532 A CN113449532 A CN 113449532A
Authority
CN
China
Prior art keywords
image
package
code reading
area
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010216758.4A
Other languages
English (en)
Other versions
CN113449532B (zh
Inventor
顾睿
邓志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN202010216758.4A priority Critical patent/CN113449532B/zh
Priority to PCT/CN2021/082964 priority patent/WO2021190595A1/zh
Publication of CN113449532A publication Critical patent/CN113449532A/zh
Application granted granted Critical
Publication of CN113449532B publication Critical patent/CN113449532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出了检测包裹的方法、装置、计算设备、物流系统及存储介质，能够将条码信息与包裹进行自动关联。其中一种检测包裹的方法，包括：在传送带上包裹经过检测区域时，识别包裹上指定区域的轮廓和轮廓在检测区域中检测位置，指定区域包括所述包裹的条码；根据轮廓的检测位置和传送带的传送速度，预测轮廓在读码相机的图像坐标系的成像区域中的读码位置和读码位置对应的第一图像标识；当获取到第一图像标识对应的包裹图像时，对所述包裹图像进行条码识别；当识别出包裹图像中条码时，将读码位置与条码进行位置匹配；当读码位置匹配到条码时，将匹配到的条码与包裹进行关联。

Description

检测包裹的方法、装置、计算设备、物流系统及存储介质
技术领域
本申请涉及物流自动化技术领域，特别涉及检测包裹的方法、装置、计算设备、物流系统及存储介质。
背景技术
目前，在物流的应用场景中，传送带上的包裹需要进行属性测量，例如，测量包裹的尺寸、体积、面单、条码等属性。测量包裹不同属性的设备(例如读码相机和深度相机等)可以分布在传送带的不同位置处。
然而，当传送带上出现多包裹并发传送的情况时，即，当多个包裹并排或前后交错地同时出现在读码相机的视野内时，容易发生多包裹的条码信息的混淆，并且条码信息无法与包裹的其他属性正确关联。
因此，如何将条码信息与包裹的属性进行准确关联是需要解决的技术问题。
发明内容
本申请提出了检测包裹的方法、装置、计算设备、物流系统及存储介质，能够将条码信息与包裹的属性进行自动关联。
根据本申请一个方面，提供一种检测包裹的方法，包括：
在传送带上包裹经过检测区域时，识别包裹上指定区域的轮廓和所述轮廓在所述检测区域中检测位置，所述指定区域包括所述包裹的条码；
根据所述轮廓在所述检测区域中的检测位置和所述传送带的传送速度，预测所述轮廓在读码相机的图像坐标系的成像区域中的读码位置和所述读码位置对应的第一图像标识，所述读码相机处于所述检测区域的下游，所述第一图像标识用于标识当所述轮廓到达所述读码位置时读码相机拍摄的包裹图像；
当获取到所述第一图像标识对应的包裹图像时，对所述包裹图像进行条码识别；
当识别出所述包裹图像中条码时，将所述读码位置与条码进行位置匹配；
当所述读码位置匹配到条码时，将匹配到的条码与所述包裹进行关联。
在一些实施例中，所述轮廓在所述检测区域中的检测位置为所述轮廓在第一世界坐标系中坐标；所述根据所述轮廓在所述检测区域中的检测位置和所述传送带的传送速度，预测所述轮廓在读码相机的图像坐标系的成像区域中的读码位置和所述读码位置对应的第一图像标识，包括：
当识别出所述检测位置时，确定读码相机当前时刻采集的图像帧的第二图像标识，所述第二图像标识为帧号或者时间戳；
获取包裹在读码相机的单个采集周期内的移动距离；
根据所述读码相机的参数、所述轮廓在所述检测区域中的检测位置和所述传送带的传送速度，确定所述轮廓在第一世界坐标系中的偏移位置，所述偏移位置满足：当所述轮廓处于所述偏移位置时，所述轮廓在读码相机的图像坐标系中的投影位置处于所述成像区域中；
将处于所述偏移位置的所述轮廓、在读码相机的图像坐标系中的投影位置作为所述读码位置；
根据所述偏移位置与所述检测位置之差距包含的所述移动距离的个数，确定所述读码相机在所述包裹从所述检测位置到达所述读码位置之前拍摄的图像帧数量；
根据所述第二图像标识和所述图像帧数量，确定所述读码位置对应的第一图像标识。
在一些实施例中，检测包裹的方法，进一步包括：
在传送带上包裹经过检测区域时，检测所述包裹的目标属性，所述目标属性包括：包裹的体积、包裹的尺寸、包裹的质量和包裹的面单中至少一个；
当所述读码位置匹配到条码时，将匹配到的条码与所述目标属性进行关联。
在一些实施例中，所述将所述读码位置与条码进行位置匹配，包括：
确定条码在所述包裹图像中的条码区域；
确定所述条码区域是否属于所述读码位置对应的区域；
在所述条码区域的至少一部分区域属于所述读码位置对应的区域时，确定所述条码与所述读码位置之间位置匹配；
在所述条码区域处于所述读码位置对应的区域之外时，确定所述条码与所述读码位置之间位置不匹配。
在一些实施例中，检测包裹的方法，进一步包括：
获取传送带的延展处理区的全景图像，其中，延展处理区在传送带的传送方向上位于所述读码视野的下游；
根据所述检测位置和所述传送速度，持续更新所述包裹在所述延展处理区中随时间变化的预测位置，并根据所述预测位置在全景图像中添加跟踪框；
其中，当所述包裹关联到条码时，将所述跟踪框呈现为第一颜色，当所述包裹未关联到条码时，将所述跟踪框呈现为第二颜色。
在一些实施例中，所述在传送带上包裹经过检测区域时，识别包裹上指定区域的轮廓和所述轮廓在所述检测区域中的检测位置，包括：
在传送带上包裹经过检测区域时，获取所述包裹的深度图像；根据所述深度图像，确定所述包裹的上表面的轮廓和上表面在第一世界坐标系中检测位置，其中，所述上表面为所述指定区域；或者
在传送带上包裹经过检测区域时，获取所述包裹的灰度图像和深度图像；确定所述灰度图像中所述包裹的面单区域的轮廓；根据所述灰度图像中所述包裹的面单区域的轮廓，确定所述深度图像中与所述面单区域对应的第一深度区域；根据所述第一深度区域，确定面单区域的轮廓在第一世界坐标系中的检测位置，其中所述面单区域为所述指定区域。
在一些实施例中，检测包裹的方法，进一步包括：
获取根据第一标定盘建立的第一世界坐标系，所述第一标定盘放置于传送带上并处于深度相机的视野范围；
根据所述第一世界坐标系和所述深度相机拍摄的第一标定盘的图像，标定深度相机的外参，得到深度相机坐标系与第一世界坐标系之间的第一映射关系；
获取根据第二标定盘建立的第二世界坐标系，所述第二标定盘放置于传送带上并处于所述读码相机的读码视野；
根据所述第二世界坐标系和读码相机拍摄的第二标定盘的图像，标定读码相机的外参，得到读码相机坐标系和第二世界坐标系之间的第二映射关系；
确定第一世界坐标系和第二世界坐标系之间的第三映射关系；
根据读码相机的内参，确定读码相机坐标系与读码相机的图像坐标系之间的第四映射关系。
在一些实施例中，所述根据所述深度图像，确定所述包裹的上表面的轮廓和上表面在第一世界坐标系中的检测位置，包括：
根据所述深度图像，确定所述包裹的三维模型；根据所述三维模型在深度相机坐标系中坐标和所述第一映射关系，确定包裹的上表面的轮廓和上表面在第一世界坐标系中的检测位置，所述检测位置由包裹上表面的至少三个顶点在第一世界坐标系中坐标表示；或者
获取所述深度图像对应的灰度图像；
在所述灰度图像中确定所述包裹的上表面的轮廓；
根据灰度图像中的所述包裹的上表面的轮廓，确定所述深度图像中与所述上表面对应的第二深度区域，得到所述第二深度区域的至少三个顶点；
确定所述第二深度区域的至少三个顶点在深度相机坐标系中坐标；
根据所述第二深度区域的至少三个顶点在深度相机坐标系中坐标和所述第一映射关系，确定所述包裹的上表面在第一世界坐标系中的检测位置，所述检测位置由所述第二深度区域的至少三个顶点在第一世界坐标系中坐标表示。
根据本申请一个方面，提供一种检测包裹的装置，包括：
检测单元，用于在传送带上包裹经过检测区域时，识别包裹上指定区域的轮廓和所述轮廓在所述检测区域中检测位置，所述指定区域包括所述包裹的条码；
预测单元，用于根据所述轮廓在所述检测区域中的检测位置和所述传送带的传送速度，预测所述轮廓在读码相机的图像坐标系的成像区域中的读码位置和所述读码位置对应的第一图像标识，所述读码相机处于所述检测区域的下游，所述第一图像标识用于标识当所述轮廓到达所述读码位置时读码相机拍摄的包裹图像；
条码识别单元，用于当获取到所述第一图像标识对应的包裹图像时，对所述包裹图像进行条码识别；
当条码识别单元识别出所述包裹图像中条码时，匹配单元用于将所述读码位置与条码进行位置匹配；
当匹配单元确定所述读码位置匹配到条码时，关联单元用于将匹配到的条码与所述包裹进行关联。
根据本申请一方面，提供一种计算设备，包括：存储器；处理器；程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行根据本申请的检测包裹的方法的指令。
根据本申请一方面，提供一种存储介质，存储有程序，所述程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据本申请的检测包裹的方法。
根据本申请一方面，提供一种物流系统，包括：计算设备；传送带；深度相机；读码相机。
综上，根据本申请的检测包裹的方案，可以在检测出包裹的检测位置时预测包裹的指定区域在成像区域中的读码位置和读码位置对应的第一图像标识。这里，读码位置可以认为是在获取到第一图像标识对应的包裹图像时包裹的指定区域在图像坐标系中的投影位置。在此基础上，根据本申请的检测包裹的方案，通过对包裹图像中条码与读码位置进行位置匹配，可以确定包裹与条码的关联关系。
附图说明
图1示出了根据本申请一些实施例的物流系统的示意图；
图2示出了根据本申请一些实施例的检测包裹的方法200的流程图；
图3示出了根据本申请一些实施例的检测包裹的方法300的流程图；
图4示出了根据本申请一些实施例的物流系统中坐标系的示意图；
图5示出了根据本申请一些实施例的确定检测位置的方法500的流程图；
图6示出了根据本申请一些实施例的确定检测位置的方法600的流程图；
图7示出了根据本申请一些实施例的确定包裹的上表面对应的检测位置的方法700的流程图；
图8示出了根据本申请一些实施例的确定包裹的上表面对应的检测位置的方法800的流程图；
图9示出了根据本申请一些实施例的预测读码位置的方法900的流程图；
图10A的传送带放置有未进入深度相机120视野范围的包裹的示意图；
图10B示出了计算设备140确定的包裹B3在所述检测区域中的检测位置；
图10C示出了计算设备140预测的包裹B3的一个目标位置的示意图；
图10D示出了4个顶点投影到图像坐标系的示意图；
图10E示出了当包裹处于图10C中目标位置时在图像坐标系中的投影区域；
图11示出了根据本申请一些实施例对条码与读码位置进行位置匹配的方法1100的流程图；
图12A示出了根据本申请一些实施例包裹图像；
图12B示出了根据本申请一些实施例包裹图像；
图13A示出了根据本申请一些实施例的物流系统的示意图；
图13B示出了根据本申请一些实施例的全景图像的示意图；
图14示出了根据本申请一些实施例的物流系统的示意图；
图15示出了根据本申请一些实施例的检测包裹的装置1500的示意图；
图16示出了根据本申请一些实施例的检测包裹的装置1600的示意图；
图17示出了根据本申请一些实施例的计算设备的示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。
图1示出了根据本申请一些实施例的物流系统的示意图。如图1所示，物流系统包括传送带110、深度相机120、读码相机130和计算设备140。
传动带110按照传送方向(例如在图1中从右向左的方向)传送包裹。
图1示出的深度相机120例如为结构光相机。结构光相机可以包括激光发射模块121和图像采集模块122。图像采集模块122的视野V1可以覆盖传送带110上的检测区域S1。除此之外，深度相机120还可以选用时间飞行(Time of Flight，缩写为ToF)相机、双目视觉(Stereo)相机等。深度相机120可以对通过视野V1的包裹进行图像采集，并向计算设备140实时输出图像帧序列。
计算设备140例如可以是服务器、笔记本电脑、平板电脑、掌上商务通等设备。计算设备140可以根据来自深度相机120的图像帧序列，建立包裹的三维模型。这样，计算设备140可以检测包裹的目标属性，例如确定包裹的尺寸或者包裹的体积。另外，计算设备140可以在检测出目标属性的时刻，确定传送带上包裹在检测区域S1中的检测位置，即确定当前时刻包裹的实际位置。这里，包裹在检测区域S1中的检测位置例如可以用包裹上表面4个顶点的坐标表示。
在传送带的传送方向上，读码相机130处于深度相机120的下游。读码相机130的读码视野V1覆盖传送带110上的条码识别区S2。读码相机130可以是具有图像拍摄功能的工业相机、或者集成有图像拍摄和图像处理等功能的智能相机。读码相机130可以向计算设备140输出图像帧。计算设备140可以对来自读码相机130的图像帧进行条码识别。这里，计算设备140可以对一维条码和\或二维码进行检测。
在一些实施例中，计算设备140可以建立条码信息与目标属性的关联关系。下面结合图2对建立关联关系的方式进行说明。
图2示出了根据本申请一些实施例的检测包裹的方法200的流程图。方法200可以由计算设备140执行。
在步骤S201中，在传送带上包裹经过检测区域时，识别包裹上指定区域的轮廓和轮廓在检测区域中检测位置。指定区域包括包裹的条码，例如为包裹的上表面或者包裹的面单区域。步骤S201例如可以确定指定区域至少三个顶点的坐标，并利用该至少三个顶点的坐标表示轮廓在检测区域中的检测位置。
在步骤S202中，根据轮廓在检测区域中的检测位置和传送带的传送速度，预测轮廓在读码相机的图像坐标系的成像区域中的读码位置和读码位置对应的第一图像标识。读码相机处于检测区域的下游。第一图像标识用于标识当轮廓到达读码位置时读码相机拍摄的包裹图像。第一图像标识例如为帧号或者时间戳。在一些实施例中，第一图像标识例如为帧号或者时间戳。轮廓的读码位置是指：在轮廓的至少一部分处于成像区域时轮廓在图像坐标系中的坐标位置。
目标属性包括下述中至少一个：包裹体积和包裹尺寸。例如，步骤S201可以根据深度相机120采集的图像帧序列，确定包裹的目标属性。深度相机120例如为线结构光相机。在线结构光相机完成对一个包裹的扫描时，步骤S201可以根据扫描到的图像帧序列，生成包裹的三维模型。这样，步骤S201可以根据三维模型确定包裹的目标属性。
方法200可以执行步骤S202，确定包裹在传送带上在检测区域中的检测位置。例如，步骤S202可以确定包裹上表面4个顶点的坐标，并利用4个顶点的坐标表示包裹在检测区域中的检测位置。
可以将检测位置作为起点，根据传送带速度，确定至少一个读码位置。这里，读码位置可以通过包裹上表面4个顶点的坐标进行表示。4个顶点的坐标可以限定一个矩形区域。矩形区域对应于包裹的上表面。矩形区域的至少一部分处于读码视野中。
在步骤S203中，当获取到第一图像标识对应的包裹图像时，对包裹图像进行条码识别。
当步骤S203识别出包裹图像中条码时，方法200可以执行步骤S204，将识别出的条码与读码位置进行位置匹配。这里，步骤S205可以在同一个坐标系(例如读码相机的图像坐标系)中对条码和检测位置进行位置匹配。在多个包裹并排或前后交错地放置于传送带的场景中，步骤S203可以在包裹图像中识别出多个条码，例如C1、C2和C3。对于包裹B1的读码位置，步骤S204可以在条码C1对应的条码区域的至少一部分属于包裹B1的指定区域在包裹图像中投影区域时，确定条码C1与包裹B1对应的读码位置之间位置匹配，而C2和C3不匹配包裹B1对应的读码位置。
在步骤S205中，当读码位置匹配到条码时，将匹配到条码与包裹进行关联。
综上，根据本申请的检测包裹的方法200，可以在检测出包裹的检测位置时预测包裹的指定区域在成像区域中的读码位置和读码位置对应的第一图像标识。这里，读码位置可以认为是在获取到第一图像标识对应的包裹图像时包裹的指定区域在读码相机的图像坐标系中的投影位置。在此基础上，根据本申请的检测包裹的方法200通过对包裹图像中条码与读码位置进行位置匹配，可以确定包裹与条码的关联关系。
图3示出了根据本申请一些实施例的检测包裹的方法300的流程图。方法300可以由计算设备140执行。
在步骤S301中，获取根据第一标定盘建立的第一世界坐标系。第一标定盘放置于传送带110上并处于深度相机120的视野范围。第一标定盘例如为棋盘格标定盘。
在步骤S302中，根据第一世界坐标系和深度相机拍摄的第一标定盘的图像，标定深度相机的外参，得到深度相机坐标系与第一世界坐标系之间的第一映射关系。
在步骤S303中，获取根据第二标定盘建立的第二世界坐标系。第二标定盘放置于传送带上并处于读码相机的读码视野。
在步骤S304中，根据第二世界坐标系和读码相机拍摄的第二标定盘的图像，标定读码相机的外参，得到读码相机坐标系和第二世界坐标系之间的第二映射关系。
在步骤S305中，确定第一世界坐标系和第二世界坐标系之间的第三映射关系。
在步骤S306中，根据读码相机的内参，确定读码相机坐标系与图像坐标系之间的第四映射关系。
例如，图4示出了物流系统中坐标系的示意图。图4示出了第一世界坐标系R1(X1,Y1,Z1)，第二世界坐标系R2(X2,Y2,Z2)，深度相机坐标系R3(X3,Y3,Z3)，读码相机坐标系R4(X4,Y4,Z4)和读码相机的图像坐标系R5(X5,Y5)。其中，图像坐标系R5对应读码相机的成像平面。坐标系R1与R2之间在传送带的传送方向上存在偏移d。
在步骤S307中，在传送带上包裹经过检测区域时，识别包裹上指定区域的轮廓和轮廓在检测区域中检测位置。指定区域包括包裹的条码，例如为包裹的上表面或者包裹的面单区域。
在一些实施例中，步骤S307可以实施为方法500。
在步骤S501中，在传送带上包裹经过检测区域时，获取包裹的深度图像。例如，深度相机120可以对传送带上传输的包裹进行拍摄，进而能够获取到经过检测区域的包裹的深度图像。
在步骤S502中，根据深度图像，确定包裹的上表面的轮廓和上表面在第一世界坐标系中的检测位置。其中，包裹的上表面可以作为指定区域。
综上，方法500能够根据深度相机拍摄的深度图像，确定包裹的上表面的轮廓，从而将上表面作为指定区域，并且确定轮廓在检测区域中检测位置。
在一些实施例中，指定区域为包裹上的面单区域。步骤S307可以实施为方法600。
在步骤S601中，在传送带上包裹经过检测区域时，获取包裹的灰度图像和深度图像。
在步骤S602中，确定灰度图像中包裹的面单区域的轮廓。
在步骤S603中，根据灰度图像中面单区域的轮廓，确定深度图像中与面单区域对应的第一深度区域。
在步骤S604中，根据第一深度区域，确定面单区域的轮廓在第一世界坐标系中的检测位置。
综上，方法600能够利用灰度图像确定包裹的面单区域，进而根据灰度图像和深度图像，确定面单区域的轮廓和检测位置。
在一些实施例中，步骤S502可以实施为方法700。
如图7所示，在步骤S701中，根据深度图像，确定包裹的三维模型。
在步骤S702中，根据三维模型在深度相机坐标系中坐标和第一映射关系，确定包裹的上表面的轮廓和上表面在第一世界坐标系中的检测位置。这里，检测位置由包裹上表面的至少三个顶点在第一世界坐标系中坐标表示。
综上，方法700可以根据深度图像确定包裹的三维模型，进而利用三维模型确定指定区域(即上表面)的轮廓和轮廓在第一世界坐标系中的检测位置。
在一些实施例中，步骤S502可以实施为方法800。
如图8所示，在步骤S801中，获取所述深度图像对应的灰度图像。
在步骤S802中，在灰度图像中确定包裹的上表面的轮廓。包裹的上表面轮廓例如为矩形区域。
在步骤S803中，根据灰度图像中的包裹的上表面的轮廓，确定深度图像中与上表面对应的第二深度区域，得到第二深度区域的至少三个顶点。
在步骤S804中，确定第二深度区域的至少三个顶点在深度相机坐标系中坐标。
在步骤S805中，根据第二深度区域的至少三个顶点在深度相机坐标系中坐标和第一映射关系，确定包裹的上表面在第一世界坐标系中的检测位置。这里，检测位置由第二深度区域的至少三个顶点在第一世界坐标系中坐标表示。
综上，方法800可以根据灰度图像和深度图像，确定包裹的上表面的顶点坐标，进而确定包裹的上表面在第一世界坐标系中的检测位置。
在传送带上包裹经过检测区域时，方法300除了执行步骤S307，还可以执行步骤S308。在步骤S308中，检测包裹的目标属性。目标属性例如可以包括：包裹的体积、包裹的尺寸、包裹的质量和包裹的面单中至少一个。
在一些实施例中，深度相机120为线结构光相机。深度相机120在线结构光相机完成对一个包裹的扫描时，步骤S308可以根据扫描到的图像帧序列，获取包裹的深度图像，并根据深度图像确定包裹的尺寸或者体积。例如，基于深度图像，步骤S308可以确定包裹的三维模型，并根据三维模型确定包裹的尺寸或者体积。
在一些实施例中，检测区域还部署有称重仪。称重仪可以检测包裹的质量。在一些实施例中，步骤S308可以利用深度相机拍摄的灰度图像，确定包裹的面单。
在步骤S309中，根据轮廓在检测区域中的检测位置和传送带的传送速度，预测轮廓在读码相机的图像坐标系的成像区域中的读码位置和读码位置对应的第一图像标识。读码相机处于检测区域的下游。第一图像标识用于标识当轮廓到达读码位置时读码相机拍摄的包裹图像。第一图像标识例如为帧号或者时间戳。在一些实施例中，第一图像标识例如为帧号或者时间戳。轮廓的读码位置是指：在轮廓的至少一部分处于成像区域时轮廓在图像坐标系中的坐标位置。在一些实施例中，步骤S309可以将检测位置作为起点，根据传送带速度，确定至少一个读码位置。这里，当包裹的指定区域的至少一部分进入读码相机的视野范围时，包裹上指定区域在图像坐标系中的至少一部分投影区域处于成像区域内，即指定区域的轮廓的至少一部分处于成像区域。该投影区域的位置为读码位置。读码位置例如由指定区域的至少三个顶点在图像坐标系中的投影点的坐标表示。
在一些实施例中，步骤S309可以实施为方法900。
如图9所示，在步骤S901中，当确定检测位置时，确定读码相机当前时刻采集的图像帧的第二图像标识。第二图像标识为帧号或者时间戳。这里，第二图像标识例如由读码相机130生成。又例如，第二图像标识为计算设备140在确定检测位置的时刻为当前接收到的图像帧添加的帧号或者时间戳。
在步骤S902中，获取包裹在读码相机的单个采集周期内的移动距离。例如，读码相机130的单个采集周期为T1。传送速度为v。移动距离s＝v*T1。
在步骤S903中，根据读码相机的参数、轮廓在检测区域中的检测位置和传送带的传送速度，确定轮廓在第一世界坐标系中的偏移位置。偏移位置满足：当轮廓处于偏移位置时，轮廓在读码相机的图像坐标系中的投影位置处于成像区域中。例如，处于偏移位置的轮廓在图像坐标系中的至少一部分投影区域处于成像区域时，步骤S903确定投影位置处于成像区域中。在一些实施例中，读码相机130的分辨率为x*y。图像坐标系中成像区域的4个顶点坐标为(0,0)，(x，0)，(0，y)，(x，y)。在轮廓的至少一个顶点在图像坐标系中投影点处于成像区域时，步骤S903可以确定投影位置处于成像区域中。
在一些实施例中，步骤S903以检测位置为起点，并以移动距离作为偏移单位，确定包裹处于读码视野时的偏移位置。偏移位置与检测位置之差距等于整数个偏移单位。例如，偏移位置与检测位置之间的距离等于N个偏移单位之和。N为正整数。
在一些实施例中，步骤S903以检测位置为起点，并以移动距离作为偏移单位，将满足目标条件的目标位置作为偏移位置。目标条件为：目标位置与检测位置之差距等于整数个偏移单位，并且目标位置在读码相机的图像坐标系中投影区域与读码视野在图像坐标系中成像(即读码相机拍摄的图像)存在重叠。需要说明的是，读码相机在包裹从进入读码相机的视野范围直到离开读码相机的视野范围的过程中，读码相机拍摄的每帧图像帧中包括包裹的至少一部分上表面，步骤S903可以选定一部分图像帧对应的包裹拍摄位置或者全部图像帧对应的包裹拍摄位置作为读码位置。因此，步骤S903可以预测一个或多个读码位置。
在一些实施例中，步骤S903基于偏移位置在第一世界坐标系中坐标(即当包裹放置在偏移位置时上表面4个顶点的坐标)，并根据第二映射关系、第三映射关系和第四映射关系，确定偏移位置在图像坐标系中投影位置的图像坐标。
以包裹的一个顶点为例，一个顶点在图像坐标系中投影点的图像坐标可以根据下述公式计算：
[uk,vk,wk]T＝KC[I|0]TCB(PL-[0,d,0,0]T+N*[0,Δd,0,0])
其中，[uk,vk,wk]T为一个顶点L的投影点的图像坐标。PL表示包裹处于检测位置时顶点L在第一世界坐标系中坐标。[0,d,0,0]T表示第三映射关系对应的变换矩阵。第二世界坐标系相对于第一世界坐标系在传输带方向上的偏移量为d。PL-[0,d,0,0]T表示当包裹处于检测位置时顶点L在第二世界坐标系中坐标。(PL-[0,d,0,0]T+N*[0,Δd,0,0])表示当包裹处于偏移位置时顶点L在第二世界坐标系中坐标。Δd表示读码相机的单个采集周期内的移动距离。N表示偏移位置与检测位置之差距包含的偏移单位的个数，即差距与偏移单位的比值。
TCB为外参矩阵，表示读码相机的外参，可以表示第二映射关系。外参例如可以表示为如下矩阵形式：
Figure BDA0002424676300000111
其中，R例如为3*3的旋转矩阵，表示第二世界坐标系与读码相机坐标系的旋转变换参数。T例如为3*1的平移矩阵，表示第二世界坐标系与读码相机坐标系的平移变换参数。I为正交矩阵。
Figure BDA0002424676300000112
KC为读码相机的内参矩阵，用于表示读码相机的内参，可以表示第四映射关系。
Figure BDA0002424676300000113
Figure BDA0002424676300000114
其中，fx、fy分别为相机的焦距参数，cx、cy为相机坐标系相对图像坐标系的偏移。
在步骤S904中，根据偏移位置与检测位置之差距包含的移动距离的个数，确定读码相机在包裹从检测位置到达读码位置之前拍摄的图像帧数量。这里，移动距离的个数与图像帧数量一致。在步骤S905中，根据第二图像标识和图像帧数量，确定读码位置对应的第一图像标识。例如，第二图像标识为帧号I2，偏移位置与检测位置之差距包含的偏移单位的个数为k1。第一图像标识的帧号I1＝I2+k1。又例如，第二图像标识为时间戳t2，偏移位置与检测位置之差距包含的偏移单位的个数为k1。第一图像标识的时间戳t1＝t2+k1*T1,T1为读码相机的相邻帧的时差(即读码相机的采集周期)。
综上，方法900能够根据第二映射关系、第三映射关系和第四映射关系，确定偏移位置在包裹图像中的投影区域，从而准确预测包裹的指定区域处于读码视野的至少一个读码位置和每个读码位置对应的图像帧的标识(即第一图像标识)。
为了更形象说明确定读码位置的过程，下面结合图10A-图10E进行举例说明。
图10A的传送带放置有未进入深度相机120视野范围包裹B1、B2及B3。其中，包裹B1与B3并排放置。B2处于包裹B1与B3之后。
图10B示出了计算设备140确定的包裹B3在检测区域中的检测位置。这里，B3的检测位置用包裹上表面4个顶点e1-e4的坐标表示。在深度相机为线结构光相机的场景中，包裹B3的检测位置为包裹B3刚离开视野V1的位置。计算设备140可以根据第一映射关系，确定顶点e1-e4在第一世界坐标系中坐标。
图10C示出了计算设备140预测的包裹B3的一个偏移位置的示意图。图10C仅示出了包裹B3上表面4个顶点e1-e4的位置，并利用4个顶点的位置表示包裹B3的目标位置。图10D示出了4个顶点e1-e4投影到图像坐标系(成像平面)的示意图。图10E示出了当包裹处于图10C中目标位置时在图像坐标系中的投影区域。投影区域B3’表示当包裹处于图10C的目标位置时包裹上表面在图像坐标系中的投影区域。V2’表示成像区域，即读码相机生成的图像在图像坐标系中范围。由图10E可知，包裹B3处于目标位置时，包裹B3在图像坐标系中的投影区域(即指定区域的在图像坐标系中的投影区域)处于成像区域中。并且，计算设备140可以确定图10C的目标位置与包裹B3的检测位置之差距包括整数个偏移单位。因此，计算设备140可以将图10C所示的目标位置作为一个偏移位置。
在一些实施例中，方法300还可以包括步骤S310。
在步骤S310中，当获取到第一图像标识对应的包裹图像时，对包裹图像进行条码识别。
当步骤S310识别出包裹图像中条码时，方法300可以执行步骤S311，将识别出的条码与读码位置进行位置匹配。
在一些实施例中，步骤S311可以实施为方法1100。
如图11所示，在步骤S1101中，确定条码在包裹图像中的条码区域。例如，步骤S1101可以确定包裹图像中各条码区域的图像坐标。例如，图12A示出了根据本申请一些实施例的包裹图像的示意图。图12A的包裹图像P1中包括条码区域C1和C2。
在步骤S1102中，确定条码区域是否属于读码位置对应的区域。
在一些实施例中，基于包裹的偏移位置在第一世界坐标系中坐标，并根据第二映射关系、第三映射关系和第四映射关系，步骤S1102可以确定包裹处于偏移位置时指定区域在图像坐标系中的投影区域(即读码位置对应的区域)。这里，步骤S1102基于第三映射关系(即第一世界坐标系和第二世界坐标系之间的映射关系)，可以确定偏移位置在第二坐标系中坐标。基于第二映射关系(即第二世界坐标系和读码相机的相机坐标系之间的映射关系)，步骤S1102可以确定第二坐标系中偏移位置在读码相机坐标系中的坐标。基于第四映射关系(即读码相机坐标系和图像坐标系的映射关系)和偏移位置在读码相机坐标系中的坐标，步骤S1102确定处于偏移位置的包裹的指定区域投影至图像坐标系的投影区域的坐标(即读码位置)。
例如，针对包裹B3，步骤S1102可以确定包裹B3在包裹图像中投影区域(即读码位置对应的区域)。图12B示出了包裹B3的投影区域B3”。步骤S1102可以确定条码C1的条码区域处于投影区域B3”之外，而条码C2的条码区域属于投影区域B3”中。
在步骤S1102确定所述条码区域的至少一部分区域属于读码位置对应的区域时，方法1100可以执行步骤S1103，确定条码与读码位置之间位置匹配。以图12B为例，可以确定条码C1与包裹B3的读码位置之间位置匹配。
在步骤S1102确定条码区域处于读码位置对应的区域之外时，方法1100可以执行步骤S1104，确定条码与读码位置之间位置不匹配。
综上，方法1100可以根据读码位置与条码的位置关系，确定条码与读码位置是否匹配。这里，条码与读码位置匹配可以理解为：条码在读码位置对应的包裹上。条码与读码位置不匹配可以理解为：条码不属于读码位置对应的包裹。
在一些实施例中，方法300还可以包括步骤S312和S313。在步骤S312中，当读码位置匹配到条码时，将匹配到条码与目标属性进行关联。以图12B为例，步骤S312可以将条码C2与包裹B3的目标属性进行关联并存储。
在步骤S313中，将匹配到的条码与包裹进行关联。
综上，根据本申请的检测包裹的方法300，可以在检测出包裹的检测位置时，预测包裹在成像区域中的读码位置和读码位置对应的第一图像标识。在此基础上，根据本申请的检测包裹的方法300通过对包裹图像中条码与读码位置进行位置匹配，可以确定包裹与条码的关联关系，并且能够将包裹的目标属性与条码进行关联。
在一些实施例中，方法300还可以包括步骤S314，获取传送带的延展处理区的全景图像。其中，延展处理区位于读码视野的下游。
在步骤S315中，根据检测位置和传输速度，持续更新包裹在延展处理区中随时间变化的预测位置，并根据预测位置在全景图像中添加跟踪框。其中，当包裹的目标属性关联到条码时，将跟踪框呈现为第一颜色。当包裹的目标属性未关联到条码时，步骤S315将跟踪框呈现为第二颜色。例如，第一颜色为绿色，第二颜色为红色。图13A示出了根据本申请一些实施例的物流系统的示意图。图13A在图1的基础上进一步增加有相机150。相机150可以向计算设备140输出图像帧序列，即输出全景图像帧序列。相机150处于读码相机130的下游。相机150的视野为V3。视野V3可以覆盖传送带的延展处理区S3。计算设备140可以根据检测位置和传送速度，更新各包裹在延展处理区中的预测位置，并在全景图像中添加跟踪框。这样，计算设备140可以通过跟踪框跟踪包裹的位置。另外，计算设备可以通过将包裹的跟踪框显示为不同颜色，显示包裹的不同状态。这样，工作人员可以方便地确定第二颜色的跟踪框对应的包裹的目标属性未关联到条码，即第二颜色的跟踪框对应的包裹的上表面不存在可识别的条码。例如，上表面不存在可识别的条码的情况例如是包裹上表面的条码不完整、包裹不存在条码或者包裹条码在包裹的侧面或者底面中等。工作人员可以对不存在可识别的条码的包裹进行补码等处理。例如，图13B示出了根据本申请一些实施例的全景图像的示意图。图13B中跟踪框M1例如可以呈现为绿色，跟踪框M2例如可以呈现为红色。根据跟踪框的颜色，工作人员可以快速找到红色的包裹，并进行补码等操作。
综上，根据本申请的检测包裹的方法300，可以通过步骤S314和S315，可以跟踪离开读码视野的包裹，并且通过呈现为不同颜色，对包裹状态进行提示，能够极大提高对异常包裹(如目标属性未关联到条码的包裹)的处理方便性。
图14示出了根据本申请一些实施例的物流系统的示意图。图14示出了读码相机的阵列。该阵列包裹例如包括读码相机130、160和170。在阵列中，相邻的读码相机的视野范围可以邻接或局部交叠。针对读码相机160或者170，计算设备140可以预测一个包裹分别在读码相机130、160和170中的读码位置，并且根据各读码相机的包裹图像将包裹的目标属性与条码进行关联。这样，通过采用多个读码相机进行目标属性与条码进行关联。计算设备140可以将不同读码相机对应的关联结果(即目标属性与条码之间的关联结果)进行比对，从而提高将目标属性与条码进行关联的准确度。例如，读码相机130和160对应的关联结果相同，而读码相机170对应的关联结果不同于读码相机130，则，计算设备140以读码相机130(160)对应的关联结果为准。
图15示出了根据本申请一些实施例的检测包裹的装置1500的示意图。这里，装置1500例如可以部署在计算设备140中。
如图15所示，检测包裹的装置1500可以包括：检测单元1501预测单元1502、条码识别单元1503、匹配单元1504和关联单元1505。
检测单元1501，用于在传送带上包裹经过检测区域时，识别包裹上指定区域的轮廓和轮廓在检测区域中检测位。指定区域包括所述包裹的条码。
预测单元1502用于根据轮廓在检测区域中的检测位置和所述传送带的传送速度，预测轮廓在读码相机的图像坐标系的成像区域中的读码位置和读码位置对应的第一图像标识。所述读码相机处于所述检测区域的下游，所述第一图像标识用于标识当轮廓到达读码位置时读码相机拍摄的包裹图像。
条码识别单元1503用于当获取到第一图像标识对应的包裹图像时，对包裹图像进行条码识别。
当条码识别单元1503识别出包裹图像中条码时，匹配单元1504用于将读码位置与条码进行位置匹配。
当匹配单元1503确定读码位置匹配到条码时，关联单元1505用于将匹配到的条码与包裹进行关联。
综上，根据本申请的检测包裹的装置1500，可以在检测出包裹的检测位置时预测包裹的指定区域在成像区域中的读码位置和读码位置对应的第一图像标识。这里，读码位置可以认为是在获取到第一图像标识对应的包裹图像时包裹的指定区域在图像坐标系中的投影位置。在此基础上，根据本申请的检测包裹的装置1500通过对包裹图像中条码与读码位置进行位置匹配，可以确定包裹与条码的关联关系。
图16示出了根据本申请一些实施例的检测包裹的装置1600的示意图。这里，装置1600例如可以部署在计算设备140中。
如图16所示，检测包裹的装置1600可以包括：检测单元1601、预测单元1602、条码识别单元1603、匹配单元1604、关联单元1605、第一标定单元1606和第二标定单元1607。
第一标定单元1606可以获取根据第一标定盘建立的第一世界坐标系。第一标定盘放置于传送带上并处于深度相机的视野范围。根据第一世界坐标系和深度相机拍摄的第一标定盘的图像，第一标定单元1606可以标定深度相机的外参，得到深度相机坐标系与第一世界坐标系之间的第一映射关系。
第二标定单元1607获取根据第二标定盘建立的第二世界坐标系。第二标定盘放置于传送带上并处于读码相机的读码视野。根据第二世界坐标系和读码相机拍摄的第二标定盘的图像，第二标定单元1607可以标定读码相机的外参，得到读码相机坐标系和第二世界坐标系之间的第二映射关系。
另外，第二标定单元1607还可以确定第一世界坐标系和第二世界坐标系之间的第三映射关系。根据读码相机的内参，第二标定单元1607可以确定读码相机坐标系与读码相机的图像坐标系之间的第四映射关系。
检测单元1601，用于在传送带上包裹经过检测区域时，识别包裹上指定区域的轮廓和轮廓在检测区域中检测位。指定区域包括所述包裹的条码。6、如权利要求1所述的方法，其特征在于，所述在传送带上包裹经过检测区域时，识别包裹上指定区域的轮廓和所述轮廓在所述检测区域中的检测位置，包括：
在一些实施例中，在传送带上包裹经过检测区域时，检测单元1601可以获取包裹的深度图像。根据所述深度图像，检测单元1601确定包裹的上表面的轮廓和上表面在第一世界坐标系中检测位置。其中，上表面为所述指定区域。
在一些实施例中，检测单元1601可以根据所述深度图像，确定所述包裹的三维模型。根据三维模型在深度相机坐标系中坐标和第一映射关系，检测单元1601可以确定包裹的上表面的轮廓和上表面在第一世界坐标系中的检测位置。检测位置由包裹上表面的至少三个顶点在第一世界坐标系中坐标表示。
在一些实施例中，检测单元1601可以获取所述深度图像对应的灰度图像。检测单元1601可以在灰度图像中确定包裹的上表面的轮廓。根据灰度图像中的包裹的上表面的轮廓，检测单元1601可以确定深度图像中与上表面对应的第二深度区域，得到第二深度区域的至少三个顶点。检测单元1601可以确定第二深度区域的至少三个顶点在深度相机坐标系中坐标。根据所述第二深度区域的至少三个顶点在深度相机坐标系中坐标和所述第一映射关系，检测单元1601可以确定包裹的上表面在第一世界坐标系中的检测位置。检测位置由第二深度区域的至少三个顶点在第一世界坐标系中坐标表示。
在一些实施例中，检测单元1601可以在传送带上包裹经过检测区域时，获取包裹的灰度图像和深度图像。检测单元1601可以确定灰度图像中包裹的面单区域的轮廓。根据灰度图像中包裹的面单区域的轮廓，检测单元1601可以确定深度图像中与面单区域对应的第一深度区域。根据第一深度区域，检测单元1601可以确定面单区域的轮廓在第一世界坐标系中的检测位置。其中面单区域为指定区域。
在一些实施例中，检测单元1601还可以在传送带上包裹经过检测区域时，检测所述包裹的目标属性。目标属性包括：包裹的体积、包裹的尺寸、包裹的质量和包裹的面单中至少一个。
预测单元1602用于根据轮廓在检测区域中的检测位置和所述传送带的传送速度，预测轮廓在读码相机的图像坐标系的成像区域中的读码位置和读码位置对应的第一图像标识。读码相机处于所述检测区域的下游，所述第一图像标识用于标识当轮廓到达读码位置时读码相机拍摄的包裹图像。
在一些实施例中，轮廓在检测区域中的检测位置为轮廓在第一世界坐标系中坐标。
当检测单元1601识别出所述检测位置时，预测单元1602可以确定读码相机当前时刻采集的图像帧的第二图像标识。第二图像标识为帧号或者时间戳。预测单元1602可以获取包裹在读码相机的单个采集周期内的移动距离。在此基础上，预测单元1602可以根据读码相机的参数、轮廓在检测区域中的检测位置和传送带的传送速度，确定轮廓在第一世界坐标系中的偏移位置。偏移位置满足：当轮廓处于所述偏移位置时，轮廓在读码相机的图像坐标系中的投影位置处于成像区域中。这样，预测单元1602可以将处于偏移位置的轮廓在读码相机的图像坐标系中的投影位置作为读码位置。
另外，预测单元1602可以根据偏移位置与检测位置之差距包含的移动距离的个数，确定读码相机在包裹从检测位置到达读码位置之前拍摄的图像帧数量。根据第二图像标识和图像帧数量，预测单元1602可以确定读码位置对应的第一图像标识。
条码识别单元1603用于当获取到第一图像标识对应的包裹图像时，对包裹图像进行条码识别。
当条码识别单元1603识别出包裹图像中条码时，匹配单元1604用于将读码位置与条码进行位置匹配。
在一些实施例中，匹配单元1604可以确定条码在包裹图像中的条码区域。匹配单元1604确定条码区域是否属于读码位置对应的区域。在条码区域的至少一部分区域属于读码位置对应的区域时，匹配单元1604确定条码与读码位置之间位置匹配。在条码区域处于读码位置对应的区域之外时，匹配单元1604确定条码与读码位置之间位置不匹配。
当匹配单元1603确定读码位置匹配到条码时，关联单元1605用于将匹配到的条码与包裹进行关联。另外，当所述读码位置匹配到条码时，关联单元1605可以将将匹配到的条码与目标属性进行关联。在一些实施例中，装置1600还可以包括跟踪单元1608。跟踪单元1608可以获取传送带的延展处理区的全景图像。其中，延展处理区位于读码视野的下游。根据检测位置和传输速度，预测单元1602持续更新包裹在延展处理区中随时间变化的预测位置。跟踪单元1608可以根据预测位置在全景图像中添加跟踪框。其中，当包裹的目标属性关联到条码时，跟踪单元1608将跟踪框呈现为第一颜色。当包裹的目标属性未关联到条码时，跟踪单元1007将跟踪框呈现为第二颜色。
装置1600更具体的实施方式与方法300类似，这里不再赘述。
图17示出了根据本申请一些实施例的计算设备的示意图。如图17所示，该计算设备包括一个或者多个处理器(CPU)1702、通信模块1704、存储器1706、用户接口1710，以及用于互联这些组件的通信总线1708。
处理器1702可通过通信模块1704接收和发送数据以实现网络通信和/或本地通信。
用户接口1710包括一个或多个输出设备1712，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1710也包括一个或多个输入设备1714。用户接口1710例如可以接收遥控器的指令，但不限于此。
存储器1706可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。
存储器1706存储处理器1702可执行的指令集，包括：
操作系统1716，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；
应用1718，包括用于实现上述检测包裹的各种程序，例如可以包括检测包裹的装置1500或者1600。这种程序能够实现上述各实例中的处理流程，比如可以包括检测包裹的方法。
另外，本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性存储介质，其中存储有程序。该程序包括指令，所述指令当由处理器执行时，使得计算设备执行根据本申请的检测包裹的方法。
另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种检测包裹的方法，其特征在于，包括：
在传送带上包裹经过检测区域时，识别包裹上指定区域的轮廓和所述轮廓在所述检测区域中检测位置，所述指定区域包括所述包裹的条码；
根据所述轮廓在所述检测区域中的检测位置和所述传送带的传送速度，预测所述轮廓在读码相机的图像坐标系的成像区域中的读码位置和所述读码位置对应的第一图像标识，所述读码相机处于所述检测区域的下游，所述第一图像标识用于标识当所述轮廓到达所述读码位置时读码相机拍摄的包裹图像；
当获取到所述第一图像标识对应的包裹图像时，对所述包裹图像进行条码识别；
当识别出所述包裹图像中条码时，将所述读码位置与条码进行位置匹配；
当所述读码位置匹配到条码时，将匹配到的条码与所述包裹进行关联。
2.如权利要求1所述的检测包裹的方法，其特征在于，所述轮廓在所述检测区域中的检测位置为所述轮廓在第一世界坐标系中坐标；所述根据所述轮廓在所述检测区域中的检测位置和所述传送带的传送速度，预测所述轮廓在读码相机的图像坐标系的成像区域中的读码位置和所述读码位置对应的第一图像标识，包括：
当识别出所述检测位置时，确定读码相机当前时刻采集的图像帧的第二图像标识，所述第二图像标识为帧号或者时间戳；
获取包裹在读码相机的单个采集周期内的移动距离；
根据所述读码相机的参数、所述轮廓在所述检测区域中的检测位置和所述传送带的传送速度，确定所述轮廓在第一世界坐标系中的偏移位置，所述偏移位置满足：当所述轮廓处于所述偏移位置时，所述轮廓在读码相机的图像坐标系中的投影位置处于所述成像区域中；
将处于所述偏移位置的所述轮廓、在读码相机的图像坐标系中的投影位置作为所述读码位置；
根据所述偏移位置与所述检测位置之差距包含的所述移动距离的个数，确定所述读码相机在所述包裹从所述检测位置到达所述读码位置之前拍摄的图像帧数量；
根据所述第二图像标识和所述图像帧数量，确定所述读码位置对应的第一图像标识。
3.如权利要求1所述的检测包裹的方法，其特征在于，进一步包括：
在传送带上包裹经过检测区域时，检测所述包裹的目标属性，所述目标属性包括：包裹的体积、包裹的尺寸、包裹的质量和包裹的面单中至少一个；
当所述读码位置匹配到条码时，将匹配到的条码与所述目标属性进行关联。
4.如权利要求1所述的检测包裹的方法，其特征在于，所述将所述读码位置与条码进行位置匹配，包括：
确定条码在所述包裹图像中的条码区域；
确定所述条码区域是否属于所述读码位置对应的区域；
在所述条码区域的至少一部分区域属于所述读码位置对应的区域时，确定所述条码与所述读码位置之间位置匹配；
在所述条码区域处于所述读码位置对应的区域之外时，确定所述条码与所述读码位置之间位置不匹配。
5.如权利要求1所述的检测包裹的方法，其特征在于，进一步包括：
获取传送带的延展处理区的全景图像，其中，延展处理区在传送带的传送方向上位于所述读码视野的下游；
根据所述检测位置和所述传送速度，持续更新所述包裹在所述延展处理区中随时间变化的预测位置，并根据所述预测位置在全景图像中添加跟踪框；
其中，当所述包裹关联到条码时，将所述跟踪框呈现为第一颜色，当所述包裹未关联到条码时，将所述跟踪框呈现为第二颜色。
6.如权利要求1所述的检测包裹的方法，其特征在于，所述在传送带上包裹经过检测区域时，识别包裹上指定区域的轮廓和所述轮廓在所述检测区域中的检测位置，包括：
在传送带上包裹经过检测区域时，获取所述包裹的深度图像；根据所述深度图像，确定所述包裹的上表面的轮廓和上表面在第一世界坐标系中检测位置，其中，所述上表面为所述指定区域；或者
在传送带上包裹经过检测区域时，获取所述包裹的灰度图像和深度图像；确定所述灰度图像中所述包裹的面单区域的轮廓；根据所述灰度图像中所述包裹的面单区域的轮廓，确定所述深度图像中与所述面单区域对应的第一深度区域；根据所述第一深度区域，确定面单区域的轮廓在第一世界坐标系中的检测位置，其中所述面单区域为所述指定区域。
7.如权利要求6所述的检测包裹的方法，其特征在于，进一步包括：
获取根据第一标定盘建立的第一世界坐标系，所述第一标定盘放置于传送带上并处于深度相机的视野范围；
根据所述第一世界坐标系和所述深度相机拍摄的第一标定盘的图像，标定深度相机的外参，得到深度相机坐标系与第一世界坐标系之间的第一映射关系；
获取根据第二标定盘建立的第二世界坐标系，所述第二标定盘放置于传送带上并处于所述读码相机的读码视野；
根据所述第二世界坐标系和读码相机拍摄的第二标定盘的图像，标定读码相机的外参，得到读码相机坐标系和第二世界坐标系之间的第二映射关系；
确定第一世界坐标系和第二世界坐标系之间的第三映射关系；
根据读码相机的内参，确定读码相机坐标系与读码相机的图像坐标系之间的第四映射关系。
8.如权利要求7所述的检测包裹的方法，其特征在于，所述根据所述深度图像，确定所述包裹的上表面的轮廓和上表面在第一世界坐标系中的检测位置，包括：
根据所述深度图像，确定所述包裹的三维模型；根据所述三维模型在深度相机坐标系中坐标和所述第一映射关系，确定包裹的上表面的轮廓和上表面在第一世界坐标系中的检测位置，所述检测位置由包裹上表面的至少三个顶点在第一世界坐标系中坐标表示；或者
获取所述深度图像对应的灰度图像；
在所述灰度图像中确定所述包裹的上表面的轮廓；
根据灰度图像中的所述包裹的上表面的轮廓，确定所述深度图像中与所述上表面对应的第二深度区域，得到所述第二深度区域的至少三个顶点；
确定所述第二深度区域的至少三个顶点在深度相机坐标系中坐标；
根据所述第二深度区域的至少三个顶点在深度相机坐标系中坐标和所述第一映射关系，确定所述包裹的上表面在第一世界坐标系中的检测位置，所述检测位置由所述第二深度区域的至少三个顶点在第一世界坐标系中坐标表示。
9.一种检测包裹的装置，其特征在于，包括：
检测单元，用于在传送带上包裹经过检测区域时，识别包裹上指定区域的轮廓和所述轮廓在所述检测区域中检测位置，所述指定区域包括所述包裹的条码；
预测单元，用于根据所述轮廓在所述检测区域中的检测位置和所述传送带的传送速度，预测所述轮廓在读码相机的图像坐标系的成像区域中的读码位置和所述读码位置对应的第一图像标识，所述读码相机处于所述检测区域的下游，所述第一图像标识用于标识当所述轮廓到达所述读码位置时读码相机拍摄的包裹图像；
条码识别单元，用于当获取到所述第一图像标识对应的包裹图像时，对所述包裹图像进行条码识别；
当条码识别单元识别出所述包裹图像中条码时，匹配单元用于将所述读码位置与条码进行位置匹配；
当匹配单元确定所述读码位置匹配到条码时，关联单元用于将匹配到的条码与所述包裹进行关联。
10.一种计算设备，其特征在于，包括：
存储器；
处理器；
程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行权利要求1-8中任一项所述检测包裹的方法的指令。
11.一种存储介质，存储有程序，所述程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1-8中任一项所述的检测包裹的方法。
12.一种物流系统，其特征在于，包括：
如权利要求10所述的计算设备；
传送带；
深度相机；
读码相机。
CN202010216758.4A 2020-03-25 2020-03-25 检测包裹的方法、装置、计算设备、物流系统及存储介质 Active CN113449532B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010216758.4A CN113449532B (zh) 2020-03-25 2020-03-25 检测包裹的方法、装置、计算设备、物流系统及存储介质
PCT/CN2021/082964 WO2021190595A1 (zh) 2020-03-25 2021-03-25 检测包裹的方法、装置、计算设备、物流系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010216758.4A CN113449532B (zh) 2020-03-25 2020-03-25 检测包裹的方法、装置、计算设备、物流系统及存储介质

Publications (2)

Publication Number Publication Date
CN113449532A true CN113449532A (zh) 2021-09-28
CN113449532B CN113449532B (zh) 2022-04-19

Family

ID=77807583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010216758.4A Active CN113449532B (zh) 2020-03-25 2020-03-25 检测包裹的方法、装置、计算设备、物流系统及存储介质

Country Status (2)

Country Link
CN (1) CN113449532B (zh)
WO (1) WO2021190595A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114950977A (zh) * 2022-04-08 2022-08-30 浙江华睿科技股份有限公司 一种包裹追溯方法、装置、系统和计算机可读存储介质
CN114972509A (zh) * 2022-05-26 2022-08-30 北京利君成数字科技有限公司 一种快速识别餐具位置的方法
WO2022227879A1 (zh) * 2021-04-30 2022-11-03 南方科技大学 基于二维码的物流管理方法、系统、服务器和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693735B (zh) * 2022-03-23 2023-03-14 成都智元汇信息技术股份有限公司 一种基于目标识别的视频融合方法及装置
CN115494556B (zh) * 2022-08-18 2023-09-12 成都智元汇信息技术股份有限公司 一种基于段落法模糊匹配的包包关联方法
CN117140558B (zh) * 2023-10-25 2024-01-16 菲特（天津）检测技术有限公司 坐标转换方法、系统及电子设备
CN117765065B (zh) * 2023-11-28 2024-06-04 中科微至科技股份有限公司 一种基于目标检测的单件分离包裹快速定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020014533A1 (en) * 1995-12-18 2002-02-07 Xiaxun Zhu Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps
US20110248083A1 (en) * 2010-03-12 2011-10-13 Sunrise R&D Holdings, Llc System and method for product identification
CN108627092A (zh) * 2018-04-17 2018-10-09 南京阿凡达机器人科技有限公司 一种包裹体积的测量方法、系统、储存介质及移动终端
CN109127445A (zh) * 2018-06-04 2019-01-04 顺丰科技有限公司 条码读取方法及条码读取系统
CN109583535A (zh) * 2018-11-29 2019-04-05 湖南视比特机器人有限公司 一种基于视觉的物流条形码检测方法、计算机程序

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107328364A (zh) * 2017-08-15 2017-11-07 顺丰科技有限公司 一种体积、重量测量系统及其工作方法
CN107832999B (zh) * 2017-11-10 2024-02-27 顺丰科技有限公司 一种货物条码信息采集系统
JP2019197491A (ja) * 2018-05-11 2019-11-14 株式会社オプトエレクトロニクス 光学的情報読取装置及び光学的情報読取方法
CN112215022B (zh) * 2019-07-12 2022-08-02 杭州海康机器人技术有限公司 物流读码方法和物流读码装置以及物流系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020014533A1 (en) * 1995-12-18 2002-02-07 Xiaxun Zhu Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps
US20110248083A1 (en) * 2010-03-12 2011-10-13 Sunrise R&D Holdings, Llc System and method for product identification
CN108627092A (zh) * 2018-04-17 2018-10-09 南京阿凡达机器人科技有限公司 一种包裹体积的测量方法、系统、储存介质及移动终端
CN109127445A (zh) * 2018-06-04 2019-01-04 顺丰科技有限公司 条码读取方法及条码读取系统
CN109583535A (zh) * 2018-11-29 2019-04-05 湖南视比特机器人有限公司 一种基于视觉的物流条形码检测方法、计算机程序

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022227879A1 (zh) * 2021-04-30 2022-11-03 南方科技大学 基于二维码的物流管理方法、系统、服务器和存储介质
US11631261B2 (en) 2021-04-30 2023-04-18 Southern University Of Science And Technology Method, system, server, and storage medium for logistics management based on QR code
CN114950977A (zh) * 2022-04-08 2022-08-30 浙江华睿科技股份有限公司 一种包裹追溯方法、装置、系统和计算机可读存储介质
CN114950977B (zh) * 2022-04-08 2023-11-24 浙江华睿科技股份有限公司 一种包裹追溯方法、装置、系统和计算机可读存储介质
CN114972509A (zh) * 2022-05-26 2022-08-30 北京利君成数字科技有限公司 一种快速识别餐具位置的方法
CN114972509B (zh) * 2022-05-26 2023-09-29 北京利君成数字科技有限公司 一种快速识别餐具位置的方法

Also Published As

Publication number Publication date
WO2021190595A1 (zh) 2021-09-30
CN113449532B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN113449532B (zh) 检测包裹的方法、装置、计算设备、物流系统及存储介质
US11276194B2 (en) Learning dataset creation method and device
JP7458405B2 (ja) 部分的視覚情報に基づく対象物寸法付けのためのシステムと方法
US10628648B2 (en) Systems and methods for tracking optical codes
US11049278B2 (en) System and method for visual identification, and system and method for classifying and sorting
EP3427227B1 (en) Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
CN107525466B (zh) 体积尺寸标注器中的自动模式切换
CN106352790A (zh) 对物品进行尺寸量定和成像
WO2010101227A1 (ja) 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
US11055659B2 (en) System and method for automatic product enrollment
CN111295683A (zh) 基于增强现实的包裹查找辅助系统
CN107358638A (zh) 视差图计算方法和装置、电子设备、计算机存储介质
Yilmazturk et al. Geometric evaluation of mobile‐phone camera images for 3D information
CN104677911A (zh) 用于机器视觉检验的检验设备和方法
CN112233139A (zh) 用于在3d数据重建过程中检测运动的系统和方法
CN112489240B (zh) 一种商品陈列巡检方法、巡检机器人以及存储介质
Dutta Mobile robot applied to QR landmark localization based on the keystone effect
JPH11194027A (ja) 三次元座標計測装置
CN105578169B (zh) 信息处理系统和信息处理方法
CN113226666A (zh) 用于监控机器人系统的方法和装置
CN116740071B (zh) 一种用于跨境电商物流包裹的智能检测系统
RU2010152364A (ru) Стереоскопическая измерительная система и способ
Adil et al. A Real-Time Stereoscopic Images Rectification and Matching Algorithm Based on Python
JP2022010961A (ja) 検知装置及び検知プログラム
Fan Industrial applications of camera space manipulation with structured light

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder