CN113744305B - 目标物检测方法、装置、电子设备和计算机存储介质 - Google Patents

目标物检测方法、装置、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN113744305B
CN113744305B CN202110077817.9A CN202110077817A CN113744305B CN 113744305 B CN113744305 B CN 113744305B CN 202110077817 A CN202110077817 A CN 202110077817A CN 113744305 B CN113744305 B CN 113744305B
Authority
CN
China
Prior art keywords
target object
target
area
position information
turnover box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110077817.9A
Other languages
English (en)
Other versions
CN113744305A (zh
Inventor
程云建
刘伟峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202110077817.9A priority Critical patent/CN113744305B/zh
Publication of CN113744305A publication Critical patent/CN113744305A/zh
Priority to EP22742072.6A priority patent/EP4207068A4/en
Priority to US18/248,617 priority patent/US20230410362A1/en
Priority to PCT/CN2022/071867 priority patent/WO2022156593A1/zh
Application granted granted Critical
Publication of CN113744305B publication Critical patent/CN113744305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

本发明实施例提出了一种目标物检测方法、装置、电子设备和计算机存储介质，该方法包括：在确定机械臂从任意一个周转箱拾取目标物，且所述目标物的高度大于所述任意一个周转箱的高度时，对所述目标物进行目标跟踪，得到所述目标物的实时位置信息；根据所述目标物的实时位置信息确定所述目标物从所述机械臂掉落时，根据所述目标物当前时刻的位置信息以及区域位置信息，确定所述目标物的落点所在区域，所述区域位置信息包括各类型的周转箱所在区域。

Description

目标物检测方法、装置、电子设备和计算机存储介质
技术领域
本发明涉及目标检测技术，涉及但不限于一种目标物检测方法、装置、电子设备和计算机存储介质。
背景技术
在相关技术中，对于物体拣选流程，可以采用基于光电传感器的检测方法、基于视觉的目标检测方法或基于运动模型的检测方法，估计物体的落点，然而，基于光电传感器的检测方法存在漏检的问题，基于视觉的目标检测方法存在视觉盲区导致的检测准确性和可靠性较低的问题，基于运动模型的检测方法的可靠性较低；综上，在相关技术中估计物体的落点的方案存在可靠性和准确性较低的问题。
发明内容
本发明实施例期望提供目标物检测方法、装置、电子设备和计算机存储介质，可以解决估计物体的落点位置时存在可靠性和准确性较低的问题。
本发明实施例提供了一种目标物检测方法，所述方法包括：
在确定机械臂从任意一个周转箱拾取目标物，且所述目标物的高度大于所述任意一个周转箱的高度时，对所述目标物进行目标跟踪，得到所述目标物的实时位置信息；
根据所述目标物的实时位置信息确定所述目标物从所述机械臂掉落时，根据所述目标物当前时刻的位置信息以及区域位置信息，确定所述目标物的落点所在区域，所述区域位置信息包括各类型的周转箱所在区域。
在本发明的一些实施例中，所述方法还包括：
根据多个周转箱中每个周转箱的属性，确定所述每个周转箱的类型；根据所述每个周转箱的类型，得到所述每个周转箱的类型标注信息；根据所述每个周转箱的类型标注信息，得出所述区域位置信息。
在本发明的一些实施例中，所述每个周转箱的属性包括以下至少之一：颜色、纹理、形状、尺寸。
在本发明的一些实施例中，所述对所述目标物进行目标跟踪，包括：
利用图像采集装置对所述目标物进行多次拍摄，得到多次拍摄图像；根据每次拍摄图像，对所述目标物进行目标跟踪。
在本发明的一些实施例中，所述根据每次拍摄图像，对所述目标物进行目标跟踪，包括：
对每次拍摄图像中的背景进行消除，得到每次拍摄图像的背景消除后结果；根据每次拍摄图像的背景消除后结果，对所述目标物进行目标跟踪；其中，所述目标物的背景表示预先设置的背景物的图像。
在本发明的一些实施例中，所述方法还包括：
在确定所述目标物的落点所在区域后，根据所述图像采集装置与所述机械臂的相对位置关系、以及所述机械臂的末端的位姿信息，确定目标物的落点的位置。
在本发明的一些实施例中，所述方法还包括：
在确定机械臂从周转箱拾取目标物后，根据机械臂的末端的位姿信息，确定所述目标物的初始位置；根据所述目标物的初始位置，确定所述目标物的高度。
在本发明的一些实施例中，所述对所述目标物进行目标跟踪，包括：
根据所述目标物的初始位置，对所述目标物进行目标跟踪，得到所述目标物的实时位置信息。
在本发明的一些实施例中，所述方法还包括：
所述目标物的落点所在区域为目的周转箱时，确定所述目标物拣选成功；
所述目标物的落点所在区域为来源周转箱或其它区域时，确定所述目标物拣选失败，所述其它区域为除所述目的周转箱和所述来源周转箱外的区域。
本发明实施例还提供了一种目标物检测装置，所述装置包括：
第一处理模块，用于在确定机械臂从任意一个周转箱拾取目标物，且所述目标物的高度大于所述任意一个周转箱的高度时，对所述目标物进行目标跟踪，得到所述目标物的实时位置信息；
第二处理模块，用于根据所述目标物的实时位置信息确定所述目标物从所述机械臂掉落时，根据所述目标物当前时刻的位置信息以及区域位置信息，确定所述目标物的落点所在区域，所述区域位置信息包括各类型的周转箱所在区域。
在本发明的一些实施例中，所述第二处理模块，还用于：
根据多个周转箱中每个周转箱的属性，确定所述每个周转箱的类型；根据所述每个周转箱的类型，得到所述每个周转箱的类型标注信息；根据所述每个周转箱的类型标注信息，得出所述区域位置信息。
在本发明的一些实施例中，所述每个周转箱的属性包括以下至少之一：颜色、纹理、形状、尺寸。
在本发明的一些实施例中，所述第一处理模块，用于对所述目标物进行目标跟踪，包括：
利用图像采集装置对所述目标物进行多次拍摄，得到多次拍摄图像；根据每次拍摄图像，对所述目标物进行目标跟踪。
在本发明的一些实施例中，所述第一处理模块，用于根据每次拍摄图像，对所述目标物进行目标跟踪，包括：
对每次拍摄图像中的背景进行消除，得到每次拍摄图像的背景消除后结果；根据每次拍摄图像的背景消除后结果，对所述目标物进行目标跟踪；其中，所述目标物的背景表示预先设置的背景物的图像。
在本发明的一些实施例中，所述第二处理模块，还用于：
在确定所述目标物的落点所在区域后，根据所述图像采集装置与所述机械臂的相对位置关系、以及所述机械臂的末端的位姿信息，确定目标物的落点的位置。
在本发明的一些实施例中，所述第一处理模块，还用于：
在确定机械臂从周转箱拾取目标物后，根据机械臂的末端的位姿信息，确定所述目标物的初始位置；根据所述目标物的初始位置，确定所述目标物的高度。
在本发明的一些实施例中，所述第一处理模块，用于对所述目标物进行目标跟踪，包括：
根据所述目标物的初始位置，对所述目标物进行目标跟踪，得到所述目标物的实时位置信息。
在本发明的一些实施例中，所述第二处理模块，还用于：
在所述目标物的落点所在区域为目的周转箱时，确定所述目标物拣选成功；
在所述目标物的落点所在区域为来源周转箱或其它区域时，确定所述目标物拣选失败，所述其它区域为除所述目的周转箱和所述来源周转箱外的区域。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一种目标物检测方法。
本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种目标物检测方法。
本发明实施例中，在确定机械臂从任意一个周转箱拾取目标物，且所述目标物的高度大于所述任意一个周转箱的高度时，对所述目标物进行目标跟踪，得到所述目标物的实时位置信息；根据所述目标物的实时位置信息确定所述目标物从所述机械臂掉落时，根据所述目标物当前时刻的位置信息以及预先确定的区域位置信息，确定所述目标物的落点所在区域。
可以理解地，本发明实施例无需设置光电对射传感器、光幕或光栅传感器，也无需基于机械臂系统的运动模型估计目标物的落点，进而，与相关技术中基于光电传感器的检测方法相比，降低了漏检的可能性，提升了目标物检测的可靠性；与相关技术中基于运动模型的检测方法相比，由于无需采用机械臂系统的运动模型进行落点估计，因而，可以降低错检的可能性，提升目标物检测的准确性；进一步地，本发明实施例可以在确定目标物的高度大于所述任意一个周转箱的高度，对目标物进行目标跟踪，也就是说，是基于周转箱之上的区域进行目标跟踪，而不是基于周转箱之内的区域进行目标跟踪，因而，在一定程度上降低了视觉盲区出现的可能性，从而提高了目标物落点检测的准确性和可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本发明的实施例，并与说明书一起用于说明本发明的技术方案。
图1A为本发明实施例中利用光栅传感器检测目标物掉落区域的示意图一；
图1B为本发明实施例中利用光栅传感器检测目标物掉落区域的示意图二；
图2A为本发明实施例中基于视觉的目标检测方法的原理示意图；
图2B为本发明实施例中来源周转箱内部的示意图；
图3为本发明实施例的一个应用场景的示意图；
图4为本发明实施例的目标物检测方法的一个可选的流程图；
图5为本发明实施例中对手工标注区域的一个可选的流程示意图；
图6为本发明实施例的目标物检测方法的另一个可选的流程图；
图7为本发明实施例中确定各类周转箱所在区域是否正确的流程示意图；
图8为本发明实施例的目标物检测装置的组成结构示意图；
图9为本发明实施例的电子设备的结构示意图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本发明，并不用于限定本发明。另外，以下所提供的实施例是用于实施本发明的部分实施例，而非提供实施本发明的全部实施例，在不冲突的情况下，本发明实施例记载的技术方案可以任意组合的方式实施。
需要说明的是，在本发明实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或C，可以表示：单独存在A，同时存在A和C，单独存在C这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
例如，本发明实施例提供的目标物检测方法包含了一系列的步骤，但是本发明实施例提供的目标物检测方法不限于所记载的步骤，同样地，本发明实施例提供的目标物检测装置包括了一系列模块，但是本发明实施例提供的目标物检测装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
在相关技术中，对于物体拣选流程，可以采用基于光电传感器的检测方法、基于视觉的目标检测方法或基于运动模型的检测方法实现，下面分别进行示例性说明。
1)基于光电传感器的检测方法
在一些实施例中，可以在来源周转箱、目的周转箱和以及周转箱的外部区域安装检测传感器，例如，检测传感器可以包括光电对射传感器、光幕或光栅传感器；参照图1A和图1B，光栅传感器的第一发射器101或第二发射器103用于发射光信号，第一接收器102用于接收第一发射器101发射的光信号，第二接收器104用于接收第二发射器103发射的光信号，第一发射器101与第一接收器102之间的区域为检测区域，第二发射器103与第二接收器104之间的区域为检测区域，可以根据第一接收器102或第二接收器104接收的光信号判断是否有目标物进入检测区域，然后，可以结合机械臂的状态，判断是否有目标物从机械臂掉落，甚至可以检测到目标物的掉落区域。
2)基于视觉的目标检测方法
在一些实施例中，可以利用视觉传感器采集周转箱内部的图像，从而通过分析图像数据，并结合机械臂拣选流程判断是否有目标物从机械臂掉落；参照图2A，第一相机201和第二相机202为3D相机，可以利用第一相机201和第二相机202检测周转箱203内的红绿蓝(Red Green Blue，RGB)图像并获取图像中物体的深度(Depth)信息，可以根据图像中物体的深度信息和机械臂拣选流程判断是否有目标物从机械臂掉落。
在一些实施例中，针对物体进行目标跟踪的实现方式为：利用帧差来计算出运动的区域，然后利用特征匹配和深度学习的算方法进行检测和识别；最后利用目标跟踪方法跟踪目标；对于机械臂入箱拣选物品的场景而言，如图2B所示，在来源周转箱中可能存在多个相同的目标物，例如，这些目标物可以是最小存货单位(Stock Keeping Unit，SKU)。因此对于目标物的检测识别，此种场景下，很难保证精度和准确性，从而影响后续的目标跟踪精度。
3)基于运动模型的检测方法
在一些实施例中，可以建立机械臂系统的运动模型，实时监视端拾器(机械臂末端用于抓取物体的器件)的压力和机械臂末端的运动速度；当发现压力值突然变化时，说明被拣拾目标物已经从端拾器上脱落；此时，根据机械臂的末端速度，结合机械臂的运动模型估算目标物的落点。
上述三种方法均可以检测出从端拾器上脱落的物体，并在特定条件下检测或估算出被拾目标物跌落的最终位置，但是，上述三种方案都存在一些局限性和缺点，下面进行说明。
参照图1A和图1B，光幕或光栅传感器都有一定的尺寸限制，且光线是有间隙的，对于尺寸较小的物品存在漏检的可能，例如，在发光器和接收器中间的区域，只有80％的区域是有效额检测区域；要对机械臂工作站覆盖的全部区域进行分区管理，才能区分出目标物跌落在哪个区域；为了覆盖欲检测的全部区域，光栅传感器的尺寸较大，会影响机械臂的工作空间；光栅传感器不能检测出进往前该区域的物体种类，因此，当有其它非目标物进入时，会对整个拣选流程造成影响。
基于视觉的目标检测方法成本高，实施难度大，存在视觉盲区，存在漏检的可能，例如，参照图2A，如果仅存在一个相机B，则存在如图所示的视觉盲区。基于视觉的目标检测方法需要实时比对目标区域是否有变化，来判断是有否目标物落入其中。在一种实现方式中，首先要求所有被测区域能被视觉传感器拍摄到，要求环境无遮挡；或通过增加视觉传感器的数目来减少被遮挡区域。视觉传感器的视野有限且存在盲区，对于每个周转箱而言，至于需要2组相机才能将覆盖整个周转箱区域，如图2A所示；但对于周转箱以外的区域，就需要更多相机同时检测。
进一步，采用基于视觉的目标检测方法时，需要尽量多且合理的布置图像传感器的空间位置，可以尽可能的减少视觉盲区的数量和范围；但不可能消除视觉盲区。当被测物体落入视觉盲区时，没有视觉传感器能捕获到它，从而造成漏检，检测结果不可靠。
在基于运动模型的检测方法估计目标物掉落区域时，估计结果的准确性取决于运动模型精确度，但是运动模型越精确，依赖的参数就越多，系统复杂度较高；进一步地，由于存在非线性因素、不可建模部分和随机事件，使得运动模型只能是真实场景的仿真，运动模型与真实场景不能完全一致。估计结果也只是一种概率统计的结果，并不能得到每一次掉落事件的准确落点。综上，基于运动模型的检测方法得到的估计结果的可靠性较低。
针对上述技术问题，提出本发明实施例的技术方案。
图3为本发明实施例的一个应用场景的示意图，如图3所示，机械臂301用于从来源周转箱302中拾取目标物，并将目标物放置到目的周转箱303中；机械臂至少包括固定不动的基体304和末端305。来源周转箱302和目的周转箱303均为用于存放物品的容器，以便于搬运物品，来源周转箱302和目的周转箱303表示两种不同类型的周转箱，其它区域306表示除来源周转箱302和目的周转箱303外的箱外区域。
在一些实施例中，目标物可以是商品或其它类型的物品，本发明实施例对此并不进行限定。
在一些实施例中，机械臂可以是6自由度机械手，末端305可以设置夹具或吸盘，用于拾取目标物。
在一些实施例中，来源周转箱302的数量可以是一个，也可以是多个；目的周转箱303的数量可以是一个，也可以是多个，本发明实施例对此并不进行限定。
参照图3，还可以部署图像采集装置307，图像采集装置307为一个硬件设备，用于对来源周转箱302、目的周转箱303和其它区域306进行拍摄；在一些实施例中，图像采集装置307可以是相机等设备，示例性地，图像采集装置307可以是消费级的相机。
在一些实施例中，为了实现拣选流程中目标物的检测，需要首先对图像采集装置307拍摄范围内的区域进行分区标记，将各区域在相机坐标系中进行建模；参照图3，图像采集装置307拍摄范围内的区域可以分为来源周转箱、目的周转箱和其它区域；这样，在确定目标物从机械臂掉落时，可以确定目标物是掉落在周转箱内部还是掉落在其它区域，在确定目标物掉落在周转箱内部时，还可以更进一步检测掉落在来源周转箱，还是掉落在目的周转箱。在确定目标物掉落区域后，便于根据不同的掉落区域，制定机械臂的不同的应对策略。
在一些实施例中，参照图3，还可以配置检测控制系统308，检测控制系统308与机械臂301可以通过网络连接，检测控制系统308可以向机械臂301发送控制信号，以控制机械臂的工作状态；检测控制系统308还可以接收机械臂301发送的各类反馈数据。
检测控制系统308可以与图像采集装置307形成通信连接，示例性地，检测控制系统308与图像采集装置307可以通过网络或USB连接方式进行连接。检测控制系统308可以与图像采集装置307进行数据交互；示例性地，图像采集装置307可以检测控制系统308的控制下，对机械臂末端305拾取的目标物进行跟踪，并确定出目标物的掉落区域；图像采集装置307还可以将采集到的图像返回至检测控制系统308。
在一些实施例中，检测控制系统308可以采用有线或无线网络通讯的方式与主控设备(图3未示出)进行数据交互，以获取指令和发送状态数据。
在一些实施例中，检测控制系统308中可以部署检测控制软件，以实现对机械臂301和图像采集装置307的工作状态的控制。
在一些实施例中，检测控制系统308可以基于终端和/或服务器实现，这里，终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统，等等。服务器可以是小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图4为本发明实施例的目标物检测方法的一个可选的流程图，如图4所示，该流程可以包括：
步骤401：在确定机械臂从任意一个周转箱拾取目标物，且目标物的高度大于任意一个周转箱的高度时，对目标物进行目标跟踪，得到目标物的实时位置信息。
本申请实施例中，上述任意一个周转箱可以是来源周转箱；在一些实施例中，检测控制系统可以在确定拣选流程开始后，向机械臂发送控制信号，使机械臂通过末端从周转箱中拾取目标物；机械臂可以控制机械臂末端的位姿，也可以生成自身的工作状态数据，该工作状态数据可以包括机械臂末端的位姿，应理解，在机械臂末端拾取目标物后，基于机械臂末端的位姿，可以确定机械臂末端抓取的目标物的位姿；进一步地，机械臂可以将自身的工作状态数据返回至检测控制系统，检测控制系统可以根据机械臂返回的数据判断机械臂是否已拾取目标物。示例性地，机械臂返回的数据可以是机械臂末端拾取装置或抓取装置的状态数据，例如气压值等。
在一些实施例中，上述任意一个周转箱的高度为上述任意一个周转箱的顶部高度，上述任意一个周转箱的高度可以是预先确定的数值。
在一些实施例中，检测控制系统可以根据机械臂返回的数据，得出目标物的高度；应理解，机械臂可以向检测控制系统不断返回工作状态数据，从而使检测控制系统不断得到当前时刻目标物的高度。
在一些实施例中，检测控制系统可以判断当前时刻目标物的高度与任意一个周转箱的高度的大小关系，在当前时刻目标物的高度小于或等于周转箱的高度时，可以不启动目标跟踪流程，继续获取下一个时刻目标物的高度；在当前时刻目标物的高度大于周转箱的高度时，可以启动目标跟踪流程。
对于对目标物进行目标跟踪的实现方式，在一个示例中，参照图3，可以利用图像采集装置对目标物进行拍摄，从而实现对目标物的跟踪。
在一些实施例中，检测控制系统在确定机械臂从任意一个周转箱拾取目标物，且所述目标物的高度大于任意一个周转箱的高度时，可以控制图像采集装置对目标物进行拍摄，图像采集装置可以将拍摄图像发送至检测控制系统；检测控制系统可以基于深度学习的检测算法识别出目标物，进而在后期目标跟踪时，锁定该目标物。
对于对目标物进行目标跟踪的实现方式，在另一个示例中，也可以利用其它方式对目标物进行拍摄，从而实现对目标物的跟踪；例如，可以采用激光定位等方式对目标物进行跟踪。
在一些实施例中，目标物的实时位置信息可以是相机坐标系中目标物的位置坐标信息，相机坐标系表示以图像采集装置的聚焦中心为原点，以图像采集装置的光轴为Z轴建立的三维直角坐标系，相机坐标系的X轴和Y轴为图像平面的两个互相垂直的坐标轴。
步骤402：根据目标物的实时位置信息确定目标物从机械臂掉落时，根据目标物当前时刻的位置信息以及区域位置信息，确定目标物的落点所在区域。
本申请的一些实施例中，机械臂可以将目标物从来源周转箱的上方移动至目的周转箱的上方，然后，可以控制末端松开目标物，使目标物掉落在目的周转箱内；检测控制系统可以根据连续多次得到的目标物的位置信息判断目标物是否从机械臂掉落，如果确定目标物未从机械臂掉落，则继续获取目标物的实时位置信息，如果确定目标物从机械臂掉落，则根据目标物当前时刻的位置信息以及预先确定的区域位置信息，确定目标物的落点所在区域。
本申请实施例中，上述区域位置信息可以包括各类型的周转箱所在区域，周转箱的类型可以是来源周转箱和目的周转箱；示例性地，上述区域位置信息还可以包括其它区域。
在实际应用中，步骤401至步骤402可以基于检测控制系统的处理器实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器中的至少一种。
可以理解地，本发明实施例无需设置光电对射传感器、光幕或光栅传感器，也无需基于机械臂系统的运动模型估计目标物的落点，进而，与相关技术中基于光电传感器的检测方法相比，降低了漏检的可能性，提升了目标物检测的可靠性；与相关技术中基于运动模型的检测方法相比，由于无需采用机械臂系统的运动模型进行落点估计，因而，可以降低错检的可能性，提升目标物检测的准确性；进一步地，本发明实施例可以在确定目标物的高度大于所述任意一个周转箱的高度，对目标物进行目标跟踪，也就是说，是基于周转箱之上的区域进行目标跟踪，而不是基于周转箱之内的区域进行目标跟踪，因而，在一定程度上降低了视觉盲区出现的可能性，并且无需对周转箱内多个相同的目标物进行检测，从而提高了目标物落点检测的准确性和可靠性。
进一步地，本发明实施例无需设置光电对射传感器、光幕或光栅传感器，无需改造现场工作环境，对现场环境要求低，在一定程度上可以降低实现成本，具有易于实现的特点；基于本发明实施例的技术方案，在现有的检测控制系统的基础上通过改进目标物检测方法，可以提供机械臂拣选物品的效率。
对于确定目标物高度的实现方式，示例性地，可以在确定机械臂从周转箱拾取目标物后，根据机械臂的末端的位姿信息，确定目标物的初始位置；根据目标物的初始位置，确定目标物的高度。
在一些实施例中，可以根据目标物的初始位置，对目标物进行目标跟踪，得到所述目标物的实时位置信息。
这里，在确定目标物的初始位置后，可以根据目标物的初始位置确定目标物的初始区域，从而结合目标物的初始区域开启目标跟踪流程。
可以理解地，在通过机械臂的末端的位姿信息定位目标物的初始位置后，可以定位出目标物的初始区域，进而，在目标跟踪的初始阶段，可以结合过机械臂的末端的位姿信息缩小目标跟踪时需要识别的区域，实现目标跟踪的初始阶段目标物的快速定位。
对于对目标物进行目标跟踪的实现方式，在一些实施例中，可以利用图像采集装置对目标物进行多次拍摄，得到多次拍摄图像；根据每次拍摄图像，对目标物进行目标跟踪。
本申请实施例中，在得到多次拍摄图像后，可以基于深度学习的检测识别算分，对多次拍摄图像中的目标物进行跟踪，从而得到目标物的实时位置信息。
可以理解地，本发明实施例可以在确定目标物的高度大于所述任意一个周转箱的高度，对目标物进行拍摄，从而进行目标跟踪，也就是说，是基于周转箱之上的区域进行拍摄，而不对周转箱之内的区域进行拍摄，因而，在一定程度上降低了视觉盲区出现的可能性，从而提高了目标物落点检测的准确性和可靠性。
对于根据每次拍摄图像，对目标物进行目标跟踪的实现方式，在一些实施例中，可以对每次拍摄图像中的背景进行消除，得到每次拍摄图像的背景消除后结果；根据每次拍摄图像的背景消除后结果，对目标物进行目标跟踪；其中，目标物的背景表示预先设置的背景物的图像。
本发明实施例中，可以在得到拍摄图像后，对拍摄图像进行前景与背景的划分，得到拍摄图像中的背景；示例性地，可以预先训练用于区分前景与背景的神经网络，然后，基于训练完成的神经网络对拍摄图像进行处理，得到拍摄图像中的背景。
应理解，在目标物的高度大于周转箱的高度时，通常目标物的背景相对简单，此时，可以利用背景消除的方法进行过滤，以便于精确地进行目标检测与跟踪，有利于提高后续跟踪检测的精度，准确得到目标物检测的落点。
在一些实施例中，机械臂工位占地较小，可以根据实际需求预设背景物，例如，预设的背景物为纯色的背景材料，这样，有利于对每次拍摄图像中的背景进行消除。
在一些实施例中，预设的背景物的材料可以是布或其它材料，本发明实施例对此并不进行限定。
在一些实施例中，在确定目标物的落点所在区域后，可以根据图像采集装置与机械臂的相对位置关系、以及机械臂的末端的位姿信息，确定目标物的落点的位置。
本申请实施例中，如果不仅需要确定目标物的落点所在区域，还要得到目标物的落点的精确坐标，可以对图像采集装置和机械臂间的相对位置关系进行标定，得到以机械臂基坐标系为参考的区域关系，然后，可以通过坐标变换得到目标物的落点的精确位置坐标；这里，机械臂基坐标系可以表示以机械臂的基体为原点的坐标系。
可以理解地，本发明实施例可以根据图像采集装置与机械臂的相对位置关系、以及机械臂的末端的位姿信息，精确地得到目标物的落点的位置。
在相关技术中，可以对拣选场景进行区域标注，以确定目标物落点的区域；然而，在实际场景中，来源周转箱和目的周转箱的数量和位置是可以按订单变化，对于同一个位置由于放置不同的周转箱，其位置意义也就发生了变化；在相关技术中对目标物进行落点检测时，不能动态地动态增加、减少或调整检测区域，不利于动态地确定目标物的落点所在区域。
在本发明的一些实施例中，可以根据多个周转箱中每个周转箱的属性，确定每个周转箱的类型；根据每个周转箱的类型，得到每个周转箱的类型标注信息；根据每个周转箱的类型标注信息，得出区域位置信息。
在一些实施例中，每个周转箱的属性可以包括以下至少之一：颜色、纹理、形状、尺寸。
本申请实施例中，在不同类型的周转箱具有不同的属性时，可以根据每次拍摄的RGB图像，得到点云数据；根据每次拍摄的RGB图像对应的点云数据，对周转箱的属性进行识别，从而识别出周转箱的类型；在一个示例中，不同类型的周转箱具有不同的颜色，在这种情况下，可以根据周转箱的点云数据，计算得到周转箱的轮廓信息；然后，可以将轮廓信息点映射到RGB图像上，从而得到周转箱的RGB图像信息，根据周转箱的RGB图像信息，可以确定周转箱额颜色，从而可以识别周转箱的类型；在另一个示例中，不同类型的周转箱具有不同的形状，例如，来源周转箱的形状为矩形，目的周转箱的形状为矩形，此时，可以根据周转箱的轮廓信息，确定周转箱的形状信息，从而识别周转箱的类型。
在得到每个周转箱的类型后，可以在图像中对每个周转箱进行类型标注，进而，结合每个周转箱的位置，可以确定出各类周转箱所在区域，即可以确定出区域位置信息。
可以理解地，本发明实施例可以根据拍摄的图像，实时检测周转箱，从而动态区分来源周转箱箱和目的周转箱，有利于将周转箱与其它区域区分，实现动态标记各类区域的目的，进而，可以在具体工程应用中实现动态调整周转箱的数目和位置的目的。
在一些实施例中，也可以对拣选场景的各区域进行手工标注，图5为本发明实施例中对手工标注区域的一个可选的流程示意图，如图5所示，该流程可以包括：
步骤501：确定各个标注区域。
在一些实施例中，可以在拣选场景的图像中划分出多个标注区域，针对各个标注区域，按照预设顺序开始进行标注标定；在确定各个区域后，可以执行步骤502。
在另一些实施例中，可以利用3D相机获取拣选场景的点云数据，然后利用高度信息，对获取到的数据进行过滤，就可以将周转箱的边缘轮廓识别；在识别出该轮廓后，就可以确定各个周转箱区域和非周转箱区域；上述各个标注区域包括各个周转箱区域以及非周转箱区域，非周转箱区域为上述其它区域。
步骤502：判断各标注区域的标注是否均已完成，如果是，则跳转至步骤505，如果否，则执行步骤503。
步骤503：移动到下一个未标注区域，然后，执行步骤504。
本步骤中，可以拣选场景的图像中移动到下一个未标注区域，在一些实施例中，可以高亮显示下一个的标注区域。
步骤504：针对当前的标注区域进行人工标注，并返回至步骤502。
在一些实施例中，可以高亮显示当前的标注区域，并弹出选择对话框，选择对话框用于供用户选择当前区域是目的周转箱、来源周转箱还是非周转箱区域。在弹出选择对话框，操作人员可以进行选择，以实现对当前的标注区域的人工标注。
步骤505：生成并显示分区信息。
这里，分区信息表示图像中各个标注区域的标注信息。
步骤506：判断分区信息是否正确，如果是，则结束流程，如果否，则返回至步骤501。
本步骤中，可以由操作信息用户判断分区信息是否正确。
在一些实施例中，在确定目标物的落点所在区域后，可以根据目标物的落点所在区域判断目标物拣选是否成功；示例性地，如果目标物的落点所在区域为目的周转箱，则确定目标物拣选成功；如果目标物的落点所在区域为来源周转箱或其它区域时，确定目标物拣选失败。
可以理解地，在目标物的落点所在区域为目的周转箱的情况下，说明目标物准确按照要求达到目的地，此时可以确定目标物拣选成功；在标物的落点所在区域为来源周转箱或其它区域时，说明目标物未按照要求达到目的地，此时可以确定目标物拣选失败；进而，本发明实施例有利于根据目标物拣选的结果，进行后续处理，有利于提高拣选的效率和成功率。
图6为本发明实施例的目标物检测方法的另一个可选的流程图，如图6所示，该流程可以包括：
步骤601：确定拣选流程开始，然后执行步骤602。
步骤602：对目标物进行目标跟踪。
本步骤的实现方式已经在前述实施例记载的内容中作出说明，这里不再赘述。
步骤603：判断目标物是否掉落，如果是，则执行步骤604，如果否，则返回至步骤602。
本步骤的实现方式已经在前述实施例记载的内容中作出说明，这里不再赘述。
步骤604：判断是否掉入来源周转箱，如果是，则执行步骤6041；如果否，则执行步骤605。
步骤6041：确定目标物拣选失败，然后，返回至步骤601。
在一些实施例中，在确定目标物掉入来源周转箱后，可以向检测控制系统上报拣选异常信息。
步骤605：判断是否掉入其它区域，如果是，则执行步骤6051；如果否，则执行步骤606。
步骤6051：确定目标物拣选失败，然后，返回至步骤601。
在一些实施例中，在确定目标物掉入其它区域后，可以向检测控制系统上报拣选异常信息。
步骤606：判断是否掉入目的周转箱，如果否，则执行步骤6061；如果是，则执行步骤607。
步骤6061：确定目标物拣选失败，然后，返回至步骤601。
在一些实施例中，如果目标物并未落入来源周转箱、目的周转箱和其它区域，则说明拣选出现异常，此时可以向检测控制系统上报拣选异常信息。
步骤607：判断拣选是否完成，如果否，则返回至步骤601，如果是，则结束流程。
本申请实施例中，可以对多个目标物按照步骤601至步骤606进行拣选，如果各个目标物是否均拣选成功，则可以结束流程；如果还存在未成功拣选的目标物，则可以重新执行步骤601至步骤607，直至各个目标物均拣选成功。
可以看出，结合图5和图6所示的流程，在来源周转箱和目的周转箱确定的情况下，可以完成目标物的落点的自动检测，进一步地，通过与检测控制系统进行交互，并辅以拣选失败的应对策略，可以大大提高拣选的成功率和效率。
在一些应用场景中，仓库管理系统(Warehouse Control System，WCS)可以根据上游订单需求生成机械臂拣选工单，并下发拣选任务给检测控制系统。检测控制系统会得到目标物的相关信息，在拣选过程中，会检测并识别到目标物并进行目标更新，直到目标物从机械臂的末端上脱落为止，此时，输出落点的区域信息，完成目标跟踪过程。
在该应用场景中，在步骤601之前，可以判断预先确定的各类周转箱所在区域是否正确。
图7为本发明实施例中确定各类周转箱所在区域是否正确的流程示意图，如图7所示，该流程可以包括：
步骤701：下发拣选任务。
这里，WCS可以根据机械臂拣选工单向检测控制系统下发拣选任务，拣选任务用于表示对各个目标物进行拣选的任务。
步骤702：判断拣选准备工作是否完成，如果是，则执行步骤703，如果否，则重新执行步骤702。
这里，拣选准备工作可以包括判断机械臂以及图像采集装置是否就绪，如果是，则确定拣选准备工作完成。
步骤703：得出各类周转箱所在区域。
本步骤的实现方式已经在前述记载的内容中作出说明，这里不再赘述；在得到各类周转箱所在区域，便可以确定拣选场景中来源周转箱和目的周转箱的信息(包括数量和位置信息)。
步骤704：回传至WCS进行确认。
本步骤中，可以将来源周转箱和目的周转箱的信息传输至WCS，WCS预先存储有拣选场景中来源周转箱和目的周转箱的信息，这样，可以对来源周转箱和目的周转箱的信息进行确认。
步骤705：判断来源周转箱和目的周转箱的信息是否正确，如果是，则可以执行步骤601，如果否，则返回至步骤703。
可以看出，结合图5、图6和图7所示的流程，可以在确认来源周转箱和目的周转箱的信息正确的情况下，实现目标物掉落区域的自动检测，可以适用于各种拣选场景。
在前述实施例提出的目标物检测方法的基础上，本发明实施例还提出了一种目标物检测装置。
图8为本发明实施例的目标物检测装置的组成结构示意图，如图8所示，该装置可以包括：
第一处理模块801，用于在确定机械臂从任意一个周转箱拾取目标物，且所述目标物的高度大于所述任意一个周转箱的高度时，对所述目标物进行目标跟踪，得到所述目标物的实时位置信息；
第二处理模块802，用于根据所述目标物的实时位置信息确定所述目标物从所述机械臂掉落时，根据所述目标物当前时刻的位置信息以及区域位置信息，确定所述目标物的落点所在区域，所述区域位置信息包括各类型的周转箱所在区域。
在本发明的一些实施例中，所述第二处理模块802，还用于：
根据多个周转箱中每个周转箱的属性，确定所述每个周转箱的类型；根据所述每个周转箱的类型，得到所述每个周转箱的类型标注信息；根据所述每个周转箱的类型标注信息，得出所述区域位置信息。
在本发明的一些实施例中，所述每个周转箱的属性包括以下至少之一：颜色、纹理、形状、尺寸。
在本发明的一些实施例中，所述第一处理模块801，用于对所述目标物进行目标跟踪，包括：
利用图像采集装置对所述目标物进行多次拍摄，得到多次拍摄图像；根据每次拍摄图像，对所述目标物进行目标跟踪。
在本发明的一些实施例中，所述第一处理模块801，用于根据每次拍摄图像，对所述目标物进行目标跟踪，包括：
对每次拍摄图像中的背景进行消除，得到每次拍摄图像的背景消除后结果；根据每次拍摄图像的背景消除后结果，对所述目标物进行目标跟踪；其中，所述目标物的背景表示预先设置的背景物的图像。
在本发明的一些实施例中，所述第二处理模块802，还用于：
在确定所述目标物的落点所在区域后，根据所述图像采集装置与所述机械臂的相对位置关系、以及所述机械臂的末端的位姿信息，确定目标物的落点的位置。
在本发明的一些实施例中，所述第一处理模块801，还用于：
在确定机械臂从周转箱拾取目标物后，根据机械臂的末端的位姿信息，确定所述目标物的初始位置；根据所述目标物的初始位置，确定所述目标物的高度。
在本发明的一些实施例中，所述第一处理模块801，用于对所述目标物进行目标跟踪，包括：
根据所述目标物的初始位置，对所述目标物进行目标跟踪，得到所述目标物的实时位置信息。
在本发明的一些实施例中，所述第二处理模块802，还用于：
在所述目标物的落点所在区域为目的周转箱时，确定所述目标物拣选成功；
在所述目标物的落点所在区域为来源周转箱或其它区域时，确定所述目标物拣选失败，所述其它区域为除所述目的周转箱和所述来源周转箱外的区域。
上述第一处理模块801和第二处理模块802均可由位于电子设备中的处理器实现，上述处理器为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲，本实施例中的一种目标物检测方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种目标物检测方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种目标物检测方法。
基于前述实施例相同的技术构思，参见图9，其示出了本发明实施例提供的一种电子设备90，可以包括：存储器91、处理器92及存储在存储器91上并可在处理器92上运行的计算机程序；其中，
存储器91，用于存储计算机程序和数据；
处理器92，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种目标物检测方法。
在实际应用中，上述存储器91可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器92提供指令和数据。
上述处理器92可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
在一些实施例中，本发明实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述
本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (12)

1.一种目标物检测方法，其特征在于，所述方法包括：
在确定机械臂从任意一个周转箱拾取目标物，且所述目标物的高度大于所述任意一个周转箱的高度时，对所述目标物进行目标跟踪，得到所述目标物的实时位置信息；
根据所述目标物的实时位置信息确定所述目标物从所述机械臂掉落时，根据所述目标物当前时刻的位置信息以及区域位置信息，确定所述目标物的落点所在区域，所述区域位置信息包括各类型的周转箱所在区域。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据多个周转箱中每个周转箱的属性，确定所述每个周转箱的类型；根据所述每个周转箱的类型，得到所述每个周转箱的类型标注信息；根据所述每个周转箱的类型标注信息，得出所述区域位置信息。
3.根据权利要求2所述的方法，其特征在于，所述每个周转箱的属性包括以下至少之一：颜色、纹理、形状、尺寸。
4.根据权利要求1所述的方法，其特征在于，所述对所述目标物进行目标跟踪，包括：
利用图像采集装置对所述目标物进行多次拍摄，得到多次拍摄图像；根据每次拍摄图像，对所述目标物进行目标跟踪。
5.根据权利要求4所述的方法，其特征在于，所述根据每次拍摄图像，对所述目标物进行目标跟踪，包括：
对每次拍摄图像中的背景进行消除，得到每次拍摄图像的背景消除后结果；根据每次拍摄图像的背景消除后结果，对所述目标物进行目标跟踪；其中，所述目标物的背景表示预先设置的背景物的图像。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在确定所述目标物的落点所在区域后，根据所述图像采集装置与所述机械臂的相对位置关系、以及所述机械臂的末端的位姿信息，确定目标物的落点的位置。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在确定机械臂从周转箱拾取目标物后，根据机械臂的末端的位姿信息，确定所述目标物的初始位置；根据所述目标物的初始位置，确定所述目标物的高度。
8.根据权利要求7所述的方法，其特征在于，所述对所述目标物进行目标跟踪，包括：
根据所述目标物的初始位置，对所述目标物进行目标跟踪，得到所述目标物的实时位置信息。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
所述目标物的落点所在区域为目的周转箱时，确定所述目标物拣选成功；
所述目标物的落点所在区域为来源周转箱或其它区域时，确定所述目标物拣选失败，所述其它区域为除所述目的周转箱和所述来源周转箱外的区域。
10.一种目标物检测装置，其特征在于，所述装置包括：
第一处理模块，用于在确定机械臂从任意一个周转箱拾取目标物，且所述目标物的高度大于所述任意一个周转箱的高度时，对所述目标物进行目标跟踪，得到所述目标物的实时位置信息；
第二处理模块，用于根据所述目标物的实时位置信息确定所述目标物从所述机械臂掉落时，根据所述目标物当前时刻的位置信息以及区域位置信息，确定所述目标物的落点所在区域，所述区域位置信息包括各类型的周转箱所在区域。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9任一项所述的方法。
12.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9任一项所述的方法。
CN202110077817.9A 2021-01-20 2021-01-20 目标物检测方法、装置、电子设备和计算机存储介质 Active CN113744305B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110077817.9A CN113744305B (zh) 2021-01-20 2021-01-20 目标物检测方法、装置、电子设备和计算机存储介质
EP22742072.6A EP4207068A4 (en) 2021-01-20 2022-01-13 TARGET OBJECT DETECTION METHOD AND DEVICE AS WELL AS ELECTRONIC DEVICE, STORAGE MEDIUM AND PROGRAM
US18/248,617 US20230410362A1 (en) 2021-01-20 2022-01-13 Target object detection method and apparatus, and electronic device, storage medium and program
PCT/CN2022/071867 WO2022156593A1 (zh) 2021-01-20 2022-01-13 目标物检测方法、装置、电子设备、存储介质和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110077817.9A CN113744305B (zh) 2021-01-20 2021-01-20 目标物检测方法、装置、电子设备和计算机存储介质

Publications (2)

Publication Number Publication Date
CN113744305A CN113744305A (zh) 2021-12-03
CN113744305B true CN113744305B (zh) 2023-12-05

Family

ID=78728227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110077817.9A Active CN113744305B (zh) 2021-01-20 2021-01-20 目标物检测方法、装置、电子设备和计算机存储介质

Country Status (4)

Country Link
US (1) US20230410362A1 (zh)
EP (1) EP4207068A4 (zh)
CN (1) CN113744305B (zh)
WO (1) WO2022156593A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744305B (zh) * 2021-01-20 2023-12-05 北京京东乾石科技有限公司 目标物检测方法、装置、电子设备和计算机存储介质
CN117671801B (zh) * 2024-02-02 2024-04-23 中科方寸知微(南京)科技有限公司 基于二分缩减的实时目标检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087328A (zh) * 2018-05-31 2018-12-25 湖北工业大学 基于计算机视觉的羽毛球落点位置预测方法
JP2020094820A (ja) * 2018-12-10 2020-06-18 株式会社Ihi 物体追跡装置
CN112091970A (zh) * 2019-01-25 2020-12-18 牧今科技 具有增强的扫描机制的机器人系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016074169A1 (zh) * 2014-11-12 2016-05-19 深圳市大疆创新科技有限公司 一种对目标物体的检测方法、检测装置以及机器人
CN108116058B (zh) * 2017-12-18 2019-12-17 华南智能机器人创新研究院 一种生产线中打码处理的方法及系统
CN112052701B (zh) * 2019-06-06 2022-08-05 杭州海康威视数字技术股份有限公司 物品取放检测系统、方法及装置
CN110420445B (zh) * 2019-07-23 2020-10-16 东南大学 一种基于增强现实的壁球训练方法及装置
CN110813784B (zh) * 2019-11-11 2021-07-27 重庆闪亮科技有限公司 一种基于大数据的智能分拣控制方法及其系统
CN111185396A (zh) * 2020-03-16 2020-05-22 中邮科技有限责任公司 一种分拣装置及分拣方法
CN113744305B (zh) * 2021-01-20 2023-12-05 北京京东乾石科技有限公司 目标物检测方法、装置、电子设备和计算机存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087328A (zh) * 2018-05-31 2018-12-25 湖北工业大学 基于计算机视觉的羽毛球落点位置预测方法
JP2020094820A (ja) * 2018-12-10 2020-06-18 株式会社Ihi 物体追跡装置
CN112091970A (zh) * 2019-01-25 2020-12-18 牧今科技 具有增强的扫描机制的机器人系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A vision-based robotic grasping system using deep learning for garbage sorting;Chen Zhihong etal.;《2017 36th Chinese Control Conference (CCC)》;全文 *
基于机器视觉的垃圾分拣机器人设计;千承辉等;《单片机与嵌入式系统应用》;第第2019年卷卷(第第9期期);全文 *

Also Published As

Publication number Publication date
US20230410362A1 (en) 2023-12-21
WO2022156593A1 (zh) 2022-07-28
EP4207068A4 (en) 2024-05-15
EP4207068A1 (en) 2023-07-05
CN113744305A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN111674817B (zh) 仓储机器人的控制方法、装置、设备及可读存储介质
US9259844B2 (en) Vision-guided electromagnetic robotic system
CN113744305B (zh) 目标物检测方法、装置、电子设备和计算机存储介质
US20150224648A1 (en) Robotic system with 3d box location functionality
CN110910460B (zh) 一种获取位置信息的方法、装置及标定设备
CN109213202B (zh) 基于光学伺服的货物摆放方法、装置、设备和存储介质
US20210276185A1 (en) Imaging process for detecting failures modes
US10957067B2 (en) Control apparatus, object detection system, object detection method and program
US11694452B1 (en) Crane-mounted system for automated object detection and identification
CN109033985B (zh) 商品识别的处理方法、装置、设备、系统及存储介质
CN111483803A (zh) 控制方法、抓取系统和存储介质
JP2023529878A (ja) コンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体
CN114952809A (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
US20210383550A1 (en) Method and computing system for performing or facilitating physical edge detection
US20210216767A1 (en) Method and computing system for object recognition or object registration based on image classification
Li et al. A workpiece localization method for robotic de-palletizing based on region growing and PPHT
CN113111899A (zh) 基于图像分类的物体识别或物体注册的方法及计算系统
CN111380535A (zh) 基于视觉标签的导航方法、装置、移动式机器及可读介质
CN115464651A (zh) 一种六组机器人物体抓取系统
CN112288038B (zh) 基于图像分类的物体识别或物体注册的方法及计算系统
KR20230061612A (ko) 머신 러닝을 이용한 물체의 피킹 자동화 시스템 및 그 제어 방법
JP2022135879A (ja) 物体検出のために安全ボリュームリストを生成するための方法および計算システム
US20220088784A1 (en) Method and Apparatus for Monitoring Robot System
CN113785299A (zh) 用于发现对象的图像获取设备
Korta et al. OpenCV based vision system for industrial robot-based assembly station: calibration and testing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant