CN111476840B - 目标定位方法、装置、设备及计算机可读存储介质 - Google Patents

目标定位方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111476840B
CN111476840B CN202010409765.6A CN202010409765A CN111476840B CN 111476840 B CN111476840 B CN 111476840B CN 202010409765 A CN202010409765 A CN 202010409765A CN 111476840 B CN111476840 B CN 111476840B
Authority
CN
China
Prior art keywords
target
image
positioning result
target positioning
preset threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010409765.6A
Other languages
English (en)
Other versions
CN111476840A (zh
Inventor
黄耀
刘昌祥
陈天玓
崔坤
朱可心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Achu Robot Technology Suzhou Co ltd
Original Assignee
Achu Robot Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Achu Robot Technology Suzhou Co ltd filed Critical Achu Robot Technology Suzhou Co ltd
Priority to CN202010409765.6A priority Critical patent/CN111476840B/zh
Publication of CN111476840A publication Critical patent/CN111476840A/zh
Application granted granted Critical
Publication of CN111476840B publication Critical patent/CN111476840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Abstract

本发明公开了一种目标定位方法、装置、设备及计算机可读存储介质，该方法包括：若检测到待定位目标进入相机组的拍摄范围，则通过相机组采集所述待定位目标的2D图像和3D图像；基于预设的图像处理函数，提取2D图像中的感兴趣区域得到感兴趣图像，并将感兴趣图像输入至神经网络，得到目标定位结果；基于3D图像，对3D图像进行平面分割，得到多个平面对应的点云数据；基于点云数据和目标定位结果，确定所述各个平面的第一面积交并比；若第一面积交并比大于第一预设阈值且小于第二预设阈值，则将目标定位结果输出至执行部件，以供执行部件对待定位目标进行抓取。本发明可以准确定位密集型的多矩形物流包裹。

Description

目标定位方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及视觉技术领域，尤其涉及一种目标定位方法、装置、设备及计算机可读存储介质。
背景技术
近年来，随着物流行业的日益发展，仓储物流尤其是大宗中转物流中人力成本的问题日益突出。在商业物流中，大部分产品都是通过矩形纸箱进行包装，随着科技的发展，越来越多机器技术用于搬运物流包裹。
传统的用于搬运物流包裹的无视觉方案需要规定物流包裹的垛型，从而使得机器能够准确地抓取每个物流包裹。传统的视觉方案，则需要3D相机提供准确的物流包裹边缘，提取边界点数据集，然后通过hough变换拟合空间直线，利用矩形的约束条件从而定位矩形边界。这种方法过于依赖3D相机的精度，当矩形包裹密集排列时，包裹间的缝隙难以被3D相机识别，导致现有的视觉方案难以定位密集型的多矩形物流包裹，进而导致机器容易漏抓或者误抓物流包裹。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种目标定位方法、装置、设备及计算机可读存储介质，旨在解决现有的视觉方案难以定位密集型的多矩形物流包裹的技术问题。
为实现上述目的，本发明提供一种目标定位方法，所述目标定位方法包括以下步骤：
若检测到待定位目标进入相机组的拍摄范围，则通过所述相机组采集所述待定位目标的2D图像和3D图像；
基于预设的图像处理函数，提取所述2D图像中的感兴趣区域得到感兴趣图像，并将所述感兴趣图像输入至预设的神经网络，得到目标定位结果；
基于所述3D图像，对所述3D图像进行平面分割，得到多个平面对应的点云数据；
基于所述点云数据和所述目标定位结果，确定所述各个平面的第一面积交并比；
若所述第一面积交并比大于第一预设阈值且小于第二预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取。
可选地，所述基于所述点云数据和所述目标定位结果，确定所述各个平面的第一面积交并比的步骤之后，还包括：
若所述第一面积交并比小于所述第一预设阈值或者大于所述第二预设阈值，则对所述感兴趣图像进行边缘检测，得到边缘图像；
基于所述目标定位结果中包含的长宽信息，生成多个矩形模板，并将各所述矩形模板分别与所述边缘图像进行匹配，得到各个平面对应的候选定位结果；
将所述候选定位结果输出至执行部件，以供所述执行部件基于所述候选定位结果对所述待定位目标进行抓取。
可选地，所述将所述候选定位结果输出至执行部件，以供所述执行部件基于所述候选定位结果对所述待定位目标进行抓取的步骤包括：
基于所述候选定位结果和所述目标定位结果，确定所述各个平面对应的第二面积交并比；
若所述第二面积交并比大于第二预设阈值且小于第三预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取。
可选地，所述基于所述点云数据和所述候选定位结果，确定所述各个平面对应的第二面积交并比的步骤之后，还包括：
若所述第二面积交并比大于第二预设阈值且小于第三预设阈值，则将所述候选定位结果、所述2D图像和所述3D图像打包成错误数据包，并将所述错误数据包存储至数据库。
可选地，所述若所述第二面积交并比大于第二预设阈值且小于第三预设阈值，则将所述目标定位结果、2D图像和3D图像打包成错误数据包，并将所述错误数据包存储至数据库的步骤之后，还包括：
记录所述错误数据包的数量；
若所述错误数据包的数量大于预设阈值，则基于所述错误数据包以及经验数据，对所述神经网络进行训练。
可选地，所述将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取的步骤之后，还包括：
若检测到抓取所述待定位目标完成，则控制下一个待定位目标进入所述相机组的拍摄范围内，并执行所述通过所述相机组采集所述待定位目标的2D图像和3D图像的步骤。
可选地，所述若检测到待定位目标进入相机组的拍摄范围，则通过所述相机组采集所述待定位目标的2D图像和3D图像的步骤之前，还包括：
获取所述待定位目标的最大长度以及所述相机组的视场角；
基于所述最大长度以及所述视场角确定所述相机组与所述待定位目标之间的工作距离，并控制所述相机组移动至所述工作距离的位置。
此外，为实现上述目的，本发明还提供一种目标定位装置，所述目标定位装置包括：
采集模块，用于若检测到待定位目标进入相机组的拍摄范围，则通过所述相机组采集所述待定位目标的2D图像和3D图像；
提取模块，用于基于预设的图像处理函数，提取所述2D图像中的感兴趣区域得到感兴趣图像，并将所述感兴趣图像输入至预设的神经网络，得到目标定位结果；
分割模块，用于基于所述3D图像，对所述3D图像进行平面分割，得到多个平面对应的点云数据；
比较模块，用于基于所述点云数据和所述目标定位结果，确定所述各个平面的第一面积交并比；
输出模块，用于若所述第一面积交并比大于第一预设阈值且小于第二预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取。
此外，为实现上述目的，本发明还提供一种目标定位设备，所述目标定位设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的目标定位程序，所述目标定位程序被所述处理器执行时实现如上述的目标定位方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有目标定位程序，所述目标定位程序被处理器执行时实现如上述的目标定位方法的步骤。
本发明通过若检测到待定位目标进入相机组的拍摄范围，则通过所述相机组采集所述待定位目标的2D图像和3D图像；基于预设的图像处理函数，提取所述2D图像中的感兴趣区域得到感兴趣图像，并将所述感兴趣图像输入至预设的神经网络，得到各个平面对应目标定位结果；基于所述3D图像，对所述3D图像进行平面分割，得到各个平面对应的点云数据；基于所述点云数据和所述目标定位结果，确定所述各个平面的第一面积交并比；若所述第一面积交并比大于第一预设阈值且小于第二预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取。在本实施例中，根据点云数据和目标定位结果计算各个平面的第一面积交并比，从而将神经网络识别到的目标定位结果与3D相机识别的结果进行比较，保证神经网络正确识别待定位目标中的各个待定位子目标；通过预先训练好的神经网络，得到待定位目标所有可抓取目标的位置，从而配合执行部件进行抓取，一方面，替代人工完成对目标包裹的搬运，另一方面，当物流包裹密集排列时，可以准确识别包裹间的缝隙，使得可以准确定位密集型的多矩形物流包裹。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的目标定位设备结构示意图；
图2为本发明目标定位方法第一实施例的流程示意图；
图3为本发明目标定位方法对应的目标定位系统的结构示意图；
图4为本发明目标定位方法对应的一种场景示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的目标定位设备结构示意图。
本发明实施例目标定位设备可以是PC，也可以是智能手机、平板电脑、电子书阅读器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该目标定位设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，目标定位设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。
本领域技术人员可以理解，图1中示出的目标定位设备结构并不构成对目标定位设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及目标定位程序。
在图1所示的目标定位设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的目标定位程序。
在本实施例中，目标定位设备包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的目标定位程序，其中，处理器1001调用存储器1005中存储的目标定位程序时，并执行以下操作：
若检测到待定位目标进入相机组的拍摄范围，则通过所述相机组采集所述待定位目标的2D图像和3D图像；
基于预设的图像处理函数，提取所述2D图像中的感兴趣区域得到感兴趣图像，并将所述感兴趣图像输入至预设的神经网络，得到目标定位结果；
基于所述3D图像，对所述3D图像进行平面分割，得到多个平面对应的点云数据；
基于所述点云数据和所述目标定位结果，确定所述各个平面的第一面积交并比；
若所述第一面积交并比大于第一预设阈值且小于第二预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取。
进一步地，处理器1001可以调用存储器1005中存储的目标定位程序，还执行以下操作：
若所述第一面积交并比小于所述第一预设阈值或者大于所述第二预设阈值，则对所述感兴趣图像进行边缘检测，得到边缘图像；
基于所述目标定位结果中包含的长宽信息，生成多个矩形模板，并将各所述矩形模板分别与所述边缘图像进行匹配，得到各个平面对应的候选定位结果；
将所述候选定位结果输出至执行部件，以供所述执行部件基于所述候选定位结果对所述待定位目标进行抓取。
进一步地，处理器1001可以调用存储器1005中存储的目标定位程序，还执行以下操作：
基于所述候选定位结果和所述目标定位结果，确定所述各个平面对应的第二面积交并比；
若所述第二面积交并比大于第二预设阈值且小于第三预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取。
进一步地，处理器1001可以调用存储器1005中存储的目标定位程序，还执行以下操作：
若所述第二面积交并比大于第二预设阈值且小于第三预设阈值，则将所述候选定位结果、所述2D图像和所述3D图像打包成错误数据包，并将所述错误数据包存储至数据库。
进一步地，处理器1001可以调用存储器1005中存储的目标定位程序，还执行以下操作：
记录所述错误数据包的数量；
若所述错误数据包的数量大于预设阈值，则基于所述错误数据包以及经验数据，对所述神经网络进行训练。
进一步地，处理器1001可以调用存储器1005中存储的目标定位程序，还执行以下操作：
若检测到抓取所述待定位目标完成，则控制下一个待定位目标进入所述相机组的拍摄范围内，并执行所述通过所述相机组采集所述待定位目标的2D图像和3D图像的步骤。
进一步地，处理器1001可以调用存储器1005中存储的目标定位程序，还执行以下操作：
获取所述待定位目标的最大长度以及所述相机组的视场角；
基于所述最大长度以及所述视场角确定所述相机组与所述待定位目标之间的工作距离，并控制所述相机组移动至所述工作距离的位置。
本发明还提供一种目标定位方法，参照图2，图2为本发明目标定位方法第一实施例的流程示意图。
本发明所提出的目标定位方法，可以通过视觉定位，得到工作区域内所有可抓取目标的位置，从而配合执行部件进行抓取，替代人工完成对目标包裹的搬运；通过引入深度学习技术和经典目标检测技术，既增强了经典目标检测技术对不同检测目标的适应能力，又解决了深度学习技术在处理未知类别目标时处理能力不足的问题。经典目标检测技术作为深度学习技术在目标适应能力不足时候的补充，可以与深度学习结果做到很好的相互补充。进一步地，还可以将目标定位方法得到的目标定位结果转换为新的标注信息，反馈给神经网络进行再次迭代，改善网络性能，从而使得大大缩短设备上线的周期。实施人员只需要收集到现场的少量数据即可进入运行阶段，从而大大节省实施人员的部署时间。
本发明所提出的目标定位方法应用于一种系统架构，该系统架构即目标定位系统，参照图3，目标定位系统包括相机组、视觉工控机、光电传感器、执行部件和传送部件，其中，相机组、光电传感器、执行部件和传送部件分别与视觉工控机电连接，以使视觉工控机通过分别与相机组、光电传感器、执行部件和传送部件建立通信连接，控制相机组、光电传感器、执行部件和传送部件。
相机组包括2D相机和3D相机，为2D相机和3D相机的组合，相机组用于获取2D图像和3D图像，具体地，相机组中的2D相机用于获取2D图像，相机组中的3D相机用于获取3D图像。视觉工控机用于相机组、光电传感器、执行机构的通信以及处理相机组所获取的2D图像和3D图像。光电传感器在光电传感器的监测范围内存在目标时输出信号至视觉工控机，以供视觉工控机通知相机组进行拍摄获取图像。执行部件将所定位得到的目标从定位工作区移动到其他区域，执行部件包括但不限于机械臂，执行部件在本实施例中不做具体限定。
在本实施例中，该目标定位方法包括以下步骤：
步骤S10，若检测到待定位目标进入相机组的拍摄范围，则通过所述相机组采集所述待定位目标的2D图像和3D图像；
一实施例中，参考图3，相机组与视觉工控机连接，光电传感器与视觉工控机连接，传送部件与视觉工控机连接。当执行部件根据视觉工控机的指示将上一批待定位目标全部抓取至预设位置后，执行部件向视觉工控机发送抓取完成指令，视觉工控机接收到执行部件发送的抓取完成指令时，视觉工控机则向传送部件发送运行指令，以控制传送部件启动运行。当光电传感器检测到待定位目标时，检测到待定位目标进入相机组的拍摄范围，光电传感器向视觉工控机输出控制指令，以使视觉工控机控制传送部件停止运行以及控制相机组进行拍摄以采集待定位目标的2D图像和3D图像。其中，相机组包括2D相机和3D相机，具体地，通过相机组的2D相机采集待定位目标的2D图像，以及通过相机组中的3D相机采集3D图像。
步骤S20，基于预设的图像处理函数，提取所述2D图像中的感兴趣区域得到感兴趣图像，并将所述感兴趣图像输入至预设的神经网络，得到目标定位结果；
一实施例中，采集到2D图像和3D图像后，将2D图像和3D图像传输至视觉工控机，视觉工控机接收并对2D图像和3D图像进行处理。视觉工控机通过预设的图像处理函数提取2D图像中的感兴趣区域，即提取2D图像中的待定位目标所在的区域，而滤除2D图像中待定位目标之外的区域，避免待定位目标之外的区域在处理图像时对待定位目标产生影响。在提取感兴趣区域后的2D图像，得到仅包含感兴趣区域的感兴趣图像，并将感兴趣图像输入至训练完成的神经网络中，以使神经网络对感兴趣图像中的待定位目标进行识别，神经网络对感兴趣图像进行识别后输出结果，得到目标定位结果，其中，所输出的目标定位结果中包含神经网络识别到的各平面中各个待定位子目标的位置信息。
其中，图像处理函数为提取图像中感兴趣区域的函数，可以是OpenCV视觉图像处理中的感兴趣区域提取函数或者MATLAB中感兴趣区域提取函数，如cvsetImageROI函数。
步骤S30，基于所述3D图像，对所述3D图像进行平面分割，得到多个平面对应的点云数据；
一实施例中，采集到2D图像和3D图像后，将2D图像和3D图像传输至视觉工控机，视觉工控机接收并对2D图像和3D图像进行处理。视觉工控机通过平面分割技术在水平面上对3D图像中的待定位目标进行平面切割，得到多个平面，其中，每个平面以点云数据表示，从而得到各个平面对应的点云数据，一个平面对应于一组点云数据，对待定位目标进行切割，非待定位目标不作切割。其中，所计算得到点云数据中包含待定位目标的各平面中各个待定位子目标的位置信息。
其中，点云数据中的每个点包含图像中物体的3D位置信息即三维坐标，点云数据除了包含位置信息之外，还可以包括颜色信息或者强度信息，颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息赋予点云中对应的点，强度信息的获取是激光扫描仪接收装置采集到的回波强度，强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
步骤S40，基于所述点云数据和所述目标定位结果，确定所述各个平面的第一面积交并比；
一实施例中，得到多个平面对应的点云数据后，通过对点云数据对多个平面筛选，以依次选取各个平面对应的第一电云数据进行和目标定位结果进行比较，也就是将3D相机识别的结果和神经网络识别的结果进行比较。视觉工控机通过目标定位结果中包含的坐标数据计算各个目标定位区域在2D图像中所占区域的第一面积，以及通过点云数据计算各个3D识别区域在图像中所占区域的第二面积。将第一面积和第二面积进行比较得到3D相机识别的结果和神经网络识别的结果的第一面积交并比。其中，目标定位区域为神经网络识别的目标定位结果，3D识别区域为3D相机识别的结果即点云数据。
具体地，将第一面积RD和第二面积Rm进行比较得到各个平面的3D识别区域与目标定位区域的第一面积交并比的步骤包括：计算各个平面的3D识别区域与目标定位区域的交集区域面积为Ri_mD＝Rm∩RD；计算各个平面的3D识别区域与目标定位区域的并集区域面积为Rb_mD＝Rm∪RD；计算各个平面的3D识别区域与目标定位区域的第一面积交并比为其中，记目标定位结果为D0，将目标定位结果D0在2D图像中所占区域的第一面积记为RD，将3D识别区域在图像中所占区域的第二面积记为Rm。
步骤S50，若所述第一面积交并比大于第一预设阈值且小于第二预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取。
一实施例中，若视觉工控机计算得到第一面积交并比大于第一预设阈值且小于第二预设阈值，则神经网络对待定位目标的图像的处理结果有效，即神经网络得到的目标定位结果有效，从而将目标定位结果中的输出至执行部件，以供执行部件基于目标定位结果对待定位目标进行抓取。目标定位结果中包含各个待定位子目标的位置坐标，视觉工控机将目标定位结果中各个待定位子目标的位置坐标发送至执行部件，执行部件根据目标定位结果中各个待定位子目标的位置坐标，依次对待定位目标中的各个物件进行抓取，以依次将各个物件搬运至预设位置。其中，第一预设阈值一般为0.9，第二预设预设的范围一般为1.1，第一预设阈值和第二预设预设在本实施例中不作具体限定。
进一步地，一实施例中，所述步骤S60：将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取之后，还包括：
步骤S60，若检测到抓取所述待定位目标完成，则控制下一个待定位目标进入所述相机组的拍摄范围内，并执行所述通过所述相机组采集所述待定位目标的2D图像和3D图像的步骤。
一实施例中，当执行部件根据视觉工控机的指示将待定位目标全部抓取至预设位置后，执行部件向视觉工控机发送抓取完成指令，视觉工控机接收到执行部件发送的抓取完成指令时，视觉工控机则向传送部件发送运行指令，以控制传送部件启动运行。当光电传感器检测到下一个待定位目标时，检测到下一个待定位目标进入相机组的拍摄范围，光电传感器向视觉工控机输出控制指令，以使视觉工控机控制传送部件停止运行以及控制相机组进行拍摄以采集下一个待定位目标的2D图像和3D图像，从而进一步再对下一个待定位目标进行识别与抓取。
进一步地，一实施例中，所述若检测到待定位目标进入相机组的拍摄范围，则通过所述相机组采集所述待定位目标的2D图像和3D图像的步骤之前，还包括：
步骤S11，获取所述待定位目标的最大长度以及所述相机组的视场角；
步骤S12，基于所述最大长度以及所述视场角确定所述相机组与所述待定位目标之间的工作距离，并控制所述相机组移动至所述工作距离的位置。
一实施例中，视觉工控机控制相机组进行移动以使待定位目标完全进入相机组的拍摄范围内。如图4所示，在待定位目标进入相机组的拍摄范围内后，相机组进行拍摄以获取待定位目标的最大长度，并根据相机组的视场角和待定位目标的最大长度计算相机组与待定位目标之间的最小工作距离，并在最小工作距离的基础上加上一段预设的距离得到相机组和待定位目标之间的工作距离。计算得到相机组的工作距离后，视觉工控机控制相机组移动到工作距离所指示的位置，以使待定位目标准确进入相机组的拍摄范围内，并使相机组所拍摄到的图像更适用于处理。其中，视场角为相机组的相机参数，视场角由2D相机的视场角参数、3D相机的视场角参数、2D相机和3D相机之间的距离计算得到。
本实施例提出的目标定位方法，通过若检测到待定位目标进入相机组的拍摄范围，则通过所述相机组采集所述待定位目标的2D图像和3D图像；基于预设的图像处理函数，提取所述2D图像中的感兴趣区域得到感兴趣图像，并将所述感兴趣图像输入至预设的神经网络，得到各个平面对应目标定位结果；基于所述3D图像，对所述3D图像进行平面分割，得到各个平面对应的点云数据；基于所述点云数据和所述目标定位结果，确定所述各个平面的第一面积交并比；若所述第一面积交并比大于第一预设阈值且小于第二预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取。在本实施例中，根据点云数据和目标定位结果计算各个平面的第一面积交并比，从而将神经网络识别到的目标定位结果与3D相机识别的结果进行比较，保证神经网络正确识别待定位目标中的各个待定位子目标；通过预先训练好的神经网络，得到待定位目标所有可抓取目标的位置，从而配合执行部件进行抓取，一方面，替代人工完成对目标包裹的搬运，另一方面，当物流包裹密集排列时，可以准确识别包裹间的缝隙，使得可以准确定位密集型的多矩形物流包裹。
基于第一实施例，提出本发明目标定位方法的第二实施例，在本实施例中，步骤S40之后，还包括：
步骤S41，若所述第一面积交并比小于所述第一预设阈值或者大于所述第二预设阈值，则对所述感兴趣图像进行边缘检测，得到边缘图像；
步骤S42，基于所述目标定位结果中包含的长宽信息，生成多个矩形模板，并将各所述矩形模板分别与所述边缘图像进行匹配，得到各个平面对应的候选定位结果；
步骤S43，将所述候选定位结果输出至执行部件，以供所述执行部件基于所述候选定位结果对所述待定位目标进行抓取。
一实施例中，若视觉工控机计算得到第一面积交并比小于第一预设阈值或者大于第二预设阈值，则神经网络对待定位目标的图像的处理结果无效，即神经网络得到的目标定位结果无效，从而通过边缘检测函数对感兴趣图像进行边缘检测，得到边缘图像，其中，边缘检测函数可以是canny算子，边缘检测函数在本实施例中不做具体限定。接着，通过神经网络深度学习获取的目标定位结果包含的各个子定位结果，生成所有可能的多组长宽信息，其中，各组长宽信息中长与宽一一对应。根据长宽信息生成多个矩形模板，并依次选取一个矩形模板分别与边缘图像进行匹配，匹配得到的结果为候选定位结果。
进一步地，一实施例中，所述将所述候选定位结果输出至执行部件，以供所述执行部件基于所述候选定位结果对所述待定位目标进行抓取的步骤包括：
步骤S431，基于所述候选定位结果和所述目标定位结果，确定所述各个平面对应的第二面积交并比；
步骤S432，若所述第二面积交并比大于第二预设阈值且小于第三预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取。
一实施例中，得到多个平面对应的候选定位结果后，通过候选定位结果对多个平面筛选，以依次选取各个平面对应的候选定位结果进行和目标定位结果进行比较，也就是将边缘识别的结果和神经网络识别的结果进行比较。视觉工控机通过目标定位结果中包含的坐标数据计算各个目标定位区域在2D图像中所占区域的第一面积，以及通过候选定位结果计算各个候选定位区域在图像中所占区域的第三面积。将第一面积和第三面积进行比较得到边缘识别的结果和神经网络识别的结果的第二面积交并比。其中，目标定位区域为神经网络识别的目标定位结果，候选识别区域为边缘识别的结果即候选定位结果对应的区域。
具体地，将第一面积RD和第三面积Rx进行比较得到各个平面的候选目标区域与目标定位区域的第二面积交并比的步骤包括：计算各个平面的候选目标区域与目标定位区域的交集区域面积为Ri_xD＝Rx∩RD；计算各个平面的候选目标区域与目标定位区域的并集区域面积为Rb_xD＝Rx∪RD；计算各个平面的候选目标区域与目标定位区域的第二面积交并比为其中，记目标定位结果为D0，将目标定位结果D0在2D图像中所占区域的第一面积记为RD，将候选目标区域在图像中所占区域的第三面积记为Rx。
进一步地，一实施例中，所述基于所述点云数据和所述候选定位结果，确定所述各个平面对应的第二面积交并比的步骤之后，还包括：
步骤S4311，若所述第二面积交并比大于第二预设阈值且小于第三预设阈值，则将所述候选定位结果、所述2D图像和所述3D图像打包成错误数据包，并将所述错误数据包存储至数据库。
步骤S4312，记录所述错误数据包的数量；
步骤S4313，若所述错误数据包的数量大于预设阈值，则基于所述错误数据包以及经验数据，对所述神经网络进行训练。
一实施例中，若第二面积交并比大于第二预设阈值且小于第三预设阈值，将该此相机组获取到的图像与候选定位结果打包存储入数据库，记为错误数据D，待目标定位系统进入迭代模式时使用。检查数据库中错误数据D的数量是否超过预设阈值，该值可以自行设计，若错误数据包的数量大于预设阈值，则提示进入再训练模式，将经验数据和错误数据包输入至神经网络，对神经网络进行训练，对神经网络中的模型参数进行更新。
具体地，若数据库中错误数据D的数量超过一定值，则进入再训练模式，再训练模式会将数据库中所有错误数据对应的定位结果转换为标注数据，并将所有标注数据与对应的图像导入训练器中训练。
本实施例提出的目标定位方法，通过若所述第一面积交并比小于所述第一预设阈值或者大于所述第二预设阈值，则对所述感兴趣图像进行边缘检测，得到边缘图像；基于所述目标定位结果中包含的长宽信息，生成多个矩形模板，并将各所述矩形模板分别与所述边缘图像进行匹配，得到各个平面对应的候选定位结果；将所述候选定位结果输出至执行部件，以供所述执行部件基于所述候选定位结果对所述待定位目标进行抓取。在本实施例中，当物流包裹密集排列时，可以准确识别包裹间的缝隙，使得可以准确定位密集型的多矩形物流包裹。
此外，本发明实施例还提出一种目标定位装置，所述目标定位装置包括：
采集模块，用于若检测到待定位目标进入相机组的拍摄范围，则通过所述相机组采集所述待定位目标的2D图像和3D图像；
提取模块，用于基于预设的图像处理函数，提取所述2D图像中的感兴趣区域得到感兴趣图像，并将所述感兴趣图像输入至预设的神经网络，得到目标定位结果；
分割模块，用于基于所述3D图像，对所述3D图像进行平面分割，得到多个平面对应的点云数据；
比较模块，用于基于所述点云数据和所述目标定位结果，确定所述各个平面的第一面积交并比；
输出模块，用于若所述第一面积交并比大于第一预设阈值且小于第二预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取。
可选地，所述比较模块，还用于：
若所述第一面积交并比小于所述第一预设阈值或者大于所述第二预设阈值，则对所述感兴趣图像进行边缘检测，得到边缘图像；
基于所述目标定位结果中包含的长宽信息，生成多个矩形模板，并将各所述矩形模板分别与所述边缘图像进行匹配，得到各个平面对应的候选定位结果；
将所述候选定位结果输出至执行部件，以供所述执行部件基于所述候选定位结果对所述待定位目标进行抓取。
可选地，所述比较模块，还用于：
基于所述候选定位结果和所述目标定位结果，确定所述各个平面对应的第二面积交并比；
若所述第二面积交并比大于第二预设阈值且小于第三预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取。
可选地，所述比较模块，还用于：
若所述第二面积交并比大于第二预设阈值且小于第三预设阈值，则将所述候选定位结果、所述2D图像和所述3D图像打包成错误数据包，并将所述错误数据包存储至数据库。
可选地，所述比较模块，还用于：
记录所述错误数据包的数量；
若所述错误数据包的数量大于预设阈值，则基于所述错误数据包以及经验数据，对所述神经网络进行训练。
可选地，所述采集模块，还用于：
若检测到抓取所述待定位目标完成，则控制下一个待定位目标进入所述相机组的拍摄范围内，并执行所述通过所述相机组采集所述待定位目标的2D图像和3D图像的步骤。
可选地，所述采集模块，还用于：
获取所述待定位目标的最大长度以及所述相机组的视场角；
基于所述最大长度以及所述视场角确定所述相机组与所述待定位目标之间的工作距离，并控制所述相机组移动至所述工作距离的位置。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有目标定位程序，所述目标定位程序被处理器执行时实现如上述中任一项所述的目标定位方法的步骤。
本发明计算机可读存储介质具体实施例与上述目标定位方法的各实施例基本相同，在此不再详细赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种目标定位方法，其特征在于，所述目标定位方法包括以下步骤：
若检测到待定位目标进入相机组的拍摄范围，则通过所述相机组采集所述待定位目标的2D图像和3D图像；
基于预设的图像处理函数，提取所述2D图像中的感兴趣区域得到感兴趣图像，并将所述感兴趣图像输入至预设的神经网络，得到目标定位结果；
基于所述3D图像，对所述3D图像进行平面分割，得到多个平面对应的点云数据；
基于所述点云数据和所述目标定位结果，确定各个平面的第一面积交并比；
若所述第一面积交并比大于第一预设阈值且小于第二预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取；
若所述第一面积交并比小于所述第一预设阈值或者大于所述第二预设阈值，则对所述感兴趣图像进行边缘检测，得到边缘图像；
基于所述目标定位结果中包含的长宽信息，生成多个矩形模板，并将各所述矩形模板分别与所述边缘图像进行匹配，得到各个平面对应的候选定位结果；
将所述候选定位结果输出至执行部件，以供所述执行部件基于所述候选定位结果对所述待定位目标进行抓取。
2.如权利要求1所述的目标定位方法，其特征在于，所述将所述候选定位结果输出至执行部件，以供所述执行部件基于所述候选定位结果对所述待定位目标进行抓取的步骤包括：
基于所述候选定位结果和所述目标定位结果，确定所述各个平面对应的第二面积交并比；
若所述第二面积交并比大于第二预设阈值且小于第三预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取。
3.如权利要求2所述的目标定位方法，其特征在于，所述基于所述点云数据和所述候选定位结果，确定所述各个平面对应的第二面积交并比的步骤之后，还包括：
若所述第二面积交并比大于第二预设阈值且小于第三预设阈值，则将所述候选定位结果、所述2D图像和所述3D图像打包成错误数据包，并将所述错误数据包存储至数据库。
4.如权利要求3所述的目标定位方法，其特征在于，所述若所述第二面积交并比大于第二预设阈值且小于第三预设阈值，则将所述目标定位结果、2D图像和3D图像打包成错误数据包，并将所述错误数据包存储至数据库的步骤之后，还包括：
记录所述错误数据包的数量；
若所述错误数据包的数量大于预设阈值，则基于所述错误数据包以及经验数据，对所述神经网络进行训练。
5.如权利要求1所述的目标定位方法，其特征在于，所述将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取的步骤之后，还包括：
若检测到抓取所述待定位目标完成，则控制下一个待定位目标进入所述相机组的拍摄范围内，并执行所述通过所述相机组采集所述待定位目标的2D图像和3D图像的步骤。
6.如权利要求1至5任一项所述的目标定位方法，其特征在于，所述若检测到待定位目标进入相机组的拍摄范围，则通过所述相机组采集所述待定位目标的2D图像和3D图像的步骤之前，还包括：
获取所述待定位目标的最大长度以及所述相机组的视场角；
基于所述最大长度以及所述视场角确定所述相机组与所述待定位目标之间的工作距离，并控制所述相机组移动至所述工作距离的位置。
7.一种目标定位装置，其特征在于，所述目标定位装置包括：
采集模块，用于若检测到待定位目标进入相机组的拍摄范围，则通过所述相机组采集所述待定位目标的2D图像和3D图像；
提取模块，用于基于预设的图像处理函数，提取所述2D图像中的感兴趣区域得到感兴趣图像，并将所述感兴趣图像输入至预设的神经网络，得到目标定位结果；
分割模块，用于基于所述3D图像，对所述3D图像进行平面分割，得到多个平面对应的点云数据；
比较模块，用于基于所述点云数据和所述目标定位结果，确定各个平面的第一面积交并比；
输出模块，用于若所述第一面积交并比大于第一预设阈值且小于第二预设阈值，则将所述目标定位结果输出至执行部件，以供所述执行部件基于所述目标定位结果对所述待定位目标进行抓取；
所述输出模块，还用于若所述第一面积交并比小于所述第一预设阈值或者大于所述第二预设阈值，则对所述感兴趣图像进行边缘检测，得到边缘图像；基于所述目标定位结果中包含的长宽信息，生成多个矩形模板，并将各所述矩形模板分别与所述边缘图像进行匹配，得到各个平面对应的候选定位结果；将所述候选定位结果输出至执行部件，以供所述执行部件基于所述候选定位结果对所述待定位目标进行抓取。
8.一种目标定位设备，其特征在于，所述目标定位设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的目标定位程序，所述目标定位程序被所述处理器执行时实现如权利要求1至6中任一项所述的目标定位方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有目标定位程序，所述目标定位程序被处理器执行时实现如权利要求1至6中任一项所述的目标定位方法的步骤。
CN202010409765.6A 2020-05-14 2020-05-14 目标定位方法、装置、设备及计算机可读存储介质 Active CN111476840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010409765.6A CN111476840B (zh) 2020-05-14 2020-05-14 目标定位方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010409765.6A CN111476840B (zh) 2020-05-14 2020-05-14 目标定位方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111476840A CN111476840A (zh) 2020-07-31
CN111476840B true CN111476840B (zh) 2023-08-22

Family

ID=71759970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010409765.6A Active CN111476840B (zh) 2020-05-14 2020-05-14 目标定位方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111476840B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114454168B (zh) * 2022-02-14 2024-03-22 赛那德数字技术(上海)有限公司 一种动态视觉机械臂抓取方法、系统及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN109271990A (zh) * 2018-09-03 2019-01-25 北京邮电大学 一种针对rgb-d图像的语义分割方法及装置
WO2019033747A1 (zh) * 2017-08-18 2019-02-21 深圳市道通智能航空技术有限公司 无人机智能跟随目标确定方法、无人机和遥控器
CN110163904A (zh) * 2018-09-11 2019-08-23 腾讯大地通途（北京）科技有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
CN111144315A (zh) * 2019-12-27 2020-05-12 北京三快在线科技有限公司 目标检测方法、装置、电子设备和可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102543B (zh) * 2018-08-17 2021-04-02 深圳蓝胖子机器智能有限公司 基于图像分割的物体定位方法、设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033747A1 (zh) * 2017-08-18 2019-02-21 深圳市道通智能航空技术有限公司 无人机智能跟随目标确定方法、无人机和遥控器
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN109271990A (zh) * 2018-09-03 2019-01-25 北京邮电大学 一种针对rgb-d图像的语义分割方法及装置
CN110163904A (zh) * 2018-09-11 2019-08-23 腾讯大地通途（北京）科技有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
CN111144315A (zh) * 2019-12-27 2020-05-12 北京三快在线科技有限公司 目标检测方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN111476840A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
EP2629939B1 (en) Method for the filtering of target object images in a robot system
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN110660104A (zh) 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质
KR20180120647A (ko) 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN111844019B (zh) 一种机器抓取位置确定方法、设备、电子设备和存储介质
CN112837371A (zh) 基于3d匹配的物体抓取方法、装置及计算设备
EP1477934A2 (en) Image processing apparatus
CN106573381A (zh) 卡车卸载机可视化
CN113284178B (zh) 物体码垛方法、装置、计算设备及计算机存储介质
KR20180058440A (ko) 비정형 소화물 피킹이 가능한 물류 로봇 제어 시스템
CN111476840B (zh) 目标定位方法、装置、设备及计算机可读存储介质
EP4207068A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
CN113021355B (zh) 一种用于预测遮挡农作物摘取点的农业机器人作业方法
CN207976755U (zh) 一种基于机器视觉和plc的钢材仓储控制系统
WO2024067006A1 (zh) 无序线材分拣方法、装置及系统
WO2024021542A1 (zh) 一种物品信息确定方法、装置、系统、设备及存储介质
CN111975776A (zh) 基于深度学习和卡尔曼滤波的机器人移动跟踪系统及方法
CN111898171A (zh) 余料的加工图纸确定方法、装置、电子设备及存储介质
US11557058B2 (en) Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system
CN116237944A (zh) 对象抓取方法、装置、系统、电子设备和存储介质
US20240033933A1 (en) Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
CN115319739A (zh) 一种基于视觉机械臂抓取工件方法
WO2022150280A1 (en) Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system
CN114166846A (zh) 一种钢铁行业冷轧卷断面条码及缺陷检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant