CN113245235A - 一种基于3d视觉的商品分类方法及装置 - Google Patents

一种基于3d视觉的商品分类方法及装置 Download PDF

Info

Publication number
CN113245235A
CN113245235A CN202110412942.0A CN202110412942A CN113245235A CN 113245235 A CN113245235 A CN 113245235A CN 202110412942 A CN202110412942 A CN 202110412942A CN 113245235 A CN113245235 A CN 113245235A
Authority
CN
China
Prior art keywords
commodity
personal computer
industrial personal
mechanical arm
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110412942.0A
Other languages
English (en)
Other versions
CN113245235B (zh
Inventor
舒志豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jialian Payment Co ltd
Original Assignee
Jialian Payment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jialian Payment Co ltd filed Critical Jialian Payment Co ltd
Priority to CN202110412942.0A priority Critical patent/CN113245235B/zh
Publication of CN113245235A publication Critical patent/CN113245235A/zh
Application granted granted Critical
Publication of CN113245235B publication Critical patent/CN113245235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36Sorting apparatus characterised by the means used for distribution

Abstract

本发明公开一种基于3D视觉的商品分类方法及装置,该方法包括如下步骤:工控机收到分拣商品请求后,由采集摄像头捕捉当前层数的3D影像图片;算法服务器对采集到的所述3D影像图片进行商品分类识别、商品位姿以及抓取点识别,获取当前商品位置轮廓及中心坐标信息;工控机根据算法服务器的商品位置轮廓及中心坐标信息进行分拣操作。本发明对于货架上的商品做分类是通过硬件层的边缘计算的Xavier工控机控制边缘3D深度图像采集摄像头并结合算法服务层实现对商品定位分类,相比于人工与其他模板匹配的方法,分拣效率高,准确率高;自动化控制,由后台业务系统发送订单到工控机执行,自动化控制;数据可存储,每个环节系统都有备份数据。

Description

一种基于3D视觉的商品分类方法及装置
技术领域
本发明涉及人工智能技术领域,具体涉及一种基于3D视觉的货品分类方法及装置。
背景技术
随着科技的不断进步,机器人技术也得到迅速发展,作为机器人技术的一个重要分支,分拣机器人已被广泛应用于生产中。
现有技术中,分拣机器人通过获取的图像信息普遍采用模板特征匹配算法,也即将图形信息中出现的目标物品与模板进行匹配,确定物品的种类,进而通过分拣机器人的抓取将该物品分拣到相应位置。但是,现有的模板特征匹配方法计算复杂度大,对于机器人视觉应用需要建立多模板数据,设置复杂,不断随着新情况的出现调整模板;同时,采用模板匹配的方法,对物品类型判断的准确性和效率均较低,同时,抓取到该物品后,并不能保证物品以正确的姿态被分拣,例如,饮料瓶以瓶口倒置或者倒放的方式被抓取并摆放,严重影响分拣效果。
发明内容
在下文中给出了关于本发明实施例的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
根据本申请的一个方面,提供一种基于3D视觉的商品分类方法,其包括如下步骤:
工控机收到分拣商品请求后,由采集摄像头捕捉当前层数的3D影像图片;
算法服务器对采集到的所述3D影像图片进行商品分类识别、商品位姿以及抓取点识别,获取当前商品位置轮廓及中心坐标信息;
工控机根据算法服务器的商品位置轮廓及中心坐标信息进行分拣操作:工控机控制六轴机械臂手臂带动夹具移动至目标点位,并将对应的商品分拣至对应的商品栏。
工控机根据算法服务器的商品位置轮廓及中心坐标信息进行分拣操作还包括:工控机控制六轴机械臂手臂带动夹具移动至待放置物品的存储蓝中,抓取待放置物品将其移动至中转台上,所述中转台用于限位并引导倒置或者倒放的物品摆正;然后将摆正后的待放置物品移动至目标点位。
其中,所述服务器对采集到的所述3D影像图片进行商品分类识别具体包括:运行目标检测器,使用预训练好的神经网络;获得对应的特征集合,使用ResNet101(快速训练残差网络)提取特征;卷积神经网络中feature map中的每一点设定若干个的感兴趣区域ROI(region of interest,感兴趣区域),从而获得多个候选ROI;将这些候选的ROI送入RPN网络(RegionProposal Network,区域生成网络)进行二值分类(前景或背景)和bounding box回归,过滤掉一部分候选ROI;对这些剩下的ROI进行ROIAlign操作:先将原图和featuremap的pixel对应起来,然后将feature map和固定的feature对应起来;对这些ROI进行分类(N类别分类)、bounding box回归和MASK生成(在每一个ROI里面进行FCN操作)。
在神经网络训练时由于送给ROIAlign操作的数量会特别大,导致分割的分支网络会不容易学习到。因此本申请直接在检测结果后进行分支预测,这样极大地提高了收敛的速度。
在数据端相比于现有技术需要大量的高质量训练集,但这种高质量数据集难以快速大量获取,我们首先在数据这方面优化先使用大量无标签训练样本用卷积神经网络提取兴趣区域,再通过上述提到的分类操作按预测好置信度进行排序,将高置信度打上一级临时标签,再重新送入上述提到的分类操作进行重训练;置信度低的采取使用人工方式二次标记再送入上述提到的分类操作训练,这样不仅增强数据的稳定性并且也能良好适应不同门店的光照环境与场景极大提高了鲁棒性。并且另外在没有实物图片的商品数据我们通过采用3Dmax制造出虚拟模型并模拟真实场景渲染出所需要的图片数据集做新品分类识别使用,还可以将这两种图像进行加权来再生成新的图像(mix(x1,x2,λ)=λx1+(1-λ)x2,且pΛ=U(0,1)),X1和X2是数据域上的独立随机变量,Λ是混合系数,所得到的新图像再送入上述提到的分类操作训练。
所述服务器对采集到的所述3D影像图片进行商品位姿以及抓取点识别具体包括:上述商品分类器将分割出来的类别图转换成热力图做初步定位,将点云图划分为许多ROI区域,将点云映射到XOY平面内,得到二维图与三维图的每个三维点的索引对应,使用矩形遍历切割二维图片形成多个子图,将子图映射至三维点云得到子点云,在每个ROI点云区域中遍历子点云i中的每个点j,点Pj与其他点Pk连城线并计算这条线距离小于设定阈值的周围点数量并作为点Pk的分值,得分最高的Pk’与Pj连线的斜率则是点Pj的方向,此时构建了三个角度以及长度;使用预训练的点云神经网络,得到至少一个点的物体预测位姿(这部分使用的是传统的PPF法得出位姿);一个场景参考点会通过网络产生多个候选位姿,需要对位姿做聚类处理,给点特定阈值并过滤出在同一个类中位姿T向量差异和R矩阵差异小于设定阈值进入最终候选位姿,再进行邻近点迭代优化选出最终位姿,然后计算平面目标抓取点与大小主要基于DMP方法。attention map使用预设的阈值求取抓取点并做位姿的数目限制;如果没有输出位姿则用宽松阈值重新求取抓取点;在相机坐标系下使用局部点云更新位姿朝向;去除重叠的位姿并重新排序位姿;位姿滤波与矫正。
工控机根据算法服务器的识别结果进行分拣操作具体包括:转换对应的抓取坐标信息成机械臂法兰坐标;通过gpio(General-purpose input/output通用型输入输出接口)控制机械臂前往抓取点,获取对应的商品标签所在商品栏与码垛参数,分拣至对应的商品栏;无法在数据库匹配的分拣至废料框。
根据本申请的另一方面,提供一种基于3D视觉的商品分类装置,包括货架本体、采集摄像头、六轴机械臂、机械臂驱动部件、工控机(NVIDIA Xavier)以及算法服务器,所述采集摄像头和机械臂驱动部件、算法服务器均与所述工控机电性连接;所述采集摄像头和六轴机械臂安装在货架本体上,所述货架本体上设有用于容纳商品的多个商品栏;所述工控机用于收到分拣商品请求后,控制所述采集摄像头捕捉当前层的商品栏中3D影像图片并发送对应数据信息至算法服务器,并根据所述算法服务器的输出控制机械臂驱动部件带动六轴机械臂的夹具移动至目标点位,将对应商品分拣至相应的商品栏;所述算法服务器使用预训练好的深度卷积神经网络运算得出对应货架上的商品位置轮廓及中心点信息输出给工控机。
进一步的,所述货架本体上设有用于容纳商品的多个商品栏以及用于防止瓶口倒置的中转台,所述中转台包括底座,底座上设有V型凹槽,所述V型凹槽包括左限位片和右限位片,左限位片和右限位片的顶部间距大于底部间距,用于限位并引导倒置或者倒放的物品摆正。所述工控机还用于:控制六轴机械臂手臂带动夹具移动至待放置物品的存储蓝中,抓取待放置物品将其移动至中转台上,所述中转台用于限位并引导倒置或者倒放的物品摆正;然后将摆正后的待放置物品移动至目标点位,从而将对应商品分拣至相应的商品栏。使用时,采集摄像头捕捉待抓取的待放置物品的图像并发送对应数据信息至算法服务器,算法服务器判断其是否倒置,然后根据所述算法服务器的输出控制机械臂驱动部件带动六轴机械臂的夹具夹取待放置物品直接放入中转台或者旋转后放入中转台,再将中转台的待放置物品抓取至相应的商品栏中,因此可避免饮料瓶以瓶口倒置或者倒放的方式被抓取并摆放现象的发生,从而提高分拣效果;通过工控机的自动控制,可实现全程自动化分拣,大大提高了工作效率。
进一步的,所述V型凹槽还包括用于安装左限位片和右限位片的底板,所述左限位片包括与底板连接的左安装部、与左安装部连接的左限位部,所述右限位片包括与底板连接的右安装部、与右安装部连接的右限位部,所述左限位部和右限位部对称设置形成V型槽,所述左安装部和右安装部相对设置形成柱状结构的容纳腔。
进一步的,所述工控机采用边缘计算的Xavier工控机,采集摄像头采用边缘3D深度图像采集摄像头。
进一步的,所述工控机包括与其电性连接的存储模块,用于接收并存储特定图像。更进一步的,所述工控机还包括与其电性连接的远程通信模块,用于接收对应的图像,并转发给远程算法服务端。
进一步的,所述机械臂驱动部件采用空气压缩机及气泵装置实现。
本发明为了实现精准抓取和提高抓取的成功率,所述六轴机械臂的末端吸嘴具有粗糙的海绵质地,能够有效地适应各种商品的表面材质,极大地提高了成功率。为了防止瓶口倒置或者倒放,增加了瓶状物体中转台,让每次分拣瓶状物体都能够正立码垛。
本发明对于货架上的商品做分类是通过硬件层的边缘计算的Xavier工控机控制边缘3D深度图像采集摄像头并结合算法服务层实现对商品定位分类,相对于其他在货架上进行商品分拣技具有优势:相比于人工与其他模板匹配的方法,分拣效率高,准确率高;自动化控制,由后台业务系统发送订单到工控机执行,自动化控制;特别设计了中转台,能够将瓶状倒置的商品,正确直立的码垛于对应标签的商品栏中;数据可存储,每个环节系统都有备份数据。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中:
图1为本发明的商品分类装置的整体结构示意图;
图2为本发明的商品分类装置的分解结构示意图;
图3为本发明的中转台的结构示意图一(无放置物品);
图4为本发明的中转台的结构示意图二(放置物品);
图5为本发明的商品分类方法的流程图;
图6为本发明的商品轮廓与抓取点识别效果图。
具体实施方式
下面将参照附图来说明本发明的实施例。应当注意,为了清楚的目的,附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
本发明对于货架上的商品做分类是通过硬件层的边缘计算的Xavier工控机控制边缘3D深度图像采集摄像头并结合算法服务层达到对商品定位分类的效果。
实施例1
本实施例提供一种商品分类装置,其主要存在于商品货架后侧推拉式货柜中,参见图1-图4,该商品分类装置包括货架本体1,货架本体1上安装有边缘3D深度图像采集摄像头2、六轴机械臂3、用于控制六轴机械臂的机械臂驱动部件4(由空气压缩机及气泵装置实现)、以及用于放置商品的商品栏6,货架本体内还安装有用于控制采集摄像头2和机械臂驱动部件4的嵌入式终端5,嵌入式终端包括工控机、算法服务器、路由网关,边缘3D深度图像采集摄像头、算法服务器、空气压缩机及气泵装置、路由网关均与工控机电性连接。工控机还具有存储模块,用于接收并存储特定图像。本实例中,工控机还包括与其电性连接的以及远程通信模块。
商品分类装置中,采集摄像头2和机械臂驱动部件4均与嵌入式终端电性连接;采集摄像头2和六轴机械臂3安装在货架本体1上,货架本体1上设有用于容纳商品的多个商品栏6以及用于防止瓶口倒置的中转台7。使用时,机械臂驱动部件4在嵌入式终端的控制下驱动六轴机械臂3抓取物品至中转台7,再将中转台7的物品抓取至相应的商品栏6中,因此可避免饮料瓶以瓶口倒置或者倒放的方式被抓取并摆放现象的发生,从而提高分拣效果;通过嵌入式终端的自动控制,可实现全程自动化分拣,大大提高了工作效率。为方便控制,嵌入式终端还设有显示屏51,显示屏51设于货架本体1外部。其中嵌入式终端的控制程序为现有技术,且并非本申请的发明创造,因此这里不再赘述。
参见图1和图2,货架本体1包括铝型材架子11,铝型材架子11的安装有铝板12,铝板12为定制的整铝板,铝板12的上面设有用于放置多个商品栏的凹槽。铝型材架子内部分为三部分,左侧部分放置机械臂驱动部件4,中间部分放置嵌入式终端等控制部件,右侧部分放置钣金结构的商品盒存放架13。机械臂驱动部件4采用空气压缩机及气泵装置实现,气泵装置为空气泵14。六轴机械臂3的底部通过法兰盘18和机械臂底座19与机械臂驱动部件安装。铝型材架子的中间部分由前门15、后门16和底板17构成封闭的容纳空间。
其中,参见图3和图4,中转台7包括底座71,底座71上设有V型凹槽。图4中,V型凹槽中放置了物品77。V型凹槽包括左限位片72、右限位片73以及用于安装左限位片72和右限位片73的底板74,左限位片72和右限位片73的顶部间距大于底部间距,用于限位并引导倒置或者倒放的物品摆正。左限位片72包括与底板74连接的左安装部721、与左安装部721连接的左限位部722,右限位片73包括与底板74连接的右安装部731、与右安装部731连接的右限位部732,左限位部722和右限位部732对称设置形成V型槽,左安装部721和右安装部731相对设置形成柱状结构的容纳腔。本实施例中,左限位部722和右限位部732是不光滑的弧形结构,方便导流。此外,V型凹槽的两侧还设有左固定件75和右固定件76。
参见图5,六轴机械臂3包括顺次连接的支撑杆31、支撑卡口32、伸缩杆33以及末端吸嘴34,支撑杆31的上部具有钣金法兰盘35,钣金法兰盘35上通过一带孔垂直杆36安装采集摄像头2,支撑杆31的底部通过支撑卡口32与伸缩杆33固定安装,伸缩杆33的底部安装末端吸嘴34。其中,本实施例中,支撑杆31为直角钣金支撑杆,支撑卡口32为带孔支撑卡口,伸缩杆33为合金伸缩杆,末端吸嘴34具有粗糙的海绵质地,带孔垂直杆36为T形带孔钣金垂直杆,采集摄像头2上还具有T形带孔钣金支撑杆37。
此外,货架本体1的底部还可设置万向移动轮便于推动和锁定。
本申请以新零售技术为背景,结合物联网与人工智能及工业设计理论设计了上述分拣装置。本申请的上述分拣装置,物品经由六轴机械臂3抓取至V型凹槽,进入其容纳腔内并使倒置或者倒放的物品摆正,然后再将摆正的物品放置到相应的商品栏6中,实现物品自动、快速且稳定摆货。本申请相对于其他装置具有自动分拣的优势,分拣效率高,准确率高,自动化控制,具有很好的实用性。
工控机用于收到分拣商品的请求后发送拍照指令给边缘3D深度图像采集摄像头进行拍照、并根据算法服务端的输出结果控制机械臂分拣商品;算法服务器用于对边缘3D深度图像采集摄像头采集的照片进行处理以获得对应商品位置、属性及中心点位置信息。
本实施例中,该货架本体是商品货架后侧推拉式货柜。六轴机械臂的末端具有末端夹具吸嘴,末端夹具吸嘴上设有海绵。工控机采用NVIDIA Xavier工控机,算法服务器采用teslaGV100算法服务器。
本发明为了实现精准抓取和提高抓取的成功率,使用了具有粗糙的海绵质地的机械臂末端吸嘴,能够有效地适应各种商品的表面材质,极大地提高了成功率。为了防止瓶口倒置或者倒放,增加了瓶状物体中转台,让每次分拣瓶状物体都能够正立码垛。
实施例2
参见图5和图6,本实施例提供一种实施例1中商品分类装置的商品分类方法,其包括:
步骤1:当工控机收到分拣商品请求后,工控机控制边缘3D深度图像采集摄像头捕捉当前层数的3D影像图片(深度图与彩色图);
步骤2:工控机将对应的3D影像图片传递至算法服务器,算法服务器进行深度卷积神经网络运算并得出货架上的商品位置与中心点及轮廓等信息;货架上的商品位置与中心点及轮廓等信息包括商品分类识别以及商品位姿及抓取点识别。
商品分类识别包括如下过程:先运行目标检测器,使用预训练好的神经网络;获得对应的特征集合,使用ResNet101提取特征;feature map中的每一点设定预定个的ROI,从而获得多个候选ROI;将这些候选的ROI送入RPN网络进行二值分类(前景或背景)和bounding box回归,过滤掉一部分候选的ROI;对这些剩下的ROI进行ROIAlign操作(即先将原图和feature map的pixel对应起来,然后将feature map和固定的feature对应起来;对这些ROI进行分类(N类别分类)、bounding box回归和MASK生成(在每一个ROI里面进行FCN操作);
商品位姿及抓取点识别包括如下过程:根据深度图生成点云与点云ROI;使用预训练的点云神经网络,得到至少一个点的物体预测位姿;对位姿做聚类处理;attention map使用预设的阈值求取抓取点并做位姿的数目限制;如果前部没有输出则用宽松阈值重新求取抓取点;在相机坐标系下使用局部点云更新位姿朝向;去除重叠的位姿并重新排序位姿;位姿滤波与矫正。
步骤3:算法服务器将商品位置与中心点及轮廓等信息发送给工控机进行分拣操作;工控机收到算法服务器的商品信息后,转换对应的抓取坐标信息成机械臂法兰坐标,通过gpio控制空气压缩机吸气前往抓取点;与软件服务器连通获取对应的商品标签所在商品栏与码垛参数,分拣至对应的商品栏。无法在数据库匹配的分拣至废料框。
本发明通过在货架上对商品相关信息识别,能获取当前商品位置轮廓及中心坐标信息,能够有效的让机器人实现分拣操作,这对当下开创新型业态,构建新的超市上货流程具有重要意义和作用。
使用时,工控机(Xavier)收到后台的分拣商品请求后,控制3D深度图像采集摄像头捕捉当前层的商品栏中3D影像图片并发送对应数据信息至算法服务器,算法服务器使用预训练好的深度卷积神经网络运算得出对应货架上的商品位置轮廓及中心点信息返回给工控机;然后工控机拿到对应商品的数据信息,控制六轴机械臂手臂带动夹具移动目标点位,将对应的商品分拣至对应的商品栏中。
应用本发明上述商品分类方法的设备和存储介质及机器人都属于本发明的保护范围内。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露,但是,应该理解,上述的所有实施例和示例均是示例性的,而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

Claims (10)

1.一种基于3D视觉的商品分类方法,其特征在于:包括如下步骤:
工控机收到分拣商品请求后,由采集摄像头捕捉当前层数的3D影像图片;
算法服务器对采集到的所述3D影像图片进行商品分类识别、商品位姿以及抓取点识别,获取当前商品位置轮廓及中心坐标信息;
工控机根据算法服务器的商品位置轮廓及中心坐标信息进行分拣操作。
2.根据权利要求1所述的基于3D视觉的商品分类方法,其特征在于:所述工控机根据算法服务器的商品位置轮廓及中心坐标信息进行分拣操作还包括:工控机控制六轴机械臂手臂带动夹具移动至待放置物品的存储蓝中,抓取待放置物品将其移动至中转台上,所述中转台用于限位并引导倒置或者倒放的物品摆正;然后将摆正后的待放置物品移动至目标点位。
3.根据权利要求1所述的基于3D视觉的商品分类方法,其特征在于:所述服务器对采集到的所述3D影像图片进行商品分类识别具体包括:运行目标检测器,使用预训练好的神经网络;获得对应的特征集合,使用快速训练残差网络提取特征;卷积神经网络中featuremap中的每一点设定若干个的感兴趣区域ROI,从而获得多个候选ROI;将这些候选的ROI送入RPN网络进行二值分类和bounding box回归,过滤掉一部分候选ROI;对这些剩下的ROI进行ROIAlign操作:先将原图和feature map的pixel对应起来,然后将feature map和固定的feature对应起来;对这些ROI进行分类、bounding box回归和MASK生成。
4.根据权利要求1所述的基于3D视觉的商品分类方法,其特征在于:所述服务器对采集到的所述3D影像图片进行商品位姿以及抓取点识别具体包括:根据深度图生成点云与点云ROI;使用预训练的点云神经网络,得到至少一个点的物体预测位姿;对位姿做聚类处理;attention map使用预设的阈值求取抓取点并做位姿的数目限制;如果前部没有输出则用宽松阈值重新求取抓取点;在相机坐标系下使用局部点云更新位姿朝向;去除重叠的位姿并重新排序位姿;位姿滤波与矫正。
5.根据权利要求1所述的基于3D视觉的商品分类方法,其特征在于:所述工控机根据算法服务器的识别结果进行分拣操作具体包括:转换对应的抓取坐标信息成机械臂法兰坐标,控制机械臂前往抓取点,根据对应的商品标签所在商品栏与码垛参数,分拣至对应的商品栏。
6.一种基于3D视觉的商品分类装置,其特征在于:包括货架本体、采集摄像头、六轴机械臂、机械臂驱动部件、工控机以及算法服务器,所述采集摄像头和机械臂驱动部件、算法服务器均与所述工控机电性连接;所述采集摄像头和六轴机械臂安装在货架本体上,所述货架本体上设有用于容纳商品的多个商品栏;
所述工控机用于收到分拣商品请求后,控制所述采集摄像头捕捉当前层的商品栏中3D影像图片并发送对应数据信息至算法服务器,并根据所述算法服务器的输出控制机械臂驱动部件带动六轴机械臂的夹具移动至目标点位,将对应商品分拣至相应的商品栏;所述算法服务器使用预训练好的深度卷积神经网络运算得出对应货架上的商品位置轮廓及中心点信息输出给工控机。
7.根据权利要求6所述的基于3D视觉的商品分类装置,其特征在于:所述货架本体上设有用于容纳商品的多个商品栏以及用于防止瓶口倒置的中转台,所述中转台包括底座,底座上设有V型凹槽,所述V型凹槽包括左限位片和右限位片,左限位片和右限位片的顶部间距大于底部间距,用于限位并引导倒置或者倒放的物品摆正;所述工控机还用于:控制六轴机械臂手臂带动夹具移动至待放置物品的存储蓝中,抓取待放置物品将其移动至中转台上,所述中转台用于限位并引导倒置或者倒放的物品摆正;然后将摆正后的待放置物品移动至目标点位,从而将对应商品分拣至相应的商品栏。
8.根据权利要求7所述的基于3D视觉的商品分类装置,其特征在于:所述V型凹槽还包括用于安装左限位片和右限位片的底板,所述左限位片包括与底板连接的左安装部、与左安装部连接的左限位部,所述右限位片包括与底板连接的右安装部、与右安装部连接的右限位部,所述左限位部和右限位部对称设置形成V型槽,所述左安装部和右安装部相对设置形成柱状结构的容纳腔。
9.根据权利要求6所述的基于3D视觉的商品分类装置,其特征在于:所述六轴机械臂包括顺次连接的支撑杆、支撑卡口、伸缩杆以及末端吸嘴,支撑杆的上部具有法兰盘,法兰盘上通过一带孔垂直杆安装采集摄像头,支撑杆的底部通过支撑卡口与伸缩杆固定安装,伸缩杆的底部安装末端吸嘴。
10.根据权利要求9所述的基于3D视觉的商品分类装置,其特征在于:所述六轴机械臂的末端吸嘴具有粗糙的海绵质地。
CN202110412942.0A 2021-04-16 2021-04-16 一种基于3d视觉的商品分类方法及装置 Active CN113245235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110412942.0A CN113245235B (zh) 2021-04-16 2021-04-16 一种基于3d视觉的商品分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110412942.0A CN113245235B (zh) 2021-04-16 2021-04-16 一种基于3d视觉的商品分类方法及装置

Publications (2)

Publication Number Publication Date
CN113245235A true CN113245235A (zh) 2021-08-13
CN113245235B CN113245235B (zh) 2023-03-28

Family

ID=77221816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110412942.0A Active CN113245235B (zh) 2021-04-16 2021-04-16 一种基于3d视觉的商品分类方法及装置

Country Status (1)

Country Link
CN (1) CN113245235B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114505257A (zh) * 2022-01-18 2022-05-17 深圳格芯集成电路装备有限公司 分料方法、分料装置、终端设备及计算机可读存储介质
CN114782900A (zh) * 2022-06-21 2022-07-22 成都泽赛普石油工程技术服务有限公司 一种基于Yolov5算法的目标监控与处理系统及方法
CN114925387A (zh) * 2022-04-02 2022-08-19 北方工业大学 基于端边云架构的分拣系统、方法、及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7246706B1 (en) * 2004-12-28 2007-07-24 Amazon Technologies, Inc. Sorting using modular stations
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN108229665A (zh) * 2018-02-02 2018-06-29 上海建桥学院 一种以深度卷积神经网络为基础的零件分拣系统
CN108714701A (zh) * 2018-06-15 2018-10-30 广州大学 一种轴类零件加工装置
CN109702741A (zh) * 2018-12-26 2019-05-03 中国科学院电子学研究所 基于自监督学习神经网络的机械臂视觉抓取系统及方法
CN111144322A (zh) * 2019-12-28 2020-05-12 广东拓斯达科技股份有限公司 一种分拣方法、装置、设备和存储介质
CN111151463A (zh) * 2019-12-24 2020-05-15 北京无线电测量研究所 一种基于3d视觉的机械臂分拣抓取系统及方法
CN111421539A (zh) * 2020-04-01 2020-07-17 电子科技大学 一种基于计算机视觉的工业零件智能识别与分拣系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7246706B1 (en) * 2004-12-28 2007-07-24 Amazon Technologies, Inc. Sorting using modular stations
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN108229665A (zh) * 2018-02-02 2018-06-29 上海建桥学院 一种以深度卷积神经网络为基础的零件分拣系统
CN108714701A (zh) * 2018-06-15 2018-10-30 广州大学 一种轴类零件加工装置
CN109702741A (zh) * 2018-12-26 2019-05-03 中国科学院电子学研究所 基于自监督学习神经网络的机械臂视觉抓取系统及方法
CN111151463A (zh) * 2019-12-24 2020-05-15 北京无线电测量研究所 一种基于3d视觉的机械臂分拣抓取系统及方法
CN111144322A (zh) * 2019-12-28 2020-05-12 广东拓斯达科技股份有限公司 一种分拣方法、装置、设备和存储介质
CN111421539A (zh) * 2020-04-01 2020-07-17 电子科技大学 一种基于计算机视觉的工业零件智能识别与分拣系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114505257A (zh) * 2022-01-18 2022-05-17 深圳格芯集成电路装备有限公司 分料方法、分料装置、终端设备及计算机可读存储介质
CN114505257B (zh) * 2022-01-18 2023-02-14 深圳格芯集成电路装备有限公司 分料方法、分料装置、终端设备及计算机可读存储介质
CN114925387A (zh) * 2022-04-02 2022-08-19 北方工业大学 基于端边云架构的分拣系统、方法、及可读存储介质
CN114782900A (zh) * 2022-06-21 2022-07-22 成都泽赛普石油工程技术服务有限公司 一种基于Yolov5算法的目标监控与处理系统及方法

Also Published As

Publication number Publication date
CN113245235B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN113245235B (zh) 一种基于3d视觉的商品分类方法及装置
US9227323B1 (en) Methods and systems for recognizing machine-readable information on three-dimensional objects
CN111360780A (zh) 一种基于视觉语义slam的垃圾捡拾机器人
US9507995B2 (en) Combination of stereo and structured-light processing
CN110395515B (zh) 一种货物识别抓取方法、设备以及存储介质
CN112845143A (zh) 一种生活垃圾分类智能分拣系统及方法
CN111590611A (zh) 一种基于多模态主动感知的物品分类回收方法
CN113192128A (zh) 一种结合自监督学习的机械臂抓取规划方法和系统
CN113580149B (zh) 基于关键点预测网络的无序混叠工件抓取方法和系统
CN114241269B (zh) 一种用于岸桥自动控制的集卡视觉融合定位系统
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
Pan et al. Manipulator package sorting and placing system based on computer vision
CN113666028A (zh) 一种基于激光雷达和相机融合的垃圾桶检测抓取方法
CN115582827A (zh) 一种基于2d和3d视觉定位的卸货机器人抓取方法
CN109454004B (zh) 机器人扫描分拣系统及方法
CN112633187B (zh) 基于图像分析的机器人自动搬运方法、系统和存储介质
CN113505629A (zh) 一种基于轻量网络的智能仓储物件识别装置
CN114193440A (zh) 基于3d视觉的机器人自动抓取系统及方法
Li et al. Stereo-based human detection for mobile service robots
CN111768369A (zh) 钢板角点与边点定位方法和工件抓取方法及生产线
Su et al. Pose-Aware Placement of Objects with Semantic Labels-Brandname-based Affordance Prediction and Cooperative Dual-Arm Active Manipulation
CN113731860B (zh) 一种容器内堆积物件自动分拣系统及方法
Gallardo et al. Detection of parametrized 3-d primitives from stereo for robotic grasping
CN113723475B (zh) 一种基于视觉的机器人智能理鞋系统设计与实现方法
Huang et al. A Grasping Posture Judgment Algorithm Based on Feature Circumscribed Rectangle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant