CN109794437A - 基于计算机视觉的智能分拣系统 - Google Patents
基于计算机视觉的智能分拣系统 Download PDFInfo
- Publication number
- CN109794437A CN109794437A CN201910186681.8A CN201910186681A CN109794437A CN 109794437 A CN109794437 A CN 109794437A CN 201910186681 A CN201910186681 A CN 201910186681A CN 109794437 A CN109794437 A CN 109794437A
- Authority
- CN
- China
- Prior art keywords
- sorting
- subsystem
- commodity
- speed
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 39
- 238000001514 detection method Methods 0.000 claims description 65
- 230000004044 response Effects 0.000 claims description 20
- 238000004519 manufacturing process Methods 0.000 claims description 14
- 230000005622 photoelectricity Effects 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 5
- 230000007812 deficiency Effects 0.000 abstract description 3
- 239000000843 powder Substances 0.000 description 21
- 238000012856 packing Methods 0.000 description 14
- 238000005406 washing Methods 0.000 description 11
- 239000008267 milk Substances 0.000 description 10
- 210000004080 milk Anatomy 0.000 description 10
- 235000013336 milk Nutrition 0.000 description 10
- 238000000034 method Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007873 sieving Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Sorting Of Articles (AREA)
- Control Of Conveyors (AREA)
Abstract
本发明提供了一种基于计算机视觉的智能分拣系统，该系统包括传送‑分拣子系统和图像采集子系统，以及控制上述两个子系统的计算服务子系统；其中，所述传送‑分拣子系统包括传动直流电机，传送带，编码器，分拣机械手，伺服电机，光电门传感器；所述图像采集子系统包括高速相机和LED光源组；所述计算服务子系统包括嵌入式控制系统和高性能服务器。本发明解决传统分拣方式以固定速度进行分拣的不足，通过变速分拣，实现在保障高准确率下的高效率分拣，实现“线上”自动化调节减少人工参与，降低了人工成本。
Description
技术领域
本发明涉及一种智能系统，具体涉及一种基于计算机视觉的智能分拣系统，属于人工智能技术领域。
背景技术
分拣作业是配送中心依据需求或者配送计划将指定物品迅速、准确地从储位或者其他区位捡取出来，并按照一定的方式进行分类。在分拣的过程中，如何根据产线、商品状况来调整分拣系统的工作参数，以达到提高分拣效率和分拣精度的目的，一直是分拣生产线优化领域的研究重点。
目前的货物分拣方法以及工作流程主要如下：
(1)人工分拣：通过纯手工方式对商品进行挑选，筛拣，然后放入指定的分类区域。人工分拣方式劳动强度大，重复动作多，受人为影响因素大，因而分拣效率低，精度不高。
(2)半自动分拣：通过传送带(例如履带输送机、轮式输送机等)完成商品输送，即将货物分散的运送到分拣位置上，然后在各分拣位置上配备人员进行对商品进行筛拣。这类方式减少了重复劳动时间，减轻了劳动强度，提高了生产效率，但是仍然需要人工对待分拣物品进行识别分类，因而分拣效率和精度有限。
(3)自动分拣：同样通过输送工具完成商品输送，并利用相应传感器获取商品种类信息，并利用机械装置完成筛拣和分类工作。自动分拣不受人工因素的影响，其效率、精度较高，能分拣的商品品种和数量也非常大。但由于商品尺寸、传送带速度等因素等的制约，在分拣效率上仍有较大提升空间。
由于自动分拣系统能有效提升分拣精度和速度，因此在小件商品分拣领域已逐渐取代人工分拣、半自动分拣，成为主流的分拣手段。目前的自动分拣系统工作时，为了加快分拣速度主要采取改变传送带速度和缩小被检测商品间的间距两种方式。
(1)改变传送带速度，调解传输速度，使得单位时间内有更多的商品通过传感器和分拣装置，这种调整方式方便、灵活，生效时间较短，能够较快改变生产线的检测速度。且通过编码器等传感器，能精确控制传送带的运行速度。
(2)改变被检测商品的间距，间距的调整相对于速度的调整更为复杂、困难。一方面，因为改变商品之间的间距需要对商品的投放速度进行控制，具有一定惯性，也就是说当对商品间距进行调整后，不能立即改变生产线的检测速度。另一方面，计算商品间距要考虑到商品的外观尺寸，且受到摆放角度姿势影响，实际间距难以精确控制。
现有的技术方案中，无论是通过改变传送带间的距离或是缩小待分拣商品间的距离，都是采用“离线”方式进行改变，即为对速度或者缩小商品间间距后，需要对分拣线上的其他的组件的配置参数进行更改，以其可以使分拣系统继续有效工作。因此企业生产中很难对分拣速度进行改变，一旦速度或者待分拣间距进行改变之后，相应的其他组件参数都需要进行更改，需要花费大量时间，严重影响企业分拣效率。
发明内容
本发明的目的是提供一种基于计算机视觉的智能分拣系统，以计算机视觉方式实现的分拣生产线上，通过改进传送带运行速度，来提高生产线的分拣效率，以弥补现有技术的不足。
一般情况下，传送带运行速度要与商品尺寸、商品之间的间隔、商品检测时间要相匹配，才能最大限度的提升生产线的生产效率。运行速度过大会造成误检和漏检，运行速度过小会降低检测效率，因此通过以下方式来实现自动变速的分拣系统。
为达到上述目的，本发明采取的具体技术方案为：
一种基于计算机视觉的智能分拣系统，该系统包括传送-分拣子系统和图像采集子系统，以及控制上述两个子系统的计算服务子系统；其中，所述传送-分拣子系统包括传动直流电机，传送带，编码器，分拣机械手，伺服电机，光电门传感器；所述图像采集子系统包括高速相机和LED光源组；所述计算服务子系统包括嵌入式控制系统和高性能服务器。
所述传送-分拣子系统接收所述计算服务子系统所提供的速度指令，通过传动直流电机和编码器来调解传送带运行速度，并向计算服务子系统提供传送带实时运行速度；所述传送-分拣子系统接受计算服务子系统发出的分拣指令，根据光电门传感器以及传送带实时速度来控制对应分拣机械手工作，以完成分拣工作；当商品通过光电门传感器时，所述传送-分拣子系统向所述计算服务子系统提供光电门信号。
所述图像采集子系统根据所述计算子系统所提供图像采集指令，使高速相机采集图像，并上传至所述计算服务子系统；所述图像采集子系统根据所述计算子系统所提供快门参数，调整高速相机快门时间。
所述计算服务子系统根据所述传送-分拣子系统所提供的传送带速度信息，按照相关约束条件调解图像采集子系统中高速相机的快门时间，并根据检测区光电门信号，向图像采集子系统发出图像采集指令；当传送带运行速度超过图像采集子系统所规定最小响应时间时，计算服务子系统发出指令，要求传送-分拣子系统降低传送带的传送速度；所述计算服务子系统从图像采集子系统中获取商品图像信息，计算商品类型，之后所述计算子系统向传送-分拣子系统发出分拣指令。
所述传送带依次划分为待测区、检测区和分拣区，所述传动直流电机位于传送带两侧，提供传送带运行所需动力；所述编码器位于传送带传动直流电机旁，用以检测传动带实时运行速度；所述高速相机位于传送带正上方，镜头对准检测区，用以采集商品图像；所述LED光源组围绕在高速相机镜头旁，并对准检测区，提供光源；所述分拣机械手分布在分拣区两侧，并通过伺服电机控制；所述光电传感器设于传送带的检测区入口和分拣机械手两侧；所述嵌入式控制系统与分拣机械手、光电传感器、编码器、高速相机、高性能服务器直接相连，即计算服务子系统通过嵌入式控制系统向分拣机械手、高速相机发送相关指令，计算服务子系统通过嵌入式控制系统获取光电传感器、编码器相关信息；所述高性能服务器负责运行深度网络，计算最优传送带运行速度。
进一步的，在所述检测区中，通过高速相机和光电传感器来采集待分拣商品图像；其中所述光电传感器检测待分拣物品是否到达指定区域。
进一步的，所述高速相机位于传送带的正上方，周围配有六个LED光源组围绕，以消除待分拣商品的光影影响，提供稳定光照条件，以获得更为清晰的待分拣物品图像。
智能分拣系统的工作流程如下：(1)当商品Pi送入传送带时，传动带开始工作，将商品Pi从传送带待测区运送至检测区；(2)通过触发待测区光电门传感器，计算服务子系统获得商品进入检测区的信号，并向图像采集系统发出图像采集信号，开启高速相机采集商品Pi图像Ii；(3)图像采集系统将图像Ii上传至计算服务子系统中，通过训练好的深度网络AlexNet中来判断商品类型xi；(4)计算服务子系统将商品类型x1i转换为分拣信号Xi，当商品Pi通过分拣区时，并触发分拣区光电门传感器；计算服务器子系统判断该光电门信号是否与分拣信号Xi一致，如果一致则输出控制信号使分拣机械手动作，使得商品滑向规定区域。
为了合理调整传送带运行速度，在系统正式使用前，需要记录分拣机械手最大响应时间tr，光电门最大响应时间tg,图像采集响应时间即相机快门响应时间tc，并在高性能服务器中记录下tr、tg和tc，测量检测区光电传感器与高速相机中心点的距离Lgc；测量分拣区光电传感器与分拣机械手的距离Lgr，测量物体之间的平均间隔LM。
分拣生产线启动时：分拣机械手复位，LED光源组、光电传感器、嵌入式系统、高性能服务器依次开启，嵌入式系统控制传送带和编码器，使传送带以速度v运转，待分拣商品M1,M2,M3...依次以一定距离间隔进入到传动带上，设置传送带运算速度为v。当本件商品Mi通过待测区后进入检测区，在接收到检测区光电传感器的信号后，高性能服务器记录当前开始检测的时间节点Ts，并让嵌入式系统发出信号让高速相机采集商品图像，该图像从高速相机传送至高性能服务器中，然后通过深度网络AlexNet对商品图像进行预测分类，分类完成后，高性能服务器记录当前结束检测的时间节点Te，接下嵌入式系统根据不同的分类结果，分配相应的分拣机械手控制信号，当商品通过分拣区对应光电传感器时，嵌入式系统接收到光电传感器发来的可分拣信号，按照分类信号驱动该伺服机运动，将商品分入合适区域，然后分拣机械手复位完成本次分拣；下一件商品Mi+1继续通过检测区光电传感器，高性能服务器记录当前检测的时间节点Ts+1，同理并记录当前结束检测的时间节点Te+1，嵌入式系统计算出商品检测时间间隔Δts，以及商品检测时间ts；其中：
Δts＝Ts+1-Ts
ts＝Te-Ts
其中传送带当前速度v满足以下约束条件，嵌入式系统会提升当前速度v’，同时校验是否满足以下约束条件：
约束1：为了使光电传感器发出信号后，嵌入式系统以及高性能服务器及时采集并处理图像，嵌入式系统所设置的传送带速度v，应当满足LM>Δts×v，即在嵌入式系统和高性能服务器采集并处理图像时间内，前后商品的间隔距离应大于安全距离；
约束2：为了使光电传感器发出信号后，嵌入式系统以及高性能服务器及时采集并处理图像，嵌入式系统所设置的传送带速度v，应当满足Lgc>ts×v，即在嵌入式子系统和高性能服务器采集并处理图像时间内，没有新的商品进入相机与检测区光电传感器之间；
约束3：为了使光电传感器发出信号后，分拣机械手能及时地将商品能从分拣区分入合适区域，嵌入式系统所设置的传送带速度v，应当满足Lgr>tg×v，即分拣机械手响应时间内，商品的运动距离不超出分拣机械手工作范围；
约束4：为了使商品能清晰的位于图像中央，嵌入式系统需要对相机快门时间tc进行调整，使当前速度v的传送带能在t’c的时间内将商品传输至相机中央，即Lcs≈tc′×v。
在满足了以上的四个约束条件下，系统可以对速度进行自动调节，以此实现在保障高准确率的同时实现分拣效率最大化；具体的，约束2、约束3、约束4三个约束条件中，时间限制与硬件配置相关，在已知硬件配置确定的情况下，其对应时间限制是固定的，因此在满足了约束2、约数3、约束4三个约束下的速度v，可根据约束1进行相应速度调节。
详细的，系统运行后服务器子系统会计算传送带上的连续M(M>＝10)个待分拣商品的检测时间间隔Δts，如果满足LM>Δts×v，则系统可以对当前传送带速度进行适量增加。
本发明的优点和技术效果：
1.本系统在服务器端采用高性能GPU，有效提升了深度网络的训练和预测速度。使用卷积网络具有强大的特征学习能力，能获取商品最具特点的外观信息，并进行分类。通过训练，网络识别商品高达数百种，且具有相当或超越人眼识别精度的能力，使得分拣系统具有良好的分类效果。网络识别速度也超过人工分类速度。
2.本发明可通过嵌入式系统获取光电传感器、编码器、高速相机的工作状态，并在高性能服务器上记录。同时加入了可视化界面，用户可通过服务器直观地掌握实各类子系统工作状态，并在显示屏上直接监控生产线生产状况，例如检测速度、检测精度、已完成尿裤数量等。
3.本发明利用检测区、分拣区光电传感器以及传送带速度两个方面监控被测商品位置，能准确实时的判断商品位置，以实现准确的分拣。
4.本发明解决传统分拣方式以固定速度进行分拣的不足，通过变速分拣，实现在保障高准确率下的高效率分拣，实现“线上”自动化调节减少人工参与，降低了人工成本。
附图说明
图1为本发明系统的基本构造与流程图。
图2为本发明的数据处理原理图。
具体实施方式
以下通过具体实施例并结合附图对本发明进一步解释和说明。
如图1所示，一种基于计算机视觉的智能分拣系统，该系统包括传送-分拣子系统和图像采集子系统，以及控制上述两个子系统的计算服务子系统；其中，所述传送-分拣子系统包括传动直流电机，传送带，编码器，分拣机械手，伺服电机，光电门传感器；所述图像采集子系统包括高速相机和LED光源组；所述计算服务子系统包括嵌入式控制系统和高性能服务器。
所述传送-分拣子系统接收所述计算服务子系统所提供的速度指令，通过传动直流电机和编码器来调解传送带运行速度，并向计算服务子系统提供传送带实时运行速度；所述传送-分拣子系统接受计算服务子系统发出的分拣指令，根据光电门传感器以及传送带实时速度来控制对应分拣机械手工作，以完成分拣工作；当商品通过光电门传感器时，所述传送-分拣子系统向所述计算服务子系统提供光电门信号。
所述图像采集子系统根据所述计算子系统所提供图像采集指令，使高速相机采集图像，并上传至所述计算服务子系统；所述图像采集子系统根据所述计算子系统所提供快门参数，调整高速相机快门时间。
所述计算服务子系统根据所述传送-分拣子系统所提供的传送带速度信息，按照相关约束条件调解图像采集子系统中高速相机的快门时间，并根据检测区光电门信号，向图像采集子系统发出图像采集指令；当传送带运行速度超过图像采集子系统所规定最小响应时间时，计算服务子系统发出指令，要求传送-分拣子系统降低传送带的传送速度；所述计算服务子系统从图像采集子系统中获取商品图像信息，计算商品类型，之后所述计算子系统向传送-分拣子系统发出分拣指令。
所述传送带依次划分为待测区、检测区和分拣区，所述传动直流电机位于传送带两侧，提供传送带运行所需动力；所述编码器位于传送带传动直流电机旁，用以检测传动带实时运行速度；所述高速相机位于传送带正上方，镜头对准检测区，用以采集商品图像；所述LED光源组围绕在高速相机镜头旁，并对准检测区，提供光源；所述分拣机械手分布在分拣区两侧，并通过伺服电机控制；所述光电传感器设于传送带的检测区入口和分拣机械手两侧；所述嵌入式控制系统与分拣机械手、光电传感器、编码器、高速相机、高性能服务器直接相连，即计算服务子系统通过嵌入式控制系统向分拣机械手、高速相机发送相关指令，计算服务子系统通过嵌入式控制系统获取光电传感器、编码器相关信息；所述高性能服务器负责运行深度网络，计算最优传送带运行速度。
进一步的，在所述检测区中，通过高速相机和光电传感器来采集待分拣商品图像；其中所述光电传感器检测待分拣物品是否到达指定区域。
进一步的，所述高速相机位于传送带的正上方，周围配有六个LED光源组围绕，以消除待分拣商品的光影影响，提供稳定光照条件，以获得更为清晰的待分拣物品图像。
智能分拣系统的工作流程如下：(1)当商品Pi送入传送带时，传动带开始工作，将商品Pi从传送带待测区运送至检测区；(2)通过触发待测区光电门传感器，计算服务子系统获得商品进入检测区的信号，并向图像采集系统发出图像采集信号，开启高速相机采集商品Pi图像Ii；(3)图像采集系统将图像Ii上传至计算服务子系统中，通过训练好的深度网络AlexNet中来判断商品类型xi；(4)计算服务子系统将商品类型x1i转换为分拣信号Xi，当商品Pi通过分拣区时，并触发分拣区光电门传感器；计算服务器子系统判断该光电门信号是否与分拣信号Xi一致，如果一致则输出控制信号使分拣机械手动作，使得商品滑向规定区域。
为了合理调整传送带运行速度，在系统正式使用前，需要记录分拣机械手最大响应时间tr，光电门最大响应时间tg,图像采集响应时间即相机快门响应时间tc，并在高性能服务器中记录下tr、tg和tc，测量检测区光电传感器与高速相机中心点的距离Lgc；测量分拣区光电传感器与分拣机械手的距离Lgr，测量物体之间的平均间隔LM。
如图2所示，分拣生产线启动时：分拣机械手复位，LED光源组、光电传感器、嵌入式系统、高性能服务器依次开启，嵌入式系统控制传送带和编码器，使传送带以速度v运转，待分拣商品M1,M2,M3...依次以一定距离间隔进入到传动带上，设置传送带运算速度为v。当本件商品Mi通过待测区后进入检测区，在接收到检测区光电传感器的信号后，高性能服务器记录当前开始检测的时间节点Ts，并让嵌入式系统发出信号让高速相机采集商品图像，该图像从高速相机传送至高性能服务器中，然后通过深度网络AlexNet对商品图像进行预测分类，分类完成后，高性能服务器记录当前结束检测的时间节点Te，接下嵌入式系统根据不同的分类结果，分配相应的分拣机械手控制信号，当商品通过分拣区对应光电传感器时，嵌入式系统接收到光电传感器发来的可分拣信号，按照分类信号驱动该伺服机运动，将商品分入合适区域，然后分拣机械手复位完成本次分拣；下一件商品Mi+1继续通过检测区光电传感器，高性能服务器记录当前检测的时间节点Ts+1，同理并记录当前结束检测的时间节点Te+1，嵌入式系统计算出商品检测时间间隔Δts，以及商品检测时间ts；其中：
Δts＝Ts+1-Ts
ts＝Te-Ts
其中传送带当前速度v满足以下约束条件，嵌入式系统会提升当前速度v’，同时校验是否满足以下约束条件：
约束1：为了使光电传感器发出信号后，嵌入式系统以及高性能服务器及时采集并处理图像，嵌入式系统所设置的传送带速度v，应当满足LM>Δts×v，即在嵌入式系统和高性能服务器采集并处理图像时间内，前后商品的间隔距离应大于安全距离；
约束2：为了使光电传感器发出信号后，嵌入式系统以及高性能服务器及时采集并处理图像，嵌入式系统所设置的传送带速度v，应当满足Lgc>ts×v，即在嵌入式子系统和高性能服务器采集并处理图像时间内，没有新的商品进入相机与检测区光电传感器之间；
约束3：为了使光电传感器发出信号后，分拣机械手能及时地将商品能从分拣区分入合适区域，嵌入式系统所设置的传送带速度v，应当满足Lgr>tg×v，即分拣机械手响应时间内，商品的运动距离不超出分拣机械手工作范围；
约束4：为了使商品能清晰的位于图像中央，嵌入式系统需要对相机快门时间tc进行调整，使当前速度v的传送带能在t’c的时间内将商品传输至相机中央，即Lcs≈tc′×v。
在满足了以上的四个约束条件下，系统可以对速度进行自动调节，以此实现在保障高准确率的同时实现分拣效率最大化；具体的，约束2、约束3、约束4三个约束条件中，时间限制与硬件配置相关，在已知硬件配置确定的情况下，其对应时间限制是固定的，因此在满足了约束2、约数3、约束4三个约束下的速度v，可根据约束1进行相应速度调节。
详细的，系统运行后服务器子系统会计算传送带上的连续M(M>＝10)个待分拣商品的检测时间间隔Δts，如果满足LM>Δts×v，则系统可以对当前传送带速度进行适量增加。
实施例1:
本实施例以袋装奶粉为例，本智能分拣系统可用于分拣具有不同外包装的袋装奶粉。
流程如下：先统计不同包装不同大小不同重量的袋装奶粉类型n，将深度网络AlexNet中的分类层神经元数量修改为n。由于每类袋装奶粉外包装具有2个面，使用高速相机获取每类袋装奶粉外包装各个面图像样本i为袋装奶粉类数，其范围为1≤i≤n；f为外包装面数，其范围为1≤f≤2。假设为第1类袋装奶粉，使用高速相机获取该袋装奶粉外包装二个面的正向图像所谓的正向图像是指包装面与相机视角角度一致。为了提升AlexNet分类性能，需要进行图像去噪和增强。图像去噪，即使用平滑滤波对图像进行滤波，消除噪声对图像特征的影响。图像增强，即将对图像进行旋转以获得更多图像数据，旋转角度分别为30°,60°,90°,120°,150°,180°，旋转方向包含顺时针和逆时针。然后将经过图像去噪和增强的图像样本投入到深度网络AlexNet中，对网络进行训练，获得训练好的深度网络AlexNet。接下来开启分拣装置，记录分拣机械手最大响应时间tr；记录光电门最大响应时间tg；记录图像采集响应时间即相机快门响应时间tc；记录检测区光电传感器与高速相机中心点的距离Lgc；记录分拣区光电传感器与分拣机械手的距离Lgr；记录每个袋装奶粉之间的平均间隔LM，即将袋装奶粉按间隔LM投入到传送带上。将上述数据输入到计算服务子系统中，并开启传送-分拣子系统、图像采集子系统。智能分拣系统能按照约束1，约束2，约束3，约束4对传送带运行速度、高速相机快门时间进行调整，获得最佳分拣效率。
实施例2：
以无人超市商品为例，本智能分拣系统可用于分拣具有不同外包装的无人超市商品。
流程如下：先统计不同包装不同大小不同形状不同重量的无人超市商品类型n，将深度网络AlexNet中的分类层神经元数量修改为n。由于每类无人超市商品最多具有外包装具有6个面，使用高速相机获取每类无人超市商品外包装各个面图像样本i为无人超市商品类数，其范围为1≤i≤n；f为外包装面数，其范围为1≤f≤6。假设为第1类无人超市商品，使用高速相机获取该无人超市商品外包装六个面的正向图像所谓的正向图像是指包装面与相机视角角度一致。为了提升AlexNet分类性能，需要进行图像去噪和增强。图像去噪，即使用平滑滤波对图像进行滤波，消除噪声对图像特征的影响。图像增强，即将对图像进行旋转以获得更多图像数据，旋转角度分别为30°,60°,90°,120°,150°,180°，旋转方向包含顺时针和逆时针。然后将经过图像去噪和增强的图像样本投入到深度网络AlexNet中，对网络进行训练，获得训练好的深度网络AlexNet。接下来开启分拣装置，记录分拣机械手最大响应时间tr；记录光电门最大响应时间tg；记录图像采集响应时间即相机快门响应时间tc；记录检测区光电传感器与高速相机中心点的距离Lgc；记录分拣区光电传感器与分拣机械手的距离Lgr；记录每个无人超市商品之间的平均间隔LM，即将无人超市商品按间隔LM投入到传送带上。将上述数据输入到计算服务子系统中，并开启传送-分拣子系统、图像采集子系统。智能分拣系统能按照约束1设置前后无人超市商品的间隔距离应大于安全距离LM，然后按照约束2保证，约束3，约束4对传送带运行速度、高速相机快门时间进行调整，获得最佳分拣效率。
实施例3：
以袋装洗衣粉为例，本智能分拣系统可用于分拣具有不同外包装的袋装洗衣粉。
流程如下：先统计不同包装不同大小不同形状不同重量的袋装洗衣粉类型n，将深度网络AlexNet中的分类层神经元数量修改为n。由于每类袋装洗衣粉最多具有外包装具有2个面，使用高速相机获取每类袋装洗衣粉外包装各个面图像样本i为袋装洗衣粉类数，其范围为1≤i≤n；f为外包装面数，其范围为1≤f≤2。假设为第1类袋装洗衣粉，使用高速相机获取该袋装洗衣粉外包装六个面的正向图像所谓的正向图像是指包装面与相机视角角度一致。为了提升AlexNet分类性能，需要进行图像去噪和增强。图像去噪，即使用平滑滤波对图像进行滤波，消除噪声对图像特征的影响。图像增强，即将对图像进行旋转以获得更多图像数据，旋转角度分别为30°,60°,90°,120°,150°,180°，旋转方向包含顺时针和逆时针。然后将经过图像去噪和增强的图像样本投入到深度网络AlexNet中，对网络进行训练，获得训练好的深度网络AlexNet。接下来开启分拣装置，记录分拣机械手最大响应时间tr；记录光电门最大响应时间tg；记录图像采集响应时间即相机快门响应时间tc；记录检测区光电传感器与高速相机中心点的距离Lgc；记录分拣区光电传感器与分拣机械手的距离Lgr；记录每个袋装洗衣粉之间的平均间隔LM，即将袋装洗衣粉按间隔LM投入到传送带上。将上述数据输入到计算服务子系统中，并开启传送-分拣子系统、图像采集子系统。智能分拣系统能按照约束1设置前后袋装洗衣粉的间隔距离应大于安全距离LM，然后按照约束2保证，约束3，约束4对传送带运行速度、高速相机快门时间进行调整，获得最佳分拣效率。
Claims (8)
1.一种基于计算机视觉的智能分拣系统，其特征在于，该系统包括传送-分拣子系统和图像采集子系统，以及控制上述两个子系统的计算服务子系统；其中，所述传送-分拣子系统包括传动直流电机，传送带，编码器，分拣机械手，伺服电机，光电门传感器；所述图像采集子系统包括高速相机和LED光源组；所述计算服务子系统包括嵌入式控制系统和高性能服务器。
2.如权利要求1所述的智能分拣系统，其特征在于，所述传送-分拣子系统接收所述计算服务子系统所提供的速度指令，通过传动直流电机和编码器来调解传送带运行速度，并向计算服务子系统提供传送带实时运行速度；所述传送-分拣子系统接受计算服务子系统发出的分拣指令，根据光电门传感器以及传送带实时速度来控制对应分拣机械手工作，以完成分拣工作；当商品通过光电门传感器时，所述传送-分拣子系统向所述计算服务子系统提供光电门信号。
3.如权利要求1所述的智能分拣系统，其特征在于，所述图像采集子系统根据所述计算子系统所提供图像采集指令，使高速相机采集图像，并上传至所述计算服务子系统；所述图像采集子系统根据所述计算子系统所提供快门参数，调整高速相机快门时间。
4.如权利要求1所述的智能分拣系统，其特征在于，所述计算服务子系统根据所述传送-分拣子系统所提供的传送带速度信息，按照相关约束条件调解图像采集子系统中高速相机的快门时间，并根据检测区光电门信号，向图像采集子系统发出图像采集指令；当传送带运行速度超过图像采集子系统所规定最小响应时间时，计算服务子系统发出指令，要求传送-分拣子系统降低传送带的传送速度；所述计算服务子系统从图像采集子系统中获取商品图像信息，通过深度网络计算商品类型，之后所述计算子系统向传送-分拣子系统发出分拣指令。
5.如权利要求1所述的智能分拣系统，其特征在于，所述传送带依次划分为待测区、检测区和分拣区，所述传动直流电机位于传送带两侧，提供传送带运行所需动力；所述编码器位于传送带传动直流电机旁，用以检测传动带实时运行速度；所述高速相机位于传送带正上方，镜头对准检测区，用以采集商品图像；所述LED光源组围绕在高速相机镜头旁，并对准检测区，提供光源；所述分拣机械手分布在分拣区两侧，并通过伺服电机控制；所述光电传感器设于传送带的检测区入口和分拣机械手两侧；所述嵌入式控制系统与分拣机械手、光电传感器、编码器、高速相机、高性能服务器直接相连，即计算服务子系统通过嵌入式控制系统向分拣机械手、高速相机发送相关指令，计算服务子系统通过嵌入式控制系统获取光电传感器、编码器相关信息；所述高性能服务器负责运行深度网络，计算最优传送带运行速度。
6.如权利要求5所述的智能分拣系统，其特征在于，在所述检测区中，通过高速相机和光电传感器来采集待分拣商品图像；其中所述光电传感器检测待分拣物品是否到达指定区域。
7.如权利要求4所述的智能分拣系统，其特征在于，所述深度网络选用训练好的深度网络AlexNet中来判断商品类型。
8.如权利要求1所述的智能分拣系统，其特征在于，分拣生产线启动时：分拣机械手复位，LED光源组、光电传感器、嵌入式系统、高性能服务器依次开启，嵌入式系统控制传送带和编码器，使传送带以速度v运转，待分拣商品M1，M2，M3...依次以一定距离间隔进入到传动带上，设置传送带运算速度为v；当本件商品Mi通过待测区后进入检测区，在接收到检测区光电传感器的信号后，高性能服务器记录当前开始检测的时间节点Ts，并让嵌入式系统发出信号让高速相机采集商品图像，该图像从高速相机传送至高性能服务器中，然后通过深度网络AlexNet对商品图像进行预测分类，分类完成后，高性能服务器记录当前结束检测的时间节点Te，接下嵌入式系统根据不同的分类结果，分配相应的分拣机械手控制信号，当商品通过分拣区对应光电传感器时，嵌入式系统接收到光电传感器发来的可分拣信号，按照分类信号驱动该伺服机运动，将商品分入合适区域，然后分拣机械手复位完成本次分拣；下一件商品Mi+1继续通过检测区光电传感器，高性能服务器记录当前检测的时间节点Ts+1，同理并记录当前结束检测的时间节点Te+1，嵌入式系统计算出商品检测时间间隔Δts，以及商品检测时间ts；其中：
Δts＝Ts+1-Ts
ts＝Te-Ts
其中传送带当前速度v满足以下约束条件，嵌入式系统会提升当前速度v’，同时校验是否满足以下约束条件：
约束1：为了使光电传感器发出信号后，嵌入式系统以及高性能服务器及时采集并处理图像，嵌入式系统所设置的传送带速度v，应当满足LM＞Δts×v，即在嵌入式系统和高性能服务器采集并处理图像时间内，前后商品的间隔距离应大于安全距离；
约束2：为了使光电传感器发出信号后，嵌入式系统以及高性能服务器及时采集并处理图像，嵌入式系统所设置的传送带速度v，应当满足Lgc＞ts×v，即在嵌入式子系统和高性能服务器采集并处理图像时间内，没有新的商品进入相机与检测区光电传感器之间；
约束3：为了使光电传感器发出信号后，分拣机械手能及时地将商品能从分拣区分入合适区域，嵌入式系统所设置的传送带速度v，应当满足Lgr＞tg×v，即分拣机械手响应时间内，商品的运动距离不超出分拣机械手工作范围；
约束4：为了使商品能清晰的位于图像中央，嵌入式系统需要对相机快门时间tc进行调整，使当前速度v的传送带能在t’c的时间内将商品传输至相机中央，即Lcs≈t′c×v；
在满足了以上的四个约束条件下，系统可以对速度进行自动调节，以此实现在保障高准确率的同时实现分拣效率最大化；具体的，约束2、约束3、约束4三个约束条件中，时间限制与硬件配置相关，在已知硬件配置确定的情况下，其对应时间限制是固定的，因此在满足了约束2、约数3、约束4三个约束下的速度v，可根据约束1进行相应速度调节；
详细的，系统运行后服务器子系统会计算传送带上的连续M(M＞＝10)个待分拣商品的检测时间间隔Δts，如果满足LM＞Δts×v，则系统可以对当前传送带速度进行适量增加。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811280330 | 2018-10-30 | ||
| CN2018112803305 | 2018-10-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109794437A true CN109794437A (zh) | 2019-05-24 |
| CN109794437B CN109794437B (zh) | 2024-02-06 |
Family
ID=66562725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910186681.8A Active CN109794437B (zh) | 2018-10-30 | 2019-03-13 | 基于计算机视觉的智能分拣系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109794437B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110813778A (zh) * | 2019-11-21 | 2020-02-21 | 蓝思智能机器人(长沙)有限公司 | 工件分类方法、工件分类系统及工件传输系统 |
| CN110935646A (zh) * | 2019-11-19 | 2020-03-31 | 泰州职业技术学院 | 基于图像识别的全自动螃蟹分级系统 |
| CN111804606A (zh) * | 2020-07-15 | 2020-10-23 | 无锡和博永新科技有限公司 | 电阻外观检测机的检测速度提升方法 |
| CN111871834A (zh) * | 2020-07-14 | 2020-11-03 | 深圳路辉物流设备有限公司 | 一种分拣流水线的分拣方法、分拣装置以及存储介质 |
| CN112191537A (zh) * | 2020-10-20 | 2021-01-08 | 戴昊霖 | 一种基于人工智能的物流包裹分拣系统 |
| WO2021155724A1 (zh) * | 2020-02-06 | 2021-08-12 | 北京京东振世信息技术有限公司 | 一种设定物品传送速度的方法和装置 |
| CN113462563A (zh) * | 2021-06-24 | 2021-10-01 | 冰山松洋生物科技(大连)有限公司 | 一种基于细胞工作站与采集室联通的无菌传递系统 |
| CN113682766A (zh) * | 2021-08-25 | 2021-11-23 | 深圳市佳康捷科技有限公司 | 一种机器人扫码输送线检测方法、系统、装置及存储介质 |
| CN113877854A (zh) * | 2021-12-08 | 2022-01-04 | 辰星（天津）自动化设备有限公司 | 应用于并联机器人的物体分拣方法 |
| CN114273257A (zh) * | 2021-12-28 | 2022-04-05 | 湖州霍里思特智能科技有限公司 | 一种智能分选系统 |
| CN116423528A (zh) * | 2023-06-13 | 2023-07-14 | 国网浙江省电力有限公司宁波供电公司 | 一种变压器油样品分拣方法及系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5253765A (en) * | 1993-01-14 | 1993-10-19 | L.M.B. Electronics, Inc. | Sorting and grading system |
| US20040022566A1 (en) * | 2002-07-31 | 2004-02-05 | Kazuhiro Matsuyama | Image forming apparatus |
| CN1732379A (zh) * | 2002-12-24 | 2006-02-08 | 株式会社久保田 | 果菜类品质评价装置 |
| CN101778786A (zh) * | 2007-07-10 | 2010-07-14 | 邦泰克日本株式会社 | 文件输送装置及文件输送装置控制方法 |
| CN103170459A (zh) * | 2013-03-19 | 2013-06-26 | 万新光学集团有限公司 | 镜片瑕疵检测系统 |
| CN104181130A (zh) * | 2013-05-20 | 2014-12-03 | 浙江大学 | 基于光致发光法的硅片、太阳能电池在线分拣装置 |
| CN105013718A (zh) * | 2015-07-31 | 2015-11-04 | 泉州装备制造研究所 | 基于多种检测方式的块状固体建筑垃圾分拣系统 |
| CN105817422A (zh) * | 2016-04-21 | 2016-08-03 | 石河子大学 | 基于机器人的自动采集随机摆放快递包裹信息系统及其方法 |
| CN206500366U (zh) * | 2016-12-09 | 2017-09-19 | 苏州工业职业技术学院 | 一种自动分拣系统 |
| CN107671859A (zh) * | 2017-10-20 | 2018-02-09 | 山东大学 | 基于s曲线加减速的运动目标动态跟踪方法、系统及装置 |
| CN207188249U (zh) * | 2017-08-09 | 2018-04-06 | 顺丰速运有限公司 | 一种自动分拣系统 |
| CN108114909A (zh) * | 2016-11-29 | 2018-06-05 | 中国科学院沈阳自动化研究所 | 一种基于Libs系统的废金属智能拣选设备及方法 |
| CN108169241A (zh) * | 2018-01-04 | 2018-06-15 | 宁波伊士通技术股份有限公司 | 一种生产流水线产品的图像采集方法 |
| CN108311411A (zh) * | 2018-02-07 | 2018-07-24 | 陕西科技大学 | 一种冬虫夏草智能化分拣系统及其使用方法 |
| CN108516136A (zh) * | 2018-03-30 | 2018-09-11 | 广东工业大学 | 一种炸药药卷分拣方法、装置及系统 |
| CN209935300U (zh) * | 2018-10-30 | 2020-01-14 | 泉州装备制造研究所 | 基于计算机视觉的智能分拣系统 |
-
2019
- 2019-03-13 CN CN201910186681.8A patent/CN109794437B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5253765A (en) * | 1993-01-14 | 1993-10-19 | L.M.B. Electronics, Inc. | Sorting and grading system |
| US20040022566A1 (en) * | 2002-07-31 | 2004-02-05 | Kazuhiro Matsuyama | Image forming apparatus |
| CN1732379A (zh) * | 2002-12-24 | 2006-02-08 | 株式会社久保田 | 果菜类品质评价装置 |
| CN101778786A (zh) * | 2007-07-10 | 2010-07-14 | 邦泰克日本株式会社 | 文件输送装置及文件输送装置控制方法 |
| CN103170459A (zh) * | 2013-03-19 | 2013-06-26 | 万新光学集团有限公司 | 镜片瑕疵检测系统 |
| CN104181130A (zh) * | 2013-05-20 | 2014-12-03 | 浙江大学 | 基于光致发光法的硅片、太阳能电池在线分拣装置 |
| CN105013718A (zh) * | 2015-07-31 | 2015-11-04 | 泉州装备制造研究所 | 基于多种检测方式的块状固体建筑垃圾分拣系统 |
| CN105817422A (zh) * | 2016-04-21 | 2016-08-03 | 石河子大学 | 基于机器人的自动采集随机摆放快递包裹信息系统及其方法 |
| CN108114909A (zh) * | 2016-11-29 | 2018-06-05 | 中国科学院沈阳自动化研究所 | 一种基于Libs系统的废金属智能拣选设备及方法 |
| CN206500366U (zh) * | 2016-12-09 | 2017-09-19 | 苏州工业职业技术学院 | 一种自动分拣系统 |
| CN207188249U (zh) * | 2017-08-09 | 2018-04-06 | 顺丰速运有限公司 | 一种自动分拣系统 |
| CN107671859A (zh) * | 2017-10-20 | 2018-02-09 | 山东大学 | 基于s曲线加减速的运动目标动态跟踪方法、系统及装置 |
| CN108169241A (zh) * | 2018-01-04 | 2018-06-15 | 宁波伊士通技术股份有限公司 | 一种生产流水线产品的图像采集方法 |
| CN108311411A (zh) * | 2018-02-07 | 2018-07-24 | 陕西科技大学 | 一种冬虫夏草智能化分拣系统及其使用方法 |
| CN108516136A (zh) * | 2018-03-30 | 2018-09-11 | 广东工业大学 | 一种炸药药卷分拣方法、装置及系统 |
| CN209935300U (zh) * | 2018-10-30 | 2020-01-14 | 泉州装备制造研究所 | 基于计算机视觉的智能分拣系统 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110935646A (zh) * | 2019-11-19 | 2020-03-31 | 泰州职业技术学院 | 基于图像识别的全自动螃蟹分级系统 |
| CN110813778A (zh) * | 2019-11-21 | 2020-02-21 | 蓝思智能机器人(长沙)有限公司 | 工件分类方法、工件分类系统及工件传输系统 |
| WO2021155724A1 (zh) * | 2020-02-06 | 2021-08-12 | 北京京东振世信息技术有限公司 | 一种设定物品传送速度的方法和装置 |
| CN111871834A (zh) * | 2020-07-14 | 2020-11-03 | 深圳路辉物流设备有限公司 | 一种分拣流水线的分拣方法、分拣装置以及存储介质 |
| CN111804606A (zh) * | 2020-07-15 | 2020-10-23 | 无锡和博永新科技有限公司 | 电阻外观检测机的检测速度提升方法 |
| CN112191537A (zh) * | 2020-10-20 | 2021-01-08 | 戴昊霖 | 一种基于人工智能的物流包裹分拣系统 |
| CN113462563A (zh) * | 2021-06-24 | 2021-10-01 | 冰山松洋生物科技(大连)有限公司 | 一种基于细胞工作站与采集室联通的无菌传递系统 |
| CN113682766A (zh) * | 2021-08-25 | 2021-11-23 | 深圳市佳康捷科技有限公司 | 一种机器人扫码输送线检测方法、系统、装置及存储介质 |
| CN113682766B (zh) * | 2021-08-25 | 2023-05-30 | 深圳市佳康捷科技有限公司 | 一种机器人扫码输送线检测方法、系统、装置及存储介质 |
| CN113877854A (zh) * | 2021-12-08 | 2022-01-04 | 辰星（天津）自动化设备有限公司 | 应用于并联机器人的物体分拣方法 |
| CN114273257A (zh) * | 2021-12-28 | 2022-04-05 | 湖州霍里思特智能科技有限公司 | 一种智能分选系统 |
| CN116423528A (zh) * | 2023-06-13 | 2023-07-14 | 国网浙江省电力有限公司宁波供电公司 | 一种变压器油样品分拣方法及系统 |
| CN116423528B (zh) * | 2023-06-13 | 2023-10-17 | 国网浙江省电力有限公司宁波供电公司 | 一种变压器油样品分拣方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109794437B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109794437A (zh) | 基于计算机视觉的智能分拣系统 | |
| CN209935300U (zh) | 基于计算机视觉的智能分拣系统 | |
| CN109389161B (zh) | 基于深度学习的垃圾识别进化学习方法、装置、系统及介质 | |
| CN105787407A (zh) | 融合机器视觉与激光扫描的快递条码自动识别方法及系统 | |
| CN206382252U (zh) | 一种冬虫夏草分拣设备 | |
| CN103056111B (zh) | 基于机器视觉技术的对虾品质检测分级装置 | |
| CN104320618B (zh) | 一种基于行为特征谱联动的犊牛状态监测的装置和方法 | |
| CN110216080A (zh) | 一种基于图像对比的pcb加工产线的质量监控系统 | |
| CN109724984A (zh) | 一种基于深度学习算法的缺陷检测识别装置和方法 | |
| CN208155889U (zh) | 基于机器视觉的纺织品疵点检测装置 | |
| CN106000912B (zh) | 一种基于机器视觉导引实现柑橘囊胞异物剔除系统 | |
| CN108982514A (zh) | 一种铸件表面缺陷仿生视觉检测系统 | |
| CN109685141A (zh) | 一种基于深度神经网络的机器人物品分拣视觉检测方法 | |
| CN108080289A (zh) | 机器人分拣系统、机器人分拣控制方法及装置 | |
| CN201150919Y (zh) | 基于视觉识别的颗粒物料分选分级装置 | |
| CN106248680A (zh) | 一种基于机器视觉的电机换向器质量检测系统及检测方法 | |
| CN109590231A (zh) | 一种非规则形状物料图像测量检控装置及方法 | |
| CN111161214A (zh) | 一种基于双目视觉的猪只体重测量及饮水行为识别系统及方法 | |
| CN209550027U (zh) | 基于计算机视觉的一次性纸尿裤智能分拣系统 | |
| CN207408272U (zh) | 基于线阵列相机和x射线双模式成像的水稻粒型参数测量装置 | |
| CN101726265A (zh) | 机器视觉系统对弹簧平行度的在线检测方法 | |
| CN208513101U (zh) | 一种双面视觉检测芒果分级装置 | |
| CN109794436A (zh) | 基于计算机视觉的一次性纸尿裤智能分拣系统 | |
| CN113569971B (zh) | 一种基于图像识别的渔获目标分类检测方法及系统 | |
| CN208555097U (zh) | 一种基于计算机视觉的工件形状检测与分捡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wei Xian Inventor after: Guo Jielong Inventor after: Guo Dong Inventor after: LAN Hai Inventor after: Fang Li Inventor after: Tang Xuan Inventor after: Lan Weiyin Inventor after: Xu Jianming Inventor before: Wei Xian Inventor before: Guo Jielong Inventor before: Guo Dong Inventor before: LAN Hai Inventor before: Fang Li Inventor before: Tang Xuan Inventor before: Lan Weiyin Inventor before: Xu Jianming |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |