CN114162637B - 一种烟叶上料系统及方法 - Google Patents
一种烟叶上料系统及方法 Download PDFInfo
- Publication number
- CN114162637B CN114162637B CN202210127031.8A CN202210127031A CN114162637B CN 114162637 B CN114162637 B CN 114162637B CN 202210127031 A CN202210127031 A CN 202210127031A CN 114162637 B CN114162637 B CN 114162637B
- Authority
- CN
- China
- Prior art keywords
- tobacco
- image
- tobacco leaf
- leaf
- bottom plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000002637 Nicotiana tabacum Nutrition 0.000 title claims abstract description 303
- 238000000034 method Methods 0.000 title claims abstract description 41
- 244000061176 Nicotiana tabacum Species 0.000 title 1
- 241000208125 Nicotiana Species 0.000 claims abstract description 302
- 238000003860 storage Methods 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims description 28
- 210000003462 vein Anatomy 0.000 claims description 11
- 238000003709 image segmentation Methods 0.000 claims description 9
- 238000011068 loading method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 241000252254 Catostomidae Species 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 18
- 230000036544 posture Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 235000019504 cigarettes Nutrition 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
- B65H3/00—Separating articles from piles
- B65H3/08—Separating articles from piles using pneumatic force
- B65H3/0808—Suction grippers
- B65H3/0816—Suction grippers separating from the top of pile
-
- A—HUMAN NECESSITIES
- A24—TOBACCO; CIGARS; CIGARETTES; SIMULATED SMOKING DEVICES; SMOKERS' REQUISITES
- A24B—MANUFACTURE OR PREPARATION OF TOBACCO FOR SMOKING OR CHEWING; TOBACCO; SNUFF
- A24B7/00—Cutting tobacco
- A24B7/14—Feeding or control devices for tobacco-cutting apparatus
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
- B65H1/00—Supports or magazines for piles from which articles are to be separated
- B65H1/08—Supports or magazines for piles from which articles are to be separated with means for advancing the articles to present the articles to the separating device
- B65H1/14—Supports or magazines for piles from which articles are to be separated with means for advancing the articles to present the articles to the separating device comprising positively-acting mechanical devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
- B65H7/00—Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles
- B65H7/02—Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles by feelers or detectors
- B65H7/14—Controlling article feeding, separating, pile-advancing, or associated apparatus, to take account of incorrect feeding, absence of articles, or presence of faulty articles by feelers or detectors by photoelectric feelers or detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65H—HANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
- B65H2701/00—Handled material; Storage means
- B65H2701/10—Handled articles or webs
- B65H2701/11—Dimensional aspect of article or web
- B65H2701/113—Size
- B65H2701/1131—Size of sheets
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及烟叶加工技术领域，具体涉及一种烟叶上料系统及方法，包括：料仓，料仓中设有可控的底板，底板上用于放置烟叶；激光投影灯，激光投影灯设置于料仓的上方以一预设的角度向料仓顶部投射一激光投影图案；图像传感器，用于采集料仓的俯视图像；吸取装置，吸取并移动烟叶至加工设备；控制器，控制器用于根据俯视图像计算烟叶姿态，并控制底板调整高度和/或角度，及控制吸取装置进行吸取。本发明的有益效果在于：通过设置激光投影灯与图像传感器，能够更为准确地计算出当前最上层烟叶的高度与倾斜状况，并通过设置可调节高度及角度的底板实现了在抓取时对烟叶的高度及倾角的补偿，避免了现有技术中烟叶高度不够或存在倾角进而导致抓取失败的问题。
Description
技术领域
本发明涉及烟叶加工技术领域，具体涉及一种烟叶上料系统及方法。
背景技术
烟叶作为一种重要的经济作物，其相较粮食等具有较高的经济附加值。而烟叶的品质则决定了其经济价值的高低，品质高的烟叶与品质低的烟叶其经济价值通常会存在较大差异。因此，当收获到烟叶后，往往需要对烟叶进行定级。当定级完成后，则需要根据烟叶所具有的不同品级来进行相应的加工工序，进而形成不同价位的香烟成品，以符合市场对于不同层次的产品的需求。通常情况下，当烟叶定级完成后，会根据烟叶的等级堆叠在料仓中，当需要加工时再将烟叶从料仓中取出，并进行后续的烘干、切丝等工序。
现有技术中，对于烟叶的抓取通常是采用机械臂或吸盘来进行的。理想状态下，机械臂或吸盘自料仓顶部对烟叶进行逐片抓取，随后移动至加工区域投放至加工设备中，以此来完成一次上料过程。但在实际过程中，由于烟叶在收纳进入料仓时可能发生断裂、折叠等情况，因此存储在料仓中的烟叶往往会存在偏移、倾斜等现象。这些现象给烟叶的抓取、上料工作造成了诸多困难。比如，由于烟叶被烤制后容易发生卷曲，进而使得下层烟叶暴露在外，在抓取时容易抓取到其他烟叶，造成烟叶抓取不稳的问题；当烟叶偏移时，可能会发生抓取不到烟叶，造成空上料的问题；或是因为烟叶倾斜导致抓取不稳定，烟叶在移动过程中发生掉落，甚至混杂进其他等级的料仓的情况。这些问题都会直接导致烟叶上料过程不符合相应的工艺要求，进而影响香烟成品的质量。
发明内容
针对现有技术中存在的上述问题，现提供一种烟叶上料系统及方法。
具体技术方案如下：一种烟叶上料系统，包括：料仓，所述料仓中设有可控的底板，所述底板上用于放置烟叶；激光投影灯，所述激光投影灯设置于所述料仓的上方以一预设的角度向所述料仓顶部投射一激光投影图案；图像传感器，所述图像传感器设置在所述料仓的上方，并指向所述料仓的顶部，用于采集所述料仓的俯视图像；吸取装置，可控制地吸取并移动所述烟叶至一外部的加工设备；控制器，所述控制器连接所述激光投影灯、所述图像传感器和所述底板，所述控制器用于根据所述俯视图像获取最上层的烟叶的叶片区域，并根据所述叶片区域生成烟叶姿态，随后控制所述底板调整高度和/或角度，及控制所述吸取装置进行吸取。
优选地，所述控制器包括：供电通信模块，所述供电通信模块连接所述激光投影灯、所述图像传感器和所述底板；烟叶分割模块，所述烟叶分割模块通过所述供电通信模块连接所述图像传感器，并从所述图像传感器中获取所述俯视图像；所述烟叶分割模块还将最上层的烟叶的叶片区域从所述俯视图像中分离，进而生成顶部烟叶图像；姿态获取模块，所述姿态获取模块连接所述烟叶分割模块，并根据所述顶部烟叶图像生成所述最上层的烟叶的所述烟叶姿态；所述烟叶姿态包括所述最上层的烟叶的倾角和高度；底板驱动模块，所述底板驱动模块连接所述烟叶分割模块，并根据所述烟叶姿态控制所述底板，以调整所述底板的高度和/或角度；吸取驱动模块，所述吸取驱动模块连接所述烟叶分割模块，并根据所述分离图像控制所述吸取装置移动并吸取所述最上层的烟叶。
优选地，所述吸取装置包括：移动模块，所述移动模块用于控制所述吸取装置自所述料仓上方移动至所述加工设备处；多个吸盘，所述吸盘排布在所述吸取装置下表面，用于形成负压或正压；吸盘控制模块，所述吸盘控制模块连接所述控制器和多个所述吸盘，在所述吸取驱动模块的控制下；根据所述分离图像控制部分所述吸盘形成负压以吸取所述最上层的烟叶，和/或控制部分所述吸盘形成正压以吹除其他烟叶。
一种烟叶的上料方法，适用于上述的烟叶上料系统，具体包括：步骤S1：底板抬升烟叶，以使得最上层的烟叶移动至料仓的顶部；步骤S2：在所述烟叶表面投射一激光投影图案，随后采集所述料仓的俯视图像；所述俯视图像中包括所述激光投影图案，所述最上层的烟叶和/或所述底板；步骤S3：根据所述俯视图像判断所述底板上方是否具有烟叶；若是，转向步骤S4；若否，发出一停止信号随后结束上料；步骤S4：根据所述俯视图像和一预设的比对图像获得烟叶姿态；所述烟叶姿态包括所述烟叶的倾角和高度；步骤S5：根据所述烟叶姿态调整所述底板的高度和倾角；步骤S6：吸取所述烟叶并移动至一外部的加工设备，返回所述步骤S1。
优选地，所述比对图像的获取方法包括：步骤S01：在所述料仓的顶部水平设置一平板；步骤S02：在所述平板的表面投射所述激光投影图案，并拍摄所述比对图像。
优选地，所述步骤S3包括：步骤S31：记录所述俯视图像中每个像素的像素颜色；步骤S32：根据所述像素颜色和一预设的颜色阈值对所述像素进行分类；步骤S33：判断第一类所述像素的数量是否达到一门限值；若是，转向所述步骤S4；若否，发出一停止信号随后结束上料；优选地，所述步骤S4包括：步骤S41：自所述俯视图像中识别出最上层的所述烟叶，生成顶部烟叶图像；步骤S42：根据所述顶部烟叶图像和所述比对图像获得所述烟叶姿态。
优选地，所述步骤S41中采用一图像分割模型自所述俯视图像中识别出最上层的所述烟叶，进而生成所述顶部烟叶图像；所述图像分割模型包括：编码部，提取所述俯视图像的特征获得深层抽象特征；解码部，对所述深层抽象特征进行层层解析生成分割特征图谱，所述分割特征图谱包括每个像素点的标记值；跳接部，连接所述编码部和所述解码部，用于融合所述编码部和所述解码部的信息。
优选地，所述步骤S41包括：步骤S411：自所述俯视图像中获取一主脉区域；步骤S412：从所述主脉区域中提取最上层的所述烟叶的主茎区域；步骤S413：根据所述主茎区域生成一叶片区域，进而根据所述叶片区域生成所述顶部烟叶图像。
优选地，所述步骤S413包括：步骤S4131：于所述俯视图像中分离出多个轮廓区域；步骤S4132：根据所述主茎区域作为种子区域向所述轮廓区域蔓延，生成一最小闭合区域，以作为所述叶片区域；步骤S4133：根据所述叶片区域自所述俯视图像中截取所述顶部烟叶图像。
优选地，所述步骤S42包括：步骤S421：自所述顶部烟叶图像分离所述激光投影图案；步骤S422：根据所述激光投影图案和所述比对图像计算所述烟叶的高度；步骤S423：根据所述图像传感器的内参投影矩阵，对所述顶部烟叶图像重投影至预定的平面，并获得所述烟叶的倾角；步骤S424：根据所述烟叶的高度和所述烟叶的倾角输出所述烟叶姿态。
优选地，所述步骤S421中，采用语义识别方法分离所述激光投影图案。
上述技术方案具有如下优点或有益效果：通过设置激光投影灯与图像传感器，能够更为准确地计算出当前最上层烟叶的高度与倾斜状况，并通过设置可调节高度及角度的底板实现了在抓取时对烟叶的高度及倾角的补偿，避免了现有技术中烟叶高度不够或存在倾角进而导致抓取失败的问题；通过获取最上层烟叶的叶片区域，在准确抓取到最上层烟叶的同时避免了现有技术中基于人工智能模型对叶片进行完整轮廓提取效率较低的问题，提高了生产效率。
附图说明
参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。
图1为本发明实施例的整体示意图；
图2为本发明实施例中的功能模块图；
图3A为本发明实施例中正常烟叶姿态示意图；
图3B为本发明实施例中烟叶存在倾角时的姿态示意图；
图3C为本发明实施例中烟叶过高示意图；
图3D为本发明实施例中烟叶过低示意图；
图4为本发明实施例中吸盘阵列示意图；
图5为本发明实施例中的方法示意图；
图6为本发明实施例中的比对图案生成方法示意图；
图7为本发明实施例中的步骤S3子步骤示意图；
图8为本发明实施例中步骤S4子步骤示意图；
图9为本发明实施例中步骤S41子步骤示意图；
图10为本发明实施例中主茎区域示意图；
图11为本发明实施例中步骤S413子步骤示意图；
图12为本发明实施例中步骤S42子步骤示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本发明包括：一种烟叶上料系统，如图1、图2所示，包括：料仓1，料仓1中设有可控的底板11，底板11上用于放置烟叶A；激光投影灯2，激光投影灯2设置于料仓1的上方以一预设的角度向料仓1顶部投射一激光投影图案；图像传感器3，图像传感器3设置在料仓1的上方，并指向料仓1的顶部，用于采集料仓1烟叶的图像；吸取装置5，可控制地吸取并移动烟叶至一外部的加工设备；控制器6，控制器6连接激光投影灯2、图像传感器3和底板11，控制器6用于根据烟叶图像获取最上层的烟叶的叶片区域，并根据叶片区域生成烟叶姿态，随后控制底板11调整高度和/或角度，及控制吸取装置5进行吸取。
具体地，本发明提供了一种具有烟叶上料高度和倾角补偿功能的上料系统。当需要上料时，底板11从下方将烟叶A向上托举以露出料仓1顶部，并由图像传感器3拍摄激光投影灯2投射在烟叶A表面的激光投影图案，进而使得控制器6根据拍摄到的激光投影图案判断当前位于最上方的烟叶A的姿态，以便于通过调整底板11的高度和倾角来实现对最上方的烟叶A的高度与倾角补偿，实现抓取装置5可以水平抓取烟叶A，以实现较为稳固的抓取效果。
进一步地，针对现有技术中，针对最上层烟叶在图像中的轮廓进行完整提取，识别效率较低的问题，本实施例中，通过提取最上层烟叶的叶片区域，并根据提取到的叶片区域作为实际抓取的区域，从而在实现较好的抓取效果的同时，无需对最上层的烟叶进行完整识别，提升了识别速度，进而提升了生产效率。
在一种较优的实施例中，控制器6包括：通信供电模块61，通信供电模块61连接激光投影灯2、图像传感器3和底板11；烟叶分割模块62，烟叶分割模块62通过供电通信模块61连接图像传感器3，并从图像传感器3中获取俯视图像；烟叶分割模块62还将最上层的烟叶的叶片区域从俯视图像中分离，进而生成顶部烟叶图像；姿态获取模块63，姿态获取模块63连接烟叶分割模块62，并根据顶部烟叶图像生成最上层的烟叶A的烟叶姿态；烟叶姿态包括最上层的烟叶A的倾角和高度；底板驱动模块64，底板驱动模块64连接烟叶分割模块62，并根据烟叶姿态控制底板，以调整底板11的高度和/或角度；吸取驱动模块65，吸取驱动模块65连接烟叶分割模块62，并根据分离图像控制吸取装置5移动并吸取最上层的烟叶A。
进一步地，如图3A、图3B、图3C和图3D所示，当烟叶A被底板11托举至料仓1顶部时，激光投影灯2在烟叶A的上表面投射一激光投影图案。当烟叶A的高度与预设的高度不符时，以特定角度照射的激光投影灯2投射出的激光投影图案便会发生偏移，落在烟叶A的中心点的两侧。此时通过图像传感器3拍摄俯视图像，并计算激光投影图案与比对图像的偏移值便可以计算出烟叶A当前的高度与预设高度之间的差值，进而生成用于控制底板11的补偿高度值来实现对烟叶A的高度补偿。
作为可选的实施方式，激光投影图案为光栅图案、网格图案或网点图案。
具体地，当烟叶A在料仓1顶部发生倾斜时，投射于烟叶A上的激光投影图案会发生扭曲现象。比如，当激光投影图案为网格图案时，投射于烟叶A上的网格会随着烟叶的倾角变化发生扭曲：以烟叶A的中心点为原点，激光投影灯2的光轴方向在料仓1顶部的投影为X轴，则当烟叶A相对预设平面存在一正倾角时，烟叶A靠近激光投影灯2的一侧的网格图案的网格间距，相对于比对图像中的网格间距会变大，烟叶A远离激光投影灯2的一侧的网格图案的网格间距，相对于比对图像中的网格间距会变小；当烟叶A相对预设平面存在一正倾角时，则烟叶A靠近激光投影灯2的一侧的网格图案的网格间距，相对于比对图像中的网格间距会变小，烟叶A远离激光投影灯2的一侧的网格图案的网格间距，相对于比对图像中的网格间距会变大。同样地，通过上述比对方法，也可判断出烟叶A在Y轴方向上，即与激光投影灯2的光轴垂直的平面方向上的倾角，进而基于X轴倾角和Y轴倾角对底板11进行控制以实现对烟叶的倾角补偿。
在一种较优的实施例中，吸取装置5包括：移动模块51，移动模块用于控制吸取装置5自料仓1上方移动至加工设备处；多个吸盘52，吸盘52排布在吸取装置5下表面，用于形成负压或正压；吸盘控制模块53，吸盘控制模块53连接控制器6和多个吸盘52，在吸取驱动模块65的控制下。根据分离图像控制部分吸盘形成负压以吸取最上层的烟叶A，和/或控制部分吸盘52形成正压以吹除其他烟叶。
具体地，如图4所示，吸取装置5整体优选为一长方体，长方体下表面矩形排列有多个吸盘52组成的吸盘阵列。当烟叶A叠放于料仓中时其在水平面上的位置并不固定。因此，需要通过图像分割将需要抓取的最上层的烟叶A从背景图像中分离出来，并仅控制覆盖于最上层烟叶上方的吸盘52进行吸取，以避免吸盘阵列吸取到碎屑影响生产。如图4所示，当从烟叶图像中分离出上层烟叶后，将分离图像叠放至吸盘阵列中，识别出如斜线部分标注的、在烟叶范围中的吸盘52，并控制该部分吸盘进行负压吸取，其余部分，如未用斜线标注的吸盘52，采用正压吹除的方式避免碎屑或者下层烟叶附着在吸取装置5上，以此来实现好的抓取效果。
作为可选的实施方式，烟叶上料系统还包括：平板光源4，平板光源4设置在料仓1的上方，用于照射烟叶A。
具体地，通过设置平板光源4对烟叶A的表面进行照射，可以有效避免烟叶A的高度过低、环境光被料仓1遮挡，进而使得图像传感器3无法拍摄到烟叶A的清晰影像的问题。
一种烟叶的上料方法，适用于上述的烟叶上料系统，如图5所示，具体包括：步骤S1：底板11抬升烟叶A，以使得最上层的烟叶A移动至料仓1的顶部；步骤S2：在烟叶A的表面投射一激光投影图案，随后采集料仓1的俯视图像；步骤S3：根据俯视图像判断底板11上方是否具有烟叶A；若是，转向步骤S4；若否，发出一停止信号随后结束上料；步骤S4：根据俯视图像和一预设的比对图像获得烟叶姿态；烟叶姿态包括烟叶A的倾角和高度；步骤S5：根据烟叶姿态调整底板11的高度和倾角；步骤S6：抓取烟叶A并移动至一外部的加工设备，返回步骤S1。
具体地，上述上料方法适用于在烟叶加工过程中将烟叶从料仓1中逐片取出、转移至生产设备中的过程。当需要上料时，底板11从下方将烟叶A向上托举以露出料仓1顶部，并由图像传感器3拍摄激光投影灯2投射在烟叶表面的激光投影图案，进而使得控制器6根据拍摄到的激光投影图案判断当前位于最上方的烟叶的姿态，以便于通过调整底板11的高度和倾角来实现对最上方的烟叶的高度与倾角补偿，实现抓取装置5可以水平抓取烟叶，以实现较为稳固的抓取效果。
作为可选的实施方式，底板11的上表面为蓝色。
具体地，烟叶A的表面通常为黄绿色，因此通过将底板11的上表面设置为蓝色可以较为清晰分辨出烟叶A与底板11的区别，进而用于识别底板11所承载的烟叶A是否被取完。
在一种较优的实施例中，如图6所示，比对图像的获取方法包括：步骤S01：在料仓1的顶部水平设置一平板；步骤S02：在平板的表面投射激光投影图案，并拍摄比对图像。
具体地，通过在料仓1顶部水平设置一平板，能够有效采集到在理想状态下激光投影灯2投射的激光投影图案。通过将该条件下拍摄得到的图像作为比对图像，能够有效判断出烟叶与理想状态的高度、倾角偏差。
在一种较优的实施例中，如图7所示，步骤S3包括：步骤S31：记录俯视图像中每个像素的像素颜色；步骤S32：根据像素颜色和一预设的颜色阈值对像素进行分类；步骤S33：判断第一类像素的数量是否达到一门限值；若是，转向步骤S4；若否，发出一停止信号随后结束上料。
作为可选的实施方式，像素分为两类：非蓝色像素和蓝色像素。
作为可选的实施方式，颜色阈值设置为蓝色。
作为可选的实施方式，门限值设置为俯视图像的总像素数的70%。
具体地，当底板11设置为蓝色时，在俯视图像中可以清晰地区分出蓝色的底板11和绿色的烟叶以及激光投影灯2形成的红色图案。当蓝色像素的占比达到俯视图像的总像素数的70%时，可以认为该底板11上剩余的烟叶A均已被取完，剩余部分为烟叶碎屑或断裂的烟叶，因此不不需要进行上料。
在一种较优的实施例中，如图8所示，步骤S4包括：步骤S41：自俯视图像中识别出最上层的烟叶，生成顶部烟叶图像；步骤S42：根据顶部烟叶图像和比对图像获得烟叶姿态。
在一种较优的实施例中，步骤S41中采用一图像分割模型自俯视图像中识别出最上层的烟叶，进而生成顶部烟叶图像；图像分割模型包括：编码部，提取俯视图像的特征获得深层抽象特征；解码部，对深层抽象特征进行层层解析生成分割特征图谱，分割特征图谱包括每个像素点的标记值；跳接部，连接编码部和解码部，用于融合编码部和解码部的信息。
具体地，本实施例中的图像分割模型优选采用UNet模型。UNet框架能够在数据量极其有限的基础上取得很好的分割效果。其中编码部负责提取输入图片的深层特征，通过一系列卷积、激活、池化等运算对输入图片进行层层特征提取，最终仅保留深层抽象特征；解码部通过对深层抽象特征进行层层解析生成最终的分割特征图谱；跳接部对称融合解码和编码信息，可以使网络学习过程更加稳定。
在一种较优的实施例中，如图9所示，步骤S41包括：步骤S411：自俯视图像中获取一主脉区域；步骤S412：从主脉区域中提取最上层的烟叶的主茎区域；步骤S413：根据主茎区域生成一叶片区域，进而根据叶片区域生成顶部烟叶图像。
具体地，针对现有技术中通常采用人工对最上层的烟叶A进行完整识别，识别效率较低的问题，本实施例中通过在俯视图像中确定较为明显的主脉区域，并根据主脉区域进一步确定最上层的烟叶A的叶片区域，进而根据叶片区域提取顶部烟叶图像，来实现较快的识别速度，以及，通过顶部烟叶图像准确生成烟叶姿态。由于烟叶A的遮挡，在俯视方向上仅有最上层的烟叶A的主茎区域暴露在外，因此基于这一方法可以在不对俯视图像中所有的烟叶进行识别的同时，较好地获取到最上层的烟叶A的叶片区域。
在实施过程中，基于UNet模型，可以从俯视图像中快速提取出烟叶A的主脉区域。随后，根据主脉区域中位于左侧或右侧中点部分的茎，提取出自叶柄延展至烟叶顶点的主茎区域A1。如图10所示，由于上层烟叶对下层烟叶的遮挡作用，此时仅会有一完整的主茎区域A1暴露在外，而下层仅会有部分叶脉。随后，根据主茎区域即可有效确定最上层的烟叶A的叶片区域，从而实现在对烟叶不进行完整识别过程的前提下，获取最上层的烟叶。
作为可选的实施方式，料仓的一侧设置有一缺口，用于容纳烟叶的叶柄。
在一种较优的实施例中，如图10所示，步骤S413包括：步骤S4131：于俯视图像中分离出多个轮廓区域；步骤S4132：根据主茎区域作为种子区域向轮廓区域蔓延，生成一最小闭合区域，以作为叶片区域；步骤S4133：根据叶片区域自俯视图像中截取顶部烟叶图像。
具体地，针对现有技术中通常采用人工对图像最上层烟叶进行完整识别进而提取出叶片，识别效率较低的问题，本实施例中基于上述步骤提取到的主茎区域，反向构建出叶片区域，进而在没有对烟叶进行完整识别的前提下，实现了对待抓取的叶片区域的准确判断，提高了识别效率。
在实施过程中，俯视图像中包括由多层烟叶分别组成的烟叶轮廓。通过UNet网络，可以快速提取出多个由烟叶边缘组成的轮廓区域。多个轮廓区域之间存在有重合、交叠的部分。此时，将主茎区域作为种子区域，随后基于主茎区域向外部蔓延，进而生成自主茎区域到达的最小闭合区域。该最小闭合区域中心部位为最上层烟叶的主茎，边缘为烟叶的轮廓组成的轮廓线，进而从俯视图像中勾勒出最上层烟叶的主要叶片区域。在实际抓取时，仅需对该部分抓取即可实现较好的抓取效果，而不需要对烟叶的精确轮廓进行提取，从而提高了识别的效率。
在一种较优的实施例中，如图12所示，步骤S42包括：步骤S421：自顶部烟叶图像分离激光投影图案；步骤S422：根据激光投影图案和比对图像计算烟叶A的高度；步骤S423：根据图像传感器3的内参投影矩阵，对顶部烟叶图像重投影至预定的平面，并获得烟叶A的倾角；步骤S424：根据烟叶A的高度和烟叶A的倾角输出烟叶姿态。
具体地，当烟叶A在料仓1顶部发生倾斜时，投射于烟叶A上的激光投影图案会发生扭曲现象。比如，当激光投影图案为网格图案时，投射于烟叶A上的网格会随着烟叶的倾角变化发生扭曲：以烟叶A的中心点为原点，激光投影灯2的光轴方向在料仓1顶部的投影为X轴，则当烟叶A相对预设平面存在一正倾角时，烟叶A靠近激光投影灯2的一侧的网格图案的网格间距，相对于比对图像中的网格间距会变大，烟叶A远离激光投影灯2的一侧的网格图案的网格间距，相对于比对图像中的网格间距会变小；当烟叶A相对预设平面存在一正倾角时，则烟叶A靠近激光投影灯2的一侧的网格图案的网格间距，相对于比对图像中的网格间距会变小，烟叶A远离激光投影灯2的一侧的网格图案的网格间距，相对于比对图像中的网格间距会变大。同样地，通过上述比对方法，也可判断出烟叶A在Y轴方向上，即与激光投影灯2的光轴垂直的平面方向上的倾角，进而基于X轴倾角和Y轴倾角对底板11进行控制以实现对烟叶的倾角补偿。
进一步地，根据内参投影矩阵对图像进行重投影，能够有效避免图像传感器3的采集误差，进而对烟叶的实际姿态进行更为准确的判断。基于内参投影矩阵对图像进行重投影的过程为公知常识，在此不做赘述。
在一种较优的实施例中，步骤S421中，采用语义识别方法分离激光投影图案。
作为一种可选的实施方式，步骤S421中，通过一分割损失函数判断图像中每个像素点的类别，分割损失函数包括：
其中，
为分割损失函数，
用于表示分布相似度损失函数；
用于表示交叉熵损失函数；
交叉熵损失函数包括：
其中，
用于表示每个像素点的真实标签；
用于表示网络的实际输出；
用于表示类别索引；
由于交叉熵损失函数只关注每个像素点的类别信息，具有局部性，会导致分割学习过程缓慢。为了缓解此现象，可将输入与输出两个集合的分布相似度作为一种度量方式，以一个更加宏观的视角指导网络进行学习，由此引入Dice Loss（分布相似度损失函数）作为损失函数之一，分布相似度损失函数包括：
其中，
为分布相似度损失函数，
用于表示网络的输出集合；
用于表示给定标注集合。
在图像分割处理过程中，融合交叉熵损失函数和分布相似度损失函数作为最终的分割损失函数，Dice Loss能够以一个更加宏观的视角指导网络进行学习，但是由于局部信息掌握不充分会导致网络学习过程震荡。因此融合交叉熵损失函数和Dice Loss作为最终的分割损失函数，既能学习兼顾局部信息，又能学习全局信息。
本发明的有益效果在于：通过设置激光投影灯与图像传感器，能够更为准确地计算出当前最上层烟叶的高度与倾斜状况，并通过设置可调节高度及角度的底板实现了在抓取时对烟叶的高度及倾角的补偿，避免了现有技术中烟叶高度不够或存在倾角进而导致抓取失败的问题。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (10)
1.一种烟叶的上料方法，其特征在于，适用于一烟叶上料系统，所述烟叶上料系统包括：料仓，所述料仓中设有可控的底板，所述底板上用于放置烟叶；激光投影灯，所述激光投影灯设置于所述料仓的上方以一预设的角度向所述料仓顶部投射一激光投影图案；图像传感器，所述图像传感器设置在所述料仓的上方，并指向所述料仓的顶部，用于采集所述料仓的俯视图像；吸取装置，可控制地吸取并移动所述烟叶至一外部的加工设备；控制器，所述控制器连接所述激光投影灯、所述图像传感器和所述底板，所述控制器用于根据所述俯视图像获取最上层的烟叶的叶片区域，并根据所述叶片区域生成烟叶姿态，随后控制所述底板调整高度和/或角度，及控制所述吸取装置进行吸取；
所述上料方法具体包括：
步骤S1：底板抬升烟叶，以使得最上层的烟叶移动至料仓的顶部；
步骤S2：在所述烟叶表面投射一激光投影图案，随后采集所述料仓的俯视图像；
所述俯视图像中包括所述激光投影图案，所述最上层的烟叶和/或所述底板；
步骤S3：根据所述俯视图像判断所述底板上方是否具有所述烟叶；
若是，转向步骤S4；
若否，发出一停止信号随后结束上料；
步骤S4：根据所述俯视图像和一预设的比对图像获得烟叶姿态；
所述烟叶姿态包括所述烟叶的倾角和高度；
步骤S5：根据所述烟叶姿态调整所述底板的高度和倾角；
步骤S6：吸取所述烟叶并移动至一外部的加工设备，返回所述步骤S1；
所述步骤S4包括：
步骤S41：自所述俯视图像中识别出最上层的所述烟叶，生成顶部烟叶图像；
步骤S42：根据所述顶部烟叶图像和所述比对图像获得所述烟叶姿态；
所述步骤S41包括：
步骤S411：自所述俯视图像中获取一主脉区域；
步骤S412：从所述主脉区域中提取所述最上层的烟叶的主茎区域；
步骤S413：根据所述主茎区域生成一叶片区域，进而根据所述叶片区域生成所述顶部烟叶图像。
2.根据权利要求1所述的上料方法，其特征在于，所述比对图像的获取方法包括：
步骤S01：在所述料仓的顶部水平设置一平板；
步骤S02：在所述平板的表面投射所述激光投影图案，并拍摄所述比对图像。
3.根据权利要求1所述的上料方法，其特征在于，所述步骤S3包括：
步骤S31：记录所述俯视图像中每个像素的像素颜色；
步骤S32：根据所述像素颜色和一预设的颜色阈值对所述像素进行分类；
步骤S33：判断第一类所述像素的数量是否达到一门限值；
若是，转向所述步骤S4；
若否，发出一停止信号随后结束上料。
4.根据权利要求1所述的上料方法，其特征在于，所述步骤S41中采用一图像分割模型自所述俯视图像中识别出所述最上层的烟叶，进而生成所述顶部烟叶图像；
所述图像分割模型包括：
编码部，提取所述烟叶表面图像的特征获得深层抽象特征；
解码部，对所述深层抽象特征进行解析生成分割特征图谱，所述分割特征图谱包括每个像素点的标记值；
跳接部，连接所述编码部和所述解码部，用于融合所述编码部和所述解码部的信息。
5.根据权利要求1所述的上料方法，其特征在于，所述步骤S413包括：
步骤S4131：于所述俯视图像中分离出多个轮廓区域；
步骤S4132：根据所述主茎区域作为种子区域向所述轮廓区域蔓延，生成一最小闭合区域，以作为所述叶片区域；
步骤S4133：根据所述叶片区域自所述俯视图像中截取所述顶部烟叶图像。
6.根据权利要求1所述的上料方法，其特征在于，所述步骤S42包括：
步骤S421：自所述顶部烟叶图像分离所述激光投影图案；
步骤S422：根据所述激光投影图案和所述比对图像计算所述烟叶的高度；
步骤S423：根据所述图像传感器的内参投影矩阵，对所述顶部烟叶图像重投影至预定的平面，并获得所述烟叶的倾角；
步骤S424：根据所述烟叶的高度和所述烟叶的倾角输出所述烟叶姿态。
7.根据权利要求6所述的上料方法，其特征在于，所述步骤S421中，采用语义识别方法分离所述激光投影图案。
8.一种烟叶上料系统，其特征在于，用于实施如权利要求1-7任意一项所述的烟叶的上料方法。
9.根据权利要求8所述的烟叶上料系统，其特征在于，所述控制器包括：
供电通信模块，所述供电通信模块连接所述激光投影灯、所述图像传感器和所述底板；
烟叶分割模块，所述烟叶分割模块通过所述供电通信模块连接所述图像传感器，并从所述图像传感器中获取所述俯视图像；
所述烟叶分割模块还将最上层的烟叶的叶片区域从所述俯视图像中分离，进而生成顶部烟叶图像；
姿态获取模块，所述姿态获取模块连接所述烟叶分割模块，并根据所述顶部烟叶图像生成所述最上层的烟叶的所述烟叶姿态；
所述烟叶姿态包括所述最上层的烟叶的倾角和高度；
底板驱动模块，所述底板驱动模块连接所述烟叶分割模块，并根据所述烟叶姿态控制所述底板，以调整所述底板的高度和/或角度；
吸取驱动模块，所述吸取驱动模块连接所述烟叶分割模块，并根据所述分离图像控制所述吸取装置移动并吸取所述最上层的烟叶。
10.根据权利要求9所述的烟叶上料系统，其特征在于，所述吸取装置包括：
移动模块，所述移动模块用于控制所述吸取装置自所述料仓上方移动至所述加工设备处；
多个吸盘，所述吸盘排布在所述吸取装置下表面，用于形成负压或正压；
吸盘控制模块，所述吸盘控制模块连接所述控制器和多个所述吸盘，在所述吸取驱动模块的控制下；根据所述分离图像控制部分所述吸盘形成负压以吸取所述最上层的烟叶，和/或控制部分所述吸盘形成正压以吹除其他烟叶。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210127031.8A CN114162637B (zh) | 2022-02-11 | 2022-02-11 | 一种烟叶上料系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210127031.8A CN114162637B (zh) | 2022-02-11 | 2022-02-11 | 一种烟叶上料系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114162637A CN114162637A (zh) | 2022-03-11 |
| CN114162637B true CN114162637B (zh) | 2022-07-01 |
Family
ID=80489726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210127031.8A Active CN114162637B (zh) | 2022-02-11 | 2022-02-11 | 一种烟叶上料系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114162637B (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04272038A (ja) * | 1991-02-27 | 1992-09-28 | Hitachi Sci Syst:Kk | 基板搬送装置 |
| JP5431078B2 (ja) * | 2009-09-03 | 2014-03-05 | 株式会社東芝 | 積層紙葉類の状態判定装置、及び紙葉類処理装置 |
| GB201001814D0 (en) * | 2010-02-04 | 2010-03-24 | Vivid Laminating Technologies | Feed mechanism for laminating machine |
| CN203998230U (zh) * | 2014-05-14 | 2014-12-10 | 苏州卓控机器人自动化有限公司 | 一种平面小尺寸多规格薄片的分离定位装置 |
| CN108820945B (zh) * | 2018-06-15 | 2020-05-05 | 南通大学 | 一种薄膜自动上料装置 |
| DE102019000085A1 (de) * | 2019-01-07 | 2020-07-09 | Giesecke+Devrient Currency Technology Gmbh | Vorrichtung und Verfahren zum Vereinzeln von Wertdokumenten, insbesondere Banknoten, sowie Wertdokumentbearbeitungssystem |
| JP7072183B2 (ja) * | 2019-08-23 | 2022-05-20 | Ｖｏｓｔｅｃ株式会社 | カード充填器、カード供給装置、カードの勾配制御方法 |
| CN113836994A (zh) * | 2021-08-03 | 2021-12-24 | 河南启迪睿视智能科技有限公司 | 一种烟叶抓取方法及烟叶抓取装置 |
-
2022
- 2022-02-11 CN CN202210127031.8A patent/CN114162637B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114162637A (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110516570B (zh) | 一种基于视觉的垃圾分类识别方法和装置 | |
| CN110400322B (zh) | 基于颜色和三维几何信息的水果点云分割方法 | |
| CN105231595B (zh) | 自动化的斯创贝尔印刷 | |
| CN110726735A (zh) | 一种基于深度学习的全自动电路板缺陷检测系统及方法 | |
| US10410172B2 (en) | Object detection apparatus, depalletization automating apparatus, and object detection method | |
| CN105466950A (zh) | 一种基于视觉的竹块在线检测方法及系统 | |
| CN109636787A (zh) | 一种基于深度学习的高精度实时电池点焊质量自动检测方法 | |
| CN106203239A (zh) | 用于集装箱理货的信息处理方法、装置和系统 | |
| CN106886997A (zh) | 识别堆叠物体的方法和装置 | |
| CN112990103B (zh) | 一种基于机器视觉的串采二次定位方法 | |
| CA2915170A1 (en) | Apparatus and method for sorting plant material units | |
| CN109934088A (zh) | 基于深度学习的海面船只辨识方法 | |
| CN112977974A (zh) | 烟包外观质量检测装置及其方法、烟包包装机 | |
| CN114162637B (zh) | 一种烟叶上料系统及方法 | |
| US20210114208A1 (en) | Method and system for detecting and picking up objects | |
| CN108846862A (zh) | 一种颜色先验知识导向的草莓机器手目标定位方法 | |
| US11712807B2 (en) | Image processing apparatus, robot and robot system | |
| CN112883881A (zh) | 一种条状农产品无序分拣方法及装置 | |
| CN114241037A (zh) | 混合尺寸卸盘 | |
| CN116494253A (zh) | 目标物体抓取位姿获取方法及机器人抓取系统 | |
| CN117830389B (zh) | 一种基于rgbd相机的单件分离包裹实时位置检测方法 | |
| CN113808194A (zh) | 串番茄采摘角度获取方法、装置、电子设备及存储介质 | |
| CN107292898A (zh) | 一种基于hsv的车牌阴影检测和去除方法 | |
| CN113836994A (zh) | 一种烟叶抓取方法及烟叶抓取装置 | |
| CN113361657A (zh) | 用于识别烟箱箱号的装置、方法、烟丝装箱设备和工控机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231211 Address after: Henan Enterprise Union Building 9, No. 238 Mingli Road, Longzihu, Zhengdong New District, Zhengzhou City, Henan Province, 450000 Patentee after: Henan Qidi Ruishi Intelligent Technology Co.,Ltd. Address before: 200120 unit 02, 6 / F, building 5, No. 666, shengxia road and No. 122, Yindong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai Patentee before: Shanghai Qidi Ruishi Intelligent Technology Co.,Ltd. |