CN117314923A - 一种基于机器视觉的荔枝智能分拣与配送优化方法 - Google Patents

一种基于机器视觉的荔枝智能分拣与配送优化方法 Download PDF

Info

Publication number
CN117314923A
CN117314923A CN202311617193.0A CN202311617193A CN117314923A CN 117314923 A CN117314923 A CN 117314923A CN 202311617193 A CN202311617193 A CN 202311617193A CN 117314923 A CN117314923 A CN 117314923A
Authority
CN
China
Prior art keywords
litchi
sorting
information
root
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311617193.0A
Other languages
English (en)
Other versions
CN117314923B (zh
Inventor
王光焰
李志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou City Construction College
Original Assignee
Guangzhou City Construction College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou City Construction College filed Critical Guangzhou City Construction College
Priority to CN202311617193.0A priority Critical patent/CN117314923B/zh
Publication of CN117314923A publication Critical patent/CN117314923A/zh
Application granted granted Critical
Publication of CN117314923B publication Critical patent/CN117314923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/16—Sorting according to weight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/009—Sorting of fruit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Geometry (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的荔枝智能分拣与配送优化方法，具体涉及荔枝分拣技术领域，包括步骤1、信息采集：基于机器视觉采集荔枝的基础信息；步骤2、从采集的信息中，分析得到荔枝的根蒂颜色信息、荔枝位姿信息、荔枝表面外观信息、荔枝的重量；步骤3、基于正常荔枝的根蒂颜色信息、荔枝位姿信息、荔枝表面外观信息，设置荔枝质量不合格条件，完成荔枝的一级分拣；步骤4、根据荔枝的特征参数，计算得到荔枝的质量评级系数，基于质量评级系数完成荔枝的等级分拣；步骤5、将一级分拣和二级分拣得到的荔枝配送至规定区域，完成荔枝的配送，解决了荔枝分拣不够精确、耗费大量人工的问题。

Description

一种基于机器视觉的荔枝智能分拣与配送优化方法
技术领域
本发明涉及荔枝分拣技术领域，更具体地说，本发明涉及一种基于机器视觉的荔枝智能分拣与配送优化方法。
背景技术
荔枝的生长特性决定荔枝在采摘时都是集中采摘，导致各种质量的荔枝混合在一起。不同质量的荔枝混合在一起，导致荔枝的品控不稳定，因此需要对荔枝进行分拣，在果园里，荔枝会被采摘下来，并放入塑料筐中储存。现有的荔枝分拣系统多采用人工分拣的方式，这种方式不仅效率低下，而且容易出现误差。同时，由于人工分拣的成本较高，也增加了企业的运营成本。基于机器视觉的荔枝分拣系统，通过对荔枝会进行预冷和清洗，以快速去除其表面的灰尘和其他杂质。然后，荔枝会被放入自动分拣流水线，通过机器的标准化筛检，将不同等级的荔枝进行分类。根据不同的销售需求，荔枝会被装入不同的塑料筐或其他包装中。
但是现有的荔枝质量分拣技术存在的问题有：现有的荔枝分拣只能对荔枝的外观进行简单的判断，如大小、形状等，这使得分拣出的荔枝品质参差不齐，影响了消费者的购买体验，荔枝分拣不准确，导致不新鲜、有损坏的荔枝没有及时被分拣出。
发明内容
为了克服现有技术的上述缺陷，本发明提供一种基于机器视觉的荔枝智能分拣与配送优化方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于机器视觉的荔枝智能分拣与配送优化方法，包括下列步骤：
步骤S001、信息采集：基于机器视觉采集荔枝的基础信息，包括荔枝的图像信息、重量信息、个数信息；
步骤S002、数据分析：从采集的信息中，分析得到荔枝的根蒂颜色信息、荔枝位姿信息、荔枝表面外观信息、荔枝的重量；
步骤S003、一级分拣：基于正常荔枝的根蒂颜色信息、荔枝位姿信息、荔枝表面外观信息，设置荔枝质量不合格条件，完成荔枝的一级分拣；
步骤S004、二级分拣：根据荔枝的特征参数，计算得到荔枝的质量评级系数，基于质量评级系数完成荔枝的等级分拣；
步骤S005、将一级分拣和二级分拣得到的荔枝配送至规定区域，完成荔枝的配送。
优选的，在信息采集过程中，将荔枝平铺在传送带上，依次经过检测区域，检测区域上方有高清摄像头，用于采集检测区域内的荔枝高清图像并进行计数，检测区域的下方是称重设备，用于称量在检测区域中的荔枝重量。
优选的，在数据分析过程中，获取荔枝的根蒂信息，获取荔枝的高清图像，判断有无荔枝根蒂，获取根蒂的颜色，获取根蒂异常指数的获取方式为：
对荔枝图像进行分割，得到根蒂位置图像，获取根蒂的RGB值，记为，其中，RGB测表示待测荔枝的RGB值,r表示待测荔枝根蒂的红色值，g表示待测荔枝根蒂的绿色值，b表示待测荔枝根蒂的蓝色值；
获取新鲜荔枝根蒂的RGB值，记为,其中，RGB标1表示新鲜荔枝根蒂的RGB值,r0表示标准荔枝根蒂的红色值，g0表示标准荔枝根蒂的绿色值，b0表示标准荔枝根蒂的蓝色值；
获取不新鲜荔枝根蒂的RGB值，记为,其中，RGB标2表示不新鲜荔枝根蒂的RGB值,r´表示不新鲜荔枝根蒂的红色值，g´表示不新鲜荔枝根蒂的绿色值，b´表示不新鲜荔枝根蒂的蓝色值；
通过公式计算得到荔枝的根蒂异常指数，其中Gd表示荔枝的根蒂异常指数。
优选的，在数据分析过程中，获取荔枝的位姿信息，包括下列步骤：
利用计算机视觉技术对图像中的荔枝进行特征提取和识别，确定荔枝在空间中的位置和方向，基于荔枝的位置和方向信息建立得到荔枝的位姿模型，所述位姿模型包括荔枝在三维空间中的位置坐标和方向角度信息；
获取荔枝的方向角度：得到荔枝中心线与水平面的角度，记为θ，所述中心线是荔枝的几何中心线；
获取荔枝的尺寸信息：基于荔枝在三维空间的位置坐标，计算得到荔枝的尺寸信息，获取荔枝的长、宽、高。
优选的，基于荔枝的位姿信息获取荔枝的位姿异常指数的方式为：通过公式获取位姿异常指数，其中，m表示荔枝的重量，x1、y1、z1分别表示荔枝标准最佳的长、宽、高，其中Wz表示荔枝的位姿异常指数，λ表示荔枝的尺寸系数，λ的取值为[1,λmax]，计算公式为/>，其中x2、y2、z2分别表示荔枝标准最低的长、宽、高，通过调整λ，得到最小的位姿异常指数，记为Wz。
说明：荔枝的根蒂颜色随着时间变化逐渐变成深褐色或黑色，此时荔枝不够新鲜了，其中Gd表示荔枝的根蒂异常指数，数值越大表明荔枝越不新鲜；荔枝的形状大体呈圆形或近圆形。一般来说，荔枝的直径通常在2-4厘米之间，形状类似球体或近球体。另外，荔枝表面粗糙，外形凸凹不平，但也有部分品种荔枝的形状比较接近圆形）荔枝的位姿模型是指荔枝在空间中的位置和姿态的描述，用于确定荔枝的空间位置和方向，其位姿模型包括荔枝在三维空间中的位置坐标和方向角度信息。其中，位置坐标描述了荔枝在空间中的位置，包括x、y、z三个方向的坐标值；方向角度则描述了荔枝相对于荔枝中心线旋转角度。
优选的，在数据分析过程中，基于机器视觉获取荔枝的外观状态偏移指数，包括下列步骤：
灰度图像处理：通过将荔枝的表面图像转化为灰度图像，突出缺陷与正常区域的对比度，采用图像分割和边缘检测算法，将荔枝缺陷从图像中提取出来；
彩色图像处理：通过分析荔枝表面图像的RGB三个颜色分量，可以检测颜色变化和色斑缺陷，采用主成分分析方法，将图像转化为低维特征向量；
深度学习：采用深度学习算法，对荔枝表面图像进行分类和识别，通过训练深度学习模型，识别出荔枝表面的不同类型缺陷，如裂纹、凹陷、凸起，设置损失函数，以最小化损失函数为训练目标，完成对深度学习模型的训练；
将荔枝有n组低维特征向量记为Ti，Ti表示第i组低维特征向量对应的荔枝外观状态，用S0表示标准等级荔枝的荔枝外观状态，通过公式计算得到荔枝外观状态偏移指数Wy，其中Δc表示荔枝的外观状态偏移常数。
优选的，在一级分拣过程中，荔枝的一级分拣：基于正常荔枝的根蒂颜色信息、荔枝位姿信息、荔枝表面外观信息，设置荔枝质量不合格条件，完成荔枝的一级分拣，例如设置荔枝质量不合格条件为：无根蒂、位姿异常、根蒂颜色异常、表面颜色异常、表面破损中的一种或多种，将满足荔枝质量不合格条件的荔枝分拣出去，完成荔枝的一级分拣。
说明：基于人工分拣将荔枝按照等级分拣得到各等级荔枝，获取每个等级荔枝的特征参数，根据待测荔枝的特征参数对荔枝进行分级，特征参数包括不限于：荔枝的重量、荔枝的外观颜色、根蒂的颜色，基于特征参数计算得到荔枝质量评级系数，获取每个等级荔枝的质量评级系数的阈值范围，完成荔枝的二级分拣，二级分拣是荔枝的等级分拣。
优选的，在二级分拣过程中，获取各等级荔枝的质量评级系数，通过公式计算得到荔枝的质量评级系数，其中ZP表示荔枝的质量评级系数，Gd表示荔枝根蒂异常指数，Wz表示荔枝位姿异常指数，Wy表示荔枝的外观状态偏移指数。
优选的，在二级分拣过程中，基于荔枝的质量评级系数将荔枝划分为不同质量等级，基于人工分拣得到各质量等级的荔枝，分别获取各等级荔枝的质量评级系数阈值，计算待等级分拣的荔枝的质量评级系数，根据各等级荔枝的质量评级系数阈值，完成荔枝的等级分拣，例如将等级1的荔枝的质量评级系数阈值记为[a1,b1],当检测区域中荔枝的质量评级系数落入区间[a1,b1]，则表示该荔枝属于等级1。
本发明的技术效果和优点：
本发明提供了一种荔枝智能分拣技术，基于机器视觉采集荔枝的基础信息，从采集的信息中，分析得到荔枝的根蒂颜色信息、荔枝位姿信息、荔枝表面外观信息、荔枝的重量；基于正常荔枝的根蒂颜色信息、荔枝位姿信息、荔枝表面外观信息，设置荔枝质量不合格条件，完成荔枝的一级分拣；根据荔枝的特征参数，计算得到荔枝的质量评级系数，基于质量评级系数完成荔枝的等级分拣；将一级分拣和二级分拣得到的荔枝配送至规定区域，完成荔枝的配送，能够解决现有技术中荔枝分拣不准确，需要消耗大量的人力的问题。
附图说明
图1为本发明的荔枝智能分拣与配送优化方法流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整地传达给本领域的技术人员。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令（诸如程序模块）的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
实施例：本发明提供了如图1所示的一种基于机器视觉的荔枝智能分拣与配送优化方法，包括下列步骤：
步骤S001、信息采集：基于机器视觉采集荔枝的基础信息，包括荔枝的图像信息、重量信息、个数信息；
步骤S002、数据分析：从采集的信息中，分析得到荔枝的根蒂颜色信息、荔枝位姿信息、荔枝表面外观信息、荔枝的重量；
步骤S003、一级分拣：基于正常荔枝的根蒂颜色信息、荔枝位姿信息、荔枝表面外观信息，设置荔枝质量不合格条件，完成荔枝的一级分拣；
步骤S004、二级分拣：根据荔枝的特征参数，计算得到荔枝的质量评级系数，基于质量评级系数完成荔枝的等级分拣；
步骤S005、将一级分拣和二级分拣得到的荔枝配送至规定区域，完成荔枝的配送。
在本发明实施例中需要解释说明的是，在数据分析过程中，基于机器视觉获取荔枝的根蒂异常指数、位姿异常指数、外观状态偏移指数。
在本发明实施例中需要解释说明的是，在信息采集过程中，将荔枝平铺在传送带上，依次经过检测区域，检测区域上方有高清摄像头，用于采集检测区域内的荔枝高清图像并进行计数，检测区域的下方是称重设备，用于称量在检测区域中的荔枝重量。
在本发明实施例中需要解释说明的是，在数据分析过程中，获取荔枝的根蒂信息，获取荔枝的高清图像，判断有无荔枝根蒂，获取根蒂的颜色，获取根蒂异常指数的获取方式为：
对荔枝图像进行分割，得到根蒂位置图像，获取根蒂的RGB值，记为，其中，RGB测表示待测荔枝的RGB值,r表示待测荔枝根蒂的红色值，g表示待测荔枝根蒂的绿色值，b表示待测荔枝根蒂的蓝色值；
获取新鲜荔枝根蒂的RGB值，记为,其中，RGB标1表示新鲜荔枝根蒂的RGB值,r0表示标准荔枝根蒂的红色值，g0表示标准荔枝根蒂的绿色值，b0表示标准荔枝根蒂的蓝色值；
获取不新鲜荔枝根蒂的RGB值，记为,其中，RGB标2表示不新鲜荔枝根蒂的RGB值,r´表示不新鲜荔枝根蒂的红色值，g´表示不新鲜荔枝根蒂的绿色值，b´表示不新鲜荔枝根蒂的蓝色值；
通过公式计算得到荔枝的根蒂异常指数，其中Gd表示荔枝的根蒂异常指数。
在本发明实施例中需要解释说明的是，在数据分析过程中，获取荔枝的位姿信息，包括下列步骤：
利用计算机视觉技术对图像中的荔枝进行特征提取和识别，确定荔枝在空间中的位置和方向，基于荔枝的位置和方向信息建立得到荔枝的位姿模型，所述位姿模型包括荔枝在三维空间中的位置坐标和方向角度信息；
获取荔枝的方向角度：得到荔枝中心线与水平面的角度，记为θ，所述中心线是荔枝的几何中心线；
获取荔枝的尺寸信息：基于荔枝在三维空间的位置坐标，计算得到荔枝的尺寸信息，获取荔枝的长、宽、高。
在本发明实施例中需要解释说明的是，基于荔枝的位姿信息获取荔枝的位姿异常指数的方式为：通过公式获取位姿异常指数，其中，m表示荔枝的重量，x1、y1、z1分别表示荔枝标准最佳的长、宽、高，其中Wz表示荔枝的位姿异常指数，λ表示荔枝的尺寸系数，λ的取值为[1,λmax]，计算公式为/>，其中x2、y2、z2分别表示荔枝标准最低的长、宽、高，通过调整λ，得到最小的位姿异常指数，记为Wz。
说明：荔枝的根蒂颜色随着时间变化逐渐变成深褐色或黑色，此时荔枝不够新鲜了，其中Gd表示荔枝的根蒂异常指数，数值越大表明荔枝越不新鲜；荔枝的形状大体呈圆形或近圆形。一般来说，荔枝的直径通常在2-4厘米之间，形状类似球体或近球体。另外，荔枝表面粗糙，外形凸凹不平，但也有部分品种荔枝的形状比较接近圆形）荔枝的位姿模型是指荔枝在空间中的位置和姿态的描述，用于确定荔枝的空间位置和方向，其位姿模型包括荔枝在三维空间中的位置坐标和方向角度信息。其中，位置坐标描述了荔枝在空间中的位置，包括x、y、z三个方向的坐标值；方向角度则描述了荔枝相对于荔枝中心线旋转角度。
在本发明实施例中需要解释说明的是，在数据分析过程中，基于机器视觉获取荔枝的外观状态偏移指数，包括下列步骤：
灰度图像处理：通过将荔枝的表面图像转化为灰度图像，突出缺陷与正常区域的对比度，采用图像分割和边缘检测算法，将荔枝缺陷从图像中提取出来；
彩色图像处理：通过分析荔枝表面图像的RGB三个颜色分量，可以检测颜色变化和色斑缺陷，采用主成分分析方法，将图像转化为低维特征向量；
深度学习：采用深度学习算法，对荔枝表面图像进行分类和识别，通过训练深度学习模型，识别出荔枝表面的不同类型缺陷，如裂纹、凹陷、凸起，设置损失函数，以最小化损失函数为训练目标，完成对深度学习模型的训练；
将荔枝有n组低维特征向量记为Ti，Ti表示第i组低维特征向量对应的荔枝外观状态，用S0表示标准等级荔枝的荔枝外观状态，通过公式计算得到荔枝的外观状态偏移指数Wy，其中Δc表示荔枝的外观状态偏移常数。
在本发明实施例中需要解释说明的是，在一级分拣过程中，荔枝的一级分拣：基于正常荔枝的根蒂颜色信息、荔枝位姿信息、荔枝表面外观信息，设置荔枝质量不合格条件，完成荔枝的一级分拣，例如设置荔枝质量不合格条件为：无根蒂、位姿异常、根蒂颜色异常、表面颜色异常、表面破损中的一种或多种，将满足荔枝质量不合格条件的荔枝分拣出去，完成荔枝的一级分拣。
说明：基于人工分拣将荔枝按照等级分拣得到各等级荔枝，获取每个等级荔枝的特征参数，根据待测荔枝的特征参数对荔枝进行分级，特征参数包括不限于：荔枝的重量、荔枝的外观颜色、根蒂的颜色，基于特征参数计算得到荔枝质量评级系数，获取每个等级荔枝的质量评级系数的阈值范围，完成荔枝的二级分拣，二级分拣是荔枝的等级分拣。
在本发明实施例中需要解释说明的是，在二级分拣过程中，获取各等级荔枝的质量评级系数，通过公式计算得到荔枝的质量评级系数，其中ZP表示荔枝的质量评级系数，Gd表示荔枝根蒂异常指数，Wz表示荔枝位姿异常指数，Wy表示荔枝的外观状态偏移指数。
在本发明实施例中需要解释说明的是，在二级分拣过程中，基于荔枝的质量评级系数将荔枝划分为不同质量等级，基于人工分拣得到各质量等级的荔枝，分别获取各等级荔枝的质量评级系数阈值，计算待等级分拣的荔枝的质量评级系数，根据各等级荔枝的质量评级系数阈值，完成荔枝的等级分拣，例如将等级1的荔枝的质量评级系数阈值记为[a1,b1],当检测区域中荔枝的质量评级系数落入区间[a1,b1]，则表示该荔枝属于等级1。
需要解释说明的是，本发明通过分拣机器人对荔枝进行分拣，根据分拣工作量评价指数分配分拣机器人的分配，获取检测区域中需要进行分拣操作的次数记为n，将第i次分拣消耗的时间记为XTi，通过公式获取分拣时间FT，其中L表示传送带的长度，Vc表示传送带的速度，通过公式/>计算得到分拣工作量评价指数，其中，Gp表示分拣工作量评价指数，数值越小，则提示管理人员分配更多的分拣资源。
需要解释说明的是，分拣机器人对荔枝的位置进行定位，需要获取荔枝中心点的三维坐标以及表面在绕 x、y 和 z 的旋转角度。采用圆搜索区域检测目标水果的圆心边缘点，通过拟合这个圆心获取目标物体的坐标位置。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于机器视觉的荔枝智能分拣与配送优化方法，其特征在于：包括下列步骤：
步骤S001、信息采集：基于机器视觉采集荔枝的基础信息，包括荔枝的图像信息、重量信息、个数信息；
步骤S002、数据分析：从采集的信息中，分析得到荔枝的根蒂颜色信息、荔枝位姿信息、荔枝表面外观信息、荔枝的重量；
步骤S003、一级分拣：基于正常荔枝的根蒂颜色信息、荔枝位姿信息、荔枝表面外观信息，设置荔枝质量不合格条件，完成荔枝的一级分拣；
步骤S004、二级分拣：根据荔枝的特征参数，计算得到荔枝的质量评级系数，基于质量评级系数完成荔枝的等级分拣；
步骤S005、将一级分拣和二级分拣得到的荔枝配送至规定区域，完成荔枝的配送。
2.根据权利要求1所述的一种基于机器视觉的荔枝智能分拣与配送优化方法，其特征在于：将荔枝平铺在传送带上，依次经过检测区域，检测区域上方有高清摄像头，用于采集检测区域内的荔枝高清图像并进行计数，检测区域的下方是称重设备，用于称量在检测区域中的荔枝重量。
3.根据权利要求1所述的一种基于机器视觉的荔枝智能分拣与配送优化方法，其特征在于：获取荔枝的根蒂信息，获取荔枝的高清图像，判断有无荔枝根蒂，获取根蒂的颜色，获取根蒂异常指数的获取方式为：
对荔枝图像进行分割，得到根蒂位置图像，获取根蒂的RGB值，记为，其中，RGB测表示待测荔枝的RGB值,r表示待测荔枝根蒂的红色值，g表示待测荔枝根蒂的绿色值，b表示待测荔枝根蒂的蓝色值；
获取新鲜荔枝根蒂的RGB值，记为,其中，RGB标1表示新鲜荔枝根蒂的RGB值,r0表示标准荔枝根蒂的红色值，g0表示标准荔枝根蒂的绿色值，b0表示标准荔枝根蒂的蓝色值；
获取不新鲜荔枝根蒂的RGB值，记为,其中，RGB标2表示不新鲜荔枝根蒂的RGB值,r´表示不新鲜荔枝根蒂的红色值，g´表示不新鲜荔枝根蒂的绿色值，b´表示不新鲜荔枝根蒂的蓝色值；
通过公式计算得到荔枝的根蒂异常指数，其中Gd表示荔枝的根蒂异常指数。
4.根据权利要求1所述的一种基于机器视觉的荔枝智能分拣与配送优化方法，其特征在于：获取荔枝的位姿信息，包括下列步骤：
利用计算机视觉技术对图像中的荔枝进行特征提取和识别，确定荔枝在空间中的位置和方向，基于荔枝的位置和方向信息建立得到荔枝的位姿模型，所述位姿模型包括荔枝在三维空间中的位置坐标和方向角度信息；
获取荔枝的方向角度：得到荔枝中心线与水平面的角度，记为θ，所述中心线是荔枝的几何中心线；
获取荔枝的尺寸信息：基于荔枝在三维空间的位置坐标，计算得到荔枝的尺寸信息，获取荔枝的长、宽、高。
5.根据权利要求4所述的一种基于机器视觉的荔枝智能分拣与配送优化方法，其特征在于：基于荔枝的位姿信息获取荔枝的位姿异常指数的方式为：通过公式获取位姿异常指数，其中，m表示荔枝的重量，x1、y1、z1分别表示荔枝标准最佳的长、宽、高，其中Wz表示荔枝的位姿异常指数，λ表示荔枝的尺寸系数，λ的取值为[1,λmax]，计算公式为/>，其中x2、y2、z2分别表示荔枝标准最低的长、宽、高，通过调整λ，得到最小的位姿异常指数，记为Wz。
6.根据权利要求1所述的一种基于机器视觉的荔枝智能分拣与配送优化方法，其特征在于：基于机器视觉获取荔枝的外观状态偏移指数，包括下列步骤：
灰度图像处理：通过将荔枝的表面图像转化为灰度图像，突出缺陷与正常区域的对比度，采用图像分割和边缘检测算法，将荔枝缺陷从图像中提取出来；
彩色图像处理：通过分析荔枝表面图像的RGB三个颜色分量，可以检测颜色变化和色斑缺陷，采用主成分分析方法，将图像转化为低维特征向量；
深度学习：采用深度学习算法，对荔枝表面图像进行分类和识别，通过训练深度学习模型，识别出荔枝表面的不同类型缺陷，如裂纹、凹陷、凸起，设置损失函数，以最小化损失函数为训练目标，完成对深度学习模型的训练；
计算外观状态偏移指数：将荔枝有n组低维特征向量记为Ti，Ti表示第i组低维特征向量对应的荔枝外观状态，用S0表示标准等级荔枝的荔枝外观状态，通过公式计算得到荔枝外观状态偏移指数Wy，其中Δc表示荔枝的外观状态偏移常数。
7.根据权利要求1所述的一种基于机器视觉的荔枝智能分拣与配送优化方法，其特征在于：获取各等级荔枝的质量评级系数，通过公式计算得到荔枝的质量评级系数，其中ZP表示荔枝的质量评级系数，Gd表示荔枝根蒂异常指数，Wz表示荔枝位姿异常指数，Wy表示荔枝的外观状态偏移指数。
8.根据权利要求1所述的一种基于机器视觉的荔枝智能分拣与配送优化方法，其特征在于：基于荔枝的质量评级系数将荔枝划分为不同质量等级，基于人工分拣得到各质量等级的荔枝，分别获取各等级荔枝的质量评级系数阈值，计算待等级分拣的荔枝的质量评级系数，根据各等级荔枝的质量评级系数阈值，完成荔枝的等级分拣。
CN202311617193.0A 2023-11-30 2023-11-30 一种基于机器视觉的荔枝智能分拣与配送优化方法 Active CN117314923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311617193.0A CN117314923B (zh) 2023-11-30 2023-11-30 一种基于机器视觉的荔枝智能分拣与配送优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311617193.0A CN117314923B (zh) 2023-11-30 2023-11-30 一种基于机器视觉的荔枝智能分拣与配送优化方法

Publications (2)

Publication Number Publication Date
CN117314923A true CN117314923A (zh) 2023-12-29
CN117314923B CN117314923B (zh) 2024-03-08

Family

ID=89274155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311617193.0A Active CN117314923B (zh) 2023-11-30 2023-11-30 一种基于机器视觉的荔枝智能分拣与配送优化方法

Country Status (1)

Country Link
CN (1) CN117314923B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117960610A (zh) * 2024-01-29 2024-05-03 广州市从化华隆果菜保鲜有限公司 一种荔枝浸渍用速冻生产系统与方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204614A (zh) * 2016-07-21 2016-12-07 湘潭大学 一种基于机器视觉的工件外观缺陷检测方法
CN108480227A (zh) * 2018-03-30 2018-09-04 烟台维度机器人有限公司 一种基于图像识别的苹果分拣方法及系统
CN111067131A (zh) * 2019-12-25 2020-04-28 福建武夷烟叶有限公司 一种烟叶等级自动识别分拣方法
CN111112105A (zh) * 2019-12-25 2020-05-08 华南农业大学 一种基于机器视觉识别荔枝果核大小的分拣装置及方法
CN113569922A (zh) * 2021-07-08 2021-10-29 陕西科技大学 一种苹果智能无损分拣的方法
CN113643287A (zh) * 2021-10-13 2021-11-12 深圳市巨力方视觉技术有限公司 水果的分拣方法、装置和计算机可读存储介质
WO2023194693A1 (fr) * 2022-04-07 2023-10-12 Suez Procédé d'estimation de la qualité d'un flux d'objets dans une ligne de tri
KR20230150625A (ko) * 2022-04-22 2023-10-31 주식회사 칸정보기술 수하물 분류 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204614A (zh) * 2016-07-21 2016-12-07 湘潭大学 一种基于机器视觉的工件外观缺陷检测方法
CN108480227A (zh) * 2018-03-30 2018-09-04 烟台维度机器人有限公司 一种基于图像识别的苹果分拣方法及系统
CN111067131A (zh) * 2019-12-25 2020-04-28 福建武夷烟叶有限公司 一种烟叶等级自动识别分拣方法
CN111112105A (zh) * 2019-12-25 2020-05-08 华南农业大学 一种基于机器视觉识别荔枝果核大小的分拣装置及方法
CN113569922A (zh) * 2021-07-08 2021-10-29 陕西科技大学 一种苹果智能无损分拣的方法
CN113643287A (zh) * 2021-10-13 2021-11-12 深圳市巨力方视觉技术有限公司 水果的分拣方法、装置和计算机可读存储介质
WO2023194693A1 (fr) * 2022-04-07 2023-10-12 Suez Procédé d'estimation de la qualité d'un flux d'objets dans une ligne de tri
KR20230150625A (ko) * 2022-04-22 2023-10-31 주식회사 칸정보기술 수하물 분류 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李志强 等: "乡村振兴背景下从化荔枝产业发展分析", 《辽宁农业科学》, no. 4, pages 59 - 61 *
顾六平 等: "基于机器视觉的纽扣电池托盘分拣系统", 《包装工程》, vol. 39, no. 15, pages 178 - 182 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117960610A (zh) * 2024-01-29 2024-05-03 广州市从化华隆果菜保鲜有限公司 一种荔枝浸渍用速冻生产系统与方法
CN117960610B (zh) * 2024-01-29 2024-06-21 广州市从化华隆果菜保鲜有限公司 一种荔枝浸渍用速冻生产系统与方法

Also Published As

Publication number Publication date
CN117314923B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN117314923B (zh) 一种基于机器视觉的荔枝智能分拣与配送优化方法
CN105046700B (zh) 基于亮度校正与颜色分类的水果表面缺陷检测方法及系统
CN110334680B (zh) 基于爬壁机器人的船舶水尺识别方法、系统、装置
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN115082719B (zh) 一种木材质量分级方法
CN107218894A (zh) 一种快速稳定的亚像素级精度器件厚度检测方法
CN102324032A (zh) 一种基于极坐标系下灰度共生矩阵的纹理特征提取方法
Mizushima et al. A low-cost color vision system for automatic estimation of apple fruit orientation and maximum equatorial diameter
CN114581376B (zh) 基于图像识别的纺织用蚕茧自动拣选方法及系统
CN116805204B (zh) 一种智慧厂务监控方法及系统
CN113569922A (zh) 一种苹果智能无损分拣的方法
CN115018826B (zh) 一种基于图像识别的织物瑕疵检测方法及系统
CN102855485A (zh) 一种小麦抽穗的自动检测方法
CN110110810B (zh) 一种鱿鱼质量等级识别分选方法
CN114842337A (zh) 基于深度学习与多维信息融合聚类的果实采摘点识别方法
CN113822842A (zh) 一种基于多任务学习的工业缺陷检测方法
CN112989881A (zh) 一种无监督可迁移的3d视觉物体抓取方法
CN108362232B (zh) 一种用于汽车球铰接头的球座涂色面积及其分区检测方法
CN115082841B (zh) 一种仓储物流机器人工作区域异常监测方法
CN114494405A (zh) 一种草莓外形估测与自动分级方法、装置以及计算机存储介质
CN117745658B (zh) 一种食用菌品质检测及分拣方法和系统
CN107243461B (zh) 一种自动分级装置
CN115330721A (zh) 基于形状和颜色信息的香蕉果梳饱满度检测方法与系统
CN112775032A (zh) 一种水果分拣方法、装置及柔性机器人
CN111257339B (zh) 一种基于机器视觉的皮蛋裂纹在线检测方法及检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant