CN115701818A - 基于人工智能的智能垃圾分类控制系统 - Google Patents

基于人工智能的智能垃圾分类控制系统 Download PDF

Info

Publication number
CN115701818A
CN115701818A CN202310006971.6A CN202310006971A CN115701818A CN 115701818 A CN115701818 A CN 115701818A CN 202310006971 A CN202310006971 A CN 202310006971A CN 115701818 A CN115701818 A CN 115701818A
Authority
CN
China
Prior art keywords
distance
target
garbage
feature points
distance distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310006971.6A
Other languages
English (en)
Other versions
CN115701818B (zh
Inventor
高云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Hanbang Intelligent System Integration Co ltd
Original Assignee
Jiangsu Hanbang Intelligent System Integration Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Hanbang Intelligent System Integration Co ltd filed Critical Jiangsu Hanbang Intelligent System Integration Co ltd
Priority to CN202310006971.6A priority Critical patent/CN115701818B/zh
Publication of CN115701818A publication Critical patent/CN115701818A/zh
Application granted granted Critical
Publication of CN115701818B publication Critical patent/CN115701818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Abstract

本发明涉及机械手控制技术领域，提出了基于人工智能的智能垃圾分类控制系统，包括：根据距离传感器获取目标垃圾的第一距离分布及第二距离分布；对两个距离分布中的边缘结构特征点聚类，计算聚簇相似程度得到匹配成功的组合，将匹配成功的聚簇中的特征点作为目标特征点；获取邻域特征点的第一影响程度及第二影响程度；获取邻域特征点的参与程度，得到目标特征点的匹配代价值，得到目标垃圾的三维结构信息；获取目标垃圾的所属类型；获取目标垃圾的最佳抓取平面及三维平面信息；根据目标垃圾的三维结构信息及三维平面信息控制机械手抓取，根据所属类型放入相应的分类区域中。本发明旨在解决机械手无法准确识别垃圾三维结构并进行抓取的问题。

Description

基于人工智能的智能垃圾分类控制系统
技术领域
本发明涉及机械手控制领域，具体涉及基于人工智能的智能垃圾分类控制系统。
背景技术
随着城市化发展，居民的生活逐渐实现智能化，伴随国民环保意识的不断提高，人们对垃圾的分类处理越来越看重，对于可回收垃圾的分类使垃圾资源化具有重要意义；机械手是一种能模仿人手和手臂的某些动作功能，用以按固定程序抓取、搬运物件或操作工具的自动操作装置，特点是可以通过编程来完成各种预期的作业，构造和性能上兼有人和机械手机器各自的优点；现如今，为了实现垃圾分类智能化处理，垃圾处理厂使用一种可控制的机械手结合垃圾识别完成对于垃圾分类的智能化处理。
在现有的通过可控制的机械手对垃圾进行智能分类过程中，其通过多种传感器，例如距离传感器、色彩传感器等采集数据，在控制程序中通过判断传感器数据是否满足阈值来控制抓取，其导致控制程序中需要包含较多的条件判断以及条件嵌入，一方面这种控制程序的数据采集及处理方法无法准确反映垃圾的三维结构信息，仅考虑垃圾平面信息，进而导致机械手对垃圾识别不准确，抓取过程容易出现垃圾掉落而使机械手控制精度较低；另一方面，由于常规idea控制程序需要较多的传感器数据进行条件判断及嵌套逻辑，导致控制程序维护困难，维护过程需要调节参数众多，无法鲁棒性地兼容其他垃圾智能分拣场景，因此需要将控制程序进行模块化处理，使得控制程序低耦合高内聚，达到控制程序便于维护且高度泛用的目的。
发明内容
本发明提供基于人工智能的智能垃圾分类控制系统，以解决现有的机械手无法准确识别垃圾三维结构并进行抓取的问题，所采用的技术方案具体如下：
本发明一个实施例提供了基于人工智能的智能垃圾分类控制系统，该系统包括：
传感器数据采集模块，根据距离传感器获取目标垃圾的第一距离分布及第二距离分布；
垃圾三维信息获取模块：获取第一距离分布及第二距离分布中的边缘结构特征点，以距离分布中特征点之间的结构距离差异及欧式距离对所有边缘结构特征点进行聚类，分别得到第一距离分布及第二距离分布上所有的聚簇，对两个距离分布中得到的聚簇计算相似程度并获取匹配成功的聚簇组合，将匹配成功的聚簇组合中的特征点作为目标特征点，将目标特征点在第一距离分布中所属聚簇作为目标特征点在第一距离分布中的窗口范围，将与所属聚簇匹配成功的第二距离分布中的聚簇作为目标特征点在第二距离分布中的相应窗口范围；
根据目标特征点在第一距离分布中的窗口范围中各邻域特征点的结构距离及欧式距离获取邻域特征点的第一影响程度，在第一距离分布中的窗口范围中去除目标特征点的各邻域特征点，根据去除前后两个距离分布相应窗口范围的匹配差异获取邻域特征点的第二影响程度；
根据邻域特征点的第一影响程度和第二影响程度获取邻域特征点的参与程度，根据目标特征点在第一距离分布中的窗口范围中各邻域特征点的参与程度获取目标特征点的匹配代价值，并进行立体匹配得到目标垃圾的三维结构信息；
垃圾分类模块，将目标垃圾的三维结构信息输入到垃圾分类网络中进行分类，获取目标垃圾的所属类型；
垃圾抓取平面判断模块，根据目标垃圾的三维结构信息获取目标垃圾的最佳抓取平面，得到最佳抓取平面的三维平面信息；
机械手控制模块，根据目标垃圾的三维结构信息及最佳抓取平面的三维平面信息控制机械手进行对目标垃圾进行抓取，并根据目标垃圾的所属类型放入相应的分类区域中。
可选的，所述对两个距离分布中得到的聚簇计算相似程度并获取匹配成功的聚簇组合，包括的具体方法为：
Figure DEST_PATH_IMAGE001
其中，
Figure 879473DEST_PATH_IMAGE002
表示第一距离分布中的第
Figure 469854DEST_PATH_IMAGE003
个聚簇和第二距离分布中的第
Figure 574076DEST_PATH_IMAGE004
个聚簇的 相似程度，
Figure 199093DEST_PATH_IMAGE005
表示第一距离分布中的第
Figure 464989DEST_PATH_IMAGE003
个聚簇的结构距离均值，
Figure 542666DEST_PATH_IMAGE006
表示第二距离分布中的 第
Figure 919421DEST_PATH_IMAGE004
个聚簇的结构距离均值，
Figure 664523DEST_PATH_IMAGE007
表示第一距离分布中的第
Figure 599856DEST_PATH_IMAGE003
个聚簇的结构距离方差，
Figure 164830DEST_PATH_IMAGE008
表示 第二距离分布中的第
Figure 610854DEST_PATH_IMAGE004
个聚簇的结构距离方差，
Figure 210463DEST_PATH_IMAGE009
表示第一距离分布中的第
Figure 818162DEST_PATH_IMAGE003
个聚簇和第 二距离分布中的第
Figure 870431DEST_PATH_IMAGE004
个聚簇的结构距离协方差，
Figure 854568DEST_PATH_IMAGE010
和
Figure 574262DEST_PATH_IMAGE011
是根据第一距离分布和第二距离分 布的结构距离的范围获取的常数，其中
Figure 352862DEST_PATH_IMAGE012
而
Figure 128314DEST_PATH_IMAGE013
，
Figure 650562DEST_PATH_IMAGE014
为两个距离分布中 结构距离的最大值；
获取分属两个距离分布中的所有聚簇之间的相似程度，利用KM算法对分属于两个距离分布的所有聚簇进行最优化匹配，匹配关系用分属于两个距离分布的聚簇之间的相似程度表示，将最终匹配得到的若干聚簇组合中，相似程度大于第一预设阈值的聚簇组合作为匹配成功的聚簇组合。
可选的，所述获取邻域特征点的第一影响程度，包括的具体方法为：
Figure 224763DEST_PATH_IMAGE015
其中，
Figure 174264DEST_PATH_IMAGE016
表示任意一个目标特征点在第一距离分布中的窗口范围内的第
Figure 466705DEST_PATH_IMAGE017
个邻域特 征点的第一影响程度，
Figure 527065DEST_PATH_IMAGE018
表示第
Figure 955773DEST_PATH_IMAGE017
个邻域特征点所在窗口范围的聚簇中心，
Figure 341755DEST_PATH_IMAGE019
表示第
Figure 590333DEST_PATH_IMAGE017
个 邻域特征点与聚簇中心的欧式距离，
Figure 719963DEST_PATH_IMAGE020
表示第
Figure 501712DEST_PATH_IMAGE017
个邻域特征点的结构距离，
Figure 793016DEST_PATH_IMAGE021
表示窗口范围 内所有特征点的结构距离均值。
可选的，所述获取邻域特征点的第二影响程度，包括的具体方法为：
以任意一个目标特征点的第
Figure 794470DEST_PATH_IMAGE017
个邻域特征点为例，将目标特征点在第一距离分布 的窗口范围与相应的第二距离分布中的窗口范围置于同一坐标系中进行覆盖叠加，获取到 非相交区域
Figure 462212DEST_PATH_IMAGE022
；
对该邻域特征点进行去除，重新聚类得到目标特征点在第一距离分布中的聚簇以 及第二距离分布中匹配成功的聚簇，分别作为目标特征点在第一距离分布及第二距离分布 中新的窗口范围，获取此时窗口范围的聚簇中心，对两个窗口范围置于同一坐标系中进行 覆盖叠加，获取到非相交区域
Figure 865512DEST_PATH_IMAGE023
；
分别获取非相交区域
Figure 327717DEST_PATH_IMAGE022
和
Figure 550888DEST_PATH_IMAGE023
的边缘并得到边缘序列，将两个非相交区域的边缘 序列的DTW距离的倒数作为第
Figure 287900DEST_PATH_IMAGE017
个邻域特征点的第二影响程度。
可选的，所述获取目标特征点的匹配代价值，包括的具体方法为：
将第一距离分布的窗口范围中参与程度小于第二预设阈值的邻域特征点进行去除，将目标特征点在第一距离分布的窗口范围内去除后的剩余特征点的结构距离表示为第一窗口序列，将相应的第二距离分布的窗口范围内的特征点的结构距离表示为第二窗口序列，将第一窗口序列与第二窗口序列的DTW距离作为每个目标特征点的匹配代价值。
可选的，所述获取目标垃圾的最佳抓取平面，得到最佳抓取平面的三维平面信息，包括的具体方法为：
根据目标垃圾的三维结构信息获取目标垃圾的各个平面，将目标垃圾的各个平面中面积最大的平面作为目标垃圾的最佳抓取平面，根据三维结构信息获取整个最佳抓取平面的三维平面信息。
本发明的有益效果是：通过两个距离传感器获取垃圾的两个距离分布，根据距离分布中具有结构特征信息的特征点的邻域特征分布差异，来评估每个目标特征点的自适应窗口范围，去除部分“无用”特征点；再根据每个目标特征点的自适应窗口范围内各邻域特征点对于所在窗口范围内的第一影响程度，以及立体匹配过程中另一距离分布对应窗口范围内的第二影响程度，综合得到各邻域特征点对于计算匹配代价值的参与程度；通过目标特征点自适应获取窗口范围，并对窗口范围内各邻域特征点进行参与程度计算，使计算得到的每个目标特征点的匹配代价值获取更加准确，进而可以准确地获取垃圾的三维结构信息，使得用于垃圾分拣的机械手控制更加准确。
同时，将传统机械手控制程序中的多层阈值条件判断拆分为模块化处理，仅通过距离传感器的数据进行分析获取垃圾的三维结构信息，不再需要多层逻辑嵌套及条件嵌入，使得控制程序整体构造简洁且各模块较为独立，使得控制程序低耦合高内聚，达到控制程序便于维护且高度泛用的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的基于人工智能的智能垃圾分类控制系统结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明一个实施例所提供的基于人工智能的智能垃圾分类控制系统结构框图，该系统包括：
传感器数据采集模块S101，根据距离传感器获取目标垃圾的第一距离分布及第二距离分布。
本实施例的目的是通过距离传感器获取垃圾两个距离分布来形成距离视差，根据视差信息获取垃圾的三维结构信息并完成分类及抓取，因此首先需要采集垃圾的两个距离分布来形成距离分布视差用于后续分析。
在机械手上安装传感器，通过传感器采集数据，然后利用采集得到的数据控制机械手的抓取动作实现垃圾分类；具体的，本实施例中在两个位置布置两个距离传感器，这两个距离传感器同时从两个角度获取垃圾表面上每个位置的距离信息，即每个距离传感器获取垃圾表面上不同位置到传感器之间的距离，这些位置对应的距离记为距离分布数据，将每个位置记为垃圾中的特征点，每个特征点到传感器之间的距离记为结构距离，将采集的垃圾记为目标垃圾；因此每个距离传感器获得一个距离分布数据，两个距离传感器获得两个距离分布数据，分别记为第一距离分布及第二距离分布，即第一距离分布及第二距离分布分别表示在两种视角下垃圾上不同位置到两个传感器的距离，即垃圾中不同特征点的不同结构距离。
垃圾三维信息获取模块S102：
（1）获取第一距离分布及第二距离分布中的边缘结构特征点，以边缘结构特征点为聚类中心，根据结构距离及欧式距离进行聚类，对两个距离分布中得到的聚簇计算相似程度并获取匹配成功的组合，将匹配成功的聚簇中的特征点作为目标特征点，并得到目标特征点分别在第一距离分布及第二距离分布中的窗口范围。
需要说明的是，目标垃圾在第一距离分布及第二距离分布中具有众多特征点，而其中具有结构特征信息的特征点可以充分表征垃圾的结构信息，例如处于垃圾边缘结构上的特征点，并为垃圾的分类识别提供参考；根据这些特征点获取的目标特征点及窗口范围与相应的边缘结构特征点具有较大相似性，在匹配代价值计算时更加精确。
具体的，以第一距离分布为参考距离分布，以第二距离分布为待匹配距离分布进行分析，利用边缘检测方法获取两个距离分布的边缘结构特征点，获取所有边缘结构特征点对应的结构距离，将边缘结构特征点对应的结构距离间的差值绝对值，加上边缘结构特征点之间欧式距离的平方和的开方根作为聚类距离，对所有边缘结构特征点进行DBSCAN聚类，得到若干聚簇；同一聚簇中的特征点间欧式距离较小，结构距离差异较小；不同聚簇中的特征点间欧式距离较大，结构距离差异较大。
进一步的，由于需要对第一距离分布及第二距离分布进行匹配。本实施例通过两 个距离分布中聚簇之间的相似程度来表征边缘特征的分布差异，以第一距离分布中的第
Figure 280127DEST_PATH_IMAGE003
个聚簇和第二距离分布中的第
Figure 178812DEST_PATH_IMAGE004
个聚簇为例，两个聚簇之间的相似程度
Figure 390744DEST_PATH_IMAGE024
的计算方法 为：
Figure 400289DEST_PATH_IMAGE001
其中，
Figure 512601DEST_PATH_IMAGE005
表示第一距离分布中的第
Figure 582188DEST_PATH_IMAGE003
个聚簇的结构距离均值，
Figure 779951DEST_PATH_IMAGE006
表示第二距离分布 中的第
Figure 593187DEST_PATH_IMAGE004
个聚簇的结构距离均值，
Figure 294426DEST_PATH_IMAGE007
表示第一距离分布中的第
Figure 534915DEST_PATH_IMAGE003
个聚簇的结构距离方差，
Figure 219974DEST_PATH_IMAGE008
表示第二距离分布中的第
Figure 571321DEST_PATH_IMAGE004
个聚簇的结构距离方差，
Figure 891182DEST_PATH_IMAGE009
表示第一距离分布中的第
Figure 568151DEST_PATH_IMAGE003
个聚簇 和第二距离分布中的第
Figure 474927DEST_PATH_IMAGE004
个聚簇的结构距离协方差，
Figure 629965DEST_PATH_IMAGE010
和
Figure 571376DEST_PATH_IMAGE011
是根据第一距离分布和第二距 离分布的结构距离的范围获取的常数，其中
Figure 153667DEST_PATH_IMAGE012
而
Figure 547739DEST_PATH_IMAGE013
，
Figure 506468DEST_PATH_IMAGE014
为两个距离分 布中结构距离的最大值。
按照上述方法获取分属两个距离分布中的所有聚簇之间的相似程度，给出第一预 设阈值
Figure 567965DEST_PATH_IMAGE025
用于聚簇之间的匹配，本实施例中采用
Figure 55578DEST_PATH_IMAGE026
进行计算，利用KM算法对分属于两 个距离分布的所有聚簇进行最优化匹配，匹配关系用分属于两个距离分布的聚簇之间的相 似程度表示，将最终匹配得到的若干聚簇组合中，相似程度大于第一预设阈值的聚簇组合 作为匹配成功的聚簇组合。
至此，获取到两个距离分布中若干匹配成功的聚簇组合，将匹配成功的第一距离分布中聚簇中的特征点记为目标特征点，将目标特征点在第一距离分布中的所属聚簇作为目标特征点在第一距离分布中的窗口范围，将与目标特征点所属聚簇匹配成功的第二距离分布中的聚簇作为目标特征点在第二距离分布中的相对应的窗口范围，两个窗口范围用于后续对目标特征点的匹配代价值进行计算，进而完成立体匹配。
（2）根据目标特征点在第一距离分布中的窗口范围中各邻域特征点的结构距离及欧式距离获取邻域特征点的第一影响程度，根据目标特征点在第一距离分布中的窗口范围中各邻域特征点对去除前后两个距离分布相应窗口范围的匹配差异获取邻域特征点的第二影响程度。
需要说明的是，此时已经获取到了匹配成功的聚簇组合，对应的即是目标特征点在两个距离分布中的窗口范围，根据第一距离分布的窗口范围中邻域特征点对于窗口范围整体分布的影响来获取第一影响程度，用以表征该邻域特征点的结构距离及欧式距离变化会对窗口范围造成多大的影响；根据去除该邻域特征点前后两个距离分布中窗口范围的匹配差异来获取第二影响程度，用以表征该邻域特征点对于立体匹配过程会造成多大的影响。
具体的，首先获取每个目标特征点在第一距离分布及第二距离分布中的窗口范围 的聚簇中心，窗口范围实际即为一个聚簇，对聚簇中所有特征点根据欧式距离求得质心并 作为聚簇中心，将目标特征点在第一距离分布所属聚簇中的除目标特征点外其他特征点记 为该目标特征点在第一距离分布的窗口范围中的邻域特征点，以任意一个目标特征点为 例，其在第一距离分布的窗口范围中的第
Figure 450130DEST_PATH_IMAGE017
个邻域特征点的第一影响程度
Figure 946970DEST_PATH_IMAGE016
的计算方法为：
Figure 862974DEST_PATH_IMAGE015
其中，
Figure 787067DEST_PATH_IMAGE018
表示第
Figure 890153DEST_PATH_IMAGE017
个邻域特征点所在窗口范围的聚簇中心，
Figure 925105DEST_PATH_IMAGE019
表示第
Figure 961194DEST_PATH_IMAGE017
个邻域 特征点与聚簇中心的欧式距离，
Figure 56189DEST_PATH_IMAGE020
表示第
Figure 646570DEST_PATH_IMAGE017
个邻域特征点的结构距离，
Figure 249327DEST_PATH_IMAGE021
表示窗口范围内所 有特征点的结构距离均值；邻域特征点与聚簇中心的欧式距离越大，其对聚簇中心的计算 影响越大；邻域特征点的结构距离与结构距离均值的差异越大，其对结构距离均值的计算 影响越大；若该邻域特征点的欧式距离及结构距离发生变化，会导致聚簇发生变化进而改 变窗口范围，则第一影响程度越大；按照上述方法获取每个目标特征点在第一距离分布中 的窗口范围内的每个邻域特征点的第一影响程度。
进一步的，将目标特征点在第一距离分布的窗口范围与相应的第二距离分布中的 窗口范围置于同一坐标系中，此时的窗口范围实际即为匹配成功的聚簇组合中的两个聚 簇，将两个窗口范围的聚簇中心置于坐标系中的同一位置，相应的将两个窗口范围进行覆 盖叠加，则可以获取到两个窗口范围在坐标系中的非相交区域
Figure 608765DEST_PATH_IMAGE022
；以任意一个目标特征点 在第一距离分布中窗口范围内的第
Figure 874661DEST_PATH_IMAGE017
个邻域特征点为例，对该邻域特征点进行去除，重新对 第一距离分布进行DBSCAN聚类得到目标特征点在第一距离分布中的所属聚簇，对所属聚簇 在第二距离分布中重新进行最优化匹配得到在第二距离分布中匹配成功的聚簇，并作为目 标特征点在第一距离分布及第二距离分布中新的窗口范围，获取此时窗口范围的聚簇中 心，按照相同方法对两个窗口范围进行覆盖叠加，获取到去除第
Figure 217918DEST_PATH_IMAGE017
个邻域特征点后的两个窗 口范围在坐标系中的非相交区域
Figure 594672DEST_PATH_IMAGE023
；需要说明的是，非相交区域由于重新聚类导致特征点 发生改变，无法利用结构距离完成对去除前后的差异量化，需要利用两个非相交区域的边 缘变化来表征去除前后对于立体匹配的影响差异。
具体的，对去除第
Figure 74195DEST_PATH_IMAGE017
个邻域特征点前后的两个非相交区域进行边缘检测，得到
Figure 776572DEST_PATH_IMAGE022
和
Figure 341545DEST_PATH_IMAGE023
的若干边缘结构特征点，分别连接得到两个非相交区域的边缘，将两个非相交区域的边 缘表示为边缘序列，边缘序列中的元素即为每个边缘结构特征点的坐标，对两个边缘序列 计算DTW距离，其中DTW算法为公知技术，不再赘述；将去除第
Figure 787570DEST_PATH_IMAGE017
个邻域特征点前后的非相交 区域的DTW距离记为
Figure 623064DEST_PATH_IMAGE027
，则DTW距离的倒数作为第
Figure 230763DEST_PATH_IMAGE017
个邻域特征点的第二影响程度
Figure 548612DEST_PATH_IMAGE028
；即DTW 距离越小，表明去除该邻域特征点前后的非相交区域的差异越小，该邻域特征点对于立体 匹配的影响越小，第二影响程度越小；按照上述方法获取每个目标特征点在第一距离分布 中的窗口范围内的每个邻域特征点的第二影响程度。
至此，获取到每个目标特征点在第一距离分布中的窗口范围内的每个邻域特征点的第一影响程度和第二影响程度，用于计算后续目标特征点的匹配代价值。
（3）根据邻域特征点的第一影响程度和第二影响程度获取邻域特征点的参与程度，根据目标特征点在第一距离分布中的窗口范围中各邻域特征点的参与程度获取目标特征点的匹配代价值，并进行立体匹配得到目标垃圾的三维结构信息。
需要说明的是，获取到邻域特征点对于窗口范围分布的第一影响程度以及对于立体匹配的第二影响程度，根据第一影响程度及第二影响程度得到综合影响程度进而得到参与程度，根据参与程度进行加权融合获取目标特征点的匹配代价值；通过综合影响程度来计算目标特征点的窗口范围的匹配代价值，不再仅通过结构距离来获取匹配代价值，将对分布及匹配影响较大的邻域特征点进行更多参考，提高匹配代价值计算的准确性。
具体的，以任意一个目标特征点的窗口范围中的第
Figure 532749DEST_PATH_IMAGE017
个邻域特征点为例，根据该邻 域特征点的第一影响程度
Figure 986864DEST_PATH_IMAGE016
和第二影响程度
Figure 765464DEST_PATH_IMAGE028
获取该点的综合影响程度
Figure 570609DEST_PATH_IMAGE029
，具体的计算方 法为：
Figure 92857DEST_PATH_IMAGE030
其中，
Figure 401479DEST_PATH_IMAGE016
表示第
Figure 350980DEST_PATH_IMAGE017
个邻域特征点的第一影响程度，
Figure 141956DEST_PATH_IMAGE028
表示第
Figure 202316DEST_PATH_IMAGE017
个邻域特征点的第二影 响程度；根据邻域特征点对于窗口范围分布的第一影响程度以及对于立体匹配的第二影响 程度获取综合影响程度，用于表征该邻域特征点对于目标特征点匹配代价值计算的参与程 度，第一影响程度越大，该邻域特征点对于窗口范围分布的影响越大，参与程度应越大；第 二影响程度越大，该邻域特征点对于立体匹配的影响越大，参与程度应越大。
按照上述方法获取每个目标特征点在第一距离分布的窗口范围中的所有邻域特 征点的综合影响程度，并分别对同一目标特征点的所有邻域特征点的综合影响程度进行线 性归一化，得到的归一化值记为每个邻域特征点的参与程度，任意一个目标特征点在第一 距离分布的窗口范围内的第
Figure 631024DEST_PATH_IMAGE017
个邻域特征点的参与程度记为
Figure 17006DEST_PATH_IMAGE031
；给出第二预设阈值
Figure 265584DEST_PATH_IMAGE032
，用于 判断邻域特征点是否参与匹配计算，本实施例采用
Figure 395214DEST_PATH_IMAGE033
进行计算，将第一距离分布的窗 口范围中参与程度小于第二预设阈值的邻域特征点进行去除，将目标特征点在第一距离分 布的窗口范围内去除后的剩余特征点的结构距离表示为第一窗口序列，将相应的第二距离 分布的窗口范围内的特征点的结构距离表示为第二窗口序列，将第一窗口序列与第二窗口 序列的DTW距离作为每个目标特征点的匹配代价值。
进一步的，获取到第一距离分布中每个目标特征点的匹配代价值后，通过设置特 征点的视差搜索范围进行代价聚合，本实施例中视差搜索范围设置为
Figure 678428DEST_PATH_IMAGE034
；本实施例采用 的代价聚合方法为SGM算法中的路径聚合法，为公知技术，在本实施例中不再赘述；对聚合 的代价值进行赢家通吃的WTA算法选取匹配代价值最小所对应的视差作为最优视差，WTA算 法为公知技术，不再赘述。
至此，根据获取到的最优视差形成的空间距离分布，对目标垃圾进行三维信息构建，获取到目标垃圾的三维结构信息，本实施例中的三维结构信息用点云表示。
垃圾分类模块S103，将目标垃圾的三维结构信息输入到垃圾分类网络中进行分类，获取目标垃圾的所属类型。
将目标垃圾的三维结构信息输入到垃圾分类网络中进行分类，所述垃圾分类网络的构建及训练过程为：
（1）构造一个垃圾分类网络，网络结构为CNN神经网络，具体的本实施例使用PointConv网络模型；
（2）随机初始化神经网络的参数；
（3）将若干垃圾三维结构信息作为训练数据集，并通过专业人员对各种垃圾类型进行人工标注，如该垃圾属于可回收垃圾，则该垃圾的标签为[1，0，0]，厨余垃圾为[0，1，0]，有害垃圾为[0，0，1]等；
（4）将若干垃圾的三维结构信息分别输入到垃圾分类网络中，输出结果为不同垃圾的不同所属类型；
（5）网络的目的是分类，因此损失函数采用交叉熵损失函数；
（6）使用该训练数据集，根据所述损失函数，利用随机梯度下降算法训练垃圾分类网络，使其收敛，得到训练好的垃圾分类网络。
通过训练好的垃圾分类网络，将目标垃圾的三维结构信息输入到训练好垃圾分类网络中，输出结果即为目标垃圾的所属类型。
垃圾抓取平面判断模块S104，根据目标垃圾的三维结构信息获取目标垃圾的最佳抓取平面，得到最佳抓取平面的三维平面信息。
根据目标垃圾的三维结构信息获取垃圾的各个平面，由于垃圾平面越大越便于机械手对垃圾进行抓取，将目标垃圾的各个平面中面积最大的平面作为目标垃圾的最佳抓取平面，根据三维结构信息获取整个最佳抓取平面的三维平面信息，用于后续机械手抓取的具体坐标计算。
需要说明的是，若面积最大的平面面向下方，即最大平面背对机械手，则选取面向机械手中的最大平面作为目标垃圾的最佳抓取平面。
机械手控制模块S105，根据目标垃圾的三维结构信息及最佳抓取平面的三维平面信息控制机械手进行对目标垃圾进行抓取，并根据目标垃圾的所属类型放入相应的分类区域中。
将目标垃圾的三维结构信息、最佳抓取平面的三维平面信息以及目标垃圾的所属类型输入到机械手控制模块中，根据三维结构信息及三维平面信息获取目标垃圾的三维坐标以及抓取面的三维坐标，对机械手进行精准控制实现对目标垃圾的抓取，再根据目标垃圾的所属类型控制机械手将垃圾放入相应的分类区域中；需要说明的是，机械手控制模块中将信息输入到DSP处理器中进行三维坐标及分类区域的判断，机械手的控制通过伺服电机实现。
至此，通过双目视觉识别系统对目标垃圾得到了三维结构信息，根据三维结构信息，通过机械手控制完成对于目标垃圾的抓取及分类，实现了垃圾的智能分类控制。
需要说明的是，本实施例中使用的每个距离传感器有多种选择，例如使用激光雷达、红外测距传感器阵列等，本实施例中考虑到不必要获得垃圾表面每个位置到传感器的真实距离，只要获取到垃圾表面每个位置到传感器的相对距离即可，因此本实施例中使用面阵CCD传感器代替每个距离传感器，该传感器获得垃圾表面的图像数据，该图像数据每个像素对应垃圾表面的一个位置，即距离分布数据中的特征点，每个像素的灰度值大小表示垃圾表面每个位置到传感器的距离的相对大小，即距离分布数据中特征点的结构距离。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于人工智能的智能垃圾分类控制系统，其特征在于，该系统包括：
传感器数据采集模块，根据距离传感器获取目标垃圾的第一距离分布及第二距离分布；
垃圾三维信息获取模块：获取第一距离分布及第二距离分布中的边缘结构特征点，以距离分布中特征点之间的结构距离差异及欧式距离对所有边缘结构特征点进行聚类，分别得到第一距离分布及第二距离分布上所有的聚簇，对两个距离分布中得到的聚簇计算相似程度并获取匹配成功的聚簇组合，将匹配成功的聚簇组合中的特征点作为目标特征点，将目标特征点在第一距离分布中所属聚簇作为目标特征点在第一距离分布中的窗口范围，将与所属聚簇匹配成功的第二距离分布中的聚簇作为目标特征点在第二距离分布中的相应窗口范围；
根据目标特征点在第一距离分布中的窗口范围中各邻域特征点的结构距离及欧式距离获取邻域特征点的第一影响程度，在第一距离分布中的窗口范围中去除目标特征点的各邻域特征点，根据去除前后两个距离分布相应窗口范围的匹配差异获取邻域特征点的第二影响程度；
根据邻域特征点的第一影响程度和第二影响程度获取邻域特征点的参与程度，根据目标特征点在第一距离分布中的窗口范围中各邻域特征点的参与程度获取目标特征点的匹配代价值，最小化目标特征点的匹配代价值得到目标垃圾的三维结构信息；
垃圾分类模块，将目标垃圾的三维结构信息输入到垃圾分类网络中进行分类，获取目标垃圾的所属类型；
垃圾抓取平面判断模块，根据目标垃圾的三维结构信息获取目标垃圾的最佳抓取平面，得到最佳抓取平面的三维平面信息；
机械手控制模块，根据目标垃圾的三维结构信息及最佳抓取平面的三维平面信息控制机械手进行对目标垃圾进行抓取，并根据目标垃圾的所属类型放入相应的分类区域中。
2.根据权利要求1所述的基于人工智能的智能垃圾分类控制系统，其特征在于，所述对两个距离分布中得到的聚簇计算相似程度并获取匹配成功的聚簇组合，包括的具体方法为：
Figure 945572DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示第一距离分布中的第
Figure 612177DEST_PATH_IMAGE004
个聚簇和第二距离分布中的第
Figure DEST_PATH_IMAGE005
个聚簇的相似 程度，
Figure 159833DEST_PATH_IMAGE006
表示第一距离分布中的第
Figure 392231DEST_PATH_IMAGE004
个聚簇的结构距离均值，
Figure DEST_PATH_IMAGE007
表示第二距离分布中的第
Figure 600097DEST_PATH_IMAGE005
个聚簇的结构距离均值，
Figure 550735DEST_PATH_IMAGE008
表示第一距离分布中的第
Figure 902082DEST_PATH_IMAGE004
个聚簇的结构距离方差，
Figure DEST_PATH_IMAGE009
表示第二 距离分布中的第
Figure 457828DEST_PATH_IMAGE005
个聚簇的结构距离方差，
Figure 869218DEST_PATH_IMAGE010
表示第一距离分布中的第
Figure 41573DEST_PATH_IMAGE004
个聚簇和第二距 离分布中的第
Figure 196611DEST_PATH_IMAGE005
个聚簇的结构距离协方差，
Figure DEST_PATH_IMAGE011
和
Figure 872443DEST_PATH_IMAGE012
是根据第一距离分布和第二距离分布的 结构距离的范围获取的常数，其中
Figure DEST_PATH_IMAGE013
而
Figure 702339DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015
为两个距离分布中结构 距离的最大值；
获取分属两个距离分布中的所有聚簇之间的相似程度，利用KM算法对分属于两个距离分布的所有聚簇进行最优化匹配，匹配关系用分属于两个距离分布的聚簇之间的相似程度表示，将最终匹配得到的若干聚簇组合中，相似程度大于第一预设阈值的聚簇组合作为匹配成功的聚簇组合。
3.根据权利要求1所述的基于人工智能的智能垃圾分类控制系统，其特征在于，所述获取邻域特征点的第一影响程度，包括的具体方法为：
Figure DEST_PATH_IMAGE017
其中，
Figure 299673DEST_PATH_IMAGE018
表示任意一个目标特征点在第一距离分布中的窗口范围内的第
Figure DEST_PATH_IMAGE019
个邻域特征点 的第一影响程度，
Figure 727243DEST_PATH_IMAGE020
表示第
Figure 788740DEST_PATH_IMAGE019
个邻域特征点所在窗口范围的聚簇中心，
Figure DEST_PATH_IMAGE021
表示第
Figure 276353DEST_PATH_IMAGE019
个邻域 特征点与聚簇中心的欧式距离，
Figure 157722DEST_PATH_IMAGE022
表示第
Figure 654562DEST_PATH_IMAGE019
个邻域特征点的结构距离，
Figure DEST_PATH_IMAGE023
表示窗口范围内所 有特征点的结构距离均值。
4.根据权利要求1所述的基于人工智能的智能垃圾分类控制系统，其特征在于，所述获取邻域特征点的第二影响程度，包括的具体方法为：
以任意一个目标特征点的第
Figure 537942DEST_PATH_IMAGE019
个邻域特征点为例，将目标特征点在第一距离分布的窗口 范围与相应的第二距离分布中的窗口范围置于同一坐标系中进行覆盖叠加，获取到非相交 区域
Figure 727615DEST_PATH_IMAGE024
；
对该邻域特征点进行去除，重新聚类得到目标特征点在第一距离分布中的聚簇以及第 二距离分布中匹配成功的聚簇，分别作为目标特征点在第一距离分布及第二距离分布中新 的窗口范围，获取此时窗口范围的聚簇中心，对两个窗口范围置于同一坐标系中进行覆盖 叠加，获取到非相交区域
Figure DEST_PATH_IMAGE025
；
分别获取非相交区域
Figure 830700DEST_PATH_IMAGE024
和
Figure 131232DEST_PATH_IMAGE025
的边缘并得到边缘序列，将两个非相交区域的边缘序列 的DTW距离的倒数作为第
Figure 636162DEST_PATH_IMAGE019
个邻域特征点的第二影响程度。
5.根据权利要求1所述的基于人工智能的智能垃圾分类控制系统，其特征在于，所述获取目标特征点的匹配代价值，包括的具体方法为：
将第一距离分布的窗口范围中参与程度小于第二预设阈值的邻域特征点进行去除，将目标特征点在第一距离分布的窗口范围内去除后的剩余特征点的结构距离表示为第一窗口序列，将相应的第二距离分布的窗口范围内的特征点的结构距离表示为第二窗口序列，将第一窗口序列与第二窗口序列的DTW距离作为每个目标特征点的匹配代价值。
6.根据权利要求1所述的基于人工智能的智能垃圾分类控制系统，其特征在于，所述获取目标垃圾的最佳抓取平面，得到最佳抓取平面的三维平面信息，包括的具体方法为：
根据目标垃圾的三维结构信息获取目标垃圾的各个平面，将目标垃圾的各个平面中面积最大的平面作为目标垃圾的最佳抓取平面，根据三维结构信息获取整个最佳抓取平面的三维平面信息。
CN202310006971.6A 2023-01-04 2023-01-04 基于人工智能的智能垃圾分类控制系统 Active CN115701818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310006971.6A CN115701818B (zh) 2023-01-04 2023-01-04 基于人工智能的智能垃圾分类控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310006971.6A CN115701818B (zh) 2023-01-04 2023-01-04 基于人工智能的智能垃圾分类控制系统

Publications (2)

Publication Number Publication Date
CN115701818A true CN115701818A (zh) 2023-02-14
CN115701818B CN115701818B (zh) 2023-05-09

Family

ID=85162817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310006971.6A Active CN115701818B (zh) 2023-01-04 2023-01-04 基于人工智能的智能垃圾分类控制系统

Country Status (1)

Country Link
CN (1) CN115701818B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106000904A (zh) * 2016-05-26 2016-10-12 北京新长征天高智机科技有限公司 一种生活垃圾自动分拣系统
CN107492107A (zh) * 2017-08-10 2017-12-19 昆山伟宇慧创智能科技有限公司 基于平面与空间信息融合的物体识别与重建方法
US20180260744A1 (en) * 2015-09-02 2018-09-13 Hitachi, Ltd. Online forecasting system and online forecasting method
CN108607819A (zh) * 2018-04-25 2018-10-02 重庆邮电大学 物料分拣系统及方法
CN110813792A (zh) * 2019-04-04 2020-02-21 苏州科睿信飞智能科技有限公司 一种智能垃圾识别分类方法
CN111462237A (zh) * 2020-04-03 2020-07-28 清华大学 利用多源信息构建四通道虚拟图像的目标距离检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260744A1 (en) * 2015-09-02 2018-09-13 Hitachi, Ltd. Online forecasting system and online forecasting method
CN106000904A (zh) * 2016-05-26 2016-10-12 北京新长征天高智机科技有限公司 一种生活垃圾自动分拣系统
CN107492107A (zh) * 2017-08-10 2017-12-19 昆山伟宇慧创智能科技有限公司 基于平面与空间信息融合的物体识别与重建方法
CN108607819A (zh) * 2018-04-25 2018-10-02 重庆邮电大学 物料分拣系统及方法
CN110813792A (zh) * 2019-04-04 2020-02-21 苏州科睿信飞智能科技有限公司 一种智能垃圾识别分类方法
CN111462237A (zh) * 2020-04-03 2020-07-28 清华大学 利用多源信息构建四通道虚拟图像的目标距离检测方法

Also Published As

Publication number Publication date
CN115701818B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN109272523B (zh) 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN110344621A (zh) 一种面向智能车库的车轮点云检测方法
CN111462154B (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN103706568A (zh) 基于机器视觉的机器人分拣系统及方法
CN110509273B (zh) 基于视觉深度学习特征的机器人机械手检测及抓取方法
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN109444912B (zh) 一种基于协同控制与深度学习的驾驶环境感知系统及方法
CN101441769A (zh) 单目摄像机实时视觉定位方法
JPH01196501A (ja) ロボットの物体認識装置
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
CN114241298A (zh) 一种激光雷达和图像融合的塔吊环境目标检测方法及系统
CN104616002A (zh) 用于年龄段判断的面部识别设备
CN114952809A (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
CN115330734A (zh) 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统
CN108582075A (zh) 一种智能机器人视觉自动化抓取系统
Richtsfeld et al. Grasping of unknown objects from a table top
CN114882109A (zh) 一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统
CN210386980U (zh) 一种基于机器视觉的冷床智能控制系统
Chen et al. Research and implementation of robot path planning based on computer image recognition technology
CN113920142A (zh) 一种基于深度学习的分拣机械手多物体分拣方法
CN115701818B (zh) 基于人工智能的智能垃圾分类控制系统
CN113034575A (zh) 一种模型构建方法、位姿估计方法及物体拣取装置
CN116524344A (zh) 一种基于rgb-d信息融合的番茄串采摘点检测方法
CN110347273A (zh) 基于激光的人机交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant