CN114179104A - 一种基于视觉识别的采摘机器人控制方法及系统 - Google Patents

一种基于视觉识别的采摘机器人控制方法及系统 Download PDF

Info

Publication number
CN114179104A
CN114179104A CN202111522323.3A CN202111522323A CN114179104A CN 114179104 A CN114179104 A CN 114179104A CN 202111522323 A CN202111522323 A CN 202111522323A CN 114179104 A CN114179104 A CN 114179104A
Authority
CN
China
Prior art keywords
picking
robot
control strategy
model
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111522323.3A
Other languages
English (en)
Other versions
CN114179104B (zh
Inventor
刘玮
程锦
周廷玉
徐之豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weier Technology Co ltd
Original Assignee
Yancheng Institute of Technology
Yancheng Institute of Technology Technology Transfer Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Institute of Technology, Yancheng Institute of Technology Technology Transfer Center Co Ltd filed Critical Yancheng Institute of Technology
Priority to CN202111522323.3A priority Critical patent/CN114179104B/zh
Publication of CN114179104A publication Critical patent/CN114179104A/zh
Application granted granted Critical
Publication of CN114179104B publication Critical patent/CN114179104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种基于视觉识别的采摘机器人控制方法及系统，其中，方法包括：步骤S1：获取种植分布图，基于种植分布图，控制采摘机器人前往适宜的采摘区域；步骤S2：当采摘机器人抵达采摘区域时，控制采摘机器人采集采摘区域的环境深度图像；步骤S3：基于环境深度图像，规划适宜的第一果实采摘控制策略；步骤S4：基于第一果实采摘控制策略，控制采摘机器人进行相应果实采摘。本发明的基于视觉识别的采摘机器人控制方法及系统，无需人工设定采摘任务，极大程度上降低了人力成本，提升了采摘效率，针对综合性果园，具有更强的适用性。

Description

一种基于视觉识别的采摘机器人控制方法及系统
技术领域
本发明涉及机器人控制技术领域，特别涉及一种基于视觉识别的采摘机器人控制方法及系统。
背景技术
目前，采摘机器人根据采摘类型划分有很多种，例如：草莓采摘机器人、柑橘采摘机器人和苹果采摘机器人；采摘机器人一般由人工设定采摘任务，并进行相应采摘工作；但是，一般的果园均是综合性果园，果园内的果蔬种类不一，分布位置也不同，当不同采摘类型的采摘机器人投入使用时，若是仍由人工设定采摘任务，人力成本较大，更降低了采摘效率；
因此，亟需一种解决办法。
发明内容
本发明目的之一在于提供了一种基于视觉识别的采摘机器人控制方法及系统，基于种植分布图，控制采摘机器人前往适宜的采摘区域，当采摘机器人抵达采摘区域时，基于环境深度图像，规划适宜的第一果实采摘控制策略，并对采摘机器人进行相应控制，无需人工设定采摘任务，极大程度上降低了人力成本，提升了采摘效率，针对综合性果园，具有更强的适用性。
本发明实施例提供的一种基于视觉识别的采摘机器人控制方法，包括：
步骤S1：获取种植分布图，基于所述种植分布图，控制采摘机器人前往适宜的采摘区域；
步骤S2：当采摘机器人抵达所述采摘区域时，控制采摘机器人采集所述采摘区域的环境深度图像；
步骤S3：基于所述环境深度图像，规划适宜的第一果实采摘控制策略；
步骤S4：基于所述第一果实采摘控制策略，控制采摘机器人进行相应果实采摘。
优选的，所述步骤S1中，基于所述种植分布图，控制采摘机器人前往适宜的采摘区域，包括：
获取采摘机器人的采摘类型；
从所述种植分布图中确定对应于所述采摘类型的至少一个目标种植区域；
获取所述目标种植区域的采摘机器人剩余容纳量；
若所述剩余容纳量大于等于1，将对应所述目标种植区域作为适宜的采摘区域，并控制采摘机器人前往，同时，对所述采摘机器人剩余容纳量进行相应更新。
优选的，所述步骤S3，基于所述环境深度图像，规划适宜的第一果实采摘控制策略，包括：
基于所述环境深度图像，构建环境三维模型；
基于三维物体识别技术，识别所述环境三维模型中的各个三维物体的物体类型；
基于所述物体类型，获取所述环境三维模型的果实分布信息；
训练果实采摘控制策略规划模型，将所述果实分布信息输入至所述果实采摘控制策略规划模型，获得适宜的第一果实采摘控制策略，完成获取。
优选的，训练果实采摘控制策略规划模型，包括：
获取采摘机器人的机器人型号；
获取对应于所述机器人型号的多个第一果实采摘控制策略规划事件；
对所述第一果实采摘控制策略规划事件进行溯源，获得溯源结果；
对所述溯源结果进行内容解析，获得事件来源和担保方；
获取所述事件来源的信用度，同时，获取所述担保方对所述事件来源进行担保的担保度；
若所述信用度小于等于预设的信用度阈值和/或所述担保度小于等于预设的担保度阈值，剔除对应所述第一果实采摘控制策略规划事件；
当需要剔除的所述第一果实采摘控制策略规划事件均剔除后，将剔除剩余的所述第一果实采摘控制策略规划事件作为第二果实采摘控制策略规划事件；
获取对所述第二果实采摘控制策略规划事件进行溯源的溯源过程；
对所述溯源过程进行过程拆解并按过程先后顺序进行排序，获得溯源过程序列；
从所述溯源过程序列中随机选取第一溯源过程项；
对所述第一溯源过程项进行特征提取，获得多个第一过程特征；
获取预设的过程触发特征库，将所述第一过程特征与所述过程触发特征库中的第一过程触发特征进行匹配，若匹配符合，将对应所述第一溯源过程项作为第二溯源过程项，将其余所述第一溯源过程项作为所述第三溯源过程项，同时，将匹配符合的第一过程触发特征作为第二过程触发特征；
获取所述第二过程触发特征对应的至少一个联合校验信息，所述联合校验信息包括：筛选特征和风险校验策略；
将所述第三溯源过程项对应的第一过程特征作为第二过程特征；
将所述第二过程特征与所述筛选特征进行匹配，若匹配符合，将对应所述第三溯源过程项作为第四溯源过程项；
整合所述第二溯源过程项和所述第四溯源过程项，获得局部溯源过程；
基于所述风险校验策略，对所述局部溯源过程进行风险校验；
若校验不通过，剔除对应所述第二果实采摘控制策略规划事件；
当需要剔除的所述第二果实采摘控制策略规划事件均剔除后，将剔除剩余的所述第二果实采摘控制策略规划事件作为第三果实采摘控制策略规划事件；
从所述第三果实采摘控制策略规划事件中提取应对的采摘场景和规划的第二果实采摘控制策略；
获取预设的采摘模拟空间，将所述采摘场景映射于所述采摘模拟空间内；
获取对应于采摘机器人的预设的第一机器人模型，将所述第一机器人模型映射于所述采摘模拟空间内；
基于所述第二果实采摘控制策略，控制所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘；
获取预设的采摘不合理事件捕捉模型，基于所述采摘不合理事件捕捉模型，尝试捕捉所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘时发生的采摘不合理事件；
若捕捉成功，对捕捉到的采摘不合理事件进行内容解析，获取不合理值；
若所述不合理值小于等于预设的不合理值阈值，获取预设的果实采摘控制策略修正模型，将对应所述采摘不合理事件输入至所述果实采摘控制策略修正模型，基于所述果实采摘控制策略修正模型，对所述第二果实采摘控制策略进行相应修正；
当所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘结束时，若未捕捉到采摘不合理事件，将对应所述第三果实采摘控制策略规划事件作为第四果实采摘控制策略规划事件；
否则，汇总产生的所述不合理值，获得不合理值和；
若所述不合理值和大于等于预设的不合理值和阈值，剔除对应所述第三果实采摘控制策略规划事件；
否则，将修正后的第二果实采摘控制策略替换所述第三果实采摘控制策略规划事件中的第二果实采摘控制策略，获得第五果实采摘控制策略规划事件；
获取预设的神经网络模型，将所述第四果实采摘控制策略规划事件和所述第五果实采摘控制策略规划事件输入至所述神经网络模型中进行模型训练，获得果实采摘控制策略规划模型。
优选的，基于视觉识别的采摘机器人控制方法，还包括：
步骤S5：当采摘机器人进行采摘时，进行采摘机器人采摘冲突介入处理；
其中，进行采摘机器人冲突介入处理，包括：
实时获取采摘机器人的当前位置和当前采摘姿态；
获取预设的机器人分布初始三维模型，将所述当前位置和所述当前采摘姿态映射于所述机器人分布初始三维模型中，获得机器人分布动态三维模型；
当所述机器人分布动态三维模型中任意两个第二机器人模型之间的距离小于等于预设的距离阈值时，将对应两个第二机器人模型分别作为第三机器人模型和第四机器人模型；
依次设定模拟目标，所述模拟目标包括：第三机器人模型和第四机器人模型；
获取所述模拟目标即将执行的多个第一动作，同时，获取所述第一动作的执行先后顺序；
基于所述执行先后顺序，控制所述模拟目标在所述机器人分布动态三维模型中模拟依次执行对应所述第一动作；
获取预设的采摘冲突事件捕捉模型，基于所述采摘冲突事件捕捉模型，常数捕捉所述机器人分布动态三维模型中发生的采摘冲突事件；
若捕捉成功，对捕捉到的采摘冲突事件进行内容解析，获取冲突值；
若所述冲突值大于等于预设的冲突值阈值，从捕捉到的采摘冲突事件中提取冲突时间点、冲突点位和冲突动作局部模型；
获取所述第三机器人模型的第一执行优先级，同时，获取所述第四机器人模型的第二执行优先级；
若所述第一执行优先级大于等于所述第二执行优先级，将所述第四机器人作为调整目标，否则，将所述第三机器人作为调整目标；
从所述环境三维模型中确定对应于所述冲突点位的目标点位；
从所述环境三维模型中提取所述目标点位周边预设的范围内的局部环境模型；
获取所述调整目标在所述冲突时间点执行的所述第一动作，并作为第二动作；
获取预设的动作避让修正模型，将所述局部环境模型、冲突动作局部模型输入至所述动作避让修正模型，基于所述动作避让修正模型，对所述第二动作进行动作避让修正，获得第三动作；
将所述第二动作和所述第三动作进行配对组合，获得变更组；
基于所述变更组，对控制所述调整目标对应的采摘机器人基于的第一果实采摘控制策略进行相应变更，获得第三果实采摘控制策略；
基于所述第三果实采摘控制策略对所述调整目标对应的采摘机器人进行接力控制。
本发明实施例提供的一种基于视觉识别的采摘机器人控制系统，包括：
第一控制模块，用于获取种植分布图，基于所述种植分布图，控制采摘机器人前往适宜的采摘区域；
第二控制模块，用于当采摘机器人抵达所述采摘区域时，控制采摘机器人采集所述采摘区域的环境深度图像；
规划模块，用于基于所述环境深度图像，规划适宜的第一果实采摘控制策略；
第三控制模块，用于基于所述第一果实采摘控制策略，控制采摘机器人进行相应果实采摘。
优选的，所述第一控制模块执行如下操作：
获取采摘机器人的采摘类型；
从所述种植分布图中确定对应于所述采摘类型的至少一个目标种植区域；
获取所述目标种植区域的采摘机器人剩余容纳量；
若所述剩余容纳量大于等于1，将对应所述目标种植区域作为适宜的采摘区域，并控制采摘机器人前往，同时，对所述采摘机器人剩余容纳量进行相应更新。
优选的，所述规划模块执行如下操作：
基于所述环境深度图像，构建环境三维模型；
基于三维物体识别技术，识别所述环境三维模型中的各个三维物体的物体类型；
基于所述物体类型，获取所述环境三维模型的果实分布信息；
训练果实采摘控制策略规划模型，将所述果实分布信息输入至所述果实采摘控制策略规划模型，获得适宜的第一果实采摘控制策略，完成获取。
优选的，所述规划模块执行如下操作：
获取采摘机器人的机器人型号；
获取对应于所述机器人型号的多个第一果实采摘控制策略规划事件；
对所述第一果实采摘控制策略规划事件进行溯源，获得溯源结果；
对所述溯源结果进行内容解析，获得事件来源和担保方；
获取所述事件来源的信用度，同时，获取所述担保方对所述事件来源进行担保的担保度；
若所述信用度小于等于预设的信用度阈值和/或所述担保度小于等于预设的担保度阈值，剔除对应所述第一果实采摘控制策略规划事件；
当需要剔除的所述第一果实采摘控制策略规划事件均剔除后，将剔除剩余的所述第一果实采摘控制策略规划事件作为第二果实采摘控制策略规划事件；
获取对所述第二果实采摘控制策略规划事件进行溯源的溯源过程；
对所述溯源过程进行过程拆解并按过程先后顺序进行排序，获得溯源过程序列；
从所述溯源过程序列中随机选取第一溯源过程项；
对所述第一溯源过程项进行特征提取，获得多个第一过程特征；
获取预设的过程触发特征库，将所述第一过程特征与所述过程触发特征库中的第一过程触发特征进行匹配，若匹配符合，将对应所述第一溯源过程项作为第二溯源过程项，将其余所述第一溯源过程项作为所述第三溯源过程项，同时，将匹配符合的第一过程触发特征作为第二过程触发特征；
获取所述第二过程触发特征对应的至少一个联合校验信息，所述联合校验信息包括：筛选特征和风险校验策略；
将所述第三溯源过程项对应的第一过程特征作为第二过程特征；
将所述第二过程特征与所述筛选特征进行匹配，若匹配符合，将对应所述第三溯源过程项作为第四溯源过程项；
整合所述第二溯源过程项和所述第四溯源过程项，获得局部溯源过程；
基于所述风险校验策略，对所述局部溯源过程进行风险校验；
若校验不通过，剔除对应所述第二果实采摘控制策略规划事件；
当需要剔除的所述第二果实采摘控制策略规划事件均剔除后，将剔除剩余的所述第二果实采摘控制策略规划事件作为第三果实采摘控制策略规划事件；
从所述第三果实采摘控制策略规划事件中提取应对的采摘场景和规划的第二果实采摘控制策略；
获取预设的采摘模拟空间，将所述采摘场景映射于所述采摘模拟空间内；
获取对应于采摘机器人的预设的第一机器人模型，将所述第一机器人模型映射于所述采摘模拟空间内；
基于所述第二果实采摘控制策略，控制所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘；
获取预设的采摘不合理事件捕捉模型，基于所述采摘不合理事件捕捉模型，尝试捕捉所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘时发生的采摘不合理事件；
若捕捉成功，对捕捉到的采摘不合理事件进行内容解析，获取不合理值；
若所述不合理值小于等于预设的不合理值阈值，获取预设的果实采摘控制策略修正模型，将对应所述采摘不合理事件输入至所述果实采摘控制策略修正模型，基于所述果实采摘控制策略修正模型，对所述第二果实采摘控制策略进行相应修正；
当所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘结束时，若未捕捉到采摘不合理事件，将对应所述第三果实采摘控制策略规划事件作为第四果实采摘控制策略规划事件；
否则，汇总产生的所述不合理值，获得不合理值和；
若所述不合理值和大于等于预设的不合理值和阈值，剔除对应所述第三果实采摘控制策略规划事件；
否则，将修正后的第二果实采摘控制策略替换所述第三果实采摘控制策略规划事件中的第二果实采摘控制策略，获得第五果实采摘控制策略规划事件；
获取预设的神经网络模型，将所述第四果实采摘控制策略规划事件和所述第五果实采摘控制策略规划事件输入至所述神经网络模型中进行模型训练，获得果实采摘控制策略规划模型。
优选的，基于视觉识别的采摘机器人控制系统，还包括：
冲突处理模块，用于当采摘机器人进行采摘时，进行采摘机器人采摘冲突介入处理；
所述冲突处理模块执行如下操作：
实时获取采摘机器人的当前位置和当前采摘姿态；
获取预设的机器人分布初始三维模型，将所述当前位置和所述当前采摘姿态映射于所述机器人分布初始三维模型中，获得机器人分布动态三维模型；
当所述机器人分布动态三维模型中任意两个第二机器人模型之间的距离小于等于预设的距离阈值时，将对应两个第二机器人模型分别作为第三机器人模型和第四机器人模型；
依次设定模拟目标，所述模拟目标包括：第三机器人模型和第四机器人模型；
获取所述模拟目标即将执行的多个第一动作，同时，获取所述第一动作的执行先后顺序；
基于所述执行先后顺序，控制所述模拟目标在所述机器人分布动态三维模型中模拟依次执行对应所述第一动作；
获取预设的采摘冲突事件捕捉模型，基于所述采摘冲突事件捕捉模型，常数捕捉所述机器人分布动态三维模型中发生的采摘冲突事件；
若捕捉成功，对捕捉到的采摘冲突事件进行内容解析，获取冲突值；
若所述冲突值大于等于预设的冲突值阈值，从捕捉到的采摘冲突事件中提取冲突时间点、冲突点位和冲突动作局部模型；
获取所述第三机器人模型的第一执行优先级，同时，获取所述第四机器人模型的第二执行优先级；
若所述第一执行优先级大于等于所述第二执行优先级，将所述第四机器人作为调整目标，否则，将所述第三机器人作为调整目标；
从所述环境三维模型中确定对应于所述冲突点位的目标点位；
从所述环境三维模型中提取所述目标点位周边预设的范围内的局部环境模型；
获取所述调整目标在所述冲突时间点执行的所述第一动作，并作为第二动作；
获取预设的动作避让修正模型，将所述局部环境模型、冲突动作局部模型输入至所述动作避让修正模型，基于所述动作避让修正模型，对所述第二动作进行动作避让修正，获得第三动作；
将所述第二动作和所述第三动作进行配对组合，获得变更组；
基于所述变更组，对控制所述调整目标对应的采摘机器人基于的第一果实采摘控制策略进行相应变更，获得第三果实采摘控制策略；
基于所述第三果实采摘控制策略对所述调整目标对应的采摘机器人进行接力控制。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于视觉识别的采摘机器人控制方法的示意图；
图2为本发明实施例中又一基于视觉识别的采摘机器人控制方法的示意图；
图3为本发明实施例中一种基于视觉识别的采摘机器人控制系统的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于视觉识别的采摘机器人控制方法，如图1所示，包括：
步骤S1：获取种植分布图，基于所述种植分布图，控制采摘机器人前往适宜的采摘区域；
步骤S2：当采摘机器人抵达所述采摘区域时，控制采摘机器人采集所述采摘区域的环境深度图像；
步骤S3：基于所述环境深度图像，规划适宜的第一果实采摘控制策略；
步骤S4：基于所述第一果实采摘控制策略，控制采摘机器人进行相应果实采摘。
上述技术方案的工作原理及有益效果为：
获取种植分布图(果园地图，地图上标记着不同区域种植的果蔬类型等)；基于种植分布图，控制采摘机器人前往适宜的采摘区域(例如：若采摘机器人为草莓采摘机器人，控制其前往种植分布图中种植草莓的地方进行采摘工作即可)；当采摘机器人抵达采摘区域时，控制采摘机器人采集采摘区域的深度环境图像(例如：果树深度图像，在采摘机器人上设置至少一个深度相机即可进行采集)；基于环境深度图像，规划适宜的第一果实采摘控制策略(例如：确定成熟的果实的分布位置，控制采摘机器人依次进行采摘)，并对采摘机器人进行相应控制；
本发明实施例基于种植分布图，控制采摘机器人前往适宜的采摘区域，当采摘机器人抵达采摘区域时，基于环境深度图像，规划适宜的第一果实采摘控制策略，并对采摘机器人进行相应控制，无需人工设定采摘任务，极大程度上降低了人力成本，提升了采摘效率，针对综合性果园，具有更强的适用性。
本发明实施例提供了一种基于视觉识别的采摘机器人控制方法，所述步骤S1中，基于所述种植分布图，控制采摘机器人前往适宜的采摘区域，包括：
获取采摘机器人的采摘类型；
从所述种植分布图中确定对应于所述采摘类型的至少一个目标种植区域；
获取所述目标种植区域的采摘机器人剩余容纳量；
若所述剩余容纳量大于等于1，将对应所述目标种植区域作为适宜的采摘区域，并控制采摘机器人前往，同时，对所述采摘机器人剩余容纳量进行相应更新。
上述技术方案的工作原理及有益效果为：
获取采摘机器人的采摘类型(例如：柑橘、草莓和苹果等)，确定种植分布图中对应于采摘类型的目标种植区域(例如：柑橘种植区域)；获取目标种植区域的采摘机器人的剩余容纳量(一般为了避免采摘机器人采摘时肢体发生碰撞以及采摘资源浪费，一个区域内最多只能设置n个采摘机器人，n为正整数)；若剩余容纳量大于等于1，说明对应目标种植区域可以分配前往；并对剩余容纳量进行更新(例如：之前的剩余容纳量为2，更新为1)。
本发明实施例提供了一种基于视觉识别的采摘机器人控制方法，所述步骤S3，基于所述环境深度图像，规划适宜的第一果实采摘控制策略，包括：
基于所述环境深度图像，构建环境三维模型；
基于三维物体识别技术，识别所述环境三维模型中的各个三维物体的物体类型；
基于所述物体类型，获取所述环境三维模型的果实分布信息；
训练果实采摘控制策略规划模型，将所述果实分布信息输入至所述果实采摘控制策略规划模型，获得适宜的第一果实采摘控制策略，完成获取。
上述技术方案的工作原理及有益效果为：
基于环境深度图像，构建环境三维模型(深度图像包含三维信息，可构建三维模型)；识别环境三维模型中各个三维物体的物体类型(例如：树干、树枝、喷洒设备、成熟90％果实和成熟76％果实【成熟度可以基于颜色识别、纹理识别等】等)；基于物体类型，获取果实分布信息(不同成熟程度的果实分布在果树上的各个位置)；将果实分布信息输入至果实采摘控制策略规划模型，规划出适宜的第一果实采摘控制策略。
本发明实施例提供了一种基于视觉识别的采摘机器人控制方法，训练果实采摘控制策略规划模型，包括：
获取采摘机器人的机器人型号；
获取对应于所述机器人型号的多个第一果实采摘控制策略规划事件；
对所述第一果实采摘控制策略规划事件进行溯源，获得溯源结果；
对所述溯源结果进行内容解析，获得事件来源和担保方；
获取所述事件来源的信用度，同时，获取所述担保方对所述事件来源进行担保的担保度；
若所述信用度小于等于预设的信用度阈值和/或所述担保度小于等于预设的担保度阈值，剔除对应所述第一果实采摘控制策略规划事件；
当需要剔除的所述第一果实采摘控制策略规划事件均剔除后，将剔除剩余的所述第一果实采摘控制策略规划事件作为第二果实采摘控制策略规划事件；
获取对所述第二果实采摘控制策略规划事件进行溯源的溯源过程；
对所述溯源过程进行过程拆解并按过程先后顺序进行排序，获得溯源过程序列；
从所述溯源过程序列中随机选取第一溯源过程项；
对所述第一溯源过程项进行特征提取，获得多个第一过程特征；
获取预设的过程触发特征库，将所述第一过程特征与所述过程触发特征库中的第一过程触发特征进行匹配，若匹配符合，将对应所述第一溯源过程项作为第二溯源过程项，将其余所述第一溯源过程项作为所述第三溯源过程项，同时，将匹配符合的第一过程触发特征作为第二过程触发特征；
获取所述第二过程触发特征对应的至少一个联合校验信息，所述联合校验信息包括：筛选特征和风险校验策略；
将所述第三溯源过程项对应的第一过程特征作为第二过程特征；
将所述第二过程特征与所述筛选特征进行匹配，若匹配符合，将对应所述第三溯源过程项作为第四溯源过程项；
整合所述第二溯源过程项和所述第四溯源过程项，获得局部溯源过程；
基于所述风险校验策略，对所述局部溯源过程进行风险校验；
若校验不通过，剔除对应所述第二果实采摘控制策略规划事件；
当需要剔除的所述第二果实采摘控制策略规划事件均剔除后，将剔除剩余的所述第二果实采摘控制策略规划事件作为第三果实采摘控制策略规划事件；
从所述第三果实采摘控制策略规划事件中提取应对的采摘场景和规划的第二果实采摘控制策略；
获取预设的采摘模拟空间，将所述采摘场景映射于所述采摘模拟空间内；
获取对应于采摘机器人的预设的第一机器人模型，将所述第一机器人模型映射于所述采摘模拟空间内；
基于所述第二果实采摘控制策略，控制所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘；
获取预设的采摘不合理事件捕捉模型，基于所述采摘不合理事件捕捉模型，尝试捕捉所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘时发生的采摘不合理事件；
若捕捉成功，对捕捉到的采摘不合理事件进行内容解析，获取不合理值；
若所述不合理值小于等于预设的不合理值阈值，获取预设的果实采摘控制策略修正模型，将对应所述采摘不合理事件输入至所述果实采摘控制策略修正模型，基于所述果实采摘控制策略修正模型，对所述第二果实采摘控制策略进行相应修正；
当所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘结束时，若未捕捉到采摘不合理事件，将对应所述第三果实采摘控制策略规划事件作为第四果实采摘控制策略规划事件；
否则，汇总产生的所述不合理值，获得不合理值和；
若所述不合理值和大于等于预设的不合理值和阈值，剔除对应所述第三果实采摘控制策略规划事件；
否则，将修正后的第二果实采摘控制策略替换所述第三果实采摘控制策略规划事件中的第二果实采摘控制策略，获得第五果实采摘控制策略规划事件；
获取预设的神经网络模型，将所述第四果实采摘控制策略规划事件和所述第五果实采摘控制策略规划事件输入至所述神经网络模型中进行模型训练，获得果实采摘控制策略规划模型。
上述技术方案的工作原理及有益效果为：
训练果实采摘控制策略规划模型时，需要获取训练样本即第一果实采摘控制策略规划事件(人工进行果实采摘控制策略规划的记录)；为了确保果实采摘控制策略规划模型训练的成熟度及智能程度足够，需要获取大量的第一果实采摘控制策略规划事件，因此，需要对第一果实采摘控制策略规划事件的来源进行细致验证；对第一果实采摘控制策略规划事件进行溯源，获取溯源结果中的事件来源(例如：某共享平台)和担保方(为了保证真实性，事件来源在发布事件时，需要担保方进行担保)；获取事件来源的信用度(例如：可基于某共享平台的共享内容整体真实性进行评价，信用度越高，整体真实性越高)；获取担保方对事件来源进行担保(例如：设置担保金额等)的担保值(担保值越大，担保力度越大)；若信用度较小和/或担保度较小，说明对应第一果实采摘控制策略规划事件不可信，应予剔除；但是，第一果实采摘控制策略规划事件一般均是由第三方(例如：某数据收集平台)提供，第三方提供的来源不一定可信，因此，对第一果实采摘控制策略规划事件进行溯源的溯源过程(例如：提取第一果实采摘控制策略规划事件中的关键词，基于关键词在互联网中进行关键词搜索，将搜索结果与第一果实采摘控制策略规划事件依次对比筛选，在筛选时，还需基于搜索结果的发布时间，确定首发平台，从而确定事件来源)比较复杂；对溯源过程进行过程拆解并按过程先后进行排序获得溯源过程序列，从中选取第一溯源过程项，提取出第一过程特征；将第一过程特征与过程触发特征库(包含大量溯源过程存在风险的特征【例如：跳转至第三方链接】的数据库)中的第一过程触发特征进行匹配，若匹配符合，说明对应第二溯源过程项存在风险；获取匹配符合的第二过程触发特征(第二过程触发特征只是风险线索，因溯源过程之间存在关联性，需结合风险线索进行综合校验)对应的联合校验信息，联合校验信息包含筛选特征(风险线索对应的供筛选用的特征，筛选出可能存在风险线索对应风险的溯源过程)，将其余第三溯源过程项对应第二过程特征与筛选特征进行匹配，进行筛选，筛选出第四溯源过程项；整合第二溯源过程项和第四溯源过程项(按执行先后顺序进行排序)，获得局部溯源过程；基于风险校验策略(例如：校验各个过程中第三方链接是否存在恶意行为【篡改数据等】)，对局部溯源过程进行风险校验；若校验不通过，说明对应第二果实采摘控制策略规划事件的溯源结果不可信，应予剔除；对第一果实采摘控制策略规划事件的来源进行细致验证后，还需对内容进行细致验证；从剔除剩余的第三果实采摘控制策略规划事件中的应对的采摘场景(例如：什么位置分布了什么成熟程度的果实)和第二果实采摘控制策略(控制采摘机器人如何进行采摘)；将采摘场景映射于采摘模拟空间(一种虚拟空间)内(在虚拟空间内配置采摘场景)；基于第二果实采摘控制策略，控制第一机器人模型在采摘模拟空间内模拟进行相应采摘，基于预设的采摘不合理事件捕捉模型(利用机器学习算法对大量人工捕捉采摘不合理事件的记录进行学习后生成的模型)，捕捉采摘不合理事件(例如：采摘一个足够成熟的果实后，移动较远距离，采摘其它果实，没有采摘就近的成熟果实；又例如：采摘成熟度不足的果实；又例如：剪茎位置过于靠后或过于靠前)；对采摘不合理事件进行内容解析，获取不合理值，不合理值越大，第二果实采摘控制策略的不合理性越大；若不合理值较小，第二果实采摘控制策略存在修正的空间，基于预设的果实采摘控制策略修正模型(利用机器学习算法对大量人工基于不合理事件对果实采摘控制策略进行相应修正的记录进行学习后生成的模型)，对所述第二果实采摘控制策略进行修正；若汇总(求和计算)的不合理值和过大时，第二果实采摘控制策略不存在修正的空间，剔除对应第三果实采摘控制策略规划事件；否则，将修正后的第二果实采摘控制策略替换原第二果实采摘控制策略，获得第五果实采摘控制策略规划事件；若均未捕捉到采摘不合理事件，说明对应第四果实采摘控制策略规划事件合理；将第四果实采摘控制策略规划事件和第五果实采摘控制策略规划事件输入至神经网络模型中进行训练即可获得果实采摘控制策略规划模型；
本发明实施例训练果实采摘控制策略规划模型，将果实分布信息输入至果实采摘控制策略规划模型中即可获得适宜的第一果实采摘控制策略，基于第一果实采摘控制策略，对采摘机器人进行控制即可，极大程度上提升了采摘控制效率；同时，在训练果实采摘控制策略规划模型时，对训练样本的来源和内容分别进行细致化验证，既保证了训练样本的充足性，也保证训练样本的质量，提升了果实采摘控制策略规划模型的成熟度和智能程度。
本发明实施例提供了一种基于视觉识别的采摘机器人控制方法，获取所述事件来源的信用度，包括：
获取所述事件来源的信用信息；
获取预设的评价模板集，所述评价模板集包括：多个评价模板；
基于所述评价模板，对所述信用信息进行多次评价，获得多个评价值；
获取所述评价模板的模板权重；
基于所述评价值和所述模板权重，计算所述事件来源的信用度，计算公式如下：
Figure BDA0003408142830000181
Figure BDA0003408142830000182
其中，γ为所述事件来源的信用度，σt为中间变量，at,J为基于第t个评价模板对所述事件来源的信用信息进行多次评价后获得的第J个评价值，Ht为基于第t个评价模板对所述事件来源的信用信息进行多次评价后获得的评价值的总数目，εt为第t个评价模板对应的模板权重，ε0为预设的模板权重阈值，L为评价模板的总数目。
上述技术方案的工作原理及有益效果为：
获取事件来源的信用信息(真实性评估结果、评价信息等)；基于评价模板(评价模板中包含多个评价指标，使用评价指标进行评价即可)，对信用信息进行多次评价(避免偶然误差)，获得评价值，评价值越高，事件来源的信用越高；评价模板对应有模板权重，模板权重越高，使用对应评价模板进行评价时获得的评价值越可信；基于评价值和模板权重，计算信用度，即可完成获取；提升了事件来源的信用度的获取效率；
公式中，评价值at,J应与信用度γ呈正相关，模板权重εt也应与信用度γ呈正相关；设置中间变量σt，当模板权重εt过小即εt＜ε0时，使用对应评价模板进行评价时获得的评价值不可信，赋予中间变量σt的值为0，设置合理。
本发明实施例提供了一种基于视觉识别的采摘机器人控制方法，如图2所示，还包括：
步骤S5：当采摘机器人进行采摘时，进行采摘机器人采摘冲突介入处理；
其中，进行采摘机器人冲突介入处理，包括：
实时获取采摘机器人的当前位置和当前采摘姿态；
获取预设的机器人分布初始三维模型，将所述当前位置和所述当前采摘姿态映射于所述机器人分布初始三维模型中，获得机器人分布动态三维模型；
当所述机器人分布动态三维模型中任意两个第二机器人模型之间的距离小于等于预设的距离阈值时，将对应两个第二机器人模型分别作为第三机器人模型和第四机器人模型；
依次设定模拟目标，所述模拟目标包括：第三机器人模型和第四机器人模型；
获取所述模拟目标即将执行的多个第一动作，同时，获取所述第一动作的执行先后顺序；
基于所述执行先后顺序，控制所述模拟目标在所述机器人分布动态三维模型中模拟依次执行对应所述第一动作；
获取预设的采摘冲突事件捕捉模型，基于所述采摘冲突事件捕捉模型，常数捕捉所述机器人分布动态三维模型中发生的采摘冲突事件；
若捕捉成功，对捕捉到的采摘冲突事件进行内容解析，获取冲突值；
若所述冲突值大于等于预设的冲突值阈值，从捕捉到的采摘冲突事件中提取冲突时间点、冲突点位和冲突动作局部模型；
获取所述第三机器人模型的第一执行优先级，同时，获取所述第四机器人模型的第二执行优先级；
若所述第一执行优先级大于等于所述第二执行优先级，将所述第四机器人作为调整目标，否则，将所述第三机器人作为调整目标；
从所述环境三维模型中确定对应于所述冲突点位的目标点位；
从所述环境三维模型中提取所述目标点位周边预设的范围内的局部环境模型；
获取所述调整目标在所述冲突时间点执行的所述第一动作，并作为第二动作；
获取预设的动作避让修正模型，将所述局部环境模型、冲突动作局部模型输入至所述动作避让修正模型，基于所述动作避让修正模型，对所述第二动作进行动作避让修正，获得第三动作；
将所述第二动作和所述第三动作进行配对组合，获得变更组；
基于所述变更组，对控制所述调整目标对应的采摘机器人基于的第一果实采摘控制策略进行相应变更，获得第三果实采摘控制策略；
基于所述第三果实采摘控制策略对所述调整目标对应的采摘机器人进行接力控制。
上述技术方案的工作原理及有益效果为：
采摘机器人进行采摘时，可能会发生采摘冲突(例如：肢体碰撞、采摘同一点位的果实等)，需要及时进行介入处理；获取采摘机器人的当前位置和当前采摘姿态(机器人的肢体姿态)；将当前位置和当前采摘姿态映射于预设的机器人分布初始三维模型(包含多个机器人模型，等待被赋予位置和姿态)中，获得机器人分布动态三维模型；当机器人分布动态三维模型中任意两个第二机器人模型之间的距离过小时，两者可能发生采摘冲突，分别作为第三机器人模型和第四机器人模型，并依次设定模拟目标，获取模拟目标即将执行的多个第一动作和执行第一动作的执行先后顺序，基于执行先后顺序，控制模拟目标执行对应第一动作(可确定动作的完成需要机器人关节如何移动，基于关节移动的平均速度等进行模拟，第三机器人模型和第四机器人模型同时进行模拟)；基于预设的采摘冲突事件捕捉模型(利用机器学习算法对大量人工捕捉机器人采摘过程中发生采摘冲突事件的记录进行学习后生成的模型)，常数捕捉采摘冲突事件；若捕捉成功，对捕捉到的采摘冲突事件进行内容解析，获取冲突值，冲突值越大，采摘冲突事件的严重程度越高；若冲突值较大(冲突值较小，例如：两采摘机器人只是履带发生一点摩擦，不需要介入)，需要进行介入；提取采摘冲突事件中的冲突时间点、冲突点位(机器人分布动态三维模型中某点位)和冲突动作局部模型(例如：冲突事件为机器人的肢体碰撞，冲突动作局部模型即为机器人分布动态三维模型中机器人的发生肢体碰撞的部位的模型)；获取执行优先级(例如：一些采摘任务需要加急完成，执行优先级则高)，将执行优先级较小的一方作为调整目标；确定环境三维模型中对应于冲突点位的目标点位，提取目标点位周边预设的范围内的局部环境模型，同时，获取调整目标冲突时间点正在执行的第二动作；将局部环境模型、冲突动作局部模型输入至预设的动作避让修正模型(利用机器学习算法对大量人工基于冲突点位周边环境和冲突动作【既要保证与周边环境没有冲突，例如：不碰到树干，也要保证能够使冲突化解】对原始动作进行修正的记录进行学习后生成的模型)，对第二动作进行避让动作修正，获得第三动作；将第二动作和第三动作进行组合，获得变更组【第二动作变更为第三动作】；基于变更组，对控制调整目标对应的采摘机器人基于的第一果实采摘控制策略进行相应变更，全部变更后，获得第三果实采摘控制策略；基于获得第三果实采摘控制策略，对相应采摘机器人进行接力控制，完成介入，实现避让；
一般的，为了防止采摘机器人在作业中产生冲突，会严格控制采摘机器人之间的距离，但是，为节约成本，综合性果园的种植大多较为密集，土地利用率较高，采摘机器人在同时进行采摘工作时，极大可能会产生采摘冲突，若只是严格控制采摘机器人之间的距离，不仅会降低采摘效率，更降低了采摘质量(例如：两种植区域采摘机器人分布同时进行作业，严格控制距离，种植区域交界处不一定能够采摘充分)；本发明实施例首先构建机器人分布动态三维模型，确定是否存在距离较近的采摘机器人，若是，基于采摘机器人接下来要执行的动作在机器人分布动态三维模型中进行模拟，捕捉采摘冲突事件，对需要避让的调整目标进行相应动作修正，可以实现采摘机器人靠近时不产生冲突，提升了了采摘效率和采摘质量，同时，也更具有适用性。
本发明实施例提供了一种基于视觉识别的采摘机器人控制系统，如图3所示，包括：
第一控制模块1，用于获取种植分布图，基于所述种植分布图，控制采摘机器人前往适宜的采摘区域；
第二控制模块2，用于当采摘机器人抵达所述采摘区域时，控制采摘机器人采集所述采摘区域的环境深度图像；
规划模块3，用于基于所述环境深度图像，规划适宜的第一果实采摘控制策略；
第三控制模块4，用于基于所述第一果实采摘控制策略，控制采摘机器人进行相应果实采摘。
本发明实施例提供了一种基于视觉识别的采摘机器人控制系统，所述第一控制模块1执行如下操作：
获取采摘机器人的采摘类型；
从所述种植分布图中确定对应于所述采摘类型的至少一个目标种植区域；
获取所述目标种植区域的采摘机器人剩余容纳量；
若所述剩余容纳量大于等于1，将对应所述目标种植区域作为适宜的采摘区域，并控制采摘机器人前往，同时，对所述采摘机器人剩余容纳量进行相应更新。
本发明实施例提供了一种基于视觉识别的采摘机器人控制系统，所述规划模块3执行如下操作：
基于所述环境深度图像，构建环境三维模型；
基于三维物体识别技术，识别所述环境三维模型中的各个三维物体的物体类型；
基于所述物体类型，获取所述环境三维模型的果实分布信息；
训练果实采摘控制策略规划模型，将所述果实分布信息输入至所述果实采摘控制策略规划模型，获得适宜的第一果实采摘控制策略，完成获取。
本发明实施例提供了一种基于视觉识别的采摘机器人控制系统，所述规划模块3执行如下操作：
获取采摘机器人的机器人型号；
获取对应于所述机器人型号的多个第一果实采摘控制策略规划事件；
对所述第一果实采摘控制策略规划事件进行溯源，获得溯源结果；
对所述溯源结果进行内容解析，获得事件来源和担保方；
获取所述事件来源的信用度，同时，获取所述担保方对所述事件来源进行担保的担保度；
若所述信用度小于等于预设的信用度阈值和/或所述担保度小于等于预设的担保度阈值，剔除对应所述第一果实采摘控制策略规划事件；
当需要剔除的所述第一果实采摘控制策略规划事件均剔除后，将剔除剩余的所述第一果实采摘控制策略规划事件作为第二果实采摘控制策略规划事件；
获取对所述第二果实采摘控制策略规划事件进行溯源的溯源过程；
对所述溯源过程进行过程拆解并按过程先后顺序进行排序，获得溯源过程序列；
从所述溯源过程序列中随机选取第一溯源过程项；
对所述第一溯源过程项进行特征提取，获得多个第一过程特征；
获取预设的过程触发特征库，将所述第一过程特征与所述过程触发特征库中的第一过程触发特征进行匹配，若匹配符合，将对应所述第一溯源过程项作为第二溯源过程项，将其余所述第一溯源过程项作为所述第三溯源过程项，同时，将匹配符合的第一过程触发特征作为第二过程触发特征；
获取所述第二过程触发特征对应的至少一个联合校验信息，所述联合校验信息包括：筛选特征和风险校验策略；
将所述第三溯源过程项对应的第一过程特征作为第二过程特征；
将所述第二过程特征与所述筛选特征进行匹配，若匹配符合，将对应所述第三溯源过程项作为第四溯源过程项；
整合所述第二溯源过程项和所述第四溯源过程项，获得局部溯源过程；
基于所述风险校验策略，对所述局部溯源过程进行风险校验；
若校验不通过，剔除对应所述第二果实采摘控制策略规划事件；
当需要剔除的所述第二果实采摘控制策略规划事件均剔除后，将剔除剩余的所述第二果实采摘控制策略规划事件作为第三果实采摘控制策略规划事件；
从所述第三果实采摘控制策略规划事件中提取应对的采摘场景和规划的第二果实采摘控制策略；
获取预设的采摘模拟空间，将所述采摘场景映射于所述采摘模拟空间内；
获取对应于采摘机器人的预设的第一机器人模型，将所述第一机器人模型映射于所述采摘模拟空间内；
基于所述第二果实采摘控制策略，控制所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘；
获取预设的采摘不合理事件捕捉模型，基于所述采摘不合理事件捕捉模型，尝试捕捉所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘时发生的采摘不合理事件；
若捕捉成功，对捕捉到的采摘不合理事件进行内容解析，获取不合理值；
若所述不合理值小于等于预设的不合理值阈值，获取预设的果实采摘控制策略修正模型，将对应所述采摘不合理事件输入至所述果实采摘控制策略修正模型，基于所述果实采摘控制策略修正模型，对所述第二果实采摘控制策略进行相应修正；
当所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘结束时，若未捕捉到采摘不合理事件，将对应所述第三果实采摘控制策略规划事件作为第四果实采摘控制策略规划事件；
否则，汇总产生的所述不合理值，获得不合理值和；
若所述不合理值和大于等于预设的不合理值和阈值，剔除对应所述第三果实采摘控制策略规划事件；
否则，将修正后的第二果实采摘控制策略替换所述第三果实采摘控制策略规划事件中的第二果实采摘控制策略，获得第五果实采摘控制策略规划事件；
获取预设的神经网络模型，将所述第四果实采摘控制策略规划事件和所述第五果实采摘控制策略规划事件输入至所述神经网络模型中进行模型训练，获得果实采摘控制策略规划模型。
本发明实施例提供了一种基于视觉识别的采摘机器人控制方法，所述规划模块3执行如下操作：
获取所述事件来源的信用信息；
获取预设的评价模板集，所述评价模板集包括：多个评价模板；
基于所述评价模板，对所述信用信息进行多次评价，获得多个评价值；
获取所述评价模板的模板权重；
基于所述评价值和所述模板权重，计算所述事件来源的信用度，计算公式如下：
Figure BDA0003408142830000251
Figure BDA0003408142830000252
其中，γ为所述事件来源的信用度，σt为中间变量，αt,J为基于第t个评价模板对所述事件来源的信用信息进行多次评价后获得的第J个评价值，Ht为基于第t个评价模板对所述事件来源的信用信息进行多次评价后获得的评价值的总数目，εt为第t个评价模板对应的模板权重，ε0为预设的模板权重阈值，L为评价模板的总数目。
本发明实施例提供了一种基于视觉识别的采摘机器人控制系统，还包括：
冲突处理模块，用于当采摘机器人进行采摘时，进行采摘机器人采摘冲突介入处理；
所述冲突处理模块执行如下操作：
实时获取采摘机器人的当前位置和当前采摘姿态；
获取预设的机器人分布初始三维模型，将所述当前位置和所述当前采摘姿态映射于所述机器人分布初始三维模型中，获得机器人分布动态三维模型；
当所述机器人分布动态三维模型中任意两个第二机器人模型之间的距离小于等于预设的距离阈值时，将对应两个第二机器人模型分别作为第三机器人模型和第四机器人模型；
依次设定模拟目标，所述模拟目标包括：第三机器人模型和第四机器人模型；
获取所述模拟目标即将执行的多个第一动作，同时，获取所述第一动作的执行先后顺序；
基于所述执行先后顺序，控制所述模拟目标在所述机器人分布动态三维模型中模拟依次执行对应所述第一动作；
获取预设的采摘冲突事件捕捉模型，基于所述采摘冲突事件捕捉模型，常数捕捉所述机器人分布动态三维模型中发生的采摘冲突事件；
若捕捉成功，对捕捉到的采摘冲突事件进行内容解析，获取冲突值；
若所述冲突值大于等于预设的冲突值阈值，从捕捉到的采摘冲突事件中提取冲突时间点、冲突点位和冲突动作局部模型；
获取所述第三机器人模型的第一执行优先级，同时，获取所述第四机器人模型的第二执行优先级；
若所述第一执行优先级大于等于所述第二执行优先级，将所述第四机器人作为调整目标，否则，将所述第三机器人作为调整目标；
从所述环境三维模型中确定对应于所述冲突点位的目标点位；
从所述环境三维模型中提取所述目标点位周边预设的范围内的局部环境模型；
获取所述调整目标在所述冲突时间点执行的所述第一动作，并作为第二动作；
获取预设的动作避让修正模型，将所述局部环境模型、冲突动作局部模型输入至所述动作避让修正模型，基于所述动作避让修正模型，对所述第二动作进行动作避让修正，获得第三动作；
将所述第二动作和所述第三动作进行配对组合，获得变更组；
基于所述变更组，对控制所述调整目标对应的采摘机器人基于的第一果实采摘控制策略进行相应变更，获得第三果实采摘控制策略；
基于所述第三果实采摘控制策略对所述调整目标对应的采摘机器人进行接力控制。
上述技术方案的工作原理及有益效果在方法权利要求中已经说明，不再赘述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于视觉识别的采摘机器人控制方法，其特征在于，包括：
步骤S1：获取种植分布图，基于所述种植分布图，控制采摘机器人前往适宜的采摘区域；
步骤S2：当采摘机器人抵达所述采摘区域时，控制采摘机器人采集所述采摘区域的环境深度图像；
步骤S3：基于所述环境深度图像，规划适宜的第一果实采摘控制策略；
步骤S4：基于所述第一果实采摘控制策略，控制采摘机器人进行相应果实采摘。
2.如权利要求1所述的一种基于视觉识别的采摘机器人控制方法，其特征在于，所述步骤S1中，基于所述种植分布图，控制采摘机器人前往适宜的采摘区域，包括：
获取采摘机器人的采摘类型；
从所述种植分布图中确定对应于所述采摘类型的至少一个目标种植区域；
获取所述目标种植区域的采摘机器人剩余容纳量；
若所述剩余容纳量大于等于1，将对应所述目标种植区域作为适宜的采摘区域，并控制采摘机器人前往，同时，对所述采摘机器人剩余容纳量进行相应更新。
3.如权利要求1所述的一种基于视觉识别的采摘机器人控制方法，其特征在于，所述步骤S3，基于所述环境深度图像，规划适宜的第一果实采摘控制策略，包括：
基于所述环境深度图像，构建环境三维模型；
基于三维物体识别技术，识别所述环境三维模型中的各个三维物体的物体类型；
基于所述物体类型，获取所述环境三维模型的果实分布信息；
训练果实采摘控制策略规划模型，将所述果实分布信息输入至所述果实采摘控制策略规划模型，获得适宜的第一果实采摘控制策略，完成获取。
4.如权利要求1所述的一种基于视觉识别的采摘机器人控制方法，其特征在于，训练果实采摘控制策略规划模型，包括：
获取采摘机器人的机器人型号；
获取对应于所述机器人型号的多个第一果实采摘控制策略规划事件；
对所述第一果实采摘控制策略规划事件进行溯源，获得溯源结果；
对所述溯源结果进行内容解析，获得事件来源和担保方；
获取所述事件来源的信用度，同时，获取所述担保方对所述事件来源进行担保的担保度；
若所述信用度小于等于预设的信用度阈值和/或所述担保度小于等于预设的担保度阈值，剔除对应所述第一果实采摘控制策略规划事件；
当需要剔除的所述第一果实采摘控制策略规划事件均剔除后，将剔除剩余的所述第一果实采摘控制策略规划事件作为第二果实采摘控制策略规划事件；
获取对所述第二果实采摘控制策略规划事件进行溯源的溯源过程；
对所述溯源过程进行过程拆解并按过程先后顺序进行排序，获得溯源过程序列；
从所述溯源过程序列中随机选取第一溯源过程项；
对所述第一溯源过程项进行特征提取，获得多个第一过程特征；
获取预设的过程触发特征库，将所述第一过程特征与所述过程触发特征库中的第一过程触发特征进行匹配，若匹配符合，将对应所述第一溯源过程项作为第二溯源过程项，将其余所述第一溯源过程项作为所述第三溯源过程项，同时，将匹配符合的第一过程触发特征作为第二过程触发特征；
获取所述第二过程触发特征对应的至少一个联合校验信息，所述联合校验信息包括：筛选特征和风险校验策略；
将所述第三溯源过程项对应的第一过程特征作为第二过程特征；
将所述第二过程特征与所述筛选特征进行匹配，若匹配符合，将对应所述第三溯源过程项作为第四溯源过程项；
整合所述第二溯源过程项和所述第四溯源过程项，获得局部溯源过程；
基于所述风险校验策略，对所述局部溯源过程进行风险校验；
若校验不通过，剔除对应所述第二果实采摘控制策略规划事件；
当需要剔除的所述第二果实采摘控制策略规划事件均剔除后，将剔除剩余的所述第二果实采摘控制策略规划事件作为第三果实采摘控制策略规划事件；
从所述第三果实采摘控制策略规划事件中提取应对的采摘场景和规划的第二果实采摘控制策略；
获取预设的采摘模拟空间，将所述采摘场景映射于所述采摘模拟空间内；
获取对应于采摘机器人的预设的第一机器人模型，将所述第一机器人模型映射于所述采摘模拟空间内；
基于所述第二果实采摘控制策略，控制所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘；
获取预设的采摘不合理事件捕捉模型，基于所述采摘不合理事件捕捉模型，尝试捕捉所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘时发生的采摘不合理事件；
若捕捉成功，对捕捉到的采摘不合理事件进行内容解析，获取不合理值；
若所述不合理值小于等于预设的不合理值阈值，获取预设的果实采摘控制策略修正模型，将对应所述采摘不合理事件输入至所述果实采摘控制策略修正模型，基于所述果实采摘控制策略修正模型，对所述第二果实采摘控制策略进行相应修正；
当所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘结束时，若未捕捉到采摘不合理事件，将对应所述第三果实采摘控制策略规划事件作为第四果实采摘控制策略规划事件；
否则，汇总产生的所述不合理值，获得不合理值和；
若所述不合理值和大于等于预设的不合理值和阈值，剔除对应所述第三果实采摘控制策略规划事件；
否则，将修正后的第二果实采摘控制策略替换所述第三果实采摘控制策略规划事件中的第二果实采摘控制策略，获得第五果实采摘控制策略规划事件；
获取预设的神经网络模型，将所述第四果实采摘控制策略规划事件和所述第五果实采摘控制策略规划事件输入至所述神经网络模型中进行模型训练，获得果实采摘控制策略规划模型。
5.如权利要求3所述的一种基于视觉识别的采摘机器人控制方法，其特征在于，还包括：
步骤S5：当采摘机器人进行采摘时，进行采摘机器人采摘冲突介入处理；
其中，进行采摘机器人冲突介入处理，包括：
实时获取采摘机器人的当前位置和当前采摘姿态；
获取预设的机器人分布初始三维模型，将所述当前位置和所述当前采摘姿态映射于所述机器人分布初始三维模型中，获得机器人分布动态三维模型；
当所述机器人分布动态三维模型中任意两个第二机器人模型之间的距离小于等于预设的距离阈值时，将对应两个第二机器人模型分别作为第三机器人模型和第四机器人模型；
依次设定模拟目标，所述模拟目标包括：第三机器人模型和第四机器人模型；
获取所述模拟目标即将执行的多个第一动作，同时，获取所述第一动作的执行先后顺序；
基于所述执行先后顺序，控制所述模拟目标在所述机器人分布动态三维模型中模拟依次执行对应所述第一动作；
获取预设的采摘冲突事件捕捉模型，基于所述采摘冲突事件捕捉模型，常数捕捉所述机器人分布动态三维模型中发生的采摘冲突事件；
若捕捉成功，对捕捉到的采摘冲突事件进行内容解析，获取冲突值；
若所述冲突值大于等于预设的冲突值阈值，从捕捉到的采摘冲突事件中提取冲突时间点、冲突点位和冲突动作局部模型；
获取所述第三机器人模型的第一执行优先级，同时，获取所述第四机器人模型的第二执行优先级；
若所述第一执行优先级大于等于所述第二执行优先级，将所述第四机器人作为调整目标，否则，将所述第三机器人作为调整目标；
从所述环境三维模型中确定对应于所述冲突点位的目标点位；
从所述环境三维模型中提取所述目标点位周边预设的范围内的局部环境模型；
获取所述调整目标在所述冲突时间点执行的所述第一动作，并作为第二动作；
获取预设的动作避让修正模型，将所述局部环境模型、冲突动作局部模型输入至所述动作避让修正模型，基于所述动作避让修正模型，对所述第二动作进行动作避让修正，获得第三动作；
将所述第二动作和所述第三动作进行配对组合，获得变更组；
基于所述变更组，对控制所述调整目标对应的采摘机器人基于的第一果实采摘控制策略进行相应变更，获得第三果实采摘控制策略；
基于所述第三果实采摘控制策略对所述调整目标对应的采摘机器人进行接力控制。
6.一种基于视觉识别的采摘机器人控制系统，其特征在于，包括：
第一控制模块，用于获取种植分布图，基于所述种植分布图，控制采摘机器人前往适宜的采摘区域；
第二控制模块，用于当采摘机器人抵达所述采摘区域时，控制采摘机器人采集所述采摘区域的环境深度图像；
规划模块，用于基于所述环境深度图像，规划适宜的第一果实采摘控制策略；
第三控制模块，用于基于所述第一果实采摘控制策略，控制采摘机器人进行相应果实采摘。
7.如权利要求6所述的一种基于视觉识别的采摘机器人控制系统，其特征在于，所述第一控制模块执行如下操作：
获取采摘机器人的采摘类型；
从所述种植分布图中确定对应于所述采摘类型的至少一个目标种植区域；
获取所述目标种植区域的采摘机器人剩余容纳量；
若所述剩余容纳量大于等于1，将对应所述目标种植区域作为适宜的采摘区域，并控制采摘机器人前往，同时，对所述采摘机器人剩余容纳量进行相应更新。
8.如权利要求6所述的一种基于视觉识别的采摘机器人控制系统，其特征在于，所述规划模块执行如下操作：
基于所述环境深度图像，构建环境三维模型；
基于三维物体识别技术，识别所述环境三维模型中的各个三维物体的物体类型；
基于所述物体类型，获取所述环境三维模型的果实分布信息；
训练果实采摘控制策略规划模型，将所述果实分布信息输入至所述果实采摘控制策略规划模型，获得适宜的第一果实采摘控制策略，完成获取。
9.如权利要求6所述的一种基于视觉识别的采摘机器人控制系统，其特征在于，所述规划模块执行如下操作：
获取采摘机器人的机器人型号；
获取对应于所述机器人型号的多个第一果实采摘控制策略规划事件；
对所述第一果实采摘控制策略规划事件进行溯源，获得溯源结果；
对所述溯源结果进行内容解析，获得事件来源和担保方；
获取所述事件来源的信用度，同时，获取所述担保方对所述事件来源进行担保的担保度；
若所述信用度小于等于预设的信用度阈值和/或所述担保度小于等于预设的担保度阈值，剔除对应所述第一果实采摘控制策略规划事件；
当需要剔除的所述第一果实采摘控制策略规划事件均剔除后，将剔除剩余的所述第一果实采摘控制策略规划事件作为第二果实采摘控制策略规划事件；
获取对所述第二果实采摘控制策略规划事件进行溯源的溯源过程；
对所述溯源过程进行过程拆解并按过程先后顺序进行排序，获得溯源过程序列；
从所述溯源过程序列中随机选取第一溯源过程项；
对所述第一溯源过程项进行特征提取，获得多个第一过程特征；
获取预设的过程触发特征库，将所述第一过程特征与所述过程触发特征库中的第一过程触发特征进行匹配，若匹配符合，将对应所述第一溯源过程项作为第二溯源过程项，将其余所述第一溯源过程项作为所述第三溯源过程项，同时，将匹配符合的第一过程触发特征作为第二过程触发特征；
获取所述第二过程触发特征对应的至少一个联合校验信息，所述联合校验信息包括：筛选特征和风险校验策略；
将所述第三溯源过程项对应的第一过程特征作为第二过程特征；
将所述第二过程特征与所述筛选特征进行匹配，若匹配符合，将对应所述第三溯源过程项作为第四溯源过程项；
整合所述第二溯源过程项和所述第四溯源过程项，获得局部溯源过程；
基于所述风险校验策略，对所述局部溯源过程进行风险校验；
若校验不通过，剔除对应所述第二果实采摘控制策略规划事件；
当需要剔除的所述第二果实采摘控制策略规划事件均剔除后，将剔除剩余的所述第二果实采摘控制策略规划事件作为第三果实采摘控制策略规划事件；
从所述第三果实采摘控制策略规划事件中提取应对的采摘场景和规划的第二果实采摘控制策略；
获取预设的采摘模拟空间，将所述采摘场景映射于所述采摘模拟空间内；
获取对应于采摘机器人的预设的第一机器人模型，将所述第一机器人模型映射于所述采摘模拟空间内；
基于所述第二果实采摘控制策略，控制所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘；
获取预设的采摘不合理事件捕捉模型，基于所述采摘不合理事件捕捉模型，尝试捕捉所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘时发生的采摘不合理事件；
若捕捉成功，对捕捉到的采摘不合理事件进行内容解析，获取不合理值；
若所述不合理值小于等于预设的不合理值阈值，获取预设的果实采摘控制策略修正模型，将对应所述采摘不合理事件输入至所述果实采摘控制策略修正模型，基于所述果实采摘控制策略修正模型，对所述第二果实采摘控制策略进行相应修正；
当所述第一机器人模型在所述采摘模拟空间内模拟进行果实采摘结束时，若未捕捉到采摘不合理事件，将对应所述第三果实采摘控制策略规划事件作为第四果实采摘控制策略规划事件；
否则，汇总产生的所述不合理值，获得不合理值和；
若所述不合理值和大于等于预设的不合理值和阈值，剔除对应所述第三果实采摘控制策略规划事件；
否则，将修正后的第二果实采摘控制策略替换所述第三果实采摘控制策略规划事件中的第二果实采摘控制策略，获得第五果实采摘控制策略规划事件；
获取预设的神经网络模型，将所述第四果实采摘控制策略规划事件和所述第五果实采摘控制策略规划事件输入至所述神经网络模型中进行模型训练，获得果实采摘控制策略规划模型。
10.如权利要求6所述的一种基于视觉识别的采摘机器人控制系统，其特征在于，还包括：
冲突处理模块，用于当采摘机器人进行采摘时，进行采摘机器人采摘冲突介入处理；
所述冲突处理模块执行如下操作：
实时获取采摘机器人的当前位置和当前采摘姿态；
获取预设的机器人分布初始三维模型，将所述当前位置和所述当前采摘姿态映射于所述机器人分布初始三维模型中，获得机器人分布动态三维模型；
当所述机器人分布动态三维模型中任意两个第二机器人模型之间的距离小于等于预设的距离阈值时，将对应两个第二机器人模型分别作为第三机器人模型和第四机器人模型；
依次设定模拟目标，所述模拟目标包括：第三机器人模型和第四机器人模型；
获取所述模拟目标即将执行的多个第一动作，同时，获取所述第一动作的执行先后顺序；
基于所述执行先后顺序，控制所述模拟目标在所述机器人分布动态三维模型中模拟依次执行对应所述第一动作；
获取预设的采摘冲突事件捕捉模型，基于所述采摘冲突事件捕捉模型，常数捕捉所述机器人分布动态三维模型中发生的采摘冲突事件；
若捕捉成功，对捕捉到的采摘冲突事件进行内容解析，获取冲突值；
若所述冲突值大于等于预设的冲突值阈值，从捕捉到的采摘冲突事件中提取冲突时间点、冲突点位和冲突动作局部模型；
获取所述第三机器人模型的第一执行优先级，同时，获取所述第四机器人模型的第二执行优先级；
若所述第一执行优先级大于等于所述第二执行优先级，将所述第四机器人作为调整目标，否则，将所述第三机器人作为调整目标；
从所述环境三维模型中确定对应于所述冲突点位的目标点位；
从所述环境三维模型中提取所述目标点位周边预设的范围内的局部环境模型；
获取所述调整目标在所述冲突时间点执行的所述第一动作，并作为第二动作；
获取预设的动作避让修正模型，将所述局部环境模型、冲突动作局部模型输入至所述动作避让修正模型，基于所述动作避让修正模型，对所述第二动作进行动作避让修正，获得第三动作；
将所述第二动作和所述第三动作进行配对组合，获得变更组；
基于所述变更组，对控制所述调整目标对应的采摘机器人基于的第一果实采摘控制策略进行相应变更，获得第三果实采摘控制策略；
基于所述第三果实采摘控制策略对所述调整目标对应的采摘机器人进行接力控制。
CN202111522323.3A 2021-12-13 2021-12-13 一种基于视觉识别的采摘机器人控制方法及系统 Active CN114179104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111522323.3A CN114179104B (zh) 2021-12-13 2021-12-13 一种基于视觉识别的采摘机器人控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111522323.3A CN114179104B (zh) 2021-12-13 2021-12-13 一种基于视觉识别的采摘机器人控制方法及系统

Publications (2)

Publication Number Publication Date
CN114179104A true CN114179104A (zh) 2022-03-15
CN114179104B CN114179104B (zh) 2022-07-08

Family

ID=80604842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111522323.3A Active CN114179104B (zh) 2021-12-13 2021-12-13 一种基于视觉识别的采摘机器人控制方法及系统

Country Status (1)

Country Link
CN (1) CN114179104B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114924513A (zh) * 2022-06-07 2022-08-19 中迪机器人(盐城)有限公司 一种多机器人协同控制系统及方法
CN115122334A (zh) * 2022-07-27 2022-09-30 中迪机器人(盐城)有限公司 一种操作机器人的控制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341693A (zh) * 2018-11-06 2019-02-15 大国创新智能科技(东莞)有限公司 基于大数据和深度学习的娱乐场所导航方法和系统
US20200221649A1 (en) * 2019-01-11 2020-07-16 Chin-Min HUNG Method, system for remotely growing plants, computer program product for implementing the method, and farming tool assembly
CN111602517A (zh) * 2020-05-28 2020-09-01 华南农业大学 一种串型水果分布式视觉主动感知方法及其应用
CN112136505A (zh) * 2020-09-07 2020-12-29 华南农业大学 一种基于视觉选择注意机制的水果采摘顺序规划方法
US20200404845A1 (en) * 2018-11-13 2020-12-31 Mycionics Inc. System and Method for Autonomous Harvesting of Mushrooms

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341693A (zh) * 2018-11-06 2019-02-15 大国创新智能科技(东莞)有限公司 基于大数据和深度学习的娱乐场所导航方法和系统
US20200404845A1 (en) * 2018-11-13 2020-12-31 Mycionics Inc. System and Method for Autonomous Harvesting of Mushrooms
US20200221649A1 (en) * 2019-01-11 2020-07-16 Chin-Min HUNG Method, system for remotely growing plants, computer program product for implementing the method, and farming tool assembly
CN111602517A (zh) * 2020-05-28 2020-09-01 华南农业大学 一种串型水果分布式视觉主动感知方法及其应用
CN112136505A (zh) * 2020-09-07 2020-12-29 华南农业大学 一种基于视觉选择注意机制的水果采摘顺序规划方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘健: "基于深度学习的溯源视频目标检测与识别", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114924513A (zh) * 2022-06-07 2022-08-19 中迪机器人(盐城)有限公司 一种多机器人协同控制系统及方法
CN115122334A (zh) * 2022-07-27 2022-09-30 中迪机器人(盐城)有限公司 一种操作机器人的控制方法及系统
CN115122334B (zh) * 2022-07-27 2023-06-06 中迪机器人(盐城)有限公司 一种操作机器人的控制方法及系统

Also Published As

Publication number Publication date
CN114179104B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN114179104B (zh) 一种基于视觉识别的采摘机器人控制方法及系统
Wu et al. Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms
Zhou et al. A novel greenhouse-based system for the detection and plumpness assessment of strawberry using an improved deep learning technique
Basri et al. Faster R-CNN implementation method for multi-fruit detection using tensorflow platform
CN107516127A (zh) 服务机器人自主获取人穿携物品归属语义的方法及系统
Makanapura et al. Classification of plant seedlings using deep convolutional neural network architectures
Liu et al. A novel and high precision tomato maturity recognition algorithm based on multi-level deep residual network
CN109214426A (zh) 一种物体外观检测的方法及深度神经网络模型
Hsieh et al. Fruit maturity and location identification of beef tomato using R-CNN and binocular imaging technology
CN114846998A (zh) 基于YOLOv4算法的双目机器人的番茄采摘方法及系统
CN103793054B (zh) 一种模拟陈述性记忆过程的动作识别方法
Wang et al. Apple rapid recognition and processing method based on an improved version of YOLOv5
Kutyrev et al. Recognition and Classification Apple Fruits Based on a Convolutional Neural Network Model.
Mangaonkar et al. Fruit harvesting robot using computer vision
CN108280516B (zh) 一种多组卷积神经网络之间互博智能进化的优化方法
Beegam et al. Hybrid consensus and recovery block-based detection of ripe coffee cherry bunches using RGB-D sensor
Ortiz-Zacarias et al. Simulation of an Automated Sorting System for Peruvian mangoes based on computer vision
CN116612386A (zh) 基于分级检测双任务模型的辣椒病虫害识别方法及系统
CN116994244A (zh) 一种基于Yolov8的柑橘树体果实产量评估方法
CN110555343B (zh) 典型资源要素中林、灌、草三要素提取方法和系统
Aljaafreh et al. A Real-Time Olive Fruit Detection for Harvesting Robot Based on YOLO Algorithms
Raja et al. Simultaneously Predicting Multiple Plant Traits from Multiple Sensors via Deformable CNN Regression
Chiatti et al. Surgical fine-tuning for Grape Bunch Segmentation under Visual Domain Shifts
Austria et al. EZM-AI: A Yolov5 machine vision inference approach of the philippine corn leaf diseases detection system
CN112487909A (zh) 一种基于并联卷积神经网络的水果品种识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Liu Wei

Inventor after: Zhou Tingyu

Inventor after: Xu Zhihao

Inventor after: Cheng Jin

Inventor before: Liu Wei

Inventor before: Cheng Jin

Inventor before: Zhou Tingyu

Inventor before: Xu Zhihao

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230904

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Address before: 224000 Room 401, building 1, No. 20, Xinyuan Road, Xinyi Community, Xinhe sub district office, Yannan high tech Zone, Yancheng City, Jiangsu Province

Patentee before: YANCHENG INSTITUTE OF TECHNOLOGY

Patentee before: Yancheng Institute of Technology Technology Transfer Center Co.,Ltd.

Effective date of registration: 20230904

Address after: 230000 B-2704, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee after: HEFEI LONGZHI ELECTROMECHANICAL TECHNOLOGY Co.,Ltd.

Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee before: Dragon totem Technology (Hefei) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240422

Address after: Unit 103, 1st Floor, Building 8, Yunli Intelligent Park, No. 7 Changfa Middle Road, Yangmei Community, Bantian Street, Longgang District, Shenzhen City, Guangdong Province, 518000

Patentee after: Shenzhen Weier Technology Co.,Ltd.

Country or region after: China

Address before: 230000 B-2704, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee before: HEFEI LONGZHI ELECTROMECHANICAL TECHNOLOGY Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right