CN110328662B - 基于图像识别的路径规划方法及装置 - Google Patents

基于图像识别的路径规划方法及装置 Download PDF

Info

Publication number
CN110328662B
CN110328662B CN201910553335.9A CN201910553335A CN110328662B CN 110328662 B CN110328662 B CN 110328662B CN 201910553335 A CN201910553335 A CN 201910553335A CN 110328662 B CN110328662 B CN 110328662B
Authority
CN
China
Prior art keywords
binding
points
image
current area
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910553335.9A
Other languages
English (en)
Other versions
CN110328662A (zh
Inventor
张伟民
李明珠
孙尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Haribit Intelligent Technology Co ltd
Original Assignee
Beijing Haribit Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Haribit Intelligent Technology Co ltd filed Critical Beijing Haribit Intelligent Technology Co ltd
Priority to CN201910553335.9A priority Critical patent/CN110328662B/zh
Publication of CN110328662A publication Critical patent/CN110328662A/zh
Application granted granted Critical
Publication of CN110328662B publication Critical patent/CN110328662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了一种基于图像识别的路径规划方法及装置。该申请的方法包括绑扎机器人获取当前区域的图像，所述当前区域为绑扎机器人在当前方位能够识别到的钢筋绑扎区域；根据所述当前区域的图像确定当前区域是否满足绑扎点全部被绑扎；若满足，则确定绑扎机器人达到当前方位的边界，并按预设方向旋转后获取新的当前区域的图像；若不满足，则控制机械臂对未绑扎点进行绑扎，并在绑扎完成后前进继续获取新的当前区域的图像。本申请解决绑扎机器人如何自动进行路线规划，准确的完成钢筋绑扎点的绑扎问题。

Description

基于图像识别的路径规划方法及装置
技术领域
本申请涉及机器人技术领域，具体而言，涉及一种基于图像识别的路径规划方法及装置。
背景技术
在实际的建筑施工中，为了后期更好的、更安全的施工，在施工初期需要对钢筋结构进行绑扎。具体的，对钢筋绑扎较快捷的实现方式为通过机器人进行绑扎。为了在绑扎的过程中，实现全面的无人工干预，就需要绑扎机器人自动进行路线的规划，准确的完成所有钢筋绑扎点的绑扎。
针对上述绑扎机器人自动进行路线的规划，准确的完成所有钢筋绑扎点的绑扎，目前没有相关的解决方案。
发明内容
本申请的主要目的在于提供一种基于图像识别的路径规划方法，以解决绑扎机器人如何自动进行路线规划，准确的完成钢筋绑扎点的绑扎问题。
为了实现上述目的，根据本申请的第一方面，提供了一种基于图像识别的路径规划方法。
根据本申请的基于图像识别的路径规划方法包括：
绑扎机器人获取当前区域的图像，所述当前区域为绑扎机器人在当前方位能够识别到的钢筋绑扎区域；
根据所述当前区域的图像确定当前区域是否满足绑扎点全部被绑扎；
若满足，则确定绑扎机器人达到当前方位的边界，并按预设方向旋转后获取新的当前区域的图像；
若不满足，则控制机械臂对未绑扎点进行绑扎，并在绑扎完成后前进继续获取新的当前区域的图像。
进一步的，所述方法还包括：
绑扎机器人每次旋转预定角度；
当绑扎机器人在连续旋转达到360度后，则确定绑扎机器人周围区域全部完成绑扎，绑扎结束。
进一步的，所述根据所述当前区域的图像确定当前区域是否满足绑扎点全部被绑扎包括：
基于神经网络模型对所述图像进行识别，确定所述图像中已绑扎点的数量；
计算识别率，所述识别率为已绑扎点的数量与所述图像中所有绑扎点的数量之比；
根据识别率确定当前区域是否满足绑扎点全部被绑扎。
进一步的，所述根据识别率确定当前区域是否满足绑扎点全部被绑扎包括：
将所述识别率与预设值比较；
若识别率小于预设值，则确定当前区域不满足绑扎点全部被绑扎；
若识别率大于等于预设值，则确定当前区域满足绑扎点全部被绑扎。
进一步的，所述基于神经网络模型对所述图像进行识别，确定所述图像中已绑扎点的数量包括：
基于卷积神经网络模型对所述图像进行分类识别，确定已绑扎点和未绑扎点；
统计已绑扎点的数量。
进一步的，所述方法还包括：
确定所述图像中边界点的坐标；
根据边界点的坐标以及钢筋间距计算所述图像中所有绑扎点的数量。
为了实现上述目的，根据本申请的第二方面，提供了一种基于图像识别的路径规划装置。
根据本申请的基于图像识别的路径规划装置包括：
获取单元，用于绑扎机器人获取当前区域的图像，所述当前区域为绑扎机器人在当前方位能够识别到的钢筋绑扎区域；
第一确定单元，用于根据所述当前区域的图像确定当前区域是否满足绑扎点全部被绑扎；
旋转单元，用于若满足，则确定绑扎机器人达到当前方位的边界，并按预设方向旋转后获取新的当前区域的图像；
控制单元，用于若不满足，则控制机械臂对未绑扎点进行绑扎，并在绑扎完成后前进继续获取新的当前区域的图像。
进一步的，所述装置还包括：
所述旋转单元，还用于绑扎机器人每次旋转预定角度；
第二确定单元，用于当绑扎机器人在连续旋转达到360度后，则确定绑扎机器人周围区域全部完成绑扎，绑扎结束。
进一步的，所述第一确定单元包括：
识别模块，用于基于神经网络模型对所述图像进行识别，确定所述图像中已绑扎点的数量；
计算模块，用于计算识别率，所述识别率为已绑扎点的数量与所述图像中所有绑扎点的数量之比；
确定模块，用于根据识别率确定当前区域是否满足绑扎点全部被绑扎。
进一步的，所述确定模块，用于：
将所述识别率与预设值比较；
若识别率小于预设值，则确定当前区域不满足绑扎点全部被绑扎；
若识别率大于等于预设值，则确定当前区域满足绑扎点全部被绑扎。
进一步的，所述识别模块，用于：
基于卷积神经网络模型对所述图像进行分类识别，确定已绑扎点和未绑扎点；
统计已绑扎点的数量。
进一步的，所述装置还包括：
第三确定单元，用于确定所述图像中边界点的坐标；
计算单元，用于根据边界点的坐标以及钢筋间距计算所述图像中所有绑扎点的数量。
为了实现上述目的，根据本申请的第三方面，提供了一种电子设备，包括：
至少一个处理器；
以及与所述处理器连接的至少一个存储器、总线；其中，
所述处理器、存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行第一方面中任一项所述的基于图像识别的路径规划方法。
为了实现上述目的，根据本申请的第四方面，提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述第一方面中任一项所述的基于图像识别的路径规划方法。
在本申请实施例中，基于图像识别的路径规划方法和装置中，绑扎机器人首先获取当前区域的图像，当前区域为绑扎机器人在当前方位能够识别到的钢筋绑扎区域；然后，根据当前区域的图像确定当前区域是否满足绑扎点全部被绑扎；若满足，则确定绑扎机器人达到当前方位的边界，并按预设方向旋转后获取新的当前区域的图像；若不满足，则控制机械臂对未绑扎点进行绑扎，并在绑扎完成后前进继续获取新的当前区域的图像。可以看出，若绑扎机器人从待绑扎区域的外围开始使用本申请的方法，能够在绑扎机器人对钢筋绑扎的过程中，根据图像识别技术，实现当绑扎机器人到达边界后自动旋转，从外围向内部一圈一圈进行绑扎，直到完成全部绑扎为止，实现了在绑扎全过程的无人工干预，并且保证了全部被绑扎的技术效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的一种基于图像识别的路径规划方法的流程图；
图2是根据本申请实施例提供的一种绑扎机器人绑扎路径的示意图；
图3是根据本申请实施例提供的另一种基于图像识别的路径规划方法的流程图；
图4是根据本申请实施例提供的计算当前区域的图像中所有绑扎点的数量时对应的示例图；
图5根据本申请实施例提供的一种基于图像识别的路径规划装置的组成框图；
图6是根据本申请实施例提供的另一种基于图像识别的路径规划装置的组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本申请实施例，提供了一种基于图像识别的路径规划的方法，如图1所示，该方法包括如下的步骤S101至步骤S104：
S101.绑扎机器人获取当前区域的图像。
当前区域为绑扎机器人在当前方位能够识别到的钢筋绑扎区域。绑扎机器人获取当前区域的图像是通过绑扎机器人机架上的摄像头获取的。需要说明的是，对于一个全新的待绑扎区域，绑扎机器人首先会将最外层的绑扎点进行绑扎，然后再从次层绑扎点开始执行本实施例中基于图像识别的路径规划的方法。
S102.根据当前区域的图像确定当前区域是否满足绑扎点全部被绑扎。
根据当前区域的图像确定当前区域是否满足绑扎点全部被绑扎的实现过程为：通过图像识别，确定图像中的钢筋的已绑扎点；根据已绑扎点判断是否满足当前区域全部被绑扎。在实际应用中，判断是否满足当前区域全部被绑扎时，判断的条件可以为当前区域中所有的绑扎点是否都完成绑扎，也可以设置一个绑扎完成比例，当超过绑扎完成比例时可以认定为满足全部被绑扎。
S103.若满足，则确定绑扎机器人达到当前方位的边界，并按预设方向旋转后获取新的当前区域的图像。
当前方位的边界表示在绑扎机器人在当前方位下还没有进行绑扎之前，当前区域已经满足全部绑扎，不需要要向前移动了。因此，对于前述步骤的判断结果，若当前区域满足绑扎点全部被绑扎，则确定绑扎机器人到达当前方位的边界，因此需要进行旋转，具体旋转的方向为预设方向。在实际应用中，预设方向为向左旋转90度或向右旋转90度，具体的向左或者向右与绑扎机器人的初始移动的方向相关，向左或向右判断的依据为保证旋转后绑扎机器人是向待绑扎区域内侧移动。
旋转后，绑扎机器人的方位发生变化，需要在新的方位下获取新的当前区域的图像，并继续进行获取当前区域的图像后的步骤。
S104.若不满足，则控制机械臂对未绑扎点进行绑扎，并在绑扎完成后前进继续获取新的当前区域的图像。
若当前区域不满足绑扎点全部被绑扎，则控制机器人的机械臂对未绑扎点进行绑扎。当完成绑扎后，继续前进并获取新的当前区域的图像，以重复执行获取当前区域的图像之后的步骤。直到完成待绑扎区域满足绑扎点全部被绑扎为止。
对于控制机械臂对未绑扎点进行绑扎的实现方法为：根据当前区域的图像确定未绑扎点的位置坐标；控制机械臂移动到未绑扎点；然后再由机械臂上的摄像头获取近距离的未绑扎点的图像信息；根据近距离的未绑扎点的图像信息中未绑扎点的精准位置控制机械臂进行位置的调整，使其移动到精准的未绑扎点位置；控制机械臂在精准的未绑扎点位置进行钢筋的绑扎。
为了对本实施例中基于图像识别的路径规划的方法进行直观的说明，本实施例给出一种绑扎机器人绑扎路径的示意图，如图2所示。其中，白色框区域为待绑扎区域，绑扎机器人按照从右上角开始进行绑扎，然后按照箭头方向进行移动，最终完成待绑扎区域的所有绑扎。
从以上的描述中，可以看出，本申请实施例中基于图像识别的路径规划方法中，绑扎机器人首先获取当前区域的图像，当前区域为绑扎机器人在当前方位能够识别到的钢筋绑扎区域；然后，根据当前区域的图像确定当前区域是否满足绑扎点全部被绑扎；若满足，则确定绑扎机器人达到当前方位的边界，并按预设方向旋转后获取新的当前区域的图像；若不满足，则控制机械臂对未绑扎点进行绑扎，并在绑扎完成后前进继续获取新的当前区域的图像。可以看出，若绑扎机器人从待绑扎区域的外围开始使用本申请的方法，能够在绑扎机器人对钢筋绑扎的过程中，根据图像识别技术，实现当绑扎机器人到达边界后自动旋转，从外围向内部一圈一圈进行绑扎，直到完成全部绑扎为止，实现了在绑扎全过程的无人工干预，并且保证了全部被绑扎的技术效果。
根据本申请另一实施例，提供了一种基于图像识别的路径规划方法，如图3所示，该方法包括：
S201.绑扎机器人获取当前区域的图像。
本步骤的实现方式可以参见图1步骤S101的实现方式，另外还需要补充的是，获取当前区域的图像的机架上的摄像头为深度摄像头，比如realsenseD435等其它种类或者其它型号的深度摄像头。采用深度摄像头，是为了获取更加准确的绑扎点的位置信息，保证绑扎的准确性。
S202.基于神经网络模型对图像进行识别，确定图像中的已绑扎点的数量。
本实施例中，神经网络模型具体为卷积神经网络模型，优选的，本实施例使用AlexNet神经网络模型，在实际的应用中，也可以使用ResNet或者VGGNet等其他的神经网络模型。
本实施例中的卷积神经网络模型需要提前进行训练得到，具体的以AlexNet神经网络模型为例进行训练的说明：1)确定训练样本。获取预设数量的包含钢筋绑扎点的图像；对每一个图像进行人工标注，标注出已绑扎点和未绑扎点，并且用不同的颜色或者形状进行已绑扎点和未绑扎点的区分。2)基于训练样本进行AlexNet神经网络模型的训练。在训练的过程中，为了保证训练神经网络的快速性，使用了线性整流函数，并对线性整流层的输出做了局部响应归一化的处理，这种处理是基于真实神经元的行为的启发，形成了一种横向抑制。为防止过度拟合造成绑扎识别对于不同环境的适应性变差，对训练样本进行了增益处理，即对图像进行了翻转，以及在神经网络的训练过程中采用Dropout的方法，随机的去掉一些神经元。最终得到的AlexNet神经网络模型的输入为包含绑扎点的图像，输出为标注出已绑扎点和未绑扎点的图像。
因此，基于卷积神经网络模型对图像进行分类识别，能够确定已绑扎点和未绑扎点；然后已绑扎点进行统计，得到已绑扎点的数量。
S203.计算识别率。
其中，识别率为已绑扎点的数量与图像中所有绑扎点的数量之比。已绑扎点的数量已经由步骤S202确定。对于图像中所有绑扎点的数量的计算过程为：确定图像中边界点的坐标；根据边界点的坐标以及钢筋间距计算图像中所有绑扎点的数量。给出具体的示例对图像中所有绑扎点的数量的计算过程进行说明：如图4所示，图像中边界点的坐标分别为(x0，y0)(x1，y1)(x2，y2)(x3，y3)；由此可以计算出当前区域的图像中所能识别出的绑扎点数的最大值Nmax＝((x1-x0)/dx+1)*((y2-y0)/dy-1)；其中dx、dy表示实际钢筋的间距；将上述最大值确定为本实施例中当前区域的图像中所有绑扎点的数量。
S204.根据识别率确定当前区域是否满足绑扎点全部被绑扎。
具体的，根据识别率确定当前区域是否满足绑扎点全部被绑扎的过程为：1)将识别率与预设值比较。其中预设值为自定义值，优选的，本实例中将预设值设为大于等于0.75小于1的值；2)根据比较结果，若识别率小于预设值，则确定当前区域不满足绑扎点全部被绑扎；若识别率大于等于预设值，则确定当前区域满足绑扎点全部被绑扎。
S205.若满足，则确定绑扎机器人达到当前方位的边界，并按预设方向旋转后获取新的当前区域的图像。
本步骤的实现方式与图1步骤S103的实现方式相同，此处不再赘述。
S206.若不满足，则控制机械臂对未绑扎点进行绑扎，并在绑扎完成后前进继续获取新的当前区域的图像。
本步骤的实现方式与图1步骤S104的实现方式相同，此处不再赘述。
另外，对于S104中关于“直到完成待绑扎区域满足绑扎点全部被绑扎为止”的判断原理为：当绑扎机器人在连续旋转达到360度后，则确定绑扎机器人周围区域全部完成绑扎，绑扎结束。即：绑扎机器人在完成当前区域的全部绑扎后旋转90度，获取新的当前区域的图像；确定新的当前区域的图像也满足全部被绑扎，然后继续旋转90度获取新的当前区域的图像；再次确定当前区域的图像也满足全部被绑扎，然后继续旋转90度获取新的当前区域的图像；再次确定当前区域的图像也满足全部被绑扎，继续旋转90度，此时绑扎机器人已经连续原地旋转360度，周围的区域已经都完成绑扎，此时绑扎结束。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述图1或图3所述方法的基于图像识别的路径规划装置，如图5所示，该装置包括：
获取单元31，用于绑扎机器人获取当前区域的图像，所述当前区域为绑扎机器人在当前方位能够识别到的钢筋绑扎区域；
第一确定单元32，用于根据所述当前区域的图像确定当前区域是否满足绑扎点全部被绑扎；
旋转单元33，用于若满足，则确定绑扎机器人达到当前方位的边界，并按预设方向旋转后获取新的当前区域的图像；
控制单元34，用于若不满足，则控制机械臂对未绑扎点进行绑扎，并在绑扎完成后前进继续获取新的当前区域的图像。
具体的，本申请实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。
从以上的描述中，可以看出，本申请实施例中基于图像识别的路径规划装置中绑扎机器人首先获取当前区域的图像，当前区域为绑扎机器人在当前方位能够识别到的钢筋绑扎区域；然后，根据当前区域的图像确定当前区域是否满足绑扎点全部被绑扎；若满足，则确定绑扎机器人达到当前方位的边界，并按预设方向旋转后获取新的当前区域的图像；若不满足，则控制机械臂对未绑扎点进行绑扎，并在绑扎完成后前进继续获取新的当前区域的图像。可以看出，若绑扎机器人从待绑扎区域的外围开始使用本申请的方法，能够在绑扎机器人对钢筋绑扎的过程中，根据图像识别技术，实现当绑扎机器人到达边界后自动旋转，从外围向内部一圈一圈进行绑扎，直到完成全部绑扎为止，实现了在绑扎全过程的无人工干预，并且保证了全部被绑扎的技术效果。
进一步的，如图6所示，所述装置还包括：
所述旋转单元33，还用于绑扎机器人每次旋转预定角度；
第二确定单元35，用于当绑扎机器人在连续旋转达到360度后，则确定绑扎机器人周围区域全部完成绑扎，绑扎结束。
进一步的，如图6所示，所述第一确定单元32包括：
识别模块321，用于基于神经网络模型对所述图像进行识别，确定所述图像中已绑扎点的数量；
计算模块322，用于计算识别率，所述识别率为已绑扎点的数量与所述图像中所有绑扎点的数量之比；
确定模块323，用于根据识别率确定当前区域是否满足绑扎点全部被绑扎。
进一步的，如图6所示，所述确定模块323，用于：
将所述识别率与预设值比较；
若识别率小于预设值，则确定当前区域不满足绑扎点全部被绑扎；
若识别率大于等于预设值，则确定当前区域满足绑扎点全部被绑扎。
进一步的，如图6所示，所述识别模块321，用于：
基于卷积神经网络模型对所述图像进行分类识别，确定已绑扎点和未绑扎点；
统计已绑扎点的数量。
进一步的，如图6所示，所述装置还包括：
第三确定单元36，用于确定所述图像中边界点的坐标；
计算单元37，用于根据边界点的坐标以及钢筋间距计算所述图像中所有绑扎点的数量。
具体的，本申请实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。
根据本申请实施例，还提供了一种电子设备，该电子设备包括：
至少一个处理器；
以及与所述处理器连接的至少一个存储器、总线；其中，
所述处理器、存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行上述图1或图3中所述的基于图像识别的路径规划方法。
根据本申请实施例，还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行图1或图3所述的基于图像识别的路径规划方法。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于图像识别的路径规划方法，其特征在于，所述方法包括：
绑扎机器人获取当前区域的图像，所述当前区域为绑扎机器人在当前方位能够识别到的钢筋绑扎区域；
根据所述当前区域的图像确定当前区域是否满足绑扎点全部被绑扎；
若满足，则确定绑扎机器人达到当前方位的边界，并按预设方向旋转后获取新的当前区域的图像；
若不满足，则控制机械臂对未绑扎点进行绑扎，并在绑扎完成后前进继续获取新的当前区域的图像；
所述根据所述当前区域的图像确定当前区域是否满足绑扎点全部被绑扎包括：基于AlexNet神经网络模型对图像进行识别，所述AlexNet神经网络模型的训练中使用线性整流函数以及Dropout；
所述基于AlexNet神经网络模型对图像进行识别包括：
确定训练样本，获取预设数量的包含钢筋绑扎点的图像；对每一个图像进行人工标注，标注出已绑扎点和未绑扎点，并且用不同的颜色或者形状进行已绑扎点和未绑扎点的区分；
基于训练样本进行AlexNet神经网络模型的训练，在训练过程中使用了线性整流函数，并对线性整流层的输出做了局部响应归一化的处理；对图像进行翻转增益处理，以及采用Dropout来去除一些神经元；保证最终得到的AlexNet神经网络模型的输入为包含绑扎点的图像，输出为标注出已绑扎点和未绑扎点的图像；
所述方法还包括：
绑扎机器人每次旋转预定角度；
当绑扎机器人在连续旋转达到360度后，则确定绑扎机器人周围区域全部完成绑扎，绑扎结束；
绑扎机器人首先会将最外层的绑扎点进行绑扎，然后再从次层绑扎点进行绑扎，直到完成全部绑扎为止。
2.根据权利要求1所述的基于图像识别的路径规划方法，其特征在于，所述根据所述当前区域的图像确定当前区域是否满足绑扎点全部被绑扎包括：
基于神经网络模型对所述图像进行识别，确定所述图像中已绑扎点的数量；
计算识别率，所述识别率为已绑扎点的数量与所述图像中所有绑扎点的数量之比；
根据识别率确定当前区域是否满足绑扎点全部被绑扎。
3.根据权利要求2所述的基于图像识别的路径规划方法，其特征在于，所述根据识别率确定当前区域是否满足绑扎点全部被绑扎包括：
将所述识别率与预设值比较；
若识别率小于预设值，则确定当前区域不满足绑扎点全部被绑扎；
若识别率大于等于预设值，则确定当前区域满足绑扎点全部被绑扎。
4.根据权利要求2所述的基于图像识别的路径规划方法，其特征在于，所述基于神经网络模型对所述图像进行识别，确定所述图像中已绑扎点的数量包括：
基于卷积神经网络模型对所述图像进行分类识别，确定已绑扎点和未绑扎点；
统计已绑扎点的数量。
5.根据权利要求2所述的基于图像识别的路径规划方法，其特征在于，所述方法还包括：
确定所述图像中边界点的坐标；
根据边界点的坐标以及钢筋间距计算所述图像中所有绑扎点的数量。
6.一种基于图像识别的路径规划装置，其特征在于，所述装置包括：
获取单元，用于绑扎机器人获取当前区域的图像，所述当前区域为绑扎机器人在当前方位能够识别到的钢筋绑扎区域；
第一确定单元，用于根据所述当前区域的图像确定当前区域是否满足绑扎点全部被绑扎；
旋转单元，用于若满足，则确定绑扎机器人达到当前方位的边界，并按预设方向旋转后获取新的当前区域的图像；
控制单元，用于若不满足，则控制机械臂对未绑扎点进行绑扎，并在绑扎完成后前进继续获取新的当前区域的图像；
所述根据所述当前区域的图像确定当前区域是否满足绑扎点全部被绑扎包括：基于AlexNet神经网络模型对图像进行识别，所述AlexNet神经网络模型的训练中使用线性整流函数以及Dropout；
所述基于AlexNet神经网络模型对图像进行识别包括：
确定训练样本，获取预设数量的包含钢筋绑扎点的图像；对每一个图像进行人工标注，标注出已绑扎点和未绑扎点，并且用不同的颜色或者形状进行已绑扎点和未绑扎点的区分；
基于训练样本进行AlexNet神经网络模型的训练，在训练过程中使用了线性整流函数，并对线性整流层的输出做了局部响应归一化的处理；对图像进行翻转增益处理，以及采用Dropout来去除一些神经元；保证最终得到的AlexNet神经网络模型的输入为包含绑扎点的图像，输出为标注出已绑扎点和未绑扎点的图像；
所述装置还包括：
所述旋转单元，还用于绑扎机器人每次旋转预定角度；
第二确定单元，用于当绑扎机器人在连续旋转达到360度后，则确定绑扎机器人周围区域全部完成绑扎，绑扎结束；
绑扎机器人首先会将最外层的绑扎点进行绑扎，然后再从次层绑扎点进行绑扎，直到完成全部绑扎为止。
7.一种电子设备，其特征在于，包括：
至少一个处理器；
以及与所述处理器连接的至少一个存储器、总线；其中，
所述处理器、存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行权利要求1至权利要求5中任一项所述的基于图像识别的路径规划方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至权利要求5中任一项所述的基于图像识别的路径规划方法。
CN201910553335.9A 2019-06-24 2019-06-24 基于图像识别的路径规划方法及装置 Active CN110328662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910553335.9A CN110328662B (zh) 2019-06-24 2019-06-24 基于图像识别的路径规划方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910553335.9A CN110328662B (zh) 2019-06-24 2019-06-24 基于图像识别的路径规划方法及装置

Publications (2)

Publication Number Publication Date
CN110328662A CN110328662A (zh) 2019-10-15
CN110328662B true CN110328662B (zh) 2021-06-22

Family

ID=68142366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910553335.9A Active CN110328662B (zh) 2019-06-24 2019-06-24 基于图像识别的路径规划方法及装置

Country Status (1)

Country Link
CN (1) CN110328662B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111504300B (zh) * 2020-04-13 2022-04-08 五邑大学 感知机器人的服务质量评价方法、装置和存储介质
CN114952850B (zh) * 2022-06-07 2023-03-24 中国建筑第八工程局有限公司 一种基于5g的带图像处理的钢筋自动绑扎机械臂
CN116225030B (zh) * 2023-05-09 2023-07-14 中铁九局集团有限公司 一种钢筋绑扎机器人的行走控制系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6531396B2 (ja) * 2015-01-14 2019-06-19 株式会社大林組 鉄筋結束方法、先組鉄筋及び鉄筋結束装置
CN105064690A (zh) * 2015-06-11 2015-11-18 淮南智辉装饰工程有限公司 全自动钢筋捆扎机
CN106096558B (zh) * 2016-06-16 2019-08-30 长安大学 一种基于神经网络的钢筋捆扎方法
CN106826815B (zh) * 2016-12-21 2019-05-31 江苏物联网研究发展中心 基于彩色图像与深度图像的目标物体识别与定位的方法
JP7066160B2 (ja) * 2017-08-23 2022-05-13 学校法人千葉工業大学 自走型鉄筋作業用ロボット、自走型鉄筋結束ロボット
CN108536933A (zh) * 2018-03-26 2018-09-14 何登富 一种自动布置钢筋的系统和方法
CN109250186A (zh) * 2018-09-05 2019-01-22 四川知创知识产权运营有限公司 一种钢筋智能识别系统
CN109094845A (zh) * 2018-09-05 2018-12-28 四川知创知识产权运营有限公司 一种钢筋捆绑对齐装置
CN109129488B (zh) * 2018-09-27 2021-12-28 南方电网电力科技股份有限公司 一种基于近地全局视觉的高空检修机器人定位方法及装置
CN109383865B (zh) * 2018-11-08 2023-11-03 中民筑友科技投资有限公司 一种绑扎机构及钢筋网片绑扎装置
CN109815950B (zh) * 2018-12-28 2020-08-21 汕头大学 一种基于深度卷积神经网络的钢筋端面识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"采用改进型AlexNet的辐射源目标个体识别方法";徐雄;《电讯技术》;20180630;第58卷(第6期);正文第625-630页 *
"面向大规模图像分类的深度卷积神经网络优化";白琮等;《软件学报》;20180430;第29卷(第4期);正文第1029-1036页 *

Also Published As

Publication number Publication date
CN110328662A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110328662B (zh) 基于图像识别的路径规划方法及装置
CN111015655B (zh) 机械臂抓取方法、装置、计算机可读存储介质及机器人
CN110850872A (zh) 机器人巡检方法、装置、计算机可读存储介质及机器人
CN112837371A (zh) 基于3d匹配的物体抓取方法、装置及计算设备
CN109002820A (zh) 一种车牌识别方法、装置及相关设备
CN109732594B (zh) 一种机器人控制方法、系统及机器人
US11531888B2 (en) Method, device and computer program for creating a deep neural network
CN110321824B (zh) 基于神经网络的绑扎判定方法及装置
CN111178170B (zh) 一种手势识别方法和一种电子设备
EP3495988A1 (en) Method of processing image data in a connectionist network
AU2021297896A1 (en) Systems and methods for fine adjustment of roof models
CN108038491B (zh) 一种图像分类方法及装置
CN108965575A (zh) 一种手势动作识别方法、装置和终端设备
CN110659638B (zh) 车牌的识别方法、装置、计算机设备及存储介质
CN111680595A (zh) 一种人脸识别方法、装置及电子设备
CN109391899A (zh) 遥控器摇杆定向方法及终端设备
CN112215887A (zh) 一种位姿确定方法、装置、存储介质及移动机器人
KR102239588B1 (ko) 이미지 처리 방법 및 장치
CN113435466A (zh) 电梯门位置和开关状态的检测方法、装置、介质和终端
CN110827393B (zh) 图像处理方法、装置、存储介质及电子设备
CN111738149A (zh) 基于计算机视觉的扫地机器人覆盖率确定方法及系统
CN106303153B (zh) 一种图像处理方法及装置
CN113593297B (zh) 一种停车位状态检测方法和装置
CN114693187A (zh) 塔吊集群的运行分析方法、装置、存储介质及终端
CN114168827A (zh) 指示船只进行停泊的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant