CN109986238B - 机器人类线形柔性作业视觉模糊仿形控制方法 - Google Patents
机器人类线形柔性作业视觉模糊仿形控制方法 Download PDFInfo
- Publication number
- CN109986238B CN109986238B CN201711477715.6A CN201711477715A CN109986238B CN 109986238 B CN109986238 B CN 109986238B CN 201711477715 A CN201711477715 A CN 201711477715A CN 109986238 B CN109986238 B CN 109986238B
- Authority
- CN
- China
- Prior art keywords
- area
- image
- current position
- axis
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Abstract
本发明提供了一种机器人类线形柔性作业视觉模糊仿形控制方法。控制方法包括：获取机器人当前位置图像；根据当前位置图像判断当前位置图像的特征点与预设图像特征点的偏差值；根据偏差值判断当前位置所属区域；根据所述当前位置所属区域控制机器人移动以实现对所述预设图像特征点的对准，当机器人沿着作业方向移动时，在每个工作面均执行对所述图像特征点的对准步骤，从而实现仿形操作，其中，所述预设图像分为三个速度控制区域，根据所述当前位置的所属区域所在的速度控制区域，控制机器人以三种速度仿形，所述三种仿形速度分别对应于所述三个速度控制区域。控制装置及控制方法可以提高作业质量，提高生产效率。
Description
技术领域
本发明涉及智能化制造技术领域，且更具体地涉及一种机器人类线形柔性作业视觉模糊仿形控制方法。
背景技术
随着全球制造业的飞速发展，以工业机器人为典型的机器人在制造业中的应用越来越广泛，在装备制造的切割、焊接、装配、喷涂、传送的每个环节，都可以看到工业机器人的身影。传感器的发展也日新月异，基于视觉、听觉、压力、气体的等等一系列原理的感知技术随之发展了起来。
传感技术融入工业机器人的应用，特别是视觉感知技术应用到工业机器人中，受到了工业机器人行业的重视，通常体现在视觉控制、视觉伺服方面。按控制模型分类，视觉控制可分为位置视觉伺服、图像视觉伺服和混合视觉伺服控制。基于图像的视觉控制是一种采用采集到的图像特征来操作控制机器人的方法。目标的图像特征是控制器的给定量，利用反馈来的图像特征作为反馈，以偏差来设计机器人的运动调整策略，根据运动调整策略对运动进行控制，构成闭环控制系统。基于图像的视觉伺服还是基于图像的视觉控制的判断依据是否是根据图像特征的偏差判断是否对机器人关节的运动速度控制。基于图像的视觉伺服控制拥有关节速度环和图像特征闭环，其控制方法实时性好，满足对摄像头机构的对中心随动仿形控制的要求。同时，基于位置的视觉伺服依据位置信号作为反馈量或者给定量划分为位置给定型视觉伺服控制和位置反馈型视觉伺服控制。从视觉控制的角度来讲，位置给定型视觉控制属于视觉开环型控制方法，属于Looking then Doing的方式，对实时性要求较低，这种采用图像伺服控制一部分自由度，其它自由度采用视觉开环型控制方法的位置给定型视觉控制成为当前研究的方向。
类线形作业是装备制造中常见的作业需求，特别是距离较长的类线形作业，困难大、问题多。发展和应用针对类线形作业的眼在手上机器人图像视觉控制方法将为研发高效自动化焊接装备积累成功经验，不仅对我国国民经济将起到的推动作用，而且在一定程度上改变我国装备制造行业技术水平落后的现状，为制造业焊接的跨越式发展提供自动化、智能化、柔性化的技术支撑。以集装箱行业为典型，集装箱的构成主要是厚度为1.5~2mm薄板型金属结构部件焊接拼装组成，在运输过程中其对承受全天候的航行考验的要求较高，而且集装箱在装卸时采用标准车辆、器件和起重设备，所以该产品必须满足水密性、强度和限制变形量的要求。波纹板与侧梁（箱顶、箱底的侧梁）折线焊缝的焊接是集装箱生产制造中的关键工序，由于集装箱采用薄型结构部件拼装而成，在焊缝焊接时易焊破、易变形、规律性差，所以对焊接方面的技术要求比较高。薄板长脚焊缝特别是集装箱的侧板（波纹板）与上下侧梁的折线焊缝的焊接自动化一直是企业的难题，集装箱波纹板的折角为
，且呈现“直线—固定角度折线—直线—固定角度折线”这样的交替出现的周期重复的薄板结构件，待焊工件厚（1.6~2mm）、焊缝长、装配间隙变化大（0~6mm）、焊接速度要求快（1.5m/min进行气体保护焊接），波纹板与侧梁的折线焊缝。集装箱生产线生产的集装箱一般长度为12m和6m，纵使多台机器同时焊接，一台机器一次也要焊接3~5m的距离，包括十几个周期，几十个折弯点；由于从波纹板下料、冲压开始，经波纹板间的对接焊，到底板与波纹板的角焊，每个环节都存在一定的误差干扰，使得装配间隙轨迹存在无规律的波动，且间隙大小也在波动变化，间隙范围为0~6mm不等，焊接过程中的热影响使得待焊装配缝隙存在一定的变形，使得装配缝隙在焊接过程中呈现动态变化，前后不一致；在对焊接速度要求为1.3m/min焊接背景下，焊接过程中存在飞溅的高温焊渣和强电弧等的干扰，复杂的环境使焊缝跟踪监测非常困难，而焊缝识别的精度及速率直接影响着焊件的质量和生产效率。
因此，需要一种机器人类线形柔性作业视觉模糊仿形控制方法，以至少部分地解决上述问题。
发明内容
在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
为了至少部分地解决上述问题，根据本发明的一个方面，提供了一种机器人类线形柔性作业视觉模糊仿形控制方法，其特征在于，所述控制方法包括：
获取机器人当前位置图像；
根据所述当前位置图像判断所述当前位置图像的特征点与预设图像特征点的偏差值；
根据所述偏差值判断当前位置所属区域；
根据所述当前位置所属区域控制机器人移动以实现对所述预设图像特征点的对准，当机器人沿着作业方向移动时，在每个工作面均执行对所述图像特征点的对准步骤，从而实现仿形操作；
其中，所述预设图像分为三个速度控制区域，根据所述当前位置的所属区域所在的速度控制区域，控制机器人以三种仿形速度进行仿形，所述三种仿形速度分别对应于所述三个速度控制区域。
根据本发明的控制方法，采用图像伺服控制一部分自由度进行视觉采集及其他自由度采用视觉开环形控制方法，对不同区域采取不同的仿形速度，能够保证工业机器人的作业质量和生产效率。
可选地，所述预设图像还分为九个方向控制区域，控制机器人的运动轴运动方向以对准所述预设图像特征点，其中，根据所述当前位置所属区域所在的方向控制区域，对应所述九个方向控制区域，对机器人运动轴的运动方向进行特定控制。
可选地，所述预设图像的特征点选择为所述预设图像的中心点。
可选地，所述三个速度控制区域分别为粗调节区域、精调节区域和细调节区域，对应于所述粗调节区域的仿形速度为第三速度F3，对应于所述精调节区域的仿形速度为第二速度F2，对应于所述细调节区域的仿形速度为第一速度F1。
可选地，所述粗调节区域围绕所述精调节区域，所述精调节区域围绕所述细调节区域，所述细调节区域围绕所述预设图像的特征点，且所述第三速度F3>所述第二速度F2>所述第一速度F1。
可选地，还包括剔除干扰特征点的步骤：
连续两次采集到类线形作业对象特征点的坏点间距分别为Um和Vm，其中，Um、Vm为理想数值；
比较当前特征点在屏幕中的图像坐标（U，V）和前一次采集到的线形作业对象特征点坐标（U1，V1）；
如果|U1-U|>Um或者|V1-V|>Vm，则判断为坏点跳动，将所述当前特征点设置为U=U1或者V=V1，进而得到正常变化的类线形作业对象特征点图像坐标。
可选地，当|U-Uc|≤Uil且|V-Vc|≤Vil时，屏幕区域为理想区域范围，控制运动轴Y轴和/或Z轴在所述理想区域范围内的仿形速度为第一速度F1；
当Uil<|U-Uc|≤Uml且Vil<|V-Vc|≤Vml时，屏幕区域为第一限制区域范围，控制运动轴 Y轴和/或Z轴在所述第一限制区域范围内的仿形速度为第二速度F2；
当Uml<|U-Uc|≤M且Vml<|V-Vc|≤N时，屏幕区域为第二限制区域范围，控制运动轴 Y轴和/或Z轴在所述第二限制区域范围内的仿形速度为第三速度F3；
其中，所述当前位置图像的坐标为（U，V）；
所述预设图像大小为坐标点（M，N）与坐标轴围成的矩形区域大小；
所述预设图像中心点的坐标为（Uc，Vc），其中, Uc=M/2，Vc=N/2；
Uil和Vil分别为定义仿形的理想区域的理想边长；
Uml和Vml为限定长度，且Uil<Uml<M，Vil<Vml<N。
可选地，所述当前位置图像的坐标为（U，V），所述预设图像中心点的坐标为（Uc，Vc）；
当U> Uc +Uil，且V<Vc-Vil时，所述当前位置图像的特征点位于A区；
当U> Uc+Uil，且V>Vc+Vil时，所述当前位置图像的特征点位于B区；
当U> Uc+Uil，且Vc-Vil≤V≤Vc+Vil时，所述当前位置图像的特征点位于C区；
当U< Uc-Uil，且V<Vc-Vil时，所述当前位置图像的特征点位于D区；
当U< Uc-Uil，且V>Vc+Vil时，所述当前位置图像的特征点位于E区；
当U< Uc-Uil，且Vc-Vil≤V≤Vc+Vil时，所述当前位置图像的特征点位于F区；
当Uc-Uil≤U≤Uc+Uil，且V>Vc-Vil时，所述当前位置图像的特征点位于G区；
当Uc-Uil≤U≤Uc+Uil，且V>Vc+Vil时，所述当前位置图像的特征点位于H区；
当Uc-Uil≤U≤Uc+Uil，且Vc-Vil≤V≤Vc+Vil时，所述当前位置图像的特征点位于I区；
其中，Uil和Vil分别为定义仿形的理想区域的理想边长。
可选地，当所述当前位置图像的特征点位于A区或C区时，控制运动轴Y轴运动靠近所述预设图像中心点；
当所述当前位置图像的特征点位于E区或F区时，控制运动轴Y轴运动靠近所述预设图像中心点；
当所述当前位置图像的特征点位于B区或H区时，控制运动轴Z轴运动靠近所述预设图像中心点；
当所述当前位置图像的特征点位于D区或G区时，控制运动轴Z轴运动靠近所述预设图像中心点。
可选地，当所述当前位置图像的特征点位于I区时，令m=|U-Uc|，n=|V-Vc|，控制Y轴正向或负向运动，使其达到点（U2，V2），令m2=|U2-Uc|，n2=|V2-Vc|，当m2+n2≤m+n时，控制Y轴按原方向运动，当m2+n2>m+n时，控制所述Y轴按相反方向运动。
附图说明
本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的装置及原理。在附图中，
图1为根据本发明的机械原理示意图；
图2为图像采集示意图；
图3为屏幕速度分区示意图；以及
图4为屏幕轴控方法分区示意图。
附图标记说明
2 视觉传感器
101 X轴滑块
102 Y轴滑块
103 Z轴滑块
201 面激光发生器
202 摄像头
203 类线形作业对象
301 采集到的特征点
302 摄像头采集后呈的相
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
为了彻底理解本发明，将在下列的描述中提出详细的结构，以便阐释本发明。显然，本发明的施行并不限定于该技术领域的技术人员所熟习的特殊细节。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式，不应当解释为局限于这里提出的实施例。
应当理解的是，在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。本发明中所使用的术语“上”、“下”、“前”、“后”、“左”、“右”以及类似的表述只是为了说明的目的，并非限制。
本发明中所引用的诸如“第一”和“第二”的序数词仅仅是标识，而不具有任何其他含义，例如特定的顺序等。
以下，将参照附图对本发明的具体实施例进行更详细地说明，这些附图示出了本发明的代表实施例，并不是限定本发明。
示例性实施方式
如图1至图4所示，根据本发明的示例性实施方式，提供了一种机器人类线形柔性作业视觉模糊仿形的控制方法及控制装置。
一种机器人类线形柔性作业视觉模糊仿形控制方法，其特征在于，所述控制方法包括：
获取机器人当前位置图像；
根据所述当前位置图像判断所述当前位置图像的特征点与预设图像特征点的偏差值；
根据所述偏差值判断当前位置所属区域；
根据所述当前位置所属区域控制机器人移动以实现对所述预设图像特征点的对准，当机器人沿着作业方向移动时，在每个工作面均执行对所述图像特征点的对准步骤，从而实现仿形操作，
其中，所述预设图像分为三个速度控制区域，根据所述当前位置的所属区域所在的速度控制区域，控制机器人以三种速度仿形，所述三种仿形速度分别对应于所述三个速度控制区域。
具体地，如图1至图2所示，X轴滑块101沿X轴方向可移动，X轴的方向是机器人进行作业时的运动方向，机器人作业过程中，会在X轴方向上特定位置停留，停下来后，对所在位置的对象进行作业，因此，机器人在X轴上每个停留的位置都对应一个工作面，对各个工作面作业都完成后，才完成整个作业的操作。Y轴滑块102和Z轴滑块103分别沿Y轴和Z轴可移动。进一步，Y轴滑块102沿Y轴可移动地设置在X轴滑块101上，Z轴滑块103沿Z轴可移动。摄像头202（图像采集装置）与Y轴滑块102以及Z轴滑块103连接。X轴、Y轴和Z轴形成笛卡尔坐标系。可选地，机器人的焊接组件与X轴、Y轴和Z轴连接，从而实现对焊接位置的控制。可选地，焊接组件与图像采集装置相关连接，当摄像头图像坐标中心与类线形作业对象203的特征点301在摄像头202中呈的相302重合时，认定当前位置为正确的焊接位置，焊接组件可以直接进行焊接操作。可选地，图像采集装置直接安装于机器人作业臂上，焊接组件也安装在在机器人作业臂上。
X轴滑块101的传动机构包括电机、减速器、齿条、直线导轨和滑块，用编码器反馈的位置信息进行闭环控制，可带动X轴上滑块在X轴方向的任意位置进行精确定位。
Y轴滑块102和Z轴滑块103的传动机构可采用减速器、直线导轨、齿条、电机、滚轴丝杆和滑块，用编码器反馈的位置信息进行闭环控制。
在X轴滑块101沿X轴方向运动时，Y轴滑块102和Z轴滑块103能够驱动摄像头202进行对类线形作业对象203特征点的动态采集和驱使摄像头图像坐标系中心与类线形作业对象203特征点的逼近，例如驱使摄像头202图像坐标系中心与类线形作业对象203特征点301（O0）（图2）在摄像头202中呈的相302（Oc）的动态逼近。
在X轴滑块101带动摄像头202等图像采集装置沿着类线形作业对象203方向（近似X轴方向）运动时，可通过摄像头202等图像采集装置实时采集到的类线形作业对象203特征点301在图像坐标系中呈的相302与图像坐标系原点的偏差值，来动态控制Y轴和Z轴的运动，尽可能使得该偏差值逼近于0，进而使得在向X轴某一方向（正方向或负方向）运动过程中，摄像头202在XYZ三轴滑块的带动下，实现摄像头202在三维空间中的运动轨迹整体上符合类线形作业对象203特征点轨迹的类线形视觉模糊仿形。
为了能够实现眼在手上机器人类线作业对中心操作和线形作业对象特征点轨迹的模糊仿形，需要考虑在X轴起始运动时和沿X轴方向运行的过程中，Y轴和Z轴的运动控制问题。对中心操作和线形作业对象特征点轨迹的模糊仿形，其基本原理一样都是以类线作业对象特征点在摄像机输出图像屏幕内的坐标值为输入量，通过控制Y轴和Z轴的运动来控制摄像头202类线作业对象特征点处于摄像机输出图像的中心点处或以中心点位目标位置的收敛区域；同时，为了调整回到摄像机输出图像的中心点处或以中心点为目标位置的收敛区域的速度和稳定性，分为了三个粗、精、细对中心速度。
可选地，获取机器人当前位置图像的步骤包括：面激光发射器201（图2）发射激光，激光经过类线形作业对象203的反射，由摄像头202接收反射的激光从而形成当前位置图像。
现请转到图3，三个区域分别为粗调节区域（区域3）、精调节区域（区域2）和细调节区域（区域1），对应于粗调节区域（区域3）的仿行速度为第三速度F3，对应于精调节区域（区域2）的仿行速度为第二速度F2，对应于细调节区域（区域1）的仿行速度为第一速度为F1。
可选地，粗调节区域围绕精调节区域，精调节区域围绕细调节区域，细调节区域围绕预设图像的特征点，且第三速度F3>第二速度F2>第一速度F1。
具体对中心仿形如图3所示，
定义：假定摄像机输出图像屏幕大小是（M，N），则屏幕中心点坐标为( Uc，Vc）=（M/2，N/2）。
定义当前特征点在屏幕中的坐标为（U，V），上一次采样特征点在屏幕中的坐标为（U1，V1）。
定义相对于屏幕中心点坐标的屏幕理想区域范围值为区域1：当（U，V）在理想区域范围内时，当|U-Uc|≤Uil且|V-Vc|≤Vil时，轴Y轴和Z轴在区域1时对中心仿形速度为第一速度F1，定义相对于屏幕中心点坐标的屏幕区域限制范围为区域2：当（U，V）在屏幕区域限制范围内时，Uil<|U-Uc|≤Uml且Vil<|V-Vc|≤Vml时，Y轴和Z轴在区域2时对中心仿形速度为第二速度F2，定义相对于屏幕中心点坐标的屏幕区域限制范围为区域3：当（U，V）在屏幕区域限制范围内时，当Uml<|U-Uc|≤M且Vml<|V-Vc|≤N时，Y轴和Z轴在区域3时对中心仿形速度为第三速度F3。
此外，在工业应用中，由于眼在手上机器人图像采集过程十分复杂、环境恶烈，不可不免得会在作业过程中出现虚假特征点被采集到，并在屏幕中显示，这种虚假特征点也叫做“跳点”，是类线作业对象特征轨迹采集和摄像头202良好仿形的“干扰”，因此在驱动Y轴滑块102、Z轴滑块103带动摄像头202对中心随动仿形控制前要对这些“跳点”进行剔除处理。可选地，还包括剔除干扰特征点的步骤：
连续两次采集到类线形作业对象特征点的坏点间距分别为Um和Vm，其中，Um、Vm为理想数值，
比较当前特征点在屏幕中的图像坐标（U，V）和前一次采集到的线形作业对象特征点坐标（U1，V1），
如果|U1-U|>Um或者|V1-V|>Vm，则判断为坏点跳动，将当前特征点设置为U=U1或者V=V1，进而得到正常变化的类线形作业对象203特征点图像坐标。
进一步可选地，当|U-Uc|≤Uil且|V-Vc|≤Vil时，屏幕区域为理想区域范围，控制运动轴 Y轴和/或Z轴在理想区域范围内的仿形速度为F1，
当Uil<|U-Uc|≤Uml且Vil<|V-Vc|≤Vml时，屏幕区域为第一限制区域范围，控制运动轴 Y轴和/或Z轴在第一限制区域范围内的仿形速度为F2，
当Uml<|U-Uc|≤M且Vml<|V-Vc|≤N时，屏幕区域为第二限制区域范围，控制运动轴 Y轴和/或Z轴在第二限制区域范围内的仿形速度为F3，
其中，当前位置图像的坐标为（U，V）；
预设图像中心点的坐标为（Uc，Vc）；
预设图像大小为坐标点（M，N）与坐标轴围成的矩形区域大小；
Uil和Vil分别为定义仿形的理想区域的理想边长；
Uml和Vml为限定长度，且Uil<Uml<M，Vil<Vml<N。
例如，在U方向两次采集类线作业对象特征点坏点距离定义为Um，在V方向两次采集特征点坏点距离定义为Vm；比较当前特征点在屏幕中的图像坐标（U，V）和前一次采集到的线形作业对象特征点坐标（U1，V1），如果， 当|U1-U|>Um或者|V1-V|>Vm，则判断为坏点跳动，将该点U=U1或者V=V1，进而得到正常变化的线形作业对象特征点图像坐标。
继续参考图3，屏幕分三个区域，其中区域1为理想区域，当特征点在该区域时，通过控制Y轴滑块102和/或Z轴滑块103以第一速度F1速度运动，尽可能使当前特征点回到屏幕中心点(Uc， Vc），此过程称为细对中心操作；区域2为屏幕区域限制范围，当特征点在该区域时，需要进行调整Y轴和/或Z轴以第二速度F2速度运动来进行对中心操作，使特征点尽可能的趋近于屏幕中心坐标点，从区域2回到区域1的过程，称为精对中心操作；当特征点在区域3的范围内时，在该区域内通过调整Y轴和/或Z轴以第三速度F3运动，把区域3内的特征点拉回区域2的操作称为粗对中心操作，如图3所示。以上所说的，无论是从区域3到区域2、从区域2到区域2还是在区域1内回到屏幕中心坐标( Uc， Vc），整个过程对中心仿形的实质就是使特征点在屏幕内的图像坐标收敛于屏幕中心点坐标(Uc， Vc）。
此外，通过控制Y轴、Z轴运动使得特征点的图像坐标收敛于屏幕中心点坐标(Uc，Vc），为了更好地控制Y轴和Z轴的运动，可把图像坐标屏幕分为A、B、C、D、E、F、G、H、I共9个区域，屏幕轴控方法分区图如图4所示：
定义Uil和Vil分别为定义仿形的理想区域的理想边长。当U> Uc +Uil，且V<Vc-Vil时，在图4中A区域显示； 当U>Uc+Uil，且V>Vc+Vil时，在图4中B区域显示； 当U>Uc+Uil，且Vc-Vil≤V≤Vc+Vil时，在图4中C区域显示； 当U< Uc-Uil，且V<Vc-Vil时，在图4中D区域显示；当U< Uc-Uil，且V>Vc+Vil时，在图4中E区域显示； 当U<Uc-Uil，且Vc-Vil≤V≤Vc+Vil时，在图4中F区域显示； 当Uc-Uil≤U≤Uc+Uil，且V>Vc-Vil时，在图4中G区域显示；当Uc-Uil≤U≤Uc+Uil，且V>Vc+Vil时，在图4中H区域显示；当Uc-Uil≤U≤Uc+Uil，且Vc-Vil≤V≤Vc+Vil时，在图4中I区域显示，也就是随动仿形的理想区域； Y和/或Z轴的运动对在屏幕相应区域内的线形作业对象特征点对中心影响大小得出如下关系表：
屏幕区域与轴控方法对照表
| 屏幕区域 | A | B | C | D | E | F | G | H | I |
| 运动轴 | Y | Z | Y | Z | Y | Y | Z | Z | Y |
| 轴运动方向 | 1 | 1 | 1 | -1 | -1 | -1 | -1 | 1 | 1或-1 |
在特征点处于A、B、C、D、E、F、G、H区域时通过控制相应运动轴按照其运动方向和速度运行即可。
具体地，可选地，当当前位置图像的特征点位于A区或C区时，控制运动轴Y轴运动靠近预设图像中心点；
当当前位置图像的特征点位于E区或F区时，控制运动轴Y轴运动靠近预设图像中心点；
当当前位置图像的特征点位于B区或H区时，控制运动轴Z轴运动靠近预设图像中心点；
当当前位置图像的特征点位于D区或G区时，控制运动轴Z轴运动靠近预设图像中心点。
但在I区域内由于区域范围较小，且该区域范围内的特征点在Z轴方向变化很小可以忽略，所以在I区域只需控制Y轴的运动来进行对中心仿形操作。对于在I区域的点(U，V)，令m=|U-Uc|，n=|V-Vc|，控制Y轴正向或负向运动，使其达到点（U2，V2），令m2=|U2-Uc|，n2=|V2-Vc|，当m2+n2≤m+n时，控制Y轴按原方向运动，反之，则控制Y轴向相反方向运动。当然，也可以只控制Z轴的运动进行对中心仿形操作。 该方法只有在X轴不运动时才能准确对中心，在摄像头202沿类线形作业对象203特征线方向仿形运动过程中，由于类线形作业对象203特征线变化，所以所采集到的类线形作业对象203特征点总是不固定、会变化的，因此在仿形的过程中类线形作业对象203特征线特征点在摄像机输出的图像中总是处在由区域3到区域2再到区域1的收敛过程中。
上述屏幕区域与轴控方法对照表中所示的控制方式，仅仅是本发明实现控制的一种实施方式，其控制方法可以灵活变换，当作业对象特征点在A-I任何一个区域内，机器人都可以控制运动轴Y轴和/或Z轴进行运动，从而实现上述控制方法，上述对照表所示例的控制方法不应理解为对本发明的限定。
本发明技术方案带来的有益效果
在摄像头202进行作业轨迹的采集过程中，要经过摄像头202对中心和摄像头202机构沿作业方向随动仿形。1）首先其Y轴、Z轴要运动来使得特征点呈的相302处于摄像头202图像坐标系中心区域，这样操作可以从一开始就能够准确的测量到特征点的确切信息。2）摄像头202机构在对线形作业对象特征点进行采集的时候需要摄像头202能够与类线形作业对象203保持一定距离范围，一方面防止摄像头202机构与类线形作业对象203接触引起图像特征采集错误和对摄像头202造成损坏，另一方面为了使操作者在图像界面能能够实时的看到特征点不会超出视野范围。
解决类线形作业对眼在手上机器人对视觉采集机构的采集精确能力的需求，该机器人及其控制方法可集成于眼在手上机器人作业控制中，也可以在此基础上增加受其它控制方法控制的其自由度，进行集成，实现多种控制方法混合的作业控制系统中，该机器人不仅仅应用于集装箱的类线形作业需求，其可以应用于任何领域的类线形作业需求，比如：航空，海运，制造、制药，化学等领域。
本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。
Claims (10)
1.一种机器人类线形柔性作业视觉模糊仿形控制方法，其特征在于，所述控制方法包括：
获取机器人当前位置图像；
根据所述当前位置图像判断所述当前位置图像的特征点与预设图像特征点的偏差值；
根据所述偏差值判断当前位置所属区域；
根据所述当前位置所属区域控制机器人移动以实现对所述预设图像特征点的对准，当机器人沿着作业方向移动时，在每个工作面均执行对所述图像特征点的对准步骤，从而实现仿形操作，
其中，所述预设图像分为三个速度控制区域，根据所述当前位置的所属区域所在的速度控制区域，控制机器人以三种仿形速度进行仿形，所述三种仿形速度分别对应于所述三个速度控制区域。
2.根据权利要求1所述的控制方法，其特征在于，所述预设图像还分为九个方向控制区域，控制机器人的运动轴运动方向以对准所述预设图像特征点，其中，根据所述当前位置所属区域所在的方向控制区域，对应所述九个方向控制区域，对机器人运动轴的运动方向进行特定控制。
3.根据权利要求1所述的控制方法，其特征在于，所述预设图像的特征点选择为所述预设图像的中心点。
4.根据权利要求1所述的控制方法，其特征在于，所述三个速度控制区域分别为粗调节区域、精调节区域和细调节区域，对应于所述粗调节区域的仿形速度为第三速度F3，对应于所述精调节区域的仿形速度为第二速度F2，对应于所述细调节区域的仿形速度为第一速度F1。
5.根据权利要求4所述的控制方法，其特征在于，所述粗调节区域围绕所述精调节区域，所述精调节区域围绕所述细调节区域，所述细调节区域围绕所述预设图像的特征点，且所述第三速度F3>所述第二速度F2>所述第一速度F1。
6.根据权利要求1-4中的任一项所述的控制方法，其特征在于，还包括剔除干扰特征点的步骤：
连续两次采集到类线形作业对象特征点的坏点间距分别为Um和Vm，其中，Um、Vm为理想数值，
比较当前特征点在屏幕中的图像坐标（U，V）和前一次采集到的线形作业对象特征点坐标（U1，V1），
如果|U1-U|>Um或者|V1-V|>Vm，则判断为坏点跳动，将所述当前特征点设置为U=U1或者V=V1，进而得到正常变化的类线形作业对象特征点图像坐标。
7.根据权利要求1-3中的任一项所述的控制方法，其特征在于，
当|U-Uc|≤Uil且|V-Vc|≤Vil时，屏幕区域为理想区域范围，控制运动轴 Y轴和/或Z轴在所述理想区域范围内的仿形速度为第一速度F1，
当Uil<|U-Uc|≤Uml且Vil<|V-Vc|≤Vml时，屏幕区域为第一限制区域范围，控制运动轴 Y轴和/或Z轴在所述第一限制区域范围内的仿形速度为第二速度F2，
当Uml<|U-Uc|≤M且Vml<|V-Vc|≤N时，屏幕区域为第二限制区域范围，控制运动轴 Y轴和/或Z轴在所述第二限制区域范围内的仿形速度为第三速度F3，
其中，所述当前位置图像的坐标为（U，V）；
所述预设图像大小为坐标点（M，N）与坐标轴围成的矩形区域大小；
所述预设图像中心点的坐标为（Uc，Vc），其中, Uc=M/2，Vc=N/2；
Uil和Vil分别为定义仿形的理想区域的理想边长；
Uml和Vml为限定长度，且Uil<Uml<M，Vil<Vml<N。
8.根据权利要求1-4中的任一项所述的控制方法，其特征在于，所述当前位置图像的坐标为（U，V），所述预设图像中心点的坐标为（Uc，Vc），
当U> Uc+Uil，且V<Vc-Vil时，所述当前位置图像的特征点位于A区；
当U> Uc+Uil，且V>Vc+Vil时，所述当前位置图像的特征点位于B区；
当U> Uc+Uil，且Vc-Vil≤V≤Vc+Vil时，所述当前位置图像的特征点位于C区；
当U< Uc-Uil，且V<Vc-Vil时，所述当前位置图像的特征点位于D区；
当U< Uc-Uil，且V>Vc+Vil时，所述当前位置图像的特征点位于E区；
当U< Uc-Uil，且Vc-Vil≤V≤Vc+Vil时，所述当前位置图像的特征点位于F区；
当Uc-Uil≤U≤Uc+Uil，且V>Vc-Vil时，所述当前位置图像的特征点位于G区；
当Uc-Uil≤U≤Uc+Uil，且V>Vc+Vil时，所述当前位置图像的特征点位于H区；
当Uc-Uil≤U≤Uc+Uil，且Vc-Vil≤V≤Vc+Vil时，所述当前位置图像的特征点位于I区，
其中，Uil和Vil分别为定义仿形的理想区域的理想边长。
9.根据权利要求8所述的控制方法，其特征在于，
当所述当前位置图像的特征点位于A区或C区时，控制运动轴Y轴运动靠近所述预设图像中心点；
当所述当前位置图像的特征点位于E区或F区时，控制运动轴Y轴运动靠近所述预设图像中心点；
当所述当前位置图像的特征点位于B区或H区时，控制运动轴Z轴运动靠近所述预设图像中心点；
当所述当前位置图像的特征点位于D区或G区时，控制运动轴Z轴运动靠近所述预设图像中心点。
10.根据权利要求8所述的控制方法，其特征在于，当所述当前位置图像的特征点位于I区时，令m=|U-Uc|，n=|V-Vc|，控制Y轴正向或负向运动，使其达到点（U2，V2），令m2=|U2-Uc|，n2=|V2-Vc|，当m2+n2≤m+n时，控制Y轴按原方向运动，当m2+n2>m+n时，控制所述Y轴按相反方向运动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711477715.6A CN109986238B (zh) | 2017-12-29 | 2017-12-29 | 机器人类线形柔性作业视觉模糊仿形控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711477715.6A CN109986238B (zh) | 2017-12-29 | 2017-12-29 | 机器人类线形柔性作业视觉模糊仿形控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109986238A CN109986238A (zh) | 2019-07-09 |
| CN109986238B true CN109986238B (zh) | 2021-02-26 |
Family
ID=67108871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711477715.6A Active CN109986238B (zh) | 2017-12-29 | 2017-12-29 | 机器人类线形柔性作业视觉模糊仿形控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109986238B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113002181B (zh) * | 2021-02-09 | 2022-05-27 | 深圳市丹芽科技有限公司 | 一种美甲机墨盒槽控制方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1676287A (zh) * | 2004-03-31 | 2005-10-05 | 发那科株式会社 | 机器人示教装置 |
| CN101486124A (zh) * | 2009-02-13 | 2009-07-22 | 南京工程学院 | 多结构光双目复合视觉焊缝跟踪方法及装置 |
| CN102566574A (zh) * | 2012-01-20 | 2012-07-11 | 北人机器人系统（苏州）有限公司 | 一种基于激光传感的机器人轨迹生成方法及装置 |
| CN103208186A (zh) * | 2013-03-19 | 2013-07-17 | 北京万集科技股份有限公司 | 一种激光三维扫描车辆的方法及装置 |
| DE102014101568A1 (de) * | 2014-02-07 | 2015-08-13 | Blackbird Robotersysteme Gmbh | Verfahren und Vorrichtung zum Laserschweißen oder -schneiden mit einem dynamisch anpassbaren Analysebereich |
| CN106325731A (zh) * | 2015-07-03 | 2017-01-11 | Lg电子株式会社 | 显示装置及其控制方法 |
-
2017
- 2017-12-29 CN CN201711477715.6A patent/CN109986238B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1676287A (zh) * | 2004-03-31 | 2005-10-05 | 发那科株式会社 | 机器人示教装置 |
| CN101486124A (zh) * | 2009-02-13 | 2009-07-22 | 南京工程学院 | 多结构光双目复合视觉焊缝跟踪方法及装置 |
| CN102566574A (zh) * | 2012-01-20 | 2012-07-11 | 北人机器人系统（苏州）有限公司 | 一种基于激光传感的机器人轨迹生成方法及装置 |
| CN103208186A (zh) * | 2013-03-19 | 2013-07-17 | 北京万集科技股份有限公司 | 一种激光三维扫描车辆的方法及装置 |
| DE102014101568A1 (de) * | 2014-02-07 | 2015-08-13 | Blackbird Robotersysteme Gmbh | Verfahren und Vorrichtung zum Laserschweißen oder -schneiden mit einem dynamisch anpassbaren Analysebereich |
| CN106325731A (zh) * | 2015-07-03 | 2017-01-11 | Lg电子株式会社 | 显示装置及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109986238A (zh) | 2019-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111014879B (zh) | 一种基于激光焊缝跟踪的机器人波纹板自动焊接方法 | |
| KR100311663B1 (ko) | 여유축을이용하여물체의외형을추적하는장치및방법 | |
| CN106238969B (zh) | 基于结构光视觉的非标件自动化焊接加工系统 | |
| Baeten et al. | Hybrid vision/force control at corners in planar robotic-contour following | |
| CN111192307B (zh) | 基于激光切割三维零部件的自适应纠偏方法 | |
| CN205650975U (zh) | 基于结构光视觉的非标件自动化焊接加工系统 | |
| KR20160010868A (ko) | 비전을 갖는 자동화 기계가공 헤드 및 방법 | |
| JPH0431836B2 (zh) | ||
| CN102581445A (zh) | 机器人的视觉实时纠偏系统和纠偏方法 | |
| CN113798634B (zh) | 空间环形焊缝示教与焊缝跟踪方法、系统及设备 | |
| WO2020183026A3 (de) | Verfahren zur ansteuerung einer bearbeitunsgmaschine oder eines industrieroboters | |
| JP7000361B2 (ja) | 追随ロボットおよび作業ロボットシステム | |
| CN114769988A (zh) | 一种焊接控制方法、系统、焊接设备及存储介质 | |
| Huang et al. | High-performance robotic contour tracking based on the dynamic compensation concept | |
| CN112122842A (zh) | 一种基于激光视觉的Delta焊接机器人系统 | |
| CN109986255B (zh) | 混合视觉伺服并联机器人及作业方法 | |
| CN109986238B (zh) | 机器人类线形柔性作业视觉模糊仿形控制方法 | |
| CN111716355A (zh) | 机器人绝对定位精度补偿系统及方法 | |
| Mun et al. | Sub-assembly welding robot system at shipyards | |
| CN207205613U (zh) | 一种基于视觉提取的异型工件的焊接系统 | |
| CN113369686A (zh) | 一种基于二维码视觉示教技术的智能焊接系统及方法 | |
| JP2022530589A (ja) | ロボット搭載移動装置、システム及び工作機械 | |
| CN111880474A (zh) | 一种z轴自适应激光加工系统及其加工方法 | |
| CN114485631B (zh) | 一种惯性器件自动化装配系统 | |
| CN113909765B (zh) | 一种引导焊接系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 518063 Shenzhen national engineering laboratory building b1001-b1004, No. 20, Gaoxin South seventh Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong Patentee after: SHENZHEN CIMC SECURITY AND SMART TECHNOLOGY Co.,Ltd. Patentee after: SHENZHEN CIMC TECHNOLOGY Co.,Ltd. Patentee after: Guangdong CIMC Intelligent Technology Co.,Ltd. Patentee after: CHINA INTERNATIONAL MARINE CONTAINERS (GROUP) Ltd. Address before: Room 102, block a, phase II, science and technology building, 1057 Nanhai Avenue, Shekou, Nanshan District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN CIMC SECURITY AND SMART TECHNOLOGY Co.,Ltd. Patentee before: SHENZHEN CIMC TECHNOLOGY Co.,Ltd. Patentee before: DONGGUAN CIMC INTELLIGENT TECHNOLOGY Co.,Ltd. Patentee before: CHINA INTERNATIONAL MARINE CONTAINERS (GROUP) Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230417 Address after: 518063 Shenzhen national engineering laboratory building b1001-b1004, No. 20, Gaoxin South seventh Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong Patentee after: SHENZHEN CIMC SECURITY AND SMART TECHNOLOGY Co.,Ltd. Patentee after: SHENZHEN CIMC TECHNOLOGY Co.,Ltd. Patentee after: Guangdong CIMC Intelligent Technology Co.,Ltd. Address before: 518063 Shenzhen national engineering laboratory building b1001-b1004, No. 20, Gaoxin South seventh Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong Patentee before: SHENZHEN CIMC SECURITY AND SMART TECHNOLOGY Co.,Ltd. Patentee before: SHENZHEN CIMC TECHNOLOGY Co.,Ltd. Patentee before: Guangdong CIMC Intelligent Technology Co.,Ltd. Patentee before: CHINA INTERNATIONAL MARINE CONTAINERS (GROUP) Ltd. |