CN117032027A - 视觉控制系统及其控制方法、视觉运动控制器和存储介质 - Google Patents

视觉控制系统及其控制方法、视觉运动控制器和存储介质 Download PDF

Info

Publication number
CN117032027A
CN117032027A CN202311024140.8A CN202311024140A CN117032027A CN 117032027 A CN117032027 A CN 117032027A CN 202311024140 A CN202311024140 A CN 202311024140A CN 117032027 A CN117032027 A CN 117032027A
Authority
CN
China
Prior art keywords
pose information
workpiece
vision
end effector
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311024140.8A
Other languages
English (en)
Inventor
陈丹
贾兴华
吴江华
王炜
刘庆福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Welling Motor Technology Shanghai Co Ltd
Guangdong Midea Intelligent Technologies Co Ltd
Original Assignee
Midea Welling Motor Technology Shanghai Co Ltd
Guangdong Midea Intelligent Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Welling Motor Technology Shanghai Co Ltd, Guangdong Midea Intelligent Technologies Co Ltd filed Critical Midea Welling Motor Technology Shanghai Co Ltd
Priority to CN202311024140.8A priority Critical patent/CN117032027A/zh
Publication of CN117032027A publication Critical patent/CN117032027A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25257—Microcontroller
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种视觉控制系统及其控制方法、视觉运动控制器和存储介质，视觉控制系统的控制方法包括：在检测到工件的情况下，控制测量传感器周期性采集工件的位置信息、控制视觉系统周期性采集工件的第一位姿信息；根据第一位姿信息和第一位姿信息对应的位置信息确定第二姿信息；根据执行机构的位姿信息和第二位姿信息驱动伺服驱动器，以供伺服驱动器控制执行机构动作，直至末端执行器的运动参数与工件的运动参数一致；根据位置信息，驱动伺服驱动器，以供伺服驱动器控制执行机构动作，使末端执行器与工件同步运动，直至末端执行器完成作业。

Description

视觉控制系统及其控制方法、视觉运动控制器和存储介质
技术领域
本发明涉及控制技术领域，具体而言，涉及一种视觉控制系统及其控制方法、视觉运动控制器和存储介质。
背景技术
视觉控制逐渐应用到工业场景中，如工业机器人利用视觉追踪控制来实现工件的抓取。
然而，相关技术方案中，视觉控制仅适用于静态场景或扰动因素较小的动态场景，对于工件的位姿出现变化的情况，极容易出现抓取失败，影响工件的处理效率。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的第一个方面在于，提供了一种视觉控制系统的控制方法。
本发明的第二个方面在于，提供了一种视觉运动控制器。
本发明的第三个方面在于，提供了另一种视觉运动控制器。
本发明的第四个方面在于，提供了一种可读存储介质。
本发明的第五个方面在于，提供了一种视觉控制系统。
本发明的第六个方面在于，提供了另一种视觉控制系统。
有鉴于此，根据本发明的第一个方面，本发明提供了一种视觉控制系统的控制方法，视觉控制系统包括执行机构、视觉系统、测量传感器和伺服驱动器，执行机构包括末端执行器，视觉系统设于末端执行器，控制方法包括：在检测到工件的情况下，控制测量传感器周期性采集工件的位置信息、控制视觉系统周期性采集工件的第一位姿信息；根据第一位姿信息和第一位姿信息对应的位置信息确定第二位姿信息；根据执行机构的位姿信息和第二位姿信息驱动伺服驱动器，以供伺服驱动器控制执行机构动作，直至末端执行器的运动参数与工件的运动参数一致；根据位置信息，驱动伺服驱动器，以供伺服驱动器控制执行机构动作，使末端执行器与工件同步运动，直至末端执行器完成作业。
根据本发明的第二个方面，本发明提供了一种视觉运动控制器，应用于视觉控制系统，视觉控制系统包括执行机构、视觉系统、测量传感器和伺服驱动器，执行机构包括末端执行器，视觉系统设于末端执行器，控制装置包括：控制单元，用于在检测到工件的情况下，控制测量传感器周期性采集工件的位置信息、控制视觉系统周期性采集工件的第一位姿信息；融合单元，用于根据第一位姿信息和第一位姿信息对应的位置信息确定第二位姿信息；处理单元，用于根据执行机构的位姿信息和第二位姿信息驱动伺服驱动器，以供伺服驱动器控制执行机构动作，直至末端执行器的运动参数与工件的运动参数一致；处理单元还用于：根据位置信息，驱动伺服驱动器，以供伺服驱动器控制执行机构动作，使末端执行器与工件同步运动，直至末端执行器完成作业。
根据本发明的第三个方面，本发明提供了一种视觉运动控制器，包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面中任一项的方法的步骤。
根据本发明的第四个方面，本发明提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面中任一项的方法的步骤。
根据本发明的第五个方面，本发明提供了一种视觉控制系统，包括：如上述任一视觉运动控制器；和/或如上述可读存储介质。
根据本发明的第六个方面，本发明提供了一种视觉控制系统，包括：执行机构，执行机构包括末端执行器；视觉系统，视觉系统设于末端执行器，用于周期性采集工件的第一位姿信息；测量传感器，用于周期性采集工件的位置信息；伺服驱动器；视觉运动控制器，与伺服驱动器、视觉系统和测量传感器连接，用于执行如第一方面中任一项的方法的步骤。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明实施例中视觉控制系统的控制方法的流程示意图之一；
图2示出了本发明实施例中视觉控制系统的控制阶段的示意图；
图3示出了本发明实施例中视觉控制系统的控制方法的流程示意图之一；
图4示出了本发明实施例中一种视觉运动控制器的示意框图；
图5示出了本发明实施例中另一种视觉运动控制器的示意框图；
图6示出了本发明实施例中一种视觉控制系统的示意框图；
图7示出了本发明实施例中另一种视觉控制系统的示意框图；
图8示出了本发明实施例中位姿融合模块的数据处理示意图；
图9示出了本发明实施例中动态跟踪模块的数据处理示意图。
其中，图6和图7中附图标记与部件名称之间的对应关系为：
602执行机构，6022末端执行器，6024本体，604视觉系统，606测量传感器，608视觉运动控制器，610伺服驱动器，612运动控制器，614视觉控制器，616光电传感器，700工件。
具体实施方式
为了能够更清楚地理解本发明的上述方面、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本申请的一个实施例中，如图1所示，提供了一种视觉控制系统的控制方法，视觉控制系统包括执行机构、视觉系统、测量传感器和伺服驱动器，执行机构包括末端执行器，视觉系统设于末端执行器，控制方法包括：
步骤102，在检测到工件的情况下，控制测量传感器周期性采集工件的位置信息、控制视觉系统周期性采集工件的第一位姿信息；
步骤104，根据第一位姿信息和第一位姿信息对应的位置信息确定第二位姿信息；
步骤106，根据执行机构的位姿信息和第二位姿信息驱动伺服驱动器，以供伺服驱动器控制执行机构动作，直至末端执行器的运动参数与工件的运动参数一致；
步骤108，根据位置信息，驱动伺服驱动器，以供伺服驱动器控制执行机构动作，使末端执行器与工件同步运动，直至末端执行器完成作业。
本申请的实施例提出了一种视觉控制系统的控制方法，通过运行上述视觉控制系统的控制方法，可以在工件的位姿发生变化的情况下，能够根据工件的位姿调整执行机构动作，从而确保执行机构能够准确实现对工件的视觉追踪。在此过程中，可以提高执行机构追踪工件的准确性。
本申请的实施例是基于以下原理实现的，具体地，伺服驱动器在接收到控制指令的情况下，能够根据控制指令控制执行机构进行动作，如执行移动、翻转等操作，以便实现对工件的追踪。
在本申请的实施例中，在检测到工件的情况下，利用视觉系统和测量传感器采集工件的信息，具体地，在采集工件的位置信息的基础上，还利用视觉系统来采集工件的第一位姿信息，以便对采集得到的第一位姿信息以及与第一位姿信息所对应的位置信息进行融合，从而得到融合后的第二位姿信息，利用融合后的第二位姿信息与执行机构的位姿信息来生产新的控制指令，以便根据控制指令驱动伺服驱动器控制执行机构运行，实现工件的视觉追踪。
在此过程中，控制执行机构的参数除了位置信息之外，还包括有工件融合后的第二位姿信息，因此，可以结合工件融合后的第二位姿信息来控制执行机构的运行，提高了视觉追踪控制的准确性。
具体地，在本申请的实施例中，不是单纯跟踪工件的位置信息来调整执行机构的位姿，而是追踪工件的位置信息与工件的第一位姿信息融合后的第二位姿信息，显然，追踪所涉及到的自由度从单个自由度(追踪工件的位置信息)变成多个自由度，因此，在工件的位姿发生变化的过程中，执行机构也能动态调整器自身位姿，以便适应工件的位姿变化，从而确保执行机构的控制精度。
在一些实施例中，可选地，第一位姿信息、第二位姿信息即代表位置和姿态，任何一个刚体在空间坐标系(OXYZ)中可以用位置和姿态来精确、唯一表示其位置状态。
其中，位置：x、y、z坐标。
姿态：刚体与OX轴的夹角rx、与OY轴的夹角ry、与OZ轴的夹角rz。
假设基坐标系为OXYZ，刚体坐标系为O`X`Y`Z`。对于视觉控制系统而言，空间中的任何一个点都必须要用上述六个参数明确指定，即(x,y,z,rx,ry,rz)，即便(x,y,z)都一样，(rx,ry,rz)不同代表机器人以不同的姿态去到达同一个点。
在一些实施例中，可选地，工件的位置信息可以是第一位姿信息中的位置，还可以包括如速度信息。其中，速度信息可以是运行速度和/或加速度。
在一些实施例中，可选地，视觉系统可以是摄像头。
在一些实施例中，可选地，测量传感器，可以是采用编码器的传感器，以便实现数据的准确测量。
在一些实施例中，可选地，运动参数可以是速度、也可以是第二位姿信息、亦或是速度和位姿信息。其可以根据实际使用需要进行选取，在此不再继续赘述。
在上述实施例中，在末端执行器与工件的运动参数一致的情况下，认为末端执行器、工件两者的运动已经相对稳定，可以进行动作，此时，仅需实现同步运行即可。
基于此，本申请的实施例中，在末端执行器与工件的运动参数一致的情况下，根据位置信息来实现同步运动，以便确保两者之间的位置能够相对固定，此时利用末端执行器对工件进行作业。
在一些实施例中，可选地，根据位置信息确定工件的移动方向和移动速度，并基于移动方向和移动速度控制执行结构工作。
在一些实施例中，可选地，根据位置信息和执行机构中末端执行器的当前位置信息，确定末端执行器的控制参数，以便末端执行器根据控制参数运行，以实现与工件的同步运行。
在一些实施例中，可选地，控制方法还包括：驱动伺服驱动器，以供伺服驱动器控制执行机构动作，使末端执行器运动至初始位置。
在该实施例中，通过控制末端执行器运行到初始位置，以便实现执行机构的复位，通过复位，在实现当前作业的完成的同时，也减少因末端执行器未复位对工件的运动所带来的影响。如影响作业完成后的工件运动出作业区域，又如影响未作业的工件进入作业区域。
在一些实施例中，初始位置可以根据执行机构的实际设计需要进行选取，在此不再进行赘述。
具体地，如图2所示，视觉控制系统的控制方法主要划分为四个阶段，也即启动视觉识别阶段、动态视觉跟踪阶段、同步跟踪检测阶段以及回零阶段。其中，动态视觉跟踪阶段的结束标志为末端执行器与工件的运动参数一致，同步跟踪检测阶段的结束标志为末端执行器完成作业，回零阶段的结束标志为末端执行器运动至初始位置。
在一些实施例中，可选地，第一位姿信息和第一位姿信息对应的位置信息进行处理，得到第二位姿信息采用位姿融合算法来实现，其表达如下：
sp＝fk(sc,ss)
其中，sp为第二位姿信息，ss表示位置信息，sc表示视觉系统采集得到的第一位姿信息，fk表示位姿融合算法。
在一些实施例中，可选地，采用卡尔曼滤波算法或时间邻近位姿融合算法对第一位姿信息和第一位姿信息对应的位置信息进行处理，得到第二位姿信息。
在该实施例中，卡尔曼滤波算法，也即应用卡尔曼滤波原理的算法，在此不再进行赘述。
在上述实施例中，位姿融合算法选用时间邻近位姿融合算法，则sp以s′ p表示，fk以ft表示，则s′ p的表达式如下：
s′ p＝ft(sc,sS)
其中，s′ p表示第二位姿信息，ss表示位置信息，sc表示视觉系统采集得到的第一位姿信息，ft表示时间邻近位姿融合算法。
在一些实施例中，可选地，根据第一位姿信息和第一位姿信息对应的位置信息确定第二位姿信息，具体包括：获取第一位姿信息的第一权重值，以及第一位姿信息对应的位置信息的第二权重值；确定第一位姿信息与第一权重值的第一乘积值；确定第一位姿信息对应的位置信息与第二权重值的第二乘积值；通过对第一乘积值与第二乘积值进行求和处理，得到第二位姿信息。
在该实施例中，给出了第二位姿信息的确定方案，在此实施例中，采用了加权叠加的方式来计算第二位姿信息。在此过程中，第二位姿信息计算简单，便是实现位姿信息的快速更新，从而降低了执行机构中末端执行器的响应时间，提高了响应效率。
在一些实施例中，可选地，第一权重值和第二权重值可以是经验值，如用户输入的数值，其可以根据视觉控制系统的使用场景进行设定的。
在一些实施例中，可选地，第一权重值和第二权重值可以通过多次进行试验并进行训练所得到的数值，其具体取值，在此不再进行赘述。
具体地，其融合过程的表达式如下：
sm＝wc×sc+ws×sS
其中，sm表示对第一乘积值与第二乘积值进行求和处理得到的信息，wc、ws表示第一权重值和第二权重值。
在一些实施例中，可选地，位置信息的采样频率为第一频率，第一位姿信息的采样频率为第二频率，第一频率大于第二频率，第一乘积值与第二乘积值进行求和处理得到的信息为第二频率，控制方法还包括：对第一乘积值与第二乘积值进行求和处理得到的信息进行插值处理，得到第二位姿信息；其中，第二位姿信息的采样频率为第一频率。
在该实施例中，通过进行插值处理，以便增加第一乘积值与第二乘积值进行求和处理得到的信息中所包含的信息数量，以便将其扩展到与位置信息的采样频率相同的频率，进而基于此来实现执行机构的控制。
在此过程中，可以实现执行机构控制过程中的全部控制指令的控制，以便确保执行机构动作时的流畅性，进而提高了视觉控制的精度和可靠性。
在一些实施例中，可选地，插值处理，也即根据插值算法对其进行处理。
在一些实施例中，插值算法可以是最近邻插值、线性插值、双线性插值、高阶插值中的任意一种，其可以根据实际使用需要进行选取，在此不再进行赘述。
在一些实施例中，可选地，第一位姿信息关联有第一时间戳，每一位置信息关联有第二时间戳，第一位姿信息对应的位置信息所对应的第二时间戳与第一时间戳之间的时间差最小。
在该实施例中，通过限定第一位姿信息对应的位置信息所对应的第二时间戳与第一时间戳之间的时间差最小，以便最大程度的确保第一位姿信息以及第一位姿信息所对应的位置信息几近是同一时刻的，以此来确保第二位姿信息能够表征某一时刻下工件的状态，以此来确保视觉控制系统的控制精度。
在一些实施例中，可选地，视觉控制系统还包括光电传感器，控制方法还包括：在光电传感器检测到工件，或视觉系统拍摄并识别到工件的情况下，确定检测到工件。
在该实施例中，通过设置光电传感器，以便利用光电传感器来实现工件的识别，在此过程中，可以拓宽本申请所提出的视觉控制系统的使用场景，进而满足不同场景的使用需要。
此外，可以将光电传感器设置在作业区域以外，以便在利用光电传感器检测到工件的情况下，开启视觉系统，以便准确开启视觉系统来实现工件的快速识别并进行追踪。
在一些实施例中，可选地，如图3所示，视觉控制系统的控制方法包括：
步骤302，执行机构在起始位置处于伺服状态；
步骤304，视觉识别/光电开关检测；
步骤306，检测到工件，在判断结果为是，执行步骤308，在判断结果为否，执行步骤302；
步骤308，启动跟踪；
步骤310，动态跟踪；
步骤312，运动参数是否同步，在判断结果为是，执行步骤314，在判断结果为否，执行步骤310；
步骤314，同步运动；
步骤316，执行操作。
在其中一个实施例中，如图4所示，本发明提供了一种视觉运动控制器400，视觉控制系统包括执行机构、视觉系统、测量传感器和伺服驱动器，执行机构包括末端执行器，视觉系统设于末端执行器，控制装置包括：控制单元402，用于在检测到工件的情况下，控制测量传感器周期性采集工件的位置信息、控制视觉系统周期性采集工件的第一位姿信息；融合单元404，用于根据第一位姿信息和第一位姿信息对应的位置信息确定第二位姿信息；处理单元406，用于根据执行机构的位姿信息和第二位姿信息驱动伺服驱动器，以供伺服驱动器控制执行机构动作，直至末端执行器的运动参数与工件的运动参数一致；处理单元还用于：根据位置信息，驱动伺服驱动器，以供伺服驱动器控制执行机构动作，使末端执行器与工件同步运动，直至末端执行器完成作业。
本申请的实施例提出了一种视觉运动控制器400，可以在工件的位姿发生变化的情况下，能够根据工件的位姿调整执行机构动作，从而确保执行机构能够准确实现对工件的视觉追踪。在此过程中，可以提高执行机构追踪工件的准确性。
本申请的实施例是基于以下原理实现的，具体地，伺服驱动器在接收到控制指令的情况下，能够根据控制指令控制执行机构进行动作，如执行移动、翻转等操作，以便实现对工件的追踪。
在本申请的实施例中，在检测到工件的情况下，利用视觉系统和测量传感器采集工件的信息，具体地，在采集工件的位置信息的基础上，还利用视觉系统来采集工件的第一位姿信息，以便对采集得到的第一位姿信息以及与第一位姿信息所对应的位置信息进行融合，从而得到融合后的第二位姿信息，利用融合后的第二位姿信息与执行机构的位姿信息来生产新的控制指令，以便根据控制指令驱动伺服驱动器控制执行机构运行，实现工件的视觉追踪。
在此过程中，控制执行机构的参数除了位置信息之外，还包括有工件融合后的第二位姿信息，因此，可以结合工件融合后的第二位姿信息来控制执行机构的运行，提高了视觉追踪控制的准确性。
具体地，在本申请的实施例中，不是单纯跟踪工件的位置信息来调整执行机构的位姿，而是追踪工件的位置信息与工件的第一位姿信息融合后的第二位姿信息，显然，追踪所涉及到的自由度从单个自由度(追踪工件的位置信息)变成多个自由度，因此，在工件的位姿发生变化的过程中，执行机构也能动态调整器自身位姿，以便适应工件的位姿变化，从而确保执行机构的控制精度。
在一些实施例中，可选地，第一位姿信息、第二位姿信息即代表位置和姿态，任何一个刚体在空间坐标系(OXYZ)中可以用位置和姿态来精确、唯一表示其位置状态。
其中，位置：x、y、z坐标。
姿态：刚体与OX轴的夹角rx、与OY轴的夹角ry、与OZ轴的夹角rz。
假设基坐标系为OXYZ，刚体坐标系为O`X`Y`Z`。对于视觉控制系统而言，空间中的任何一个点都必须要用上述六个参数明确指定，即(x,y,z,rx,ry,rz)，即便(x,y,z)都一样，(rx,ry,rz)不同代表机器人以不同的姿态去到达同一个点。
在一些实施例中，可选地，工件的位置信息可以是第一位姿信息中的位置，还可以包括如速度信息。其中，速度信息可以是运行速度和/或加速度。
在一些实施例中，可选地，视觉系统可以是摄像头。
在一些实施例中，可选地，测量传感器，可以是采用编码器的传感器，以便实现数据的准确测量。
在一些实施例中，可选地，运动参数可以是速度、也可以是第二位姿信息、亦或是速度和位姿信息。其可以根据实际使用需要进行选取，在此不再继续赘述。
在上述实施例中，在末端执行器与工件的运动参数一致的情况下，认为末端执行器、工件两者的运动已经相对稳定，可以进行动作，此时，仅需实现同步运行即可。
基于此，本申请的实施例中，在末端执行器与工件的运动参数一致的情况下，根据位置信息来实现同步运动，以便确保两者之间的位置能够相对固定，此时利用末端执行器对工件进行作业。
在一些实施例中，可选地，根据位置信息确定工件的移动方向和移动速度，并基于移动方向和移动速度控制执行结构工作。
在一些实施例中，可选地，根据位置信息和执行机构中末端执行器的当前位置信息，确定末端执行器的控制参数，以便末端执行器根据控制参数运行，以实现与工件的同步运行。
在一些实施例中，可选地，处理单元406，还用于：驱动伺服驱动器，以供伺服驱动器控制执行机构动作，使末端执行器运动至初始位置。
在该实施例中，通过控制末端执行器运行到初始位置，以便实现执行机构的复位，通过复位，在实现当前作业的完成的同时，也减少因末端执行器未复位对工件的运动所带来的影响。如影响作业完成后的工件运动出作业区域，又如影响未作业的工件进入作业区域。
在一些实施例中，初始位置可以根据执行机构的实际设计需要进行选取，在此不再进行赘述。
在一些实施例中，可选地，融合单元404，具体用于：采用卡尔曼滤波算法或时间邻近位姿融合算法对第一位姿信息和第一位姿信息对应的位置信息进行处理，得到第二位姿信息。
在该实施例中，卡尔曼滤波算法，也即应用卡尔曼滤波原理的算法，在此不再进行赘述。
在上述实施例中，时间邻近位姿融合算法的表达式如下：
s′ p＝ft(sc,sS)
其中，s′ p表示第二位姿信息，ss表示位置信息，sc表示视觉系统采集得到的第一位姿信息，ft表示时间邻近位姿融合算法。
在一些实施例中，可选地，融合单元404，具体用于：获取第一位姿信息的第一权重值，以及第一位姿信息对应的位置信息的第二权重值；确定第一位姿信息与第一权重值的第一乘积值；确定第一位姿信息对应的位置信息与第二权重值的第二乘积值；通过对第一乘积值与第二乘积值进行求和处理，得到第二位姿信息。
在该实施例中，给出了第二位姿信息的确定方案，在此实施例中，采用了加权叠加的方式来计算第二位姿信息。在此过程中，第二位姿信息计算简单，便是实现位姿信息的快速更新，从而降低了执行机构中末端执行器的响应时间，提高了响应效率。
在一些实施例中，可选地，第一权重值和第二权重值可以是经验值，如用户输入的数值，其可以根据视觉控制系统的使用场景进行设定的。
在一些实施例中，可选地，第一权重值和第二权重值可以通过多次进行试验并进行训练所得到的数值，其具体取值，在此不再进行赘述。
具体地，其融合过程的表达式如下：
sm＝wc×sC+ws×ss
其中，sm表示对第一乘积值与第二乘积值进行求和处理得到的信息，wc、ws表示第一权重值和第二权重值。
在一些实施例中，可选地，位置信息的采样频率为第一频率，第一位姿信息的采样频率为第二频率，第一频率大于第二频率，第一乘积值与第二乘积值进行求和处理得到的信息为第二频率，处理单元406，还用于：对第一乘积值与第二乘积值进行求和处理得到的信息进行插值处理，得到第二位姿信息；其中，第二位姿信息的采样频率为第一频率。
在该实施例中，通过进行插值处理，以便增加第一乘积值与第二乘积值进行求和处理得到的信息中所包含的信息数量，以便将其扩展到与位置信息的采样频率相同的频率，进而基于此来实现执行机构的控制。
在此过程中，可以实现执行机构控制过程中的全部控制指令的控制，以便确保执行机构动作时的流畅性，进而提高了视觉控制的精度和可靠性。
在一些实施例中，可选地，插值处理，也即根据插值算法对其进行处理。
在一些实施例中，插值算法可以是最近邻插值、线性插值、双线性插值、高阶插值中的任意一种，其可以根据实际使用需要进行选取，在此不再进行赘述。
在一些实施例中，可选地，第一位姿信息关联有第一时间戳，每一位置信息关联有第二时间戳，第一位姿信息对应的位置信息所对应的第二时间戳与第一时间戳之间的时间差最小。
在该实施例中，通过限定第一位姿信息对应的位置信息所对应的第二时间戳与第一时间戳之间的时间差最小，以便最大程度的确保第一位姿信息以及第一位姿信息所对应的位置信息几近是同一时刻的，以此来确保第二位姿信息能够表征某一时刻下工件的状态，以此来确保视觉控制系统的控制精度。
在一些实施例中，可选地，视觉控制系统还包括光电传感器，控制单元402，还用于：在光电传感器检测到工件，或视觉系统拍摄并识别到工件的情况下，确定检测到工件。
在该实施例中，通过设置光电传感器，以便利用光电传感器来实现工件的识别，在此过程中，可以拓宽本申请所提出的视觉控制系统的使用场景，进而满足不同场景的使用需要。
此外，可以将光电传感器设置在作业区域以外，以便在利用光电传感器检测到工件的情况下，开启视觉系统，以便准确开启视觉系统来实现工件的快速识别并进行追踪。
在其中一个实施例中，如图5所示，本发明提供了一种视觉运动控制器500，包括处理器502和存储器504，存储器504存储可在处理器502上运行的程序或指令，程序或指令被处理器502执行时实现如上述中任一项的方法的步骤。
在其中一个实施例中，本发明提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如上述中任一项的方法的步骤。
在其中一个实施例中，本发明提供了一种视觉控制系统，包括：如上述任一视觉运动控制器；和/或如上述可读存储介质。
在其中一个实施例中，如图6和图7所示，本发明提供了一种视觉控制系统，包括：执行机构602，执行机构602包括末端执行器6022；视觉系统604，视觉系统604设于末端执行器6022，用于周期性采集工件700的第一位姿信息；测量传感器606，用于周期性采集工件700的位置信息；伺服驱动器610；视觉运动控制器608，与伺服驱动器610、视觉系统604和测量传感器606连接，用于执行如上述中任一项的方法的步骤。
在其中一个实施例中，可选地，执行机构602还包括本体6024，末端执行器6022设于本体6024。
在其中一个实施例中，可选地，视觉控制系统还包括光电传感器616。
在该实施例中，如图8和图9所示，视觉运动控制器608中划分为有位姿融合模块和运动控制功能块，也即动态跟踪模块。
其中，位姿融合模块获取工件700的视觉定位6D位姿，也即第一位姿信息和测量传感器606测量的位置信息，输出经过融合后的工件700的6D位姿，也即第二位姿信息。
运动控制功能块，依据获取的工件700的6D位姿，进行轨迹规划，控制执行机构602的末端执行器6022按照规划的平滑运动轨迹，动态跟踪工件700，一直到两者同步运动。
在一些实施例中，可选地，位姿融合模块和运动控制功能块通过共享内存进行实时数据交互。
在上述实施例中，通过设置伺服驱动器610，以便实现执行机构602的控制，进而实现执行机构602的快速响应，确保控制精度。
在一些实施例中，可选地，视觉运动控制器608，包括：运动控制器612；视觉控制器614，与运动控制器612，用于识别工件700的第一位姿信息，并发送至运动控制器612。
在该实施例中，视觉运动控制器608可以根据实际使用需要选取运动控制器和视觉控制器的组合方案来代替，以便使得本申请提出的实施例能够适用到不同的适用场景，从而提高了场景的适配性。
在一些实施例中，可选地，执行机构602包括龙门设备或工业机器人。
在一些实施例中，可选地，工业机器人可以是SCARA机器人、六轴机器人、协作机器人、delta机器人中的任意一种。
其中，SCARA，Selective Compliance Assembly Robot Arm，是一种基于圆柱型坐标系的工业机器人，delta机器人也即自由度并联机器人。
本申请的说明书和权利要求书中的术语“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的文字描述中，除非另有说明，“多个”的含义是两个或两个以上。另外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
在本发明的权利要求书、说明书和说明书附图中，术语“多个”则指两个或两个以上，除非有额外的明确限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了更方便地描述本发明和使得描述过程更加简便，而不是为了指示或暗示所指的装置或元件必须具有所描述的特定方位、以特定方位构造和操作，因此这些描述不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，举例来说，“连接”可以是多个对象之间的固定连接，也可以是多个对象之间的可拆卸连接，或一体地连接；可以是多个对象之间的直接相连，也可以是多个对象之间的通过中间媒介间接相连。对于本领域的一般技术人员而言，可以根据上述数据地具体情况理解上述术语在本发明中的具体含义。
在本发明的权利要求书、说明书和说明书附图中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本发明的权利要求书、说明书和说明书附图中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种视觉控制系统的控制方法，其特征在于，所述视觉控制系统包括执行机构、视觉系统、测量传感器和伺服驱动器，所述执行机构包括末端执行器，所述视觉系统设于所述末端执行器，所述控制方法包括：
在检测到工件的情况下，控制所述测量传感器周期性采集所述工件的位置信息、控制所述视觉系统周期性采集所述工件的第一位姿信息；
根据所述第一位姿信息和所述第一位姿信息对应的所述位置信息确定第二位姿信息；
根据所述执行机构的位姿信息和所述第二位姿信息驱动所述伺服驱动器，以供所述伺服驱动器控制所述执行机构动作，直至所述末端执行器的运动参数与所述工件的运动参数一致；
根据所述位置信息，驱动所述伺服驱动器，以供所述伺服驱动器控制所述执行机构动作，使所述末端执行器与所述工件同步运动，直至所述末端执行器完成作业。
2.根据权利要求1所述的视觉控制系统的控制方法，其特征在于，所述控制方法还包括：
驱动所述伺服驱动器，以供所述伺服驱动器控制所述执行机构动作，使所述末端执行器运动至初始位置。
3.根据权利要求1或2所述的视觉控制系统的控制方法，其特征在于，
采用卡尔曼滤波算法或时间邻近位姿融合算法对所述第一位姿信息和所述第一位姿信息对应的所述位置信息进行处理，得到所述第二位姿信息。
4.根据权利要求1或2所述的视觉控制系统的控制方法，其特征在于，
所述根据所述第一位姿信息和所述第一位姿信息对应的所述位置信息确定第二位姿信息，具体包括：
获取所述第一位姿信息的第一权重值，以及所述第一位姿信息对应的位置信息的第二权重值；
确定所述第一位姿信息与所述第一权重值的第一乘积值；
确定所述第一位姿信息对应的位置信息与所述第二权重值的第二乘积值；
通过对所述第一乘积值与所述第二乘积值进行求和处理，得到所述第二位姿信息。
5.根据权利要求4所述的视觉控制系统的控制方法，其特征在于，所述位置信息的采样频率为第一频率，所述第一位姿信息的采样频率为第二频率，所述第一频率大于所述第二频率，所述第一乘积值与所述第二乘积值进行求和处理得到的信息为所述第二频率，所述控制方法还包括：
对所述第一乘积值与所述第二乘积值进行求和处理得到的信息进行插值处理，得到所述第二位姿信息；
其中，所述第二位姿信息的采样频率为所述第一频率。
6.根据权利要求1或2所述的视觉控制系统的控制方法，其特征在于，
所述第一位姿信息关联有第一时间戳，每一所述位置信息关联有第二时间戳，所述第一位姿信息对应的位置信息所对应的所述第二时间戳与所述第一时间戳之间的时间差最小。
7.根据权利要求1或2所述的视觉控制系统的控制方法，其特征在于，所述视觉控制系统还包括光电传感器，所述控制方法还包括：
在所述光电传感器检测到所述工件，或所述视觉系统拍摄并识别到所述工件的情况下，确定检测到所述工件。
8.一种视觉运动控制器，应用于视觉控制系统，其特征在于，所述视觉控制系统包括执行机构、视觉系统、测量传感器和伺服驱动器，所述执行机构包括末端执行器，所述视觉系统设于所述末端执行器，所述视觉运动控制器包括：
控制单元，用于在检测到工件的情况下，控制所述测量传感器周期性采集所述工件的位置信息、控制所述视觉系统周期性采集所述工件的第一位姿信息；
融合单元，用于根据所述第一位姿信息和所述第一位姿信息对应的所述位置信息确定第二位姿信息；
处理单元，用于根据所述执行机构的位姿信息和所述第二位姿信息驱动所述伺服驱动器，以供所述伺服驱动器控制所述执行机构动作，直至所述末端执行器的运动参数与所述工件的运动参数一致；
所述处理单元还用于：根据所述位置信息，驱动所述伺服驱动器，以供所述伺服驱动器控制所述执行机构动作，使所述末端执行器与所述工件同步运动，直至所述末端执行器完成作业。
9.一种视觉运动控制器，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
11.一种视觉控制系统，其特征在于，包括：
如权利要求8或9所述的视觉运动控制器；和/或
如权利要求10所述的可读存储介质。
12.一种视觉控制系统，其特征在于，包括：
执行机构，所述执行机构具有末端执行器；
视觉系统，所述视觉系统设于所述末端执行器，用于周期性采集所述工件的第一位姿信息；
测量传感器，用于周期性采集所述工件的位置信息；
伺服驱动器；
视觉运动控制器，与所述伺服驱动器、所述视觉系统和所述测量传感器连接，用于执行如权利要求1至7中任一项所述的方法的步骤。
13.根据权利要求12所述的视觉控制系统，其特征在于，所述执行机构包括龙门设备或工业机器人。
CN202311024140.8A 2023-08-15 2023-08-15 视觉控制系统及其控制方法、视觉运动控制器和存储介质 Pending CN117032027A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311024140.8A CN117032027A (zh) 2023-08-15 2023-08-15 视觉控制系统及其控制方法、视觉运动控制器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311024140.8A CN117032027A (zh) 2023-08-15 2023-08-15 视觉控制系统及其控制方法、视觉运动控制器和存储介质

Publications (1)

Publication Number Publication Date
CN117032027A true CN117032027A (zh) 2023-11-10

Family

ID=88631349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311024140.8A Pending CN117032027A (zh) 2023-08-15 2023-08-15 视觉控制系统及其控制方法、视觉运动控制器和存储介质

Country Status (1)

Country Link
CN (1) CN117032027A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111983636A (zh) * 2020-08-12 2020-11-24 深圳华芯信息技术股份有限公司 位姿融合方法、系统、终端、介质以及移动机器人
CN112060085A (zh) * 2020-08-24 2020-12-11 清华大学 一种基于视触多尺度定位的机器人操作位姿控制方法
CN113352345A (zh) * 2021-08-09 2021-09-07 季华实验室 快换装置的更换系统、方法、装置、电子设备及存储介质
WO2022105024A1 (zh) * 2020-11-17 2022-05-27 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN114986498A (zh) * 2022-05-18 2022-09-02 佛山汇真科技有限公司 一种移动操作臂协同控制方法
CN115771143A (zh) * 2022-11-25 2023-03-10 深圳市金奥博科技股份有限公司 一种基于电子凸轮的机器人传送带跟踪方法和系统
CN116476047A (zh) * 2023-03-27 2023-07-25 三一机器人科技有限公司 一种自动铺设二维码的方法、装置、机器人及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111983636A (zh) * 2020-08-12 2020-11-24 深圳华芯信息技术股份有限公司 位姿融合方法、系统、终端、介质以及移动机器人
CN112060085A (zh) * 2020-08-24 2020-12-11 清华大学 一种基于视触多尺度定位的机器人操作位姿控制方法
WO2022105024A1 (zh) * 2020-11-17 2022-05-27 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN113352345A (zh) * 2021-08-09 2021-09-07 季华实验室 快换装置的更换系统、方法、装置、电子设备及存储介质
CN114986498A (zh) * 2022-05-18 2022-09-02 佛山汇真科技有限公司 一种移动操作臂协同控制方法
CN115771143A (zh) * 2022-11-25 2023-03-10 深圳市金奥博科技股份有限公司 一种基于电子凸轮的机器人传送带跟踪方法和系统
CN116476047A (zh) * 2023-03-27 2023-07-25 三一机器人科技有限公司 一种自动铺设二维码的方法、装置、机器人及系统

Similar Documents

Publication Publication Date Title
CN107921626B (zh) 用于控制机器人操纵的系统和方法
CN108422420B (zh) 具有学习控制功能的机器人系统以及学习控制方法
CN104827473B (zh) 用于对工业机器人编程的方法和对应的工业机器人
US11045955B2 (en) Robot control device
US20120004774A1 (en) Robot apparatus and gripping method for use in robot apparatus
EP2124122A1 (en) Environment map drawing method and mobile robot
CN104589354A (zh) 机器人控制装置、机器人系统以及机器人
WO2019116891A1 (ja) ロボットシステム及びロボット制御方法
JP2005106825A (ja) 受像装置の位置および方向づけの決定方法および装置
WO2010136961A1 (en) Control device and method for controlling a robot
JP2006110702A (ja) 学習制御機能を備えたロボット及びロボットの制御方法
JP2018202514A (ja) ロボットの教示のための情報を表示するロボットシステム
JP2015507541A (ja) ロボットを制御する制御方法およびかかる方法を使用する制御システム
JP2013000833A (ja) ロボットの故障検出方法、ロボット
JP6322949B2 (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
JP5169273B2 (ja) 移動ロボットの制御装置および移動ロボットシステム
US20140094951A1 (en) Working unit control device, working robot, working unit control method, and working unit control program
CN117032027A (zh) 视觉控制系统及其控制方法、视觉运动控制器和存储介质
KR100784125B1 (ko) 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
CN103737603A (zh) 一种流水线上机械臂精确控制系统及控制方法
JP6565622B2 (ja) ロボットシステム及びロボット制御方法
JP2016203282A (ja) エンドエフェクタの姿勢変更機構を備えたロボット
CN116079750A (zh) 机器人示教系统
JP2020006469A (ja) 自動機械及び制御装置
TW200921316A (en) Multi-degree-of-freedom stage control apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination