CN113176779A - 用于运动装置的控制方法、系统、存储介质及运动装置 - Google Patents
用于运动装置的控制方法、系统、存储介质及运动装置 Download PDFInfo
- Publication number
- CN113176779A CN113176779A CN202110467835.8A CN202110467835A CN113176779A CN 113176779 A CN113176779 A CN 113176779A CN 202110467835 A CN202110467835 A CN 202110467835A CN 113176779 A CN113176779 A CN 113176779A
- Authority
- CN
- China
- Prior art keywords
- motion
- movement
- information
- target
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000005484 gravity Effects 0.000 claims description 57
- 230000008859 change Effects 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000012937 correction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/60—Other road transportation technologies with climate change mitigation effect
- Y02T10/72—Electric energy management in electromobility
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于运动装置的控制方法、系统、存储介质及运动装置。所述控制方法通过影像装置所得到的图像信息识别出路线,并根据所识别出的不同路线,确定所述运动装置的目标运动参数,并且基于目标运动参数调节所述运动装置的左侧运动件和右侧运动件的速度和方向,从而能够实时地调整运动装置的运动,以保证运动装置运动的精准性和稳定性。
Description
技术领域
本发明涉及自动控制技术领域,具体涉及一种用于运动装置的控制方法、系统、存储介质及运动装置。
背景技术
随着科学技术的发展和生活水平的提高,机器人逐渐走入千家万户,为人们提供娱乐、教学及家政等家庭服务。
通常,机器人在运动过程中,首先会对目标区域的行进路径进行规划,然后基于设定的路径进行移动。与此同时,机器人也会对行进路径上的障碍物进行测量,包括机器人与障碍物之间的距离、障碍物的方位等,并且在获取该些信息之后,对其自身的运动速度及运动方向进一步加以控制。
然而,常规的测量仪器无法对机器人的运动速度、运动方向及自身位置进行高精度的控制。也无法进一步保证机器人在运动过程中的精准性和稳定性。
有鉴于此,如何保证机器人运动的精准性和稳定性成为了相关技术人员和开发者的重要研究课题。
发明内容
本发明的目的在于,提供一种用于运动装置的控制方法、系统、存储介质及运动装置。所述控制方法通过影像装置所得到的图像信息识别出路线,并根据所识别出的不同路线,确定所述运动装置的目标运动参数,并且基于目标运动参数调节所述运动装置的左侧运动件和右侧运动件的速度和方向,从而能够实时地调整运动装置的运动,以保证运动装置运动的精准性和稳定性。
本发明提供了一种用于运动装置的控制方法。所述控制方法:包括(S1)周期性地采集所述运动装置的当前运动路线前方的图像信息;(S2)根据所述图像信息确定所述运动装置的目标运动参数;(S3)基于所述目标运动参数调节所述运动装置的左侧运动件和右侧运动件的速度和方向。
可选地,所述步骤(S3)进一步包括:实时获取所述运动装置的左侧运动件和右侧运动件的当前实际速度,并将所述当前实际速度作为比例积分微分控制算法的输入来调节所述运动装置的左侧运动件和右侧运动件的速度以使所述运动装置按照所述目标运动参数运动。
可选地,所述目标运动参数包括所述运动装置的左侧运动件的目标速度以及所述运动装置的右侧运动件的目标速度。
可选地,所述步骤(S3)进一步包括:通过调节分别与所述运动装置的左侧运动件和右侧运动件驱动连接的电机的转速的方式调节所述运动装置的左侧运动件和右侧运动件的速度。
可选地,所述步骤(S3)进一步包括:基于脉冲宽度调制信号分别调节与所述运动装置的左侧运动件和右侧运动件驱动连接的电机的转速。
可选地,所述步骤(S3)进一步包括:基于与所述电机相连接的速度检测机构获取所述运动装置的左侧运动件和右侧运动件的当前实际速度。
可选地,所述步骤(S2)进一步包括:根据所述图像信息识别所述图像信息所限定的影像区域中的所有待选运动路线,并计算每个待选运动路线在所述运动装置的坐标系下的位置信息,并基于所述位置信息确定所述运动装置的目标运动参数。
可选地,所述步骤(S2)进一步包括:在识别出所述图像信息所限定的影像区域中仅存在一条待选运动路线时将该待选运动路线作为目标运动路线;在识别出所述图像信息所限定的影像区域中存在多条待选运动路线时,基于预设的巡线路线确定所述多条待选运动路线中的一条作为目标运动路线。
可选地,所述步骤(S2)进一步包括:确定所述目标运动路线在所述运动装置的坐标系下的斜率信息和偏移量信息,并基于所述斜率信息和偏移量信息确定所述目标运动参数。
可选地,所述步骤(S2)进一步包括:确定待选运动路线的数量是否等于1;当所述待选运动路线的数量不等于1时,根据多个待选运动路线各自的位置信息计算所述多个待选运动路线之间的夹角信息以及确定所述多个待选运动路线各自的连续性,以便基于所述夹角信息以及各个待选运动路线的连续性确定预判的路况类型。
可选地,所述步骤(S2)进一步包括:当确定所述待选运动路线的数量等于2并且两个待选运动路线各自的连续性均为非连续时,确定预判的路况类型为预设角度的转弯,其中预设角度为大于0度且小于180度;;当确定所述待选运动路线的数量等于2并且两个待选运动路线中仅有一个路线的连续性为非连续时,确定预判的路况类型为T字形路口;以及当确定所述待选运动路线的数量等于2并且两个待选运动路线各自的连续性均为连续时,确定预判的路况类型为十字形路口。
可选地,所述步骤(S2)进一步包括:根据所确定的预判的路况类型以及所述目标运动路线的斜率信息和偏移量信息确定所述目标运动参数。
可选地,所述步骤(S2)进一步包括:在确定所述运动装置正在实施转弯动作时,根据在预设时间周期内获取的目标运动路线的多次偏移量信息确定所述运动装置的重心位置,并随后基于当前所确定的重心位置、当前所确定的预判的路况类型以及所述目标运动路线当前的斜率信息和偏移量信息确定所述目标运动参数。
可选地,所述偏移量信息包括第一偏移量信息和第二偏移量信息,其中第一偏移量信息用于指示所述运动装置的前端部在影像区域中的位置变化量,第二偏移量信息用于指示所述运动装置的后端部在影像区域中的位置变化量,所述步骤(S2)进一步包括以如下方式确定所述运动装置在实施转弯动作时的重心位置:在预设的时间周期内获得多次第一偏移量信息和多次第二偏移量信息;计算所述多次第一偏移量信息的平均变化信息和所述多次第二偏移量信息的平均变化信息;比较所述多次第一偏移量信息的平均变化信息和所述多次第二偏移量信息的平均变化信息;根据比较结果确定所述运动装置的重心位置。
可选地,在根据比较结果确定所述运动装置的重心位置的步骤,包括:当比较结果为所述多次第一偏移量信息的平均变化信息和所述多次第二偏移量信息的平均变化信息之间的差值在预设范围内时,确定所述运动装置的重心位置为居中;当比较结果为所述多次第一偏移量信息的平均变化信息小于第一预设阈值时,确定所述运动装置的重心位置为偏前;以及当比较结果为所述多次第二偏移量信息的平均变化信息小于第二预设阈值时,确定所述运动装置的重心位置为偏后。
可选地,所述步骤(S2)进一步包括:基于所确定的重心位置,通过所述目标运动参数分别调整所述运动装置的左侧运动件和右侧运动件的速度,上述步骤包括:当确定所述运动装置的重心位置为居中,且所述运动装置朝右方向转弯时,维持所述左侧运动件和所述右侧运动件的速度;当确定所述运动装置的重心位置为偏前,且所述运动装置朝右方向转弯时,减小所述右侧运动件的速度,并且增大所述左侧运动件的速度;以及当确定所述运动装置的重心位置为偏后,且所述运动装置为右转时,增大所述右侧运动件的速度,并且减小所述左侧运动件的速度。当确定所述运动装置的重心位置为居中,且所述运动装置朝左方向转弯时,维持所述左侧运动件和所述右侧运动件的速度;当确定所述运动装置的重心位置为偏前,且所述运动装置朝左方向转弯时,增大所述右侧运动件的速度,并且减小所述左侧运动件的速度;以及当确定所述运动装置的重心位置为偏后,且所述运动装置朝左方向转弯时,减小所述右侧运动件的速度,并且增大所述左侧运动件的速度。
所述控制方法还包括:在预设时间段内,多次获取所述运动装置的实际运动信息,其中所述实际运动信息包括实际运动路程和实际运动速度;以及根据多次所获取的实际运动路程和实际运动速度,预估所述运动装置的运动趋势。
可选地,根据多次所获取的实际运动路程和实际运动速度,预估所述运动装置的运动趋势的步骤,包括:根据多次所获得的实际运动路程得到实际运动路线的斜率信息和偏移量信息;根据所述实际运动路线的斜率信息和偏移量信息,实施拟合操作以得到预估路线;以及根据所述实际运动速度以及所得到的预估路线,预估所述运动装置的运动趋势。
根据本发明的另一方面,本发明实施例提供了一种用于运动装置的控制系统,所述控制系统包括:图像信息获取模块,用于周期性地采集所述运动装置的当前运动路线前方的图像信息;目标参数确定模块,用于根据所述图像信息确定所述运动装置的目标运动参数;运动件调节模块,用于基于所述目标运动参数调节所述运动装置的左侧运动件和右侧运动件的速度和方向。
根据本发明的又一方面,本发明实施例提供一种存储介质。所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现本发明任一实施例所述的用于运动装置的控制方法的步骤。
根据本发明的另一方面,本发明实施例提供一种运动装置。所述运动装置包括控制器,所述控制器包括存储器和处理器,所述存储器上存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本发明任一实施例所述的用于运动装置的控制方法的步骤。
本发明实施例所述的控制方法通过影像装置所得到的图像信息识别出路线,并根据所识别出的不同路线,确定所述运动装置的目标运动参数,以及基于目标运动参数,并通过控制器、电机、光电开关以及PID控制算法(比例积分微分控制算法)的配合使用,调节所述运动装置的左侧运动件和右侧运动件的速度和方向,从而能够实时地调整运动装置的运动,以保证运动装置运动的精准性和稳定性。本发明所述控制系统亦是如此。
附图说明
下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其它有益效果显而易见。
图1为本发明一实施例所提供的用于运动装置的控制方法的步骤流程图。
图2为本发明实施例所提供的所述控制方法中运动装置部分结构示意图。
图3为图1所示的步骤S120的子步骤的一实施例的步骤流程图。
图4为图1所示的步骤S120的子步骤的另一实施例的步骤流程图。
图5为图4所示的步骤S134的子步骤的步骤流程图。
图6为图1所示的步骤S130的后继步骤的另一实施例的步骤流程图。
图7为图6所示的步骤S152的子步骤的一实施例的步骤流程图。
图8为图6所示的步骤S152的子步骤的另一实施例的步骤流程图。
图9为本发明一实施例所提供的用于运动装置的控制系统的框架示意图。
图10为本发明另一实施例所提供的控制系统的框架示意图。
图11为本发明又一实施例所提供的控制系统的框架示意图。
图12为图11所示的运动趋势预估模块的框架示意图。
图13为本发明一实施例所提供的一种运动装置的框架示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。
参阅图1,在本实施例中,所述控制方法可以应用于如图2所示的运动装置。具体地,运动装置可以为运动积木车、智能玩具车、遥控机器人,但不限于此,也可以为其他可运动的电子装置。
参阅图2,所述运动装置2000可以包括:电机10、运动件40、光电开关30、触发件20、影像装置(图中未示)以及控制器(图中未示)。其中,在本实施例中,所述电机10包括第一电机11和第二电机12,所述运动件40包括第一运动件41和第二运动件42,所述光电开关30包括第一光电开关31和第二光电开关32,所述触发件20包括第一触发件21和第二触发件22。
具体地,第一电机11和第二电机12可以分别安装于运动装置本体的左右两侧,但也不限于此,也可以安装于运动装置本体的中间位置。
第一触发件21安装在第一电机11的转动轴上,并且随第一电机11的转动轴同步旋转。换言之,第一触发件21的转动速度与第一电机11的转速相同。同样,第二触发件22安装在第二电机12的转动轴上,并且随第二电机12的转动轴同步旋转。换言之,第二触发件22的转动速度与第二电机12的转速相同。在本实施例中,第一触发件21和第二触发22件均包括码盘。
第一运动件41与第一电机11的转动轴驱动连接,第二运动件42与第二电机12的转动轴驱动连接。在本实施例中,第一运动件41和第二运动件42均为车轮。需说明的是,第一运动件即指右侧运动件,第二运动件即指左侧运动件。
第一光电开关31的发射端和接收端位于第一触发件21的一侧或两侧。第一光电开关31随着第一触发件21的转动输出相应频率的第一信号至控制器。同样,第二光电开关32的发射端和接收端位于第二触发件22的一侧或两侧。第二光电开关32随着第二触发件22的转动输出相应频率的第二信号至控制器。第一信号的频率与第一电机的转速成正比,第二信号的频率与第二电机的转速成正比。在本实施例中,第一光电开关31和第二光电开关32可以为槽型光电开关,但不限于此,在其他部分实施例中,第一光电开关31和第二光电开关32也可以为反射式光电开关。
此外,在运动装置本体上安装有影像装置。所述影像装置可以为摄像头(图中未示),但不限于此,也可以为微型相机、图像传感器等。所述影像装置用于采集所述运动装置的当前运动路线前方的图像信息。
此外,所述运动装置还包括控制器,控制器可以为微控制器(MCU),但不限于此,也可以为CPU处理器、单片机等具有处理和控制功能的电子装置。
本发明所述运动装置的控制器通过脉冲宽度调制(PWM)信号控制第一电机的转速,并同时根据第一信号的频率计算得到第一电机的实际转速,并且将第一电机的实际转速反馈给PID控制器以调整PWM信号的占空比,从而对第一电机的转速进行调节,进而实现通过反馈调节系统将第一电机的实际转速与其相应的目标转速调节为一致。在第一电机的实际转速调节为目标转速的过程中,右侧运动件的目标速度也相应的改变。同样,也可以实现通过反馈调节系统将第二电机的实际转速与其相应的目标转速调节为一致。在第二电机的实际转速调节为目标转速的过程中,左侧运动件的目标速度也相应的改变。当改变右侧运动件和/或左侧运动件的目标速度时,相应地改变了运动装置的运动速度和运动方向。
继续参阅图1,本发明所述控制方法通过执行上述步骤S110至步骤S130,即通过影像装置所得到的图像信息识别出路线,并根据所识别出的不同路线,并根据所识别出的不同路线,确定所述运动装置的目标运动参数,并且基于目标运动参数调节所述运动装置的左侧运动件和右侧运动件的速度和方向,从而能够实时地调整运动装置的运动,以保证运动装置运动的精准性和稳定性。
以下将结合附图进一步说明本发明所述用于运动装置的控制方法的每一个步骤。
步骤S110,周期性地采集所述运动装置的当前运动路线前方的图像信息。
在运动装置的运动过程中,影像装置实时地采集运动装置的当前运动路线前方的图像信息。
需说明的是,图像信息限定了一影像区域。该影像区域可以为X*Y的坐标框,其中X,Y为正整数,该坐标框的中心为(m,n),其中m=X/2并取整,n=Y/2并取整,坐标框的单位为像素点。需说明的是,此处描述的X,Y,m,n与下文中所出现的X,Y,m,n表示相同的意思。在本实施例中,该坐标框例如可以为81*81的坐标框,该坐标框的尺寸大小大致为2cm*2cm的区域范围,坐标框的中心为(40,40)。当然,在其他部分实施例中,影像区域也可以为其他单位尺寸的坐标框,例如m*m的坐标框,该坐标框的单位为毫米或厘米。
步骤S120,根据所述图像信息确定所述运动装置的目标运动参数。
运动装置可以基于目标运动路线进行运动。目标运动路线为预先设定,目标运动路线可以为直线、折线、弧线、或多个线路交叉。
因此,运动装置在运动过程中,根据所采集的图像信息,可以判断在影像区域中是否存在待选运动路线。
若根据图像信息判断出未发现待选运动路线,则可以设定待选运动路线的数量为0。若根据图像信息判断出发现待选运动路线后,可以进一步根据待选运动路线的数量及类型确定目标运动路线。运动装置可以根据目标运动路线的实际情况进行巡线运动。而且,根据不同的目标运动路线,可以相应调整运动装置的电机转速及运动件的目标速度,以控制所述运动装置的运动。
进一步地,在根据所述图像信息识别所述图像信息所限定的影像区域中的所有待选运动路线后,计算每个待选运动路线在所述运动装置的坐标系下的位置信息,并基于所述位置信息确定所述运动装置的目标运动参数。其中位置信息可以使用坐标信息来表示,当然也可以使用例如区域信息来表示。
具体地,待选运动路线在所述运动装置的坐标系下可以表示为y=kx+b,其中,k为待选运动路线的斜率,k=-b/a,a和b为动态参数。具体地,当运动装置沿Y轴方向运动时,待选运动路线的斜率为0。当运动装置朝偏左方向运动时,待选运动路线的斜率为大于0,当运动装置朝偏右方向运动时,待选运动路线的斜率为小于0。
参阅图3,步骤S121,确定待选运动路线的数量是否等于1。
当识别出影像区域中存在待选运动路线后,可以判断待选运动路线的数量。通常,待选运动路线的数量为1或2。需说明的是,本文实施例所述的待选运动路线的数量仅以1或2为例进行描述,但并不限制待选运动路线的数量可以为其他正整数。
若识别出待选运动路线的数量为1时,则将该待选运动路线作为目标运动路线。其中,待选运动路线可形成直线或弧线。若识别出待选运动路线的数量为2时,则基于预设的巡线规则确定所述多条待选运动路线中的一条作为目标运动路线。其中,待选运动路线可形成折线或交叉线。需说明的是,巡线规则为预设的,若确定预判的路况类型为十字形路口,则运动装置继续沿直线运动,若确定预判的路况类型为T字形路口,则运动装置默认实施右转弯动作。
步骤S122,当所述待选运动路线的数量不等于1时,根据多个待选运动路线各自的位置信息计算所述多个待选运动路线之间的夹角信息以及确定所述多个待选运动路线各自的连续性,以便基于所述夹角信息以及各个待选运动路线的连续性确定预判的路况类型。
根据上述待选运动路线的表达式y=kx+b,例如折线为两个路线,即第一运动路线和第二运动路线,可以获得以下信息:第一运动路线可表示为y1=k1x1+b1,以及第二运动路线可表示为y2=k2x2+b2。通过计算第一运动路线与X轴之间的夹角以及第二运动路线与X轴之间的夹角,可以获得第一运动路线与第二运动路线之间的夹角信息。于是,运动装置的控制器根据该夹角信息可以确定预判的路况类型,例如90度转弯运动,接着调整运动装置的目标运动方向和目标速度。
在步骤S122中,根据两个待选运动路线在影像区域中的各自位置信息,判断两个待选运动路线的各自连续性,以获得判断结果。
判断平行于X轴方向的第一待选运动路线的连续性的方法,具体如下:若第一待选运动路线两端的坐标信息为x1=0且x2=X时,则表示该第一待选运动路线为直线且连续。若第一待选运动路线两端的坐标信息为x1>0且x2=X,或者第一待选运动路线两端的坐标信息为x1=0且x2<X时,则表示该第一待选运动路线为直线且非连续。若第一待选运动路线两端的坐标信息为x1>0且x2<X时,则表示该第一待选运动路线为线段,且非连续。同样,也可以采用上述方法判断平行于Y轴方向的第二待选运动路线的连续性,具体如下:若第二待选运动路线两端的坐标信息为y1=0且y2=Y时,则表示该第二待选运动路线为直线且连续。若第二待选运动路线两端的坐标信息为y1>0且y2=Y,或者第二待选运动路线两端的坐标信息为y1=0且y2<Y时,则表示该第二待选运动路线为直线且非连续。若第二待选运动路线两端的坐标信息为y1>0且y2<Y时,则表示该第二待选运动路线为线段,且非连续。若待选运动线路为非平行于X轴且非平行于Y轴,则可以通过以下方式判断:当该待选运动线路两端的坐标信息满足以下条件:x1等于X或x1=0或y1等于Y或y1=0且同时x2=X或x2=0或y2=0或y2=Y,则该表示该待选运动路线为直线且连续。
在获得判断结果后可以确定预判的路况类型,以便于后继调整运动装置的目标运动方向和目标速度。而确定预判的路况类型的方式具体如下:
当确定所述待选运动路线的数量等于2且两个待选运动路线各自的连续性均为非连续时,确定预判的路况类型为预设角度的转弯,其中预设角度为大于0度且小于180度,以进一步控制所述运动装置的运动。例如,预设角度为90度时,可以确定预判的路况类型为90度直接转弯。
当确定所述待选运动路线的数量等于2且两个待选运动路线中仅有一个路线的连续性为非连续时,确定预判的路况类型为T字形路口,以进一步控制所述运动装置的运动。
当确定待选运动路线的数量等于2且两个待选运动路线各自的连续性均为连续时,确定预判的路况类型为十字形路口,以进一步控制运动装置的运动。
通过上述步骤S121至步骤S122的实施,可以确定目标运动路线的路线类型,或确定目标运动路线是否为多线交叉情况。当判断出路况类型为90度转弯、T字形、十字形时,即判断出运动装置遇到90度转弯路口、T字形转弯路口或十字形转弯路口时,通过控制器相应调整电机的目标转速及运动件的目标速度,以进一步控制运动装置的运动,从而能够保证运动装置的转弯或直行效果。
继续参阅图1,在步骤S120中,当计算得到每个待选运动路线在所述运动装置的坐标系下的位置信息,并且从待选运动路线中确定目标运动路线后,可以确定所述目标运动路线在所述运动装置的坐标系下的斜率信息和偏移量信息,并基于所述斜率信息和偏移量信息确定所述目标运动参数。
具体地,根据所述斜率信息,可以确定所述运动装置的运动方向。
根据位置信息,可以获得偏移量信息。其中,偏移量可用于表示目标运动路线在所述运动装置的坐标系下的坐标(即在影像区域中的坐标)与影像区域中心点的相对关系。在本实施例中,可以通过目标运动路线的第一端和第二端分别与中心点之间的相对关系来表示偏移量。
具体地,第一端的坐标为(0,y1),第二端的坐标为(X,y2),第一端与坐标(0,n)之间的第一偏移量为Δy=|y1-n|,第二端与坐标(X,n)之间的第二偏移量为Δy=|y2-n|,其中X、n的含义如上文所述。
偏移量用于调整运动装置的电机的目标转速及运动件的目标速度。正常情况下,例如直线运动时,运动装置的运动件的目标速度不需要做调整。当运动装置运动发生转弯或朝偏左方向运动或朝偏右方向运动时,需要调整电机的目标转速及运动件的目标速度。
由于运动装置的左右两侧设有右侧运动件和左侧运动件,因此,为了改变运动装置的运动方向(例如,朝偏左方向运动,或朝偏右方向运动),于是需要相应调整右侧运动件和左侧运动件的目标速度,亦即相应调整第一电机和第二电机的目标转速。据此,下文所述的第一偏移量信息可以与右侧运动件的目标修正数据(即目标速度的修正值)有关,也可以与左侧运动件的目标修正数据(即目标速度的修正值)有关。同样,第二偏移量信息可以与左侧运动件的目标修正数据(即目标速度的修正值)有关,也可以与右侧运动件的目标修正数据(即目标速度的修正值)有关。换言之,根据偏移量信息,可以获得目标修正数据,以此确定运动装置的目标运动参数。
此外,如上文所述,在本发明的一些实施例中,根据目标运动路线的斜率信息和偏移量信息,可以确定所述目标运动参数。而在本发明的另一些实施例中,根据所确定的预判的路况类型以及所述目标运动路线的斜率信息和偏移量信息,也可以确定所述目标运动参数。
在步骤S120中,还可以包括:
在确定所述运动装置正在实施转弯动作时,根据在预设时间周期内获取的目标运动路线的多次偏移量信息确定所述运动装置的重心位置,并随后基于当前所确定的重心位置、当前所确定的预判的路况类型以及所述目标运动路线当前的斜率信息和偏移量信息确定所述目标运动参数。
具体地,所述偏移量信息包括第一偏移量信息和第二偏移量信息,其中第一偏移量信息用于指示所述运动装置的前端部在影像区域中的位置变化量,第二偏移量信息用于指示所述运动装置的后端部在影像区域中的位置变化量,所述步骤S120进一步包括以如下方式确定所述运动装置在实施转弯动作时的重心位置:
参阅图4,步骤S131,在预设的时间周期内获得多次第一偏移量信息和多次第二偏移量信息。
如上文所述,偏移量用于调整运动装置的电机的目标转速及运动件的目标速度。换言之,偏移量可以表现出运动装置的运动状态,例如处于直线运动、转弯运动等。因此,第一偏移量信息可以用于表示运动装置前端部在影像区域中的坐标变化量。第二偏移量信息可以用于表示运动装置后端部在影像区域中坐标变化量。
步骤S132,计算所述多次第一偏移量信息的平均变化信息和所述多次第二偏移量信息的平均变化信息。
为了保证采样数据的可靠性,根据多次第一偏移量信息和多次第二偏移量信息,并通过平均算法,分别得到第一偏移量的平均变化信息和第二偏移量的平均变化信息。
步骤S133,比较所述多次第一偏移量信息的平均变化信息和所述多次第二偏移量信息的平均变化信息。
步骤S134,根据比较结果确定所述运动装置的重心位置。
图5中,步骤S141,当比较结果为所述多次第一偏移量信息的平均变化信息和所述多次第二偏移量信息的平均变化信息之间的差值在预设范围内时,确定所述运动装置的重心位置为居中。也就是说,运动装置的前端部和后端部在影像区域中的坐标变化量差不多,可作为近似相同。
步骤S142,当比较结果为所述多次第一偏移量信息的平均变化信息小于第一预设阈值时,确定所述运动装置的重心位置为偏前。
也就是说,运动装置的前端部在影像区域中的坐标变化量相对较小,且小于第一预设阈值,而运动装置的后端部在影像区域中的坐标变化量相对较大,则确定所述运动装置的重心位置为偏前。
步骤S143,当比较结果为所述多次第二偏移量信息的平均变化信息小于第二预设阈值时,确定所述运动装置的重心位置为偏后。
也就是说,运动装置的后端部在影像区域中的坐标变化量相对较小,且小于第二预设阈值,而运动装置的前端部在影像区域中的坐标变化量相对较大,则确定所述运动装置的重心位置为偏后。
继续参阅图4,在步骤S120的子步骤S135:基于所确定的重心位置,通过所述目标运动参数分别调整所述运动装置的左侧运动件和右侧运动件的速度。
该步骤可以进一步包括:
其中,运动装置朝右方向转弯的情况如下:
运动装置右转时,右侧运动件向后移动,左侧运动件向前移动,左侧运动件和右侧运动件的速度相同;当确定所述运动装置的重心位置为居中,且所述运动装置朝右方向转弯时,维持所述左侧运动件和所述右侧运动件的速度。
当确定所述运动装置的重心位置为偏前,且所述运动装置朝右方向转弯时,为了减小运动装置的转弯半径,减小所述右侧运动件的速度,并且增大所述左侧运动件的速度。具体地,在本实施例中,左轮需向前移动且增速,右轮需向后移动且减速,若当运动装置的后端部在影像区域中的坐标接近影像区域中心点,即运动装置的目标运动路线的第二偏移量小于第二预设阈值时,调整左、右轮为同时向前运动,左、右轮速度可以根据第一偏移量信息和第二偏移量信息而相应获得,即恢复至正常的巡线运动。
当确定所述运动装置的重心位置为偏后,且所述运动装置朝右方向转弯时,为了减小运动装置的转弯半径,增大所述右侧运动件的速度,并且减小所述左侧运动件的速度。具体地,在本实施例中,左轮需向前移动且减速,右轮需向后移动且增速,若当运动装置的前端部在影像区域中的坐标接近影像区域中心点,即运动装置的目标运动路线的第一偏移量小于第一预设阈值时,调整左、右轮为同时向前运动,左、右轮速度可以根据第一偏移量信息和第二偏移量信息而相应获得,即恢复至正常的巡线运动。
其中,运动装置朝左方向转弯的情况如下:
运动装置左转时,左侧运动件向后移动,右侧运动件向前移动,左侧运动件和右侧运动件的速度相同;当确定所述运动装置的重心位置为居中,且所述运动装置朝左方向转弯时,维持所述左侧运动件和所述右侧运动件的速度。
当确定所述运动装置的重心位置为偏前,且所述运动装置朝左方向转弯时,为了减小运动装置的转弯半径,增大所述右侧运动件的速度,并且减小所述左侧运动件的速度。具体地,在本实施例中,左轮需向后移动且减速,右轮需向前移动且增速,若当运动装置的后端部在影像区域中的坐标接近影像区域中心点,即运动装置的目标运动路线的第二偏移量小于第二预设阈值时,调整左、右轮为同时向前运动,左、右轮速度可以根据第一偏移量信息和第二偏移量信息而相应获得,即恢复至正常的巡线运动。
当确定所述运动装置的重心位置为偏后,且所述运动装置朝左方向转弯时,为了减小运动装置的转弯半径,减小所述右侧运动件的速度,并且增大所述左侧运动件的速度。具体地,在本实施例中,左轮需向后移动且增速,右轮需向前移动且减速,若当运动装置的前端部在影像区域中的坐标接近影像区域中心点,即运动装置的目标运动路线的第一偏移量小于第一预设阈值时,调整左、右轮为同时向前运动,左、右轮速度可以根据第一偏移量信息和第二偏移量信息而相应获得,即恢复至正常的巡线运动。
这样可以通过所述目标运动参数并使用PID控制算法来控制运动装置的右侧运动件和左侧运动件的目标速度,从而能够有效解决因运动装置的重心偏移而导致在转弯时识别线路偏离影像区域的问题。
进一步地,在上述实施例中,还可以包括以下步骤:通过第一触发件、第二触发件、第一光电开关、第二光电开关的配合使用,能够实时获得右侧运动件和左侧运动件的实际运动速度,并且将这些实际运动速度反馈至PID调节器,从而实现通过第一、第二触发件与第一、第二光电开关的配合、PID控制器、以及运动件的目标速度(或电机的目标转速),能够形成闭环控制系统,进而精准地控制运动装置进行不同角度的转向,并且保证运动装置在重心偏移的情况下也能够正常识别线路。
继续参阅图1,如上文所述,在步骤S120中,获得了目标运动参数(例如偏移量信息),于是在步骤S130中,通过PID控制算法相应地调节所述运动装置的左侧运动件和右侧运动件的速度。其中,PID控制算法,即比例积分微分控制算法,为一种按偏差的比例(P)、积分(I)和微分(D)进行控制的方法。
当运动装置进行转向运动时,需要通过PID控制算法分别对左侧运动件和右侧运动件的目标速度进行修正。
若运动装置朝偏左方向运动时,则右侧运动件的目标修正数据为:speed_r=default_speed+a1*|(y1-n)|+b;左侧运动件的目标修正数据为:speed_l=default_speed–a1*|(n-y2)|+b。
同样,若运动装置朝偏右方向运动时,则右侧运动件的目标修正数据为:speed_r=default_speed-a1*|(y2-n)|+b;左侧运动件的目标修正数据为:speed_l=default_speed+a1*|(n-y1)|+b。
上述目标修正数据可以作为目标运动参数。其中,speed_r表示右侧运动件的目标修正速度,speed_l表示左侧运动件的目标修正速度,default_speed表示右侧运动件和左侧运动件的速度,其为默认值,a1为调整系数。
在步骤130中,可以包括:实时获取所述运动装置的左侧运动件和右侧运动件的当前实际速度,并将所述当前实际速度作为比例积分微分控制算法的输入来调节所述运动装置的左侧运动件和右侧运动件的速度以使所述运动装置按照所述目标运动参数运动。
所述目标运动参数包括所述运动装置的左侧运动件的目标速度以及所述运动装置的右侧运动件的目标速度。
进一步地,调节目标运动参数的方式不局限于直接调节所述运动装置的左侧运动件的目标速度以及所述运动装置的右侧运动件的目标速度,而且还可以通过调节分别与所述运动装置的左侧运动件和右侧运动件驱动连接的电机的转速的方式调节所述运动装置的左侧运动件和右侧运动件的速度。
在本实施例中,基于脉冲宽度调制信号分别调节与所述运动装置的左侧运动件和右侧运动件驱动连接的电机的转速。而在其他部分实施例中,也可以根据其他控制信号调节与所述运动装置的左侧运动件和右侧运动件驱动连接的电机的转速。
进一步地,实时获取所述运动装置的左侧运动件和右侧运动件的当前实际速度可以包括:基于与所述电机相连接的速度检测机构获取所述运动装置的左侧运动件和右侧运动件的当前实际速度。具体地,速度检测机构例如包括第一、第二光电开关和第一、第二触发件,通过第一、第二光电开关和第一、第二触发件的配合使用,能够获取所述运动装置的左侧运动件和右侧运动件的当前实际速度。
在步骤S130中,根据目标运动参数,并通过脉冲宽度调制信号调整所述运动装置的电机的目标转速,并相应改变所述运动装置的目标运动速度,以控制所述运动装置的运动。
进一步地,根据所述目标运动参数分别调整所述第一电机和所述第二电机的目标转速,以相应改变右侧运动件和左侧运动件的目标速度。并且,根据右侧运动件和左侧运动件的目标速度,获得目标速度差。据此,基于所述目标运动速度差控制所述运动装置的运动。若目标运动速度差为零,表示运动装置为直线运动。若目标运动速度差大于零,表示运动装置为转向运动。
由于本发明所述控制方法在执行步骤S110至步骤S130过程中,通过实时所获得的目标运动路线的偏移量、PID控制器(执行PID控制算法)以及电机的目标转速,以形成一个闭环系统,从而能够实时地调整运动装置在巡线运动过程中的稳定性和顺畅度,并且降低运动装置发生偏摆现象的几率。
本发明所述控制方法在执行步骤S130之后,还可以包括以下步骤:
本发明所述用于运动装置的控制方法,在执行步骤S130之后,还可以包括以下步骤:
图6为图1所示的步骤S130的后继步骤的另一实施例的步骤流程图。
参阅图6,步骤S151,在预设时间段内,多次获取所述运动装置的实际运动信息,其中所述实际运动信息包括实际运动路程和实际运动速度。
步骤S152,根据多次所获取的实际运动路程和实际运动速度,预估所述运动装置的运动趋势。
步骤S152可以包括以下步骤:
参阅图7,步骤S1521,根据多次所获得的实际运动路程得到实际运动路线的斜率信息和偏移量信息。步骤S1522,根据所述实际运动路线的斜率信息和偏移量信息,实施拟合操作以得到预估路线。步骤S1523,根据所述实际运动速度以及所得到的预估路线,预估所述运动装置的运动趋势。
此外,步骤S152还可以包括以下步骤:
图8,S1531,通过第一触发件与第一光电开关以及第二触发件与第二光电开关,得到第一触发件和第二触发件的转动圈数,以计算得到实际运动路线。
其中,第一触发件和第二触发件均包括码盘,第一光电开关和第二光电开关均为槽型光电开关。通过第一光电开关和第二光电开关的工作,可以获得码盘转动的圈数。由于码盘转动的圈数与运动件转动的圈数为固定比例关系,因此,可以计算得到实际运动路程。
S1532,第一光电开关随着第一触发件的转动输出第一频率至所述控制器。
S1533,第二光电开关随着第二触发件的转动输出第二频率至所述控制器。
S1534,所述控制器根据第一频率获得右侧运动件的实际速度。
S1535,所述控制器根据第二频率获得左侧运动件的实际速度。
通过执行步骤S1531至步骤S1535,即码盘的转动触发槽型光电开关,从而输出相应的方波信号,并且根据方波信号的频率,可以获得运动装置的实际速度。这样,在预设时间段内,根据多次获得所述运动装置的实际运动信息(包括实际运动路程和实际运动速度),能够有效地预估所述运动装置的运动趋势。
为了便于更好地理解本发明的技术方案,下文将以智能积木车作为运动装置的示例进行描述。
所述智能积木车包括:第一电机、第二电机、第一码盘、第二码盘、第一光电开关、第二光电开关、左车轮、右车轮、摄像头和微控制器。具体地,第一电机和第二电机均安装于智能积木车的左右两侧。第一码盘安装在第一电机的转动轴上,随第一电机的转动轴同步旋转。第一码盘安装在第一电机的转动轴上,随第一电机的转动轴同步旋转。第二码盘安装在第二电机的转动轴上,随第二电机的转动轴同步旋转。右车轮与第一电机的转动轴驱动连接。左车轮与第二电机的转动轴驱动连接。第一光电开关的发射端和接收端分别位于第一码盘的两侧。第一光电开关随着第一码盘的转动输出相应频率的第一信号至控制器。第二光电开关的发射端和接收端分别位于第二码盘的两侧。第二光电开关随着第二码盘的转动输出相应频率的第二信号至控制器。第一信号的频率与第一电机的转速成正比,第二信号的频率与第二电机的转速成正比。在智能积木车的底部安装有摄像头,该摄像头能够采集智能积木车的当前运动路线前方的图像信息。在智能积木车内部还安装有微控制器。微控制器通过PWM信号控制第一电机的转速,并同时根据第一信号的频率计算得到第一电机的实际转速,并且将第一电机的实际转速反馈给PID控制器以调整PWM信号的占空比,从而对第一电机的转速进行调节,进而实现通过反馈调节系统将第一电机的实际转速与其相应的目标转速调节为一致。在第一电机的实际转速调节为目标转速的过程中,右车轮的目标速度也相应的改变。同样,也可以实现通过反馈调节系统将第二电机的实际转速与其相应的目标转速调节为一致。在第二电机的实际转速调节为目标转速的过程中,左车轮的目标速度也相应的改变。当改变左车轮和/或右车轮的目标速度时,相应地改变智能积木车的运动速度和运动方向。
实施例一,本发明所述控制方法包括以下步骤:
步骤11,周期性地采集所述运动装置的当前运动路线前方的图像信息。
需说明的是,在本实施例中,图像信息限定了一影像区域。该影像区域可以为81*81的坐标框,坐标框的单位为像素点。该坐标框的中心为(40,40)。
步骤12,根据所述图像信息确定所述运动装置的目标运动参数。
智能积木车可以基于目标运动路线进行运动。目标运动路线为预先设定,目标运动路线可以为直线、折线、弧线、或多个线路交叉。
智能积木车在运动过程中,根据所采集的图像信息,可以判断在影像区域中是否存在待选运动路线。
若根据图像信息判断出发现待选运动路线后,可以进一步根据待选运动路线确定目标运动路线。智能积木车可以根据目标运动路线的实际情况进行巡线运动。而且,根据不同的目标运动路线,可以相应调整智能积木车的电机转速及运动件的目标速度,以控制智能积木车的运动。
在此步骤中,若识别出待选运动路线的数量为1时,则将该待选运动路线作为目标运动路线。其中,待选运动路线可形成直线或弧线。若识别出待选运动路线的数量为2时,则基于预设的巡线规则确定所述多条待选运动路线中的一条作为目标运动路线。其中,待选运动路线可形成折线或交叉线。需说明的是,巡线规则为预设的,若确定预判的路况类型为十字形路口,则运动装置继续沿直线运动,若确定预判的路况类型为T字形路口,则智能积木车默认实施右转弯动作。
当判断出所述待选运动路线的数量为2时,获取两个待选运动路线在影像区域中的各自坐标信息。具体地,第一运动路线和第二运动路线在影像区域中的各自位置信息可以如下表示:第一运动路线可表示为y1=k1x1+b1,第二运动路线可表示为y2=k2x2+b2。接着,根据两个待选运动路线在影像区域中的各自坐标信息,判断两个待选运动路线的各自连续性,以获得判断结果。然后,基于判断结果确定预判的路况类型,以进一步控制智能积木车的运动。其中,当判断结果为两个待选运动路线的各自连续性均为非连续时,确定预判的路况类型为预设角度的转弯,其中预设角度为大于0度且小于180度,以进一步控制智能积木车的运动;当判断结果为两个待选运动路线的各自连续性中仅有一个为非连续时,确定预判的路况类型为T字形路口,以进一步控制智能积木车的运动;当判断结果为两个待选运动路线的各自连续性均为连续时,确定预判的路况类型为十字形路口,以进一步控制智能积木车的运动。这样,当判断出路况类型为90度转弯、或为T字形、或为十字形路口时,即判断出智能积木车遇到90度转弯路口、或T字形转弯路口或十字形转弯路口时,通过微控制器相应调整电机的目标转速及左右车轮的目标速度,以进一步控制智能积木车的运动,从而能够保证智能积木车的转弯或直行效果。
此外,在此步骤中,可以确定待选运动路线在影像区域中的坐标信息,以得到智能积木车的目标运动参数,其中所述目标运动参数包括目标运动路线的斜率信息和偏移量信息。根据所述斜率信息,可以确定智能积木车的运动方向。所述偏移量信息用于调整智能积木车的电机的目标转速及左右车轮的目标速度。
进一步,正常情况下,例如直线运动时,智能积木车的左右车轮的目标运动速度不需要做调整。当智能积木车运动发生转弯或朝偏左方向运动或朝偏右方向运动时,需要调整电机的目标转速及左右车轮的目标速度。
在步骤12中,还可以包括:
在确定智能积木车正在实施转弯动作时,根据在预设时间周期内获取的目标运动路线的多次偏移量信息确定智能积木车的重心位置,并随后基于当前所确定的重心位置、当前所确定的预判的路况类型以及所述目标运动路线当前的斜率信息和偏移量信息确定所述目标运动参数。
具体地,所述偏移量信息包括第一偏移量信息和第二偏移量信息,其中第一偏移量信息用于指示智能积木车的前端部在影像区域中的坐标变化量,第二偏移量信息用于指示智能积木车的后端部在影像区域中的坐标变化量。
上述步骤包括:
1)在预设的时间周期内获得多次第一偏移量信息和多次第二偏移量信息。
2)计算所述多次第一偏移量信息的平均变化信息和所述多次第二偏移量信息的平均变化信息。
3)比较所述第一偏移量平均变化信息和所述第二偏移量平均变化信息。
4)根据比较结果确定所述运动装置的重心位置。
当比较结果为所述第一偏移量的平均变化信息和所述第二偏移量的平均变化信息之间的差值在预设范围内时,确定智能积木车的重心位置为居中。
当比较结果为所述第一偏移量平均变化信息小于第一预设阈值时,确定智能积木车的重心位置为偏前。
当比较结果为所述第二偏移量平均变化信息小于第二预设阈值时,确定智能积木车的重心位置为偏后。
步骤13,基于所确定的重心位置,通过所述目标运动参数调节所述运动装置的左侧运动件和右侧运动件的速度。
在此步骤中,根据目标运动参数中的斜率信息和偏移量信息,并通过PID控制算法,以调节智能积木车的左侧运动件和右侧运动件的速度。其中,PID控制算法为一种按偏差的比例(P)、积分(I)和微分(D)进行控制的方法。
若智能积木车朝偏左方向运动时,则右车轮的修正后的目标运动参数为:speed_r=default_speed+a1*|(y1-40)|+b;左车轮的修正后的目标运动参数为:speed_l=default_speed-a1*|(40-y2)|+b,其中a1为调整系数。
若智能积木车朝偏右方向运动时,则右车轮的修正后的目标运动参数为:speed_r=default_speed-a1*|(y2-40)|+b;左车轮的修正后的目标运动参数为:speed_l=default_speed+a1*|(40-y1)|+b,其中a1为调整系数。
进一步地,根据目标运动参数调整所述智能积木车的电机的目标转速,进而相应改变所述智能积木车的目标运动速度,以控制所述智能积木车的运动。
进一步地,若在步骤S120中判断出智能积木车的重心位置,则在步骤S130中,基于所确定的重心位置,通过所述目标运动参数分别调整所述智能积木车的左侧运动件和右侧运动件的速度。
智能积木车右转时,右轮向后移动,左轮向前移动,左轮和右轮的速度相同;当确定智能积木车的重心位置为居中时,维持左右车轮的目标运动速度。
当确定智能积木车的重心位置为偏前,且智能积木车朝右方向转弯时,为了减小积木车的转弯半径,减小右车轮的目标运动速度且向后移动,并且增大左车轮的目标运动速度且向前移动,若当智能积木车的目标运动路线的第二偏移量小于第二预设阈值时,调整左、右轮为同时向前运动,左、右轮速度可以根据第一偏移量信息和第二偏移量信息而相应获得,即恢复至正常的巡线运动。
当确定智能积木车的重心位置为偏后,且智能积木车朝右方向转弯时,为了减小积木车的转弯半径,增大右车轮的目标运动速度且向后移动,并且减小左车轮的目标运动速度且向前移动,若当智能积木车的目标运动路线的第一偏移量小于第一预设阈值时,调整左、右轮为同时向前运动,左、右轮速度可以根据第一偏移量信息和第二偏移量信息而相应获得,即恢复至正常的巡线运动。
当确定智能积木车的中心位置为偏前或偏后,且智能积木车为直行时,智能积木车根据第一偏移量或第二偏移量调整左轮、右轮的速度。
这样通过上述步骤的实施,并且使用PID控制算法来控制智能积木车的左右车轮的目标速度,从而能够有效解决因智能积木车的重心偏移而导致在转弯时识别线路偏离影像区域的问题。
此外,在执行上述步骤的同时,实时获得左右车轮的实际运动速度,并且将这些实际运动速度反馈至PID调节器,这样通过第一、第二触发件与第一、第二光电开关的配合、PID控制器、以及左右车轮的目标速度(或电机的目标转速),能够形成闭环控制系统,从而精准地控制智能积木车进行不同角度的转向,并且保证智能积木车在重心偏移的情况下也能够正常识别线路。
实施例二,本发明所述控制方法包括以下步骤:
步骤31,周期性地采集所述运动装置的当前运动路线前方的图像信息。
需说明的是,在本实施例中,图像信息限定了一影像区域。该影像区域可以为81*81的坐标框,坐标框的单位为像素点。该坐标框的中心为(40,40)。
步骤32,根据所述图像信息确定所述运动装置的目标运动参数。
在此步骤中,若识别出待选运动路线的数量为1时,则将该待选运动路线作为目标运动路线。其中,待选运动路线可形成直线或弧线。若识别出待选运动路线的数量为2时,则基于预设的巡线规则确定所述多条待选运动路线中的一条作为目标运动路线。其中,待选运动路线可形成折线或交叉线。需说明的是,巡线规则为预设的,若确定预判的路况类型为十字形路口,则运动装置继续沿直线运动,若确定预判的路况类型为T字形路口,则智能积木车默认实施右转弯运动。
当判断出所述待选运动路线的数量为2时,获取两个待选运动路线在影像区域中的各自坐标信息。具体地,第一运动路线和第二运动路线在影像区域中的各自位置信息可以如下表示:第一运动路线可表示为y1=k1x1+b1,第二运动路线可表示为y2=k2x2+b2。接着,根据两个待选运动路线在影像区域中的各自坐标信息,判断两个待选运动路线的各自连续性,以获得判断结果。然后,基于判断结果确定预判的路况类型,以进一步控制智能积木车的运动。其中,当判断结果为两个待选运动路线的各自连续性均为非连续时,确定预判的路况类型为90度转弯,以进一步控制智能积木车的运动;当判断结果为两个待选运动路线的各自连续性中仅有一个为非连续时,确定预判的路况类型为T字形路口,以进一步控制智能积木车的运动;当判断结果为两个待选运动路线的各自连续性均为连续时,确定预判的路况类型为十字形路口,以进一步控制智能积木车的运动。这样,当判断出路况类型为90度转弯、或为T字形、或为十字形路口时,即判断出智能积木车遇到90度转弯路口、或T字形转弯路口或十字形转弯路口时,通过微控制器相应调整电机的目标转速及左右车轮的目标速度,以进一步控制智能积木车的运动,从而能够保证智能积木车的转弯或直行效果。
此外,在此步骤中,可以确定待选运动路线在影像区域中的坐标信息,以得到积木车的目标运动参数,其中所述目标运动参数包括目标运动路线的斜率信息和偏移量信息。根据所述斜率信息,可以确定智能积木车的运动方向。所述偏移量信息用于调整智能积木车的电机的目标转速及左右车轮的目标速度。
进一步,正常情况下,例如直线运动时,智能积木车的左右车轮的目标运动速度不需要做调整。当智能积木车运动发生转弯或朝偏左方向运动或朝偏右方向运动时,需要调整电机的目标转速及左右车轮的目标速度。
步骤33,基于所述目标运动参数调节所述运动装置的左侧运动件和右侧运动件的速度和方向。
在此步骤中,可以根据目标运动参数中的斜率信息和偏移量信息,并通过PID控制算法,以调节智能积木车的左侧运动件和右侧运动件的速度。其中,PID控制算法为按偏差的比例(P)、积分(I)和微分(D)进行控制的方法。
具体地,若智能积木车朝偏左方向运动时,则右车轮的修正后的目标运动参数为:speed_r=default_speed+a1*|(y1-40)|+b;左车轮的修正后的目标运动参数为:speed_l=default_speed-a1*|(40-y2)|+b。
同样,若智能积木车朝偏右方向运动时,则右车轮的修正后的目标运动参数为:speed_r=default_speed-a1*|(y2-40)|+b;左车轮的修正后的目标运动参数为:speed_l=default_speed+a1*|(40-y1)|+b。
进一步地,根据目标运动参数调整所述智能积木车的电机的目标转速,进而相应改变所述智能积木车的目标运动速度,以控制所述智能积木车的运动。
步骤S34,在预设时间段内,多次获取智能积木车的实际运动信息,其中所述实际运动信息包括实际运动路程和实际运动速度;步骤S35,根据多次所获取的实际运动路程和实际运动速度,预估智能积木车的运动趋势。
本步骤还可以包括以下步骤:
a)根据多次所获得的实际运动路程得到实际运动路线的斜率信息和偏移量信息。其中,所述实际运动路程可以通过以下步骤获得:
通过第一码盘与第一光电开关的配合以及第二码盘与第二光电开关的配合,可以得到第一码盘和第二码盘的转动圈数,以计算得到实际运动路程。
b)根据所述实际运动路线的斜率信息和偏移量信息,实施拟合操作以得到预估路线;
c)根据所述实际运动速度以及所得到的预估路线,预估智能积木车的运动趋势,其中,所述实际运动速度可以通过以下步骤获得:
第一光电开关随着第一码盘的转动输出第一频率至微控制器;第二光电开关随着第二码盘的转动输出第二频率至微控制器。
接着,所述微控制器根据第一频率获得右车轮的实际运动速度,以及所述微控制器根据第二频率获得左车轮的实际运动速度。
通过执行上述步骤,即第一码盘的转动触发第一光电开关,第二码盘的转动触发第二光电开关,从而输出相应的方波信号,并且根据方波信号的频率,可以获得智能积木车的实际运动速度。这样,在预设时间内,根据多次获得的智能积木车的实际运动信息(包括实际运动路程和实际运动速度),能够有效地预估智能积木车的运动趋势。
本发明所述控制方法通过影像装置所得到的图像信息识别出路线,并根据所识别出的不同路线,并根据所识别出的不同路线,确定所述运动装置的目标运动参数,并且基于目标运动参数调节所述运动装置的左侧运动件和右侧运动件的速度和方向,从而能够实时地调整运动装置的运动,以保证运动装置运动的精准性和稳定性。
基于同一发明构思,本发明还提供一种用于运动装置的控制系统。
参阅图9,所述控制系统3000包括图像信息获取模块3100、目标参数确定模块3200和运动件调节模块3300。
具体地,图像信息获取模块3100,用于周期性地采集所述运动装置的当前运动路线前方的图像信息。
目标参数确定模块3200,用于根据所述图像信息确定所述运动装置的目标运动参数。
运动件调节模块3300,用于基于所述目标运动参数调节所述运动装置的左侧运动件和右侧运动件的速度和方向。
需说明的是,本实施例所提供的控制系统3000,可以执行本发明上述实施例(如执行步骤S110至步骤S130的实施例)所述的控制方法,其实现的原理和技术效果类似,在此不再赘述。
参阅图10所示,在本发明的另一实施例中,所述控制系统3000除了包括上文所描述的各个模块之外,还可以包括以下模块:偏移量获取模块4100、偏移量平均模块4200、偏移量比较模块4300、重心确定模块4400和重心调整模块4500。
具体地,偏移量获取模块4100,用于在预设的时间周期内获得多次第一偏移量信息和多次第二偏移量信息。
偏移量平均模块4200,用于计算所述多次第一偏移量信息的平均变化信息和所述多次第二偏移量信息的平均变化信息。
偏移量比较模块4300,用于比较所述多次第一偏移量信息的平均变化信息和所述多次第二偏移量信息的平均变化信息。
重心确定模块4400,用于根据比较结果确定所述运动装置的重心位置。
重心调整模块4500,用于基于所确定的重心位置,通过所述目标运动参数分别调整所述运动装置的左侧运动件和右侧运动件的速度。
需说明的是,本实施例所提供的控制系统3000,可以执行本发明上述实施例(如执行步骤S110至步骤S130以及步骤S131至步骤S135的实施例)所述的控制方法,所述控制系统通过调用上述模块,能够精准地控制运动装置进行不同角度的转向,并且保证运动装置在重心偏移的情况下也能够正常识别线路。
参阅图11所示,所述控制系统3000除了包括上文所描述的各个模块之外,还可以包括以下模块:实际信息获取模块5100和运动趋势预估模块5200。
实际信息获取模块5100,用于在预设时间段内,多次获取所述运动装置的实际运动信息,其中所述实际运动信息包括实际运动路程和实际运动速度。
运动趋势预估模块5200,用于根据多次所获取的实际运动路程和实际运动速度,预估所述运动装置的运动趋势。
参阅图12,运动趋势预估模块5200可以包括以下单元:实际信息获得单元5210、预估路线拟合单元5220和运动趋势预估单元5230。
具体地,实际信息获得单元5210,用于根据多次所获得的实际运动路程得到实际运动路线的斜率信息和偏移量信息。
预估路线拟合单元5220,用于根据所述实际运动路线的斜率信息和偏移量信息,实施拟合操作以得到预估路线。
运动趋势预估单元5230,用于根据所述实际运动速度以及所得到的预估路线,预估所述运动装置的运动趋势。
通过上述各模块(或单元)的配合使用,能够实现在预设时间内,根据多次获得所述运动装置的实际运动信息,有效地预估所述运动装置的运动趋势。
需说明的是,本领域技术人员可以理解,图9、图10、图11和图12中示出的控制系统的结构并不构成对该控制系统的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
另外,本发明实施例提供的控制系统与上文实施例中的控制方法属于同一构思,在该控制系统上可以运行所述控制方法实施例中提供的任一方法。
本发明所述控制系统通过影像装置所得到的图像信息识别出路线,并根据所识别出的不同路线,并根据所识别出的不同路线,确定所述运动装置的目标运动参数,并且基于目标运动参数调节所述运动装置的左侧运动件和右侧运动件的速度和方向,从而能够实时地调整运动装置的运动,以保证运动装置运动的精准性和稳定性。
如图13所示,本发明一实施例还提供了一种运动装置6000。所述运动装置6000可以包括上文所述的电机、运动件、光电开关、触发件、影像装置及控制器,还可以包括处理器6110和与处理器6110相连的存储器6120。其中,处理器6110和存储器6120可以设于控制器6100内。所述存储器6120上存储有可在处理器6110上运行的计算机程序,所述处理器6110执行所述计算机程序时实现本发明实施例所提供的任意一种用于运动装置的控制方法中的步骤。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本发明相关的部分结构的框图,并不构成对本申请方案所应用于其上的运动装置6000的限定,具体的运动装置6000可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
此外,本发明一实施例还提供一种计算机可读存储介质,其存储有多条计算机程序,该计算机程序能够被处理器进行加载,以执行本发明实施例所提供的任意一种用于运动装置的控制方法中的步骤。
其中,该存储介质可以包括:只读存储器(Read Only Memory,ROM)、随机存取记忆体(Random Access Memory,RAM)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序,可以执行本发明实施例所提供的任一种用于运动装置的控制方法中的步骤,因此,可以实现本发明实施例所提供的任一种用于运动装置的控制方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上对本发明实施例所提供的一种用于运动装置的控制方法、系统、存储介质及运动装置进行了详细介绍,本文应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想;本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例的技术方案的范围。
Claims (12)
1.一种用于运动装置的控制方法,其特征在于,所述控制方法包括:
(S1)周期性地采集所述运动装置的当前运动路线前方的图像信息;
(S2)根据所述图像信息确定所述运动装置的目标运动参数;
(S3)基于所述目标运动参数调节所述运动装置的左侧运动件和右侧运动件的速度和方向。
2.根据权利要求1所述的用于运动装置的控制方法,其特征在于,所述步骤(S3)进一步包括:实时获取所述运动装置的左侧运动件和右侧运动件的当前实际速度,并将所述当前实际速度作为比例积分微分控制算法的输入来调节所述运动装置的左侧运动件和右侧运动件的速度以使所述运动装置按照所述目标运动参数运动;
所述目标运动参数包括所述运动装置的左侧运动件的目标速度以及所述运动装置的右侧运动件的目标速度。
3.根据权利要求2所述的用于运动装置的控制方法,其特征在于,所述步骤(S3)进一步包括:基于脉冲宽度调制信号分别调节与所述运动装置的左侧运动件和右侧运动件驱动连接的电机的转速。
或基于与所述电机相连接的速度检测机构获取所述运动装置的左侧运动件和右侧运动件的当前实际速度。
4.根据权利要求3所述的用于运动装置的控制方法,其特征在于,所述步骤(S2)进一步包括:根据所述图像信息识别所述图像信息所限定的影像区域中的所有待选运动路线,并计算每个待选运动路线在所述运动装置的坐标系下的位置信息,并基于所述位置信息确定所述运动装置的目标运动参数。
5.根据权利要求4所述的用于运动装置的控制方法,其特征在于,所述步骤(S2)进一步包括:在识别出所述图像信息所限定的影像区域中仅存在一条待选运动路线时将该待选运动路线作为目标运动路线;在识别出所述图像信息所限定的影像区域中存在多条待选运动路线时,基于预设的巡线规则确定所述多条待选运动路线中的一条作为目标运动路线。
6.根据权利要求5所述的用于运动装置的控制方法,其特征在于,所述步骤(S2)进一步包括:确定所述目标运动路线在所述运动装置的坐标系下的斜率信息和偏移量信息,并基于所述斜率信息和偏移量信息确定所述目标运动参数。所述步骤(S2)进一步包括:
确定待选运动路线的数量是否等于1;
当所述待选运动路线的数量不等于1时,根据多个待选运动路线各自的位置信息计算所述多个待选运动路线之间的夹角信息以及确定所述多个待选运动路线各自的连续性,以便基于所述夹角信息以及各个待选运动路线的连续性确定预判的路况类型。
7.根据权利要求6所述的用于运动装置的控制方法,其特征在于,所述步骤(S2)进一步包括:
当确定所述待选运动路线的数量等于2并且两个待选运动路线各自的连续性均为非连续时,确定预判的路况类型为预设角度的转弯,其中预设角度为大于0度且小于180度;
当确定所述待选运动路线的数量等于2并且两个待选运动路线中仅有一个路线的连续性为非连续时,确定预判的路况类型为T字形路口;以及
当确定所述待选运动路线的数量等于2并且两个待选运动路线各自的连续性均为连续时,确定预判的路况类型为十字形路口。
8.根据权利要求7所述的用于运动装置的控制方法,其特征在于,所述偏移量信息包括第一偏移量信息和第二偏移量信息,其中第一偏移量信息用于指示所述运动装置的前端部在影像区域中的位置变化量,第二偏移量信息用于指示所述运动装置的后端部在影像区域中的位置变化量;所述步骤(S2)进一步包括以如下方式确定所述运动装置在实施转弯动作时的重心位置:
在预设的时间周期内获得多次第一偏移量信息和多次第二偏移量信息;
计算所述多次第一偏移量信息的平均变化信息和所述多次第二偏移量信息的平均变化信息;
比较所述多次第一偏移量信息的平均变化信息和所述多次第二偏移量信息的平均变化信息;
根据比较结果确定所述运动装置的重心位置。
9.根据权利要求8所述的用于运动装置的控制方法,其特征在于,在根据比较结果确定所述运动装置的重心位置的步骤,包括:
当比较结果为所述多次第一偏移量信息的平均变化信息和所述多次第二偏移量信息的平均变化信息之间的差值在预设范围内时,确定所述运动装置的重心位置为居中;
当比较结果为所述多次第一偏移量信息的平均变化信息小于第一预设阈值时,确定所述运动装置的重心位置为偏前;以及
当比较结果为所述多次第二偏移量信息的平均变化信息小于第二预设阈值时,确定所述运动装置的重心位置为偏后。
10.一种用于运动装置的控制系统,其特征在于,所述控制系统包括:
图像信息获取模块,用于周期性地采集所述运动装置的当前运动路线前方的图像信息;
目标参数确定模块,用于根据所述图像信息确定所述运动装置的目标运动参数;
运动件调节模块,用于基于所述目标运动参数调节所述运动装置的左侧运动件和右侧运动件的速度和方向。
11.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的用于运动装置的控制方法的步骤。
12.一种运动装置,其特征在于,所述运动装置包括控制器,所述控制器包括存储器和处理器,所述存储器上存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的用于运动装置的控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110467835.8A CN113176779B (zh) | 2021-04-28 | 2021-04-28 | 用于运动装置的控制方法、系统、存储介质及运动装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110467835.8A CN113176779B (zh) | 2021-04-28 | 2021-04-28 | 用于运动装置的控制方法、系统、存储介质及运动装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113176779A true CN113176779A (zh) | 2021-07-27 |
CN113176779B CN113176779B (zh) | 2023-05-26 |
Family
ID=76926992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110467835.8A Active CN113176779B (zh) | 2021-04-28 | 2021-04-28 | 用于运动装置的控制方法、系统、存储介质及运动装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113176779B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101782394A (zh) * | 2009-01-21 | 2010-07-21 | 佛山市顺德区顺达电脑厂有限公司 | 判断移动对象转弯的方法及使用该方法的导航装置 |
CN102789233A (zh) * | 2012-06-12 | 2012-11-21 | 湖北三江航天红峰控制有限公司 | 基于视觉的组合导航机器人及导航方法 |
WO2013069195A1 (ja) * | 2011-11-09 | 2013-05-16 | パナソニック株式会社 | 自律移動装置、自律移動方法、及び自律移動装置用のプログラム |
CN106909903A (zh) * | 2017-03-01 | 2017-06-30 | 河海大学常州校区 | 一种基于图像的路径识别方法及系统 |
CN109343539A (zh) * | 2018-11-27 | 2019-02-15 | 江苏红石信息系统集成服务有限公司 | 运动控制方法、装置、机器人及存储介质 |
CN110888426A (zh) * | 2018-08-21 | 2020-03-17 | 通用汽车环球科技运作有限责任公司 | 用于多车道分离和路段轨线提取的车辆导航系统、方法和逻辑 |
BR112020003996A2 (pt) * | 2017-08-30 | 2020-09-01 | Nissan Motor Co., Ltd. | método para corrigir erro de posição e dispositivo para corrigir erro de posição em veículo de direção assistida |
CN112634320A (zh) * | 2019-09-24 | 2021-04-09 | 成都通甲优博科技有限责任公司 | 一种交叉路口识别物体运动方向的方法及系统 |
-
2021
- 2021-04-28 CN CN202110467835.8A patent/CN113176779B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101782394A (zh) * | 2009-01-21 | 2010-07-21 | 佛山市顺德区顺达电脑厂有限公司 | 判断移动对象转弯的方法及使用该方法的导航装置 |
WO2013069195A1 (ja) * | 2011-11-09 | 2013-05-16 | パナソニック株式会社 | 自律移動装置、自律移動方法、及び自律移動装置用のプログラム |
CN102789233A (zh) * | 2012-06-12 | 2012-11-21 | 湖北三江航天红峰控制有限公司 | 基于视觉的组合导航机器人及导航方法 |
CN106909903A (zh) * | 2017-03-01 | 2017-06-30 | 河海大学常州校区 | 一种基于图像的路径识别方法及系统 |
BR112020003996A2 (pt) * | 2017-08-30 | 2020-09-01 | Nissan Motor Co., Ltd. | método para corrigir erro de posição e dispositivo para corrigir erro de posição em veículo de direção assistida |
CN110888426A (zh) * | 2018-08-21 | 2020-03-17 | 通用汽车环球科技运作有限责任公司 | 用于多车道分离和路段轨线提取的车辆导航系统、方法和逻辑 |
CN109343539A (zh) * | 2018-11-27 | 2019-02-15 | 江苏红石信息系统集成服务有限公司 | 运动控制方法、装置、机器人及存储介质 |
CN112634320A (zh) * | 2019-09-24 | 2021-04-09 | 成都通甲优博科技有限责任公司 | 一种交叉路口识别物体运动方向的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113176779B (zh) | 2023-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112752700B (zh) | 通过目标位置的选择进行自动倒车 | |
CN110015339B (zh) | 线控转向系统的齿条限制状况检测和相应方向盘转矩反馈 | |
US11584369B2 (en) | Collision detection method and apparatus based on an autonomous vehicle, device and storage medium | |
EP3790745A1 (en) | Visual object tracker | |
US10800445B2 (en) | Vision based active steering system | |
JPH1049230A (ja) | 道路条件による制御機能を具備した無人自動車システム | |
CN113286732A (zh) | 用于确定机动车辆的可能轨迹的混合方法的控制系统和控制方法 | |
Al-Dahhan et al. | Path tracking control of a mobile robot using fuzzy logic | |
CN109204315B (zh) | 变换车道的方法、装置、存储介质和电子设备 | |
US11912360B2 (en) | Vehicle control method, vehicle control system, and vehicle | |
CN113771839B (zh) | 一种自动泊车决策规划方法及系统 | |
CN111873996A (zh) | 基于转矩的车辆路径预测 | |
TW201813369A (zh) | 改良之監視攝影機方向控制 | |
CN114206704B (zh) | 行驶辅助装置的超控判定方法及行驶辅助装置 | |
CN114026456A (zh) | 追踪装置 | |
CN111267990A (zh) | 一种轮腿复合式机器人运动控制设备、方法、装置及系统 | |
CN113176779A (zh) | 用于运动装置的控制方法、系统、存储介质及运动装置 | |
US11579612B2 (en) | Position and attitude estimation apparatus and position and attitude estimation method | |
US11939013B2 (en) | Steering control device | |
JP3705094B2 (ja) | 車線追従走行制御装置 | |
CN108388177B (zh) | 一种半尺寸电脑鼠运动控制系统 | |
CN114817765A (zh) | 基于地图的目标航向消歧 | |
CN114721384A (zh) | 一种车道保持的轨迹规划方法 | |
JP2012003453A (ja) | スライディングモード制御装置及び車両の自動操舵制御装置 | |
JP2019206310A (ja) | 操舵角決定装置、および、自動運転車 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |