CN108873914B - 一种基于深度图像数据的机器人自主导航系统及方法 - Google Patents
一种基于深度图像数据的机器人自主导航系统及方法 Download PDFInfo
- Publication number
- CN108873914B CN108873914B CN201811107236.XA CN201811107236A CN108873914B CN 108873914 B CN108873914 B CN 108873914B CN 201811107236 A CN201811107236 A CN 201811107236A CN 108873914 B CN108873914 B CN 108873914B
- Authority
- CN
- China
- Prior art keywords
- robot
- depth image
- early warning
- data
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000033001 locomotion Effects 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 70
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000003672 processing method Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 11
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 5
- 230000026676 system process Effects 0.000 abstract 1
- 238000005457 optimization Methods 0.000 description 9
- 238000009434 installation Methods 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明属于视觉控制技术领域,涉及一种基于深度图像数据的机器人自主导航系统及方法,深度图像数据采集系统采集当前环境的深度图像,用深度数据处理方法处理,获取当前环境深度图像数据;数据处理及传输系统处理深度图像数据,获取深度图像各区域真实数据,对各区域进行细分处理并设定各细分区域预警值,比较各细分区域真实数据和预警值,生成命令信息;运动控制系统将命令信息生成控制指令,同时结合机器人自身状态使机器人完成运动,并将机器人数据反馈至机器人的控制台;辅助系统记录运动控制系统的运动状态数据,将运动状态数据作为修正运动路径及向控制台上传数据的来源。本发明克服了处理模块使用成本高、计算量巨大的问题和缺陷。
Description
技术领域
本发明属于视觉控制技术领域,涉及一种基于深度图像数据的机器人自主导航系统及方法。
背景技术
机器人导航技术是通过自身安装配备的多种传感器(如距离传感器、定位传感器、里程计数器等)获取所处环境及自身状态等信息,同时完成对未知环境中具体参数的探测与识别,并且依据某个或某些优化准则(如工作代价最小、行走路线最短、行走时间最短等)和结果自行规划行走路线,并对设定目标进行指令性操作。其本身具有从感知到执行步骤的完备自主的系统组成,可如同人类一般在环境中独立完成工作。
现有的机器人导航技术多采用测距传感器,通过主动发射探测信号和接收环境中各物体反馈的信号,然后通过测量发射和返回信号的对比来获取场景信息。测距传感器的检测范围在现有综合复杂环境下要求全局视野的趋势下不具备优势。
一种基于双目视觉的机器人系统(专利号:CN201620958987.2)。其包括图像采集系统,其包括双目摄像头和图像传感器,并由信号传输线与图像处理模块连接,该图像处理模块根据所属双目摄像头采集图像进行图像匹配;视觉伺服控制系统,其与所述图像处理模块连接,包括机器人环境信息处理模块,三维地图构建模块和机器人定位模块,该视觉伺服控制系统根据图像匹配获取目标物体的三维匹配点对,获取当前机器人的运动控制信息;运动控制系统,其与所述视觉伺服控制系统连接,并与所述图像采集系统建立连接,该系统根据视觉伺服控制系统的运动控制信息控制机器人的移动。该技术方案使机器人定位更加精确。
但上述现有技术还存在以下缺陷:对整幅图像进行处理,对每个像素点值进行提取,计算量巨大,对图像处理模块的性能要求较高,提高了模块的使用成本,若使用性能较差的处理模块会降低处理效率从而使整个系统的效率大大降低。
发明内容
为克服现有技术中存在的深度数据导航方法中处理模块使用成本高,计算量巨大的问题和缺陷,本发明的目的在于提供一种基于深度数据图像的机器人自主导航系统及方法。
本发明的目的通过以下技术方案实现:
一种基于深度图像数据的机器人自主导航系统,包括:
深度图像数据采集系统:用于采集当前环境的深度图像,并采用深度数据处理方法处理所采集的深度图像,获取当前环境的深度图像数据;
数据处理及传输系统:用于接收所述深度图像数据并进行处理,获取深度图像各区域真实数据,对深度图像各区域进行细分处理,设定各细分区域预警值,比较深度图像各细分区域真实数据和各细分区域预警值,再根据比较结果生成命令信息;
运动控制系统:用于接收所述命令信息,并通过命令信息生成控制指令,同时结合机器人自身状态使机器人完成运动,并将机器人数据通过辅助系统反馈至机器人的控制台;
辅助系统:用于使运动控制系统正常运作,并记录运动控制系统的运动状态数据,将运动状态数据作为修正运动路径及向控制台上传数据的来源。
优选的,所述深度图像数据采集系统采用单目相机、双目相机、多目相机或深度相机。
一种基于深度图像数据的机器人自主导航方法,包括以下步骤:
步骤1,基于深度图像数据的机器人自主导航系统进行初始化,然后根据机器人的测距传感器(如红外传感器和超声波传感器)判断机器人四周是否存在妨碍通过性的近距离障碍物,如不存在则进行步骤2;如出现障碍物时,根据障碍物分布情况进行逻辑判断后引导平台转移到可正常运行的场地,再进行步骤2;
步骤2,采集当前环境的深度图像,并采用深度数据处理方法处理所采集的深度图像,获取当前环境的深度图像数据;
步骤3,对所述深度图像数据进行处理,获取深度图像各区域真实数据,对深度图像各区域进行细分处理,设定各细分区域预警值,比较深度图像各细分区域真实数据和各细分区域预警值,再根据比较结果生成命令信息;
步骤4,通过所述命令信息生成控制指令,同时结合机器人自身状态使机器人完成运动,并将机器人数据反馈至机器人的控制台;机器人运动时,记录机器人的运动状态数据,将运动状态数据作为修正运动路径及向控制台上传数据的来源。
优选的,所述步骤2中,采用单目相机、双目相机、多目相机或深度相机采集当前环境的图像;
其中:单目相机采用相对配准后的清晰度或绝对配准后的清晰度评价的方法处理获取当前环境的深度图像数据;
双目相机和多目相机采用多相机图像互相配准的方法获取当前环境的深度图像数据;
深度相机采用红外相机与数字相机结合的方法获取当前环境的深度图像数据。
优选的,所述步骤3中,对所述深度图像数据进行处理的过程包括如下步骤:
步骤3.1,以用来采集当前环境深度图像的相机镜头的轴线通过的水平面为预分界面;
步骤3.2,然后获取结构平台高度方向上位于预分界面上的结构尺寸h,令结构尺寸h与结构平台总高度H进行比较得到比例关系α;
步骤3.3,将预分界面按照比例关系α乘以深度图像的纵向分辨率L,以预分界面为基础,对分界面进行上调,上调高度为α×L,,得到最终的分界面;
步骤3.4,然后以最终的分界面以下区域作为图像处理区域。
优选的,所述步骤3中,获取深度图像各区域真实数据包括如下步骤:
步骤3.5,在图像处理区域内,根据机器人尺寸参数将整体图像进行水平和垂直方向上的区域划分;具体的,将整体图像划分为5个次区域,分别为左侧ROI、右侧ROI、上侧ROI、下侧ROI和中央ROI;
步骤3.6,利用划分的5个次区域来获取深度图像各区域真实数据。
优选的,所述步骤3中,对深度图像各区域进行细分处理时,根据各次区域数据量的大小将每个次区域划分为多个大小一致的小区域,然后对各小区域进行优化,使深度图像中的失真点得到近似值的补偿。
优选的,所述步骤3中,比较深度图像各细分区域真实数据和各细分区域预警值时,将各个次区域中细分区域的真实数据与对应细分区域设定的预警值逐一作比较,采用或关系,当次区域内的任一细分区域的真实数据小于细分区域预警值时,则为预警状态,否则为正常状态。
所述步骤1,如出现障碍物时,根据障碍物布置情况进行逻辑判断后引导机器人平台转移到能正常运行的场地,具体过程为:
将机器人的测距传感器的探测信息分为前、后、左后右四部分,分别对应机器人前进、后退、左侧、右侧四个正方向,根据转向半径和机器人尺寸设定预警值,当四部分测距传感器中任意一部分测距传感器出现探测值小于预警值时,该部分测距传感器进入预警状态,否则为正常状态;
所述判断逻辑如下:
当各部分测距传感器均为出现预警状态,机器人按照正常步骤继续往下进行;
当只有前进部分测距传感器出现预警状态,引导机器人后退,直至预警状态消除;
当只有后退方向测距传感器出现预警状态,引导机器人前进并进执行下一步;
当左侧测距传感器和后退方向测距传感器出现预警状态,或者当只有左侧方向测距传感器出现预警状态时,引导机器人右转前进,直至预警状态消除;
当右侧测距传感器和后退方向测距传感器出现预警状态,或者当只有右侧方向测距传感器出现预警状态时,引导机器人左转前进,直至预警状态消除;
当前进方向测距传感器和左侧部分测距传感器出现预警状态,引导机器人右转后退,直至前进方向测距传感器和左侧部分测距传感器均消除预警状态;
当前进方向测距传感器和右侧部分测距传感器出现预警状态,引导机器人左转后退,直至两前进方向测距传感器和右侧部分测距传感器均消除预警状态;
当前进方向测距传感器和后退方向测距传感器同时出现预警状态,启动警报器告知无法达到正常运行的场地;
当左侧部分测距传感器和右侧部分测距传感器出现预警状态,引导机器人直线前进;如预警状态未消除时前进方向测距传感器出现预警状态时,机器人按原路返回至执行起点后再引导后退;如预警状态未消除时后退方向出现预警状态时,则使机器人停在原地并启动警报器告知无法达到正常运行的场地;
如三个及以上的部分的测距传感器同时出现预警状态,则启动警报器告知无法达到正常运行的场地。
本发明具有如下有益效果:
本发明基于深度图像数据的机器人自主导航系统通过深度图像数据采集系统来采集当前环境的深度图像,并采用深度数据处理方法处理所采集的深度图像,获取当前环境的深度图像数据;通过数据处理及传输系统对深度图像数据进行处理,获取深度图像各区域真实数据,对深度图像各区域进行细分处理,设定各细分区域预警值,比较深度图像各细分区域真实数据和各细分区域预警值,再根据比较结果生成命令信息,通过细分处理能够减少无用计算量,降低计算容量求,使得图像处理效率大大提高,使用成本大大降低;得到的细分区域,多区域可并行运算,因此能够避免多区域比较环节的输出异步性,提高处理效率和速率,减少同一时间的计算容量,降低对图像计算模块的性能要求;运动控制系统接收到数据处理及传输系统生成的命令信息后将命令信息生成控制指令,同时结合机器人自身状态使机器人完成运动,并将机器人数据反馈至机器人的控制台;机器人运动时,辅助系统记录机器人的运动状态数据,将运动状态数据作为修正运动路径及向控制台上传数据的来源,用于使运动控制系统正常运作;综上所述,本发明的基于深度数据图像的机器人自主导航系统克服了有技术中存在的处理模块使用成本高,计算量巨大的问题和缺陷。
由上述本发明基于深度图像数据的机器人自主导航系统的有益效果可知,本发明的基于深度图像数据的机器人自主导航方法对生成的深度图像数据采用区域划分加细分的方法,通过细分处理能够减少无用计算量,降低计算容量求,使得图像处理效率大大提高,成本大大降低;得到的细分区域,多区域可并行运算,因此能够避免多区域比较环节的输出异步性,提高处理效率和速率,减少同一时间的计算容量,降低对图像计算模块的性能要求,因此克服了有技术中存在的深度数据导航方法中存在的计算量巨大的问题和缺陷。
附图说明
图1是本发明基于深度数据的机器人自动导航方法流程图;
图2是本发明机器人自主导航系统平台运行流程图;
图3是本发明实施例类轮式或履带式平台划分区域示例图;
图4是本发明实施例类轮式或履带式平台角度关系示意图,其中图4(a)为垂直方向角度关系示意图,图4(b)为水平方向角度关系示意图;
图5是本发明自主导航方法中预警状态判断逻辑图;
图6是本发明自主导航方法中转向绕障逻辑判断流程图;
图7是本发明机器人自主导航系统平台左转绕障示意图。
具体实施方式
下面结合附图和实施例来对本发明作进一步的说明
参照图1,本发明的基于深度图像数据的机器人自主导航系统,包括:
深度图像数据采集系统,用于采集当前环境的深度图像,并采用深度数据处理方法处理所采集的深度图像,获取当前环境的深度图像数据;具体的,深度图像数据采集系统包括相机(单目、双目或多目均可),以及带有深度图像处理程序的模块;由相机作为环境图像数据的采集设备,然后通过不同深度图像成像方法对应的深度图像处理程序处理所采集的图像,来获取当前环境的深度图像数据;
数据处理及传输系统,用于接收所述深度图像数据并进行处理,获取深度图像各区域真实数据,对深度图像各区域进行细分处理,设定各细分区域预警值,比较深度图像各细分区域真实数据和各细分区域预警值,再根据比较结果生成命令信息;数据处理及传输系统包括通信媒介(蓝牙、局域网、USB等有线或无线媒介)以及数据接受设备(如单片机、PLC、工控机等),数据接受设备中安装有数据处理软件以及通信软件(如MFC、LabVIEW等);
运动控制系统,用于接收所述命令信息,并通过命令信息生成控制指令,同时结合机器人自身状态使机器人完成运动,并将机器人数据反馈至机器人的控制台;运动控制系统主要包括控制器(如单片机、PLC、工控机等)、直流或步进电机以及对应的电机控制器等。主控制器由数据处理及传输系统接受的命令信息生成指令信息,发送给电机控制器,电机控制器根据指令信息控制运动平台的各电机进行正转、反转等操作以实现位置或角度的变化要求;
辅助系统,用于使运动控制系统正常运作,并记录运动控制系统的运动状态数据,将运动状态数据作为修正运动路径及向控制台上传数据的来源;辅助系统主要包括便携或直插电源、里程记录模块、电源管理模块、定位模块、角度记录模块等。
本发明提还提供了一种基于深度图像数据的机器人自主导航方法,该方法能够对生成的深度图像数据采用区域划分加细分的方法,降低深度图像处理数据量,提高处理效率及速度,图像处理部分,具体包括以下步骤:
步骤一,基于深度图像数据的机器人自主导航系统进行初始化,然后根据机器人的测距传感器(如红外传感器和超声波传感器)判断机器人四周是否存在妨碍通过性的近距离障碍物,如不存在则进行步骤二,如出现障碍物时,根据障碍物分布情况进行逻辑判断后引导平台转移到可正常运行的场地,再进行步骤二;
步骤二,使用当前任一深度图像成像设备及原理方法采集获取当前环境的图像,采用对应的深度数据处理方法处理所采集的图像,获取当前环境的深度图像数据;
步骤三,对深度图像数据进行划分与优化处理,划分并细分区域,获取图像各细分区域真实数据,设定次区域预警值,令图像各细分区域真实数据和所属次区域预警值进行比较,根据比较结果生成命令信息;
步骤四,通过命令信息生成控制指令,同时结合机器人自身状态使机器人完成运动,并将机器人数据反馈至机器人的控制台显示机器人实时状态,另外根据命令信息与机器人状态信息进行综合判别以加强机器人运动稳定性与安全性。
实施例
如图2所示,本实施例中对单目多聚焦机器人进行自主导航,使用轮式运动平台并采用滑移转向方式,根据平台尺寸参数和相机安装位置,设定图像处理区域,以相机镜头轴线水平面为基础分界面,然后根据相机上部分尺寸与装置总尺寸比例关系,设定基础分界面上移尺寸。基础分界面以下为深度数据图像处理区域。在水平方向根据行走轮宽度、平台宽度将图像水平区域划分为左侧、右侧和中间三个主区域,区域划分原则按照各部分与总宽度的尺寸比例进行划分;垂直方向根据最小离地间隙、平台厚度、平台上部分部件安装高度将水平区域划分的中间区域划分为上侧、下侧和中央三个次区域,其划分原则按照各部分与总高度的尺寸比例关系。左右两个主区域因只存在行走轮,不需要进行进一步划分,故左右主区域自动降为左侧与右侧次区域。划定区域完毕后,考虑到体积较小物体或尖锐物体影响通过性的因素,将各次区域划分为多个大小一致的细分区域,以便后期进行优化处理与预警值判定。
使用LabVIEW作为上位机,Arduino单片机作为运动控制系统中央处理器,MATLAB编写程序作为单目多聚焦图像处理软件,使用超声波、红外测距传感器作为弥补因镜头焦距问题致使近距离障碍物无法准确探测的缺陷,使用光电编码器作为里程计数模块,使用无线数据传输作为命令流传输方法,按照单目多聚焦图像成像方法生成深度数据图像,并结合定位系统形成深度环境数据图像,按照生成深度环境数据图像自主规划路径。
具体包括以下步骤:
第一步:单目多聚焦机器人的整个系统进行初始化,然后根据单目多聚焦机器人上的红外测距传感器及超声波测距传感器判断四周是否存在妨碍通过性的近距离障碍物,如不存在则进行第二步,如出现障碍物时,根据障碍物分布情况进行逻辑判断后引导平台转移到可正常运行的场地,再进行步骤二;
现对初始化后绕障措施进一步说明:
平台启动并初始化后,没有周边环境的数据,故先使用布置在平台四周的超声波传感器和红外传感器探测是否在平台近周或镜头死角内存在影响运动的近距离障碍物。当没有障碍物出现时,则按照正常的步骤继续向下进行;如出现障碍物时,根据障碍物布置情况进行逻辑判断后引导平台转移到可正常运行的场地,先对逻辑判断进行说明:
超声波和红外传感器根据平台尺寸和探测范围进行布置,并将红外和超声波传感器向下倾斜角度安装,以方便探测到地面突起障碍物,使其对平台周边环境进行无死角和有效的探测,然后将传感器的探测信息分为前、后、左、右四部分,对应平台的前进、后退、左侧、右侧四个正方向,并根据转向半径和平台尺寸设定预警值,当各部分中任一传感器出现小于预警值时,该部分将进入预警状态,否则为正常状态,以下为判断逻辑:
1.当各部分均为出现预警状态,平台按照正常步骤继续往下进行;
2.当只有前进部分出现预警状态,引导平台后退至预警状态消除;
3.当只有后退方向出现预警状态,可直接引导平台直接前进执行下一步;
4.当只有左侧方向或左侧和后退方向出现预警状态,引导平台右转前进至预警状态消除;
5.当只有右侧方向或右侧和后退方向出现预警状态,引导平台左转前进至预警状态消除;
6.当前进方向和左侧部分出现预警状态,引导平台右转后退至两侧区域均消除预警状态;
7.当前进方向和右侧部分出现预警状态,引导平台左转后退至两侧区域均消除预警状态;
8.当前进方向和后退方向同时出现预警状态,启动警报器告知无法达到正常运行的场地;
9.当左侧部分和右侧部分出现预警状态,引导平台直线前进,如预警状态未消除时前进方向出现预警状态时,按原路返回至执行起点后引导平台后退,如预警状态未消除时后退方向出现预警状态时,则使平台停在原地并启动警报器无法达到正常运行的场地;
10.除以上情况外,如三个及以上的部分同时出现预警状态,则启动警报器无法达到正常运行的场地;
第二步:使用深度图像数据采集系统进行深度图像采集并进行相应的深度数据处理过程得到对应环境的深度图像数据,通过数字相机采集环境的基本图像,采用相对配准或绝对配准后的清晰度评价的方法处理获取当前环境的深度图像数据;
第三步:将深度图像数据采集系统处理得到的深度图像数据传输至数据处理及传输系统进行进一步处理,主要包括设定图像处理区域,对图像处理区域数据的区域化细分与优化,获取图像各区域真实数据,设定各细分区域预警值,与设定预警值比较后生成命令信息;
现针对数据优化方法进行进一步说明:
该优化方法针对深度图像数据进行处理,在图像处理区域内,根据机器人尺寸参数,如总长、总宽、总高、机器人主体及行走装置尺寸(长、宽、高)、最小离地间隙、转弯半径和运行速度将整体图像进行水平和垂直方向上的区域划分。
区域划分的原则如下:
1、在获取深度图像数据后,首先以相机镜头轴线通过的水平面为预分界面,然后获取结构平台高度方向上位于预分界面上的结构尺寸h,令h与总高度H进行作比得到比例关系α,将预分界面按照比例关系α乘以深度图像的纵向分辨率L,以预分界面为基础,对分界面进行上调,上调高度为α×L,得到最终的分界面。然后以该图像分界面以下位置作为图像处理区域,以上区域因不涉及通过条件的因素不作处理。这降低了图像处理的计算量;
2、在图像处理区域,根据运动平台主体、行走机构和平台外部安装组件之间的连接和安装关系进行划分,包括水平方向的主区域划分和垂直方向的主区域划分,然后根据影响平台通过性的因素对主区域进一步划分,根据结构主体与结构底部限高、结构限宽,采取的行走机构通过性限制因素、外部组件安装位置,依据实际情况对主区域进行分区域的大小位置划分,形成次区域;
3、针对体积较小或尖锐物体对通过性的影响和图像传输失真,将次区域进一步细分并优化,细分区域大小按照实际运行空间内部物体体积决定;
4、设定预警距离值,根据平台转向形式与结构尺寸,推算转向距离限制条件,然后设定主限制区域预警距离值,然后通过图像区域与相机镜头的角度关系推算其他划分区域预警距离值,使平台在同一条件下达到预警状态;
5、将各细分区域值逐一所属次区域设定预警值进行比较,同一次区域的细分区域比较结果使用“或”关系进行输出。
如类轮式或履带平台,主要包括5个次区域的划分,即左侧ROI、右侧ROI、上侧ROI、下侧ROI和中央ROI,其中ROI为Region Of Interest的缩写。水平方向的划分按照行走轮及连接轴宽度b1和支撑平台宽度b2在总宽度B上的比例关系在对应图像上按照其比例进行左、右及中部区域的水平区域划分;在垂直方向上根据平台轮胎高度h1、平台最小离地间隙h2、支撑平台厚度h3、平台上组件安装高度h4在总高度H方向上的比例关系将水平区域划分后的三次区域进一步划分,轮胎高度尺寸与总高度的关系确定左侧与右侧ROI区域的图像垂直数据值,根据平台最小离地间隙、支撑平台厚度、平台上组件安装高度在总高度上的比例关系将水平区域处理到的中部区域分为下侧、中间及上侧区域。
针对图像常因采集方式和处理方法的不当出现图像失真的问题,需要对其进行局部优化,因物体多存在连续性的特点,故对图像进行分区域优化,在上述5个次区域划分的基础上进行区域优化,但因划分的区域过大,直接的次区域优化极易造成数据的处理过程的数据堆积,同时也结合了体积小或尖锐物体妨碍通过性的问题,故对已划分的5次区域进行进一步细分的处理。将5次区域根据各区域数据量的大小尽可能划分为大小一致的小区域,然后对其进行优化。使图像中的失真点得到近似值的补偿。区域划分并细分示意图见图3。
区域划分并优化后,需要对各细分区域设定预警值。在同一次区域设定同一预警值,忽略角度变化带来的影响。首先根据运动平台尺寸及运动参数推算其转向半径,根据转向半径在不影响平台通过的情况下设定基础距离预警值,然后根据镜头视场角及各区域位置关系得到各个角度关系,通过角度关系推导得到各个次区域的预警值。角度关系如图4(a)和图4(b)所示。
第四步:将各个次区域中的细分区域与对应所在区域设定的预警值逐一作比较,采用“或”的关系,当次区域内的任一细分出现小于预警值的情况时,其输出状态将由正常状态转换为预警状态,如有“0”变为“1”。将五次区域的行动命令组成一个集合通过串口通信传输给运动控制系统。
第五步:将数据优化与传输系统的命令信息传输至运动控制系统,通过转化程序将来自于数据处理与传输系统的命令信息转化为控制指令,同时结合机器人自身状态,如位置、姿态、转速等信息精确完成运动。为另外将机器人数据反馈至控制台。
对命令信息的处理逻辑如图5所示,每个区域所输出的命令信息均有“0”和“1”两种状态,分别对应为正常状态和预警状态。
当所有区域均为“0”时,平台执行默认,即直行运动;
当只有左侧区域为“1”时,平台向右侧转向至左侧区域预警状态取消后进行直线运动;
当只有右侧区域为“1”时,平台向左侧转向至右侧区域预警状态取消后进行直线运动;
当左右侧区域同时为“1”时,平台按原路后退至任一侧预警状态消除后向预警状态消除侧转向至未消除侧消除预警状态后直行;
当上侧、下侧、中间任一或多个区域为“1”时,平台向后倒退至所有区域预警状态取消,然后根据左右侧距离比较结果,向距离较大一侧转向;
当转向运动完成后需要对其进行直线修正,即不是单纯的避障而需要进行绕障运动。绕障逻辑与左侧绕障示意如图6和图7所示。当转向运动完成后需要对其进行反向直线修正,在转向时记录平台转向角度及转向后直线运动距离,当直线运动至平台四周传感器无预警状态时,进行绕障处理。以左转为例,见图7,设定平台左转向角度为θ,转向后直线运动距离为l,当转向后直线运动至平台四周传感器无预警状态时,另平台右转向180-2θ,然后保持直线运动至运行距离为l后令平台左转向θ角度即可完成绕障运动。
当转向运动因测距传感器或深度图像区域出现预警值时,说明转向运动失败,应按照原路返回,并重新根据转向起点情况做运动判断;
另外,该控制方法增加上位机通信控制方法,当人为干预时为手动模式,当退出人为干预模式时为自动模式。
Claims (6)
1.一种基于深度图像数据的机器人自主导航系统,其特征在于,包括:
深度图像数据采集系统:用于采集当前环境的深度图像,并采用深度数据处理方法处理所采集的深度图像,获取当前环境的深度图像数据;
数据处理及传输系统:用于接收所述深度图像数据并进行处理,获取深度图像各区域真实数据,对深度图像各区域进行细分处理,设定各细分区域预警值,比较深度图像各细分区域真实数据和各细分区域预警值,再根据比较结果生成命令信息;
运动控制系统:用于接收所述命令信息,并通过命令信息生成控制指令,同时结合机器人自身状态使机器人完成运动,并将机器人数据反馈至机器人的控制台;
辅助系统:用于使运动控制系统正常运作,并记录运动控制系统的运动状态数据,将运动状态数据作为修正运动路径及向控制台上传数据的来源;
数据处理及传输系统对所述深度图像数据进行处理的过程包括如下步骤:
步骤3.1,以用来采集当前环境深度图像的相机镜头的轴线通过的水平面为预分界面;
步骤3.2,然后获取结构平台高度方向上位于预分界面上的结构尺寸h,令结构尺寸h与结构平台总高度H作比得到比例关系α;
步骤3.3,将预分界面按照比例关系α乘以深度图像的纵向分辨率L,以预分界面为基础,对分界面进行上调,上调高度为α×L,得到最终的分界面;
步骤3.4,然后以最终的分界面以下区域作为图像处理区域;
数据处理及传输系统对获取深度图像各区域真实数据包括如下步骤:
步骤3.5,在图像处理区域内,根据机器人尺寸参数将整体图像进行水平和垂直方向上的区域划分;具体的,将整体图像划分为5个次区域,分别为左侧ROI、右侧ROI、上侧ROI、下侧ROI和中央ROI;
步骤3.6,利用划分的5个次区域来获取深度图像各区域真实数据。
2.根据权利要求1所述的一种基于深度图像数据的机器人自主导航系统,其特征在于,所述深度图像数据采集系统采用单目相机、双目相机、多目相机或深度相机。
3.一种基于深度图像数据的机器人自主导航方法,其特征在于,通过权利要求1或2所述的基于深度图像数据的机器人自主导航系统进行,包括以下步骤:
步骤1,基于深度图像数据的机器人自主导航系统进行初始化,然后根据机器人的测距传感器判断机器人四周是否存在妨碍通过性的近距离障碍物,如不存在则进行步骤2;如出现障碍物时,根据障碍物布置情况进行逻辑判断后引导机器人平台转移到能正常运行的场地,再进行步骤2;
步骤2,采集当前环境的深度图像,并采用深度数据处理方法处理所采集的深度图像,获取当前环境的深度图像数据;
步骤3,对所述深度图像数据进行处理,获取深度图像各区域真实数据,对深度图像各区域进行细分处理,设定各细分区域预警值,比较深度图像各细分区域真实数据和各细分区域预警值,再根据比较结果生成命令信息;
步骤4,通过所述命令信息生成控制指令,同时结合机器人自身状态使机器人完成运动,并将机器人数据反馈至机器人的控制台;机器人运动时,记录机器人的运动状态数据,将运动状态数据作为修正运动路径及向控制台上传数据的来源;
所述步骤3中,对所述深度图像数据进行处理的过程包括如下步骤:
步骤3.1,以用来采集当前环境深度图像的相机镜头的轴线通过的水平面为预分界面;
步骤3.2,然后获取结构平台高度方向上位于预分界面上的结构尺寸h,令结构尺寸h与结构平台总高度H作比得到比例关系α;
步骤3.3,将预分界面按照比例关系α乘以深度图像的纵向分辨率L,以预分界面为基础,对分界面进行上调,上调高度为α×L,得到最终的分界面;
步骤3.4,然后以最终的分界面以下区域作为图像处理区域;
所述步骤3中,获取深度图像各区域真实数据包括如下步骤:
步骤3.5,在图像处理区域内,根据机器人尺寸参数将整体图像进行水平和垂直方向上的区域划分;具体的,将整体图像划分为5个次区域,分别为左侧ROI、右侧ROI、上侧ROI、下侧ROI和中央ROI;
步骤3.6,利用划分的5个次区域来获取深度图像各区域真实数据。
4.根据权利要求3所述的一种基于深度图像数据的机器人自主导航方法,其特征在于,所述步骤3中,对深度图像各区域进行细分处理时,根据各次区域数据量的大小将每个次区域划分为多个大小一致的小区域,然后对各小区域进行优化,使深度图像中的失真点得到近似值的补偿。
5.根据权利要求3所述的一种基于深度图像数据的机器人自主导航方法,其特征在于,所述步骤3中,比较深度图像各细分区域真实数据和各细分区域预警值时,将各个次区域中细分区域的真实数据与对应细分区域设定的预警值逐一作比较,采用或的关系,当次区域内的任一细分区域的真实数据小于细分区域预警值时,则为预警状态,否则为正常状态。
6.根据权利要求3所述的一种基于深度图像数据的机器人自主导航方法,其特征在于,所述步骤1,如出现障碍物时,根据障碍物布置情况进行逻辑判断后引导机器人平台转移到能正常运行的场地,具体过程为:
将机器人的测距传感器的探测信息分为前、后、左后右四部分,分别对应机器人前进、后退、左侧、右侧四个正方向,根据转向半径和机器人尺寸设定预警值,当四部分测距传感器中任意一部分测距传感器出现探测值小于预警值时,该部分测距传感器进入预警状态,否则为正常状态;
所述判断逻辑如下:
当各部分测距传感器均为出现预警状态,机器人按照正常步骤继续往下进行;
当只有前进部分测距传感器出现预警状态,引导机器人后退,直至预警状态消除;
当只有后退方向测距传感器出现预警状态,引导机器人前进并进执行下一步;
当左侧测距传感器和后退方向测距传感器出现预警状态,或者当只有左侧方向测距传感器出现预警状态时,引导机器人右转前进,直至预警状态消除;
当右侧测距传感器和后退方向测距传感器出现预警状态,或者当只有右侧方向测距传感器出现预警状态时,引导机器人左转前进,直至预警状态消除;
当前进方向测距传感器和左侧部分测距传感器出现预警状态,引导机器人右转后退,直至前进方向测距传感器和左侧部分测距传感器均消除预警状态;
当前进方向测距传感器和右侧部分测距传感器出现预警状态,引导机器人左转后退,直至两前进方向测距传感器和右侧部分测距传感器均消除预警状态;
当前进方向测距传感器和后退方向测距传感器同时出现预警状态,启动警报器告知无法达到正常运行的场地;
当左侧部分测距传感器和右侧部分测距传感器出现预警状态,引导机器人直线前进;如预警状态未消除时前进方向测距传感器出现预警状态时,机器人按原路返回至执行起点后再引导后退;如预警状态未消除时后退方向出现预警状态时,则使机器人停在原地并启动警报器告知无法达到正常运行的场地;
如三个及以上的部分的测距传感器同时出现预警状态,则启动警报器告知无法达到正常运行的场地。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811107236.XA CN108873914B (zh) | 2018-09-21 | 2018-09-21 | 一种基于深度图像数据的机器人自主导航系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811107236.XA CN108873914B (zh) | 2018-09-21 | 2018-09-21 | 一种基于深度图像数据的机器人自主导航系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108873914A CN108873914A (zh) | 2018-11-23 |
CN108873914B true CN108873914B (zh) | 2021-07-06 |
Family
ID=64324499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811107236.XA Active CN108873914B (zh) | 2018-09-21 | 2018-09-21 | 一种基于深度图像数据的机器人自主导航系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108873914B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109708655A (zh) * | 2018-12-29 | 2019-05-03 | 百度在线网络技术(北京)有限公司 | 导航方法、装置、车辆及计算机可读存储介质 |
CN111596651B (zh) * | 2019-02-19 | 2022-08-09 | 科沃斯机器人股份有限公司 | 环境区域划分与定点清扫方法、设备及存储介质 |
CN110083157B (zh) * | 2019-04-28 | 2022-11-25 | 深兰科技(上海)有限公司 | 一种避障方法及装置 |
CN110703750A (zh) * | 2019-10-12 | 2020-01-17 | 南京工业大学 | 基于图像匹配的自行走机器人转向判定控制装置及方法 |
CN113016331B (zh) * | 2021-02-26 | 2022-04-26 | 江苏大学 | 一种基于双目视觉的宽窄行再生稻收获调控系统及方法 |
CN114872029B (zh) * | 2022-06-09 | 2024-02-02 | 深圳市巨龙创视科技有限公司 | 一种机器人视觉识别系统 |
CN115840459B (zh) * | 2023-01-04 | 2023-05-16 | 北京科技大学 | 一种面向扑翼飞行器的单目视觉避障系统 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6975246B1 (en) * | 2003-05-13 | 2005-12-13 | Itt Manufacturing Enterprises, Inc. | Collision avoidance using limited range gated video |
CN101931821A (zh) * | 2010-07-21 | 2010-12-29 | 中兴通讯股份有限公司 | 一种视频传输的差错控制方法及系统 |
CN101976079A (zh) * | 2010-08-27 | 2011-02-16 | 中国农业大学 | 智能导航控制系统及方法 |
CN102175251A (zh) * | 2011-03-25 | 2011-09-07 | 江南大学 | 双目智能导航系统 |
CN102265309A (zh) * | 2008-12-23 | 2011-11-30 | 想象技术有限公司 | 基于图块的3d计算机图形系统中的显示列表控制流分组 |
CN103353758A (zh) * | 2013-08-05 | 2013-10-16 | 青岛海通机器人系统有限公司 | 一种室内机器人导航装置及其导航技术 |
CN103607590A (zh) * | 2013-11-28 | 2014-02-26 | 北京邮电大学 | 基于结构相似度的高效视频编码感知率失真优化方法 |
CN204423154U (zh) * | 2015-03-12 | 2015-06-24 | 北京宏鑫智能科技有限公司 | 一种基于自主导航的自动充电玩具机器人 |
CN105629970A (zh) * | 2014-11-03 | 2016-06-01 | 贵州亿丰升华科技机器人有限公司 | 一种基于超声波的机器人定位避障方法 |
CN105910604A (zh) * | 2016-05-25 | 2016-08-31 | 武汉卓拔科技有限公司 | 一种基于多传感器的自主避障导航系统 |
CN106020201A (zh) * | 2016-07-13 | 2016-10-12 | 广东奥讯智能设备技术有限公司 | 移动机器人3d导航定位系统及导航定位方法 |
CN205905026U (zh) * | 2016-08-26 | 2017-01-25 | 沈阳工学院 | 一种基于双目立体视觉的机器人系统 |
CN107490377A (zh) * | 2017-07-17 | 2017-12-19 | 五邑大学 | 室内无地图导航系统及导航方法 |
CN107580217A (zh) * | 2017-08-31 | 2018-01-12 | 郑州云海信息技术有限公司 | 编码方法及其装置 |
CN108107884A (zh) * | 2017-11-20 | 2018-06-01 | 北京理工华汇智能科技有限公司 | 机器人跟随导航的数据处理方法及其智能装置 |
-
2018
- 2018-09-21 CN CN201811107236.XA patent/CN108873914B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6975246B1 (en) * | 2003-05-13 | 2005-12-13 | Itt Manufacturing Enterprises, Inc. | Collision avoidance using limited range gated video |
CN102265309A (zh) * | 2008-12-23 | 2011-11-30 | 想象技术有限公司 | 基于图块的3d计算机图形系统中的显示列表控制流分组 |
CN101931821A (zh) * | 2010-07-21 | 2010-12-29 | 中兴通讯股份有限公司 | 一种视频传输的差错控制方法及系统 |
CN101976079A (zh) * | 2010-08-27 | 2011-02-16 | 中国农业大学 | 智能导航控制系统及方法 |
CN102175251A (zh) * | 2011-03-25 | 2011-09-07 | 江南大学 | 双目智能导航系统 |
CN103353758A (zh) * | 2013-08-05 | 2013-10-16 | 青岛海通机器人系统有限公司 | 一种室内机器人导航装置及其导航技术 |
CN103607590A (zh) * | 2013-11-28 | 2014-02-26 | 北京邮电大学 | 基于结构相似度的高效视频编码感知率失真优化方法 |
CN105629970A (zh) * | 2014-11-03 | 2016-06-01 | 贵州亿丰升华科技机器人有限公司 | 一种基于超声波的机器人定位避障方法 |
CN204423154U (zh) * | 2015-03-12 | 2015-06-24 | 北京宏鑫智能科技有限公司 | 一种基于自主导航的自动充电玩具机器人 |
CN105910604A (zh) * | 2016-05-25 | 2016-08-31 | 武汉卓拔科技有限公司 | 一种基于多传感器的自主避障导航系统 |
CN106020201A (zh) * | 2016-07-13 | 2016-10-12 | 广东奥讯智能设备技术有限公司 | 移动机器人3d导航定位系统及导航定位方法 |
CN205905026U (zh) * | 2016-08-26 | 2017-01-25 | 沈阳工学院 | 一种基于双目立体视觉的机器人系统 |
CN107490377A (zh) * | 2017-07-17 | 2017-12-19 | 五邑大学 | 室内无地图导航系统及导航方法 |
CN107580217A (zh) * | 2017-08-31 | 2018-01-12 | 郑州云海信息技术有限公司 | 编码方法及其装置 |
CN108107884A (zh) * | 2017-11-20 | 2018-06-01 | 北京理工华汇智能科技有限公司 | 机器人跟随导航的数据处理方法及其智能装置 |
Non-Patent Citations (3)
Title |
---|
Robotics and navigation – Delivering the patient-specific plan;Babar Kayani;《ScienceDirect》;20181231;第323-329页 * |
图像几何失真与局部增强;dengcheng1949;《CSDN》;20170325;第1-8页 * |
高速公路建设远程视频监控系统的设计与实现;王海英 等;《公路》;20200910;第183-185页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108873914A (zh) | 2018-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108873914B (zh) | 一种基于深度图像数据的机器人自主导航系统及方法 | |
US11669102B2 (en) | Navigating a vehicle based on a detected barrier | |
US11657604B2 (en) | Systems and methods for estimating future paths | |
CN110304049B (zh) | 环境主动感知型停车场自动泊车系统 | |
EP3614105B1 (en) | Controlling host vehicle based on detected parked vehicle characteristics | |
US20210072765A1 (en) | Systems and methods for navigating lane merges and lane splits | |
CN110696818A (zh) | 一种基于最优路径的自动泊车方法及系统 | |
CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
US9896810B2 (en) | Method for controlling a self-propelled construction machine to account for identified objects in a working direction | |
EP4220537A2 (en) | Road profile along a predicted path | |
CN106909148A (zh) | 基于农田环境感知的农机无人驾驶导航方法 | |
EP3436879A1 (en) | An autonomous vehicle with improved visual detection ability | |
CN103413313A (zh) | 基于电力机器人的双目视觉导航系统及方法 | |
CN110962122B (zh) | 一种管道清理机器人控制系统以及方法 | |
CN113085896B (zh) | 一种现代有轨清洁车辅助自动驾驶系统及方法 | |
CN106584451A (zh) | 一种基于视觉导航的变电站自动构图机器人及方法 | |
US11577748B1 (en) | Real-time perception system for small objects at long range for autonomous vehicles | |
CN108459600A (zh) | 一种agv小车的视觉导航系统 | |
CN115237113B (zh) | 机器人导航的方法、机器人、机器人系统及存储介质 | |
CN112925326B (zh) | 一种基于激光雷达和深度相机数据融合的agv避障方法 | |
CN111750855B (zh) | 一种视觉主导的自主作业智能振动压路机 | |
Yu et al. | On the development of a sensing system by using monocular vision sensor for mobile robot | |
CN117850420A (zh) | 一种环卫车辆控制方法和环卫车辆 | |
CN117715813A (zh) | 用于定向地停放挂车的方法 | |
Paromtchik et al. | Laser-based guidance of multiple mobile robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20181123 Assignee: Shaanxi Fun Intelligent Information Technology Co.,Ltd. Assignor: CHANG'AN University Contract record no.: X2023980048490 Denomination of invention: A robot autonomous navigation system and method based on depth image data Granted publication date: 20210706 License type: Common License Record date: 20231127 |
|
EE01 | Entry into force of recordation of patent licensing contract |