CN107168337A - 一种基于视觉识别的移动机器人路径规划与调度方法 - Google Patents
一种基于视觉识别的移动机器人路径规划与调度方法 Download PDFInfo
- Publication number
- CN107168337A CN107168337A CN201710538213.3A CN201710538213A CN107168337A CN 107168337 A CN107168337 A CN 107168337A CN 201710538213 A CN201710538213 A CN 201710538213A CN 107168337 A CN107168337 A CN 107168337A
- Authority
- CN
- China
- Prior art keywords
- mobile robot
- mobile
- path
- target area
- avoidance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000009471 action Effects 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于视觉识别的移动机器人路径规划与调度方法，包括：获取待规划路径的目标区域的图像，生成目标区域的路径地图，并确定所述移动机器人的当前位置信息；根据所述移动机器人的当前位置信息以及目标位置信息，生成所述移动机器人从当前位置到达目标位置的前进路线；所述移动机器人根据所述前进路线向目标位置前进，并实时获得所述移动机器人的当前实时位置信息；判断是否会与其他移动机器人发生碰撞事件，如果会则根据当前实时位置与目标位置之间的前进路线对所述移动机器人及会与其发生碰撞的其他移动机器人进行避让调度，以防止发生碰撞事件。本发明方法实现了多个移动机器人在复杂环境中的路径规划和避让调度。
Description
技术领域
本发明属于人工智能技术领域，更具体地，涉及一种基于视觉识别的移动机器人路径规划与调度方法。
背景技术
移动机器人是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，还可以根据以人工智能技术制定的原则纲领行动。它的任务是协助或取代人类的工作，例如生产业、建筑业，或是危险的工作。在现有技术中，移动机器人多采用自动导引运输车(Automated Guided Vehicle，AGV)技术，基于这种技术的移动机器人多装备有电磁或光学等自动导引装置，利用电磁轨道来设置其行进路线，电磁轨道黏贴於地板上，移动机器人则依靠电磁轨道所带来的讯息进行移动与动作。目前还有一种基于测距传感器技术的移动机器人，这种移动机器人借助测距传感器对周围的障碍物进行探索，可以实现移动机器人在复杂环境中避障运行，同时利用运行控制算法优化移动机器人运行路径，实现移动机器人在复杂环境中的运行。
然而现有的技术存在一些缺点，首先基于AGV技术的移动机器人，运动路线固定，运行灵活性差，调度方案简单、固定，只能适用于简单环境中的简单应用，无法满足越来越复杂的智能应用。其次基于测距传感器技术的移动机器人，虽然可以实现对复杂环境的探索，但其控制算法复杂，移动机器人无效运行时间长，探索效率差，也无法实现对复杂环境中多个移动机器人的调度。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于视觉识别的移动机器人路径规划与调度方法，其目的在于通过视觉的手段识别复杂环境的路径地图和移动机器人的定位，计算各移动机器人的最优运行路径，并通过实时监测进行避让调度，实现了多个移动机器人在复杂环境中的路径规划和避让调度。
为实现上述目的，本发明提供了一种基于视觉识别的移动机器人路径规划与调度方法，包括：
获取待规划路径的目标区域的图像，根据所述目标区域的图像生成目标区域的路径地图，并确定所述移动机器人的当前位置信息；
根据所述移动机器人的当前位置信息以及目标位置信息，在所述目标区域的路径地图中生成所述移动机器人从当前位置到达目标位置的前进路线；
所述移动机器人根据所述前进路线从所述当前位置向目标位置前进，并实时获得所述移动机器人的当前实时位置信息；
判断在当前实时位置与目标位置之间的前进路线上是否会与其他移动机器人发生碰撞事件，如果会则根据当前实时位置与目标位置之间的前进路线对所述移动机器人及会与其发生碰撞的其他移动机器人进行避让调度，以防止发生碰撞事件。
本发明的一个实施例中，获取待规划路径的目标区域的图像具体为：通过空中飞行器搭载的图像采集装置获取所述待规划路径的目标区域的图像。
本发明的一个实施例中，根据所述目标区域的图像生成目标区域的路径地图，具体为：
对所述目标区域的图像进行对象识别，识别出可通行区域和非通行区域；
分别对所述可通行区域和非通行区域进行二维标记，所述可通行区域和非通行区域分别形成连通区域；所述可通行区域构成的连通区域构成所述目标区域的路径地图。
本发明的一个实施例中，在所述目标区域的路径地图中生成所述移动机器人从当前位置到达目标位置的前进路线，具体为：
使用A*算法在所述目标区域的路径地图中生成所述移动机器人从当前位置到达目标位置的前进路线。
本发明的一个实施例中，判断在当前实时位置与目标位置之间的前进路线上是否会与其他移动机器人发生碰撞事件，具体为：
获取在所述移动机器人当前实时位置与目标位置之间的前进路线上运行的其他移动机器人的实时位置信息；
获取所述其他移动机器人的运行方向和运行速度，以及所述移动机器人的运行速度；
根据所述移动机器人的运行速度和运行方向，以及所述其他移动机器人的运行方向和运行速度，判断所述移动机器人和所述其他移动机器人是否会在所述移动机器人当前实时位置与目标位置之间的前进路线上相遇，如果是则确定会发生碰撞事件。
本发明的一个实施例中，根据当前实时位置与目标位置之间的前进路线对所述移动机器人及会与其发生碰撞的其他移动机器人进行避让调度，具体为：
根据所述移动机器人的运行速度和运行方向，以及所述其他移动机器人的运行方向和运行速度，计算所述移动机器人和所述其他移动机器人在所述移动机器人当前实时位置与目标位置之间的前进路线上相遇点的位置信息；
根据所述相遇点的位置信息，在所述移动机器人当前实时位置与目标位置之间的前进路线上获取至少一个离所述相遇点最近的避让路口；
将先到达所述避让路口的移动机器人暂时停靠在所述避让路口，待可能会发生碰撞的移动机器人经过所述避让路口后，所述暂时停靠的移动机器人继续向对应的目标位置前进。
本发明的一个实施例中，根据当前实时位置与目标位置之间的前进路线对所述移动机器人及会与其发生碰撞的其他移动机器人进行避让调度，具体为：
根据所述移动机器人的运行速度和运行方向，以及所述其他移动机器人的运行方向和运行速度，计算所述移动机器人和所述其他移动机器人在所述移动机器人当前实时位置与目标位置之间的前进路线上相遇点的位置信息；
获取所述移动机器人和所述其他移动机器人的任务优先级别，确定任务优先级别最高的移动机器人；
计算当所述任务优先级别最高的移动机器人到达所述相遇点时，在其他的一个或多个移动机器人与所述相遇点之间的路径上离所述相遇点最近的一个或多个避让路口；
将到达相应避让路口的移动机器人暂时停靠在相应的避让路口，待可能会发生碰撞的移动机器人经过相应避让路口后，所述暂时停靠的移动机器人继续向对应的目标位置前进。
本发明的一个实施例中，如果在所述移动机器人的当前位置以及目标位置之间不存在连通路径，则所述移动机器人向控制中心反馈无法到达目标位置的信息。
本发明的一个实施例中，所述方法还包括：
在控制中心显示所述目标区域的路径地图，以及在所述目标区域中运行的移动机器人的实时信息，所述实时信息包括以下一项或多项：运行方向、运行速度以及任务优先级别；
控制中心接收避让调度指令，并将所述避让调度指令下达给相应的移动机器人，所述相应的移动机器人根据接收的相应避让调度指令实施避让动作，其中所述避让调度指令由控制人员根据所述目标区域中运行的移动机器人的实时信息所制定。
本发明的一个实施例中，所述避让调度指令中包括以下信息：运行速度、运行方向以及避让路口信息。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
(1)本发明提供的基于视觉识别的移动机器人路径规划与调度方法，可以获取待规划路径的目标区域的图像，通过视觉手段识别目标区域的路径地图以及移动机器人位置，并通过路径规划算法实现对移动机器人从当前所处位置到目标位置的路径规划；同时在移动机器人前进过程中，为了防止与其他移动机器人发生碰撞，通过实时监控所述移动机器人和其他移动机器人的运动状态，判断是否会发生碰撞事件并在可能发生碰撞的情况下进行避让调度；从而实现了在复杂环境中移动机器人的路径规划和避让调度，并且调度过程简单有效可控；
(2)本发明提供的基于视觉识别的移动机器人路径规划与调度方法，既可通过空中飞行器搭载的图像采集装置获取所述待规划路径的目标区域的图像，也可以通过设置在所述待规划路径的目标区域上方的图像采集装置获取所述待规划路径的目标区域的图像；因此不论对于新的地理位置的目标区域还是不断变化的地理位置固定的目标区域，都可方便的采集其图像，从而进一步获得目标区域的路径地图；
(3)本发明提供的基于视觉识别的移动机器人路径规划与调度方法，通过图像采集装置采集目标区域的图像，并通过视觉手段(例如图像识别和对象识别等)生成目标区域的路径地图，实时性强、准确度高，可以克服现有技术中路径地图固定不能更新的缺点，或者移动机器人通过自身传感器去探索路径的复杂低效的缺点；
(4)本发明提供的基于视觉识别的移动机器人路径规划与调度方法，可通过视觉手段实时监控目标区域中移动机器人的运行状态，及时在可能发生碰撞的情况下进行避让调度，不仅可以根据移动机器人的实时位置、运行方向和运行速度等进行避让调度，还可以根据移动机器人的任务优先级别进行避让调度，从而克服了避让调度手段的单一性；并且还可以通过指令的方式引入控制中心的主动避让，增强了避让调度的灵活性；
(5)本发明提供的基于视觉识别的移动机器人路径规划与调度方法，还可将目标区域中移动机器人的运行状态显示出来，便于控制中心或者监控人员实时全局的掌握移动机器人的运行情况。
附图说明
图1是本发明实施例中一种基于视觉识别的移动机器人路径规划与调度方法的流程示意图；
图2是本发明实施例中一种路径规划方法的流程示意图；
图3是本发明实施例中一种碰撞判断方法的流程示意图；
图4是本发明实施例中一种避让调度方法的流程示意图；
图5是本发明实施例中一种避让调度方法的原理示意图；
图6是本发明实施例中一种实时显示和调试方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
针对现有技术的问题，可以获取待规划路径的目标区域(即移动机器人所运行的复杂环境)的图像，通过视觉手段(包括图像识别和对象识别等)识别目标区域的路径地图以及移动机器人位置，从而实现对移动机器人从当前所处位置到目标位置的路径规划；同时在移动机器人前进过程中，为了防止与其他移动机器人发生碰撞，需要实时监控所述移动机器人和其他移动机器人的运动状态，并在可能发生碰撞的情况下进行避让调度。
为实现上述目的，如图1所示，本发明提供了一种基于视觉识别的移动机器人路径规划与调度方法，包括：
S1、获取待规划路径的目标区域的图像，根据所述目标区域的图像生成目标区域的路径地图，并确定所述移动机器人的当前位置信息；
复杂环境(待规划路径的目标区域)可能有多种情况，例如：
A新的地理环境，移动机器人初次到达该目标区域中时，需要获得路径地图，此时需要获得该区域的图像，则可以通过机动运行的图像采集装置(例如空中飞行器搭载的图像采集装置)来采集图像；
B不变的地理环境，但是该区域中的对象不断变化，导致移动机器人运行的路径也可能会发生变化，所以也需要不断更新路径地图，此时也需要周期性的获得该区域的最新图像；此时可以通过机动运行的图像采集装置(例如空中飞行器搭载的图像采集装置)来采集图像，也可以通过设置在所述待规划路径的目标区域上方的一个或多个图像采集装置获取所述待规划路径的目标区域的图像。
一般地，上述图像采集装置可以是摄像头或者是照相机。
当获得目标区域的图像后，需要通过视觉的手段获得该区域的路径地图，通常地，如图2所示，路径地图可以通过如下方式获取：
S11、对所述目标区域的图像进行对象识别，识别出可通行区域和非通行区域；
具体地，可以运用计算机视觉的方式对图像进行对象识别。
当然，在此识别的目的主要是将可通行区域和非通行区域区分开来，因此也可以只识别出可通行区域，而其余的区域则可标记为非通行区域。
S12、分别对所述可通行区域和非通行区域进行二维标记，所述可通行区域和非通行区域分别形成连通区域；所述可通行区域构成的连通区域构成所述目标区域的路径地图；
当识别出可通行区域和非通行区域后，便于后续算法处理，需要对二者进行标记，通常地可以采用二维标记的方法，即用第一标志标记可通行区域和，用第二标志标记非通行区域。例如1和0，或者255和0。
另外，还可以通过对象识别方法确定所述移动机器人的当前位置信息；
S2、根据所述移动机器人的当前位置信息以及目标位置信息，在所述目标区域的路径地图中生成所述移动机器人从当前位置到达目标位置的前进路线；
通常在一次任务前进过程中，移动机器人的当前位置是会实时变化的而其目标位置一般是固定的，当通过步骤S1识别出其当前实时位置后，根据路径地图、当前位置信息以及目标位置信息，在路径地图中生成从当前位置到达目标位置的前进路线；
例如，可以使用A*算法在所述目标区域的路径地图中生成所述移动机器人从当前位置到达目标位置的前进路线；当然，也可以采用其他路径规划算法完成路径计算；
进一步地，如果在所述移动机器人的当前位置以及目标位置之间不存在连通路径，则反馈无法到达目标位置的提醒信息。反馈方式可以是所述移动机器人停止运行并发出报警消息，也可以是所述移动机器人停止运行并在控制中心发出提醒消息；
S3、所述移动机器人根据所述前进路线从所述当前位置向目标位置前进，并实时获得所述移动机器人的当前实时位置信息；
当生成前进路线后，可以将该前进路线发送给移动机器人，则移动机器人根据该前进路线运行；也可以根据该前进路线生成前进指引指令，将该前进指引指令发送给移动机器人，移动机器人根据实时下发的前进指引指令运行；
需要实时获得所述移动机器人的当前实时位置信息，该实时位置信息可以由移动机器人通过自身的定位装置实时获取并上传，也可以通过采集图像和视觉识别的方式周期性(可根据移动机器人的运行速度确定，一般应该较短)获取；
S4、判断在当前实时位置与目标位置之间的前进路线上是否会与其他移动机器人发生碰撞事件，如果会则根据当前实时位置与目标位置之间的前进路线对所述移动机器人及会与其发生碰撞的其他移动机器人进行避让调度，以防止发生碰撞事件；
通常在复杂环境中不止一个移动机器人在运行，所以需要进行避让调度以防止两个或多个移动机器人同时经过一个路径点时发生碰撞；为了实现避让调度，需要获取在该环境中运行的其他移动机器人的运行状态，并在可能发生碰撞的位置附近选择避让路口，让移动机器人在相应避让路口进行避让。
具体地，如图3所示，判断在当前实时位置与目标位置之间的前进路线上是否会与其他移动机器人发生碰撞事件，包括：
S41获取在所述移动机器人当前实时位置与目标位置之间的前进路线上运行的其他移动机器人的实时位置信息；
所述移动机器人在前进路线上可能会与其他移动机器人发生碰撞，例如可能会与其他沿该路线运行的移动机器人碰撞，也可能会与其他不沿该路线运行但与该路线有交叉的移动机器人碰撞；本步骤中在所述移动机器人当前实时位置与目标位置之间的前进路线上运行的其他移动机器人包括上述两种情况；
S42获取所述其他移动机器人的运行方向和运行速度，以及所述移动机器人的运行速度；
除了移动机器人当前所处位置外，为了准确计算其可能发生碰撞的位置，需要获取其运行状态信息，这些信息包括运行方向和运行速度；
S43根据所述移动机器人的运行速度和运行方向，以及所述其他移动机器人的运行方向和运行速度，判断所述移动机器人和所述其他移动机器人是否会在所述移动机器人当前实时位置与目标位置之间的前进路线上相遇，如果是则确定会发生碰撞事件。
如果判断出会发生碰撞事件，则根据当前实时位置与目标位置之间的前进路线对所述移动机器人及会与其发生碰撞的其他移动机器人进行避让调度，具体地，如图4所示包括：
S401根据所述移动机器人的运行速度和运行方向，以及所述其他移动机器人的运行方向和运行速度，计算所述移动机器人和所述其他移动机器人在所述移动机器人当前实时位置与目标位置之间的前进路线上相遇点的位置信息；
S402根据所述相遇点的位置信息，在所述移动机器人当前实时位置与目标位置之间的前进路线上获取至少一个离所述相遇点最近的避让路口；
具体地，可以获取一个避让路口；也可以获取多个避让路口，由控制中心来确定哪个移动机器人停靠在哪个避让路口；
S403将先到达所述避让路口的移动机器人暂时停靠在所述避让路口，待可能会发生碰撞的移动机器人经过所述避让路口后，所述暂时停靠的移动机器人继续向对应的目标位置前进。
例如，如图5所示，两个移动机器人(图中标记为C车和D车)可能会发生碰撞，则可以选择让C车在其可避让路口避让，也可选择让D车在其可避让路口避让；
另外，在该区域中运行的移动机器人可能还具有不同的任务优先级别，所以在调度时还可以考虑任务优先级别，即保证最高任务优先级别的移动机器人的运行，其他移动机器人在可能发生碰撞的情况下进行避让，具体地调度方法包括：
S405根据所述移动机器人的运行速度和运行方向，以及所述其他移动机器人的运行方向和运行速度，计算所述移动机器人和所述其他移动机器人在所述移动机器人当前实时位置与目标位置之间的前进路线上相遇点的位置信息；
S406获取所述移动机器人和所述其他移动机器人的任务优先级别，确定任务优先级别最高的移动机器人；
该任务优先级别可以是对应移动机器人的固有属性，也可以是由控制中心实时设置更新的；
S407计算当所述任务优先级别最高的移动机器人到达所述相遇点时，在其他的一个或多个移动机器人与所述相遇点之间的路径上离所述相遇点最近的一个或多个避让路口；
S408将到达相应避让路口的移动机器人暂时停靠在相应的避让路口，待可能会发生碰撞的移动机器人经过相应避让路口后，所述暂时停靠的移动机器人继续向对应的目标位置前进。
进一步地，还可以对该目标区域中移动机器人的运行情况进行实时显示，并可接受人工调度，具体地，如图6所示，所述方法还包括：
S5在控制中心显示所述目标区域的路径地图，以及在所述目标区域中运行的移动机器人的实时信息，所述实时信息包括以下一项或多项：运行方向、运行速度以及任务优先级别；
S6控制中心接收避让调度指令，并将所述避让调度指令下达给相应的移动机器人，所述相应的移动机器人根据接收的相应避让调度指令实施避让动作，其中所述避让调度指令由控制人员根据所述目标区域中运行的移动机器人的实时信息所制定。
具体地，所述避让调度指令中包括以下信息：运行速度、运行方向以及避让路口信息。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于视觉识别的移动机器人路径规划与调度方法，其特征在于，包括：
获取待规划路径的目标区域的图像，根据所述目标区域的图像生成目标区域的路径地图，并确定所述移动机器人的当前位置信息；
根据所述移动机器人的当前位置信息以及目标位置信息，在所述目标区域的路径地图中生成所述移动机器人从当前位置到达目标位置的前进路线；
所述移动机器人根据所述前进路线从所述当前位置向目标位置前进，并实时获得所述移动机器人的当前实时位置信息；
判断在当前实时位置与目标位置之间的前进路线上是否会与其他移动机器人发生碰撞事件，如果会则根据当前实时位置与目标位置之间的前进路线对所述移动机器人及会与其发生碰撞的其他移动机器人进行避让调度，以防止发生碰撞事件。
2.如权利要求1所述的基于视觉识别的移动机器人路径规划与调度方法，其特征在于，获取待规划路径的目标区域的图像具体为：
通过空中飞行器搭载的图像采集装置获取所述待规划路径的目标区域的图像；或者，
通过设置在所述待规划路径的目标区域上方的图像采集装置获取所述待规划路径的目标区域的图像。
3.如权利要求1或2所述的基于视觉识别的移动机器人路径规划与调度方法，其特征在于，根据所述目标区域的图像生成目标区域的路径地图，具体为：
对所述目标区域的图像进行对象识别，识别出可通行区域和非通行区域；
分别对所述可通行区域和非通行区域进行二维标记，所述可通行区域和非通行区域分别形成连通区域；所述可通行区域构成的连通区域构成所述目标区域的路径地图。
4.如权利要求1或2所述的基于视觉识别的移动机器人路径规划与调度方法，其特征在于，在所述目标区域的路径地图中生成所述移动机器人从当前位置到达目标位置的前进路线，具体为：
使用A*算法在所述目标区域的路径地图中生成所述移动机器人从当前位置到达目标位置的前进路线。
5.如权利要求1或2所述的基于视觉识别的移动机器人路径规划与调度方法，其特征在于，判断在当前实时位置与目标位置之间的前进路线上是否会与其他移动机器人发生碰撞事件，具体为：
获取在所述移动机器人当前实时位置与目标位置之间的前进路线上运行的其他移动机器人的实时位置信息；
获取所述其他移动机器人的运行方向和运行速度，以及所述移动机器人的运行速度；
根据所述移动机器人的运行速度和运行方向，以及所述其他移动机器人的运行方向和运行速度，判断所述移动机器人和所述其他移动机器人是否会在所述移动机器人当前实时位置与目标位置之间的前进路线上相遇，如果是则确定会发生碰撞事件。
6.如权利要求1或2所述的基于视觉识别的移动机器人路径规划与调度方法，其特征在于，根据当前实时位置与目标位置之间的前进路线对所述移动机器人及会与其发生碰撞的其他移动机器人进行避让调度，具体为：
根据所述移动机器人的运行速度和运行方向，以及所述其他移动机器人的运行方向和运行速度，计算所述移动机器人和所述其他移动机器人在所述移动机器人当前实时位置与目标位置之间的前进路线上相遇点的位置信息；
根据所述相遇点的位置信息，在所述移动机器人当前实时位置与目标位置之间的前进路线上获取至少一个离所述相遇点最近的避让路口；
将先到达所述避让路口的移动机器人暂时停靠在所述避让路口，待可能会发生碰撞的移动机器人经过所述避让路口后，所述暂时停靠的移动机器人继续向对应的目标位置前进。
7.如权利要求1或2所述的基于视觉识别的移动机器人路径规划与调度方法，其特征在于，根据当前实时位置与目标位置之间的前进路线对所述移动机器人及会与其发生碰撞的其他移动机器人进行避让调度，具体为：
根据所述移动机器人的运行速度和运行方向，以及所述其他移动机器人的运行方向和运行速度，计算所述移动机器人和所述其他移动机器人在所述移动机器人当前实时位置与目标位置之间的前进路线上相遇点的位置信息；
获取所述移动机器人和所述其他移动机器人的任务优先级别，确定任务优先级别最高的移动机器人；
计算当所述任务优先级别最高的移动机器人到达所述相遇点时，在其他的一个或多个移动机器人与所述相遇点之间的路径上离所述相遇点最近的一个或多个避让路口；
将到达相应避让路口的移动机器人暂时停靠在相应的避让路口，待可能会发生碰撞的移动机器人经过相应避让路口后，所述暂时停靠的移动机器人继续向对应的目标位置前进。
8.如权利要求1或2所述的基于视觉识别的移动机器人路径规划与调度方法，其特征在于，如果在所述移动机器人的当前位置以及目标位置之间不存在连通路径，则所述移动机器人向控制中心反馈无法到达目标位置的信息。
9.如权利要求1或2所述的基于视觉识别的移动机器人路径规划与调度方法，其特征在于，还包括：
在控制中心显示所述目标区域的路径地图，以及在所述目标区域中运行的移动机器人的实时信息，所述实时信息包括以下一项或多项：运行方向、运行速度以及任务优先级别；
控制中心接收避让调度指令，并将所述避让调度指令下达给相应的移动机器人，所述相应的移动机器人根据接收的相应避让调度指令实施避让动作，其中所述避让调度指令由控制人员根据所述目标区域中运行的移动机器人的实时信息所制定。
10.如权利要求9所述的基于视觉识别的移动机器人路径规划与调度方法，其特征在于，所述避让调度指令中包括以下信息：运行速度、运行方向以及避让路口信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710538213.3A CN107168337A (zh) | 2017-07-04 | 2017-07-04 | 一种基于视觉识别的移动机器人路径规划与调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710538213.3A CN107168337A (zh) | 2017-07-04 | 2017-07-04 | 一种基于视觉识别的移动机器人路径规划与调度方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107168337A true CN107168337A (zh) | 2017-09-15 |
Family
ID=59822707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710538213.3A Pending CN107168337A (zh) | 2017-07-04 | 2017-07-04 | 一种基于视觉识别的移动机器人路径规划与调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107168337A (zh) |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108286457A (zh) * | 2017-12-04 | 2018-07-17 | 山东康威通信技术股份有限公司 | 电力隧道巡检机器人行走安全保障调度方法及系统 |
| CN108363393A (zh) * | 2018-02-05 | 2018-08-03 | 腾讯科技（深圳）有限公司 | 一种智能运动设备及其导航方法和存储介质 |
| CN108398945A (zh) * | 2018-01-17 | 2018-08-14 | 上海思岚科技有限公司 | 一种用于移动机器人执行任务的方法及设备 |
| CN108445893A (zh) * | 2018-06-07 | 2018-08-24 | 浙江国自机器人技术有限公司 | 一种移动机器人控制器及移动机器人 |
| CN108510799A (zh) * | 2018-04-24 | 2018-09-07 | 骁越科技（青岛）有限公司 | 一种室外型agv交通避让方法与装置 |
| CN108983778A (zh) * | 2018-07-24 | 2018-12-11 | 安徽库讯自动化设备有限公司 | 一种agv小车路径规划智能调控系统 |
| CN109048910A (zh) * | 2018-08-29 | 2018-12-21 | 广州市君望机器人自动化有限公司 | 机器人避让预判方法及装置 |
| CN109116847A (zh) * | 2018-08-29 | 2019-01-01 | 广州市君望机器人自动化有限公司 | 路径调度方法、装置、后台服务端及存储介质 |
| CN109343535A (zh) * | 2018-11-16 | 2019-02-15 | 广东嘉腾机器人自动化有限公司 | 一种agv小车的控制方法及装置 |
| CN109544984A (zh) * | 2017-09-21 | 2019-03-29 | 顺丰速运有限公司 | 用以保证货场交叉区域运输安全的车辆调度方法及装置 |
| CN109814512A (zh) * | 2019-03-07 | 2019-05-28 | 南京塑维网络科技有限公司 | 一种移动拣货放货装置及方法 |
| CN109976350A (zh) * | 2019-04-15 | 2019-07-05 | 上海钛米机器人科技有限公司 | 多机器人调度方法、装置、服务器及计算机可读存储介质 |
| WO2019141227A1 (zh) * | 2018-01-19 | 2019-07-25 | 库卡机器人(广东)有限公司 | 多移动机器人的路径规划方法及系统 |
| CN110377021A (zh) * | 2018-09-29 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 设备控制方法、装置、系统、计算机可读存储介质 |
| WO2019206044A1 (zh) * | 2018-04-27 | 2019-10-31 | 深圳市大疆创新科技有限公司 | 信息处理装置、信息提示指示方法、程序以及记录介质 |
| CN110543174A (zh) * | 2019-09-10 | 2019-12-06 | 速感科技（北京）有限公司 | 可通行区域图的建立方法、处理方法、装置和可移动设备 |
| CN110716554A (zh) * | 2019-11-12 | 2020-01-21 | 华育昌(肇庆)智能科技研究有限公司 | 基于视觉的家庭机器人 |
| CN110751334A (zh) * | 2019-10-21 | 2020-02-04 | 兰剑智能科技股份有限公司 | 基于相交区域预测的agv调度方法及装置 |
| CN110766973A (zh) * | 2018-07-27 | 2020-02-07 | 比亚迪股份有限公司 | 智能寻车方法、装置、系统、服务器和巡航智能设备 |
| CN111103887A (zh) * | 2020-01-14 | 2020-05-05 | 大连理工大学 | 一种基于多传感器的多移动机器人调度系统设计方法 |
| CN111401617A (zh) * | 2020-03-09 | 2020-07-10 | 兰剑智能科技股份有限公司 | 一种基于时间预测的agv调度方法及系统 |
| CN111429030A (zh) * | 2020-04-16 | 2020-07-17 | 蓓安科仪（北京）技术有限公司 | 一种自主移动机器人集成调度系统及集成调度方法 |
| CN111553528A (zh) * | 2020-04-27 | 2020-08-18 | 新石器慧通（北京）科技有限公司 | 无人导购装置的控制方法及无人导购装置 |
| CN111553634A (zh) * | 2020-04-27 | 2020-08-18 | 新石器慧通（北京）科技有限公司 | 无人购物车的追踪方法、装置及系统 |
| CN111874764A (zh) * | 2020-09-28 | 2020-11-03 | 上海木承智能医疗科技有限公司 | 一种机器人的调度方法、服务器和存储介质 |
| CN111950431A (zh) * | 2020-08-07 | 2020-11-17 | 北京猎户星空科技有限公司 | 一种对象查找方法及装置 |
| WO2021012121A1 (zh) * | 2019-07-19 | 2021-01-28 | 西门子（中国）有限公司 | 机器人路径规划器、方法、装置和计算机可读存储介质 |
| CN112925313A (zh) * | 2021-01-22 | 2021-06-08 | 上海擎朗智能科技有限公司 | 机器人的避让处理方法、装置、电子设备和介质 |
| CN113194862A (zh) * | 2018-08-14 | 2021-07-30 | 威博外科公司 | 使用增强反射镜显示器设置外科机器人 |
| WO2022017296A1 (zh) * | 2020-07-23 | 2022-01-27 | 炬星科技（深圳）有限公司 | 一种机器人运动信息识别方法、避障方法及避障机器人、避障系统 |
| CN114454162A (zh) * | 2022-01-10 | 2022-05-10 | 广东技术师范大学 | 一种移动机器人复杂路口防碰撞方法及系统 |
| CN114516044A (zh) * | 2020-11-20 | 2022-05-20 | 炬星科技（深圳）有限公司 | 机器人路径规划方法、设备及存储介质 |
| CN114822081A (zh) * | 2022-04-26 | 2022-07-29 | 中铁十九局集团第六工程有限公司 | 隧道车辆自动避让提示方法、计算机装置、计算机可读存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101615242A (zh) * | 2008-06-24 | 2009-12-30 | 国际商业机器公司 | 基于向量处理器的二维图像的连通区域标记方法、处理器和系统 |
| CN103309350A (zh) * | 2013-05-24 | 2013-09-18 | 南京航空航天大学 | 基于全局无线精确定位的自动导引车调度系统及其方法 |
| KR20130106161A (ko) * | 2012-03-19 | 2013-09-27 | 노틸러스효성 주식회사 | 이동식 로봇의 전역경로 최적화 방법 |
| KR20140087486A (ko) * | 2012-12-31 | 2014-07-09 | 노틸러스효성 주식회사 | 가상벽 레이어를 이용한 이동 로봇의 이동 경로 생성 방법 |
| CN104199428A (zh) * | 2014-09-17 | 2014-12-10 | 上海畔慧信息技术有限公司 | 群体机器人管理服务器及其方法 |
| CN104596533A (zh) * | 2015-01-07 | 2015-05-06 | 上海交通大学 | 基于地图匹配的自动导引车及其导引方法 |
| CN105374032A (zh) * | 2015-10-14 | 2016-03-02 | 合肥安晶龙电子股份有限公司 | 连通区域标记方法 |
| CN105607635A (zh) * | 2016-01-05 | 2016-05-25 | 东莞市松迪智能机器人科技有限公司 | 自动导引车全景光学视觉导航控制系统及全向自动导引车 |
| CN106155064A (zh) * | 2016-09-28 | 2016-11-23 | 深圳市普渡科技有限公司 | 一种基于临界区加锁解锁的多机器人调度方法 |
| CN106251016A (zh) * | 2016-08-01 | 2016-12-21 | 南通大学 | 一种基于动态时间窗的泊车系统路径规划方法 |
| CN106325280A (zh) * | 2016-10-20 | 2017-01-11 | 上海物景智能科技有限公司 | 一种多机器人防碰撞方法及系统 |
-
2017
- 2017-07-04 CN CN201710538213.3A patent/CN107168337A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101615242A (zh) * | 2008-06-24 | 2009-12-30 | 国际商业机器公司 | 基于向量处理器的二维图像的连通区域标记方法、处理器和系统 |
| KR20130106161A (ko) * | 2012-03-19 | 2013-09-27 | 노틸러스효성 주식회사 | 이동식 로봇의 전역경로 최적화 방법 |
| KR20140087486A (ko) * | 2012-12-31 | 2014-07-09 | 노틸러스효성 주식회사 | 가상벽 레이어를 이용한 이동 로봇의 이동 경로 생성 방법 |
| CN103309350A (zh) * | 2013-05-24 | 2013-09-18 | 南京航空航天大学 | 基于全局无线精确定位的自动导引车调度系统及其方法 |
| CN104199428A (zh) * | 2014-09-17 | 2014-12-10 | 上海畔慧信息技术有限公司 | 群体机器人管理服务器及其方法 |
| CN104596533A (zh) * | 2015-01-07 | 2015-05-06 | 上海交通大学 | 基于地图匹配的自动导引车及其导引方法 |
| CN105374032A (zh) * | 2015-10-14 | 2016-03-02 | 合肥安晶龙电子股份有限公司 | 连通区域标记方法 |
| CN105607635A (zh) * | 2016-01-05 | 2016-05-25 | 东莞市松迪智能机器人科技有限公司 | 自动导引车全景光学视觉导航控制系统及全向自动导引车 |
| CN106251016A (zh) * | 2016-08-01 | 2016-12-21 | 南通大学 | 一种基于动态时间窗的泊车系统路径规划方法 |
| CN106155064A (zh) * | 2016-09-28 | 2016-11-23 | 深圳市普渡科技有限公司 | 一种基于临界区加锁解锁的多机器人调度方法 |
| CN106325280A (zh) * | 2016-10-20 | 2017-01-11 | 上海物景智能科技有限公司 | 一种多机器人防碰撞方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 徐德 等: "《机器人视觉测量与控制》", 28 February 2008 * |
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544984A (zh) * | 2017-09-21 | 2019-03-29 | 顺丰速运有限公司 | 用以保证货场交叉区域运输安全的车辆调度方法及装置 |
| CN108286457A (zh) * | 2017-12-04 | 2018-07-17 | 山东康威通信技术股份有限公司 | 电力隧道巡检机器人行走安全保障调度方法及系统 |
| CN108286457B (zh) * | 2017-12-04 | 2019-07-19 | 山东康威通信技术股份有限公司 | 电力隧道巡检机器人行走安全保障调度方法及系统 |
| CN108398945A (zh) * | 2018-01-17 | 2018-08-14 | 上海思岚科技有限公司 | 一种用于移动机器人执行任务的方法及设备 |
| WO2019141227A1 (zh) * | 2018-01-19 | 2019-07-25 | 库卡机器人(广东)有限公司 | 多移动机器人的路径规划方法及系统 |
| CN108363393A (zh) * | 2018-02-05 | 2018-08-03 | 腾讯科技（深圳）有限公司 | 一种智能运动设备及其导航方法和存储介质 |
| US11247701B2 (en) | 2018-02-05 | 2022-02-15 | Tencent Technology (Shenzhen) Company Ltd | Smart moving device, navigation method thereof, and storage medium |
| CN108510799A (zh) * | 2018-04-24 | 2018-09-07 | 骁越科技（青岛）有限公司 | 一种室外型agv交通避让方法与装置 |
| WO2019206044A1 (zh) * | 2018-04-27 | 2019-10-31 | 深圳市大疆创新科技有限公司 | 信息处理装置、信息提示指示方法、程序以及记录介质 |
| CN108445893A (zh) * | 2018-06-07 | 2018-08-24 | 浙江国自机器人技术有限公司 | 一种移动机器人控制器及移动机器人 |
| CN108983778A (zh) * | 2018-07-24 | 2018-12-11 | 安徽库讯自动化设备有限公司 | 一种agv小车路径规划智能调控系统 |
| CN110766973A (zh) * | 2018-07-27 | 2020-02-07 | 比亚迪股份有限公司 | 智能寻车方法、装置、系统、服务器和巡航智能设备 |
| CN113194862A (zh) * | 2018-08-14 | 2021-07-30 | 威博外科公司 | 使用增强反射镜显示器设置外科机器人 |
| CN109116847A (zh) * | 2018-08-29 | 2019-01-01 | 广州市君望机器人自动化有限公司 | 路径调度方法、装置、后台服务端及存储介质 |
| CN109048910A (zh) * | 2018-08-29 | 2018-12-21 | 广州市君望机器人自动化有限公司 | 机器人避让预判方法及装置 |
| CN109048910B (zh) * | 2018-08-29 | 2020-08-14 | 广州市君望机器人自动化有限公司 | 机器人避让预判方法及装置 |
| CN109116847B (zh) * | 2018-08-29 | 2021-12-07 | 广州安商智能科技有限公司 | 路径调度方法、装置、后台服务端及存储介质 |
| CN110377021A (zh) * | 2018-09-29 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 设备控制方法、装置、系统、计算机可读存储介质 |
| CN109343535A (zh) * | 2018-11-16 | 2019-02-15 | 广东嘉腾机器人自动化有限公司 | 一种agv小车的控制方法及装置 |
| CN109814512A (zh) * | 2019-03-07 | 2019-05-28 | 南京塑维网络科技有限公司 | 一种移动拣货放货装置及方法 |
| CN109976350A (zh) * | 2019-04-15 | 2019-07-05 | 上海钛米机器人科技有限公司 | 多机器人调度方法、装置、服务器及计算机可读存储介质 |
| CN109976350B (zh) * | 2019-04-15 | 2021-11-19 | 上海钛米机器人科技有限公司 | 多机器人调度方法、装置、服务器及计算机可读存储介质 |
| WO2021012121A1 (zh) * | 2019-07-19 | 2021-01-28 | 西门子（中国）有限公司 | 机器人路径规划器、方法、装置和计算机可读存储介质 |
| CN110543174A (zh) * | 2019-09-10 | 2019-12-06 | 速感科技（北京）有限公司 | 可通行区域图的建立方法、处理方法、装置和可移动设备 |
| CN110751334A (zh) * | 2019-10-21 | 2020-02-04 | 兰剑智能科技股份有限公司 | 基于相交区域预测的agv调度方法及装置 |
| CN110716554A (zh) * | 2019-11-12 | 2020-01-21 | 华育昌(肇庆)智能科技研究有限公司 | 基于视觉的家庭机器人 |
| CN111103887B (zh) * | 2020-01-14 | 2021-11-12 | 大连理工大学 | 一种基于多传感器的多移动机器人调度系统设计方法 |
| CN111103887A (zh) * | 2020-01-14 | 2020-05-05 | 大连理工大学 | 一种基于多传感器的多移动机器人调度系统设计方法 |
| CN111401617A (zh) * | 2020-03-09 | 2020-07-10 | 兰剑智能科技股份有限公司 | 一种基于时间预测的agv调度方法及系统 |
| CN111429030A (zh) * | 2020-04-16 | 2020-07-17 | 蓓安科仪（北京）技术有限公司 | 一种自主移动机器人集成调度系统及集成调度方法 |
| CN111429030B (zh) * | 2020-04-16 | 2023-08-18 | 蓓安科仪（北京）技术有限公司 | 一种自主移动机器人集成调度系统及集成调度方法 |
| CN111553634A (zh) * | 2020-04-27 | 2020-08-18 | 新石器慧通（北京）科技有限公司 | 无人购物车的追踪方法、装置及系统 |
| CN111553528A (zh) * | 2020-04-27 | 2020-08-18 | 新石器慧通（北京）科技有限公司 | 无人导购装置的控制方法及无人导购装置 |
| CN111553634B (zh) * | 2020-04-27 | 2023-11-21 | 新石器慧通（北京）科技有限公司 | 无人购物车的追踪方法、装置及系统 |
| WO2022017296A1 (zh) * | 2020-07-23 | 2022-01-27 | 炬星科技（深圳）有限公司 | 一种机器人运动信息识别方法、避障方法及避障机器人、避障系统 |
| CN111950431B (zh) * | 2020-08-07 | 2024-03-26 | 北京猎户星空科技有限公司 | 一种对象查找方法及装置 |
| CN111950431A (zh) * | 2020-08-07 | 2020-11-17 | 北京猎户星空科技有限公司 | 一种对象查找方法及装置 |
| CN111874764A (zh) * | 2020-09-28 | 2020-11-03 | 上海木承智能医疗科技有限公司 | 一种机器人的调度方法、服务器和存储介质 |
| CN114516044A (zh) * | 2020-11-20 | 2022-05-20 | 炬星科技（深圳）有限公司 | 机器人路径规划方法、设备及存储介质 |
| CN112925313A (zh) * | 2021-01-22 | 2021-06-08 | 上海擎朗智能科技有限公司 | 机器人的避让处理方法、装置、电子设备和介质 |
| CN112925313B (zh) * | 2021-01-22 | 2024-06-07 | 上海擎朗智能科技有限公司 | 机器人的避让处理方法、装置、电子设备和介质 |
| CN114454162B (zh) * | 2022-01-10 | 2023-05-26 | 广东技术师范大学 | 一种移动机器人复杂路口防碰撞方法及系统 |
| CN114454162A (zh) * | 2022-01-10 | 2022-05-10 | 广东技术师范大学 | 一种移动机器人复杂路口防碰撞方法及系统 |
| CN114822081A (zh) * | 2022-04-26 | 2022-07-29 | 中铁十九局集团第六工程有限公司 | 隧道车辆自动避让提示方法、计算机装置、计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107168337A (zh) | 一种基于视觉识别的移动机器人路径规划与调度方法 | |
| US11061398B2 (en) | Machine-learning systems and techniques to optimize teleoperation and/or planner decisions | |
| EP3371668B1 (en) | Teleoperation system and method for trajectory modification of autonomous vehicles | |
| US11301767B2 (en) | Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles | |
| CN105702083B (zh) | 基于分布式视觉的停车场-车辆协同智能停车系统及方法 | |
| CN114822008B (zh) | 派遣和维护自主车辆的车队的协调 | |
| JP2022009142A (ja) | 自律車両の軌道修正のための遠隔操作システムおよび方法 | |
| US9507346B1 (en) | Teleoperation system and method for trajectory modification of autonomous vehicles | |
| CN107209518A (zh) | 代客泊车方法和代客泊车系统 | |
| JP5597322B1 (ja) | 自律走行装置の走行情報生成装置、方法、及びプログラム、並びに自律走行装置 | |
| CN109285373A (zh) | 一种面向整体道路网的智能网联交通系统 | |
| CN204925790U (zh) | 机器人物流配送系统 | |
| JPWO2002023297A1 (ja) | 移動体移動制御システム | |
| US20140148989A1 (en) | Autonomous Moving Device and Control Method Thereof | |
| CN104943684A (zh) | 无人驾驶汽车控制系统和具有其的汽车 | |
| CN107003673A (zh) | 用于运行多个车辆的方法和装置 | |
| CN110867095B (zh) | 用于协调和监控对象的方法 | |
| CN107003668B (zh) | 用于引导飞机的方法及装置 | |
| US20220101633A1 (en) | Boarding permission determination device and boarding permission determination method | |
| EP3445538A1 (de) | Verfahren zur steuerung einer mehrzahl von mobilen fahrerlosen manipulatorsystemen | |
| JP2018092393A (ja) | 自動搬送車コントロールシステム | |
| CN112269389A (zh) | 一种多功能乘务服务智能机器车系统及其控制方法 | |
| JP4673138B2 (ja) | 空港面管制システム | |
| JP2012203646A (ja) | 流れ状態判別装置、流れ状態判別方法、流れ状態判別プログラムおよびそれらを用いたロボット制御システム | |
| CN114137960A (zh) | 一种封闭区域智能运输系统的无人驾驶车辆协作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170915 |