CN110722548A - 机器人控制系统、机器人装置以及存储介质 - Google Patents

机器人控制系统、机器人装置以及存储介质 Download PDF

Info

Publication number
CN110722548A
CN110722548A CN201910173090.7A CN201910173090A CN110722548A CN 110722548 A CN110722548 A CN 110722548A CN 201910173090 A CN201910173090 A CN 201910173090A CN 110722548 A CN110722548 A CN 110722548A
Authority
CN
China
Prior art keywords
robot
control
information
control information
robot device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910173090.7A
Other languages
English (en)
Inventor
上江洲吉美
田村纯一
南川恭洋
山本训稔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN110722548A publication Critical patent/CN110722548A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种机器人控制系统、机器人装置以及存储介质，能够将无法判定为未从外部观察机器人装置的控制条件，反映至用于控制机器人装置的动作的控制信息中。机器人装置(10)是基于所设定的控制参数来自行动作的机器人装置，其接收被用于控制参数的更新的更新信息，并基于所接收的更新信息来进行控制参数的更新。摄像机(61)、(62)拍摄机器人装置(10)的图像。控制服务器(20)具有发送部件，所述发送部件将基于由摄像机(61)、(62)所拍摄的图像而生成的更新信息发送至机器人装置(10)。

Description

机器人控制系统、机器人装置以及存储介质
技术领域
本发明涉及一种机器人(robot)控制系统、机器人装置以及存储介质。
背景技术
专利文献1中揭示了一种自行移动机器人，其通过机器人本体的倾斜来改变障碍物探测传感器(sensor)的扫描范围。
[现有技术文献]
[专利文献]
专利文献1：日本专利特开2006-247803号公报
发明内容
[发明所要解决的问题]
本发明的目的在于提供一种机器人控制系统、机器人装置以及存储介质，能够将无法判定为未从外部观察机器人装置的控制条件反映至用于控制机器人装置的动作的控制信息。
[解决问题的技术手段]
[机器人控制系统]
技术方案1的本发明是一种机器人控制系统，其包括：
机器人装置，是基于所设定的控制信息来自行动作的机器人装置，接收被用于所述控制信息的更新的更新信息，并基于接收的所述更新信息来进行所述控制信息的更新；
拍摄装置，拍摄所述机器人装置的图像；以及
控制装置，具有发送部件，所述发送部件将基于由所述拍摄装置所拍摄的图像而生成的更新信息发送至所述机器人装置。
技术方案2的本发明是根据技术方案1所述的机器人控制系统，其中，所述控制装置还包括生成部件，所述生成部件基于由所述拍摄装置所拍摄的图像来生成更新信息。
技术方案3的本发明是根据技术方案1或2所述的机器人控制系统，其中，所述更新信息是用于控制所述机器人装置的新的控制信息。
技术方案4的本发明是根据技术方案3所述的机器人控制系统，其中，所述控制装置具有预先存储有控制内容不同的多个控制信息的存储部件，根据由所述拍摄装置所拍摄的所述机器人装置的图像，或者根据从所述机器人装置接收的信息，来确定所述机器人装置的种类，从存储于所述存储部件的多个控制信息中，选择与所确定的机器人装置的种类对应的控制信息，并通过所述发送部件而发送至所述机器人装置。
技术方案5的本发明是根据技术方案3所述的机器人控制系统，其中，所述控制装置具有预先存储有与机器人装置的每个个体对应的多个控制信息的存储部件，根据由所述拍摄装置所拍摄的所述机器人装置的图像，或者根据从所述机器人装置接收的信息，来确定所述机器人装置的个体，从存储于所述存储部件的多个控制信息中，选择与所确定的机器人装置的个体对应的控制信息，并通过所述发送部件而发送至所述机器人装置。
技术方案6的本发明是根据技术方案1或2所述的机器人控制系统，其中，所述更新信息是对用于控制所述机器人装置的控制信息的更新进行指示的指示信息。
技术方案7的本发明是根据技术方案6所述的机器人控制系统，其中，所述机器人装置具有预先存储有控制内容不同的多个控制信息的存储部件，基于从所述控制装置发送来的指示信息，从存储于所述存储部件的多个控制信息中选择要使用的控制信息。
技术方案8的本发明是根据技术方案1或2所述的机器人控制系统，其中，所述更新信息是由所述拍摄装置所拍摄的所述机器人装置的图像信息。
技术方案9的本发明是根据技术方案8所述的机器人控制系统，其中，所述机器人装置基于从所述控制装置发送来的图像信息，生成用于控制自身装置的新的控制信息，并基于所生成的新的控制信息来进行自行的动作。
技术方案10的本发明是根据技术方案3所述的机器人控制系统，其中，所述控制信息是与所述机器人装置的外形尺寸相关的信息。
技术方案11的本发明是根据技术方案10所述的机器人控制系统，其中，所述机器人装置使用从所述控制装置发送来的新的控制信息，进行避免自身装置碰撞到障碍物的动作、及自身装置的通行可否判定中的其中任一者或两者。
技术方案12的本发明是根据技术方案3所述的机器人控制系统，其中，所述控制信息是加速度或角加速度的所允许的上限值。
技术方案13的本发明是根据技术方案12所述的机器人控制系统，其中，所述机器人装置使用从所述控制装置发送来的新的控制信息，进行避免所装载的物体掉落的动作。
技术方案14的本发明是根据技术方案3所述的机器人控制系统，其中，所述控制信息是与可动部的所允许的可动范围相关的信息。
技术方案15的本发明是根据技术方案14所述的机器人控制系统，其中，所述控制信息是在所述机器人装置的外形形状发生变化的情况下，对应于变化的每种外形形状而生成。
技术方案16的本发明根据技术方案3至15中任一项所述的机器人控制系统，其中，所述拍摄装置包含多个摄像机装置，所述多个摄像机装置从不同的方向拍摄被设置于预先设定的位置的所述机器人装置的外观，
所述控制信息是根据设置有所述机器人装置的位置与所述多个摄像机装置的位置的相对位置信息、和由所述多个摄像机装置所拍摄的各个图像而生成。
技术方案17的本发明是根据技术方案3至15中任一项所述的机器人控制系统，其中，所述拍摄装置包含多次拍摄动作中的所述机器人装置的外观的摄像机装置，
所述控制信息是根据所述机器人装置的移动量与由所述摄像机装置所拍摄的多个图像而生成。
[机器人装置]
技术方案18的本发明是一种机器人装置，其包括：
控制部件，基于所设定的控制信息来自行控制自身装置的动作；
接收部件，接收更新信息，所述更新信息是基于拍摄自身装置的外观所得的图像而生成，且被用于所述控制信息的更新；以及
更新部件，基于由所述接收部件所接收的更新信息来更新所述控制信息。
[存储介质]
技术方案19的本发明是一种存储介质，其存储有用于使计算机(computer)执行下述步骤的程序：
基于所设定的控制信息来拍摄自行动作的机器人装置的图像的拍摄步骤；
将基于在所述拍摄步骤中所拍摄的图像而生成的被用于所述控制信息的更新的更新信息发送至所述机器人装置的发送步骤；以及
基于在所述机器人装置中接收的更新信息来进行所述控制信息的更新的步骤。
[发明的效果]
根据技术方案1的本发明，能够提供一种机器人控制系统，可将无法判定为未从外部观察机器人装置的控制条件反映至用于控制机器人装置的动作的控制信息中。
根据技术方案2的本发明，能够提供一种机器人控制系统，可将无法判定为未从外部观察机器人装置的控制条件反映至用于控制机器人装置的动作的控制信息中。
根据技术方案3的本发明，能够提供一种机器人控制系统，可将无法判定为未从外部观察机器人装置的控制条件反映至用于控制机器人装置的动作的控制信息中。
根据技术方案4的本发明，能够提供一种机器人控制系统，可从预先存储的多个控制信息中选择与机器人装置的种类对应的控制信息来发送至机器人装置。
根据技术方案5的本发明，能够提供一种机器人控制系统，可从预先存储的多个控制信息中选择适合于机器人装置的个体的控制信息来发送至机器人装置。
根据技术方案6的本发明，能够提供一种机器人控制系统，机器人装置可从预先存储于机器人装置的多个控制信息中选择与当前的状态吻合的控制信息。
根据技术方案7的本发明，能够提供一种机器人控制系统，机器人装置可从预先存储于机器人装置的多个控制信息中选择与当前的状态吻合的控制信息。
根据技术方案8的本发明，能够提供一种机器人控制系统，不需要在控制装置中根据机器人装置的图像信息来生成控制信息的处理，便可将无法判定为未从外部观察机器人装置的控制条件反映至用于控制机器人装置的动作的控制信息中。
根据技术方案9的本发明，能够提供一种机器人控制系统，不需要在控制装置中根据机器人装置的图像信息来生成控制信息的处理，便可将无法判定为未从外部观察机器人装置的控制条件反映至用于控制机器人装置的动作的控制信息中。
根据技术方案10的本发明，能够提供一种机器人控制系统，可将机器人装置的外形形状的控制条件反映至用于控制机器人装置的动作的控制信息中。
根据技术方案11的本发明，能够提供一种机器人控制系统，即使在机器人装置的外形形状发生变化的情况下，机器人装置也能基于变化的外形形状来进行障碍物的避免动作或通行可否判定。
根据技术方案12的本发明，能够提供一种机器人控制系统，即使在机器人装置装载有物体的情况下，也能自行进行避免所装载的物体掉落的动作。
根据技术方案13的本发明，能够提供一种机器人控制系统，即使在机器人装置装载有物体的情况下，也能自行进行避免所装载的物体掉落的动作。
根据技术方案14的本发明，能够提供一种机器人控制系统，即使在机器人装置装载有可动部的情况下，也能控制可动部在经装载的状态下的可动范围内可动。
根据技术方案15的本发明，能够提供一种机器人控制系统，即使在机器人装置的外形形状发生变化的情况下，也能控制可动部在与外形形状相应的可动范围内可动。
根据技术方案16的本发明，能够提供一种机器人控制系统，只要通过多个摄像机装置来拍摄机器人装置，便可将无法判定为未从外部观察机器人装置的控制条件反映至用于控制机器人装置的动作的控制信息中。
根据技术方案17的本发明，能够提供一种机器人控制系统，只要通过一台摄像机装置来拍摄动作中的机器人装置，便可将无法判定为未从外部观察机器人装置的控制条件反映至用于控制机器人装置的动作的控制信息中。
根据技术方案18的本发明，能够提供一种机器人装置，可将无法判定为未从外部观察机器人装置的控制条件反映至用于控制机器人装置的动作的控制信息中。
根据技术方案19的本发明，能够提供一种存储介质，可将无法判定为未从外部观察机器人装置的控制条件反映至用于控制机器人装置的动作的控制信息中。
附图说明
图1是表示由本发明的一实施方式的机器人控制系统所控制的机器人装置10的外观的图。
图2是表示在图1所示的机器人装置10的上表面装载有货物80时的外观例的图。
图3是表示本发明的一实施方式的机器人控制系统的系统结构的图。
图4是用于说明摄像机61、62与用于设定机器人装置10的测定基准位置的相对位置关系的图。
图5是表示本发明的一实施方式中的机器人装置10的硬件(hardware)结构的框图。
图6是表示本发明的一实施方式中的机器人装置10的功能结构的框图。
图7是表示本发明的一实施方式中的控制服务器20的硬件结构的框图。
图8是表示本发明的一实施方式中的控制服务器20的功能结构的框图。
图9是用于说明本发明的一实施方式的机器人控制系统中的动作的序列图。
图10是表示3D模型(model)数据例的图。
图11(A)及图11(B)是用于说明测定机器人装置10的最大外形尺寸来作为控制参数时的情况的图。
图12是表示将与机器人装置10的外形尺寸相关的信息作为控制参数时的一例的图。
图13是表示仅通过一台摄像机61来拍摄机器人装置10时的系统结构的图。
图14是用于说明通过一台摄像机61来拍摄动作状态的机器人装置10而生成控制参数时的动作的图。
图15是用于说明使机器人装置10在装载有货物71的状态下进行动作而通过摄像机61来拍摄的情况的图。
图16是用于说明在机器人装置10装载有手臂机器人81的状态下通过摄像机61来拍摄的情况的图。
图17(A)是表示可动部单体的图，图17(B)是表示可动部装载装载于机器人装置的图。
图18是用于说明在机器人装置10的外形形状发生变化的情况下，控制参数根据机器人装置10的变化的外形形状而变化的情况的图。
符号的说明
10：机器人装置
11：CPU
12：存储器
13：存储装置
14：无线通信部
15：用户接口(UI)装置
16：移动装置
17：传感器
18：控制总线
20：控制服务器
21：CPU
22：存储器
23：存储装置
24：通信接口(IF)
25：控制总线
30：网络
41：图像数据接收部
42：3D模型生成部
43：控制参数生成部
44：发送部
45：控制部
46：控制程序存储部
50：无线LAN终端
61、62：摄像机
71：货物
80：货物
81：手臂机器人
91：可动部
具体实施方式
接下来，参照附图来详细说明本发明的实施方式。
首先，将由本发明的一实施方式的机器人控制系统所控制的机器人装置10的外观示于图1。
所述机器人装置10如图1所示，呈上表面可装载货物等各种物体的形状。并且，在所述机器人装置10的下部，设有轮胎(tire)之类的旋转体，通过此旋转体旋转，可在装载有各种物体的状态下自行移动。另外，对于机器人装置10，预先设定有控制程序或控制参数等控制信息，且构成为基于所设定的控制信息而自行动作。
例如，对于机器人装置10，预先设定有与未装载任何物体的状态的自身装置的外形形状(外形尺寸)相关的控制参数，由此，机器人装置10基于所述控制参数来控制自身装置的动作，以进行障碍物回避动作或者自身装置相对于狭窄场所等的通行可否判定等。而且，在使用预先准备的地图信息来进行直至目的地为止的路径探索的情况下，也能进行使用所述通行可否判定结果的路径探索。
接下来，将在图1所示的机器人装置10的上表面装载有货物80时的外观例示于图2。参照图2可知，在机器人装置10的上表面装载有货物80，在装载状态下，高度方向、横宽、前后的长度有所变化。
因此，机器人装置10在设定有与未装载任何物体的状态的自身装置的外形形状(外形尺寸)相关的控制参数的状态下，即使采取了进行障碍物回避动作或回旋动作时的与障碍物的余宽(margin width)，仍有可能发生所装载的货物80与周围的障碍物等产生接触的事态。
本实施方式的机器人控制系统中，为了防止此种事态的发生，采用了如下所述的结构。本发明的一实施方式的机器人控制系统如图3所示，包括经由网络(network)30而连接的机器人装置10及控制服务器20与摄像机61、62。
另外，机器人装置10构成为，可经由无线局域网(Local Area Network，LAN)终端(terminal)50而连接于网络30。
摄像机61、62作为拍摄装置发挥功能，对被设置于预先设定的测定基准位置的机器人装置10的图像进行拍摄。摄像机61、62分别从不同的方向拍摄被设置于预先设定的测定基准位置的机器人装置10的外观。
此处，摄像机61、62如图4所示，分别预先测定从用于设定机器人装置10的测定基准位置计起的相对位置关系α、β、γ以及δ，并将所述相对位置关系的信息登记到控制服务器20中。
另外，在摄像机61、62并非采用一般的RGB摄像机，而是使用立体摄像机(stereocamera)，或者使用如激光测距仪(laser Range Finder，LRF)那样可测量直至对象物为止的距离的距离测量传感器的情况下，即使未掌握摄像机61、62与测定基准位置的相对位置关系，也能够算出机器人装置10的外形形状等。
控制服务器20基于由摄像机61、62所拍摄的图像与上面说明的测定基准位置的相对位置关系，生成用于对用来控制机器人装置10的动作的控制信息进行更新的更新信息，并将所生成的更新信息发送至机器人装置10。
此处，所谓更新信息，是指用于对机器人装置10进行自行移动所需的控制参数或控制程序等控制信息进行更新的信息。具体而言，所谓更新信息，例如是指用于对存储在机器人装置10中的控制参数或控制程序进行更新的新的控制参数或控制程序。
或者，作为更新信息，也可为对存储在机器人装置10中的控制参数或控制程序的更新进行指示的指示信息。即，机器人装置10中，也可预先存储控制内容不同的多个控制信息，基于来自控制服务器20的指示信息，从所存储的多个控制信息中选择一个控制信息，通过所选择的控制信息来更新用于进行自行动作的控制信息。
进而，控制服务器20也可将由摄像机61、62所拍摄的机器人装置10的图像信息作为更新信息而发送至机器人装置10。此时，在机器人装置10中，基于从控制服务器20发送来的图像信息而生成新的控制信息，通过所生成的控制信息来更新用于进行自行动作的控制信息。
另外，以下的说明中，主要对下述结构进行说明，即：在控制服务器20中，基于由摄像机61、62所拍摄的图像信息，生成对机器人装置10的移动动作进行控制时的新的控制参数并发送至机器人装置10。
接下来，将本实施方式的机器人控制系统中的机器人装置10的硬件结构示于图5。
机器人装置10如图5所示，具有中央处理器(Central Processing Unit，CPU)11、存储器12、硬盘驱动器(Hard Disk Drive，HDD)等存储装置13、经由无线通信线路而与外部装置等之间进行数据的发送及接收的无线通信部14、包含触控面板(touch panel)或液晶显示器(display)和键盘(keyboard)的用户接口(User Interface，UI)装置15、用于使机器人装置10移动的移动装置16、及对周围的障碍物等的信息进行检测的传感器17。这些构成元件经由控制总线(bus)18而彼此连接。
CPU11基于保存在存储器12或存储装置13中的控制程序来执行规定的处理，以控制机器人装置10的动作。另外，本实施方式中，是对CPU11读出保存在存储器12或存储装置13内的控制程序来执行的情况进行说明，但也可将所述程序保存在只读光盘(CompactDisc-Read Only Memory，CD-ROM)等存储介质中而提供给CPU11。
图6是表示通过执行所述控制程序而实现的机器人装置10的功能结构的框图。
本实施方式的机器人装置10如图6所示，包括无线通信部14、移动装置16、控制部31、检测部32、操作输入部33及控制参数存储部34。
无线通信部14经由无线LAN终端50而与网络30连接，由此，与控制服务器20之间进行数据的收发。
移动装置16是由控制部31予以控制，以移动机器人装置10的本体。操作输入部33输入来自用户的指示等各种操作信息。
检测部32通过激光测距仪(Laser Range Finder，LRF)等各种传感器来检测位于周围的物体、人等障碍物的大小或距离等。
控制参数存储部34存储用于进行机器人装置10的移动控制的各种控制参数。
控制部31基于所设定的控制参数来自行控制自身装置即机器人装置10的动作。具体而言，控制部31参照由检测部32所检测的信息，并且基于存储于控制参数存储部34中的控制参数来控制移动装置16，由此来进行机器人装置10的移动控制。具体而言，控制部31使用从控制服务器20发送来的新的控制参数，来进行避免机器人装置10碰撞到障碍物的动作、及机器人装置10的通行可否判定中的其中任一者或两者。
另外，控制部31在经由无线通信部14而从控制服务器20收到新的控制参数作为更新信息时，基于所接收的控制参数来进行存储于控制参数存储部34中的控制参数的更新。另外，所述更新信息是基于拍摄自身装置的外观所得的图像而制定的更新信息。
而且，也可在控制参数存储部34中预先存储控制内容不同的多个控制参数。此种情况下，控制部31经由无线通信部14而从控制服务器20接收对用于控制机器人装置10的控制参数的更新进行指示的指示信息，并基于发送来的指示信息，从存储于控制参数存储部34的多个控制参数中选择要使用的控制参数。
另外，控制部31在从控制服务器20发送来的并非新的控制参数而是由摄像机61、62所拍摄的图像信息时，基于发送来的图像信息，生成用于控制自身装置的新的控制参数，并将所生成的新的控制参数存储至控制参数存储部34中，并且基于所述新的控制参数来进行自行动作。
接下来，将本实施方式的机器人控制系统中的控制服务器20的硬件结构示于图7。
控制服务器20如图7所示，具有CPU21、存储器22、硬盘驱动器(HDD)等存储装置23、及经由网络30而与外部装置等之间进行数据的发送及接收的通信IF24。这些构成元件经由控制总线25而彼此连接。
CPU21基于保存在存储器22或存储装置23中的控制程序来执行规定的处理，以对控制服务器20的动作进行控制。另外，本实施方式中，是对CPU21读出保存在存储器22或存储装置23内的控制程序来执行的情况进行说明，但也可将所述程序保存在CD-ROM等存储介质中而提供给CPU21。
图8是表示通过执行所述控制程序而实现的控制服务器20的功能结构的框图。
本实施方式的控制服务器20如图8所示，包括图像数据接收部41、3D模型生成部42、控制参数生成部43、发送部44、控制部45及控制程序存储部46。
图像数据接收部41从摄像机61、62接收所拍摄的机器人装置10的图像数据。
3D模型生成部42根据由图像数据接收部41所接收的机器人装置10的图像数据(图像信息)，来生成所述机器人装置10的3D模型(三维模型)。
控制参数生成部43根据由3D模型生成部42所生成的机器人装置10的3D模型，生成用于控制机器人装置10的控制参数。即，控制参数生成部43基于由作为拍摄装置的摄像机61、62所拍摄的图像，来生成用于控制机器人装置10的控制参数。
具体而言，控制参数是根据设置有机器人装置10的位置与两台摄像机61、62的位置的相对位置信息、和由两台摄像机61、62所拍摄的各个图像而生成。
发送部44将由控制参数生成部43所生成的控制参数发送至机器人装置10。
另外，本实施方式中，是使用由控制参数生成部43所生成并由发送部44发送至机器人装置10的控制参数是与机器人装置10的外形尺寸相关的信息的情况来进行说明，但也可将与外形尺寸相关的信息以外的信息作为控制参数而发送至机器人装置10。
控制部45也可将由图像数据接收部41所接收的机器人装置10的图像信息直接作为更新信息而从发送部44发送至机器人装置10。
而且，控制部45也可将对用于控制机器人装置10的控制参数的更新进行指示的指示信息，作为更新信息而发送至机器人装置10。
控制程序存储部46预先存储控制内容不同的多个控制程序。并且，控制部45根据由摄像机61、62所拍摄的机器人装置10的图像，来确定所述机器人装置10的种类，从存储于控制程序存储部46的多个控制程序中，选择与所确定的机器人装置10的种类对应的控制程序，并通过发送部44而发送至机器人装置10。
另外，也可在控制程序存储部46中预先存储与机器人装置10的每个个体对应的多个控制程序。此时，控制部45根据由摄像机61、62所拍摄的机器人装置10的图像，来确定所述机器人装置10的个体，从存储于控制程序存储部46的多个控制程序中，选择与所确定的机器人装置10的个体对应的控制程序，并通过发送部44而发送至机器人装置10。
另外，也可采用下述结构：机器人装置10发送可确定自身装置的种类或个体的信息。此时，控制部45也可并非根据由摄像机61、62所拍摄的机器人装置10的图像来确定机器人装置10的种类或个体，而是根据从机器人装置10接收的信息来确定机器人装置10的种类或个体。
接下来，参照附图来详细说明本实施方式的机器人控制系统的动作。
参照图9的序列图来说明本实施方式的机器人控制系统中的动作。
首先，将机器人装置10设置于图3、图4中说明的测定基准位置。然后，从控制服务器20对摄像机61、62分别进行拍摄指示，由此，控制服务器20从各个摄像机61、62接收拍摄图像(步骤S101～S104)。
于是，在控制服务器20中的3D模型生成部42中，由这两个拍摄图像来生成机器人装置10的3D模型(步骤S105)。将这样生成的3D模型数据例示于图10。图10中，可知的是，以机器人装置10的基准位置作为基准点，将相对于X轴、Y轴、Z轴(宽度方向、前后方向、高度方向)方向的装载有货物80的状态下的机器人装置10的外形形状生成为3D模型数据。
另外，也可将此3D模型数据从控制服务器20直接发送至机器人装置10，在机器人装置10中，基于发送来的3D模型数据来进行移动控制。
接下来，控制参数生成部43根据以此方式生成的3D模型数据，例如生成机器人装置10的横宽方向、前后方向、高度方向的外形尺寸的信息来作为控制参数(步骤S106)。
例如，如图11(A)及图11(B)所示，控制参数生成部43对上面说明的X轴、Y轴、Z轴方向的机器人装置10的最大外形尺寸进行测定而生成控制参数。
将由控制参数生成部43所生成的新的控制参数发送至机器人装置10(步骤S107)。
继而，在机器人装置10中，通过从控制服务器20发送来的新的控制参数，对所设定的控制参数进行更新(步骤S108)。
将这样经更新的控制参数例示于图12。图12所示的示例中，表示了通过由控制参数生成部43所生成的新的控制参数，对在机器人装置10中已设定的与外形尺寸相关的控制参数进行更新的情况。
并且可知的是，因机器人装置10中所设定的控制参数通过新的控制参数得到更新，从而高度方向、前后方向及宽度方向的外形尺寸的值变大。
即，因控制参数得到更新，从而在机器人装置10中，将基于装载有货物80的状态下的外形尺寸来进行自行移动控制，从而进行针对障碍物的回避动作、回旋时的余宽的确保、通行可否的判断等处理。
另外，图3中，使用通过两台摄像机61、62来拍摄机器人装置10的情况进行了说明，但也可如图13所示，仅通过一台摄像机61来拍摄机器人装置10。
所述图13所示的结构中，通过摄像机61来多次拍摄动作中的机器人装置10的外观。并且，控制参数是根据机器人装置10的移动量与由摄像机61所拍摄的多个图像而生成。
具体而言，通过控制服务器20或未图示的控制器等来控制机器人装置10的动作，使其以通过摄像机61来拍摄整个机器人装置10的方式进行动作。
并且，一边使机器人装置10动作，一边通过摄像机61来多次拍摄机器人装置10的外观。此时，在控制服务器20中，获取根据机器人装置10的车轮旋转量而推测的机器人装置10的移动量等信息来作为测距(odometry)信息，根据所述测距信息与机器人装置10的多个拍摄图像信息来生成控制参数。
另外，机器人装置10的动作既可为人的操作，也可为控制服务器20使用拍摄图像而自动地动作。另外，在通过控制服务器20来自动控制机器人装置10的动作时，通过物体识别技术来识别机器人装置10的特征点等，并控制机器人装置10的动作，以使机器人装置10的识别形状预先与想要拍摄的方向的形状一致。
参照图14的序列图来说明像这样通过一台摄像机61来拍摄动作状态的机器人装置10而生成控制参数时的动作。
当控制服务器20对摄像机61进行拍摄指示时，将来自摄像机61的拍摄图像发送至控制服务器20(步骤S201、S202)。于是，控制服务器20对机器人装置10进行动作指示(步骤S203)，接收此时的移动量等信息来作为测距信息(步骤S204)。
继而，控制服务器20对摄像机61进行拍摄指示，获取来自摄像机61的拍摄图像(步骤S205、S206)。
通过多次反复此种处理，控制服务器20获取来自各个方向的机器人装置10的图像信息(步骤S207～S210)。
于是，在控制服务器20中，通过与上面说明的同样的方法，由多个拍摄图像来生成机器人装置10的3D模型(步骤S211)，并根据所生成的3D模型来生成控制参数(步骤S212)。
最后，将所生成的控制参数从控制服务器20发送至机器人装置10(步骤S213)。于是，机器人装置10中，通过从控制服务器20发送来的新的控制参数，对所设定的控制参数进行更新(步骤S214)。
另外，上面说明的实施方式中，使用生成与机器人装置10的外形尺寸相关的信息来作为控制参数的情况进行了说明，但控制参数并不限定于此种信息。
例如，也可如图15所示，使机器人装置10在装载有货物71的状态下进行动作，通过摄像机61来拍摄货物71从动作状态的机器人装置10掉落的图像，由此来生成加速度或角加速度的所允许的上限值来作为控制参数并发送至机器人装置10。
具体而言，将使机器人装置10在装载有货物71的状态下动作的加速度或角加速度设为逐渐变大的值，获取货物71掉落的时间点的加速度或角加速度来作为所允许的上限值。
例如，在工厂中多次搬运相同货物的业务中使用机器人装置10的情况下，首先，在装载有此货物的状态下，使加速度或角加速度逐渐变大，将根据所拍摄的图像而检测到货物掉落的时间点的加速度或角加速度设为装载有此货物时的上限值。
通过在开始搬运货物的业务之前执行此种校准(calibration)动作，从而能够在实际业务开始前进行针对机器人装置10的控制参数的设定。
并且，通过此种控制参数进行了更新的机器人装置10能够使用从控制服务器20发送来的新的控制参数，来进行避免所装载的物体掉落的动作。
而且，如图16所示，当使机器人装置10在连结有手臂机器人81的状态下运转时，使手臂机器人81进行动作以掌握使手臂动作至何种角度会导致手臂机器人81与机器人装置10整体翻转，从而也能获取用于控制手臂机器人81的控制参数。
此种情况下，通过将用于控制手臂机器人81的控制参数从控制服务器20发送至机器人装置10或手臂机器人81，从而能够对用于控制手臂机器人81的控制参数进行更新。
另外，既可将用于控制手臂机器人81的控制部包含在手臂机器人81自身中，也可由机器人装置10执行用于控制手臂机器人81的控制程序来进行控制。
而且，如图17(A)及图17(B)所示，在将可动部91安装于机器人装置10的情况下，也可生成此可动部91的所允许的可动范围来作为控制参数。
例如，尽管如图17(A)所示，可动部91单体的可动范围为180°，但在如图17(B)所示装载于机器人装置10的状态下，所允许的可动范围为120°。
此种情况下，在装载有可动部91的状态下，通过摄像机61来拍摄机器人装置10，使可动部91逐渐地动作，在控制服务器20中获取与机器人装置10接触时的可动部91的角度信息来作为新的控制参数。
并且，在机器人装置10中，从控制服务器20获取与可动部91的所允许的可动范围相关的信息来作为控制参数，通过所获取的参数来对用于控制可动部91的控制参数进行更新。其结果，机器人装置10中，无须与机器人装置10接触便能够控制可动部91的动作。
另外，如图18所示，在机器人装置10的外形形状发生变化的情况下，只要对应于机器人装置10的变化的每种外形形状来生成所述控制参数即可。

Claims (19)

1.一种机器人控制系统，包括：
机器人装置，是基于所设定的控制信息来自行动作的机器人装置，接收被用于所述控制信息的更新的更新信息，并基于接收的所述更新信息来进行所述控制信息的更新；
拍摄装置，拍摄所述机器人装置的图像；以及
控制装置，具有发送部件，所述发送部件将基于由所述拍摄装置所拍摄的图像而生成的更新信息发送至所述机器人装置。
2.根据权利要求1所述的机器人控制系统，其中，
所述控制装置还包括生成部件，所述生成部件基于由所述拍摄装置所拍摄的图像来生成更新信息。
3.根据权利要求1或2所述的机器人控制系统，其中，
所述更新信息是用于控制所述机器人装置的新的控制信息。
4.根据权利要求3所述的机器人控制系统，其中，
所述控制装置具有预先存储有控制内容不同的多个控制信息的存储部件，根据由所述拍摄装置所拍摄的所述机器人装置的图像，或者根据从所述机器人装置接收的信息，来确定所述机器人装置的种类，从存储于所述存储部件的多个控制信息中，选择与所确定的机器人装置的种类对应的控制信息，并通过所述发送部件而发送至所述机器人装置。
5.根据权利要求3所述的机器人控制系统，其中，
所述控制装置具有预先存储有与机器人装置的每个个体对应的多个控制信息的存储部件，根据由所述拍摄装置所拍摄的所述机器人装置的图像，或者根据从所述机器人装置接收的信息，来确定所述机器人装置的个体，从存储于所述存储部件的多个控制信息中，选择与所确定的机器人装置的个体对应的控制信息，并通过所述发送部件而发送至所述机器人装置。
6.根据权利要求1或2所述的机器人控制系统，其中，
所述更新信息是对用于控制所述机器人装置的控制信息的更新进行指示的指示信息。
7.根据权利要求6所述的机器人控制系统，其中，
所述机器人装置具有预先存储有控制内容不同的多个控制信息的存储部件，基于从所述控制装置发送来的指示信息，从存储于所述存储部件的多个控制信息中选择要使用的控制信息。
8.根据权利要求1或2所述的机器人控制系统，其中，
所述更新信息是由所述拍摄装置所拍摄的所述机器人装置的图像信息。
9.根据权利要求8所述的机器人控制系统，其中，
所述机器人装置基于从所述控制装置发送来的图像信息，生成用于控制自身装置的新的控制信息，并基于所生成的新的控制信息来进行自行的动作。
10.根据权利要求3所述的机器人控制系统，其中，
所述控制信息是与所述机器人装置的外形尺寸相关的信息。
11.根据权利要求10所述的机器人控制系统，其中，
所述机器人装置使用从所述控制装置发送来的新的控制信息，进行避免自身装置碰撞到障碍物的动作、及自身装置的通行可否判定中的其中任一者或两者。
12.根据权利要求3所述的机器人控制系统，其中，
所述控制信息是加速度或角加速度的所允许的上限值。
13.根据权利要求12所述的机器人控制系统，其中，
所述机器人装置使用从所述控制装置发送来的新的控制信息，进行避免所装载的物体掉落的动作。
14.根据权利要求3所述的机器人控制系统，其中，
所述控制信息是与可动部的所允许的可动范围相关的信息。
15.根据权利要求14所述的机器人控制系统，其中，
所述控制信息是在所述机器人装置的外形形状发生变化的情况下，对应于变化的每种外形形状而生成。
16.根据权利要求3至15中任一项所述的机器人控制系统，其中，
所述拍摄装置包含多个摄像机装置，所述多个摄像机装置从不同的方向拍摄被设置于预先设定的位置的所述机器人装置的外观，
所述控制信息是根据设置有所述机器人装置的位置与所述多个摄像机装置的位置的相对位置信息、和由所述多个摄像机装置所拍摄的各个图像而生成。
17.根据权利要求3至15中任一项所述的机器人控制系统，其中，
所述拍摄装置包含多次拍摄动作中的所述机器人装置的外观的摄像机装置，
所述控制信息是根据所述机器人装置的移动量与由所述摄像机装置所拍摄的多个图像而生成。
18.一种机器人装置，包括：
控制部件，基于所设定的控制信息来自行控制自身装置的动作；
接收部件，接收更新信息，所述更新信息是基于拍摄自身装置的外观所得的图像而生成，且被用于所述控制信息的更新；以及
更新部件，基于由所述接收部件所接收的更新信息来更新所述控制信息。
19.一种存储介质，其存储有用于使计算机执行下述步骤的程序：
基于所设定的控制信息来拍摄自行动作的机器人装置的图像的拍摄步骤；
将基于在所述拍摄步骤中所拍摄的图像而生成的被用于所述控制信息的更新的更新信息发送至所述机器人装置的发送步骤；以及
基于在所述机器人装置中接收的更新信息来进行所述控制信息的更新的步骤。
CN201910173090.7A 2018-07-17 2019-03-07 机器人控制系统、机器人装置以及存储介质 Pending CN110722548A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-133986 2018-07-17
JP2018133986A JP2020013242A (ja) 2018-07-17 2018-07-17 ロボット制御システム、ロボット装置およびプログラム

Publications (1)

Publication Number Publication Date
CN110722548A true CN110722548A (zh) 2020-01-24

Family

ID=69162258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910173090.7A Pending CN110722548A (zh) 2018-07-17 2019-03-07 机器人控制系统、机器人装置以及存储介质

Country Status (3)

Country Link
US (1) US20200023523A1 (zh)
JP (1) JP2020013242A (zh)
CN (1) CN110722548A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102283022B1 (ko) * 2019-06-07 2021-07-28 엘지전자 주식회사 외부 영상에 기반한 로봇의 주행 방법과, 이를 구현하는 로봇 및 서버
JP2022070451A (ja) * 2020-10-27 2022-05-13 セイコーエプソン株式会社 ロボットのパラメーターセットの調整を支援する方法、プログラム、および情報処理装置
KR20230091335A (ko) * 2021-12-16 2023-06-23 엘지전자 주식회사 자율 주행 로봇, 클라우드 장치 및 위치 보정 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10161743A (ja) * 1996-11-28 1998-06-19 Matsushita Electric Ind Co Ltd 移動物体走行制御装置
JP2002283257A (ja) * 2001-03-23 2002-10-03 Seiko Epson Corp 移動物体の位置管理方法、該方法を適用したロボットコントローラ
JP2003092749A (ja) * 2001-09-19 2003-03-28 Yutaka Electronics Industry Co Ltd 実験管理システム
JP2010044530A (ja) * 2008-08-11 2010-02-25 Hitachi Industrial Equipment Systems Co Ltd 搬送ロボットシステム
JP2012247835A (ja) * 2011-05-25 2012-12-13 Ihi Corp ロボットの運動予測制御方法と装置
EP2684651A2 (en) * 2012-07-11 2014-01-15 Seiko Epson Corporation Robot system, robot, robot control device, robot control method, and robot control program
CN104057449A (zh) * 2013-03-19 2014-09-24 株式会社安川电机 机器人系统及被加工物制造方法
JP2016086237A (ja) * 2014-10-23 2016-05-19 協立電子工業株式会社 サーバ装置及び方法
US20160184995A1 (en) * 2014-12-25 2016-06-30 Keyence Corporation Image Processing Apparatus, Image Processing System, Image Processing Method, And Computer Program
JP2016177640A (ja) * 2015-03-20 2016-10-06 三菱電機株式会社 映像監視システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029624A (ja) * 2000-07-14 2002-01-29 Toyota Motor Corp 進行対象物と設備との干渉判定方法
US20160255969A1 (en) * 2015-03-06 2016-09-08 Wal-Mart Stores, Inc. Shopping facility assistance systems, devices and methods pertaining to movement of a mobile retail product display
DE102015004087B3 (de) * 2015-03-31 2016-12-29 gomtec GmbH Fahrbarer Roboter mit Kollisionserkennung
US10475239B1 (en) * 2015-04-14 2019-11-12 ETAK Systems, LLC Systems and methods for obtaining accurate 3D modeling data with a multiple camera apparatus
US20170341235A1 (en) * 2016-05-27 2017-11-30 General Electric Company Control System And Method For Robotic Motion Planning And Control
DE102015209896B3 (de) * 2015-05-29 2016-08-18 Kuka Roboter Gmbh Ermittlung der Roboterachswinkel und Auswahl eines Roboters mit Hilfe einer Kamera
JP6607162B2 (ja) * 2016-09-23 2019-11-20 カシオ計算機株式会社 ロボット、状態判定システム、状態判定方法及びプログラム
JP6445092B2 (ja) * 2017-05-31 2018-12-26 ファナック株式会社 ロボットの教示のための情報を表示するロボットシステム
US11112780B2 (en) * 2018-03-07 2021-09-07 Skylla Technologies, Inc. Collaborative determination of a load footprint of a robotic vehicle
CA3139074A1 (en) * 2018-05-04 2019-11-07 Aquifi, Inc. Systems and methods for three-dimensional data acquisition and processing under timing constraints

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10161743A (ja) * 1996-11-28 1998-06-19 Matsushita Electric Ind Co Ltd 移動物体走行制御装置
JP2002283257A (ja) * 2001-03-23 2002-10-03 Seiko Epson Corp 移動物体の位置管理方法、該方法を適用したロボットコントローラ
JP2003092749A (ja) * 2001-09-19 2003-03-28 Yutaka Electronics Industry Co Ltd 実験管理システム
JP2010044530A (ja) * 2008-08-11 2010-02-25 Hitachi Industrial Equipment Systems Co Ltd 搬送ロボットシステム
JP2012247835A (ja) * 2011-05-25 2012-12-13 Ihi Corp ロボットの運動予測制御方法と装置
EP2684651A2 (en) * 2012-07-11 2014-01-15 Seiko Epson Corporation Robot system, robot, robot control device, robot control method, and robot control program
CN103538061A (zh) * 2012-07-11 2014-01-29 精工爱普生株式会社 机器人系统、机器人、机器人控制装置及方法以及程序
CN104057449A (zh) * 2013-03-19 2014-09-24 株式会社安川电机 机器人系统及被加工物制造方法
JP2016086237A (ja) * 2014-10-23 2016-05-19 協立電子工業株式会社 サーバ装置及び方法
US20160184995A1 (en) * 2014-12-25 2016-06-30 Keyence Corporation Image Processing Apparatus, Image Processing System, Image Processing Method, And Computer Program
JP2016177640A (ja) * 2015-03-20 2016-10-06 三菱電機株式会社 映像監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨宇等: "数字电视演播室技术", vol. 978, 31 May 2017, 中国传媒大学出版社, pages: 289 - 296 *

Also Published As

Publication number Publication date
US20200023523A1 (en) 2020-01-23
JP2020013242A (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
US11537149B2 (en) Route generation device, moving body, and program
CN109373975B (zh) 检测车辆控制设备、控制方法
JP4672190B2 (ja) 映像ナビゲーション装置
JP2019125354A (ja) 情報処理装置、システム、方法、およびプログラム
CN110722548A (zh) 机器人控制系统、机器人装置以及存储介质
CN111051198B (zh) 无人飞行器控制系统、无人飞行器控制方法、及程序
US20180295270A1 (en) Imaging system, angle-of-view adjustment method, and angle-of-view adjustment program
CN109443345B (zh) 用于监控导航的定位方法及系统
EP2775365A1 (en) Remote control system
CN112631269B (zh) 自主移动机器人及自主移动机器人的控制程序
WO2019059091A1 (ja) 電柱管理システム
JP6001914B2 (ja) 目標位置特定装置、目標位置特定システム、および目標位置特定方法
CN105808062A (zh) 一种用于控制智能装置的方法和终端
US20240005517A1 (en) Apparatus and method for monitoring moving target based on complementary gimbal control through displacement partitioning
WO2018080384A1 (en) A demolition robot control device and system
JP7480975B2 (ja) 移動経路生成装置、移動装置、移動経路生成方法、及びプログラム
JP6368503B2 (ja) 障害物監視システム及びプログラム
US20220128997A1 (en) Self-propelled device and method for controlling the same
JP4046186B2 (ja) 自己位置計測方法及び装置
CN115326057A (zh) 路径规划方法、装置、机器人以及可读存储介质
JP6770826B2 (ja) 構造物の配置位置測定用の自動視準方法及び自動視準装置
CN109489678B (zh) 用于监控导航的定位方法及系统
US10782822B2 (en) Augmented touch-sensitive display system
CN114270284A (zh) 控制设备、控制方法、无人驾驶飞行器、信息处理设备、信息处理方法及程序
JPWO2020203043A1 (ja) 描画システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination