JP2019145046A - Mobile robot - Google Patents

Mobile robot Download PDF

Info

Publication number
JP2019145046A
JP2019145046A JP2018031323A JP2018031323A JP2019145046A JP 2019145046 A JP2019145046 A JP 2019145046A JP 2018031323 A JP2018031323 A JP 2018031323A JP 2018031323 A JP2018031323 A JP 2018031323A JP 2019145046 A JP2019145046 A JP 2019145046A
Authority
JP
Japan
Prior art keywords
external device
mobile robot
unit
map
external apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018031323A
Other languages
Japanese (ja)
Other versions
JP7033720B2 (en
Inventor
西岡 伸一郎
Shinichiro Nishioka
伸一郎 西岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018031323A priority Critical patent/JP7033720B2/en
Publication of JP2019145046A publication Critical patent/JP2019145046A/en
Application granted granted Critical
Publication of JP7033720B2 publication Critical patent/JP7033720B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Selective Calling Equipment (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

To provide a mobile robot capable of registering an external apparatus and operating the external apparatus without troubling a user.SOLUTION: A mobile robot 110, capable of making an autonomous travel, includes: a map retaining section 112 for retaining an environment map; an external apparatus recognition section 113 for recognizing an external apparatus 200 during an autonomous travel; an external apparatus registration section 114 for registering, in the environment map, positional information concerning an installation position of an external apparatus 200 on the basis of a position of the mobile robot 110 in recognizing the external apparatus; and remote operation means 160 for transmitting an operation signal of remote operation of the external apparatus 200 after running until an area of possible remote operation on the basis of the positional information relative to the registered external apparatus 200.SELECTED DRAWING: Figure 6

Description

本発明は、自律的に走行して所定の場所に移動し、外部機器の操作を行う移動ロボットに関する。   The present invention relates to a mobile robot that autonomously travels, moves to a predetermined location, and operates an external device.

従来、自ら取得した天気情報に基づいて外部機器の制御可否をユーザに問い合わせ、制御可能な場合は外部機器を制御することができる位置まで自走してから制御信号送信する自走式の制御機器がある(例えば特許文献1参照)。   Conventionally, a self-propelled control device that inquires of the user whether or not the external device can be controlled based on the weather information acquired by itself and, if controllable, self-runs to a position where the external device can be controlled and then transmits a control signal. (See, for example, Patent Document 1).

特開2014−59764号公報JP 2014-59764 A

しかし従来技術においては、ユーザが外部機器の位置情報等を予め登録しておく必要があり、位置情報の登録作業や位置情報の管理が煩雑であった。   However, in the prior art, it is necessary for the user to register the position information and the like of the external device in advance, and the registration work of the position information and the management of the position information are complicated.

本発明は上記課題を解決するものであり、移動ロボット自体が外部機器の位置を認識することができる移動ロボットの提供を目的としている。   The present invention solves the above-described problems, and an object of the present invention is to provide a mobile robot in which the mobile robot itself can recognize the position of an external device.

上記目的を達成するために、本発明の1つである移動ロボットは、自律走行可能な移動ロボットであって、所定領域の環境地図を保持する地図保持部と、自律走行中に外部機器を認識する外部機器認識部と、前記外部機器認識部が外部機器を認識した際の移動ロボットの位置に基づき外部機器の設置位置に関する位置情報を前記環境地図内に登録する外部機器登録部と、登録された前記外部機器に対して前記位置情報に基づき遠隔操作可能な領域まで走行して前記外部機器を遠隔操作する操作信号を送信する遠隔操作手段とを備える。   In order to achieve the above object, a mobile robot according to one aspect of the present invention is a mobile robot capable of autonomous travel, and recognizes an external device during autonomous travel, a map holding unit that holds an environmental map of a predetermined area An external device recognizing unit that registers the position information regarding the installation position of the external device in the environmental map based on the position of the mobile robot when the external device recognizing unit recognizes the external device. Remote operation means for driving the external device to an area where remote operation is possible based on the position information and transmitting an operation signal for remotely operating the external device.

なお、前記移動ロボットの各処理をコンピュータに実行させるためのプログラムを実施することも本発明の実施に該当する。無論、そのプログラムが記録された記録媒体を実施することも本発明の実施に該当する。   It should be noted that execution of a program for causing a computer to execute each process of the mobile robot also corresponds to the implementation of the present invention. Of course, the implementation of the recording medium in which the program is recorded also corresponds to the implementation of the present invention.

本発明によれば、ユーザが位置情報の登録作業や位置情報の管理をすることなく、移動ロボットが外部機器の遠隔操作を行うことができる。   According to the present invention, a mobile robot can remotely control an external device without a user performing registration work of location information or managing location information.

実施の形態における移動ロボットの外観を上方から示す平面図である。It is a top view which shows the external appearance of the mobile robot in embodiment from upper direction. 実施の形態における移動ロボットの外観を下方から示す底面図である。It is a bottom view which shows the external appearance of the mobile robot in embodiment from the downward direction. 実施の形態における移動ロボットの外観を上方から示す斜視図である。It is a perspective view which shows the external appearance of the mobile robot in embodiment from upper direction. 傾けた状態の移動ロボットを側方から示す図である。It is a figure which shows the mobile robot of the state of tilting from the side. 実施の形態における移動ロボットの装置構成、および機能構成を示すブロック図である。It is a block diagram which shows the apparatus structure and functional structure of the mobile robot in embodiment. 移動ロボットの外部機器の登録動作を示すフローチャートである。It is a flowchart which shows the registration operation | movement of the external apparatus of a mobile robot. 移動ロボットの外部機器の操作動作を示すフローチャートである。It is a flowchart which shows operation operation | movement of the external apparatus of a mobile robot. 送信方向の仰角を変更する他の態様を移動ロボットの側方から示す図である。It is a figure which shows the other aspect which changes the elevation angle of a transmission direction from the side of a mobile robot.

次に、本発明における移動ロボットの実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態は、本発明における移動ロボットの一例を示したものに過ぎない。従って本発明は、以下の実施の形態を参考に請求の範囲の文言によって範囲が画定されるものであり、以下の実施の形態のみに限定されるものではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。   Next, an embodiment of a mobile robot according to the present invention will be described with reference to the drawings. The following embodiment is merely an example of the mobile robot in the present invention. Therefore, the scope of the present invention is defined by the wording of the claims with reference to the following embodiments, and is not limited to the following embodiments. Therefore, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept of the present invention are not necessarily required to achieve the object of the present invention. It will be described as constituting a preferred form.

また、図面は、本発明を示すために適宜強調や省略、比率の調整を行った模式的な図となっており、実際の形状や位置関係、比率とは異なる場合がある。   In addition, the drawings are schematic diagrams in which emphasis, omission, and ratio adjustment are appropriately performed to show the present invention, and may differ from actual shapes, positional relationships, and ratios.

図1は、実施の形態における移動ロボットの外観を上方から示す平面図である。図2は、実施の形態における移動ロボットの外観を下方から示す底面図である。図3は、実施の形態における移動ロボットの外観を上方から示す斜視図である。移動ロボット110は、自律的に床面上などを移動して作業を実行することができる装置である。移動ロボット110の種類は特に限定されるものではなく、所定の場所に移動して介護を行う介護ロボット、人や物などを運搬する搬送ロボットなどを例示することができる。本実施の形態の場合、外部機器200の遠隔操作以外の作業、例えば自律的に走行しながら掃除を実行することができる掃除ロボットを移動ロボット110の例として説明する。   FIG. 1 is a plan view showing an external appearance of a mobile robot according to an embodiment from above. FIG. 2 is a bottom view showing the external appearance of the mobile robot in the embodiment from below. FIG. 3 is a perspective view showing an external appearance of the mobile robot in the embodiment from above. The mobile robot 110 is an apparatus that can autonomously move on the floor surface and execute work. The type of the mobile robot 110 is not particularly limited, and examples thereof include a care robot that moves to a predetermined place and provides care, and a transfer robot that conveys people and objects. In the case of the present embodiment, a cleaning robot that can perform cleaning while running autonomously, for example, work other than remote operation of the external device 200 will be described as an example of the mobile robot 110.

移動ロボット110は、環境地図に基づき所定の領域内を自律的に走行し、前記領域内に存在するごみを吸引するロボット掃除機であり、駆動ユニット130(図2参照)、掃除エリアに存在するごみを吸引口178から吸引する清掃ユニット140(図2参照)、各種センサと、遠隔操作手段160と、プロセッサ111(図5参照)等を備えている。本実施の形態の場合、移動ロボット110は、持ち上げ手段131を備えている。   The mobile robot 110 is a robot cleaner that autonomously travels in a predetermined area based on an environmental map and sucks in dust in the area, and is present in a drive unit 130 (see FIG. 2) and a cleaning area. A cleaning unit 140 (see FIG. 2) for sucking dust from the suction port 178, various sensors, a remote control means 160, a processor 111 (see FIG. 5), and the like are provided. In the case of this embodiment, the mobile robot 110 includes a lifting means 131.

駆動ユニット130は、本実施の形態の場合、床面上を走行する車輪、車輪にトルクを与える走行用モータ、および、走行用モータを収容するハウジングなどを有する。各車輪は、ボディの下面に形成される凹部に収容され、ボディに対して回転できるように取り付けられている。また、移動ロボット110は、キャスター179を補助輪として備えた対向二輪型であり、2つの車輪の回転を独立して制御することで、直進、後退、左回転、右回転など移動ロボット110を自在に走行させることができる。   In the case of the present embodiment, drive unit 130 includes a wheel that travels on the floor, a travel motor that applies torque to the wheel, a housing that houses the travel motor, and the like. Each wheel is accommodated in a recess formed in the lower surface of the body and is attached so as to be rotatable with respect to the body. The mobile robot 110 is a two-wheeled type equipped with casters 179 as auxiliary wheels. The mobile robot 110 can freely move, such as going straight, retreating, turning left, turning right, by independently controlling the rotation of the two wheels. Can be run.

駆動ユニット130は、プロセッサ111からの指示に基づき移動ロボット110を走行させる。本実施の形態においては、駆動ユニット130は、移動ロボット110の平面視における幅方向の中心に対して左側および右側にそれぞれ1つずつ配置されている。なお、駆動ユニット130の数は、2つに限られず、1つでもよいし、3つ以上でもよい。   The drive unit 130 causes the mobile robot 110 to travel based on an instruction from the processor 111. In the present embodiment, one drive unit 130 is arranged on each of the left side and the right side with respect to the center in the width direction of the mobile robot 110 in plan view. The number of drive units 130 is not limited to two, and may be one or three or more.

清掃ユニット140は、ゴミを集めて吸引するユニットであり、吸引口178内に配置されるメインブラシ、メインブラシを回転させるブラシ駆動モータなどを備えている。吸引口178からゴミを吸引する吸引装置は、ボディの内部に配置されており、ファンケース、および、ファンケースの内部に配置される電動ファンを有する。   The cleaning unit 140 is a unit that collects and sucks dust, and includes a main brush disposed in the suction port 178, a brush drive motor that rotates the main brush, and the like. The suction device that sucks dust from the suction port 178 is disposed inside the body, and includes a fan case and an electric fan disposed inside the fan case.

移動ロボット110が備える各種センサとして以下の様なセンサを例示できる。   Examples of the various sensors included in the mobile robot 110 include the following sensors.

障害物センサ173は、ボディの前方に存在する障害物を検出するセンサである。本実施の形態の場合、障害物センサ173は、超音波センサが用いられる。障害物センサ173は、ボディの前方の中央に配置される発信部171、および、発信部171の両側にそれぞれ配置される受信部172を有し、発信部171から発信されて障害物によって反射して帰ってきた超音波を受信部172がそれぞれ受信することで、障害物の距離や位置を検出することができる。   The obstacle sensor 173 is a sensor that detects an obstacle present in front of the body. In the present embodiment, the obstacle sensor 173 is an ultrasonic sensor. The obstacle sensor 173 includes a transmitter 171 disposed in the center of the front of the body, and receivers 172 disposed on both sides of the transmitter 171. The obstacle sensor 173 is transmitted from the transmitter 171 and reflected by the obstacle. When the receiving unit 172 receives the ultrasonic waves that have returned, the distance and position of the obstacle can be detected.

測距センサ174は、移動ロボット110の周囲に存在する障害物などの物体と移動ロボット110との距離を検出するセンサである。本実施の形態の場合、測距センサ174は、レーザ光をスキャンして障害物に反射した光に基づき距離を測定するいわゆるレーザーレンジスキャナである。   The distance measuring sensor 174 is a sensor that detects a distance between an object such as an obstacle existing around the mobile robot 110 and the mobile robot 110. In the case of the present embodiment, the distance measuring sensor 174 is a so-called laser range scanner that measures a distance based on light reflected by an obstacle by scanning laser light.

衝突センサ(図示せず)は、移動ロボット110の周囲に取り付けられているバンパが、障害物に接触して移動ロボット110に対して押し込まれることに伴いオンされるスイッチ接触変位センサである。   The collision sensor (not shown) is a switch contact displacement sensor that is turned on when a bumper attached around the mobile robot 110 comes into contact with an obstacle and is pushed into the mobile robot 110.

カメラ175は、移動ロボット110の上部空間を撮像する装置である。カメラ175で撮像された画像は、画像処理され、画像内の特徴点の位置から移動ロボット110の現在位置を把握することができるものとなっている。   The camera 175 is a device that images the upper space of the mobile robot 110. The image captured by the camera 175 is subjected to image processing, and the current position of the mobile robot 110 can be grasped from the position of the feature point in the image.

床面センサ176は、移動ロボット110の底面の複数箇所に配置され、掃除エリアとしての床面が存在するか否かを検出する。本実施の形態の場合、床面センサ176は、発光部および受光部を有する赤外線センサであり、発光部から放射した赤外線光が戻ってくる場合は床面有り、閾値以下の光しか戻ってこない場合は床面無しとして検出する。   The floor surface sensors 176 are arranged at a plurality of locations on the bottom surface of the mobile robot 110 and detect whether or not there is a floor surface as a cleaning area. In the case of the present embodiment, the floor sensor 176 is an infrared sensor having a light emitting part and a light receiving part. When infrared light radiated from the light emitting part returns, there is a floor surface and only light below a threshold value is returned. In the case, it is detected that there is no floor.

エンコーダ(図示せず)は、駆動ユニット130に備えられており、走行用モータによって回転する一対の車輪のそれぞれの回転角を検出する。エンコーダからの情報により、移動ロボット110の走行量、旋回角度、速度、加速度、角速度などを算出することができる。   The encoder (not shown) is provided in the drive unit 130 and detects the rotation angle of each of the pair of wheels rotated by the traveling motor. The travel amount, turning angle, speed, acceleration, angular speed, etc. of the mobile robot 110 can be calculated from information from the encoder.

加速度センサ(図示せず)は、移動ロボット110が走行する際の加速度を検出し、角速度センサは、移動ロボット110が旋回する際の角速度を検出する。加速度センサ、角速度センサにより検出された情報は、車輪の空回りによって発生する誤差を修正するための情報等に用いられる。   The acceleration sensor (not shown) detects the acceleration when the mobile robot 110 travels, and the angular velocity sensor detects the angular velocity when the mobile robot 110 turns. Information detected by the acceleration sensor and the angular velocity sensor is used as information for correcting an error caused by the idling of the wheel.

以上の障害物センサ173、測距センサ174、衝突センサ、カメラ175、床面センサ176、エンコーダは、例示であり、移動ロボット110は、他の種類のセンサを備えてもよい。   The obstacle sensor 173, the distance measuring sensor 174, the collision sensor, the camera 175, the floor sensor 176, and the encoder described above are examples, and the mobile robot 110 may include other types of sensors.

遠隔操作手段160は、例えば図4に示すように、シーリングライト、クーラー、テレビなどの各外部機器200に対して遠隔操作可能な操作信号を送信することができる装置である。遠隔操作手段160が操作信号を送信する方法は特に限定されるものではなく、例えば、電波を用いて送信してもかまわない。本実施の形態の場合、遠隔操作手段160は、広く家電に用いられている赤外線により操作信号を送信するものとなっている。   For example, as shown in FIG. 4, the remote operation means 160 is a device that can transmit an operation signal that can be remotely operated to each external device 200 such as a ceiling light, a cooler, and a television. The method by which the remote operation means 160 transmits the operation signal is not particularly limited, and for example, it may be transmitted using radio waves. In the case of the present embodiment, the remote operation means 160 transmits an operation signal by infrared rays that are widely used in home appliances.

本実施の形態の場合、遠隔操作手段160は、図5に示すように、赤外線発光素子などを備えた操作信号送信装置161と、操作信号送信装置161を制御する送信装置制御部162とを備えている。   In the case of the present embodiment, as shown in FIG. 5, the remote operation unit 160 includes an operation signal transmission device 161 including an infrared light emitting element and a transmission device control unit 162 that controls the operation signal transmission device 161. ing.

持ち上げ手段131は、移動ロボット本体101の少なくとも一部を持ち上げる装置である。本実施の形態の場合、持ち上げ手段131は、図5に示すように、持ち上げ装置132と持ち上げ制御部133とを備えており、持ち上げ装置132は、駆動ユニット130に組み込まれている。具体的に例えば、持ち上げ手段131は、駆動ユニット130が備える車輪を回転可能に保持するアームを備えている。持ち上げ手段131は、移動ロボット本体101に対してアームを突出させる方向に回転させることで移動ロボット本体101の一部を持ち上げ、移動ロボット110を傾ける。これにより、遠隔操作手段160を斜め上に向けることができ、指向性のある赤外光をシーリングライトやクーラーなどに向けて照射することが可能となる。   The lifting means 131 is a device that lifts at least a part of the mobile robot body 101. In the present embodiment, the lifting means 131 includes a lifting device 132 and a lifting control unit 133 as shown in FIG. 5, and the lifting device 132 is incorporated in the drive unit 130. Specifically, for example, the lifting means 131 includes an arm that rotatably holds a wheel included in the drive unit 130. The lifting means 131 lifts a part of the mobile robot body 101 by rotating the mobile robot body 101 in a direction in which the arm protrudes, and tilts the mobile robot 110. Thereby, the remote control means 160 can be directed diagonally upward, and it becomes possible to irradiate directional infrared light toward a ceiling light or a cooler.

なお本実施の形態の場合、持ち上げ手段131は、遠隔操作手段160の操作信号の送信方向を変更するばかりでなく、毛足の長いカーペットなどに移動ロボット本体101の底面が擦れて移動ロボット110が動けなくなった場合に、移動ロボット本体101を持ち上げて脱出を図ることも可能となっている。   In the case of the present embodiment, the lifting means 131 not only changes the transmission direction of the operation signal of the remote operation means 160 but also causes the mobile robot 110 to rub against the bottom of the mobile robot body 101 with a carpet with long hairs. When it becomes impossible to move, the mobile robot body 101 can be lifted to escape.

プロセッサ111は、プログラムを実行することにより各処理部を実現する装置であり、図5に示すように、地図保持部112と、外部機器認識部113と、外部機器登録部114とを実現している。また本実施の形態の場合、プロセッサ111は、障害物認識部115と、地図作成部116とを実現している。また、プロセッサ111は、走行制御部134、送信装置制御部162、持ち上げ制御部133を対応する装置を制御する処理部として実現している。   The processor 111 is a device that implements each processing unit by executing a program. As illustrated in FIG. 5, the processor 111 implements a map holding unit 112, an external device recognition unit 113, and an external device registration unit 114. Yes. In the present embodiment, the processor 111 implements an obstacle recognition unit 115 and a map creation unit 116. Moreover, the processor 111 is implement | achieved as a process part which controls the apparatus corresponding to the driving | running | working control part 134, the transmission apparatus control part 162, and the lifting control part 133. FIG.

なお、プロセッサ111を一つのものとして説明しているが、複数のプロセッサによって、それぞれ処理部を実現してもかまわない。   In addition, although the processor 111 is described as one, the processing unit may be realized by a plurality of processors.

地図保持部112は、所定領域であって移動ロボット110が移動し掃除などの作業を行う領域の環境地図を一時的に保持する処理部である。環境地図は、移動ロボット110の外部から取得してもよいが、本実施の形態の場合、障害物認識部115、および地図作成部116により移動ロボット110自体が作成している。   The map holding unit 112 is a processing unit that temporarily holds an environment map of a predetermined area where the mobile robot 110 moves and performs operations such as cleaning. Although the environment map may be acquired from the outside of the mobile robot 110, in the case of the present embodiment, the mobile robot 110 itself is created by the obstacle recognition unit 115 and the map creation unit 116.

障害物認識部115は、移動ロボット110の自己位置と障害物との位置関係をエンコーダや測距センサ174などのセンサからの情報に基づき算出する処理部である。障害物認識部115は、自律走行する移動ロボット110により複数箇所において障害物と自己位置との関係を示す情報を蓄積する。   The obstacle recognition unit 115 is a processing unit that calculates the positional relationship between the position of the mobile robot 110 and the obstacle based on information from sensors such as an encoder and a distance measuring sensor 174. The obstacle recognizing unit 115 accumulates information indicating the relationship between the obstacle and the self position at a plurality of locations by the mobile robot 110 that travels autonomously.

地図作成部116は、障害物認識部115が算出し蓄積したデータを統合して環境地図を作成する処理部である。環境地図を生成する方法は特に限定されるものではないが、例えばSLAM(Simultaneous Localization and Mapping)等を例示することができる。   The map creation unit 116 is a processing unit that creates an environmental map by integrating the data calculated and accumulated by the obstacle recognition unit 115. A method for generating the environment map is not particularly limited, and examples thereof include SLAM (Simultaneous Localization and Mapping).

地図作成部116は、移動ロボット110の走行実績に基づき実際に走行した領域の外形、および、走行を阻害する障害物などを示す情報を環境地図として生成する。地図作成部116により生成される環境地図は、例えば2次元の配列データとして実現される。走行実績を例えば縦横10cmなどの所定の大きさの四角形で分割し、各四角形が環境地図を構成する配列の要素エリアであるとみなし、配列データとして処理してもよい。   The map creation unit 116 generates, as an environmental map, information indicating the outline of the area actually traveled based on the travel performance of the mobile robot 110 and the obstacles that impede travel. The environment map generated by the map creation unit 116 is realized as, for example, two-dimensional array data. The traveling performance may be divided into squares of a predetermined size, for example, 10 cm in length and width, and each square may be regarded as an element area of an array constituting the environment map and processed as array data.

外部機器認識部113は、一時的な停止状態も含む移動ロボット110の自律走行中に外部機器200を認識する処理部である。外部機器認識部113が外部機器200を認識する方法は特に限定されるものではないが、本実施の形態の場合、移動ロボット110が環境地図を作製中、または掃除中においてカメラ175が撮影した画像に基づき、別途ディープラーニングで得られた情報を用いて処理することにより、シーリングライト、クーラー、テレビなどの外部機器200の種類を区別して認識する。なお、外部機器認識部113は、外部機器200をさらに詳細に認識してもよい。例えば、外部機器200のメーカーや形式なども認識してもかまわない。これにより、それぞれの外部機器200に適した操作信号を送信装置制御部162に送信させることができる。   The external device recognition unit 113 is a processing unit that recognizes the external device 200 during the autonomous traveling of the mobile robot 110 including a temporary stop state. Although the method by which the external device recognition unit 113 recognizes the external device 200 is not particularly limited, in the case of the present embodiment, an image captured by the camera 175 while the mobile robot 110 is creating an environmental map or cleaning. On the basis of the above, by separately processing using information obtained by deep learning, the type of the external device 200 such as a ceiling light, a cooler, or a television is distinguished and recognized. Note that the external device recognition unit 113 may recognize the external device 200 in more detail. For example, the manufacturer and model of the external device 200 may be recognized. Accordingly, an operation signal suitable for each external device 200 can be transmitted to the transmission device control unit 162.

本実施の形態の場合、外部機器認識部113は、移動ロボット110が走行する面である走行面から外部機器200までの高さ(垂直方向の距離)も取得する。高さの取得方法は特に限定されるものではないが、例えば、外部機器200の種類と高さとの対応関係が記載されたテーブルを保持し、当該テーブルに基づいて認識した外部機器200の種類から高さを取得してもよい。テーブルは、例えばシーリングライトはAcm、クーラーはBcm、テレビはCcm等の対応関係が予め設定される。また、外部機器認識部113は、カメラ175以外の他のセンサ、例えば測距センサ174等によって移動ロボット110から外部機器200が取り付けられている壁までの距離、およびカメラ175から取得した画像に基づき算出する走行面に対する外部機器200の仰角を用いて高さを算出してもかまわない。   In the case of the present embodiment, the external device recognition unit 113 also acquires the height (distance in the vertical direction) from the traveling surface, which is the surface on which the mobile robot 110 travels, to the external device 200. The method for obtaining the height is not particularly limited. For example, a table in which the correspondence between the type and height of the external device 200 is stored and the type of the external device 200 recognized based on the table is used. The height may be acquired. Corresponding relationships such as Acm for the ceiling light, Bcm for the cooler, and Ccm for the television are preset in the table. In addition, the external device recognition unit 113 is based on the distance from the mobile robot 110 to the wall to which the external device 200 is attached and the image acquired from the camera 175 by a sensor other than the camera 175, such as the distance measuring sensor 174. The height may be calculated using the elevation angle of the external device 200 with respect to the calculated traveling surface.

外部機器登録部114は、外部機器認識部113が外部機器200を認識した際の移動ロボット110の位置に基づき外部機器200が設置されている位置に関する位置情報と、外部機器200の種類などを示す情報等を環境地図内に登録する処理部である。具体的に外部機器登録部114は、地図作成部116によって作成される環境地図内に外部機器200の位置情報、外部機器200の種類・型式、外部機器200の設置高さを登録する。ここで、外部機器200の位置情報とは、環境地図における外部機器200の設置位置の情報、移動ロボット110が外部機器200を操作することができる位置の情報等である。移動ロボット110が外部機器200を操作することができる位置とは、一例で説明すると、外部機器200がシーリングライトである場合、シーリングライトの設置位置の直下から所定距離離れ、持ち上げ手段131などで移動ロボット本体101を持ち上げた場合に、シーリングライトに赤外線で操作することができる位置等である。   The external device registration unit 114 indicates position information regarding the position where the external device 200 is installed based on the position of the mobile robot 110 when the external device recognition unit 113 recognizes the external device 200, the type of the external device 200, and the like. It is a processing unit that registers information and the like in the environmental map. Specifically, the external device registration unit 114 registers the position information of the external device 200, the type and model of the external device 200, and the installation height of the external device 200 in the environment map created by the map creation unit 116. Here, the position information of the external device 200 is information on the installation position of the external device 200 on the environment map, information on a position where the mobile robot 110 can operate the external device 200, and the like. The position where the mobile robot 110 can operate the external device 200 will be described as an example. When the external device 200 is a ceiling light, the mobile robot 110 is moved by a lifting means 131 or the like at a predetermined distance from directly below the installation position of the ceiling light. This is a position where the ceiling light can be operated with infrared rays when the robot body 101 is lifted.

次に移動ロボット110の動作の内、外部機器200の登録動作の一態様を説明する。図6は、移動ロボットの外部機器の登録動作を示すフローチャートである。同図に示すように、移動ロボット110は、ユーザからの指示や所定の時刻になると、自律的に走行して移動ロボット110の機能の一つである掃除を開始する(S101)。本実施の形態の場合、地図保持部112に環境地図が保持されている場合でも、保持されていない場合であっても、自律走行中において自己位置推定と環境地図の作成とを同時に行う(S102)。   Next, one aspect of the registration operation of the external device 200 among the operations of the mobile robot 110 will be described. FIG. 6 is a flowchart showing the registration operation of the external device of the mobile robot. As shown in the figure, the mobile robot 110 autonomously travels and starts cleaning, which is one of the functions of the mobile robot 110, when an instruction from the user or a predetermined time comes (S101). In the case of the present embodiment, whether the environmental map is held in the map holding unit 112 or not, the self-position estimation and the environmental map creation are performed simultaneously during autonomous driving (S102). ).

また、自律走行中において、カメラ175からの画像に基づき外部機器認識部113が、外部機器200を認識した場合(S103:Yes)、外部機器登録部114は、同じ外部機器200に対応する情報が既に環境地図に登録されているか否かを判定する(S014)。認識した外部機器200に対応する情報が既存でない場合(S104:No)、推定された移動ロボットの位置(自己位置)に基づき外部機器200が設置されている位置に関する位置情報を環境地図内に登録する(S105)。さらに、外部機器200の種類や型式、設置高さなどに関する情報も登録する。   When the external device recognition unit 113 recognizes the external device 200 based on the image from the camera 175 during autonomous traveling (S103: Yes), the external device registration unit 114 receives information corresponding to the same external device 200. It is determined whether it is already registered in the environmental map (S014). If the information corresponding to the recognized external device 200 is not existing (S104: No), the position information regarding the position where the external device 200 is installed is registered in the environmental map based on the estimated position (self-position) of the mobile robot. (S105). Furthermore, information on the type, model, installation height, etc. of the external device 200 is also registered.

掃除中においては、S102〜S105の各処理を繰り返し実施し(S106:No)、掃除が終了すれば(S106:Yes)、環境地図の作成と、外部機器200の登録が終了する。   During cleaning, each process of S102 to S105 is repeatedly performed (S106: No). When cleaning is completed (S106: Yes), creation of the environmental map and registration of the external device 200 are completed.

以上のように、移動ロボット110の機能の一つである掃除を実行している間に、外部機器200を認識し、登録することで、ユーザが外部機器200の位置情報等を予め登録しておく必要がなくなり登録や管理の煩雑さからユーザを開放することができる。   As described above, the user recognizes and registers the external device 200 while performing cleaning, which is one of the functions of the mobile robot 110, so that the user registers the position information and the like of the external device 200 in advance. This eliminates the need for the user and frees the user from the complexity of registration and management.

また、定期的に実行される掃除によって、環境地図における外部機器200に関する情報の更新が行われるため、外部機器200を交換した場合でも十分に対応することができる。なお、環境地図を初めて作成する際にも外部機器200を認識してもよい。   Moreover, since the information regarding the external device 200 in an environmental map is updated by the cleaning performed regularly, even when the external device 200 is replaced, it is possible to cope with it sufficiently. Note that the external device 200 may be recognized when the environment map is created for the first time.

次に移動ロボット110の動作の内、外部機器200を操作する動作の一態様を説明する。図7は、移動ロボットの外部機器の操作動作を示すフローチャートである。同図に示すように、移動ロボット110は、ユーザからの指示を取得する。指示の取得方法は特に限定されるものではなく、例えばユーザが保持する携帯端末と移動ロボット110とが無線LAN(local area network)などで通信可能な場合、移動ロボット110は、ユーザの携帯端末から指示を示す指示情報を取得する。また、移動ロボット110が音声認識機能を備えている場合、ユーザの声により指示を取得してもよい。さらに、移動ロボット110とスマートスピーカとが無線LANなどで通信可能である場合、ユーザはスマートスピーカに対して音声に基づき指示を与えることで、移動ロボット110はスマートスピーカを介して指示情報を取得してもかまわない。   Next, one aspect of the operation of operating the external device 200 among the operations of the mobile robot 110 will be described. FIG. 7 is a flowchart showing the operation of the external device of the mobile robot. As shown in the figure, the mobile robot 110 acquires an instruction from the user. The instruction acquisition method is not particularly limited. For example, when the mobile terminal held by the user and the mobile robot 110 can communicate with each other via a wireless LAN (local area network) or the like, the mobile robot 110 can be accessed from the user's mobile terminal. Instruction information indicating an instruction is acquired. Further, when the mobile robot 110 has a voice recognition function, an instruction may be acquired by a user's voice. Further, when the mobile robot 110 and the smart speaker can communicate with each other via a wireless LAN or the like, the user gives an instruction to the smart speaker based on voice, so that the mobile robot 110 acquires instruction information via the smart speaker. It doesn't matter.

指示情報を取得した移動ロボット110は、指示情報に含まれる外部機器200を遠隔操作手段160が操作することができる領域に到達する(S203:Yes)まで環境地図に基づき走行制御部134が駆動ユニット130を制御して走行する(S202)。ここで、領域に到達するとは、外部機器200に対応する領域に移動ロボット110が位置するだけでなく、移動ロボット110が外部機器200を操作できる向きに向いている状態を言う。   The mobile robot 110 that has acquired the instruction information has the driving control unit 134 drive unit based on the environment map until it reaches an area where the remote operation means 160 can operate the external device 200 included in the instruction information (S203: Yes). The vehicle travels while controlling 130 (S202). Here, reaching the area means not only that the mobile robot 110 is located in the area corresponding to the external device 200 but also the state in which the mobile robot 110 faces in a direction in which the external device 200 can be operated.

次に、外部機器200が高い位置に在り、移動ロボット本体101を持ち上げる必要がある場合は(S204:Yes)。持ち上げ制御部133が持ち上げ装置132を移動ロボット110が取得した外部機器200の高さ情報に応じて制御して移動ロボット本体101の一部を持ち上げて移動ロボット110を傾ける(S205)。持ち上げが不要な場合(S204:No)、または、持ち上げが完了すると、送信装置制御部162は、操作信号送信装置161を制御して、外部機器200に対応した操作信号を送信し、外部機器200を遠隔操作する。外部機器200の操作とは、例えば電源をONにする、目標温度を設定するなどである。   Next, when the external device 200 is at a high position and the mobile robot body 101 needs to be lifted (S204: Yes). The lifting control unit 133 controls the lifting device 132 according to the height information of the external device 200 acquired by the mobile robot 110 to lift a part of the mobile robot body 101 and tilt the mobile robot 110 (S205). When lifting is not necessary (S204: No), or when lifting is completed, the transmission device controller 162 controls the operation signal transmission device 161 to transmit an operation signal corresponding to the external device 200, and the external device 200 Remote control. The operation of the external device 200 is, for example, turning on the power or setting a target temperature.

移動ロボット110が取得した指示情報に複数の外部機器200の操作が含まれている場合(S207;Yes)、移動ロボット110は、S202〜S206の動作を繰り返す。指示に対応する外部機器200の全ての操作が終了すると(S207:No)、移動ロボット110は、例えば充電ステーションなどの所定の場所に帰還する(S208)。   When the instruction information acquired by the mobile robot 110 includes operations of a plurality of external devices 200 (S207; Yes), the mobile robot 110 repeats the operations of S202 to S206. When all operations of the external device 200 corresponding to the instruction are completed (S207: No), the mobile robot 110 returns to a predetermined location such as a charging station (S208).

以上によれば、ユーザの手元に外部機器200を操作するリモコンがない場合や、操作信号を送信するための光や電波などが届かないユーザから離れた場所の外部機器200を操作したい場合、掃除をせずに大気中である移動ロボット110や、掃除中の移動ロボット110を利用して操作することができ、利便性を向上させることができる。具体的に例えば、就寝前に非常に蒸し暑い寝室に入ることなくクーラーを入れて寝室を冷やすことができたり、入浴前に非常に寒い脱衣室に入ることなく暖房をいれて脱衣室を暖めることなどが可能となる。   According to the above, when there is no remote control for operating the external device 200 at the user's hand, or when it is desired to operate the external device 200 in a place away from the user where light or radio waves for transmitting an operation signal does not reach, cleaning is performed. It is possible to operate the mobile robot 110 in the air without using the mobile robot 110 or the mobile robot 110 being cleaned, thereby improving convenience. Specifically, for example, you can cool the bedroom without going into a very sultry bedroom before going to bed, or warm the dressing room with heating without going into a very cold dressing room before bathing Is possible.

なお、本発明は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本発明の実施の形態としてもよい。また、上記実施の形態に対して本発明の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本発明に含まれる。   The present invention is not limited to the above embodiment. For example, another embodiment realized by arbitrarily combining the components described in this specification and excluding some of the components may be used as an embodiment of the present invention. In addition, the present invention includes modifications obtained by making various modifications conceivable by those skilled in the art without departing from the gist of the present invention, that is, the meaning of the words described in the claims. It is.

例えば、移動ロボット110は、ロボット掃除機に限定されるわけではなく、飲み物や薬などをユーザに搬送する搬送ロボット、ユーザの動作の手助けをする介助ロボットなどでもかまわない。   For example, the mobile robot 110 is not limited to a robot cleaner, and may be a transport robot that transports drinks, medicines, and the like to a user, an assistance robot that assists the user's operation, and the like.

また、外部機器200の高さを認識するために、カメラ175が撮像した画像と、レーザーレンジスキャナからの情報を組み合わせて用いたが、TOF(Time−of−Flight)カメラなどより一度に高さに関する情報まで取得してもかまわない。   In addition, in order to recognize the height of the external device 200, an image captured by the camera 175 and information from the laser range scanner are used in combination. You can get information about

また、移動ロボット本体101を傾けることで操作信号を送信する仰角を変更したが、遠隔操作手段160はこればかりでなく図8に示すように、移動ロボット本体101に対して仰角を変更することができる操作信号送信装置161を備え、外部機器200の高さ情報に応じて送信方向を変更して操作信号を送信してもかまわない。また、移動ロボット110が、作業用のアームを備えている場合、アームに操作信号送信装置161を取り付け、外部機器200の高さ情報に応じて送信方向を変更して操作信号を送信してもかまわない。   Further, although the elevation angle at which the operation signal is transmitted is changed by tilting the mobile robot body 101, the remote operation means 160 can change the elevation angle with respect to the mobile robot body 101 as shown in FIG. An operation signal transmission device 161 capable of transmitting the operation signal by changing the transmission direction according to the height information of the external device 200 may be used. Further, when the mobile robot 110 includes a work arm, the operation signal transmission device 161 is attached to the arm, and the operation signal is transmitted by changing the transmission direction according to the height information of the external device 200. It doesn't matter.

本発明は、自律走行可能なロボットに適用可能である。   The present invention is applicable to a robot capable of autonomous traveling.

101 移動ロボット本体
110 移動ロボット
111 プロセッサ
112 地図保持部
113 外部機器認識部
114 外部機器登録部
115 障害物認識部
116 地図作成部
130 駆動ユニット
131 手段
132 装置
133 制御部
134 走行制御部
140 清掃ユニット
160 遠隔操作手段
161 操作信号送信装置
162 送信装置制御部
171 発信部
172 受信部
173 障害物センサ
174 測距センサ
175 カメラ
176 床面センサ
178 吸引口
179 キャスター
200 外部機器
101 Mobile Robot Body 110 Mobile Robot 111 Processor 112 Map Holding Unit 113 External Device Recognition Unit 114 External Device Registration Unit 115 Obstacle Recognition Unit 116 Map Creation Unit 130 Drive Unit 131 Means 132 Device 133 Control Unit 134 Travel Control Unit 140 Cleaning Unit 160 Remote control means 161 Operation signal transmitter 162 Transmitter controller 171 Transmitter 172 Receiver 173 Obstacle sensor 174 Distance sensor 175 Camera 176 Floor sensor 178 Suction port 179 Caster 200 External device

Claims (4)

自律走行可能な移動ロボットであって、
所定領域の環境地図を保持する地図保持部と、
自律走行中に外部機器を認識する外部機器認識部と、
前記外部機器認識部が外部機器を認識した際の移動ロボットの位置に基づき外部機器の設置位置に関する位置情報を前記環境地図内に登録する外部機器登録部と、
登録された前記外部機器に対して前記位置情報に基づき遠隔操作可能な領域まで走行して前記外部機器を遠隔操作する操作信号を送信する遠隔操作手段と
を備える移動ロボット。
A mobile robot that can travel autonomously,
A map holding unit for holding an environmental map of a predetermined area;
An external device recognition unit that recognizes an external device during autonomous driving;
An external device registration unit for registering position information regarding the installation position of the external device in the environmental map based on the position of the mobile robot when the external device recognition unit recognizes the external device;
A mobile robot comprising remote operation means that travels to a region where remote operation can be performed on the registered external device based on the position information and transmits an operation signal for remotely operating the external device.
自己位置と障害物との位置関係をセンサからの情報に基づき算出する障害物認識部と、
前記障害物認識部が算出したデータを統合して前記環境地図を作成する地図作成部とを備え、
前記外部機器登録部は、前記地図作成部によって作成される前記環境地図内に前記外部機器を登録する
請求項1に記載の移動ロボット。
An obstacle recognition unit that calculates the positional relationship between the self-position and the obstacle based on information from the sensor;
A map creation unit that creates the environmental map by integrating the data calculated by the obstacle recognition unit,
The mobile robot according to claim 1, wherein the external device registration unit registers the external device in the environmental map created by the map creation unit.
前記外部機器登録部は、
前記外部機器の設置高さに関する高さ情報を登録し、
前記遠隔操作手段は、
前記高さ情報に応じて持ち上げ手段を用いて移動ロボット本体の少なくとも一部を持ち上げて操作信号を送信する
請求項1または2に記載の移動ロボット。
The external device registration unit
Register height information regarding the installation height of the external device,
The remote control means includes
The mobile robot according to claim 1, wherein an operation signal is transmitted by lifting at least a part of the mobile robot body using a lifting means in accordance with the height information.
前記外部機器登録部は、
前記外部機器の設置高さに関する高さ情報を登録し、
前記遠隔操作手段は、
前記高さ情報に応じて送信方向変更手段を用い送信方向を変更して操作信号を送信する
請求項1または2に記載の移動ロボット。
The external device registration unit
Register height information regarding the installation height of the external device,
The remote control means includes
The mobile robot according to claim 1, wherein an operation signal is transmitted by changing a transmission direction using a transmission direction changing unit according to the height information.
JP2018031323A 2018-02-23 2018-02-23 Mobile robot Active JP7033720B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018031323A JP7033720B2 (en) 2018-02-23 2018-02-23 Mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018031323A JP7033720B2 (en) 2018-02-23 2018-02-23 Mobile robot

Publications (2)

Publication Number Publication Date
JP2019145046A true JP2019145046A (en) 2019-08-29
JP7033720B2 JP7033720B2 (en) 2022-03-11

Family

ID=67772460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018031323A Active JP7033720B2 (en) 2018-02-23 2018-02-23 Mobile robot

Country Status (1)

Country Link
JP (1) JP7033720B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021112417A (en) * 2020-01-20 2021-08-05 パナソニックIpマネジメント株式会社 Autonomous travel type cleaner
CN113812889A (en) * 2021-09-30 2021-12-21 深圳市银星智能科技股份有限公司 Self-moving robot

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313291A (en) * 2004-04-30 2005-11-10 Mitsubishi Heavy Ind Ltd Image display method linked with robot action, and device thereof
JP2013250005A (en) * 2012-05-31 2013-12-12 Sharp Corp Self-propelled electronic apparatus
JP2014059737A (en) * 2012-09-18 2014-04-03 Sharp Corp Self-propelled device
US20140324271A1 (en) * 2013-04-26 2014-10-30 Samsung Electronics Co., Ltd. Cleaning robot, home monitoring apparatus, and method for controlling the cleaning robot
JP2015125102A (en) * 2013-12-27 2015-07-06 Kddi株式会社 Electronic device, method for specifying position, and program
JP2016004471A (en) * 2014-06-18 2016-01-12 シャープ株式会社 Self-propelled electronic equipment
JP2016120591A (en) * 2005-09-30 2016-07-07 アイロボット コーポレイション Locomotion robot
JP2016143231A (en) * 2015-02-02 2016-08-08 シャープ株式会社 Self-travelling electronic device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313291A (en) * 2004-04-30 2005-11-10 Mitsubishi Heavy Ind Ltd Image display method linked with robot action, and device thereof
JP2016120591A (en) * 2005-09-30 2016-07-07 アイロボット コーポレイション Locomotion robot
JP2013250005A (en) * 2012-05-31 2013-12-12 Sharp Corp Self-propelled electronic apparatus
JP2014059737A (en) * 2012-09-18 2014-04-03 Sharp Corp Self-propelled device
US20140324271A1 (en) * 2013-04-26 2014-10-30 Samsung Electronics Co., Ltd. Cleaning robot, home monitoring apparatus, and method for controlling the cleaning robot
JP2015125102A (en) * 2013-12-27 2015-07-06 Kddi株式会社 Electronic device, method for specifying position, and program
JP2016004471A (en) * 2014-06-18 2016-01-12 シャープ株式会社 Self-propelled electronic equipment
JP2016143231A (en) * 2015-02-02 2016-08-08 シャープ株式会社 Self-travelling electronic device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021112417A (en) * 2020-01-20 2021-08-05 パナソニックIpマネジメント株式会社 Autonomous travel type cleaner
CN113812889A (en) * 2021-09-30 2021-12-21 深圳市银星智能科技股份有限公司 Self-moving robot
CN113812889B (en) * 2021-09-30 2022-11-29 深圳银星智能集团股份有限公司 Self-moving robot

Also Published As

Publication number Publication date
JP7033720B2 (en) 2022-03-11

Similar Documents

Publication Publication Date Title
CN112654473B (en) Robot cleaner and control method thereof
JP4181477B2 (en) Self-propelled vacuum cleaner
TWI757570B (en) Robot cleaners and controlling method thereof
TWI739100B (en) A plurality of mobile robots and a controlling method for the same
US11409308B2 (en) Robot cleaner and a controlling method for the same
JP4215757B2 (en) Robot vacuum cleaner
TWI731555B (en) Mobile robot and method of controlling plurality of mobile robots
US20190220033A1 (en) Moving robot and controlling method for the moving robot
JP2019508812A (en) Method for controlling an autonomous mobile robot
US20180360283A1 (en) System with at least two floor treatment apparatuses
JP2020116380A (en) System composed of floor processor to be guided only manually and floor processor that travels only automatically and operation method for the system
TWI759760B (en) Robot cleaner and method for controlling the same
US11819174B2 (en) Cleaning control method and device, cleaning robot and storage medium
JP7033720B2 (en) Mobile robot
TW202042732A (en) System with a first floor processing device and a second floor processing device as well as a method for operating such a system
KR20210091459A (en) Robot Cleaner and Controlling Method for the same
KR20220058528A (en) Robot vacuum cleaner and control method
TW201805748A (en) Boundary signal transmitting device, method for restricting self-propelled cleaning device and self-propelled cleaning device restricted by the method capable of improving cleaning efficiency of a self-propelled cleaning device within a limited time
JP6945144B2 (en) Cleaning information providing device and vacuum cleaner system
TWI760881B (en) Robot cleaner and method for controlling the same
CN111225592B (en) Autonomous traveling dust collector and extended area identification method
JP6964275B2 (en) Mobile robots and robot systems
KR102355630B1 (en) Robot Cleaner and Controlling Method for the same
CN220967216U (en) Mobile cleaning robot
JP2023074521A (en) Traveling map creation device, autonomous travel type robot, traveling map creation method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220209

R151 Written notification of patent or utility model registration

Ref document number: 7033720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151