JP2018163614A - 自律移動装置、自律移動方法およびプログラム - Google Patents

自律移動装置、自律移動方法およびプログラム Download PDF

Info

Publication number
JP2018163614A
JP2018163614A JP2017061857A JP2017061857A JP2018163614A JP 2018163614 A JP2018163614 A JP 2018163614A JP 2017061857 A JP2017061857 A JP 2017061857A JP 2017061857 A JP2017061857 A JP 2017061857A JP 2018163614 A JP2018163614 A JP 2018163614A
Authority
JP
Japan
Prior art keywords
operation mode
height
map information
autonomous
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017061857A
Other languages
English (en)
Inventor
玲 浜田
Rei Hamada
玲 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2017061857A priority Critical patent/JP2018163614A/ja
Priority to US15/920,618 priority patent/US11054837B2/en
Priority to CN201810249479.0A priority patent/CN108664019A/zh
Publication of JP2018163614A publication Critical patent/JP2018163614A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H29/00Drive mechanisms for toys in general
    • A63H29/22Electric drives
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Toys (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】高さの変化に対応できる自律移動装置、自律移動方法およびプログラムを提供する。
【解決手段】自律移動装置が、制御部10と、画像取得部20と、慣性測定部30と、距離測定部40と、記憶部80とを備える。制御部10は、記憶部80に格納された環境地図情報を更新する。画像取得部20が取得した画像に基づいて、制御部10は、基準面からの高さを推定する。慣性測定部30は、高さの変動量を検出する。距離測定部40は、底部が物体に接触しているか否かを検出する。制御部10は、画像取得部20、慣性測定部30または距離測定部40から取得した情報から、基準以上の高さの変化を検出した場合には、環境地図情報の更新を停止するか、又は環境地図情報を消去する。
【選択図】図5

Description

本発明は、自律移動装置、自律移動方法およびプログラムに関する。
ロボット、無人搬送車等の自律移動装置が開発されている。例えば、特許文献1には、マップ情報を作成しながら移動し、床面より低い凹状領域を検出することができる自律移動装置が開示されている。
特開2014−194729号公報
床面上を移動する自律移動装置であっても、人によって持ち上げられるなどの外部からの影響によって、高さが変化することがある。しかしながら、特許文献1記載の技術では、段差以外の高さ変化が考慮されていない。
本発明は、上記実情に鑑みてなされたものであり、高さの変化に対応できる自律移動装置、自律移動方法およびプログラムを提供することを目的とする。
上記目的を達成するため、本発明の自律移動装置は、
環境地図情報を参照して自律移動する自律移動装置であって、
前記環境地図情報を更新する環境地図情報更新手段と、
高さの変化を検出する検出手段と、を備え、
前記環境地図情報更新手段は、前記検出手段が基準以上の高さの変化を検出した場合には、前記環境地図情報の更新を停止するか、又は前記環境地図情報を消去する、
ことを特徴とする。
本発明によれば、高さの変化に対応できる自律移動装置、自律移動方法およびプログラムを提供することができる。
本発明の第1実施形態に係るペットロボットの外観図である。 本発明の第1実施形態に係るペットロボットの構成図である。 本発明の第1実施形態に係る自律移動停止モード切替処理のフローチャートである。 本発明の第1実施形態に係る自律移動モード切替処理のフローチャートである。 本発明の第2実施形態に係るペットロボットの構成図である。 本発明の第1実施形態の変形例に係る自律移動停止モード切替処理のフローチャートの抜粋である。 本発明の第2実施形態に係る環境地図作成処理のフローチャートである。 (a)は本発明の第2実施形態に係る環境地図作成処理の作成過程における障害物領域グリッドを表す図、(b)は本発明の第2実施形態に係る環境地図作成処理の作成過程における自由領域グリッドを表す図、(c)は本発明の第2実施形態に係る環境地図作成処理の作成過程における環境地図を表す図である。 本発明の第2実施形態に係る環境地図情報更新停止モード切替処理のフローチャートである。 本発明の第2実施形態に係る環境地図情報更新モード切替処理のフローチャートである。
以下、本発明の自律移動装置を、ペットロボットに適用した実施の形態について、図面を参照して説明する。
(第1実施形態)
図1に示すように、本実施形態に係るペットロボット1は、床面2の上を歩行する移動装置である。ペットロボット1は、床面2と接触する脚部70を備え、脚部70を自律的に動作させることによって、自律移動を実現する。
また、ペットロボット1は、さらに音声出力部50と音声入力部60を備える。ペットロボット1は、音声出力部50を介して音声を出力し、ユーザにある程度の情報を伝えることができる。ただし、ペットロボット1はペットを模しているため、言語的な音声を発するのではなく、例えば、犬を模したペットの場合は、「ワン」という犬の鳴き声を模した音声を発する。これは一例であって、ペットが人間の言葉を話しても良い。
また、ペットロボット1は、音声入力部60を介して音声を取得し、ユーザが発した言語を認識して、ある程度の命令を把握する。例えば、ペットロボット1は、ユーザが発した「まて」という音声を認識し、自律的な移動を停止する命令であることを把握することができる。
次に、ペットロボット1の内部構造について、図2を参照して説明する。ペットロボット1は、制御部10と、画像取得部20と、慣性測定部30と、距離測定部40と、音声出力部50と、音声入力部60と、脚部70とを備える。
制御部10は、CPU(Central Processing Unit)11と、RAM(Random Access Memory)12と、ROM(Read Only Memory)13とを備える。
CPU11は、ROM13に格納されている制御用のプログラムを実行することにより、各種の処理を実行する。
RAM12は、揮発性メモリから構成され、CPU11の作業領域として用いられる。
ROM13は、フラッシュメモリ等の不揮発性メモリから構成され、CPU11が実行する制御プログラムや各種固定データを格納する。固定データには、制御部10が自己位置の推定処理を行うためのSLAM(Simultaneous Localization and Mapping)地図情報、自律移動のために参照する環境地図情報等が含まれる。
また、制御部10は、ペットロボット1の動作モードを切り替える処理を実行する。ペットロボット1は、自律移動モードと自律移動停止モードを含む動作モードを切り替えて動作する。ペットロボット1は、自律移動モードでは自律的に移動し、自律移動停止モードでは自律的な移動を行わない。
画像取得部20は、カメラを備え、周囲を撮影して取得した画像情報を制御部10に出力する。制御部10は、ペットロボット1が移動中に画像取得部20を介して取得した複数の画像情報と、SLAM地図に基づいて、VSLAM(Visual Simultaneous Localization and Mapping)により、床面2からの高さを含む自己位置を推定する。すなわち、画像取得部20は、制御部10と協同して、基準面となる床面2からの高さを検出することによって、高さの変化を検出する検出手段として機能する。
慣性測定部30は、3軸加速度センサ等を備え、3軸加速度センサが測定した3軸方向の加速度情報を制御部10に出力する。また、慣性測定部30は、ジャイロセンサ等も備え、角速度情報を制御部10に出力する。制御部10は、床面2に設置した状態から、これらの加速度情報と角速度情報を周期的に取得しておく。そして、制御部10は、床面2に設置した状態から蓄積した角速度情報をもとに、ペットロボット1の姿勢を把握し、取得した3軸の加速度情報から鉛直方向の成分を抽出する。このようにして、制御部10は、慣性測定部30から取得した角速度情報と加速度情報をもとに、鉛直方向の加速度を算出する。
また、制御部10は、鉛直方向の加速度情報を、例えば、10ミリ秒ごとに算出して、RAM12に時刻とともに記録しておく。そして、制御部10は、鉛直方向の加速度を積分することによって、鉛直方向の速度を計算し、RAM12に時刻とともに記録しておく。さらに、制御部10は、計算した鉛直方向の速度を積分することによって、鉛直方向の変動量、すなわち高さの変動量を計算して、RAM12に時刻とともに記録しておく。このようにして、慣性測定部30は、制御部10と協同して、高さの変動量を検出することによって、高さの変化を検出する検出手段として機能する。
距離測定部40は、接触センサ、距離センサ等を備え、ペットロボット1の底面(または脚部70の先端)と床面との間の距離を測定し、測定した距離情報を制御部10に出力する。制御部10は、取得した距離情報に基づいて、ペットロボット1の底部が物体に接触しているか否かを判定する。このように、距離測定部40は、制御部10と協同して、ペットロボット1の底部が物体に接触しているか否かを検出することによって、高さの変化を検出する検出手段として機能する。
音声出力部50は、D/A(デジタル・アナログ)変換回路、アンプ、スピーカなどを備え、制御部10から出力された音声信号を音声に変換して出力する。
音声入力部60は、A/D(アナログ・デジタル)変換回路、マイクロフォンなどを備え、ユーザが発した声を集音して音声信号に変換し、制御部10に出力する。制御部10は、音声入力部60から入力される音声信号に、音声認識処理を施し、命令を判定する。ROM13には、あらかじめ命令リストが格納されている。命令リストには、例えば、「まて」は移動を停止する命令であることなどが含まれる。例えば、ユーザが「まて」という声を発した場合、制御部10は、音声入力部60から入力された音声信号に音声認識処理を施し、命令リストを参照して、移動を停止する命令であることを把握する。
脚部70は、4つの可動機器とそれぞれの駆動部とを備え、床面2にそれぞれ接触してペットロボット1を支える。制御部10は、自律移動モードでは、駆動部を介して、4つの可動機器を駆動する。また、制御部10は、自律移動停止モードでは、駆動部を介して、4つの可動機器の動作を停止する。このように、脚部70は、制御部10と協同して、自律移動を行う移動手段として機能する。脚部70の機構は発明の本質ではないので説明を省略する。
次に、ペットロボット1の動作について説明する。ペットロボット1は、ユーザ操作等によって動作を開始すると、最初に初期化処理を行う。初期化処理では、制御部10は、画像取得部20から画像を取得し、VSLAMによってその時点の自己位置を推定し、推定した自己位置に含まれる高さを床面2の高さとしてRAM12に格納する。すなわち、床面2は高さを判断する際の基準面として機能する。
次に、ペットロボット1は、自律移動モードで動作を開始する。自律移動モードでは、制御部10は、VSLAMによって推定した自己位置とROM13に格納された環境地図情報とに基づいて、脚部70に動作を指示する。言い換えると、制御部10は、自律移動を行う移動ステップを実行する。移動ステップにおける具体的な指示内容は、本発明の主題ではなく、既知の方法により脚部70への指示を行うものであり、ここでは詳細を割愛する。
環境地図情報とは、床面2を格子状のセルに分割して、距離測定部40等から、各セルにペットロボット1が移動可能であったかどうかのラベルを随時更新しながらRAM12上に保存する地図情報である。距離測定部40等から障害物を検知したセルには移動不可、距離測定部40等から障害物がないことがわかるセルには移動可のラベルをつける。ペットロボット1は移動経路の計画において、環境地図情報を参照して、移動可能な経路から最適経路を決定する。
また、制御部10は、自律移動モードに切り替えると、自律移動停止モードへの切り替えを行うかどうかの判定を含む自律移動停止モード切替処理を、他のモードに切り替えるまで周期的に繰り返し実行する。
制御部10は、図3に示すように、自律移動停止モード切替処理を開始すると、RAM12に格納された床面2の高さを基準に、VSLAMによる床面2からの高さの推定結果を取得する(ステップS101)。すなわち、ステップS101は、基準面である床面2からの高さを検出することによって、高さの変化を検出する検出ステップとして機能する。そして、高さの推定結果を取得したか否かを判定する(ステップS102)。制御部10は、画像取得部20から取得した画像に基づいてVSLAMの自己位置推定を行うため、画像取得部20のカメラがユーザの衣服で覆われる等の原因で画像取得部20から画像が取得できない場合、VSLAMによる自己位置の推定が行えないことが考えられる。そこで、制御部10は、VSLAMによる高さの推定結果を取得したか否かを判定する。
制御部10は、床面2からの高さの推定結果を取得したと判定した場合(ステップS102:Yes)、床面2からの高さが閾値ha以上であるか否かを判定する(ステップS103)。床面2からの高さが閾値ha以上であると判定した場合(ステップS103:Yes)、制御部10は、自律移動停止モードに切り替えて(ステップS104)、自律移動停止モード切替処理を終了する。一方、床面2からの高さが閾値ha以上ではないと判定した場合(ステップS103:No)、制御部10は、そのまま自律移動停止モード切替処理を終了する。
ここで、閾値haは、あらかじめ規定してROM13に格納しておく基準値である。閾値haが大きすぎると、ペットロボット1が高い位置にあるにもかかわらず、自律移動停止モードに切り替えず、ペットロボット1が他の物体に衝突する可能性と落下する可能性を低くするという発明の目的を達することができない。逆に、閾値haが小さすぎると、床面2の凹凸や傾きによっては、床面2の上から離れていないにもかかわらず、自律移動停止モードに切り替えてしまい、ペットロボット1の自律移動が妨げられる。したがって、閾値haは、これらのトレードオフを考慮して、例えば、「ha=30cm」と定義して、ROM13に格納しておく。制御部10は、ステップS103の判定処理において、ROM13から閾値haを取得して利用する。
一方、制御部10は、高さの推定結果を取得しなかったと判定した場合(ステップS102:No)、基準時間Ta内の高さの変動量を取得する(ステップS105)。具体的には、制御部10は、継続してRAM12に記録している高さの変動量のうち、直近の時刻と基準時間Taだけ遡った時刻の間の変動量を合計することで、基準時間Ta内の高さの変動量を取得する。換言すれば、ステップS105は、高さの変動量を検出することによって、高さの変化を検出する検出ステップとして機能する。
次に、制御部10は、基準時間Ta内の高さの変動量を取得できたか否かを判定する(ステップS106)。ペットロボット1が、慣性測定部30の測定可能な範囲を超えるような激しい鉛直方向の動きをしたり、鉛直方向の動きを追跡できないような激しい回転動作をしたりした場合、慣性測定部30から3軸加速度を表す情報や鉛直方向を表す情報を取得できない可能性がある。そこで、制御部10は、基準時間Ta内の高さの変動量を取得できたか否かを判定する。
制御部10は、基準時間Ta内の高さの変動量を取得できたと判定した場合(ステップS106:Yes)、求めた基準時間Ta内の高さの変動量が、閾値hb以上プラスであるか否か、すなわち、ペットロボット1が閾値hb以上基準時間Ta内に上昇したか否かを判定する(ステップS107)。
制御部10は、ペットロボット1が閾値hb以上基準時間Ta内に上昇したと判定した場合(ステップS107:Yes)、自律移動停止モードに切り替えて(ステップS104)、自律移動停止モード切替処理を終了する。一方、ペットロボット1が閾値hb以上基準時間Ta内に上昇しなかったと判定した場合(ステップS107:No)、制御部10は、そのまま自律移動停止モード切替処理を終了する。
ここで、基準時間Taおよび閾値hbは、あらかじめ規定してROM13に格納しておく基準値である。基準時間Taが短すぎると、ペットロボット1が徐々に上昇した場合に高さの変動量が小さい値になるため、自律移動停止モードに切り替えず、ペットロボット1が他の物体に衝突する可能性と落下する可能性を低くするという発明の目的を達することができない。逆に、基準時間Taが長すぎると、高さの変動量の判定のタイミングが遅すぎてしまったり、累積誤差によって判定精度が悪くなってしまったりする可能性がある。したがって、基準時間Taは、これらのトレードオフを考慮して、例えば、「Ta=3秒」と定義して、ROM13に格納しておく。
また、閾値hbが大きすぎると、ペットロボット1が高い位置に移動したにもかかわらず、自律移動停止モードに切り替えず、ペットロボット1が他の物体に衝突する可能性と落下する可能性を低くするという発明の目的を達することができない。逆に、閾値hbが小さすぎると、床面2の凹凸や傾きによっては、床面2の上から離れていないにもかかわらず、自律移動停止モードに切り替えてしまい、ペットロボット1の自律移動が妨げられる。したがって、閾値hbは、これらのトレードオフを考慮して、例えば、「hb=20cm」と定義して、ROM13に格納しておく。制御部10は、ステップS107の判定処理において、ROM13から基準時間Taおよび閾値hbを取得して利用する。
さらに、制御部10は、基準時間Ta内の高さの変動量を取得できなかったと判定した場合(ステップS106:No)、距離測定部40から底面接触有無の情報を取得する(ステップS108)。そして、制御部10は、底面接触有無の情報を取得できたか否かを判定する(ステップS109)。底面接触有無の情報を取得できたと判定した場合(ステップS109:Yes)、制御部10は、底面接触が無い時間が基準時間Tb以上あったか否かを判定する(ステップS110)。
制御部10は、底面接触が無い時間が基準時間Tb以上あったと判定した場合(ステップS110:Yes)、制御部10は、音声出力部50に、確認用音声を発する指示信号を送る(ステップS111)。音声出力部50は、指示信号にしたがって、例えば、「ワンワンワン」という確認用音声を発する。ユーザは、取扱説明書の記載等によって、移動しても良いかどうかを確認するための確認用音声が「ワンワンワン」という音声であることを知っている。そして、この確認用音声を聞いたユーザは、ペットロボット1が移動しない方が良いと判断した場合、「まて」のような、ペットロボット1が認識できる命令を意味する発声をする。制御部10は、音声入力部60を介して、移動を停止する趣旨の回答を取得したか否かを判定する(ステップS112)。制御部10は、たとえば、「まて」のような移動を停止する趣旨の回答を取得したと判定した場合(ステップS112:Yes)、自律移動停止モードに切り替えて(ステップS104)、自律移動停止モード切替処理を終了する。一方、移動を停止する趣旨の回答を取得しなかったと判定した場合(ステップS112:No)、そのまま自律移動停止モード切替処理を終了する。このように、ステップS111およびステップS112において、音声入力部60は、音声出力部50および制御部10と協同して、動作モードを切り替えるか否かをユーザに確認する確認手段として機能する。
また、底面接触が無い時間が基準時間Tb以上なかったと判定した場合(ステップS110:No)、そのまま自律移動停止モード切替処理を終了する。
ここで、基準時間Tbは、あらかじめ規定してROM13に格納しておく基準値である。基準時間Tbが短すぎると、瞬間的に床面2から離れただけで、すぐに確認用音声を発してしまい、実用的でない。逆に、基準時間Tbが長すぎると、判定のタイミングが遅すぎて自律移動停止モードに切り替えず、ペットロボット1が他の物体に衝突する可能性と落下する可能性を低くするという発明の目的を達することができない。したがって、基準時間Tbは、これらのトレードオフを考慮して、例えば、「Tb=3秒」と定義して、ROM13に格納しておく。制御部10は、ステップS110の判定処理において、ROM13から基準時間Tbを取得して利用する。
また、制御部10は、底面接触有無の情報を取得できなかったと判定した場合(ステップS109:No)、そのまま自律移動停止モード切替処理を終了する。
このようにして、制御部10は、動作モードを自律移動停止モードに切り替える制御手段として機能する。制御部10は、自律移動停止モードに切り替えると、自律移動を停止する指示を脚部70に出力する。したがって、脚部70は動作を停止する。ただし、音声出力部50、音声入力部60その他の部分は動作を停止しない。
次に、制御部10は、自律移動停止モードに切り替えると、自律移動モードへの切り替えを行うかどうかの判定を含む自律移動モード切替処理を、他のモードに切り替えるまで周期的に繰り返し実行する。
制御部10は、図4に示すように、自律移動モード切替処理を開始すると、RAM12に格納された床面2の高さを基準に、VSLAMによる床面2からの高さの推定結果を取得する(ステップS201)。そして、床面2からの高さの推定結果を取得したか否かを判定する(ステップS202)。
制御部10は、床面2からの高さの推定結果を取得したと判定した場合(ステップS202:Yes)、床面2からの高さが閾値ha以下であるか否かを判定する(ステップS203)。床面2からの高さが閾値ha以下であると判定した場合(ステップS203:Yes)、制御部10は、自律移動モードに切り替えて(ステップS204)、自律移動モード切替処理を終了する。一方、床面2からの高さが閾値ha以下ではないと判定した場合(ステップS203:No)、制御部10は、そのまま自律移動モード切替処理を終了する。
一方、制御部10は、高さの推定結果を取得しなかったと判定した場合(ステップS202:No)、基準時間Ta内の高さの変動量を取得する(ステップS205)。
次に、制御部10は、基準時間Ta内の高さの変動量を取得できたか否かを判定する(ステップS206)。制御部10は、基準時間Ta内の高さの変動量を取得できたと判定した場合(ステップS206:Yes)、求めた基準時間Ta内の高さの変動量が、閾値hb以上マイナスであるか否か、すなわち、ペットロボット1が閾値hb以上基準時間Ta内に下降したか否かを判定する(ステップS207)。
次に、制御部10は、ペットロボット1が閾値hb以上基準時間Ta内に下降したと判定した場合(ステップS207:Yes)、制御部10は、音声出力部50に、確認用音声を発する指示信号を送る(ステップS208)。音声出力部50は、指示信号にしたがって、例えば、「ワンワンワン」という確認用音声を発する。この確認用音声を聞いたユーザは、ペットロボット1が移動しない方が良いと判断した場合、「まて」のようにペットロボット1が認識できる命令を意味する発声をする。制御部10は、音声入力部60を介して、移動を停止する趣旨の回答を取得したか否かを判定する(ステップS209)。制御部10は、たとえば、「まて」のような移動を停止する趣旨の回答を取得しなかったと判定した場合(ステップS209:No)、自律移動モードに切り替えて(ステップS204)、自律移動モード切替処理を終了する。一方、移動を停止する趣旨の回答を取得したと判定した場合(ステップS209:Yes)、制御部10は、そのまま自律移動モード切替処理を終了する。
一方、ペットロボット1が閾値hb以上基準時間Ta内に下降しなかったと判定した場合(ステップS207:No)、制御部10は、そのまま自律移動モード切替処理を終了する。
さらに、制御部10は、基準時間Ta内の高さの変動量を取得できなかったと判定した場合(ステップS206:No)、距離測定部40から底面接触有無の情報を取得する(ステップS210)。そして、制御部10は、底面接触有無の情報を取得できたか否かを判定する(ステップS211)。底面接触有無の情報を取得できたと判定した場合(ステップS211:Yes)、制御部10は、底面接触が無い時間が基準時間Tb以上あったか否かを判定する(ステップS212)。
制御部10は、底面接触が無い時間が基準時間Tb以上あったと判定した場合(ステップS212:Yes)、制御部10は、音声出力部50に、確認用音声を発する指示信号を送る(ステップS213)。音声出力部50は、指示信号にしたがって、例えば、「ワンワンワン」という確認用音声を発する。この確認用音声を聞いたユーザは、ペットロボット1が移動しない方が良いと判断した場合、「まて」のようにペットロボット1が認識できる命令を意味する発声をする。制御部10は、音声入力部60を介して、移動を停止する趣旨の回答を取得したか否かを判定する(ステップS214)。制御部10は、たとえば、「まて」のような移動を停止する趣旨の回答を取得しなかったと判定した場合(ステップS214:No)、自律移動モードに切り替えて(ステップS204)、自律移動モード切替処理を終了する。一方、移動を停止する趣旨の回答を取得したと判定した場合(ステップS214:Yes)、制御部10は、そのまま自律移動モード切替処理を終了する。
また、底面接触が無い時間が基準時間Tb以上なかったと判定した場合(ステップS212:No)、制御部10は、そのまま自律移動モード切替処理を終了する。
また、制御部10は、底面接触有無の情報を取得できなかったと判定した場合(ステップS211:No)、そのまま自律移動モード切替処理を終了する。
このようにして、制御部10は、動作モードを自律移動モードに切り替える制御手段として機能する。制御部10は、自律移動モードに切り替えると、脚部70に自律移動をする指示を出力する。そして、脚部70は動作を行う。
以上のように、本実施形態に係るペットロボット1は、自律移動モード(第1の動作モード)と自律移動停止モード(第2の動作モード)の2つの動作モードを備え、床面2上では自律移動モードで、高所では自律移動停止モードで動作する。これにより、床面2上では自律移動を行い、床面2よりも高い、例えば、テーブルの上などでは自律移動を行わない。したがって、ペットロボット1は、テーブルの上などの高所において他の物体と衝突する可能性および落下する可能性が低いと言える。
本実施形態に係るペットロボット1は、自律移動モード切替処理を実行することによって、床面2上に戻った際に、自動的に自律移動を再開できる。これにより、ペットロボット1はより実用的なロボットとなる。
本実施形態に係るペットロボット1は、VSLAMによって精度良く高さを測定できる場合は、ユーザ確認のプロセスを経ること無く、自動的に自律移動の停止と解除を行うことができる。これにより、ペットロボット1は、ユーザによる操作を必要とせずに、自律移動を停止することができる。
さらに、本実施形態に係るペットロボット1は、慣性測定部30の測定結果から高さの変動量を取得して判定に利用する。これにより、例えば、特徴点が少ないためにVSLAMが使えない場合、またはユーザによって抱きかかえられているために画像取得部20が周囲を撮影できない場合でも、ペットロボット1が自律移動の停止または解除を自動的に行うことができる。
ただし、例えばペットロボット1がテーブルの上から床面2上に戻った場合、テーブルの上の高さを保持していないため、高さの変動量だけでは床面2上に戻ったかどうかがわからない。そこで、本実施形態に係るペットロボット1は、図4のステップS208においてユーザ確認のプロセスを経ることによって、自律移動モードへの不適切な切り替えを防ぐことができる。
また、本実施形態に係るペットロボット1は、距離測定部40の測定結果から床面2上にあるか否かを検知して判定に利用する。これにより、例えば、ペットロボット1が激しく動いて慣性測定部30の測定結果が利用できない場合でも、自律移動の停止または解除を行うことができる。
ただし、距離測定部40の測定結果だけでは、床面2上にあるかどうかが厳密にはわからない。そこで、本実施形態に係るペットロボット1は、図3のステップS111および図4のステップS213においてユーザ確認のプロセスを経ることによって、自律移動モードまたは自律移動停止モードへの不適切な切り替えを防ぐことができる。
本実施形態に係るペットロボット1は、図3のステップS111および図4のステップS208とステップS213においてユーザ確認を行っているが、本発明の範囲はこれに限られない。例えば、自律移動停止モードおよび自律移動モードへの切り替えの前に必ずユーザ確認を行っても良い。その場合、ユーザ確認なしに自動的に自律移動モードまたは自律移動停止モードに切り替えることがなく、より誤動作を防ぎやすい。また、例えば、自律移動停止モードへの切り替えの前には全くユーザ確認を行わず、自律移動モードへの切り替えの前には必ずユーザ確認を行うようにしても良い。その場合、自律移動停止モードへの切り替えは自動であり、自律移動モードへの切り替えはすべてユーザ確認を経るため、より安全性が高い。
本実施形態に係るペットロボット1は、自律移動停止モードでは一切の自律移動を行わないが、本発明の範囲はこれに限られない。例えば、自律移動停止モードでも少しの移動を行うようにしても良い。例えば、足踏み程度の移動を行うようにしても良い。また、姿勢を変化させる駆動部がある場合、その駆動部の動作は許可しても良い。また、例えば、ペットロボット1の中心から周囲30cm以内であれば移動を許可し、その範囲を超える場合には、脚部70による移動も姿勢を変化させる動作も許可しないものとしても良い。本明細書における「自律移動を停止する」とは、自律移動を一切行わないことだけではなく、本発明の目的を果たす限り、少しの移動や姿勢変化をすることも含むものである。このように、自律移動停止モードでの少しの動作を許可することによって、ペットロボット1の使用感を損なうこと無く、安全性を確保することができる。
本実施形態に係るペットロボット1の脚部70は、4つの可動機器を備えるが、本発明の範囲はこれに限られない。ペットロボット1の移動手段として機能するならば、脚部70は特に形状や駆動方法は限定されない。例えば、脚部70は、4つの可動機器の代わりに、車輪、無限軌道等を備えても良い。
本実施形態に係るペットロボット1は、ユーザ確認のプロセスで、「まて」のようなユーザによる移動を停止する趣旨の回答があったか否かを判断しているが、本発明の範囲はこれに限られない。例えば、「よし」のような移動を停止しない趣旨の回答があったか否かで判断しても良い。それによって、無回答の場合やペットロボット1が理解できない場合などでも移動を停止することになるため、より安全性を確保することができる。また、ユーザ確認の方法は、ペットロボット1にボタン、タッチセンサ等を設けて、ユーザがこれらを操作することで、移動を停止する命令、または停止しない命令とするようにしても良い。ボタン、タッチセンサ等の操作は、口頭での回答に比べて曖昧さを排除することができる。
本実施形態に係るペットロボット1は、高さを測定する手段として、画像取得部20から取得した画像に基づくVSLAMを利用しているが、本発明の範囲はこれに限られない。例えば、外部のカメラからの観測、座標既知の外部マーカーの観測などで高さを測定しても良い。これらの方法により、ペットロボット1の高さをより正確に計測することができる。なお、外部のカメラからの観測を利用する場合、ペットロボット1が受信部を備え、外部のカメラから高さを表す情報を受信するようにしても良い。
本実施形態に係るペットロボット1は、高さの変動量を検出する手段として、慣性測定部30を利用しているが、本発明の範囲はこれに限られない。例えば、気圧計を利用して高さの変動量を検出しても良い。同じ室内であっても、気圧は、天候等の環境によって変わるため、制御部10が複数回計測した気圧の差を計算して、その結果によって、高さの変動量を推定する。したがって、慣性測定部30の鉛直方向の加速度に代えて、例えば、10ミリ秒ごとに気圧計が計測した気圧を利用することができる。気圧計を利用すれば、高精度のものは20cm程度の精度で高さの変動量を検出することができる。
本実施形態に係るペットロボット1は、床面2上にあるか否かを検知する手段として、距離測定部40を利用しているが、本発明の範囲はこれに限られない。例えば、制御部10が画像取得部20から取得した画像を解析し、ユーザの顔を認識することによって、仮にユーザの顔が水平方向に検知したことを、高所にいる可能性が高いものと判断するようにしても良い。また、慣性測定部30から取得した鉛直方向の加速度をそのまま制御部10が判定に用いることで、高さが変わった可能性が高いものと判断するようにしても良い。さらに、これらの測定方法を合わせて適用しても良い。このように、床面2上にあるか無いかを推定するための測定方法を複数採用することで、より安全性の高いペットロボットを提供することができる。
本実施形態に係るペットロボット1は、自律移動モードと自律移動停止モードの間の切り替えをするか否かを、高さの変動量を利用して判定する処理において、1つの閾値を基準としているが、本発明の範囲はこれに限られない。例えば、2つの閾値を設定して、小さい方の閾値を第1の閾値、大きい方の閾値を第2の閾値とする。高さの変動量が第1の閾値を超えた場合には、自律移動モードと自律移動停止モードの間の切り替えをするか否かをユーザに確認する。そして、高さの変動量が第2の閾値を超えた場合には、自動的に自律移動モードと自律移動停止モードの間の切り替えをするという構成にしても良い。
図6を参照して、具体的に説明する。制御部10は、自律移動停止モード切替処理のステップS107において、ペットロボット1が閾値hb以上基準時間Ta内に上昇しなかったと判定した場合(ステップS107:No)、閾値hc以上基準時間Ta内に上昇したか否かを判定する(ステップS301)。ここで、閾値hcは、閾値hbよりも小さい値で、あらかじめ規定してROM13に格納しておく基準値である。すなわち、第1の閾値が閾値hcであり、第2の閾値が閾値hbである。制御部10は、閾値hc以上基準時間Ta内に上昇したと判定した場合(ステップS301:Yes)、制御部10は、音声出力部50に、確認用音声を発する指示信号を送る(ステップS302)。音声出力部50は、指示信号にしたがって、例えば、「ワンワンワン」という確認用音声を発する。この確認用音声を聞いたユーザは、ペットロボット1が移動しない方が良いと判断した場合、「まて」のようにペットロボット1が認識できる命令を意味する発声をする。制御部10は、音声入力部60を介して、移動を停止する趣旨の回答を取得したか否かを判定する(ステップS303)。制御部10は、たとえば、「まて」のような移動を停止する趣旨の回答を取得したと判定した場合(ステップS303:Yes)、自律移動停止モードに切り替えて(ステップS104)、自律移動停止モード切替処理を終了する。一方、移動を停止する趣旨の回答を取得しなかったと判定した場合(ステップS303:No)、制御部10は、そのまま自律移動停止モード切替処理を終了する。
高さの変動量を利用すると、累積誤差の影響などによって高さを正しく認識できない場合があるため、このように、ユーザに確認するプロセスを経ることによって、ペットロボット1の誤動作を防ぐことができる。また、必要に応じて、自律移動モードと自律移動停止モードの間の切り替えをするか否かを、高さを利用して判定する処理においても、1つの閾値ではなく、同様に2つの閾値を利用する構成にしても良い。
本実施形態に係るペットロボット1は、自律移動停止モード切替処理に使用する閾値と自律移動モード切替処理に使用する閾値とを、同じ閾値にしているが、これらは別の閾値を使用しても良い。例えば、ステップS203における閾値を、ステップS103における閾値haよりも少し小さい閾値hdにする。これによって、ペットロボット1の高さがha付近である場合に、自律移動モードと自律移動停止モードとの間を行ったり来たりして、不安定な動作になることを防ぐことができる。同様に、ステップS207における閾値を、ステップS107における閾値hbよりも少し小さい閾値heにする。これによって、制御部10が高さの変動量を基準に判定する際に、計測誤差によって自律移動モードに復帰しないといった状態を防ぐことができる。
(第2実施形態)
第1実施形態においては、本発明の自律移動装置を環境地図情報の更新を行わないペットロボット1に適用した例を例示した。環境地図情報の更新を行う自律移動装置の場合、高所で環境地図情報を更新すると、誤った内容で更新してしまい、床面2に戻った時に正しい動作をしないことがある。そこで、以下では、環境地図情報の更新を行うペットロボット3に、高所での環境地図情報の更新を停止するか、または環境地図情報を消去する自律移動装置を適用した実施形態を、図面を参照して説明する。本実施形態では、第1実施形態との相違点を中心に説明する。
本実施形態に係るペットロボット3は、図5に示すように、記憶部80をさらに備える。記憶部80は、フラッシュメモリ、磁気記憶装置、光ディスクドライブ等からなる不揮発性メモリを備える。記憶部80は、ペットロボット3が自律移動を行う際に参照する環境地図情報を保持する。
ペットロボット3が動作を開始すると、制御部10は、画像取得部20から取得した画像情報に基づいて、定期的に、記憶部80に格納されている環境地図情報を更新する処理を行う。図7に示すように、制御部10は、環境地図作成処理を開始すると、距離測定部40から測定結果を取得する(ステップS11)。
そして、制御部10は、VSLAMによって推定した自己位置に相当する領域および自己位置と障害物位置の間に相当する領域の自由領域カウンタをインクリメントする(ステップS12)。ここで、自由領域カウンタについて図8を参照して説明する。
制御部10は、環境地図作成処理において、図8(a)に示すような障害物領域グリッドと、図8(b)に示すような自由領域グリッドを生成し、RAM12に保持する。これらは、実空間を縮小して表す環境地図を一定の領域ごとにグリッド状に分割して、各グリッドの1つ1つには、それぞれカウンタ値を格納する。そして、障害物領域グリッドのカウンタ値を障害物領域カウンタ、自由領域グリッドのカウンタ値を自由領域カウンタと呼ぶ。これらのカウンタ値は、当初はすべて0がセットされる。障害物領域カウンタの値が大きいほど、そのグリッドの位置には障害物がある可能性が高いことを意味する。また、自由領域カウンタの値が大きいほど、そのグリッドの位置は自由領域であり、障害物が無い可能性が高いことを意味する。なお、障害物領域グリッドと自由領域グリッドは同一の大きさとグリッド数から構成されており、それぞれの同一の位置のグリッドは同一の実空間の領域に対応するものである。
図7に戻り、ステップS12に続いて、制御部10は、障害物位置の領域の障害物領域カウンタをインクリメントする(ステップS13)。
続いて、制御部10は、RAM12に格納された障害物領域グリッドと自由領域グリッドを読み出して、同一の位置の各グリッドのカウンタ値を比較し、自由領域カウンタ<障害物領域カウンタの領域を障害物とする環境地図情報を作成する(ステップS14)。例えば、図8(a)の障害物グリッドと図8(b)の自由領域グリッドからは、図8(c)の環境地図が作成される。環境地図の各グリッドは、0と1の値が格納され、0が自由に移動できる(障害物が無い)領域、1が自由に移動できない(障害物がある)領域であることを表している。以上で、制御部10は、環境地図作成処理を終了する。
制御部10は、定期的に、例えば10秒おきに、RAM12から環境地図作成処理で作成した更新用の環境地図情報を読み込んで、記憶部80に格納されている環境地図情報に反映して更新する。このように、制御部10は、環境地図情報を更新する環境地図情報更新手段として機能する。このように、ステップS11からステップS14の緩急地図作成処理と、記憶部80に格納されている環境地図情報への反映処理とは、環境地図情報を更新する環境地図情報更新ステップとして機能する。
本実施形態に係るペットロボット3の制御部10も、第1実施形態のペットロボット1と同様に、自律移動モードと自律移動停止モードとを切り替えて動作する。さらに、制御部10は、自律移動停止モードでの環境地図情報の更新を停止する。制御部10は、自律移動停止モードに切り替わると、最初の環境地図情報への反映処理において、RAM12に保持している更新用の環境地図情報を消去する。そして、自律移動停止モードでは、制御部10は、環境地図情報作成処理と、定期的な環境地図情報の反映処理とをスキップすることによって、環境地図情報の更新を停止する。
一方、制御部10は、自律移動モードに切り替わると、環境地図情報の更新を再開する。制御部10は、自律移動モードでは、制御部10は、環境地図情報作成処理と、定期的な環境地図情報の反映処理とを実行することによって、環境地図情報の更新を再開する。
また、制御部10は、自律移動停止モードに切り替えると、環境地図情報の更新を停止するかわりに、または、自律移動停止モードでの環境地図情報の更新を停止するとともに、記憶部80に格納されている環境地図情報を消去しても良い。さらに、制御部10は、自律移動モードに切り替えると、環境地図情報の更新を再開するかわりに、または、環境地図情報の更新を再開するとともに、記憶部80に格納されている環境地図情報を消去しても良い。
このように、本実施形態に係るペットロボット3は、高所において、自律移動を停止するとともに、環境地図情報の更新を停止する。これにより、高所における環境が床面2上と異なる場合でも、環境地図情報を床面2上における環境と異なる内容で更新することを回避することができる。または、本実施形態に係るペットロボット3は、高所に移動するとき、または高所から戻ったとき、自律移動を停止するとともに、環境地図情報を消去する。これにより、高所における環境が床面2上と異なる場合でも、誤った内容が含まれる可能性のある環境地図情報が消去され、適切な環境地図情報を一から作成することができる。
本実施形態に係るペットロボット3は、自律移動停止モードにおいて環境地図情報の更新を停止しているが、本発明の範囲はこれに限られない。例えば、ペットロボット3は、環境地図情報更新モード(第1の動作モード)と環境地図情報更新停止モード(第2の動作モード)の2つの動作モードをさらに含んでも良い。この場合、ペットロボット3は、環境地図情報更新モードでは環境地図情報の更新を行い、環境地図情報更新停止モードでは環境地図情報の更新を停止する。もしくは、ペットロボット3は、環境地図情報更新モードに切り替わる際と、環境地図情報更新停止モードに切り替わる際に、環境地図情報を消去する。そして、自律移動停止モードに切り替えるか否かの判定に使用する閾値とは異なる閾値で、環境地図情報更新モードと環境地図情報更新停止モードとの間の切り替えをするか否かの判定をしても良い。
具体的には、制御部10は、図9に示すような環境地図情報更新停止モード切替処理と、図10に示すような環境地図情報更新モード切替処理を実行する。それぞれの処理内容は、自律移動停止モード切替処理と自律移動モード切替処理とほとんど同じであるため、ここでは説明を省略する。異なるのは、ステップS403の閾値hf、ステップS407の閾値hg、ステップS503の閾値hh、ステップS507の閾値hiが、それぞれステップS103の閾値ha、ステップS107の閾値hb、ステップS203の閾値ha(もしくは閾値hd)およびステップS207の閾値hb(もしくは閾値he)と異なる閾値となっている点だけである。このように、自律移動を停止するか否かと環境地図情報を更新するか否かを異なる閾値で判定することによって、それぞれの処理に合わせた適切な閾値を設定することができる。
また、本実施形態に係るペットロボット3は、環境地図情報を内部に格納しているが、サーバ等の外部機器に保持するようにしても良い。その場合、ペットロボット3は外部機器と情報を送受信する機能を持ち、環境地図情報を保持する外部機器と通信することによって、環境地図情報の更新と参照を行う。このように、環境地図情報を外部機器に保持することによって、ペットロボット3に記憶部80を備える必要が無く、ペットロボット3の軽量化を図ることができる。
また、本実施形態に係るペットロボット3は、環境地図情報作成に距離測定部40の測定結果を利用しているが、これは例示であり、本発明の範囲はこれに限られない。例えば、画像取得部20から取得した画像を制御部10が解析して、障害物の位置を判定し、環境地図情報を作成しても良い。また、ペットロボット3は、脚部70が車輪を備える場合、VSLAMによる自己位置推定にかえて、図示しないオドメトリ等を備え、その計測結果を制御部10が解析することによって、自己位置を推定しても良い。
以上の実施形態では、本発明の自律移動装置をペットロボットに適用したが、ペット用に限らず、工業用、清掃用等の他の用途のロボットに適用しても良い。また、本発明の自律移動装置をロボットではなく、自動車、玩具等に適用してもよい。
上述した、ハードウェア構成、ソフトウェア構成等は、発明の実施形態の理解を容易にするための例示であり、発明を限定するものではない。
なお、ペットロボットは、専用のシステムによらず、通常のコンピュータを用いて実現可能である。例えば、コンピュータに上述のいずれかを実行するためのプログラムを格納した記録媒体等から該プログラムをコンピュータにインストールすることにより、上述の処理を実行するペットロボットを構成することができる。
また、コンピュータにプログラムを供給するための手法は、任意である。例えば、通信回線、通信ネットワーク、通信システム等を介して供給してもよい。
また、上述の機能の一部をOS(Operation System)が提供する場合には、OSが提供する機能以外の部分をプログラムで提供すればよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記)
(付記1)
環境地図情報を参照して自律移動する自律移動装置であって、
前記環境地図情報を更新する環境地図情報更新手段と、
高さの変化を検出する検出手段と、を備え、
前記環境地図情報更新手段は、前記検出手段が基準以上の高さの変化を検出した場合には、前記環境地図情報の更新を停止するか、又は前記環境地図情報を消去する、
ことを特徴とする自律移動装置。
(付記2)
第1の動作モードと、第2の動作モードと、を含む動作モードを備える自律移動装置であって、
前記検出手段は、基準面からの高さを検出し、
前記動作モードが第1の動作モードであって、かつ前記検出手段が検出した前記基準面からの高さが基準値以上の場合には、前記動作モードを前記第2の動作モードに切り替え、前記動作モードが前記第2の動作モードであって、かつ前記検出手段が検出した基準面からの高さが基準値以下の場合には、前記動作モードを前記第1の動作モードに切り替える制御手段を備え、
前記環境地図情報更新手段は、前記動作モードが前記第2の動作モードに切り替わると、前記環境地図情報の更新を停止するか、又は前記環境地図情報を消去し、前記動作モードが前記第1の動作モードに切り替わると、前記環境地図情報の更新を再開するか、又は前記環境地図情報を消去する、
ことを特徴とする付記1に記載の自律移動装置。
(付記3)
前記検出手段は、高さの変動量を検出し、
前記制御手段は、前記動作モードが第1の動作モードであって、かつ前記検出手段が検出した高さの変動量が基準値以上基準時間内に上昇したことを示す量である場合には、前記動作モードを前記第2の動作モードに切り替え、前記動作モードが前記第2の動作モードであって、かつ前記検出手段が検出した高さの変動量が基準値以上基準時間内に下降したことを示す量である場合には、前記動作モードを前記第1の動作モードに切り替える、
ことを特徴とする付記2に記載の自律移動装置。
(付記4)
前記検出手段は、底部が物体に接触しているか否かを検出し、
前記制御手段は、さらに、前記動作モードが前記第1の動作モードであって、かつ前記検出手段が、底部が物体に接触していないことを検出した場合には、前記動作モードを前記第2の動作モードに切り替え、前記動作モードが前記第2の動作モードであって、かつ前記検出手段が、底部が物体に接触していないことを検出した場合には、前記動作モードを前記第1の動作モードに切り替える、
ことを特徴とする付記2または3に記載の自律移動装置。
(付記5)
前記動作モードを切り替えるか否かをユーザに確認する確認手段をさらに備え、
前記制御手段は、前記動作モードを切り替える前に前記確認手段から前記動作モードを切り替えるか否かの確認結果を取得し、取得した前記確認結果に応じて前記動作モードを切り替える、
ことを特徴とする付記2から4のいずれか1つに記載の自律移動装置。
(付記6)
自律移動を行う移動手段と、
高さの変動量を検出する検出手段と、を備え、
前記移動手段は、前記検出手段が基準以上の高さの変動量を検出した場合には、自律移動を停止する、
ことを特徴とする自律移動装置。
(付記7)
第1の動作モードと、第2の動作モードと、を含む動作モードを備える自律移動装置であって、
前記動作モードが第1の動作モードであって、前記検出手段が検出した高さの変動量が基準値以上基準時間内に上昇したことを示す量である場合には、前記動作モードを前記第2の動作モードに切り替え、前記動作モードが前記第2の動作モードであって、かつ前記検出手段が検出した高さの変動量が基準値以上基準時間内に下降したことを示す量である場合には、前記動作モードを前記第1の動作モードに切り替える制御手段を備え、
前記移動手段は、前記動作モードが前記第2の動作モードに切り替わると、前記自律移動を停止し、前記動作モードが前記第1の動作モードに切り替わると、前記自律移動を再開する、
ことを特徴とする付記6に記載の自律移動装置。
(付記8)
第1の動作モードと、第2の動作モードと、を含む動作モードを備える自律移動装置であって、
自律移動を行う移動手段と、
基準面からの高さを検出する検出手段と、
前記動作モードが第1の動作モードであって、かつ前記検出手段が検出した前記基準面からの高さが基準値以上の場合には、前記動作モードを前記第2の動作モードに切り替え、前記動作モードが前記第2の動作モードであって、かつ前記検出手段が検出した基準面からの高さが基準値以下の場合には、前記動作モードを前記第1の動作モードに切り替える制御手段と、を備え、
前記移動手段は、前記動作モードが前記第2の動作モードに切り替わると、前記自律移動を停止し、前記動作モードが前記第1の動作モードに切り替わると、前記自律移動を再開する、
ことを特徴とする自律移動装置。
(付記9)
前記動作モードを切り替えるか否かをユーザに確認する確認手段をさらに備え、
前記制御手段は、前記動作モードを切り替える前に前記確認手段から前記動作モードを切り替えるか否かの確認結果を取得し、取得した前記確認結果に応じて前記動作モードを切り替える、
ことを特徴とする付記7または8に記載の自律移動装置。
(付記10)
環境地図情報を参照して自律移動する自律移動方法であって、
前記環境地図情報を更新する環境地図情報更新ステップと、
高さの変化を検出する検出ステップと、を含み、
前記環境地図情報更新ステップでは、前記検出ステップで基準以上の高さの変化を検出した場合には、前記環境地図情報の更新を停止するか、又は前記環境地図情報を消去する、
ことを特徴とする自律移動方法。
(付記11)
自律移動を行う移動ステップと、
高さの変化を検出する検出ステップと、を含み、
前記移動ステップでは、前記検出ステップで基準以上の高さの変化を検出した場合には、自律移動を停止する、
ことを特徴とする自律移動方法。
(付記12)
コンピュータを付記1から9のいずれか1つに記載の自律移動装置として機能させるための、あるいはコンピュータに付記10または11に記載の方法を実行させるためのプログラム。
1,3…ペットロボット、2…床面、10…制御部、11…CPU、12…RAM、13…ROM、20…画像取得部、30…慣性測定部、40…距離測定部、50…音声出力部、60…音声入力部、70…脚部、80…記憶部、ha,hb,hc,hd,he,hf,hg,hh,hi…閾値、Ta,Tb…基準時間

Claims (12)

  1. 環境地図情報を参照して自律移動する自律移動装置であって、
    前記環境地図情報を更新する環境地図情報更新手段と、
    高さの変化を検出する検出手段と、を備え、
    前記環境地図情報更新手段は、前記検出手段が基準以上の高さの変化を検出した場合には、前記環境地図情報の更新を停止するか、又は前記環境地図情報を消去する、
    ことを特徴とする自律移動装置。
  2. 第1の動作モードと、第2の動作モードと、を含む動作モードを備える自律移動装置であって、
    前記検出手段は、基準面からの高さを検出し、
    前記動作モードが第1の動作モードであって、かつ前記検出手段が検出した前記基準面からの高さが基準値以上の場合には、前記動作モードを前記第2の動作モードに切り替え、前記動作モードが前記第2の動作モードであって、かつ前記検出手段が検出した基準面からの高さが基準値以下の場合には、前記動作モードを前記第1の動作モードに切り替える制御手段を備え、
    前記環境地図情報更新手段は、前記動作モードが前記第2の動作モードに切り替わると、前記環境地図情報の更新を停止するか、又は前記環境地図情報を消去し、前記動作モードが前記第1の動作モードに切り替わると、前記環境地図情報の更新を再開するか、又は前記環境地図情報を消去する、
    ことを特徴とする請求項1に記載の自律移動装置。
  3. 前記検出手段は、高さの変動量を検出し、
    前記制御手段は、前記動作モードが第1の動作モードであって、かつ前記検出手段が検出した高さの変動量が基準値以上基準時間内に上昇したことを示す量である場合には、前記動作モードを前記第2の動作モードに切り替え、前記動作モードが前記第2の動作モードであって、かつ前記検出手段が検出した高さの変動量が基準値以上基準時間内に下降したことを示す量である場合には、前記動作モードを前記第1の動作モードに切り替える、
    ことを特徴とする請求項2に記載の自律移動装置。
  4. 前記検出手段は、底部が物体に接触しているか否かを検出し、
    前記制御手段は、さらに、前記動作モードが前記第1の動作モードであって、かつ前記検出手段が、底部が物体に接触していないことを検出した場合には、前記動作モードを前記第2の動作モードに切り替え、前記動作モードが前記第2の動作モードであって、かつ前記検出手段が、底部が物体に接触していないことを検出した場合には、前記動作モードを前記第1の動作モードに切り替える、
    ことを特徴とする請求項2または3に記載の自律移動装置。
  5. 前記動作モードを切り替えるか否かをユーザに確認する確認手段をさらに備え、
    前記制御手段は、前記動作モードを切り替える前に前記確認手段から前記動作モードを切り替えるか否かの確認結果を取得し、取得した前記確認結果に応じて前記動作モードを切り替える、
    ことを特徴とする請求項2から4のいずれか1項に記載の自律移動装置。
  6. 自律移動を行う移動手段と、
    高さの変動量を検出する検出手段と、を備え、
    前記移動手段は、前記検出手段が基準以上の高さの変動量を検出した場合には、自律移動を停止する、
    ことを特徴とする自律移動装置。
  7. 第1の動作モードと、第2の動作モードと、を含む動作モードを備える自律移動装置であって、
    前記動作モードが第1の動作モードであって、前記検出手段が検出した高さの変動量が基準値以上基準時間内に上昇したことを示す量である場合には、前記動作モードを前記第2の動作モードに切り替え、前記動作モードが前記第2の動作モードであって、かつ前記検出手段が検出した高さの変動量が基準値以上基準時間内に下降したことを示す量である場合には、前記動作モードを前記第1の動作モードに切り替える制御手段を備え、
    前記移動手段は、前記動作モードが前記第2の動作モードに切り替わると、前記自律移動を停止し、前記動作モードが前記第1の動作モードに切り替わると、前記自律移動を再開する、
    ことを特徴とする請求項6に記載の自律移動装置。
  8. 第1の動作モードと、第2の動作モードと、を含む動作モードを備える自律移動装置であって、
    自律移動を行う移動手段と、
    基準面からの高さを検出する検出手段と、
    前記動作モードが第1の動作モードであって、かつ前記検出手段が検出した前記基準面からの高さが基準値以上の場合には、前記動作モードを前記第2の動作モードに切り替え、前記動作モードが前記第2の動作モードであって、かつ前記検出手段が検出した基準面からの高さが基準値以下の場合には、前記動作モードを前記第1の動作モードに切り替える制御手段と、を備え、
    前記移動手段は、前記動作モードが前記第2の動作モードに切り替わると、前記自律移動を停止し、前記動作モードが前記第1の動作モードに切り替わると、前記自律移動を再開する、
    ことを特徴とする自律移動装置。
  9. 前記動作モードを切り替えるか否かをユーザに確認する確認手段をさらに備え、
    前記制御手段は、前記動作モードを切り替える前に前記確認手段から前記動作モードを切り替えるか否かの確認結果を取得し、取得した前記確認結果に応じて前記動作モードを切り替える、
    ことを特徴とする請求項7または8に記載の自律移動装置。
  10. 環境地図情報を参照して自律移動する自律移動方法であって、
    前記環境地図情報を更新する環境地図情報更新ステップと、
    高さの変化を検出する検出ステップと、を含み、
    前記環境地図情報更新ステップでは、前記検出ステップで基準以上の高さの変化を検出した場合には、前記環境地図情報の更新を停止するか、又は前記環境地図情報を消去する、
    ことを特徴とする自律移動方法。
  11. 自律移動を行う移動ステップと、
    高さの変化を検出する検出ステップと、を含み、
    前記移動ステップでは、前記検出ステップで基準以上の高さの変化を検出した場合には、自律移動を停止する、
    ことを特徴とする自律移動方法。
  12. コンピュータを請求項1から9のいずれか1項に記載の自律移動装置として機能させるための、あるいはコンピュータに請求項10または11に記載の方法を実行させるためのプログラム。
JP2017061857A 2017-03-27 2017-03-27 自律移動装置、自律移動方法およびプログラム Pending JP2018163614A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017061857A JP2018163614A (ja) 2017-03-27 2017-03-27 自律移動装置、自律移動方法およびプログラム
US15/920,618 US11054837B2 (en) 2017-03-27 2018-03-14 Autonomous mobile apparatus adaptable to change in height, autonomous movement method and non-transitory computer-readable recording medium
CN201810249479.0A CN108664019A (zh) 2017-03-27 2018-03-23 自主移动装置、自主移动方法及计算机可读取的记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017061857A JP2018163614A (ja) 2017-03-27 2017-03-27 自律移動装置、自律移動方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2018163614A true JP2018163614A (ja) 2018-10-18

Family

ID=63582498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017061857A Pending JP2018163614A (ja) 2017-03-27 2017-03-27 自律移動装置、自律移動方法およびプログラム

Country Status (3)

Country Link
US (1) US11054837B2 (ja)
JP (1) JP2018163614A (ja)
CN (1) CN108664019A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020129422A1 (ja) * 2018-12-20 2020-06-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929759B2 (en) 2017-04-06 2021-02-23 AIBrain Corporation Intelligent robot software platform
US10963493B1 (en) * 2017-04-06 2021-03-30 AIBrain Corporation Interactive game with robot system
US10810371B2 (en) 2017-04-06 2020-10-20 AIBrain Corporation Adaptive, interactive, and cognitive reasoner of an autonomous robotic system
US11151992B2 (en) 2017-04-06 2021-10-19 AIBrain Corporation Context aware interactive robot
US10839017B2 (en) 2017-04-06 2020-11-17 AIBrain Corporation Adaptive, interactive, and cognitive reasoner of an autonomous robotic system utilizing an advanced memory graph structure
KR102220865B1 (ko) * 2018-10-02 2021-02-25 엘지전자 주식회사 청소로봇이 지면의 단차에 적응적으로 동작하는 방법 및 청소로봇
CN109974722B (zh) * 2019-04-12 2020-09-15 珠海市一微半导体有限公司 一种视觉机器人的地图更新控制方法及地图更新控制系统
JP7351757B2 (ja) * 2020-01-24 2023-09-27 株式会社日立製作所 移動するロボットを制御する方法
JP7447670B2 (ja) * 2020-05-15 2024-03-12 トヨタ自動車株式会社 自律移動装置制御システム、その制御方法及びその制御プログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000032360A1 (fr) * 1998-11-30 2000-06-08 Sony Corporation Robot et son procede de commande
JP2005092820A (ja) * 2003-09-19 2005-04-07 Sony Corp 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP2005144612A (ja) * 2003-11-17 2005-06-09 Sony Corp ロボットシステム、遠隔操作装置、ロボット装置及びその制御方法
JP2006234453A (ja) * 2005-02-23 2006-09-07 Mitsubishi Heavy Ind Ltd 自己位置標定用ランドマーク位置の登録方法
JP2006290195A (ja) * 2005-04-12 2006-10-26 Sony Corp 車両装置及びその制御方法
JP2009193240A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 移動ロボット及び環境地図の生成方法
JP2010288112A (ja) * 2009-06-12 2010-12-24 Nissan Motor Co Ltd 自己位置推定装置及び自己位置推定方法
JP2014059764A (ja) * 2012-09-18 2014-04-03 Sharp Corp 自走式制御機器、自走式制御機器の制御方法、外部機器制御システム、自走式制御機器制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2016193466A (ja) * 2015-03-31 2016-11-17 シャープ株式会社 ロボット
JP2017502372A (ja) * 2013-12-19 2017-01-19 アクチエボラゲット エレクトロルックス ロボット掃除機の障害物の乗り上げの検出

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0303384D0 (sv) * 2003-12-15 2003-12-15 Abb Ab Control system, method and computer program
JP4479372B2 (ja) * 2004-06-25 2010-06-09 ソニー株式会社 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
KR101949277B1 (ko) * 2012-06-18 2019-04-25 엘지전자 주식회사 이동 로봇
TWM451103U (zh) * 2012-10-30 2013-04-21 Agait Technology Corp 行走裝置
JP6132659B2 (ja) 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
JP7058067B2 (ja) * 2016-02-16 2022-04-21 東芝ライフスタイル株式会社 自律走行体
CN106406311B (zh) * 2016-10-14 2019-03-26 西安电子科技大学 基于信息融合与环境感知的机器人行走避障方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000032360A1 (fr) * 1998-11-30 2000-06-08 Sony Corporation Robot et son procede de commande
JP2005092820A (ja) * 2003-09-19 2005-04-07 Sony Corp 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP2005144612A (ja) * 2003-11-17 2005-06-09 Sony Corp ロボットシステム、遠隔操作装置、ロボット装置及びその制御方法
JP2006234453A (ja) * 2005-02-23 2006-09-07 Mitsubishi Heavy Ind Ltd 自己位置標定用ランドマーク位置の登録方法
JP2006290195A (ja) * 2005-04-12 2006-10-26 Sony Corp 車両装置及びその制御方法
JP2009193240A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 移動ロボット及び環境地図の生成方法
JP2010288112A (ja) * 2009-06-12 2010-12-24 Nissan Motor Co Ltd 自己位置推定装置及び自己位置推定方法
JP2014059764A (ja) * 2012-09-18 2014-04-03 Sharp Corp 自走式制御機器、自走式制御機器の制御方法、外部機器制御システム、自走式制御機器制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2017502372A (ja) * 2013-12-19 2017-01-19 アクチエボラゲット エレクトロルックス ロボット掃除機の障害物の乗り上げの検出
JP2016193466A (ja) * 2015-03-31 2016-11-17 シャープ株式会社 ロボット

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020129422A1 (ja) * 2018-12-20 2020-06-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN113196228A (zh) * 2018-12-20 2021-07-30 索尼集团公司 信息处理装置、信息处理方法和程序
JPWO2020129422A1 (ja) * 2018-12-20 2021-11-11 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US12067966B2 (en) 2018-12-20 2024-08-20 Sony Group Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
US11054837B2 (en) 2021-07-06
CN108664019A (zh) 2018-10-16
US20180275677A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
JP2018163614A (ja) 自律移動装置、自律移動方法およびプログラム
US11409295B1 (en) Dynamic positioning of an autonomous mobile device with respect to a user trajectory
JP5366048B2 (ja) 情報提供システム
JP5768273B2 (ja) 歩行者の軌跡を予測して自己の回避行動を決定するロボット
JP5142137B2 (ja) リモコン
JP2004299025A (ja) 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP2008158868A (ja) 移動体、及びその制御方法
US11433546B1 (en) Non-verbal cuing by autonomous mobile device
JP2015055974A (ja) 三次元物体認識装置、三次元物体認識方法、及び移動体
JP4886572B2 (ja) ロボット
TWI739339B (zh) 人員室內定位與移動機器人對特定人員追蹤互動之系統及其方法
US11789457B1 (en) System for collision detection in autonomous mobile device
JP2012208782A (ja) 移動予測装置、ロボット制御装置、移動予測プログラムおよび移動予測方法
US20210141381A1 (en) Information processing device, information processing system, behavior planning method, and computer program
JP2009223757A (ja) 自律移動体、その制御システム、自己位置推定方法
WO2020008754A1 (ja) 情報処理装置、最適時間推定方法、自己位置推定方法及びプログラムを記録した記録媒体
US11429110B1 (en) System for obstacle avoidance by autonomous mobile device
EP4040256A1 (en) Method for controlling robot, associated control apparatus and robot
JP5552710B2 (ja) ロボットの移動制御システム、ロボットの移動制御プログラムおよびロボットの移動制御方法
US11720117B1 (en) System to facilitate autonomous mobile device movement
US11986959B2 (en) Information processing device, action decision method and program
US11520332B1 (en) System for automated exploration by an autonomous mobile device using markers based on image features
US11233937B1 (en) Autonomously motile device with image capture
JP4311355B2 (ja) 自走式機器およびそのプログラム
US20220203537A1 (en) Control device, task system, control method and control program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180502

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200407