JP2015207120A - 自律走行体 - Google Patents

自律走行体 Download PDF

Info

Publication number
JP2015207120A
JP2015207120A JP2014086811A JP2014086811A JP2015207120A JP 2015207120 A JP2015207120 A JP 2015207120A JP 2014086811 A JP2014086811 A JP 2014086811A JP 2014086811 A JP2014086811 A JP 2014086811A JP 2015207120 A JP2015207120 A JP 2015207120A
Authority
JP
Japan
Prior art keywords
imaging
main body
body case
obstacle
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014086811A
Other languages
English (en)
Other versions
JP6599603B2 (ja
Inventor
浩太 渡邊
Kota Watanabe
浩太 渡邊
井澤　浩一
Koichi Izawa
浩一 井澤
古田　和浩
Kazuhiro Furuta
和浩 古田
裕樹 丸谷
Hiroki Marutani
裕樹 丸谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Corp
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2014086811A priority Critical patent/JP6599603B2/ja
Application filed by Toshiba Corp, Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Corp
Priority to PCT/JP2015/061761 priority patent/WO2015159961A1/ja
Priority to CN201580020190.6A priority patent/CN106255932B/zh
Priority to US15/305,055 priority patent/US9968232B2/en
Priority to KR1020167009272A priority patent/KR101834678B1/ko
Priority to CA2945743A priority patent/CA2945743C/en
Priority to EP15780246.3A priority patent/EP3133458B1/en
Publication of JP2015207120A publication Critical patent/JP2015207120A/ja
Application granted granted Critical
Publication of JP6599603B2 publication Critical patent/JP6599603B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009—Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02—Nozzles
    • A47L9/04—Nozzles with driven brushes or agitators
    • A47L9/0405—Driving means for the brushes or agitators
    • A47L9/0411—Driving means for the brushes or agitators driven by electric motor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A47L9/2826—Parameters or conditions being sensed the condition of the floor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2868—Arrangements for power supply of vacuum cleaners or the accessories thereof
    • A47L9/2873—Docking units or charging stations
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894—Details related to signal transmission in suction cleaners
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/02—Docking stations; Docking operations
    • A47L2201/022—Recharging of batteries
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

【課題】カメラによって広範囲を死角なく確実に撮像できる電気掃除機本体を提供する。
【解決手段】電気掃除機本体11は、本体ケース20と、本体ケース20に設けられ、所定の画角で撮像可能なカメラ35と、本体ケース20を走行可能とする駆動輪と、制御手段とを有する。制御手段は、走行モードと、撮像モードとを少なくとも有する。走行モードでは、制御手段は、駆動輪の駆動を制御することで本体ケース20を自律走行させる。撮像モードでは、制御手段は、所定の撮像位置に本体ケース20を自律走行させて画角以下の角度で順次隣り合う複数の方向の静止画を撮像する。
【選択図】図１

Description

本発明の実施形態は、被写体を撮像可能な撮像手段を備えた自律走行体に関する。
従来、例えばセンサなどを用いて障害物などを検出しつつ、被掃除面としての床面上を自律走行しながら床面を掃除する、いわゆる自律走行型の電気掃除機(掃除ロボット)が知られている。
近年、このような電気掃除機を用いて、外出中の自宅の様子(例えば窓が開けたままになっていないか、電気が点いたままになっていないかなど)やペットの様子などを監視および確認できるように、携帯端末からの指令によって電気掃除機が室内の様子をカメラによって自動的に撮像できるようにしたシステムがある。
このようなシステムにおいては、室内の監視および確認という観点から、可能な限り広範囲を死角なく、かつ、障害物などに遮られることなく撮像できることが好ましい。
特開２０１１−２３３１４９号公報 特開２０１３−２３５３５１号公報
本発明が解決しようとする課題は、撮像手段によって広範囲を死角なく確実に撮像できる自律走行体を提供することである。
実施形態の自律走行体は、本体ケースと、この本体ケースに設けられ、所定の画角で撮像可能な撮像手段と、本体ケースを走行可能とする駆動輪と、制御手段とを有する。この制御手段は、走行モードと、撮像モードとを少なくとも有する。走行モードでは、制御手段は、駆動輪の駆動を制御することで本体ケースを自律走行させる。撮像モードでは、制御手段は、所定の撮像位置に本体ケースを自律走行させて画角以下の角度で順次隣り合う複数の方向の静止画を撮像する。
第１の実施形態の自律走行体を示し、(a)は撮像位置への移動方法を模式的に示す平面図、(b)は撮像時の動作を示す斜視図である。 同上自律走行体の内部構造を示すブロック図である。 同上自律走行体を含むシステムを模式的に示す説明図である。 同上自律走行体を下方から示す平面図である。 同上自律走行体の撮像モード時の制御を示すフローチャートである。 第２の実施形態の自律走行体の撮像位置への移動方法を模式的に示す斜視図である。 同上自律走行体の撮像モード時の制御を示すフローチャートである。 第３の実施形態の自律走行体の撮像時の動作を(a)および(b)の順に示す斜視図である。 同上自律走行体の撮像モード時の制御を示すフローチャートである。 第４の実施形態の自律走行体の撮像位置への移動方法を模式的に示す平面図である。 同上自律走行体の撮像モード時の制御を示すフローチャートである。 第５の実施形態の自律走行体を示す斜視図である。
以下、第１の実施形態の構成を図１ないし図５を参照して説明する。
図１ないし図４において、10は走行体装置としての電気掃除装置を示し、この電気掃除装置10は、自律走行体としての電気掃除機本体11と、この電気掃除機本体11の充電用の基地部となる充電装置(充電台)12とを備えている。そして、電気掃除機本体11は、例えば掃除領域である部屋Ｒ内などに配置されたホームゲートウェイ(ルータ)などの中継手段としてのアクセスポイント14との間でＷｉ−Ｆｉ(登録商標)やＢｌｕｅｔｏｏｔｈ(登録商標)などの無線通信を用いて通信(送受信)することにより、インターネットなどの(外部)ネットワーク15を介して例えば携帯電話などの外部装置16と無線通信可能となっている。
この電気掃除機本体11は、本実施形態において、被掃除面としての床面上を自律走行(自走)しつつ床面を掃除する、いわゆる自走式のロボットクリーナである。そして、この電気掃除機本体11は、走行・掃除部として、中空状の本体ケース20、この本体ケース20内に収容された動作部(掃除部)としての電動送風機21、この電動送風機21の吸込側に連通する集塵部22、例えば走行用の複数(一対)の駆動部としての駆動輪23，23、これら駆動輪23，23を駆動させる動作部としての駆動手段であるモータ24，24、旋回用の旋回輪25、本体ケース20の下部に床面に沿って旋回可能に配置された例えば複数(一対)の旋回清掃部(掃除部)としての補助掃除手段であるサイドブラシ26，26、これらサイドブラシ26，26を旋回させる動作部(掃除部)としての旋回駆動手段であるサイドブラシモータ27，27、本体ケース20の下部に回転可能に配置された回転清掃体(掃除部)としての掃除手段である回転ブラシ28、および、この回転ブラシ28を回転駆動させる動作部(掃除部)としての回転駆動手段であるブラシモータ29などを備えている。また、この電気掃除機本体11は、入出力・制御部として、各種センサを有する動作部としてのセンサ部31、表示手段としての表示部34、撮像手段としてのカメラ35、無線通信手段である無線ＬＡＮデバイス36、および、回路基板などにより構成された制御手段37などを備えている。そして、この電気掃除機本体11には、上記の各部に対して給電する二次電池39を本体ケース20内に備えている。なお、以下、電気掃除機本体11(本体ケース20)の走行方向に沿った方向を前後方向(図３などに示す矢印FR，RR方向)とし、この前後方向に対して交差(直交)する左右方向(両側方向)を幅方向として説明する。
本体ケース20は、例えば合成樹脂などにより平坦な円柱状(円盤状)などに形成されており、円形状の下面の幅方向の中央部の後部寄りの位置に、幅方向に長手状、すなわち横長の吸込口41が開口されているとともに、この吸込口41の前方に複数の排気口42が開口されている。また、この本体ケース20には、カメラ35が配置されている。
吸込口41は、集塵部22を介して電動送風機21の吸込側と連通している。また、この吸込口41には、回転ブラシ28が回転可能に配置されている。
排気口42は、集塵部22を介して電動送風機21の排気側とそれぞれ連通している。
電動送風機21は、駆動により負圧を発生させて吸込口41から集塵部22へと塵埃を吸い込むもので、例えば吸込側を後方に向けて、かつ、軸方向を前後方向(水平方向)に沿わせて本体ケース20の内部に収容されている。なお、この電動送風機21は、例えば回転ブラシ28などによって集塵部22へと塵埃を掻き上げる構成などの場合には不要となることもあり、必須の構成ではない。
集塵部22は、電動送風機21の駆動により吸込口41から吸い込まれた塵埃を捕集するものである。
各駆動輪23は、電気掃除機本体11(本体ケース20)を床面上で前進方向および後退方向に走行(自律走行)させる、すなわち走行用のものであり、左右幅方向に沿って図示しない回転軸を有し、幅方向に対称に配置されている。
各モータ24は、例えば駆動輪23のそれぞれに対応して配置されており、各駆動輪23を独立して駆動させることが可能となっている。
旋回輪25は、本体ケース20の幅方向の略中央部で、かつ、前部に位置しており、床面に沿って旋回可能な従動輪である。
各サイドブラシ26は、放射状に突出して床面と接触する複数(例えば３つ)の清掃体としてのブラシ毛43をそれぞれ有している。そして、サイドブラシ26，26は、本体ケース20にて駆動輪23，23の前方でかつ旋回輪25の後方の両側方の位置に配置されている。
各サイドブラシモータ27は、各サイドブラシ26を、本体ケース20の幅方向中心側へと、換言すれば右側のサイドブラシ26を左側へと、左側のサイドブラシ26を右側へと、すなわち各サイドブラシ26により前方(進行方向)の塵埃を吸込口41側へと掻き集めるようにそれぞれ回転可能である。
なお、これらサイドブラシ26およびサイドブラシモータ27は、電動送風機21あるいは回転ブラシ28により充分に掃除できれば必須の構成ではない。
回転ブラシ28は、長尺状に形成され、吸込口41の幅方向両側部に両端部が回動可能に軸支されている。そして、この回転ブラシ28は、吸込口41から本体ケース20の下面の下方へと突出しており、電気掃除機本体11を床面上に載置した状態で下部が床面に接触して塵埃を掻き取るように構成されている。
ブラシモータ29は、本体ケース20の内部に収容されており、機構部としての図示しないギヤ機構を介して回転ブラシ28と接続されている。
なお、これら回転ブラシ28およびブラシモータ29は、電動送風機21あるいはサイドブラシ26，26により充分に掃除できれば必須の構成ではない。
また、センサ部31は、例えばモータ24の回転数を測定する光エンコーダなどの回転数検出手段、壁や家具などの障害物との距離を検出することで障害物を検出する例えば超音波センサあるいは赤外線センサなどの測距手段である障害物検出手段、および、床面の段差などを検出する赤外線センサなどの段差検出手段などの機能を備え、本体ケース20の上部、外周部(前部および後部)および下部などの各部に配置されている。
表示部34は、時刻や時間、あるいは電気掃除機本体11に関する各種情報を表示するものであり、例えば本体ケース20の上部に配置されている。なお、この表示部34は、例えば使用者が各種設定を直接入力可能である入力操作手段の機能を兼ね備えるタッチパネルなどとしてもよい。
カメラ35は、撮像用の撮像手段本体としてのカメラモジュールと、撮像時に制御手段37によって点灯されるＬＥＤなどの照明装置とを備えている。このカメラ35は、例えば本体ケース20の前部の左右方向の中央部にて本体ケース20の外周部あるいは上部などに配置され、本体ケース20の中心軸の径方向に沿った方向でかつ上方に傾斜した方向、本実施形態では前方から前方上部に亘る領域の静止画を所定の水平画角(例えば１０５°など)で撮像可能であるとともに、この撮像した静止画をデータ化して制御手段37に出力することが可能である。すなわち、このカメラ35は、本体ケース20の旋回中心(中心軸)から離間した位置に配置されている。
無線ＬＡＮデバイス36は、アクセスポイント14およびネットワーク15を介して外部装置と無線通信をするためのものである。したがって、この無線ＬＡＮデバイス36を介して、ネットワーク15から各種情報を受信したり、外部装置16から各種情報を入力したりすることが可能となっている。すなわち、この無線ＬＡＮデバイス36は、外部装置16からネットワーク15を介してアクセスポイント14から送信された外部信号を受信する外部信号受信手段および信号受信手段の機能を有している。
制御手段37は、制御手段本体であるＣＰＵ、このＣＰＵによって読み出されるプログラムなどの固定的なデータを格納した格納部であるＲＯＭ、プログラムによるデータ処理の作業領域となるワークエリアなどの各種メモリエリアを動的に形成するエリア格納部であるＲＡＭ、例えばカメラ35で撮像した画像データを記憶するＳＤＲＡＭなどの記憶手段であるメモリ、現在の日時などのカレンダ情報を計時するタイマなどを備えている。この制御手段37は、電動送風機21、各モータ24、各サイドブラシモータ27、ブラシモータ29、センサ部31、表示部34、カメラ35、および、無線ＬＡＮデバイス36などと電気的に接続され、センサ部31による検出結果に基づいて、自律走行するとともに電動送風機21、各モータ24、各サイドブラシモータ27、ブラシモータ29などの駆動を制御する走行モードである掃除モードと、充電装置12を介して二次電池39の充電を行う充電モードと、カメラ35による撮像を行う撮像モードと、動作待機中の待機モードとを有している。
二次電池39は、電動送風機21、各モータ24、各サイドブラシモータ27、ブラシモータ29、センサ部31、カメラ35、無線ＬＡＮデバイス36および制御手段37などに給電するものである。そして、この二次電池39は、例えば本体ケース20の下面の後部の両側に露出する充電端子45と電気的に接続されている。
一方、充電装置12は、部屋Ｒを区画する壁部Ｗの近傍など、掃除の妨げにならない位置に配置されている。この充電装置12は、充電装置ケース51内に定電流回路などの二次電池39の充電用の充電回路52が収容されているとともに、この充電回路52と電気的に接続された充電用端子53，53および商用電源と接続される給電用の電源コード54などが充電装置ケース51の外部に露出し、かつ、充電回路52の動作が充電装置制御手段58により制御されている。そして、この充電装置制御手段58は、充電回路52を介して二次電池39を充電するための充電モードと、動作待機中の待機モードとを有している。
次に、上記第１の実施形態の動作を説明する。
一般に、自律走行型の電気掃除機本体11は、電気掃除機本体11が掃除をする掃除作業と、充電装置12によって二次電池39を充電する充電作業とに大別されるが、本実施形態では、これら作業に加えて、部屋Ｒ内の様子などの静止画を撮像する撮像作業を行う。
(掃除作業)
電気掃除機本体11は、例えば予め設定された掃除開始時刻となったときなど、掃除の開始のタイミングで、待機モードから掃除モードとなった制御手段37が電動送風機21、駆動輪23，23(モータ24，24)、サイドブラシ26，26(サイドブラシモータ27，27)および回転ブラシ28(ブラシモータ29)などを駆動させ、例えば充電装置12から離脱して、駆動輪23，23により床面上を自律走行しながら掃除を開始する。なお、掃除の開始位置は、電気掃除機本体11の走行開始位置、あるいは部屋Ｒの出入り口など、任意の場所に設定可能である。
走行中、制御手段37は、センサ部31を介して例えば部屋Ｒの周囲を囲む壁部Ｗや部屋Ｒ内の障害物などとの距離、および、床面の段差などを検出することで電気掃除機本体11(本体ケース20)の走行状態を監視し、このセンサ部31からの検出に対応して駆動輪23，23(モータ24，24)を駆動させることで、障害物や段差などを回避しながら電気掃除機本体11を床面上で例えばランダムに、あるいは壁部に沿って走行させる。
そして、この電気掃除機本体11は、旋回駆動されたサイドブラシ26，26により塵埃を吸込口41へと掻き集め、電動送風機21の駆動によって発生した負圧が集塵部22を介して作用した吸込口41により、床面上の塵埃を空気とともに吸い込む。また、回転駆動された回転ブラシ28が床面の塵埃を集塵部22へと掻き取る。
吸込口41から空気とともに吸い込まれた塵埃は、集塵部22に分離捕集され、塵埃が分離された空気は電動送風機21に吸い込まれ、この電動送風機21を冷却した後、排気風となって排気口42から本体ケース20の外部へと排気される。
掃除領域の掃除が完了した、または、二次電池39の容量が所定量まで低下して掃除を完了させるのに不足している(二次電池39の電圧が放電終止電圧近傍まで低下している)などの所定条件時には、電気掃除機本体11は、制御手段37により駆動輪23，23(モータ24，24)を駆動させて充電装置12へと帰還する。なお、この帰還の際には、例えば充電装置12から出力したガイド信号に基づいて電気掃除機本体11を充電装置12に接近させるようにしてもよいし、制御手段37内に予め記憶した部屋Ｒのマップに従って充電装置12の位置に帰還してもよい。そして、電気掃除機本体11は、充電装置12まで移動(帰還)した状態で充電用端子53に充電端子45を(機械的および電気的に)接続させ、各部を停止させて掃除作業を終了する。
(充電作業)
充電装置12に電気掃除機本体11が接続された後、所定のタイミング、例えば予め設定された充電開始時刻となったとき、あるいは電気掃除機本体11が充電装置12に接続されてから所定時間が経過したときなどに、制御手段37および充電装置制御手段58はそれぞれ充電モードに移行して充電回路52を駆動させ、二次電池39の充電を開始する。そして、二次電池39の電圧が所定の使用可能電圧まで上昇したと判断すると、制御手段37および充電装置制御手段58が充電回路52による充電を停止させて充電作業を終了し、制御手段37および充電装置制御手段58がそれぞれ待機モードとなる。
(撮像作業)
図５に示すフローチャートも参照しながら説明すると、制御手段37は、外部装置16からネットワーク15を介して送信されたカメラ35での撮像を指示する外部信号である撮像指示信号を、アクセスポイント14を介して無線ＬＡＮデバイス36により受信したかどうかを例えばリアルタイム、あるいは所定時間毎に判断する(ステップ１)。なお、外部装置16と電気掃除機本体11との無線通信については、例えば外部装置16毎、および、電気掃除機本体11毎にＩＤおよびパスワードなどを設定して接続時に認証を要求することで、不正な信号に関しては受信できないようにすることが好ましい。
このステップ１において、外部装置16からネットワーク15を介して送信されたカメラ35での撮像を指示する外部信号である撮像指示信号を無線ＬＡＮデバイス36により受信したと判断したときには、まず、制御手段37が、そのモードに拘らず二次電池39の残容量を検出して、二次電池39の残容量が、カメラ35による撮像が可能な撮像可能容量であるかどうかを判断する(ステップ２)。なお、以下、撮像可能容量とは、例えば本体ケース20(電気掃除機本体11)が所定距離以上走行可能で、かつ、カメラ35による撮像および撮像した画像データを無線ＬＡＮデバイス36を介してネットワーク15から外部装置16へと送信可能な容量とする。
そして、ステップ２において、二次電池39の残容量が撮像可能容量でないと判断した場合には、制御手段37が無線ＬＡＮデバイス36を用いて例えば外部装置16に撮像不可能であることを報知し(ステップ３)、撮像指示信号を無視してステップ１に戻る。
一方、ステップ２において、二次電池39の残容量が撮像可能容量以上であると判断した場合には、制御手段37(および充電装置制御手段58)は、モードを判断する(ステップ４)。
このステップ４において、充電モードまたは待機モードであると判断した場合には、制御手段37は駆動輪23，23(モータ24，24)を駆動させ、電気掃除機本体11を充電装置12から離間させて(ステップ５)、撮像モードに移行する(ステップ６)。
一方、ステップ４において、掃除モードであると判断した場合には、制御手段37は、例えば電動送風機21、サイドブラシ26，26(サイドブラシモータ27，27)および回転ブラシ28(ブラシモータ29)の駆動を停止させて掃除を中断し(ステップ７)、ステップ６に進んで撮像モードに移行する。
そして、ステップ６の撮像モードにおいては、まず、電気掃除機本体11は制御手段37が駆動輪23，23(モータ24，24)を駆動させて本体ケース20を旋回させつつ、センサ部31の障害物検出手段(測距手段)の機能により本体ケース20とこの本体ケース20の周囲の壁部Ｗなどの障害物との距離を測定し(ステップ８)、この測定した距離が一定の所定距離以上、例えば２ｍ以上であるかどうかを制御手段37が判断する(ステップ９)。ここで、ステップ８において、本体ケース20は、例えば本実施形態では３６０°旋回するものとするが、カメラ35によって撮像する範囲などに応じて、３６０°未満の所定角度などとしてもよい。なお、以下、本体ケース20(電気掃除機本体11)の旋回とは、一方の駆動輪23(一方のモータ24)と他方の駆動輪23(他方のモータ24)とを互いに反対方向に回動させることにより、本体ケース20の中心軸を中心としてその位置を保ったまま旋回する、いわゆる超信地旋回をいうものとするが、これに限定されず、例えば所定の旋回中心の周囲に所定半径で旋回するように円走行する場合も含む。
そして、ステップ９において、例えば本体ケース20とこの本体ケース20の周囲の障害物との距離が所定距離(２ｍ)以上でない(所定距離(２ｍ)未満である)と判断した場合には、制御手段37は駆動輪23，23(モータ24，24)を駆動させて本体ケース20をその障害物(壁部Ｗなど)から離間する方向へと走行させ(ステップ10、図１(a))、ステップ８に戻る。なお、このとき走行させる距離は、例えばステップ９の判断に用いる所定距離と、本体ケース20と障害物との距離との差以上、あるいは所定距離そのものとすることで、その障害物から確実に所定距離以上離間することができる。また、ステップ９において、本体ケース20とこの本体ケース20の周囲の障害物との距離が所定距離(２ｍ)以上であると判断した場合には、本体ケース20(電気掃除機本体11)が、周囲の所定距離内に壁部Ｗなどがない、部屋Ｒの中央部などにあるものと判断し、その位置を撮像位置に設定する(ステップ11)。
この後、制御手段37は、その位置でカメラ35により撮像し(ステップ12)、制御手段37が駆動輪23，23(モータ24，24)を駆動させて本体ケース20をカメラ35の水平画角以下の所定角度、好ましくは水平画角の半分以下の所定角度、本実施形態では例えば３０°左方向(または右方向)へと旋回させる(ステップ13、図１(b))。次いで、制御手段37は、本体ケース20が撮像位置においてカメラ35の画角よりも大きい所定の撮像角度、例えば３６０°以上旋回したかどうかを判断し(ステップ14)、所定の撮像角度(３６０°)以上旋回していない(所定の撮像角度(３６０°)未満旋回した)と判断した場合には、ステップ12に戻る。このように制御することで、電気掃除機本体11は、カメラ35の水平画角以下の角度で順次隣り合う複数の方向の静止画を、所定の撮像角度分(例えば３６０°)撮像できる。したがって、これら静止画には、互いに徐々に重複する箇所が存在し、本実施形態では、互いに隣接する静止画の半分以上が重複しており、全体として所定の撮像角度に亘って死角なく静止画が撮像されている。
また、ステップ14において、所定の撮像角度(３６０°)以上旋回したと判断した場合には、制御手段37は、カメラ35で撮像されて出力された複数枚の静止画を例えば所定の画像形式に圧縮してメモリに一時保存するとともに、これら静止画像をそれぞれ、または、隣接する静止画から重複する箇所を連続させるように画像処理したパノラマ画像を無線ＬＡＮデバイス36から無線送信する(ステップ15)。この無線送信された画像データは、ネットワーク15に接続されたサーバ59に保存され、外部装置16を介して任意のタイミングで遠隔から確認できる。
次いで、制御手段37は、撮像モードに移行する直前のモードを判断する(ステップ16)。このステップ16において、充電モードまたは待機モードであったと判断したときには、制御手段37が掃除作業時と同様に電気掃除機本体11を充電装置12に帰還させ、充電装置制御手段58とともに充電モードに移行する(ステップ17)。
一方、ステップ16において、掃除モードであった(掃除モードを中断して撮像モードに移行した)と判断したときには、制御手段37が二次電池39の容量が残りの掃除に要する容量と比較して充分であるかどうかを判断し(ステップ18)、容量が充分と判断したときには制御手段37が電動送風機21、サイドブラシ26，26(サイドブラシモータ27，27)および回転ブラシ28(ブラシモータ29)を駆動させて掃除に復帰し(ステップ19)、容量が不充分と判断したときには、ステップ17に進み、掃除作業時と同様に電気掃除機本体11を充電装置12に帰還させて充電モードに移行する。なお、撮像モードに移行する直前のモードに拘らず、撮像モードが終了した場合には必ず充電モードに移行するように制御してもよい。この場合、二次電池39の充電が終了した後には、例えばそのまま待機モードに移行してもよいし、この充電の後、撮像モードに移行する直前のモードが掃除モードであった場合にのみ、掃除に復帰してもよい。
このように、上記第１の実施形態によれば、センサ部31の測距手段である障害物検出手段の機能により本体ケース20の周囲の一定距離以内(図１(a)の仮想円Ｃ内)に障害物を検出しない位置を撮像位置とすることで、障害物に遮られることなく室内を効果的にカメラ35によって撮像でき、室内の様子をより容易に確認できる。
次に、第２の実施形態を図６および図７を参照して説明する。なお、上記第１の実施形態と同様の構成および作用については、同一符号を付してその説明を省略する。
この第２の実施形態は、上記第１の実施形態と撮像モード時の本体ケース20(電気掃除機本体11)の撮像位置への移動方法が異なっており、障害物との距離が所定距離以上の位置へと移動するものである。
具体的に、本実施形態では、上記第１の実施形態のステップ８ないしステップ10に代えて、以下のステップ21ないしステップ23の制御を行う。
すなわち、電気掃除機本体11は、センサ部31の障害物検出手段(測距手段)の機能により本体ケース20とこの本体ケース20のカメラ35側、本実施形態では前方の壁部Ｗなどの障害物との距離を測定し(ステップ21)、この測定した距離が所定距離以上、例えば２ｍ以上であるかどうかを制御手段37が判断する(ステップ22)。そして、このステップ22において、所定距離(２ｍ)以上でない(所定距離(２ｍ)未満である)と判断した場合には、制御手段37は駆動輪23，23(モータ24，24)を駆動させて本体ケース20をその障害物から離間する方向へと例えば数秒程度走行させ(ステップ23)、ステップ11に進む。また、ステップ22において、所定距離(２ｍ)以上であると判断した場合には、そのままステップ11に進む。
つまり、本実施形態では、電気掃除機本体11(本体ケース20)の周囲に障害物があるかどうかではなく、単に電気掃除機本体11(本体ケース20)のカメラ35により撮像する側の所定距離以内に障害物があるかどうかを判断し、障害物から離間する方向に所定距離移動した位置を撮像位置とする。この結果、より簡単な制御で障害物に遮られることなく室内を効果的にカメラ35によってより短時間で撮像でき、室内の様子をより容易に確認できる。
次に、第３の実施形態を図８および図９を参照して説明する。なお、上記各実施形態と同様の構成および作用については、同一符号を付してその説明を省略する。
この第３の実施形態は、上記各実施形態のように、撮像モード時の本体ケース20(電気掃除機本体11)の撮像位置を障害物によりカメラ35が遮られない位置とするのではなく、カメラ35の撮像方向そのものを変えるものである。
具体的に、本実施形態では、上記第１の実施形態のステップ８ないしステップ10に代えて、以下のステップ25ないしステップ28の制御を行う。
すなわち、電気掃除機本体11は、センサ部31の障害物検出手段(測距手段)の機能により本体ケース20とこの本体ケース20のカメラ35側、本実施形態では前方の壁部Ｗなどの障害物との距離を測定し(ステップ25)、所定距離、例えば３０ｃｍ以内に障害物が存在しているかどうかを制御手段37が判断する(ステップ26)。そして、このステップ26において、所定距離(３０ｃｍ)以内に障害物が存在していないと判断した場合には、制御手段37は駆動輪23，23(モータ24，24)を駆動させて本体ケース20を例えば前方などへと所定距離走行させ(ステップ27)、ステップ25に戻る。また、ステップ26において、所定距離(３０ｃｍ)以内に障害物が存在していると判断した場合(図８(a))には、制御手段37はその位置を撮像位置に設定(ステップ11)した後、駆動輪23，23(モータ24，24)を駆動させて本体ケース20をその撮像位置で障害物と反対方向へと所定角度、例えば９０°旋回させ(ステップ28、図８(b))、ステップ12に進む。
なお、ステップ14において、上記各実施形態では所定の撮像角度を３６０°としたが、本実施形態の場合には、本体ケース20(電気掃除機本体11)のカメラ35により撮像する側の反対側に障害物が近接して存在していることがステップ26で既知であるため、この障害物を撮像しないよう、所定の撮像角度を１８０°とする。
このように、上記第３の実施形態によれば、センサ部31の障害物検出手段の機能により障害物を検出した位置を撮像位置とし、その障害物(壁部Ｗなど)と反対側をカメラ35により撮像することで、いわば部屋Ｒの壁際から室内全体を撮像する効果が期待できる。したがって、室内の様子を１回の撮像シーケンスによって概ね把握することが可能になる。
なお、上記第２および第３の実施形態において、ステップ21およびステップ25に用いるセンサ部31の障害物検出手段の機能は、超音波センサなどによる測距手段に限らず、例えば接触により障害物を検出する接触検出手段などでもよい。この場合には、構成をより簡略化でき、電気掃除機本体11をより安価に製造できる。
そして、以上説明した少なくとも一つの実施形態によれば、センサ部31の障害物検出手段の機能による障害物の検出に基づいて制御手段37がカメラ35による撮像位置を設定するので、障害物を確実に避けた位置での撮像が可能になり、広範囲を死角なくより確実に撮像できる。
次に、第４の実施形態を図１０および図１１を参照して説明する。なお、上記各実施形態と同様の構成および作用については、同一符号を付してその説明を省略する。
この第４の実施形態は、上記各実施形態と異なり、撮像モードにおいて、無線ＬＡＮデバイス36により無線信号(誘導信号)を受信したときに、この無線信号を送信した対象(被写体Ｐ)と本体ケース20との位置関係に基づいて撮像位置を設定するものである。
ここで、無線信号を送信した対象(被写体Ｐ)とは、例えば部屋Ｒ内のペットや植物などに位置情報となる赤外線や電波などの電磁波を出力する例えばビーコンや無線ＩＣタグなどの無線送信手段61を取り付けたものであり、この無線送信手段61から送信される無線信号(誘導信号)を無線ＬＡＮデバイス36により受信すると、その無線信号が送信された方向に向かって制御手段37が本体ケース20(電気掃除機本体11)を自律走行させるように制御する。
具体的に、上記第１の実施形態のステップ８ないしステップ10に代えて、以下のステップ31ないしステップ34の制御を行う。
すなわち、制御手段37は、無線ＬＡＮデバイス36を介して上記無線信号を受信したかどうかを判断し(ステップ31)、無線信号を受信していないと判断した場合には、制御手段37は駆動輪23，23(モータ24，24)を駆動させて本体ケース20を例えば前方などへと所定距離走行させ(ステップ32)、ステップ31に戻る。
一方、ステップ31において、無線信号を受信したと判断した場合には、制御手段37は駆動輪23，23(モータ24，24)を駆動させて本体ケース20を無線信号方向に向かって所定距離走行させ(ステップ33)、センサ部31の障害物検出手段の機能により、無線信号を送信した対象(被写体Ｐの無線送信手段61)までの距離が所定距離、例えば１ｍ以下であるかどうかを判断する(ステップ34)。
そして、このステップ34において、無線信号を送信した対象(被写体Ｐの無線送信手段61)までの距離が所定距離(１ｍ)以下でないと判断した場合には、ステップ31に戻り、無線信号を送信した対象(被写体Ｐの無線送信手段61)までの距離が所定距離(１ｍ)以下であると判断した場合には、ステップ11に進む。
なお、ステップ14において、上記第１および第２の実施形態では所定の撮像角度を３６０°としたが、本実施形態の場合には、基本的に無線信号を送信した対象(被写体Ｐ)とその周辺が撮像できればよいため、所定の撮像角度を１８０°程度とする。
このように、上記第４の実施形態によれば、無線ＬＡＮデバイス36により無線信号を受信したときに、制御手段37が、無線信号を送信した対象と本体ケース20との位置関係に基づいて撮像位置を設定するので、特定の撮像したい被写体Ｐに無線送信手段61を取り付けておくだけで、容易かつ確実に被写体Ｐを撮像できる。
特に、例えば被写体Ｐをペットなどとした場合には、ペットに無線送信手段61を取り付けておくことで、仮にペットが移動した場合であっても、電気掃除機本体11がペットの位置を検出して、その位置近傍に移動してペットを確実に撮像できる。
また、例えば被写体Ｐを植物などとした場合には、この植物に無線送信手段61を取り付けておくことで、定期的に植物の成長過程をモニタリングできる。
なお、上記第４の実施形態において、無線信号を送信した対象(被写体Ｐの無線送信手段61)を撮像する際、カメラ35の撮像方向において、その対象との間に他の障害物がある場合には対象を適切に撮像できないため、センサ部31を利用してその障害物から適当な距離を取った位置に本体ケース20を移動させ、その位置から撮像するようにしてもよい。
また、無線送信手段61が常時無線信号を送信する構成に代えて、無線受信手段を設けて、例えば無線ＬＡＮデバイス36から要求信号となる無線信号を送信し、その無線信号を無線受信手段により受信したときに、応答して無線送信手段61から無線信号を送信するようにしてもよい。
さらに、上記各実施形態において、本体ケース20を旋回させることによってカメラ35を旋回させたが、カメラ35を本体ケース20に対して旋回可能に取り付けておき、カメラ35のみを旋回させるようにしてもよい。この場合には、駆動輪23，23(モータ24，24)を駆動させて本体ケース20を走行させる場合と比較して、二次電池39の消費電力が抑制され、二次電池39をより長持ちさせることができる。
また、本体ケース20の旋回とカメラ35による撮像とを繰り返す場合、カメラ35の水平画角以下の所定角度旋回し、その旋回を都度停止してから撮像するほうが静止画の画質を向上でき好ましいが、カメラ35のシャッタスピードに対して相当遅い速度で旋回する場合には、旋回しながら所定角度毎に撮像しても同様の作用効果を奏することができる。
さらに、カメラ35は、本体ケース20の中心軸に対して径方向外側を向いて撮像するようにすれば、本体ケース20の後部などに配置することもできる。この場合、例えば上記第３の実施形態において、ステップ25で本体ケース20の前方、すなわちカメラ35と反対側の障害物との距離をセンサ部31の障害物検出手段(測距手段)の機能により測定するようにすれば、ステップ28において障害物に対して反対方向へと旋回することなくそのままカメラ35によって撮像でき、制御がより容易になる。
そして、以上説明した少なくとも一つの実施形態によれば、制御手段37が駆動輪23，23(モータ24，24)の駆動を制御することで本体ケース20を旋回可能としたので、カメラ35やセンサ部31を多数設けて構成を複雑化することなく、安価に構成できる。しかも、電気掃除機本体11は、自律走行するために通常本体ケース20が旋回可能に構成されているので、この構成をそのまま有効利用でき、撮像モードのためだけに本体ケース20を旋回可能とする構成を別途追加する必要もない。
一方、上記各実施形態において、図１２に示す第５の実施形態のように、本体ケース20にカメラ35をその画角以下の角度で離間して周方向に複数設けるとともにセンサ部31を複数設ける場合には、カメラ35による撮像やセンサ部31による検出の際の旋回(例えば第１の実施形態のステップ８、第３の実施形態のステップ28、および、各実施形態のステップ12ないしステップ14)が不要となり、制御をより簡略化できる。
なお、上記第１ないし第３および第５の実施形態において、電気掃除機本体11に、例えば人感センサなどの赤外線検出手段、本体ケース20(電気掃除機本体11)の外部の温度を検出可能な温度検出手段、本体ケース20(電気掃除機本体11)の外部の音量や周波数などを検出可能なマイクロフォンなどの音検出手段、本体ケース20(電気掃除機本体11)の外部の照度を検出可能な照度検出手段、本体ケース20(電気掃除機本体11)の外部の一酸化炭素などの有毒ガスを検出可能なガス検出手段、あるいは、本体ケース20(電気掃除機本体11)の外部の臭気を検出可能な臭気検出手段などを設け、それら検出手段による検出に基づいて撮像モードに移行するようにしてもよい。すなわち、撮像モードに移行するためのトリガは、任意に設定することが可能である。
赤外線検出手段を用いる場合には、例えば空き巣などの侵入者などを検出したときにカメラ35によって撮像することで宅内の防犯に使用できるだけでなく、留守時のペットや子供の見守りにも使用できるとともに、例えばストーブなどの火元の消し忘れや火事の発生などを検出したときにカメラ35によって撮像することで使用者に報知できる。
同様に、温度検出手段を用いる場合には、例えば３２℃以上などの高温を検出したときにカメラ35によって撮像することで、宅内の防犯や火事の報知などに利用できる。
さらに、音検出手段を用いる場合には、例えばガラスの割れる音や物が倒れる音などの異常な音、あるいは大きな音(例えば６０ｄＢ以上)を検出したときにカメラ35によって撮像することで、宅内の防犯として使用できるだけでなく、例えば部屋Ｒに使用者などがいる場合でも、家族間のコミュニケーションを検出してカメラ35によって撮像することも可能になる。
また、照度検出手段を用いる場合には、例えば部屋Ｒ内の突然の照度変化(例えば１００ｌｘ以上の変化)を検出したときにカメラ35によって撮像することで、火事などの異常を使用者に対して報知できるだけでなく、部屋Ｒの灯りの点灯により、他の家族などの帰宅を確認できる。
さらに、ガス検出手段や臭気検出手段を用いる場合には、例えば一酸化炭素やその臭いを検出したときにカメラ35によって撮像することで、宅内の異常を使用者に報知できる。
また、上記各実施形態において、二次電池39の充電作業中に撮像指示信号を受信した場合には、二次電池39が所定容量(例えば満充電など)まで充電されるまでの間待機し、充電した後に撮像モードに移行してもよい。
また、電気掃除機本体11に自律走行体の機能を持たせたが、自律走行体としては、掃除をするものに限られず、単にカメラ35を用いて撮像するためのものなどとしてもよい。
さらに、撮像モード中に例えば電気掃除機本体11がネットワーク15(アクセスポイント14)との通信の死角に入ってしまった場合など、このネットワーク15と無線ＬＡＮデバイス36との通信が途切れた場合には、その位置で電気掃除機本体11を停止させたり、所定位置まで自律走行させた後に電気掃除機本体11を停止させたりしてもよい。
そして、無線ＬＡＮデバイス36を用いた無線通信は電力を消費するため、二次電池39の電力を用いている状態、すなわち掃除中などには、無線ＬＡＮデバイス36による通信を抑制することが好ましい。したがって、掃除モード中に撮像指示信号を受信した場合には、無線ＬＡＮデバイス36を用いてネットワーク15を介して現在掃除中である旨を使用者に報知し、撮像指示信号を無視するように制御し、電気掃除機本体11が充電装置12に接続されている充電モードまたは待機モード時にのみ、撮像モードへの移行を可能としてもよい。
また、外部装置16を介して撮像指示信号を受信したときに撮像モードに移行したが、例えば予め記憶した所定時刻になったときや所定時間毎など、タイマを用いて自動的に撮像モードに移行するようにしてもよい。この場合、所定時刻や所定時間は、図示しないリモコンなどの外部入力手段や入力操作手段の機能を備える表示部34などを介して電気掃除機本体11(制御手段37)に直接設定してもよいし、外部装置16から遠隔設定してもよい。そして、この構成では、使用者が定期的に撮像したい対象があるときに自動で撮像することが可能となる。
また、上記各実施形態の制御は、１つの電気掃除機本体11に全て搭載し、それらを使用者が選択および設定して用いるようにしてもよい。
さらに、例えば撮像モードに移行した後、走行中に電気掃除機本体11が段差などに乗り上げて走行不能状態となった(スタックした)場合には、制御手段37が駆動輪23，23(モータ24，24)を駆動させて後退したり旋回したりして走行不能状態から脱しようとするものの、それでも走行不能状態から脱出できない場合には、例えばカメラ35によって現在位置の静止画を撮像して外部へと送信しておくことにより、使用者が電気掃除機本体11の位置を静止画によって確認でき、仮に二次電池39の容量不足で電気掃除機本体11が動作できない状態となっていたとしても、外出中の使用者が帰宅した際などに電気掃除機本体11を容易かつ確実に見つけ出すことができる。
また、撮像モードにおいてカメラ35で撮像した画像データは、外部に送信せず、メモリに記憶しておき、使用者が所望のときに確認できるようにしておいてもよい。
さらに、カメラ35は、撮像モードだけでなく、掃除モードでも活用できる。例えば、被掃除面の段差や障害物による走行不能時にカメラ35により撮像することで、掃除できなかった箇所を使用者に報知できる。本体ケース20(電気掃除機本体11)が走行不能と判断するケースとしては、センサ部31の段差検出手段の機能による本体ケース20の浮き上がり(乗り上げ)の検出や、障害物検出手段(測距手段)からの出力に変化がない場合などが挙げられる。また、カメラ35により撮像する際には、走行不能状態から制御手段37が駆動輪23，23(モータ24，24)を駆動させて後退したり旋回したりして本体ケース20の走行が復帰してから実施してもよい。さらに、電気掃除機本体11が隙間へ侵入できない場合に、カメラ35によって撮像することで掃除ができなかった箇所を使用者に報知することもできる。例えば、本体ケース20のセンサ部31に障害物などとの接触を検出する接触検出手段の機能を持たせ、センサ部31の障害物検出手段の機能により障害物を検出していないにも拘らず、接触検出手段の機能により接触が検出された場合などが挙げられる。このように、電気掃除機11の掃除可能箇所を使用者に認知させることで、掃除意識をさらに向上させることができる。
また、撮像指示信号は、二次電池39を充電する充電モード中には無視したが、例えば、充電モード中でもセンサ部31に電力を供給しておき、充電モード中でも撮像指示信号を受け付けるようにすることで、部屋Ｒの様子を常時監視できる。
以上説明した少なくとも一つの実施形態によれば、制御手段37が、所定の撮像位置に本体ケース20を自律走行させてカメラ35の画角以下の角度で順次隣り合う複数の方向の静止画をカメラ35により撮像する撮像モードを有するので、カメラ35によって広範囲を死角なく確実に撮像できる。したがって、例えば室内の様子や変化などを効果的に捉えることができる。なお、撮像指示信号を受信した位置が所定の撮像位置であった場合には、その位置で撮像を行う。すなわち、撮像モードにおいて、所定の撮像位置に本体ケース20を自律走行させるとは、本体ケース20の自律走行距離が０である場合を含む。
また、撮像した静止画を無線送信する場合には、この静止画を使用者が外部装置16を用いて容易に確認できる。したがって、外出中などでも、宅内の様子を確実に把握することができる。
さらに、撮像した静止画を画像処理してパノラマ画像を生成する場合には、より視認性が向上する。
しかも、本体ケース20またはカメラ35を旋回させて一定の角度(画角以下の角度)毎に各静止画を撮像するため、一定の撮像高さでぶれなく撮像できるとともに、隣接する静止画同士の角度も一定となる。したがって、パノラマ画像を生成する際にも、重複している部分の一方を単に削除したり、重複している部分を重ねた処理としたりするなど、様々な方法を用いて容易に処理できる。
また、カメラ35により撮像する際の旋回角度をその水平画角の半分以下とすることで、隣接する静止画に重複して撮像される部分が多くなるので、パノラマ画像を生成する際の処理において、カメラ35のレンズによる歪みなどの補正を抑制でき、画像処理がより容易になるとともに、生成したパノラマ画像の画質をより向上できる。
さらに、カメラ35の撮像指示信号を、外部装置16から出力可能とすることにより、使用者自身で撮像指示を出すことができ、所望のタイミングで今の部屋Ｒの状態などリアルタイムに確認できる。
そして、センサ部31の障害物検出手段の機能として、超音波センサなどの非接触式のセンサを用いることで、接触式のセンサなどを用いる場合と比較して、電気掃除機本体11が障害物に過度に衝突することがなく、衝突音の発生や本体ケース20あるいは障害物の傷付きなどが生じることもない。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
11 自律走行体としての電気掃除機本体
20 本体ケース
23 駆動輪
31 測距手段である障害物検出手段の機能を有するセンサ部
35 撮像手段としてのカメラ
36 無線通信手段である無線ＬＡＮデバイス
37 制御手段

Claims (7)

  1. 本体ケースと、
    この本体ケースに設けられ、所定の画角で撮像可能な撮像手段と、
    前記本体ケースを走行可能とする駆動輪と、
    この駆動輪の駆動を制御することで前記本体ケースを自律走行させる走行モードと、所定の撮像位置に前記本体ケースを自律走行させて前記画角以下の角度で順次隣り合う複数の方向の静止画を撮像する撮像モードとを少なくとも有する制御手段と
    を具備したことを特徴とした自律走行体。
  2. 本体ケースに設けられ、障害物を検出する障害物検出手段を具備し、
    制御手段は、撮像モードにおいて、前記障害物検出手段による障害物の検出に基づいて撮像手段による撮像位置を設定する
    ことを特徴とした請求項１記載の自律走行体。
  3. 障害物検出手段は、障害物との距離を検出することで障害物の有無を検出する測距手段であり、
    制御手段は、撮像モードにおいて、前記測距手段により本体ケースの周囲の一定距離以内に障害物を検出しない位置を撮像位置とする
    ことを特徴とした請求項２記載の自律走行体。
  4. 制御手段は、撮像モードにおいて、障害物検出手段により障害物を検出したときに、この障害物から離間する方向に所定距離移動した位置を撮像位置とする
    ことを特徴とした請求項２記載の自律走行体。
  5. 制御手段は、撮像モードにおいて、障害物検出手段により障害物を検出した位置を撮像位置とし、その障害物と反対側を撮像手段により撮像する
    ことを特徴とした請求項２記載の自律走行体。
  6. 無線通信可能な無線通信手段を具備し、
    制御手段は、撮像モードにおいて、前記無線通信手段により無線信号を受信したときに、この無線信号を送信した対象と本体ケースとの位置関係に基づいて撮像位置を設定する
    ことを特徴とした請求項１記載の自律走行体。
  7. 制御手段は、駆動輪の駆動を制御することで本体ケースを旋回可能である
    ことを特徴とした請求項１ないし６いずれか一記載の自律走行体。
JP2014086811A 2014-04-18 2014-04-18 自律走行体 Active JP6599603B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2014086811A JP6599603B2 (ja) 2014-04-18 2014-04-18 自律走行体
CN201580020190.6A CN106255932B (zh) 2014-04-18 2015-04-16 自主行走体
US15/305,055 US9968232B2 (en) 2014-04-18 2015-04-16 Autonomous traveling body
KR1020167009272A KR101834678B1 (ko) 2014-04-18 2015-04-16 자율 주행체
PCT/JP2015/061761 WO2015159961A1 (ja) 2014-04-18 2015-04-16 自律走行体
CA2945743A CA2945743C (en) 2014-04-18 2015-04-16 Autonomous traveling body
EP15780246.3A EP3133458B1 (en) 2014-04-18 2015-04-16 Autonomous traveling body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014086811A JP6599603B2 (ja) 2014-04-18 2014-04-18 自律走行体

Publications (2)

Publication Number Publication Date
JP2015207120A true JP2015207120A (ja) 2015-11-19
JP6599603B2 JP6599603B2 (ja) 2019-10-30

Family

ID=54324162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014086811A Active JP6599603B2 (ja) 2014-04-18 2014-04-18 自律走行体

Country Status (7)

Country Link
US (1) US9968232B2 (ja)
EP (1) EP3133458B1 (ja)
JP (1) JP6599603B2 (ja)
KR (1) KR101834678B1 (ja)
CN (1) CN106255932B (ja)
CA (1) CA2945743C (ja)
WO (1) WO2015159961A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020039571A (ja) * 2018-09-10 2020-03-19 日立グローバルライフソリューションズ株式会社 自律走行型掃除機

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6826804B2 (ja) * 2014-08-29 2021-02-10 東芝ライフスタイル株式会社 自律走行体
DE102015111392A1 (de) * 2015-07-14 2017-01-19 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines Flächenbearbeitungsgerätes
DE102015113035A1 (de) 2015-08-07 2017-02-09 Vorwerk & Co. Interholding Gmbh Flächenbearbeitungsgerät und Basisstation
KR102434410B1 (ko) * 2015-12-14 2022-08-22 삼성전자주식회사 전자장치 및 그의 동작 방법
KR102506421B1 (ko) * 2016-05-26 2023-03-07 삼성전자주식회사 청소 로봇 및 그 제어 방법
KR102601463B1 (ko) * 2016-10-28 2023-11-14 삼성전자주식회사 로봇 청소기 및 그 구동 방법
KR20180087798A (ko) 2017-01-25 2018-08-02 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN108272392A (zh) * 2018-02-05 2018-07-13 苏州木山云智能科技有限公司 一种智能扫地机器人的远程控制方法
US10595696B2 (en) 2018-05-01 2020-03-24 Sharkninja Operating Llc Docking station for robotic cleaner
US11497363B2 (en) 2018-07-20 2022-11-15 Sharkninja Operating Llc Robotic cleaner debris removal docking station

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108148A (ja) * 1991-07-23 1993-04-30 Nissan Motor Co Ltd 自律走行車両の走行用データ演算装置
JP2003268377A (ja) * 2002-01-09 2003-09-25 Nippon Steel Corp 炉壁観察装置
JP2004133846A (ja) * 2002-10-15 2004-04-30 Matsushita Electric Ind Co Ltd 走行装置
JP2005038035A (ja) * 2003-07-16 2005-02-10 Nikon System:Kk 画像処理装置、画像処理方法およびプログラム
JP2005205529A (ja) * 2004-01-22 2005-08-04 Matsushita Electric Ind Co Ltd 自走式機器およびそのプログラム
JP2006139525A (ja) * 2004-11-12 2006-06-01 Hitachi Home & Life Solutions Inc 自律移動型ロボット
JP2006201991A (ja) * 2005-01-20 2006-08-03 Matsushita Electric Ind Co Ltd 自走式監視装置およびそのプログラム
JP2008090575A (ja) * 2006-10-02 2008-04-17 Honda Motor Co Ltd 移動ロボット
JP2013235351A (ja) * 2012-05-07 2013-11-21 Sharp Corp 自走式電子機器

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496754B2 (en) * 2000-11-17 2002-12-17 Samsung Kwangju Electronics Co., Ltd. Mobile robot and course adjusting method thereof
IL139995A (en) * 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
WO2003066775A1 (en) * 2002-01-09 2003-08-14 Nippon Steel Corporation Furnace wall observation device and furnace wall shape measuring device
US7213985B1 (en) * 2002-08-12 2007-05-08 Laurence L Chen Method for image reproduction and recording with the methods for positioning, processing and controlling
US7177737B2 (en) * 2002-12-17 2007-02-13 Evolution Robotics, Inc. Systems and methods for correction of drift via global localization with a visual landmark
JP3879848B2 (ja) * 2003-03-14 2007-02-14 松下電工株式会社 自律移動装置
KR100571834B1 (ko) * 2004-02-27 2006-04-17 삼성전자주식회사 청소 로봇의 바닥 먼지 검출 방법 및 장치
US20100222925A1 (en) * 2004-12-03 2010-09-02 Takashi Anezaki Robot control apparatus
JP2007316966A (ja) * 2006-05-26 2007-12-06 Fujitsu Ltd 移動ロボット、その制御方法及びプログラム
US8180486B2 (en) * 2006-10-02 2012-05-15 Honda Motor Co., Ltd. Mobile robot and controller for same
KR20090043088A (ko) * 2007-10-29 2009-05-06 삼성전자주식회사 영상 기반의 로봇 고장 자가 진단 장치 및 방법
JP5215740B2 (ja) * 2008-06-09 2013-06-19 株式会社日立製作所 移動ロボットシステム
KR101570377B1 (ko) 2009-03-31 2015-11-20 엘지전자 주식회사 단일 카메라를 장착한 로봇 청소기의 3차원 환경 인식 방법
TWI388956B (zh) * 2009-05-20 2013-03-11 Univ Nat Taiwan Science Tech 行動機器人與其目標物處理路徑的規劃方法
CN101941012B (zh) * 2009-07-03 2012-04-25 泰怡凯电器(苏州)有限公司 清洁机器人及其脏物识别装置和该机器人的清洁方法
CN102782600B (zh) * 2009-11-27 2015-06-24 丰田自动车株式会社 自动移动体及其控制方法
KR20110119118A (ko) 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
WO2012068675A1 (en) * 2010-11-25 2012-05-31 Lester Kirkland An imaging robot
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
US9155675B2 (en) * 2011-10-12 2015-10-13 Board Of Trustees Of The University Of Arkansas Portable robotic device
KR20130097623A (ko) * 2012-02-24 2013-09-03 삼성전자주식회사 센서 어셈블리 및 이를 구비한 로봇청소기
US20140267772A1 (en) * 2013-03-15 2014-09-18 Novatel Inc. Robotic total station with image-based target re-acquisition
EP2787319A1 (de) * 2013-04-05 2014-10-08 Leica Geosystems AG Steuerung einer Bildauslösung zur Luftbilderfassung in Nadir-Ausrichtung für ein unbemanntes Fluggerät
FR3004570B1 (fr) * 2013-04-11 2016-09-02 Aldebaran Robotics Procede d'estimation de la deviation angulaire d'un element mobile relativement a une direction de reference
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
WO2015143173A2 (en) * 2014-03-19 2015-09-24 Neurala, Inc. Methods and apparatus for autonomous robotic control
US9626566B2 (en) * 2014-03-19 2017-04-18 Neurala, Inc. Methods and apparatus for autonomous robotic control
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
JP6562736B2 (ja) * 2015-06-29 2019-08-21 シャープ株式会社 自律走行装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108148A (ja) * 1991-07-23 1993-04-30 Nissan Motor Co Ltd 自律走行車両の走行用データ演算装置
JP2003268377A (ja) * 2002-01-09 2003-09-25 Nippon Steel Corp 炉壁観察装置
JP2004133846A (ja) * 2002-10-15 2004-04-30 Matsushita Electric Ind Co Ltd 走行装置
JP2005038035A (ja) * 2003-07-16 2005-02-10 Nikon System:Kk 画像処理装置、画像処理方法およびプログラム
JP2005205529A (ja) * 2004-01-22 2005-08-04 Matsushita Electric Ind Co Ltd 自走式機器およびそのプログラム
JP2006139525A (ja) * 2004-11-12 2006-06-01 Hitachi Home & Life Solutions Inc 自律移動型ロボット
JP2006201991A (ja) * 2005-01-20 2006-08-03 Matsushita Electric Ind Co Ltd 自走式監視装置およびそのプログラム
JP2008090575A (ja) * 2006-10-02 2008-04-17 Honda Motor Co Ltd 移動ロボット
JP2013235351A (ja) * 2012-05-07 2013-11-21 Sharp Corp 自走式電子機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020039571A (ja) * 2018-09-10 2020-03-19 日立グローバルライフソリューションズ株式会社 自律走行型掃除機

Also Published As

Publication number Publication date
CN106255932A (zh) 2016-12-21
CA2945743A1 (en) 2015-10-22
CN106255932B (zh) 2020-06-09
CA2945743C (en) 2019-11-05
EP3133458A4 (en) 2018-03-28
WO2015159961A1 (ja) 2015-10-22
JP6599603B2 (ja) 2019-10-30
US9968232B2 (en) 2018-05-15
KR20160054565A (ko) 2016-05-16
EP3133458A1 (en) 2017-02-22
KR101834678B1 (ko) 2018-03-05
EP3133458B1 (en) 2021-07-07
US20170215672A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
JP6599603B2 (ja) 自律走行体
WO2016031710A1 (ja) 自律走行体
KR101840152B1 (ko) 전기청소기
TWI517704B (zh) 移動體裝置
WO2013175839A1 (ja) ロボット装置、端末装置、ロボット装置の遠隔操作システム及びプログラム
JP6200822B2 (ja) 学習リモコン装置およびこれを備える自走式電子機器ならびにリモコン学習方法
JP5989408B2 (ja) 自走式掃除機および自走式掃除機の制御システム
JP2016185182A (ja) 電気掃除機およびその情報表示方法
JP6266331B2 (ja) 走行体装置
JP6261977B2 (ja) 走行体装置
JP6239971B2 (ja) 走行体および走行体装置
JP6440994B2 (ja) 電気掃除機および画像表示方法
JP2019109854A (ja) 自律走行体
JP2017216021A (ja) 走行体および走行体装置
JP2017216022A (ja) 走行体および走行体装置
JP2016041201A (ja) 電気掃除機および掃除システム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180718

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180727

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180914

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20181031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191003

R150 Certificate of patent or registration of utility model

Ref document number: 6599603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150