JP2020047188A - Autonomous traveling cleaner - Google Patents
Autonomous traveling cleaner Download PDFInfo
- Publication number
- JP2020047188A JP2020047188A JP2018177253A JP2018177253A JP2020047188A JP 2020047188 A JP2020047188 A JP 2020047188A JP 2018177253 A JP2018177253 A JP 2018177253A JP 2018177253 A JP2018177253 A JP 2018177253A JP 2020047188 A JP2020047188 A JP 2020047188A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- autonomous traveling
- imaging
- imaging unit
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 79
- 230000007246 mechanism Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 description 17
- 239000000428 dust Substances 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Electric Vacuum Cleaner (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、床面を自律的に走行して掃除する自律走行掃除機に関する。 The present invention relates to an autonomous traveling cleaner that autonomously travels and cleans a floor surface.
近年、掃除機が備えるカメラからの情報を用いて自己の動きや周囲との位置関係を元に、自己位置推定を行って部屋の中のどの位置にいるかを把握し、その情報を元に動作内容を決定する自律走行掃除機が提案されている。 In recent years, based on information from the camera provided by the vacuum cleaner, based on its own movement and its positional relationship with the surroundings, it has performed self-position estimation to understand where it is in the room and acted on that information. Autonomous traveling vacuum cleaners that determine the contents have been proposed.
また、特許文献1には、カメラによって得られる画像から、当該カメラの撮影地点から画像に含まれる対象物までの距離を算出する技術が開示されている。 Further, Patent Literature 1 discloses a technique for calculating, from an image obtained by a camera, a distance from a shooting point of the camera to an object included in the image.
自律走行掃除機に備えた一台のカメラにより自己位置を推定し、かつ障害物を検出する場合、例えば、床面を撮像して障害物を検出し、かつ得られた特徴点から自己位置を推定すると自身が旋回した場合に自己位置を喪失し易くなる。一方、画角の広いカメラを用いて天井、および床面に存在する障害物を一度に撮像すると、天井に存在する特徴点を用いて自己位置を推定することができ自身の旋回により自己位置の喪失は回避できるが、得られた画像の歪が大きくなりすぎて自己位置推定の誤差が大きくなり、障害物との距離の値にも大きな誤差が含まれることになる。 When estimating the self-position by one camera provided in the autonomous traveling cleaner and detecting an obstacle, for example, an image of a floor surface is detected to detect the obstacle, and the self-position is obtained from the obtained feature points. As a presumption, when the vehicle turns, it is easy to lose its position. On the other hand, if a camera with a wide angle of view is used to image the ceiling and obstacles on the floor at one time, the self-position can be estimated using the feature points existing on the ceiling and the self-position Although the loss can be avoided, the distortion of the obtained image becomes too large, the error of the self-position estimation becomes large, and the value of the distance to the obstacle includes a large error.
本発明は、上記課題に鑑みなされたものであり一台の撮像手段で自己位置の推定と床面にある障害物の撮像を可能とする自律走行掃除機の提供を目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and has as its object to provide an autonomous traveling vacuum cleaner capable of estimating its own position and imaging an obstacle on the floor with one imaging unit.
上記目的を達成するために、本発明の一態様に係る自律走行掃除機は、自律的に走行し掃除を行う自律走行掃除機であって、周囲に存在する物体を撮像する撮像手段と、少なくとも水平面に沿う1軸周りで前記撮像手段の姿勢を変更可能な駆動機構と、前記撮像手段から得られる画像情報に基づき自己位置推定を行う推定部と、前記推定部が実行する自己位置推定の確度が高くなるように前記駆動機構を制御して前記撮像手段の姿勢を変更する駆動制御部とを備える。 In order to achieve the above object, an autonomous traveling vacuum cleaner according to one aspect of the present invention is an autonomous traveling vacuum cleaner that autonomously travels and performs cleaning, and includes an imaging unit that captures an image of an object present in the surroundings, A drive mechanism capable of changing the attitude of the imaging means around one axis along a horizontal plane, an estimating unit for performing self-position estimation based on image information obtained from the imaging means, and accuracy of self-position estimation performed by the estimating unit And a drive control unit that controls the drive mechanism to change the attitude of the imaging unit so that the height of the image pickup unit increases.
なお、自律走行掃除機による前記各処理は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよい。また、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 Each of the processes performed by the autonomous traveling vacuum cleaner may be realized by a system, a method, an integrated circuit, a computer program, or a recording medium such as a computer-readable CD-ROM. Further, the present invention may be realized by any combination of a system, a method, an integrated circuit, a computer program, and a recording medium.
本発明によれば、一つの撮像手段で床面に存在する障害物を精度良く検出し精度よく自己位置を推定することができる。 ADVANTAGE OF THE INVENTION According to this invention, the obstacle which exists on a floor surface can be detected accurately with one imaging means, and a self-position can be estimated accurately.
以下に、本発明に係る自律走行掃除機の実施の形態について、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本発明の一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ及びステップの順序等は、一例であり、本発明を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 Hereinafter, an embodiment of an autonomous traveling cleaner according to the present invention will be described in detail with reference to the drawings. Each of the embodiments described below shows a specific example of the present invention. Therefore, the numerical values, shapes, materials, constituent elements, arrangement and connection forms of the constituent elements, the steps and the order of the steps, and the like shown in the following embodiments are merely examples, and do not limit the present invention. Therefore, among the components in the following embodiments, components that are not described in the independent claims that represent the highest concept of the present invention are described as arbitrary components.
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。 In addition, each drawing is a schematic diagram, and is not necessarily strictly illustrated. In each drawing, the same components are denoted by the same reference numerals.
また、以下の実施の形態において、方向を示す表現を用いている。例えば、直交する方向とは、完全に直交することを意味するだけでなく、実質的に直交する、すなわち、例えば数%程度の角度の差異を含むことも意味する。他の方向を用いた表現についても同様である。 In the following embodiments, an expression indicating a direction is used. For example, the orthogonal direction means not only completely orthogonal, but also substantially orthogonal, that is, including an angle difference of, for example, about several percent. The same applies to expressions using other directions.
図1は、実施の形態に係る自律走行掃除機を上方から示す平面図である。図2は、実施の形態に係る自律走行掃除機を下方から示す平面図である。図3は、実施の形態に係る自律走行掃除機を側方から示す側面図である。これらの図に記載の自律走行掃除機100は、天井が存在する建屋の床面上を自律的に走行し、床面上のごみを吸引するロボット型の掃除機であり、本体110と、本体110を移動させる駆動ユニット120と、床面上に存在するごみを集める掃除ユニット130と、ごみを本体110の内部に吸引する吸引ユニット140と、駆動ユニット120、掃除ユニット130及び吸引ユニット140などを制御する制御ユニット150と、撮像手段160と、駆動機構170と、バッテリ180と、記憶手段190を備えている。
FIG. 1 is a plan view showing the autonomous traveling cleaner according to the embodiment from above. FIG. 2 is a plan view showing the autonomous traveling cleaner according to the embodiment from below. FIG. 3 is a side view showing the autonomous traveling vacuum cleaner according to the embodiment from the side. The autonomous
本体110は、駆動ユニット120、制御ユニット150等を収容する筐体であり、下部に対し上部が取り外し可能な構成となっている。本体110の外周部には本体110に対して変位可能なバンパが取り付けられている。また、図2に示すように、本体110は、ごみを本体110の内部に吸引するための吸込口111が設けられている。
The
駆動ユニット120は、制御ユニット150からの指示に基づき自律走行掃除機100を走行させる。本実施の形態においては、駆動ユニット120は、本体110の平面視における幅方向の中心に対して左側及び右側にそれぞれ1つずつ配置されている。なお、駆動ユニット120の数は、2つに限られず、1つでもよいし、3つ以上でもよい。
The
また、駆動ユニット120は、床面上を走行するホイール、ホイールにトルクを与える走行用モータ、および走行用モータを収容するハウジングを有する。ホイールは、本体110の下面に形成される凹部に収容され、本体110に対して回転できるように取り付けられている。また、駆動ユニット120は、自律走行掃除機100の進行方向を算出するために用いられるオドメトリ情報を検出するためのエンコーダなどを有してもよい。本明細書において、自律走行掃除機100の進行方向(自律走行掃除機100が進行する方向)とは、実際に進行している方向のみならず、これから進行する方向も意味する。
The
本実施の形態に係る自律走行掃除機100の駆動方式は、キャスター129を補助輪として備えた対向二輪型であり、2つのホイールの回転を独立して制御することで、直進、後退、左回転、右回転等、自律走行掃除機100を自在に走行させることができる。
The drive system of the autonomous
掃除ユニット130は、吸込口111からごみを吸い込ませるためのユニットであり、吸込口111内に配置されるメインブラシ(図示せず)、メインブラシを回転させるブラシ駆動モータ等を備えている。
The
吸引ユニット140は、本体110の内部に配置されており、ファンケース、及び、ファンケースの内部に配置される電動ファンを有する。電動ファンは、ごみ箱ユニット141の内部の空気を吸引し、本体110の外方に空気を吐出させることにより、吸込口111からごみを吸い込み、ごみ箱ユニット141内にごみを収容する。
The
制御ユニット150は、本体110の内部に配置されており、メモリと、当該メモリに記憶されている制御プログラムを実行するCPU(Central Processing Unit)とを有する。制御ユニット150により実現される各処理部については後述する。
The
撮像手段160は、本体110の周囲に存在する障害物などの物体を撮像しデジタル信号からなる画像情報を出力するいわゆるデジタルカメラである。本実施の形態において、撮像手段160は、光軸が一本の単眼光学系を備えており、撮像手段160から得られた画像情報には撮像手段160から物体までの距離を示す情報は含まれていない。また、撮像手段160が備える光学系の画角は90度以下から選定され、本体110の上部空間の全周画像を撮影することはできない光学系が採用される。これにより撮像手段160から得られる画像の歪み、画像内の場所による解像度の相違などを抑制している。
The
駆動機構170は、撮像手段160の姿勢を少なくとも水平面に沿う1軸周りで移動させる機構である。本実施の形態の場合、駆動機構170は、自律走行掃除機100の幅方向(図中X軸方向)に延在する第一回転軸周りに撮像手段160の姿勢を変更でき(図3中破線の矢印参照)、また鉛直方向に延在する第二回転軸(図3中一点鎖線参照)周りにも撮像手段160の姿勢を変更できる。なお、駆動機構170は、他の方向に延在する回転軸回りで撮像手段160の姿勢を変更できても構わない。また、撮像手段160および駆動機構170は、図3に示すような本体110の天面に突出状に設けるばかりでなく、本体110に凹部を設けて設置してもよい。
The
バッテリ180(図4参照)は、自律走行掃除機100が有する電子機器と電気的に接続され、当該電子機器に電力を供給するための電池である。
The battery 180 (see FIG. 4) is a battery that is electrically connected to the electronic device of the
記憶手段190は、各種処理部が実行する制御プログラムが記憶されているROM(Read Only Memory)、RAM(Random Access Memory)等のメモリである。記憶手段190は、例えば、HDD(Hard Disk Drive)、フラッシュメモリ等により実現される。また、記憶手段190には、撮像手段160が生成した画像の画素位置に対する当該画素の実空間における推定サイズを示す相関情報181と、自律走行掃除機100のサイズ(具体的には、本体110の横幅)の情報であるサイズ情報182と、床面の間取りを示す情報である床面マップ183が記憶されている。なお、本体110の横幅とは、上面視で、自律走行掃除機100の進行方向に直交する方向における自律走行掃除機100の幅である。
The storage unit 190 is a memory such as a ROM (Read Only Memory) and a RAM (Random Access Memory) in which control programs executed by various processing units are stored. The storage unit 190 is realized by, for example, an HDD (Hard Disk Drive), a flash memory, or the like. The storage unit 190 stores correlation information 181 indicating the estimated size of the pixel in the real space with respect to the pixel position of the image generated by the
また、自律走行掃除機100が備える各種センサとしては、以下の様なセンサを例示できる。 In addition, examples of the various sensors included in the autonomous traveling cleaner 100 include the following sensors.
障害物センサ273は、本体110の前方に存在する周囲の壁、家具等の走行の障害となる障害物を検出するセンサである。本実施の形態においては、障害物センサ273には、超音波センサが用いられる。障害物センサ273は、本体110の前方の中央に配置される発信部271、及び、発信部271の両側にそれぞれ配置される受信部272を有し、発信部271から発信されて障害物によって反射して帰ってきた超音波を受信部272がそれぞれ受信することで、障害物の距離、位置等を検出することができる。
The
測距センサ274は、本体110の周囲に存在する障害物等の物体と本体110との距離を検出する。本実施の形態においては、測距センサ274は、発光部及び受光部を有する赤外線センサであり、障害物に反射した赤外線が戻ってくるまでの時間に基づき距離を測定する。測距センサ274は、例えば、右側の前方頂部、及び、左側の前方頂部にそれぞれ配置されている。右側の測距センサ274は、本体110の右斜め前方に向けて光を出力する。また、左側の測距センサ274は、本体110の左斜め前方に向けて光を出力する。このような構成により、自律走行掃除機100が旋回するときに、測距センサ274は、本体110の輪郭と最も接近した周囲の物体と本体110との距離を検出する。
The
床面センサ276は、本体110の底面の複数箇所に配置され、床面の状態を検出する。本実施の形態においては、床面センサ276は、発光部及び受光部を有する赤外線センサであり、発光部から放射した赤外線光が戻ってくる光量に基づいて、例えば、床面が濡れている等の床面の状態を検出する。
The
塵埃量センサ277は、例えば、発光素子及び受光素子からなり、受光素子が発光素子から放出された光の量を検出して出力する。出力された情報に基づいて、受光した光の量と塵埃量とを対応させる。具体的には、光の量が少なくなるほど塵埃量が多くなると判断され、その旨を示す塵埃量情報が生成される。
The
以上の障害物センサ273、測距センサ274、衝突センサ、床面センサ276、及び、塵埃量センサ277は、例示であり、自律走行掃除機100は、全てのセンサを備えなくてもかまわない。また、上記とは異なるセンサを自律走行掃除機100が備えてもかまわない。
The above-described
例えば、自律走行掃除機100は、さらに、衝突センサと、エンコーダと、加速度センサと、角速度センサとを備えてもよい。 For example, the autonomous traveling cleaner 100 may further include a collision sensor, an encoder, an acceleration sensor, and an angular velocity sensor.
衝突センサは、本体110の周囲に取り付けられているバンパが、障害物に接触して本体110に対して押し込まれることに伴いオンされるスイッチ接触変位センサである。
The collision sensor is a switch contact displacement sensor that is turned on when a bumper attached around the
エンコーダは、駆動ユニット120に備えられており、走行用モータによって回転する一対のホイールのそれぞれの回転角を検出する。エンコーダからの情報により、自律走行掃除機100の走行量、旋回角度、速度、加速度、角速度等を算出することができる。
The encoder is provided in the
加速度センサは、自律走行掃除機100が走行する際の加速度を検出する。 The acceleration sensor detects acceleration when the autonomous traveling cleaner 100 travels.
角速度センサは、自律走行掃除機100が旋回する際の角速度を検出する。 The angular velocity sensor detects an angular velocity when the autonomous traveling cleaner 100 turns.
加速度センサ及び角速度センサにより検出された情報は、ホイールの空回りによって発生する誤差を修正するための情報等に用いられる。 Information detected by the acceleration sensor and the angular velocity sensor is used as information for correcting an error caused by idling of the wheel.
次に、制御ユニット150が実現する各処理部について説明する。図4は、実施の形態に係る自律走行掃除機の機能構成を機構構成などと共に示すブロック図である。自律走行掃除機100は、制御ユニット150が実行する処理部として、推定部151と、駆動制御部152と、種類特定部153とを備えている。なお、本実施の形態では制御ユニット150を一つのユニットとして一つの機能ブロックに記載しているが、各処理部は、複数の機能ブロックに分かれ、それぞれに対応する複数のCPUにより実現されてもよい。
Next, each processing unit realized by the
推定部151は、撮像手段160から得られる画像情報に基づき自己位置推定を行う処理部である。自己位置推定の方法は、特に限定されるものではないが、本実施の形態の場合、推定部151は、SLAM(Simultaneous Localization and Mapping)技術を用いて自己位置の推定を行っている。具体的には、撮像手段160から取得した画像情報中に含まれる複数の特徴点(ランドマーク)、駆動制御部152から得られる撮像手段160の姿勢を示す姿勢情報、駆動ユニット120に組み込まれたエンコーダ121からの信号等を推定部151が統合して自己位置を推定し自己位置情報を生成する。推定部151はまた、走行しながら自己位置を推定することにより、複数箇所で生成した自己位置情報の集合である走行実績を用いてマップも生成している。また、各種センサで検出した情報を用いて、壁などの障害物の位置(領域)をマップに情報として付加してもよい。
The estimating
駆動制御部152は、推定部151が実行する自己位置推定の確度が高くなるように駆動機構170を制御して撮像手段160の姿勢を変更する処理部である。また、床面に存在する障害物を撮像手段160から得られた画像情報に基づき検出する場合、画角に床面が含まれる様に撮像手段160の姿勢を変更する。以下、自己位置推定のための撮像手段160の姿勢を「推定姿勢」と記し、障害物検出のための撮像手段160の姿勢を「検出姿勢」と記載する場合がある。
The drive control unit 152 is a processing unit that controls the
ここで、自己位置推定の確度が高くなる撮像手段160の推定姿勢は、自律走行掃除機100の周辺環境により変化するが、例えば、撮像手段160から得られた1枚の画像情報内に含まれる特徴点の数が多い推定姿勢とすることにより、自己位置推定の確度は高くなる傾向にある。従って、駆動制御部152は、特徴点が多く含まれる画角となるように駆動機構170を制御して撮像手段160の推定姿勢を変更する。
Here, the estimated posture of the
推定姿勢の決定方法は、特に限定されるものではないが、例えば駆動制御部152は、予め定められた順番、またはランダムに撮像手段160の姿勢が変わるように駆動機構170を制御し、順次撮像手段160から画像情報を取得する。そして画像情報の中の特徴点が第一閾値を超えた場合、当該画像情報を取得した姿勢を推定姿勢として決定してもよい。
Although the method of determining the estimated attitude is not particularly limited, for example, the drive control unit 152 controls the
また、画像情報の中に天井照明が含まれていることを示す情報を種類特定部153から取得した場合、当該画像情報を取得した姿勢を推定姿勢として決定してもよい。さらに、天井照明の像が中央部に存在する画像情報を取得した姿勢を推定姿勢として決定してもよい。
When information indicating that ceiling illumination is included in the image information is acquired from the
また、駆動制御部152は、全天球、または全天球に近い範囲をカバーする複数枚の画像情報を撮像手段160が取得できる様に駆動機構170を制御し、撮像手段160の画角内の特徴点の数が第一閾値を超える姿勢を推定姿勢として決定してもよい。また、撮像手段160の画角内で最も特徴点の多い姿勢を推定姿勢として決定してもよい。このように、画角に含まれる特徴点の数を用いて推定姿勢を決定することにより、処理の高速化を図ることができる。
Further, the drive control unit 152 controls the
また、駆動制御部152は、特徴点を多く含まれる推定姿勢を決定するために、床面が画角に入らない上方方向に撮像手段160の光軸が向くように駆動機構170を制御して領域の異なる複数の画像情報を撮像手段160に取得させてもよい。これにより画像情報内に含まれる特徴点を多くするために取得する画像情報の枚数を抑制することができ、推定姿勢の決定に要する処理をさらに高速化することが可能となる。
In addition, the drive control unit 152 controls the
また、駆動制御部152は、種類特定部153(詳細は後述)が天井照明を特定するように駆動機構170を制御して撮像手段160に画像情報を取得させてもよい。これにより画像情報内に含まれる特徴点を多くするために取得する画像情報の枚数を抑制することができ、推定姿勢の決定に要する処理をさらに高速化することが可能となる。
Further, the drive control unit 152 may control the
一方、自己位置推定の確度が高くなる撮像手段160の推定姿勢は、例えば、撮像手段160から得られた複数の画像情報に基づきマッチングが可能な特徴点の数が多い推定姿勢とすることにより、自己位置推定の確度は高くなる。従って、駆動制御部152は、マッチング可能な特徴点が多く含まれる画角となるように駆動機構170を制御して撮像手段160の推定姿勢を変更する。
On the other hand, the estimated posture of the
具体的に例えば、全天球、全天球に近い範囲、床面が画角に入らない範囲、または天井照明が含まれる範囲において領域が重複する複数枚の画像情報を撮像手段160が取得できる様に駆動機構170を制御し、撮像手段160の画角内のマッチング可能な特徴点の数が第二閾値を超える姿勢を推定姿勢として決定してもよい。また、撮像手段160の画角内で最もマッチング可能な特徴点の多い姿勢を推定姿勢として決定してもよい。
Specifically, for example, the
種類特定部153は、撮像手段160から得られる画像情報から撮像された物の種類を特定する処理部である。種類の特定方法は、特に限定されるものではないが、例えばAI(artificial intelligence)技術を例示することができる。具体的には、自律走行掃除機100が掃除をする環境(疑似環境含む)内において複数の画像情報を事前に取得し、画像情報内の物体の像と像に対応する物体の種類をデータとして用意し、ディープラーニング等の技術を用いて学習を行い、取得した画像に物体の像がある場合には、物体の種類を出力するよう種類特定用のモデルを構築する。またさらに、画像情報内の物体の像と像に対応する物体の種類に加えて、物体が表示されている画像位置もデータとして用意することで物体の像がある場合には、物体の種類とともに表示されている画像位置をも出力できるモデルを構築することも可能である。さらに、その画像位置を元にある程度の物体と本体110との実距離を推定することもできる。種類特定部153は当該モデルを利用して物の種類を特定する場合を例示できる。なお、物の種類を特定するとは、物の詳細な種類を特定するばかりでなく、自律走行掃除機100の走行に対する障害物になり得る物であるかを特定する場合も含まれる。例えば、画像情報中に現れる窓の像は障害物とはならず、床面上の小型のカーペットの像は障害物として特定する場合などを例示できる。
The
自律走行掃除機100の走行の障害となる障害物を検出する場合、種類特定部153は、検出姿勢の撮像手段160から得られた画像情報に基づき物の種類を特定することにより障害物を検出する。さらに種類特定部153は、駆動制御部152から取得した検出姿勢における撮像手段160の角度の情報、エンコーダ121などから得られるオドメトリ情報、および特定した障害物の画像情報内における位置などに基づき障害物までの距離を算出しても構わない。
When detecting an obstacle that hinders the travel of the autonomous traveling
走行制御部154は、例えば、自律走行掃除機100が備える撮像手段160を含む各種センサが検出した情報から推定される自律走行掃除機100の自己位置に基づいて、駆動ユニット120を制御することで、自律走行掃除機100の走行や操舵等を制御する処理部である。
The
掃除制御部155は、ごみを吸い込ませる等、吸引ユニット140を制御して床面の掃除を実行させる。
The
続いて、自律走行掃除機100の動作について説明する。図5は、実施の形態に係る自律走行掃除機の動作の流れを示すフローチャートである。 Next, the operation of the autonomous traveling cleaner 100 will be described. FIG. 5 is a flowchart showing a flow of the operation of the autonomous traveling vacuum cleaner according to the embodiment.
まず、自律走行掃除機100の駆動制御部152は、駆動機構170を制御して画角内に掃除対象の床面が含まれる様に撮像手段160の姿勢を検出姿勢にする(S101)。次に種類特定部は、撮像手段160から取得した画像情報中の障害物を検出する(S102)。種類特定部153は、障害物が存在する場合、障害物までの距離を推定する(S103)。障害物が検出されない場合は推定距離を検出最大距離にする(S104)。
First, the drive control unit 152 of the autonomous traveling cleaner 100 controls the
次に、駆動制御部152は、駆動機構170を制御して撮像手段160の光軸を床面が画角に含まれないように上方に向け(S105)、異なる複数の領域を撮像した画像情報を撮像手段160から取得し推定姿勢を決定する(S106)。なお、推定姿勢の決定方法は上記の方法など任意の方法を採用しうる。
Next, the drive control unit 152 controls the
次に、推定姿勢の撮像手段160から得られた画像情報内の特徴点に基づき自己位置を推定し(S106)、自己位置を推定しながら自律走行掃除機100が床面上を移動することでマップの作成、更新を随時行う(S107)。ここで、駆動制御部152は、決定された推定姿勢で撮像される領域、撮像手段160の姿勢などを記憶手段190に記憶させておき、自律走行掃除機100が床面上を移動しても同じ領域を画角内に収めるように推定姿勢を自律走行掃除機100の走行状態に追随させても構わない。これにより自律走行掃除機100が移動しても自己位置推定の確度を高く維持することができ、自己位置を高い精度で安定して推定することが可能となる。
Next, the self-position is estimated based on the feature points in the image information obtained from the imaging means 160 of the estimated posture (S106), and the autonomous traveling cleaner 100 moves on the floor while estimating the self-position. Creation and update of the map are performed as needed (S107). Here, the drive control unit 152 stores, in the storage unit 190, a region to be imaged in the determined estimated posture, the posture of the
掃除の途中で推定部151が自己位置を喪失した場合(S108)、駆動制御部152は、駆動機構170を制御して自己位置推定の確度が高くなるように撮像手段の姿勢を変更し(S105)、推定姿勢を再度決定する(S106)。
When the
以上の自己位置推定(S106)、マップ作成(S107)を掃除が終了するまで実行し続け(S109)、予め定められた領域の掃除が終了すれば(S109:Yes)、フローは終了する。 The self-position estimation (S106) and the map creation (S107) are continuously executed until the cleaning is completed (S109). When the cleaning of the predetermined area is completed (S109: Yes), the flow ends.
以上のように、本実施の形態に係る自律走行掃除機100によれば、画角の比較的狭く(例えば画角が90度以下、30度以上)歪の少ない光学系を備えた一台の撮像手段160により、前方の障害物を検出して高い精度で障害物までの距離を算出し、かつ適切な推定姿勢の撮像手段160から得られた画像情報に含まれる特徴点により自己位置推定を高い確度で行う事ができる。従って、自律走行掃除機100は、障害物に衝突することなくスムーズに移動し障害物と床面の隅部に至るまできれいに掃除することが可能となる。
As described above, according to the autonomous traveling
なお、本発明は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本発明の実施の形態としてもよい。また、上記実施の形態に対して本発明の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本発明に含まれる。 Note that the present invention is not limited to the above embodiment. For example, another embodiment that is realized by arbitrarily combining the components described in this specification and excluding some of the components may be an embodiment of the present invention. Further, the gist of the present invention with respect to the above-described embodiment, that is, modified examples obtained by performing various modifications conceivable by those skilled in the art without departing from the meaning indicated by the words described in the claims are also included in the present invention. It is.
例えば、上記実施の形態では撮像手段160を検出姿勢にして障害物の検出を行った後、自己位置を推定しながら掃除を行ったが、掃除のフローはこれに限定されるものではない。撮像手段160を推定姿勢にして自己位置推定を行い、その後撮像手段160を検出姿勢にして障害物の認識と障害物までの距離を推定しながら掃除を行い、一定距離の走行後など所定の間隔で再度撮像手段160を推定姿勢にして自己位置推定を行っても構わない。
For example, in the above embodiment, after the obstacle is detected with the
また、自己位置を推定する場合、最初に撮像手段160の光軸を鉛直上方に向けても構わない。この場合、撮像手段160の画角内に天井照明が含まれる確率が高くなり、天井照明が中央に位置する姿勢を推定姿勢としてもよい。
When estimating the self-position, the optical axis of the
また、一枚の画像情報内に含まれる特徴点の数や、マッチング可能な特徴点の数に基づき推定姿勢を決定したが、特徴量の信頼度の総計が最大、または第三閾値以上になる姿勢を推定姿勢として決定しても構わない。 In addition, the estimated posture is determined based on the number of feature points included in one piece of image information and the number of feature points that can be matched, but the total reliability of the feature amount is the maximum, or the third threshold or more. The posture may be determined as the estimated posture.
障害物として認識されたカーペット上に乗り上げて掃除を行う場合など障害物と自律走行掃除機100との距離をより正確に把握したい場合、自律走行掃除機100の先端縁と障害物とが画角に収まる位置にまで自律走行掃除機100を予め推定した距離の情報に従い障害物に近づけ、自律走行掃除機100の先端縁と障害物とが画角に収まるように駆動制御部152は駆動機構170を制御しても構わない。
When it is desired to more accurately grasp the distance between the obstacle and the autonomous traveling cleaner 100, such as when riding on a carpet recognized as an obstacle to perform cleaning, the angle of view between the leading edge of the autonomous traveling cleaner 100 and the obstacle is different. The drive control unit 152 controls the
本発明は、家屋内等の床面を自動的に掃除する自律走行掃除機に適用可能である。 INDUSTRIAL APPLICABILITY The present invention is applicable to an autonomous traveling vacuum cleaner for automatically cleaning a floor surface in a house or the like.
100 自律走行掃除機
110 本体
111 吸込口
120 駆動ユニット
121 エンコーダ
129 キャスター
130 掃除ユニット
140 吸引ユニット
141 箱ユニット
150 制御ユニット
151 推定部
152 駆動制御部
153 種類特定部
154 走行制御部
155 掃除制御部
160 撮像手段
170 駆動機構
180 バッテリ
181 相関情報
182 サイズ情報
183 床面マップ
190 記憶手段
271 発信部
272 受信部
273 障害物センサ
274 測距センサ
276 床面センサ
277 塵埃量センサ
Claims (6)
周囲に存在する物体を撮像する撮像手段と、
少なくとも水平面に沿う1軸周りで前記撮像手段の姿勢を変更可能な駆動機構と、
前記撮像手段から得られる画像情報に基づき自己位置推定を行う推定部と、
前記推定部が実行する自己位置推定の確度が高くなるように前記駆動機構を制御して前記撮像手段の姿勢を変更する駆動制御部と
を備える自律走行掃除機。 An autonomous traveling vacuum cleaner that runs and cleans autonomously,
Imaging means for imaging surrounding objects;
A drive mechanism capable of changing the attitude of the imaging means at least around one axis along a horizontal plane;
An estimating unit that performs self-position estimation based on image information obtained from the imaging unit;
An autonomous traveling cleaner comprising: a drive control unit that controls the drive mechanism to change the attitude of the imaging unit so that the accuracy of the self-position estimation performed by the estimation unit is increased.
請求項1または2に記載の自律走行掃除機。 3. The autonomous traveling according to claim 1, wherein the drive control unit controls the drive mechanism to change an attitude of the imaging unit so that an angle of view includes a large number of feature points included in the image information. 4. Vacuum cleaner.
請求項1に記載の自律走行掃除機。 2. The drive control unit according to claim 1, wherein the drive control unit controls the drive mechanism to change an attitude of the imaging unit so that the angle of view has a large number of feature points that can be matched based on the plurality of pieces of image information. Autonomous traveling vacuum cleaner.
請求項1から3のいずれか一項に記載の自律走行掃除機。 The drive control unit controls the drive mechanism so that an optical axis of the imaging unit is directed upward so that a floor surface does not enter an angle of view in order to increase the number of feature points included in the image information. The autonomous traveling vacuum cleaner according to any one of claims 1 to 3.
前記駆動制御部は、前記種類特定部が天井照明を特定するように前記駆動機構を制御して前記撮像手段の姿勢を変更する
請求項1から4のいずれか一項に記載の自律走行掃除機。 A type identification unit that identifies the type of an object imaged from the image information obtained from the imaging unit,
The autonomous traveling vacuum cleaner according to any one of claims 1 to 4, wherein the drive control unit controls the drive mechanism to change the attitude of the imaging unit so that the type specifying unit specifies ceiling illumination. .
請求項1から5のいずれか一項に記載の自律走行掃除機。 6. The method according to claim 1, wherein when the estimating unit loses its own position, the drive control unit controls the driving mechanism to change the attitude of the imaging unit so that the accuracy of the self-position estimation is increased. 7. The autonomous traveling vacuum cleaner according to claim 1.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018177253A JP2020047188A (en) | 2018-09-21 | 2018-09-21 | Autonomous traveling cleaner |
PCT/JP2019/029120 WO2020059292A1 (en) | 2018-09-21 | 2019-07-25 | Autonomous traveling cleaner |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018177253A JP2020047188A (en) | 2018-09-21 | 2018-09-21 | Autonomous traveling cleaner |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020047188A true JP2020047188A (en) | 2020-03-26 |
Family
ID=69888703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018177253A Pending JP2020047188A (en) | 2018-09-21 | 2018-09-21 | Autonomous traveling cleaner |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2020047188A (en) |
WO (1) | WO2020059292A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114617476A (en) * | 2021-06-02 | 2022-06-14 | 北京石头创新科技有限公司 | Self-moving equipment |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2884364B1 (en) * | 2013-12-12 | 2018-09-26 | Hexagon Technology Center GmbH | Autonomous gardening vehicle with camera |
JP6331971B2 (en) * | 2014-10-30 | 2018-05-30 | 三菱電機株式会社 | Self-propelled vacuum cleaner |
JP6822396B2 (en) * | 2015-04-10 | 2021-01-27 | 日本電気株式会社 | Positioning device, position identification method and program |
JP6609463B2 (en) * | 2015-11-19 | 2019-11-20 | シャープ株式会社 | Self-propelled electronic device |
JP6311695B2 (en) * | 2015-12-16 | 2018-04-18 | カシオ計算機株式会社 | Autonomous mobile device, autonomous mobile method and program |
KR20180085154A (en) * | 2017-01-18 | 2018-07-26 | 엘지전자 주식회사 | Robot cleaner |
-
2018
- 2018-09-21 JP JP2018177253A patent/JP2020047188A/en active Pending
-
2019
- 2019-07-25 WO PCT/JP2019/029120 patent/WO2020059292A1/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114617476A (en) * | 2021-06-02 | 2022-06-14 | 北京石头创新科技有限公司 | Self-moving equipment |
Also Published As
Publication number | Publication date |
---|---|
WO2020059292A1 (en) | 2020-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3167341B1 (en) | Method for detecting a measurement error in a robotic cleaning device | |
EP2888603B1 (en) | Robot positioning system | |
US11497364B2 (en) | Robot cleaner and controlling method thereof | |
JP7487283B2 (en) | Autonomous Mobile Robot Navigation | |
US11297992B2 (en) | Robot cleaner and method for controlling the same | |
JP2013103135A (en) | Robot cleaner and control method thereof | |
JP2013012200A (en) | Robot cleaner and control method thereof | |
KR102565250B1 (en) | Robot cleaner | |
WO2020235295A1 (en) | Cleaning map display device, and cleaning map display method | |
US20210274987A1 (en) | Self-propelled vacuum cleaner | |
US20210153707A1 (en) | Self-propelled vacuum cleaner | |
WO2020059292A1 (en) | Autonomous traveling cleaner | |
JP2020052601A (en) | Autonomous travel cleaner and control method | |
KR102467990B1 (en) | Robot cleaner | |
WO2020017239A1 (en) | Self-propelled type vacuum cleaner and control method for self-propelled type vacuum cleaner | |
KR20180037516A (en) | Moving robot and control method thereof | |
JP7325058B2 (en) | self-propelled vacuum cleaner | |
JP2021144594A (en) | Autonomous mobile vacuum cleaner, control method of autonomous mobile vacuum cleaner, and program | |
KR102203438B1 (en) | a Moving robot and Controlling method for the moving robot | |
JP2019144849A (en) | Autonomous traveling cleaner | |
JP7129659B2 (en) | self-propelled vacuum cleaner | |
KR102318756B1 (en) | Robot cleaner and method for controlling the same | |
JP7065449B2 (en) | Self-propelled vacuum cleaner | |
JP2024006218A (en) | Movement control system, movement control method, and program |