JP2017027417A - Image processing device and vacuum cleaner - Google Patents

Image processing device and vacuum cleaner Download PDF

Info

Publication number
JP2017027417A
JP2017027417A JP2015146174A JP2015146174A JP2017027417A JP 2017027417 A JP2017027417 A JP 2017027417A JP 2015146174 A JP2015146174 A JP 2015146174A JP 2015146174 A JP2015146174 A JP 2015146174A JP 2017027417 A JP2017027417 A JP 2017027417A
Authority
JP
Japan
Prior art keywords
image
unit
image processing
processing apparatus
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015146174A
Other languages
Japanese (ja)
Inventor
琢麿 山本
Takuma Yamamoto
琢麿 山本
三島 直
Sunao Mishima
直 三島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Corp
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Corp
Priority to JP2015146174A priority Critical patent/JP2017027417A/en
Publication of JP2017027417A publication Critical patent/JP2017027417A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device capable of accurately estimating a self-position, and a vacuum cleaner provided with the image processing device.SOLUTION: According to one embodiment, an image processing device comprises: an extraction section; a specification section; a parameter calculation section; and a distance calculation section. The extraction section extracts a feature point having predetermined feature quantity from an input image. The specification section specifies a corresponding point of an entire periphery image corresponding to the feature point based on the feature quantity of the feature point. The parameter calculation section calculates a parameter of a function performing projection transformation of the input image on the entire periphery image based on the feature point and the corresponding point. The distance calculation section calculates a distance from a photographic position of the entire periphery image to a photographic position of the input image based on the parameter.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、画像処理装置及び電気掃除器に関する。   Embodiments described herein relate generally to an image processing apparatus and a vacuum cleaner.

カメラで撮影した画像から、その画像が撮影された位置(自己位置)を推定する技術は、コンピュータビジョンやロボティクスにおいて重要な技術である。この技術は、例えば、自律移動ロボットの自己位置推定、車や人のナビゲーションシステム、及びAR(拡張現実)技術などに応用されている。   A technique for estimating a position (self-position) where an image is taken from an image taken with a camera is an important technique in computer vision and robotics. This technology is applied to, for example, self-position estimation of autonomous mobile robots, car and human navigation systems, and AR (augmented reality) technology.

従来、自己位置と周辺の被写体の3次元構造を同時に推定する技術として、SLAM(Simultaneous Localization and Mapping)やSfM(Structure from Motion)と呼ばれる技術が研究されている。これらの技術を用いることで、上記のような応用が可能となる。しかしながら、SLAMやSfMは、計算コストが大きいという問題があった。   Conventionally, techniques called SLAM (Simultaneous Localization and Mapping) and SfM (Structure from Motion) have been studied as techniques for simultaneously estimating the self-position and the three-dimensional structure of the surrounding subject. By using these techniques, the application as described above becomes possible. However, SLAM and SfM have a problem of high calculation cost.

そこで、小さい計算コストで自己位置を推定する方法として、登録された複数の全周囲画像と、入力画像と、それぞれマッチングし、入力画像とマッチングした全周囲画像の撮影位置を、自己位置として推定する方法が提案されている。この方法では、被写体の3次元構造を推定する必要がないため、小さい計算コストで自己位置を推定できる。   Therefore, as a method for estimating the self-position at a low calculation cost, the registered all-around image and the input image are respectively matched, and the shooting position of the all-around image matching the input image is estimated as the self-position. A method has been proposed. In this method, since it is not necessary to estimate the three-dimensional structure of the subject, the self-position can be estimated with a small calculation cost.

しかしながら、上記従来の方法では、マッチングの成否のみによって自己位置が推定されるため、マッチングした全周囲画像の撮影位置と、自己位置と、の距離がわからなかった。このため、自己位置の推定精度が低いという問題があった。   However, since the self-position is estimated only by the success or failure of matching in the above conventional method, the distance between the photographing position of the matched omnidirectional image and the self-position cannot be known. For this reason, there was a problem that the self-position estimation accuracy was low.

Hideaki Uchiyama, Hideo Saito, Myriam Servieres, Guillaume Moreau, "Image Based View Localization System Retrieving from a Panorama Database by SURF", MVA 2009, pp.118-121, 2009Hideaki Uchiyama, Hideo Saito, Myriam Servieres, Guillaume Moreau, "Image Based View Localization System Retrieving from a Panorama Database by SURF", MVA 2009, pp.118-121, 2009

自己位置を精度よく推定できる画像処理装置及びこの画像処理装置を備えた電気掃除機を提供する。   An image processing apparatus capable of accurately estimating the self-position and a vacuum cleaner provided with the image processing apparatus are provided.

一実施形態に係る画像処理装置は、抽出部と、特定部と、パラメータ算出部と、距離算出部と、を備える。抽出部は、入力画像から、所定の特徴量を有する特徴点を抽出する。特定部は、特徴点の特徴量に基づいて、特徴点と対応する全周囲画像の対応点を特定する。パラメータ算出部は、特徴点と対応点とに基づいて、入力画像を全周囲画像上に投影変換する関数のパラメータを算出する。距離算出部は、パラメータに基づいて、全周囲画像の撮影位置から入力画像の撮影位置までの距離を算出する。   An image processing apparatus according to an embodiment includes an extraction unit, a specifying unit, a parameter calculation unit, and a distance calculation unit. The extraction unit extracts feature points having a predetermined feature amount from the input image. The specifying unit specifies a corresponding point of the entire surrounding image corresponding to the feature point based on the feature amount of the feature point. The parameter calculation unit calculates a parameter of a function for projecting and converting the input image onto the entire surrounding image based on the feature points and the corresponding points. The distance calculation unit calculates the distance from the shooting position of the entire surrounding image to the shooting position of the input image based on the parameter.

第1実施形態に係る画像処理装置の機能構成を示す図。1 is a diagram illustrating a functional configuration of an image processing apparatus according to a first embodiment. 第1実施形態に係る画像処理装置のハードウェア構成の一例を示す図。1 is a diagram illustrating an example of a hardware configuration of an image processing apparatus according to a first embodiment. 第1実施形態に係る画像処理装置の動作を示すフローチャート。6 is a flowchart showing the operation of the image processing apparatus according to the first embodiment. 入力画像と全周囲画像との関係を示す図。The figure which shows the relationship between an input image and a surrounding image. 自己位置と登録位置との関係を示す図。The figure which shows the relationship between a self position and a registration position. 第2実施形態に係る画像処理装置の機能構成を示す図。The figure which shows the function structure of the image processing apparatus which concerns on 2nd Embodiment. 第2実施形態に係る画像処理装置の動作を示すフローチャート。9 is a flowchart showing the operation of the image processing apparatus according to the second embodiment. 第3実施形態に係る電気掃除機の一例を示す図。The figure which shows an example of the vacuum cleaner which concerns on 3rd Embodiment. 第3実施形態に係る電気掃除機の一例を示す斜視図。The perspective view which shows an example of the vacuum cleaner which concerns on 3rd Embodiment. 第3実施形態に係る電気掃除機の一例を示す底面図。The bottom view which shows an example of the vacuum cleaner which concerns on 3rd Embodiment. 第3実施形態に係る電気掃除機が構成するネットワークの一例を示す図。The figure which shows an example of the network which the vacuum cleaner concerning 3rd Embodiment comprises.

以下、本発明の実施形態について図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

(第1実施形態)
第1実施形態に係る画像処理装置について、図1〜図5を参照して説明する。本実施形態に係る画像処理装置は、入力画像と、予め撮影された全周囲画像と、をマッチングすることにより、入力画像の撮影位置(以下、「自己位置」という)を推定する。本実施形態において、自己位置は、全周囲画像の撮影位置(以下、「登録位置」という)に対する相対位置として推定される。
(First embodiment)
The image processing apparatus according to the first embodiment will be described with reference to FIGS. The image processing apparatus according to the present embodiment estimates the shooting position of the input image (hereinafter referred to as “self-position”) by matching the input image with the pre-captured omnidirectional image. In the present embodiment, the self position is estimated as a relative position with respect to the shooting position of the all-around image (hereinafter referred to as “registered position”).

図1は、本実施形態に係る画像処理装置の機能構成を示す図である。図1に示すように、画像処理装置は、特徴点抽出部1と、特徴点DB2と、対応点特定部3と、パラメータ算出部4と、距離算出部5と、位置推定部6と、を備える。   FIG. 1 is a diagram illustrating a functional configuration of the image processing apparatus according to the present embodiment. As shown in FIG. 1, the image processing apparatus includes a feature point extraction unit 1, a feature point DB 2, a corresponding point specification unit 3, a parameter calculation unit 4, a distance calculation unit 5, and a position estimation unit 6. Prepare.

特徴点抽出部1(以下、「抽出部1」という)は、入力画像から複数の特徴点を抽出する。特徴点とは、入力画像を構成する画素のうち、所定の特徴量を有するものである。特徴点は、例えば、入力画像におけるエッジやコーナーであるが、これに限られない。例えば、抽出したいエッジやコーナーである確からしさが高い程、特徴量が大きくなる場合、抽出部1は、特徴量が所定の値を超えた画素を特徴点として抽出する。   The feature point extraction unit 1 (hereinafter referred to as “extraction unit 1”) extracts a plurality of feature points from the input image. A feature point is a pixel having a predetermined feature amount among pixels constituting an input image. The feature points are, for example, edges and corners in the input image, but are not limited thereto. For example, when the feature amount increases as the probability of being an edge or corner to be extracted increases, the extraction unit 1 extracts pixels whose feature amount exceeds a predetermined value as feature points.

抽出部1は、まず、各画素の特徴量を算出する。各画素の特徴量は、各画素の画素値(輝度や色など)及びその周辺の所定領域内の画素の画素値を用いて求められる。例えば、SIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)、KAZE特徴量、及びAKAZE特徴量が特徴量として用いられるが、特徴量は、これに限られない。   First, the extraction unit 1 calculates the feature amount of each pixel. The feature amount of each pixel is obtained by using the pixel value (luminance, color, etc.) of each pixel and the pixel values of pixels in a predetermined area around it. For example, SIFT (Scale-Invariant Feature Transform), SURF (Speeded Up Robust Features), KAZE feature amount, and AKAZE feature amount are used as the feature amount, but the feature amount is not limited thereto.

次に、抽出部1は、算出された特徴量が所定の条件を満たす画素を、特徴点として抽出する。所定の条件は、算出される特徴量の種類や要求される特徴点の数に応じて決まる。   Next, the extraction unit 1 extracts, as feature points, pixels in which the calculated feature amount satisfies a predetermined condition. The predetermined condition is determined according to the type of feature quantity to be calculated and the number of required feature points.

なお、抽出部1は、入力画像から直接的に特徴点を抽出してもよいし、入力画像を後述する全周囲画像の座標系に合わせて変形してから特徴点を抽出してもよい。例えば、全周囲画像の座標系が円筒面座標系の場合、抽出部1は、入力画像を円筒面座標系に座標変換し、座標変換された入力画像から特徴点を抽出する。座標系は、円筒面座標系に限られず、球面座標系や極座標系であってもよい。   Note that the extraction unit 1 may extract feature points directly from the input image, or may extract the feature points after transforming the input image according to the coordinate system of the all-around image described later. For example, when the coordinate system of the omnidirectional image is a cylindrical surface coordinate system, the extraction unit 1 performs coordinate conversion of the input image into the cylindrical surface coordinate system, and extracts feature points from the input image subjected to the coordinate conversion. The coordinate system is not limited to the cylindrical surface coordinate system, and may be a spherical coordinate system or a polar coordinate system.

特徴量DB2は、全周囲画像から抽出された特徴点及び特徴量の組を、複数記憶している。全周囲画像とは、登録位置に対する全周囲の画像である。本実施形態において、全周囲画像は予め撮影され、全周囲画像の特徴点は、予め特徴量DB2に記憶される。全周囲画像の座標系は、例えば、円筒面座標系、球面座標系、極座標系であるが、これに限られない。   The feature amount DB 2 stores a plurality of sets of feature points and feature amounts extracted from the entire surrounding image. The omnidirectional image is an image of the entire periphery with respect to the registered position. In the present embodiment, the omnidirectional image is captured in advance, and the feature points of the omnidirectional image are stored in advance in the feature amount DB 2. The coordinate system of the omnidirectional image is, for example, a cylindrical surface coordinate system, a spherical coordinate system, or a polar coordinate system, but is not limited thereto.

特徴量DB2に記憶された特徴点と、抽出部1が入力画像から抽出する特徴点と、は同一の方法で抽出される。例えば、特徴量DB2に記憶された特徴点が、KAZE特徴量に基づいて抽出されている場合、抽出部1は、入力画像の特徴点を、KAZE特徴量に基づいて抽出する。   The feature points stored in the feature amount DB 2 and the feature points extracted from the input image by the extraction unit 1 are extracted by the same method. For example, when the feature points stored in the feature amount DB 2 are extracted based on the KAZ feature amount, the extraction unit 1 extracts the feature points of the input image based on the KAZ feature amount.

対応点特定部3(以下、「特定部3」という)は、入力画像の特徴点と、全周囲画像の特徴点と、に基づいて、対応点を特定する。対応点とは、特徴量DB2に記憶された全周囲画像の特徴点のうち、入力画像の特徴点と対応するもののことである。   The corresponding point specifying unit 3 (hereinafter referred to as “specifying unit 3”) specifies the corresponding points based on the feature points of the input image and the feature points of the all-around image. Corresponding points are those corresponding to the feature points of the input image among the feature points of the all-around image stored in the feature amount DB 2.

具体的には、特定部3は、入力画像の特徴点の特徴量と、全周囲画像の各特徴点の特徴量と、の相関値を計算し、相関値が閾値以上となる全周囲画像の特徴点を探索する。特定部3は、相関値が閾値以上となる全周囲画像の特徴点が見つかった場合、その特徴点を、入力画像の特徴点の対応点として特定する。   Specifically, the specifying unit 3 calculates a correlation value between the feature amount of the feature point of the input image and the feature amount of each feature point of the all-surround image, and calculates Search for feature points. When the feature point of the all-around image having a correlation value equal to or greater than the threshold is found, the specifying unit 3 specifies the feature point as a corresponding point of the feature point of the input image.

特定部3は、上記の方法により、入力画像の各特徴点について対応点を探索する。特定部3は、入力画像の全ての特徴点について対応点を探索してもよいし、所定数の対応点が特定された時点で探索を終了してもよい。また、特定部3は、相関値が閾値以上となる全周囲画像の特徴点が複数見つかった場合、相関値が最大の特徴点を対応点として特定してもよい。   The specifying unit 3 searches for a corresponding point for each feature point of the input image by the above method. The specifying unit 3 may search for corresponding points for all feature points of the input image, or may end the search when a predetermined number of corresponding points are specified. Further, when a plurality of feature points of the all-around image having a correlation value equal to or greater than the threshold value are found, the specifying unit 3 may specify the feature point having the maximum correlation value as the corresponding point.

パラメータ算出部4は、入力画像の特徴点と、全周囲画像の対応点と、に基づいて、入力画像を全周囲画像上に投影変換するための関数(以下、「投影変換関数」という)のパラメータを算出する。   The parameter calculation unit 4 is a function (hereinafter referred to as “projection conversion function”) for projecting and transforming the input image onto the entire surrounding image based on the feature points of the input image and the corresponding points of the entire surrounding image. Calculate the parameters.

具体的には、パラメータ算出部4は、入力画像の特徴点を全周囲画像上に投影した投影点と、全周囲画像の対応点と、の誤差が小さくなる投影変換関数のパラメータを算出する。投影点と対応点との誤差は、最小になるのが好ましい。パラメータの算出方法について、詳しくは後述する。   Specifically, the parameter calculation unit 4 calculates a parameter of a projection transformation function in which an error between a projection point obtained by projecting a feature point of the input image on the entire surrounding image and a corresponding point of the entire surrounding image is small. The error between the projection point and the corresponding point is preferably minimized. The parameter calculation method will be described later in detail.

距離算出部5は、投影変換関数のパラメータに基づいて、登録位置から自己位置までの距離を算出する。距離の算出方法について、詳しくは後述する。   The distance calculation unit 5 calculates the distance from the registered position to the self position based on the parameters of the projection conversion function. The method for calculating the distance will be described later in detail.

位置推定部6(以下、「推定部6」という)は、投影変換関数のパラメータと、登録位置から自己位置までの距離と、に基づいて、自己位置を推定する。自己位置の推定方法について、詳しくは後述する。   The position estimation unit 6 (hereinafter referred to as “estimation unit 6”) estimates the self-position based on the parameters of the projection transformation function and the distance from the registered position to the self-position. The self-position estimation method will be described later in detail.

次に、本実施形態に係る画像処理装置のハードウェア構成について、図2を参照して説明する。図2は、本実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。図2に示すように、画像処理装置は、コンピュータ100により構成される。コンピュータ100は、CPU(中央演算装置)101と、入力装置102と、表示装置103と、通信装置104と、記憶装置105と、を備える。各構成は、バス106により相互に接続されている。   Next, the hardware configuration of the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of a hardware configuration of the image processing apparatus according to the present embodiment. As shown in FIG. 2, the image processing apparatus includes a computer 100. The computer 100 includes a CPU (Central Processing Unit) 101, an input device 102, a display device 103, a communication device 104, and a storage device 105. Each component is connected to each other by a bus 106.

CPU101は、コンピュータ100の制御装置及び演算装置を含む電子回路である。CPU101は、バス106を介して接続された各装置(例えば、入力装置102、通信装置104、記憶装置105)から入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を、バス106を介して接続された各装置(例えば、表示装置103、通信装置104、記憶装置105)に出力する。具体的には、CPU101は、コンピュータ100のOS(オペレーティングシステム)や、画像処理プログラムなどを実行し、コンピュータ100を構成する各装置を制御する。   The CPU 101 is an electronic circuit that includes a control device and a calculation device of the computer 100. The CPU 101 performs arithmetic processing based on data or a program input from each device (for example, the input device 102, the communication device 104, and the storage device 105) connected via the bus 106, and outputs the calculation result and the control signal. The data is output to each device (for example, the display device 103, the communication device 104, and the storage device 105) connected via the bus 106. Specifically, the CPU 101 executes an OS (operating system) of the computer 100, an image processing program, and the like, and controls each device constituting the computer 100.

画像処理プログラムとは、コンピュータ100に、画像処理装置の上述の各機能構成を実現させるプログラムである。画像処理プログラムは、一時的でない有形のコンピュータ読み取り可能な記憶媒体に記憶される。上記の記憶媒体は、例えば、光ディスク、光磁気ディスク、磁気ディスク、磁気テープ、フラッシュメモリ、半導体メモリであるが、これに限られない。CPU101が画像処理プログラムを実行することにより、コンピュータ100が画像処理装置として機能する。   The image processing program is a program that causes the computer 100 to realize the above-described functional configurations of the image processing apparatus. The image processing program is stored in a non-transitory tangible computer-readable storage medium. The storage medium is, for example, an optical disk, a magneto-optical disk, a magnetic disk, a magnetic tape, a flash memory, or a semiconductor memory, but is not limited thereto. When the CPU 101 executes the image processing program, the computer 100 functions as an image processing apparatus.

入力装置102は、コンピュータ100に情報を入力するための装置である。入力装置102は、例えば、キーボード、マウス、及びタッチパネルであるが、これに限られない。   The input device 102 is a device for inputting information to the computer 100. The input device 102 is, for example, a keyboard, a mouse, and a touch panel, but is not limited thereto.

表示装置103は、画像や映像を表示するための装置である。表示装置103は、例えば、LCD(液晶ディスプレイ)、CRT(ブラウン管)、及びPDP(プラズマディスプレイ)であるが、これに限られない。表示装置103は、入力画像、全周囲画像、及びこれらの特徴点を表示してもよいし、登録位置や推定された自己位置をマップ上に表示してもよい。   The display device 103 is a device for displaying images and videos. The display device 103 is, for example, an LCD (liquid crystal display), a CRT (CRT), and a PDP (plasma display), but is not limited thereto. The display device 103 may display an input image, an all-around image, and their feature points, or may display a registered position or an estimated self position on a map.

通信装置104は、コンピュータ100が外部装置と無線又は有線で通信するための装置である。通信装置104は、例えば、モデム、ハブ、及びルータであるが、これに限られない。入力画像や全周囲画像は、通信装置104を介して外部装置から入力されてもよい。   The communication device 104 is a device for the computer 100 to communicate with an external device wirelessly or by wire. The communication device 104 is, for example, a modem, a hub, and a router, but is not limited thereto. The input image and the entire surrounding image may be input from an external device via the communication device 104.

記憶装置105は、コンピュータ100のOSや、画像処理プログラム、画像処理プログラムの実行に必要なデータ、及び画像処理プログラムの実行により生成されたデータなどを記憶する記憶媒体である。記憶装置105には、主記憶装置と外部記憶装置とが含まれる。主記憶装置は、例えば、RAM、DRAM、SRAMであるが、これに限られない。また、外部記憶装置は、例えば、ハードディスク、光ディスク、フラッシュメモリ、及び磁気テープであるが、これに限られない。特徴量DB2は、記憶装置105上に構築されてもよいし、外部のサーバ上に構築されてもよい。   The storage device 105 is a storage medium that stores the OS of the computer 100, an image processing program, data necessary for executing the image processing program, data generated by executing the image processing program, and the like. The storage device 105 includes a main storage device and an external storage device. The main storage device is, for example, a RAM, a DRAM, or an SRAM, but is not limited thereto. The external storage device is, for example, a hard disk, an optical disk, a flash memory, and a magnetic tape, but is not limited thereto. The feature amount DB 2 may be constructed on the storage device 105 or may be constructed on an external server.

なお、コンピュータ100は、CPU101、入力装置102、表示装置103、通信装置104、及び記憶装置105を、それぞれ1つ又は複数備えてもよいし、プリンタやスキャナなどの周辺機器を接続されていてもよいし、入力画像や全周囲画像を撮影するための撮影装置を接続されていてもよい。撮影装置は、例えば、レンズと、CMOSやCCDなどの撮像素子と、を備えるデジタルカメラである。撮影装置を備える場合、全周囲画像及び入力画像は、撮影装置から入力することができる。   The computer 100 may include one or more CPUs 101, input devices 102, display devices 103, communication devices 104, and storage devices 105, or may be connected to peripheral devices such as printers and scanners. Alternatively, a photographing device for photographing the input image or the entire surrounding image may be connected. An imaging device is a digital camera provided with a lens and imaging devices, such as CMOS and CCD, for example. When the photographing apparatus is provided, the entire surrounding image and the input image can be input from the photographing apparatus.

また、画像処理装置は、単一のコンピュータ100により構成されてもよいし、相互に接続された複数のコンピュータ100からなるシステムとして構成されてもよい。   The image processing apparatus may be configured by a single computer 100 or may be configured as a system including a plurality of computers 100 connected to each other.

さらに、画像処理プログラムは、コンピュータ100の記憶装置105に予め記憶されていてもよいし、コンピュータ100の外部の記憶媒体に記憶されていてもよいし、インターネット上にアップロードされていてもよい。いずれの場合も、画像処理プログラムをコンピュータ100にインストールして実行することにより、画像処理装置の機能が実現される。   Furthermore, the image processing program may be stored in advance in the storage device 105 of the computer 100, may be stored in a storage medium external to the computer 100, or may be uploaded on the Internet. In either case, the functions of the image processing apparatus are realized by installing and executing the image processing program in the computer 100.

次に、本実施形態に係る画像処理装置の動作について、図3及び図4を参照して具体的に説明する。図3は、画像処理装置の動作を示すフローチャートである。以下では、全周囲画像の座標系は円筒面座標系であり、全周囲画像の特徴点は、特徴点DB2に予め記憶されているものとする。   Next, the operation of the image processing apparatus according to the present embodiment will be specifically described with reference to FIGS. FIG. 3 is a flowchart showing the operation of the image processing apparatus. Hereinafter, it is assumed that the coordinate system of the omnidirectional image is a cylindrical surface coordinate system, and the feature points of the omnidirectional image are stored in advance in the feature point DB2.

画像処理装置は、自己位置を推定する際、まず、入力画像を入力される(ステップS1)。入力画像は、通信装置104を介して外部装置から入力されてもよいし、コンピュータ100に接続された撮影装置から入力されてもよい。   When the image processing apparatus estimates its own position, first, an input image is input (step S1). The input image may be input from an external device via the communication device 104, or may be input from a photographing device connected to the computer 100.

次に、抽出部1が入力画像を取得し、取得した入力画像を、円筒面座標系に座標変換する。ここで、図4は、入力画像と全周囲画像との関係を示す図である。図4において、Cは、入力画像を円筒面座標系に座標変換するための関数(以下、「変換関数C」という)である。全周囲画像の座標系が円筒面座標系である場合、変換関数Cは、例えば、以下の式で表される。   Next, the extraction unit 1 acquires an input image, and coordinates-converts the acquired input image into a cylindrical surface coordinate system. Here, FIG. 4 is a diagram illustrating the relationship between the input image and the entire surrounding image. In FIG. 4, C is a function (hereinafter referred to as “conversion function C”) for converting the input image into a cylindrical coordinate system. When the coordinate system of the all-around image is a cylindrical surface coordinate system, the conversion function C is expressed by the following equation, for example.

式(1),(2)において、rは円筒面の半径、tは水平方向に対する撮影装置のチルト量、cは投影中心のx座標、cは投影中心のy座標である。これらの値は、撮影装置の配置や光学系によって一意に決まるため、予め設定される。また、pは入力画像上のx座標、pは入力画像上のy座標、pは入力画像上の位置ベクトルである。位置ベクトルpは、入力画像の各画素に対応する。以下では、位置ベクトルpを有する画素を、画素pという。 Equation (1), in (2), r is the radius of the cylindrical surface, t is the tilt amount of the photographing device with respect to the horizontal direction, the c x x-coordinate of the projection center, the c y is the y coordinate of the projection center. Since these values are uniquely determined by the arrangement of the photographing apparatus and the optical system, they are set in advance. Further, the p x x coordinate of the input image, the p y y coordinates on the input image, p is the position vector of the input image. The position vector p corresponds to each pixel of the input image. Hereinafter, a pixel having the position vector p is referred to as a pixel p.

抽出部1は、入力画像を座標変換して得られた円筒面投影画像から、複数の特徴点pを抽出する(ステップS2)。すなわち、抽出部1は、各画素pの特徴量を算出し、特徴量が所定の条件を満たす画素pを、特徴点pとして抽出する。図4の例では、特徴点pは5つ抽出されている。以下では、抽出されたi番目の特徴点pを特徴点psiという。また、特徴点psiの位置ベクトルをpsiで表す。 The extraction unit 1 extracts a plurality of feature points p s from the cylindrical projection image obtained by coordinate conversion of the input image (step S2). That is, the extraction unit 1 calculates the feature amount of each pixel p, the feature amount is a predetermined condition is satisfied pixel p, are extracted as the feature point p s. In the example of FIG. 4, five feature points p s are extracted. Hereinafter, the extracted i-th feature point p s is referred to as a feature point p si . Further, representing the position vector of the feature point p si in p si.

次に、特定部3が、抽出部1により抽出された特徴点psi及びその特徴量と、特徴点DB2に記憶された全周囲画像の特徴点及び特徴量と、を取得する。そして、特定部3は、各特徴点psiの対応点を特定する(ステップS3)。対応点の特定方法は、上述の通りである。 Next, the specifying unit 3 acquires the feature point p si extracted by the extraction unit 1 and its feature amount, and the feature point and feature amount of the all-around image stored in the feature point DB 2. And the specific | specification part 3 specifies the corresponding point of each feature point psi (step S3). The method for identifying the corresponding points is as described above.

図4の例では、5つの特徴点psiは、それぞれ対応点を特定されている。図4において、特徴点psiと、対応点と、の対応関係は、点線で示されている。以下では、特徴点psiの対応点を、対応点pdiという。また、対応点pdiの位置ベクトルをpdiで表す。 In the example of FIG. 4, corresponding points are specified for the five feature points p si . In FIG. 4, the correspondence between the feature point p si and the corresponding point is indicated by a dotted line. Hereinafter, the corresponding point of the feature point p si is referred to as a corresponding point p di . Further, representative of the position vector of the corresponding point p di at p di.

続いて、パラメータ算出部4が、特定部3から特徴点psi及び対応点pdiを取得する。パラメータ算出部4は、特徴点psi及び対応点pdiに基づいて、投影変換関数のパラメータを算出する(ステップS4)。具体的には、パラメータ算出部4は、以下の評価関数Eを最小化するパラメータを算出する。 Subsequently, the parameter calculation unit 4 acquires the feature point p si and the corresponding point p di from the specifying unit 3. The parameter calculation unit 4 calculates the parameters of the projection conversion function based on the feature points p si and the corresponding points p di (Step S4). Specifically, the parameter calculation unit 4 calculates a parameter that minimizes the following evaluation function E.

式(3)において、θは投影変換関数のパラメータを要素とするベクトル、ptiは特徴点psiを投影変換によって全周囲画像上に投影した投影点ptiの位置ベクトルである。図4において、投影点ptiは、破線で示されている。評価関数Eは、対応点pdiと投影点ptiとの誤差(再投影誤差)を評価する関数である。ptiは、以下の式により算出される。 In Expression (3), θ is a vector having parameters of the projection transformation function as elements, and p ti is a position vector of the projection point p ti obtained by projecting the feature point p si on the entire surrounding image by projection transformation. In FIG. 4, the projection point p ti is indicated by a broken line. The evaluation function E is a function for evaluating an error (reprojection error) between the corresponding point p di and the projection point p ti . p ti is calculated by the following equation.

式(4)において、C′は変換関数Cの逆変換関数、Gは入力画像を射影変換するための関数(以下、「射影変換関数」という)、Wは全周囲画像上における配置を変換する関数(以下、「配置変換関数」という)である。   In Expression (4), C ′ is an inverse transformation function of the transformation function C, G is a function for projective transformation of the input image (hereinafter referred to as “projective transformation function”), and W is a transformation of the arrangement on the entire surrounding image. Function (hereinafter referred to as “placement conversion function”).

逆変換関数C′、射影変換関数G、配置変換関数Wは、それぞれ以下の式で表される。   The inverse transformation function C ′, the projective transformation function G, and the arrangement transformation function W are each expressed by the following equations.

式(6)において、hij(i,j=1,2,3)は、入力画像を全周囲画像に射影変換するための変換係数である。また、式(7)において、dは円筒座標系における周方向の基準位置からの平行移動量である。式(7)では、x軸方向が円筒座標系の周方向であるため、平行移動量dは、基準位置からのx軸方向の平行移動量となる。図4の例では、基準位置は、全周囲画像の左端であるが、任意に設定可能である。 In Expression (6), h ij (i, j = 1, 2, 3) is a conversion coefficient for projective conversion of the input image to the entire surrounding image. In Expression (7), d is a parallel movement amount from the reference position in the circumferential direction in the cylindrical coordinate system. In Expression (7), since the x-axis direction is the circumferential direction of the cylindrical coordinate system, the parallel movement amount d is the parallel movement amount in the x-axis direction from the reference position. In the example of FIG. 4, the reference position is the left end of the entire surrounding image, but can be arbitrarily set.

以上説明した通り、入力画像を全周囲画像上に投影変換するための投影変換関数には、変換関数C、逆変換関数C′、射影変換関数G、及び配置変換関数Wが含まれる。そして、投影変換関数のパラメータのうち、未定のパラメータは、変換係数hij及び平行移動量dである。したがって、パラメータ算出部4が求めるパラメータは、変換係数hij及び平行移動量dとなる。上述のθには変換係数hij及び平行移動量dが含まれる。 As described above, the projection transformation function for projecting transformation of the input image onto the entire surrounding image includes the transformation function C, the inverse transformation function C ′, the projective transformation function G, and the arrangement transformation function W. Of the parameters of the projection conversion function, the parameters that are not yet determined are the conversion coefficient h ij and the parallel movement amount d. Therefore, the parameters calculated by the parameter calculation unit 4 are the conversion coefficient h ij and the parallel movement amount d. The above θ includes the conversion coefficient h ij and the parallel movement amount d.

すなわち、パラメータ算出部4は、ステップS4において、以下の処理を行なう。まず、パラメータ算出部4は、各特徴点psiを逆変換関数C′により円筒面座標系から元の座標系に逆変換し、射影変換関数Gにより射影変換(Homography)画像上に射影変換し、変換関数Cにより円筒面座標系に再び座標変換し、配置変換関数Wにより全周囲画像上における配置を変換する。これにより、パラメータ算出部4は、各特徴点psiの投影点ptiを算出する。 That is, the parameter calculation unit 4 performs the following process in step S4. First, the parameter calculation unit 4 inversely transforms each feature point p si from the cylindrical surface coordinate system to the original coordinate system by the inverse transformation function C ′, and performs projective transformation on the projection transformation (Homography) image by the projective transformation function G. The coordinate function is converted again into the cylindrical surface coordinate system by the conversion function C, and the arrangement on the all-around image is converted by the arrangement conversion function W. Thereby, the parameter calculation unit 4 calculates the projection point p ti of each feature point p si .

次に、パラメータ算出部4は、投影点ptiと対応点pdiとの誤差の和を、評価関数Eにより算出する。算出された評価値は、投影点ptiを算出するための投影変換関数のパラメータ、すなわち、変換係数hij及び平行移動量dの評価値となる。 Next, the parameter calculation unit 4 calculates the sum of errors between the projection point p ti and the corresponding point p di using the evaluation function E. The calculated evaluation value is a parameter of the projection conversion function for calculating the projection point p ti, that is, the evaluation value of the conversion coefficient h ij and the parallel movement amount d.

パラメータ算出部4は、投影変換関数のパラメータを変えながら上記の計算を繰り返し、評価値が最小となったパラメータを、投影変換関数のパラメータとして決定する。パラメータ算出部4は、ニュートン法、準ニュートン法、及びLevenberg-Marquardt法などを用いることにより、評価関数Eを最小化することができる。これにより、変換係数hij及び平行移動量dが算出される。 The parameter calculation unit 4 repeats the above calculation while changing the parameters of the projection conversion function, and determines the parameter having the smallest evaluation value as the parameter of the projection conversion function. The parameter calculation unit 4 can minimize the evaluation function E by using a Newton method, a quasi-Newton method, a Levenberg-Marquardt method, or the like. Thereby, the conversion coefficient h ij and the parallel movement amount d are calculated.

パラメータ算出部4は、上記の最小化方法と共に、RANSAC(Random sample Consensus)法を用いてパラメータを算出してもよい。これにより、パラメータを、特徴点psiと対応点pdiとの誤対応に対して、ロバスト化することができる。すなわち、複数の特徴点psiの中に、対応点pdiとの対応付けが間違っている特徴点psiが含まれた場合であっても、精度よくパラメータを算出することができる。これは、RANSAC法を用いることで、パラメータを算出するために利用される特徴点psiの中から、対応点pdiと誤対応している特徴点psiが除去されるためである。 The parameter calculation unit 4 may calculate parameters using the RANSAC (Random sample Consensus) method together with the above minimization method. Thus, the parameters for erroneous correspondences between feature points p si and the corresponding point p di, can be robust processing. That is, a plurality of feature points p si, even when included the feature point p si of correspondence between the corresponding point p di is wrong, it is possible to calculate accurately the parameters. This is because by using the RANSAC method is because among the feature points p si utilized to calculate the parameters, the feature point p si correspond erroneously corresponding point p di is removed.

次に、距離算出部5が、パラメータ算出部4により算出されたパラメータを取得する。距離算出部5は、取得したパラメータに基づいて、登録位置から自己位置までの距離zを算出する(ステップS5)。距離zは、例えば、以下の式により算出される。   Next, the distance calculation unit 5 acquires the parameter calculated by the parameter calculation unit 4. The distance calculation unit 5 calculates the distance z from the registered position to the self position based on the acquired parameter (step S5). The distance z is calculated by the following formula, for example.

式(9)において、Hは変換係数hijを要素とする3行3列の射影行列、Iは単位行列である。式(8),(9)からわかるように、距離zは、変換係数hijから算出することができる。 In Equation (9), H is a 3-by-3 projection matrix whose elements are transformation coefficients h ij , and I is a unit matrix. As can be seen from the equations (8) and (9), the distance z can be calculated from the conversion coefficient h ij .

なお、距離算出部5は、他の方法で距離zを算出してもよい。他の方法として、例えば、射影行列Hを特異値分解する方法が考えられる。   The distance calculation unit 5 may calculate the distance z by other methods. As another method, for example, a method of singular value decomposition of the projection matrix H is conceivable.

その後、推定部6が、パラメータ算出部4から平行移動量dを取得し、距離算出部5から距離zを取得する。推定部6は、取得した平行移動量d及び距離zに基づいて、自己位置を推定する。   Thereafter, the estimation unit 6 acquires the parallel movement amount d from the parameter calculation unit 4 and acquires the distance z from the distance calculation unit 5. The estimation unit 6 estimates the self position based on the acquired parallel movement amount d and distance z.

ここで、図5は、自己位置と登録位置との関係を示す図である。図5に示すように、自己位置は、登録位置から距離zであり、かつ、全周囲画像の基準位置から平行移動量dだけ周方向に平行移動した位置となる。図5からわかるように、平行移動量dは、基準位置に対する回転角に相当する。   Here, FIG. 5 is a diagram showing the relationship between the self position and the registered position. As shown in FIG. 5, the self-position is a distance z from the registered position, and is a position translated in the circumferential direction by the translation amount d from the reference position of the all-around image. As can be seen from FIG. 5, the parallel movement amount d corresponds to the rotation angle with respect to the reference position.

以上説明した通り、本実施形態に係る画像処理装置は、入力画像を全周囲画像上に投影変換するための投影変換関数のパラメータに基づいて、登録位置から自己位置までの距離zを算出し、距離zを用いて自己位置を推定する。したがって、本実施形態に係る画像処理装置は、自己位置を精度よく推定することができる。   As described above, the image processing apparatus according to the present embodiment calculates the distance z from the registered position to the self-position based on the parameters of the projection conversion function for projecting the input image onto the entire surrounding image, The self-position is estimated using the distance z. Therefore, the image processing apparatus according to the present embodiment can accurately estimate the self position.

なお、画像処理装置は、複数の全周囲画像を用いて自己位置を推定することも可能である。画像処理装置は、入力画像と、各全周囲画像と、に基づいて、上記の方法で自己位置を推定し、推定された複数の自己位置の平均や重心を、最終的な自己位置として推定すればよい。これにより、自己位置の推定精度を向上させることができる。   Note that the image processing apparatus can also estimate the self-position using a plurality of omnidirectional images. The image processing apparatus estimates the self-position by the above method based on the input image and each omnidirectional image, and estimates the average or the center of gravity of the plurality of estimated self-positions as the final self-position. That's fine. Thereby, the estimation accuracy of the self-position can be improved.

(第2実施形態)
第2実施形態に係る画像処理装置について、図6及び図7を参照して説明する。本実施形態に係る画像処理装置は、全周囲画像を自ら撮影し、全周囲画像の特徴点を特徴点DB2に記憶する。したがって、画像処理装置は、撮影装置を備える。
(Second Embodiment)
An image processing apparatus according to the second embodiment will be described with reference to FIGS. The image processing apparatus according to the present embodiment shoots the all-around image by itself and stores the feature points of the all-around image in the feature point DB2. Therefore, the image processing apparatus includes a photographing device.

図6は、本実施形態に係る画像処理装置の機能構成を示す図である。図6に示すように、この画像処理装置は、撮影制御部7と、登録部8と、を備える。他の構成は、第1実施形態と同様である。   FIG. 6 is a diagram illustrating a functional configuration of the image processing apparatus according to the present embodiment. As shown in FIG. 6, the image processing apparatus includes a shooting control unit 7 and a registration unit 8. Other configurations are the same as those of the first embodiment.

撮影制御部7は、画像処理装置の動作モードに応じて、撮影装置による撮影を制御する。本実施形態において、画像処理装置は、動作モードとして、推定モードと、登録モードと、を有する。   The photographing control unit 7 controls photographing by the photographing device according to the operation mode of the image processing device. In the present embodiment, the image processing apparatus has an estimation mode and a registration mode as operation modes.

推定モードとは、第1実施形態で説明した自己位置の推定を行なう動作モードである。推定モードにおいて、撮影制御部7は、自己位置を推定するために撮影装置に撮影させ、得られた画像を入力画像として抽出部1に入力する。   The estimation mode is an operation mode for performing self-position estimation described in the first embodiment. In the estimation mode, the imaging control unit 7 causes the imaging device to take an image in order to estimate the self position, and inputs the obtained image to the extraction unit 1 as an input image.

登録モードとは、全周囲画像を撮影し、撮影された全周囲画像の特徴点及び特徴量を特徴点DB2に記憶する動作モードである。登録モードにおいて、撮影制御部7は、撮影装置に全周囲画像を撮影させ、得られた画像を登録部8に入力する。   The registration mode is an operation mode in which an omnidirectional image is photographed and feature points and feature amounts of the photographed omnidirectional image are stored in the feature point DB2. In the registration mode, the imaging control unit 7 causes the imaging device to capture an entire surrounding image and inputs the obtained image to the registration unit 8.

撮影制御部7は、撮影装置が全周囲画像を1度に撮影可能な場合、撮影装置に全周囲画像を撮影させ、得られた全周囲画像を登録部8に入力する。全周囲画像を1度に撮影可能な撮影装置は、例えば、全天カメラや全天球カメラである。   When the imaging apparatus can capture the entire surrounding image at a time, the imaging control unit 7 causes the imaging apparatus to capture the entire surrounding image and inputs the obtained entire surrounding image to the registration unit 8. An imaging device that can capture an omnidirectional image at a time is, for example, an omnidirectional camera or an omnidirectional camera.

また、撮影制御部7は、撮影装置が全周囲画像を一度に撮影できない場合、撮影装置に全周囲を離散的な間隔で複数回撮影させ、得られた複数の画像を所定の座標系(円筒面座標系、球面座標系、及び極座標系など)上で合成することにより全周囲画像を生成し、生成された全周囲画像を登録部8に入力する。   In addition, when the imaging apparatus cannot capture the entire surrounding image at a time, the imaging control unit 7 causes the imaging apparatus to capture the entire periphery a plurality of times at discrete intervals, and the obtained images are displayed in a predetermined coordinate system (cylinder). The omnidirectional image is generated by synthesis on a plane coordinate system, a spherical coordinate system, a polar coordinate system, and the like, and the generated omnidirectional image is input to the registration unit 8.

撮影装置は、全周囲を撮影可能なように、画像処理装置上で回転可能に構成されてもよい。また、撮影装置が全周囲を撮影可能なように、画像処理装置が回転可能に構成されてもよい。このような構成は、電気掃除機や巡回警備ロボットなどの自律移動体に画像処理装置を搭載することにより可能となる。画像処理装置を搭載した電気掃除機については、第3実施形態において説明する。   The photographing device may be configured to be rotatable on the image processing device so that the entire periphery can be photographed. Further, the image processing device may be configured to be rotatable so that the photographing device can photograph the entire periphery. Such a configuration can be realized by mounting an image processing device on an autonomous moving body such as a vacuum cleaner or a patrol guard robot. A vacuum cleaner equipped with an image processing device will be described in a third embodiment.

なお、動作モードは、ユーザからの入力により切替えられてもよいし、所定の時間間隔やイベントに応じて自律的に切替えられてもよい。また、登録モードが実行される登録位置(全周囲画像の撮影位置)は、任意であってもよいし、ユーザにより指定されてもよい。   The operation mode may be switched by an input from the user, or may be switched autonomously according to a predetermined time interval or event. Further, the registration position where the registration mode is executed (shooting position of the entire surrounding image) may be arbitrary or specified by the user.

登録部8は、撮影制御部7より入力された全周囲画像から、複数の特徴点を抽出する。登録部8による特徴点の抽出方法は、抽出部1と同様である。登録部8は、抽出した特徴点及びその特徴量を、特徴点DB2に記憶させる。   The registration unit 8 extracts a plurality of feature points from the entire surrounding image input from the imaging control unit 7. The method of extracting feature points by the registration unit 8 is the same as that of the extraction unit 1. The registration unit 8 stores the extracted feature points and the feature quantities in the feature point DB 2.

次に、本実施形態に係る画像処理装置の動作について、図7を参照して具体的に説明する。推定モードにおける動作は第1実施形態と同様であるため、説明を省略する。図7は、登録モードにおける動作を示すフローチャートである。   Next, the operation of the image processing apparatus according to the present embodiment will be specifically described with reference to FIG. Since the operation in the estimation mode is the same as that of the first embodiment, description thereof is omitted. FIG. 7 is a flowchart showing the operation in the registration mode.

まず、撮影制御部7は、撮影装置に全周囲を離散的な間隔で複数回撮影させる(ステップS7)。撮影制御部7は、撮影により得られた複数の画像を、円筒面座標系などの座標系上で合成し、全周囲画像を生成する(ステップS8)。撮影制御部7は、生成した全周囲画像を、登録部8に入力する。   First, the photographing control unit 7 causes the photographing device to photograph the entire periphery a plurality of times at discrete intervals (step S7). The imaging control unit 7 synthesizes a plurality of images obtained by imaging on a coordinate system such as a cylindrical surface coordinate system to generate an all-around image (step S8). The imaging control unit 7 inputs the generated omnidirectional image to the registration unit 8.

全周囲画像を入力された登録部8は、全周囲画像から複数の特徴点を抽出する(ステップS9)。すなわち、登録部8は、全周囲画像の各画素の特徴量を算出し、特徴量が所定の条件を満たす画素を、特徴点として抽出する。登録部8は、抽出した特徴点及びその特徴量を特徴点DB2に入力する。   The registration unit 8 that has received the omnidirectional image extracts a plurality of feature points from the omnidirectional image (step S9). That is, the registration unit 8 calculates a feature amount of each pixel of the entire surrounding image, and extracts a pixel whose feature amount satisfies a predetermined condition as a feature point. The registration unit 8 inputs the extracted feature points and the feature amounts thereof into the feature point DB2.

特徴点DB2は、登録部8から入力された特徴点及び特徴量を記憶する(ステップS10)。こうして特徴点DB2に記憶された全周囲画像の特徴点及び特徴量は、推定モードにおける自己位置の推定に用いられる。   The feature point DB 2 stores the feature points and feature amounts input from the registration unit 8 (step S10). The feature points and feature amounts of the all-around image stored in the feature point DB 2 in this way are used for the self-position estimation in the estimation mode.

以上説明した通り、本実施形態に係る画像処理装置は、自ら全周囲画像を撮影又は生成し、その特徴点及び特徴量を記憶する。したがって、本実施形態によれば、画像処理装置は、全周囲画像の特徴点及び特徴量を予め記憶していなくても、自己位置を推定することができる。   As described above, the image processing apparatus according to the present embodiment shoots or generates an all-around image by itself and stores the feature points and feature amounts. Therefore, according to the present embodiment, the image processing apparatus can estimate the self position even if the feature points and feature amounts of the all-around image are not stored in advance.

(第3実施形態)
第3実施形態に係る電気掃除装置について、図8〜図11を参照して説明する。本実施形態に係る電気掃除装置は、電気掃除機11と、充電装置12と、を備える。電気掃除機11は、上述の画像処理装置を備える。
(Third embodiment)
A vacuum cleaner according to a third embodiment will be described with reference to FIGS. The vacuum cleaner according to this embodiment includes a vacuum cleaner 11 and a charging device 12. The vacuum cleaner 11 includes the above-described image processing device.

図8〜図11において、11は電気掃除機である。電気掃除機11は、電気掃除機11の充電用の基地部となる充電装置(充電台)12とともに、電気掃除装置(電気掃除システム)を構成する。電気掃除機11は、本実施形態において、走行面(被掃除面)である床面上を自律走行(自走)しつつ床面を掃除する、いわゆる自走式のロボットクリーナ(掃除ロボット)である。   8-11, 11 is a vacuum cleaner. The vacuum cleaner 11 constitutes a vacuum cleaning device (electric cleaning system) together with a charging device (charging stand) 12 serving as a base for charging the vacuum cleaner 11. In this embodiment, the vacuum cleaner 11 is a so-called self-propelled robot cleaner (cleaning robot) that cleans the floor surface while autonomously traveling (self-propelled) on the floor surface that is the traveling surface (cleaned surface). is there.

電気掃除機11は、例えば掃除領域内などに配置された中継手段(中継部)であるホームゲートウェイ(ルータ)14との間で、有線通信あるいはWi−Fi(登録商標)やBluetooth(登録商標)などの無線通信を用いて通信(送受信)する。これにより、電気掃除機11は、インターネットなどの(外部)ネットワーク15を介して、データ格納手段(データ格納部)である汎用のサーバ16や、表示手段(表示部)である汎用の外部装置17などと、有線あるいは無線通信可能となる。   The vacuum cleaner 11 is connected to a home gateway (router) 14 that is a relay means (relay unit) disposed in a cleaning area, for example, by wire communication, Wi-Fi (registered trademark), or Bluetooth (registered trademark). Communication (transmission / reception) using wireless communication such as. Thereby, the vacuum cleaner 11 is connected to a general-purpose server 16 that is a data storage unit (data storage unit) or a general-purpose external device 17 that is a display unit (display unit) via an (external) network 15 such as the Internet. For example, wired or wireless communication is possible.

また、この電気掃除機11は、中空状の本体ケース20と、この本体ケース20を床面上で走行させる走行部21と、床面などの塵埃を掃除する掃除部22と、充電装置12を含む外部装置と通信する通信部23と、画像を撮影する撮影部25と、センサ部26と、制御部27と、二次電池28と、を備えている。   The vacuum cleaner 11 includes a hollow main body case 20, a traveling unit 21 that travels the main body case 20 on the floor surface, a cleaning unit 22 that cleans dust such as the floor surface, and the charging device 12. A communication unit 23 that communicates with an external device, an imaging unit 25 that captures an image, a sensor unit 26, a control unit 27, and a secondary battery 28 are provided.

制御部27は、走行部21、掃除部22、通信部23、及び、撮影部25などを制御する。二次電池28は、走行部21、掃除部22、通信部23、撮影部25、センサ部26、及び制御部27などに給電する。   The control unit 27 controls the traveling unit 21, the cleaning unit 22, the communication unit 23, the photographing unit 25, and the like. The secondary battery 28 supplies power to the traveling unit 21, the cleaning unit 22, the communication unit 23, the photographing unit 25, the sensor unit 26, the control unit 27, and the like.

なお、以下、電気掃除機11(本体ケース20)の走行方向に沿った方向を前後方向(図9に示す矢印FR,RR方向)とし、この前後方向に対して交差(直交)する左右方向(両側方向)を幅方向として説明する。   Hereinafter, the direction along the traveling direction of the vacuum cleaner 11 (main body case 20) is defined as the front-rear direction (arrows FR and RR shown in FIG. 9), and the left-right direction intersecting (orthogonal) with respect to the front-rear direction ( The description will be made with the width direction as the width direction.

本体ケース20は、例えば合成樹脂などにより平な円柱状(円盤状)などに形成されている。すなわち、この本体ケース20は、側面部20aと、この側面部20aの上部及び下部にそれぞれ連続する上面部20b及び下面部20cとを備えている。   The main body case 20 is formed in a flat columnar shape (disc shape), for example, with synthetic resin or the like. That is, the main body case 20 includes a side surface portion 20a, and an upper surface portion 20b and a lower surface portion 20c that are continuous with the upper and lower portions of the side surface portion 20a, respectively.

本体ケース20の側面部20aは、上面部20bと下面部20cとを連続するもので、略円筒面状に形成されている。この側面部20aには、例えば、撮影部25などが配置されている。また、本体ケース20の上面部20b及び下面部20cは、それぞれ略円形状に形成されている。床面に対向する下面部20cには、集塵口である吸込口31、及び、排気口32などがそれぞれ開口されている。   The side surface portion 20a of the main body case 20 is formed by connecting the upper surface portion 20b and the lower surface portion 20c, and is formed in a substantially cylindrical surface shape. For example, the photographing unit 25 is disposed on the side surface portion 20a. Moreover, the upper surface part 20b and the lower surface part 20c of the main body case 20 are each formed in a substantially circular shape. A suction port 31, which is a dust collection port, an exhaust port 32, and the like are opened in the lower surface portion 20c facing the floor surface.

走行部21は、複数(一対)の駆動部である駆動輪34、これら駆動輪34をそれぞれ駆動させる駆動手段である2つのモータ35、旋回用の旋回輪36などを備えている。   The traveling unit 21 includes a plurality of (a pair of) driving wheels 34 that are driving units, two motors 35 that are driving means for driving the driving wheels 34, and a turning wheel 36 for turning.

各駆動輪34は、電気掃除機11(本体ケース20)を床面上で前進方向及び後退方向に走行(自律走行)させる走行用のものである。各駆動輪34は、左右幅方向に沿って図示しない回転軸を有し、幅方向に対称に配置されている。   Each drive wheel 34 is for traveling that causes the vacuum cleaner 11 (main body case 20) to travel in the forward and backward directions (autonomous traveling) on the floor surface. Each drive wheel 34 has a rotation axis (not shown) along the left-right width direction, and is arranged symmetrically in the width direction.

各モータ35は、例えば、駆動輪34のそれぞれに対応して配置されており、各駆動輪34を独立して駆動させることが可能となっている。   Each motor 35 is disposed, for example, corresponding to each drive wheel 34, and can drive each drive wheel 34 independently.

旋回輪36は、本体ケース20の下面の幅方向の略中央部で、かつ、前部に位置しており、床面に沿って旋回可能な従動輪である。   The swivel wheel 36 is a driven wheel that is positioned at the front and substantially at the center in the width direction of the lower surface of the main body case 20 and can be swung along the floor surface.

掃除部22は、例えば、本体ケース20内に位置して塵埃を吸込口31から空気とともに吸い込み排気口32から排気する電動送風機41、吸込口31に回転可能に取り付けられて塵埃を掻き上げる回転清掃体である回転ブラシ42、回転ブラシ42を回転駆動させるブラシモータ43、本体ケース20の前側などの両側に回転可能に取り付けられて塵埃を掻き集める補助掃除部であるサイドブラシ44、サイドブラシ44をそれぞれ駆動させるサイドブラシモータ45、及び吸込口31と連通して塵埃を溜める集塵部46などを備えている。なお、電動送風機41と、回転ブラシ42及びブラシモータ43と、サイドブラシ44及びサイドブラシモータ45とは、少なくともいずれかを備えていればよい。   The cleaning unit 22 is, for example, an electric blower 41 that is located in the main body case 20 and sucks dust together with air from the suction port 31 and exhausts it from the exhaust port 32. A rotating brush 42 that is a body, a brush motor 43 that rotationally drives the rotating brush 42, a side brush 44 that is rotatably attached to both sides such as the front side of the main body case 20 and scrapes dust, and the side brush 44. A side brush motor 45 to be driven and a dust collecting portion 46 that communicates with the suction port 31 and accumulates dust are provided. The electric blower 41, the rotating brush 42 and the brush motor 43, and the side brush 44 and the side brush motor 45 may be provided with at least one of them.

通信部23は、ホームゲートウェイ14及びネットワーク15を介して外部装置17と無線通信をするための無線通信部及び掃除機信号受信部である。通信部23は、無線LANデバイス47、充電装置12などへと無線信号(赤外線信号)を送信する赤外線発光素子などの送信部、及び、充電装置12やリモコンなどからの無線信号(赤外線信号)を受信するフォトトランジスタなどの受信部などを備えている。通信部23は、通信装置104に相当する。   The communication unit 23 is a wireless communication unit and a vacuum cleaner signal receiving unit for performing wireless communication with the external device 17 via the home gateway 14 and the network 15. The communication unit 23 transmits a wireless signal (infrared signal) from a transmission unit such as an infrared light emitting element that transmits a wireless signal (infrared signal) to the wireless LAN device 47, the charging device 12, and the like, and the charging device 12 or a remote controller. A receiving unit such as a phototransistor for receiving is provided. The communication unit 23 corresponds to the communication device 104.

無線LANデバイス47は、電気掃除機11からホームゲートウェイ14を介してネットワーク15に対して各種情報を送受信するものであり、例えば本体ケース20に内蔵されている。   The wireless LAN device 47 transmits and receives various types of information to and from the network 15 via the home gateway 14 from the vacuum cleaner 11, and is incorporated in the main body case 20, for example.

撮影部25は、撮影装置であるカメラ51、及びカメラ51に照明を付与する照明部であるLEDなどのランプ53を備えている。   The imaging unit 25 includes a camera 51 that is an imaging device, and a lamp 53 such as an LED that is an illumination unit that provides illumination to the camera 51.

カメラ51は、本体ケース20の側面部20aにおいて、前部に配置されている。カメラ51は、本体ケース20の走行方向である前方を、所定の水平画角(例えば105°など)で撮影するデジタルカメラである。カメラ51は、例えば、所定時間毎、例えば数十ミリ秒毎などの微小時間毎、あるいは数秒毎などに、画像を撮影する。本実施形態では、カメラ51は、例えば可視光領域の画像を撮影するものとする。なお、カメラ51により撮影した画像は、画像処理回路などにより、所定のデータ形式に圧縮することもできる。   The camera 51 is disposed on the front side of the side surface portion 20 a of the main body case 20. The camera 51 is a digital camera that photographs the front of the main body case 20 in the traveling direction at a predetermined horizontal angle of view (for example, 105 °). For example, the camera 51 captures an image every predetermined time, for example, every minute time such as every several tens of milliseconds, or every several seconds. In the present embodiment, the camera 51 captures an image in the visible light region, for example. Note that an image captured by the camera 51 can be compressed into a predetermined data format by an image processing circuit or the like.

ランプ53は、カメラ51により画像を撮影する際の照明用の光を出力する。本実施形態では、このランプ53は、可視光領域を含む光を照明する。   The lamp 53 outputs light for illumination when an image is taken by the camera 51. In the present embodiment, the lamp 53 illuminates light including a visible light region.

センサ部26は、例えば各駆動輪34(各モータ35)の回転数を検出する光エンコーダなどの回転数センサ55を備えている。この回転数センサ55は、測定した駆動輪34(モータ35)の回転数によって、電気掃除機11(本体ケース20)の旋回角度や進行距離を検出する。したがって、この回転数センサ55は、例えば充電装置12などの基準位置からの電気掃除機11(本体ケース20)の相対位置を検出する、位置検出センサである。   The sensor unit 26 includes a rotation speed sensor 55 such as an optical encoder that detects the rotation speed of each drive wheel 34 (each motor 35). The rotation speed sensor 55 detects the turning angle and travel distance of the vacuum cleaner 11 (main body case 20) based on the measured rotation speed of the drive wheel 34 (motor 35). Therefore, the rotation speed sensor 55 is a position detection sensor that detects the relative position of the vacuum cleaner 11 (main body case 20) from a reference position such as the charging device 12, for example.

制御部27は、例えば、マイコンである。制御部27は、CPU101及び記憶装置105に相当する。制御部27の動作により、上述の画像処理装置の機能構成が実現される。   The control unit 27 is, for example, a microcomputer. The control unit 27 corresponds to the CPU 101 and the storage device 105. The functional configuration of the above-described image processing apparatus is realized by the operation of the control unit 27.

より詳細には、制御部27は、例えば、カメラ51で撮影した画像のデータなどを記憶する記憶部であるメモリ61、及びカメラ51で撮影した画像(入力画像)に基づいて自己位置を推定する自己位置推定部62などを備えている。本実施形態において、特徴点DB2は、メモリ61上に構築される。   More specifically, the control unit 27 estimates the self position based on, for example, a memory 61 that is a storage unit that stores data of an image captured by the camera 51 and an image (input image) captured by the camera 51. A self-position estimation unit 62 and the like are provided. In the present embodiment, the feature point DB2 is constructed on the memory 61.

また、制御部27は、走行制御部66、掃除制御部67、撮影制御部68、及び照明制御部69などを備えている。走行制御部66は、走行部21のモータ35(駆動輪34)の動作を制御する。掃除制御部67は、掃除部22の電動送風機41、ブラシモータ43及びサイドブラシモータ45の動作を制御する。撮影制御部68は、撮影部25のカメラ51を制御する。照明制御部69は、撮影部25のランプ53を制御する。   The control unit 27 includes a travel control unit 66, a cleaning control unit 67, a photographing control unit 68, and a lighting control unit 69. The travel control unit 66 controls the operation of the motor 35 (drive wheel 34) of the travel unit 21. The cleaning control unit 67 controls operations of the electric blower 41, the brush motor 43, and the side brush motor 45 of the cleaning unit 22. The shooting control unit 68 controls the camera 51 of the shooting unit 25. The illumination control unit 69 controls the lamp 53 of the photographing unit 25.

そして、制御部27は、例えば駆動輪34(モータ35)を駆動して電気掃除機11(本体ケース20)を自律走行させる走行モードと、充電装置12を介して二次電池28を充電する充電モードと、動作待機中の待機モードと、を有している。走行モードには、推定モードと、登録モードと、が含まれる。   And the control part 27 drives the driving wheel 34 (motor 35), for example, the driving mode which makes the vacuum cleaner 11 (main body case 20) autonomously drive, and the charge which charges the secondary battery 28 via the charging device 12 Mode and a standby mode during operation standby. The traveling mode includes an estimation mode and a registration mode.

メモリ61は、電気掃除機11の電源のオンオフに拘らず記憶した各種データを保持する。メモリ61は、例えば、フラッシュメモリなどの不揮発性のメモリである。   The memory 61 holds various data stored regardless of whether the power of the electric vacuum cleaner 11 is on or off. The memory 61 is a non-volatile memory such as a flash memory, for example.

自己位置推定部62は、第1実施形態に係る画像処理装置に相当する。自己位置推定部62は、カメラ51が撮影した画像(入力画像)と、全周囲画像と、に基づいて、自己位置(本体ケース20の位置)を推定する。本実施形態において、全周囲画像、全周囲画像の特徴点、及び特徴点の特徴量は、メモリ61に記憶される。電気掃除機11は、自己位置推定部62が推定した自己位置に基づいて、自律走行する。なお、第2実施形態に係る登録部8の機能は、自己位置推定部62により実現されてもよい。   The self-position estimation unit 62 corresponds to the image processing apparatus according to the first embodiment. The self-position estimation unit 62 estimates the self-position (position of the main body case 20) based on the image (input image) taken by the camera 51 and the all-around image. In this embodiment, the omnidirectional image, the feature points of the omnidirectional image, and the feature amounts of the feature points are stored in the memory 61. The vacuum cleaner 11 travels autonomously based on the self-position estimated by the self-position estimating unit 62. Note that the function of the registration unit 8 according to the second embodiment may be realized by the self-position estimation unit 62.

走行制御部66は、モータ35に流れる電流の大きさ及び向きを制御することにより、モータ35を正転、あるいは逆転させることで、モータ35の駆動を制御する。これにより、走行制御部66は、モータ35の駆動を制御することで駆動輪34の駆動を制御している。   The travel control unit 66 controls the driving of the motor 35 by controlling the magnitude and direction of the current flowing through the motor 35 to rotate the motor 35 forward or backward. Thereby, the traveling control unit 66 controls the drive of the drive wheels 34 by controlling the drive of the motor 35.

掃除制御部67は、電動送風機41、ブラシモータ43、及び、サイドブラシモータ45をそれぞれ別個に導通角制御する。これにより、掃除制御部67は、電動送風機41、ブラシモータ43(回転ブラシ42)、及び、サイドブラシモータ45(サイドブラシ44)の駆動を制御している。なお、これら電動送風機41、ブラシモータ43、及び、サイドブラシモータ45のそれぞれに対応して制御部を別個に設けてもよい。   The cleaning control unit 67 individually controls the conduction angle of the electric blower 41, the brush motor 43, and the side brush motor 45. Thereby, the cleaning control part 67 is controlling the drive of the electric blower 41, the brush motor 43 (rotary brush 42), and the side brush motor 45 (side brush 44). In addition, you may provide a control part corresponding to each of these electric blower 41, the brush motor 43, and the side brush motor 45 separately.

撮影制御部68は、カメラ51のシャッタの動作を制御する制御回路を備え、このシャッタを所定時間毎に動作させることで、所定時間毎にカメラ51により画像を撮影させるように制御する。撮影制御部68は、第2実施形態における撮影制御部7の機能が実現される。   The shooting control unit 68 includes a control circuit that controls the operation of the shutter of the camera 51, and controls the camera 51 to take an image every predetermined time by operating the shutter every predetermined time. The shooting control unit 68 realizes the function of the shooting control unit 7 in the second embodiment.

照明制御部69は、スイッチなどを介してランプ53のオンオフを制御している。この照明制御部69は、本実施形態では、電気掃除機11の周囲の明るさを検出するセンサを備えており、このセンサにより検出した明るさが所定以下の場合にランプ53を点灯させ、その他のときにはランプ53を点灯させないようにするものである。   The illumination control unit 69 controls on / off of the lamp 53 via a switch or the like. In this embodiment, the illumination control unit 69 includes a sensor that detects the brightness around the vacuum cleaner 11. When the brightness detected by the sensor is equal to or lower than a predetermined value, the lamp 53 is turned on. In this case, the lamp 53 is not turned on.

また、二次電池28は、例えば本体ケース20の下面の後部の両側に露出する接続部としての充電端子71と電気的に接続されており、これら充電端子71が充電装置12と電気的及び機械的に接続されることで、充電装置12を介して充電されるようになっている。   Further, the secondary battery 28 is electrically connected to, for example, a charging terminal 71 as a connecting portion exposed on both sides of the rear portion of the lower surface of the main body case 20, and the charging terminal 71 is electrically and mechanically connected to the charging device 12. When connected, the battery is charged via the charging device 12.

ホームゲートウェイ14は、アクセスポイントなどとも呼ばれ、建物内に設置され、ネットワーク15に対して例えば有線により接続されている。   The home gateway 14 is also called an access point or the like, is installed in a building, and is connected to the network 15 by, for example, a wire.

サーバ16は、ネットワーク15に接続されたコンピュータ(クラウドサーバ)であり、各種データを保存可能である。   The server 16 is a computer (cloud server) connected to the network 15 and can store various data.

外部装置17は、建物の内部では例えばホームゲートウェイ14を介してネットワーク15に対して有線あるいは無線通信可能であるとともに、建物の外部ではネットワーク15に対して有線あるいは無線通信可能な、例えばPC(タブレット端末(タブレットPC))17aやスマートフォン(携帯電話)17bなどの汎用のデバイスである。この外部装置17は、少なくとも画像を表示する表示機能を有している。   The external device 17 can be wired or wirelessly communicated with the network 15 via the home gateway 14 inside the building, for example, and can be wired or wirelessly communicated with the network 15 outside the building, such as a PC (tablet). It is a general-purpose device such as a terminal (tablet PC) 17a and a smartphone (mobile phone) 17b. The external device 17 has a display function for displaying at least an image.

次に、本実施形態に係る電気掃除装置の動作を説明する。   Next, the operation of the electric vacuum cleaner according to this embodiment will be described.

一般に、電気掃除装置は、電気掃除機11によって掃除をする掃除作業と、充電装置12によって二次電池28を充電する充電作業とに大別される。充電作業は、充電装置12に内蔵された定電流回路などの充電回路を用いる既知の方法が用いられるため、掃除作業についてのみ説明する。また、外部装置17などからの指令に応じてカメラ51の少なくともいずれかにより所定の対象物を撮影する撮影作業を別途備えていてもよい。   Generally, the electric vacuum cleaner is roughly divided into a cleaning operation for cleaning with the electric vacuum cleaner 11 and a charging operation for charging the secondary battery 28 with the charging device 12. Since a known method using a charging circuit such as a constant current circuit built in the charging device 12 is used for the charging operation, only the cleaning operation will be described. Further, a photographing operation for photographing a predetermined object with at least one of the cameras 51 in accordance with a command from the external device 17 or the like may be provided.

電気掃除機11は、例えば予め設定された掃除開始時刻となったときや、リモコンまたは外部装置17によって送信された掃除開始の指令信号を受信したときなどのタイミングで、制御部27が待機モードから走行モードに切り換わり、走行制御部66がモータ35を駆動させ充電装置12から所定距離離脱する。   In the vacuum cleaner 11, for example, when the cleaning start time set in advance is reached, or when the cleaning start command signal transmitted by the remote controller or the external device 17 is received, the control unit 27 is in the standby mode. The mode is switched to the travel mode, and the travel control unit 66 drives the motor 35 to leave the charging device 12 a predetermined distance.

次いで、電気掃除機11は、掃除領域内を自律走行しつつ掃除をする。この自律走行の際には、制御部27(撮影制御部68)により駆動させたカメラ51により走行方向前方を撮影する。撮影した画像は、メモリ61に記憶される。   Next, the vacuum cleaner 11 performs cleaning while autonomously running in the cleaning area. During this autonomous traveling, the front of the traveling direction is imaged by the camera 51 driven by the control unit 27 (imaging control unit 68). The captured image is stored in the memory 61.

動作モードが推定モードの場合、自己位置推定部62は、カメラ51により撮影された入力画像に基づいて、自己位置を推定する。電気掃除機11は、推定された自己位置に基づいて、掃除領域内を自律走行する。   When the operation mode is the estimation mode, the self-position estimation unit 62 estimates the self-position based on the input image taken by the camera 51. The vacuum cleaner 11 autonomously travels within the cleaning area based on the estimated self-position.

自己位置を推定するための全周囲画像は、予めメモリ61に記憶されていてもよいし、電気掃除機11の走行中に撮影され、メモリ61に記憶されてもよい。いずれの場合も、自己位置推定部62が、メモリ61に記憶された全周囲画像から特徴点を抽出し、抽出された特徴点及び特徴量をメモリ61に記憶させる。すなわち、自己位置推定部62は、登録部8の機能を実現する。   The all-around image for estimating the self-position may be stored in the memory 61 in advance, or may be taken while the electric vacuum cleaner 11 is running and stored in the memory 61. In either case, the self-position estimation unit 62 extracts feature points from the entire surrounding image stored in the memory 61 and stores the extracted feature points and feature amounts in the memory 61. That is, the self-position estimation unit 62 realizes the function of the registration unit 8.

一方、動作モードが登録モードの場合、走行制御部66が所定の位置(登録位置)でモータ35を駆動させて電気掃除機11を旋回させながら、撮影制御部68がカメラ51により全周囲の画像を撮影させる。これにより、全周囲画像を撮影することができる。撮影された全周囲画像は、メモリ61に記憶される。登録モードが実行される登録位置は、電気掃除機11の走行中における任意の位置であってもよいし、ユーザにより設定された位置であってもよい。   On the other hand, when the operation mode is the registration mode, the shooting control unit 68 uses the camera 51 to rotate the entire surrounding image while the traveling control unit 66 drives the motor 35 at a predetermined position (registered position) to turn the vacuum cleaner 11. Let's shoot. Thereby, an all-around image can be taken. The captured all-around image is stored in the memory 61. The registration position where the registration mode is executed may be an arbitrary position while the vacuum cleaner 11 is running, or may be a position set by the user.

掃除部22は、掃除制御部67が駆動された電動送風機41、回転ブラシ42、あるいはサイドブラシ44により床面の塵埃を、吸込口31を介して集塵部46へと捕集する。そして、掃除領域の掃除が完了した場合、あるいは掃除作業中に二次電池28の容量が所定量まで低下して掃除や撮影を完了させるのに不足している(二次電池28の電圧が放電終止電圧近傍まで低下している)などの所定条件時には、電気掃除機11は、充電装置12に帰還する。その後、充電端子71と充電装置12の充電用端子とが接続されると、電気掃除機11は、掃除作業を終了し、制御部27が待機モード、あるいは充電モードに移行する。   The cleaning unit 22 collects dust on the floor surface to the dust collecting unit 46 through the suction port 31 by the electric blower 41, the rotating brush 42, or the side brush 44 in which the cleaning control unit 67 is driven. Then, when the cleaning of the cleaning area is completed or during the cleaning operation, the capacity of the secondary battery 28 is reduced to a predetermined amount and is insufficient to complete the cleaning or photographing (the voltage of the secondary battery 28 is discharged). The vacuum cleaner 11 returns to the charging device 12 at a predetermined condition such as when the voltage is reduced to near the end voltage. Thereafter, when the charging terminal 71 and the charging terminal of the charging device 12 are connected, the vacuum cleaner 11 ends the cleaning operation, and the control unit 27 shifts to the standby mode or the charging mode.

なお、メモリ61に記憶された画像のデータは、例えば電気掃除機11が充電装置12に帰還したとき、掃除作業中に随時、所定時間毎、あるいは外部装置17からの要求があったときなどに、無線LANデバイス47を介してホームゲートウェイ14及びネットワーク15を経由してサーバ16に送信されてもよい。送信が終了したデータを、メモリ61から消去、あるいは新たなデータを記憶する際に上書きすることで、メモリ61の容量を効率よく使用できる。   Note that the image data stored in the memory 61 is, for example, when the vacuum cleaner 11 returns to the charging device 12, at any time during the cleaning operation, every predetermined time, or when there is a request from the external device 17. The data may be transmitted to the server 16 via the home gateway 14 and the network 15 via the wireless LAN device 47. The capacity of the memory 61 can be used efficiently by erasing the data that has been transmitted from the memory 61 or overwriting it when storing new data.

サーバ16では、電気掃除機11から送信された画像のデータを保存し、外部装置17からの要求(アクセス)に応じてそれら画像のデータをダウンロード可能となっている。   The server 16 can store image data transmitted from the electric vacuum cleaner 11 and download the image data in response to a request (access) from the external device 17.

そして、外部装置17では、サーバ16からダウンロードされた画像が表示される。   The external device 17 displays an image downloaded from the server 16.

このように、本実施形態に係る電気掃除機11は、第1実施形態に係る画像処理装置(自己位置推定部62)により精度よく推定された自己位置に基づいて自律走行する。したがって、本実施形態によれば、電気掃除機11は、自律走行の精度が向上し、効率よく掃除ができる。   Thus, the vacuum cleaner 11 according to the present embodiment autonomously travels based on the self-position accurately estimated by the image processing apparatus (self-position estimating unit 62) according to the first embodiment. Therefore, according to this embodiment, the vacuum cleaner 11 can improve the accuracy of autonomous traveling and can be cleaned efficiently.

また、本実施形態に係る電気掃除機11は、撮影制御部68が第2実施形態における撮影制御部7の機能を実現する。したがって、電気掃除機11は、自己位置を推定するための全周囲画像を自ら撮影することができる。   In the vacuum cleaner 11 according to the present embodiment, the photographing control unit 68 realizes the function of the photographing control unit 7 in the second embodiment. Therefore, the vacuum cleaner 11 can shoot an all-around image for estimating its own position.

さらに、カメラ51が可視光領域の画像を撮影するので、撮影した画像の画質が良好で、複雑な画像処理を施すことなく、ユーザが目視可能に容易に表示できるとともに、ランプ53により可視光領域を含む光を照明することで、暗い場所や夜間などであっても、カメラ51により確実に画像を撮影できる。   Furthermore, since the camera 51 captures an image in the visible light region, the image quality of the captured image is good, and the user can easily view the image without performing complicated image processing. By illuminating the light including the light, an image can be reliably captured by the camera 51 even in a dark place or at night.

なお、本実施形態において、カメラ51を、赤外領域の画像を撮影する、赤外線カメラとすることもできる。この場合には、ランプ53によって、赤外領域を含む光を照明することで、昼夜を問わず、安定した画像を得ることができるとともに、暗い場所や夜間であっても周囲を明るくすることなくその暗さのまま画像を撮影できる。   In the present embodiment, the camera 51 may be an infrared camera that captures an infrared region image. In this case, by illuminating the light including the infrared region with the lamp 53, a stable image can be obtained regardless of day or night, and the surroundings are not brightened even in a dark place or at night. Images can be taken in the dark.

また、画像の表示は、制御部27によって外部装置17で表示可能となるように処理する構成の他に、例えばそれぞれ外部装置17にインストールされた専用のプログラム(アプリケーション)により外部装置17で表示するように処理することもできるし、制御部27、あるいはサーバ16で予め処理をしておき、外部装置17のブラウザなどの汎用のプログラムにより表示することもできる。すなわち、表示制御手段(表示制御部)としては、サーバ16に保存されたプログラムや、外部装置17にインストールされたプログラムなどにより画像を表示させる構成とすることもできる。   In addition to the configuration in which the control unit 27 performs processing so that the image can be displayed on the external device 17, the image is displayed on the external device 17 by, for example, a dedicated program (application) installed in the external device 17. It is also possible to perform processing as described above, or processing is performed in advance by the control unit 27 or the server 16 and display can be performed by a general-purpose program such as a browser of the external device 17. That is, the display control means (display control unit) may be configured to display an image using a program stored in the server 16 or a program installed in the external device 17.

さらに、メモリ61に一時記憶した画像などのデータは、サーバ16に送信してサーバ16に記憶するようにしたが、メモリ61にそのまま記憶しておいてもよいし、外部装置17に記憶しておいてもよい。   Further, data such as images temporarily stored in the memory 61 is transmitted to the server 16 and stored in the server 16, but may be stored in the memory 61 as it is or stored in the external device 17. It may be left.

また、カメラ51で撮影した画像は、外部装置17に限らず、例えば電気掃除機11自体に設けた表示部(表示装置103)などに表示することもできる。この場合には、メモリ61からサーバ16へとホームゲートウェイ14及びネットワーク15経由でデータを送信しなくてもよく、電気掃除機11の構成や制御をより簡略化することもできる。   Moreover, the image image | photographed with the camera 51 can also be displayed not only on the external device 17 but the display part (display device 103) etc. which were provided in the vacuum cleaner 11 itself, for example. In this case, it is not necessary to transmit data from the memory 61 to the server 16 via the home gateway 14 and the network 15, and the configuration and control of the vacuum cleaner 11 can be further simplified.

さらに、例えば、本体ケース20の後部など、カメラ51の視野外の位置での障害物検出用の接触センサなどのセンサを別途設けたり、本体ケース20の下面部20cに、床面の段差などを検出する赤外線センサなどの段差検出手段(段差検出部)を設けたりしてもよい。   Further, for example, a sensor such as a contact sensor for detecting an obstacle at a position outside the field of view of the camera 51, such as a rear portion of the main body case 20, or a step on the floor surface is provided on the lower surface portion 20c of the main body case 20. A step detecting means (step detecting unit) such as an infrared sensor for detection may be provided.

また、自己位置推定部62、走行制御部66、掃除制御部67、撮影制御部68、及び照明制御部69は、それぞれ制御部27中に備えたが、それぞれ互いに別構成としてもよいし、いずれか2つ以上を任意に組み合わせてもよい。   In addition, the self-position estimation unit 62, the travel control unit 66, the cleaning control unit 67, the imaging control unit 68, and the illumination control unit 69 are provided in the control unit 27, respectively, but may be configured separately from each other. Two or more may be combined arbitrarily.

なお、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。   Note that the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. Further, for example, a configuration in which some components are deleted from all the components shown in each embodiment is also conceivable. Furthermore, you may combine suitably the component described in different embodiment.

1:特徴点抽出部、2:特徴点DB、3:対応点特定部、4:パラメータ算出部、5:距離算出部、6:位置推定部、7:撮影制御部、8:登録部、11:電気掃除機、12:充電装置、14:ホームゲートウェイ、15:ネットワーク、16:サーバ、17:外部装置、20:本体ケース、21:走行部、23:通信部、25:撮影部、26:センサ部、27:制御部、28:二次電池、31:吸込口、32:排気口、34:駆動輪、35:モータ、36:旋回輪、41:電動送風機、42:回転ブラシ、43:ブラシモータ、44:サイドブラシ、45:サイドブラシモータ、集塵部46、47:無線LANデバイス、51カメラ、53:ランプ、55:回転数センサ、61:メモリ、62:自己位置推定部、66:走行制御部、67:掃除制御部、68:撮影制御部、69:照明制御部、71:充電端子 1: feature point extraction unit, 2: feature point DB, 3: corresponding point specification unit, 4: parameter calculation unit, 5: distance calculation unit, 6: position estimation unit, 7: imaging control unit, 8: registration unit, 11 : Vacuum cleaner, 12: charging device, 14: home gateway, 15: network, 16: server, 17: external device, 20: main body case, 21: travel unit, 23: communication unit, 25: photographing unit, 26: Sensor unit, 27: Control unit, 28: Secondary battery, 31: Suction port, 32: Exhaust port, 34: Drive wheel, 35: Motor, 36: Swivel wheel, 41: Electric blower, 42: Rotating brush, 43: Brush motor, 44: side brush, 45: side brush motor, dust collection unit 46, 47: wireless LAN device, 51 camera, 53: lamp, 55: rotation speed sensor, 61: memory, 62: self-position estimation unit, 66 : Travel control unit, 67: Removing control unit, 68: photographing control unit, 69: lighting control unit, 71: charging terminal

Claims (8)

入力画像から、所定の特徴量を有する特徴点を抽出する抽出部と、
前記特徴点の前記特徴量に基づいて、前記特徴点と対応する全周囲画像の対応点を特定する特定部と、
前記特徴点と前記対応点とに基づいて、前記入力画像を前記全周囲画像上に投影変換する関数のパラメータを算出するパラメータ算出部と、
前記パラメータに基づいて、前記全周囲画像の撮影位置から前記入力画像の撮影位置までの距離を算出する距離算出部と、
を備える画像処理装置。
An extraction unit for extracting feature points having a predetermined feature amount from the input image;
A specifying unit that specifies corresponding points of the entire surrounding image corresponding to the feature points based on the feature amounts of the feature points;
A parameter calculation unit that calculates parameters of a function for projecting and transforming the input image onto the entire surrounding image based on the feature points and the corresponding points;
A distance calculation unit that calculates a distance from the shooting position of the entire surrounding image to the shooting position of the input image based on the parameter;
An image processing apparatus comprising:
前記距離に基づいて、前記入力画像の前記撮影位置を推定する推定部を備える
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, further comprising: an estimation unit that estimates the shooting position of the input image based on the distance.
前記パラメータ算出部は、前記入力画像の前記特徴点を前記全周囲画像上に投影した投影点と、前記対応点と、の誤差が小さくなるように前記パラメータを算出する
請求項1又は請求項2に記載の画像処理装置。
The parameter calculation unit calculates the parameter so that an error between a projection point obtained by projecting the feature point of the input image on the all-around image and the corresponding point becomes small. An image processing apparatus according to 1.
前記パラメータは、前記入力画像を射影変換するための射影変換関数の変換係数を含む
請求項1乃至請求項3のいずれか1項に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the parameter includes a transformation coefficient of a projective transformation function for projective transformation of the input image.
全周囲を離散的な間隔で撮影された複数の画像から前記全周囲画像を生成する撮影部を備える
請求項1乃至請求項4のいずれか1項に記載の画像処理装置。
5. The image processing apparatus according to claim 1, further comprising: an imaging unit that generates the entire circumference image from a plurality of images obtained by imaging the entire circumference at discrete intervals. 6.
前記撮影部は、前記複数の画像を、円筒面座標系上で合成することにより前記全周囲画像を生成する
請求項5に記載の画像処理装置。
The image processing apparatus according to claim 5, wherein the photographing unit generates the omnidirectional image by combining the plurality of images on a cylindrical coordinate system.
前記全周囲画像から特徴点を抽出する登録部を備える
請求項1乃至請求項6のいずれか1項に記載の画像処理装置。
The image processing apparatus according to claim 1, further comprising a registration unit that extracts feature points from the entire surrounding image.
請求項1乃至請求項7のいずれか1項に記載の画像処理装置を備える
電気掃除機。
A vacuum cleaner provided with the image processing apparatus of any one of Claim 1 thru | or 7.
JP2015146174A 2015-07-23 2015-07-23 Image processing device and vacuum cleaner Pending JP2017027417A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015146174A JP2017027417A (en) 2015-07-23 2015-07-23 Image processing device and vacuum cleaner

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015146174A JP2017027417A (en) 2015-07-23 2015-07-23 Image processing device and vacuum cleaner

Publications (1)

Publication Number Publication Date
JP2017027417A true JP2017027417A (en) 2017-02-02

Family

ID=57946623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015146174A Pending JP2017027417A (en) 2015-07-23 2015-07-23 Image processing device and vacuum cleaner

Country Status (1)

Country Link
JP (1) JP2017027417A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108553042A (en) * 2018-05-21 2018-09-21 安克创新科技股份有限公司 A kind of clean robot
WO2019117078A1 (en) * 2017-12-15 2019-06-20 東芝ライフスタイル株式会社 Electric cleaner
US10375376B2 (en) 2015-11-17 2019-08-06 Kabushiki Kaisha Toshiba Pose estimation apparatus and vacuum cleaner system
WO2022034666A1 (en) * 2020-08-13 2022-02-17 三菱電機株式会社 Learning device, image processing device, and alignment system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011119974A (en) * 2009-12-03 2011-06-16 Sony Corp Panoramic image synthesizer, panoramic image synthesis method, and program
JP2011233149A (en) * 2010-04-26 2011-11-17 Lg Electronics Inc Robot cleaner, remote monitoring system using robot cleaner and remote monitoring method using robot cleaner

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011119974A (en) * 2009-12-03 2011-06-16 Sony Corp Panoramic image synthesizer, panoramic image synthesis method, and program
JP2011233149A (en) * 2010-04-26 2011-11-17 Lg Electronics Inc Robot cleaner, remote monitoring system using robot cleaner and remote monitoring method using robot cleaner

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EZIO MALIS, MANUEL VARGAS: "Deeper understanding of the homography decomposition for vision-based control", [RESEARCH REPORT] RR-6303, INRIA., vol. inria-00174036v3, JPN7019002184, 25 September 2007 (2007-09-25), pages 1 - 90, ISSN: 0004185113 *
薄充孝,外3名: "「複合現実感4」特集 ランドマークデータベースに基づく静止画像からのカメラ位置・姿勢推定", 日本バーチャルリアリティ学会論文誌 第13巻 第2号, JPN6019026212, 30 June 2008 (2008-06-30), JP, pages 161 - 170, ISSN: 0004185114 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375376B2 (en) 2015-11-17 2019-08-06 Kabushiki Kaisha Toshiba Pose estimation apparatus and vacuum cleaner system
WO2019117078A1 (en) * 2017-12-15 2019-06-20 東芝ライフスタイル株式会社 Electric cleaner
JP2019107083A (en) * 2017-12-15 2019-07-04 東芝ライフスタイル株式会社 Vacuum cleaner
CN111405862A (en) * 2017-12-15 2020-07-10 东芝生活电器株式会社 Electric vacuum cleaner
EP3725204A4 (en) * 2017-12-15 2021-09-01 Toshiba Lifestyle Products & Services Corporation Electric cleaner
JP7075201B2 (en) 2017-12-15 2022-05-25 東芝ライフスタイル株式会社 Vacuum cleaner
CN108553042A (en) * 2018-05-21 2018-09-21 安克创新科技股份有限公司 A kind of clean robot
WO2022034666A1 (en) * 2020-08-13 2022-02-17 三菱電機株式会社 Learning device, image processing device, and alignment system

Similar Documents

Publication Publication Date Title
KR101950558B1 (en) Pose estimation apparatus and vacuum cleaner system
JP6785860B2 (en) Spatial mapping using a multi-directional camera
US9886774B2 (en) Photogrammetric methods and devices related thereto
JP6632232B2 (en) Method for cleaning or treating a room with a free-standing mobile device and a free-standing mobile device
US10008028B2 (en) 3D scanning apparatus including scanning sensor detachable from screen
US10427304B2 (en) Robotic charger alignment
JP2019523496A (en) Estimate dimensions of enclosed space using multi-directional camera
JP2017027417A (en) Image processing device and vacuum cleaner
JP6323439B2 (en) Autonomous mobile device, autonomous mobile method and program
KR20170061355A (en) Mobile robot and method thereof
CN107843251B (en) Pose estimation method of mobile robot
US20190227566A1 (en) Self-propelled vacuum cleaner
WO2019232804A1 (en) Software updating method and system, and mobile robot and server
CN110111388B (en) Three-dimensional object pose parameter estimation method and visual equipment
GB2569926A (en) Electric vacuum cleaner
WO2019117078A1 (en) Electric cleaner
CN111220148A (en) Mobile robot positioning method, system and device and mobile robot
Havlena et al. AWEAR 2.0 system: Omni-directional audio-visual data acquisition and processing
CN110919644B (en) Method and system for positioning interaction by using camera equipment and robot
CN107229274B (en) Position indication method, terminal device, self-propelled device, and program
JP2018156538A (en) Autonomous mobile device, image processing method and program
US11417063B2 (en) Determining a three-dimensional representation of a scene
Huang et al. AR Mapping: Accurate and Efficient Mapping for Augmented Reality
JP2022125319A (en) Autonomous mobile device, method and program for detecting dirt on lens of autonomous mobile device
US10021364B2 (en) Method of building stereoscopic model with kalman filtering

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200107