CN111405862B - 电动吸尘器 - Google Patents

电动吸尘器 Download PDF

Info

Publication number
CN111405862B
CN111405862B CN201880076864.8A CN201880076864A CN111405862B CN 111405862 B CN111405862 B CN 111405862B CN 201880076864 A CN201880076864 A CN 201880076864A CN 111405862 B CN111405862 B CN 111405862B
Authority
CN
China
Prior art keywords
unit
image processing
image data
image
vacuum cleaner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880076864.8A
Other languages
English (en)
Other versions
CN111405862A (zh
Inventor
井泽浩一
丸谷裕树
渡边浩太
古田和浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Lifestyle Products and Services Corp
Publication of CN111405862A publication Critical patent/CN111405862A/zh
Application granted granted Critical
Publication of CN111405862B publication Critical patent/CN111405862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)

Abstract

提供一种能够进行小型化以及高精度的行驶控制的电动吸尘器(11)。电动吸尘器(11)具有：能够行驶的主体壳体；对主体壳体进行行驶控制的行驶·传感器系统CPU(61)；搭载于主体壳体的多个相机(51)；以及具有图像输入单元、图像处理单元、自身位置推测单元、地图制作单元的功能的图像处理处理器(63)。图像处理处理器(63)从多个相机(51)中的至少两个相机获取图像数据。图像处理处理器(63)对所获取的图像数据进行图像处理。图像处理处理器(63)基于图像处理后的图像数据，来推测自身位置。图像处理处理器(63)基于图像处理后的图像数据，来制作主体壳体所行驶的行驶区域的地图。

Description

电动吸尘器
技术领域
本发明的实施方式涉及推测自身位置、并且制作主体行驶的行驶区域的地图的电动吸尘器。
背景技术
以往，已知有一边在作为被吸尘面的地面上自主行驶一边对地面进行吸尘的、所谓的自主行驶型的吸尘机器人。
在这样的电动吸尘器中，例如有如下技术：使用SLAM(simultaneouslocalization and mapping：即时定位与地图构建)技术，制作反映了想要吸尘的房间的大小、形状以及障碍物等的地图，并基于该地图设定行驶路径。
为了实现SLAM技术，已知有使用了激光传感器、陀螺仪传感器的电动吸尘器。然而，在使用激光传感器的情况下，激光传感器的形状较大，不容易使电动吸尘器小型化，存在无法进入例如床、沙发的下部等高度上有障碍的场所进行吸尘的情况，并且由于激光传感器昂贵，因此无法廉价地制造。另外，在使用陀螺仪传感器的情况下，需要根据陀螺仪传感器运算电动吸尘器的移动量，该运算的误差较大，不容易提高精度。
现有技术文献
专利文献
专利文献1：日本特开2011－233149号公报
发明内容
发明要解决的课题
本发明要解决的课题在于，提供一种能够实现小型化以及高精度的行驶控制的电动吸尘器。
用来解决课题的手段
实施方式的电动吸尘器具有：能够行驶的主体；对该主体进行行驶控制的行驶控制单元；搭载于主体的多个相机；图像输入单元；图像处理单元；自身位置推测单元；以及地图制作单元。图像输入单元从多个相机中的至少两个相机获取图像数据。图像处理单元对由图像输入单元获取的图像数据进行图像处理。自身位置推测单元基于由图像处理单元进行了图像处理的图像数据，来推测自身位置。地图制作单元基于由图像处理单元进行了图像处理的图像数据，来制作主体所行驶的行驶区域的地图。
根据上述构成，能够实现电动吸尘器的小型化以及高精度的行驶控制。
附图说明
图1是表示一实施方式的电动吸尘器的内部构造的框图。
图2是表示上述电动吸尘器的立体图。
图3是从下方示出上述电动吸尘器的俯视图。
图4是示意地表示上述电动吸尘器的物体的距离的计算方法的说明图。
图5(a)是示意地表示由一方的相机拍摄到的图像的一个例子的说明图，(b)是示意地表示由另一方的相机拍摄到的图像的一个例子的说明图，(c)是表示基于(a)以及(b)的图像的距离图像的一个例子的说明图。
图6是表示由上述电动吸尘器的地图制作单元制作出的地图的一个例子的说明图。
图7是表示上述电动吸尘器的处理流程的说明图。
具体实施方式
以下，参照附图对一实施方式的构成进行说明。
在图1至图3中，11是作为自主行驶体的电动吸尘器。该电动吸尘器11与作为基地装置的充电装置一起构成作为自主行驶体装置的电动吸尘装置即电动吸尘系统。而且，在本实施方式中，电动吸尘器11是一边在作为被吸尘部的行驶面即地面上自主行驶一边对地面进行吸尘的、所谓的自行式的扫地机器人。另外，自行式的电动吸尘器11不仅指完全自主行驶的电动吸尘器，还包括通过遥控器等外部装置进行远程操作而自行的电动吸尘器。
电动吸尘器11具备作为主体的主体壳体20。另外，电动吸尘器11具备作为行驶驱动部的驱动轮21。而且，电动吸尘器11具备对地面的尘埃进行吸尘的吸尘部22。另外，电动吸尘器11具备传感器部23。而且，电动吸尘器11具备拍摄部24。另外，电动吸尘器11也可以具备通信部25。另外，电动吸尘器11也可以具备与外部装置、用户之间输入输出信号的输入输出部26。而且，电动吸尘器11具备作为控制器即控制单元的控制部27。另外，电动吸尘器11也可以具备显示图像的显示部。而且，电动吸尘器11也可以具备成为电源部的供电用的电池。另外，以下，如图2中箭头FR、RR所示，将沿着主体壳体20的行驶方向的方向设为前后方向。另外，将与前后方向正交的左右方向或两侧方向设为宽度方向而进行说明。
主体壳体20例如由合成树脂等形成。该主体壳体20形成为能够收纳各种装置、部件的形状。主体壳体20例如也可以形成为扁平的圆柱状或圆盘状等。另外，在主体壳体20上，作为集尘口的吸入口31等也可以设于与地面对置的下部等。
驱动轮21使主体壳体20在地面上向前进方向以及后退方向自主行驶、即为行驶用的部件。在本实施方式中，驱动轮21例如在主体壳体20的左右设有一对。驱动轮21由作为驱动单元的马达33驱动。另外，也能够代替驱动轮21而使用作为行驶驱动部的环状轨道等。
马达33与驱动轮21对应地配置。因而，在本实施方式中，马达33例如设置有左右一对。而且，该马达33能够使各驱动轮21独立地驱动。
吸尘部22例如去除地面的尘埃。吸尘部22例如具有从吸入口31收集并捕集地面上的尘埃、或者对地面等进行擦拭吸尘的功能。吸尘部22也可以具备以下中的至少任一个：从吸入口31将尘埃与空气一起吸入的电动鼓风机35；作为能够旋转地安装于吸入口31并将尘埃扫起的旋转清扫体的旋转刷36及使旋转刷36旋转驱动的刷马达；以及作为能够旋转地安装于主体壳体20的周缘部并将尘埃扫拢的回转清扫部的辅助吸尘单元即侧刷38及使侧刷38驱动的侧刷马达。另外，吸尘部22也可以具备与吸入口31连通而积存尘埃的集尘部40。
传感器部23对支援主体壳体20的行驶的各种信息进行传感检测。本实施方式的传感器部23例如对地面的凹凸状态即台阶、成为电动吸尘器11的行驶的障碍的墙壁或障碍物、地面的尘埃量等进行传感检测。传感器部23例如也可以具备作为障碍物检测单元的红外线传感器或超声波传感器、检测从吸入口31吸入到集尘部40的尘埃量的尘埃量传感器等。红外线传感器、超声波传感器例如也可以具备作为测定主体壳体20的侧部等与成为障碍物的物体的距离等的距离测定单元的距离测定部的功能。
拍摄部24具备作为拍摄单元即拍摄部主体的相机51。另外，拍摄部24也可以具备作为照明单元即照明部的灯53。另外，灯53是作为检测辅助单元的检测辅助部。
相机51是如下的数字相机：朝向主体壳体20的行驶方向即前方，相对于与载置主体壳体20的地面平行的方向，以规定的水平视角、例如105°等对数字的图像或动态图像进行拍摄。相机51具备镜头、光圈、快门、CCD等拍摄元件以及拍摄控制电路等。另外，相机51设置有多个。例如，在本实施方式中，相机51相互分离地左右设置一对。另外，相机51、51彼此的拍摄范围或视野重叠。因此，由相机51、51拍摄的图像的拍摄区域在左右方向上重叠(lap)。另外，由相机51拍摄的图像例如可以是可见光波段的彩色图像、黑白图像，也可以是红外线图像。
灯53通过对相机51的拍摄方向进行照明来获得拍摄所需的亮度。本实施方式的灯53输出与能够由相机51拍摄的光的波段对应的波段的光。另外，本实施方式的灯53在相机51能够拍摄可见光波段的图像的情况下，输出可见光波段的光，在相机51能够拍摄红外波段的图像的情况下，输出红外波长区域的光。该灯53与各相机51对应地设置。在本实施方式中，灯53配置于相机51、51间，但也可以按每个相机51而配置。灯53例如使用LED等。灯53不是必须的构成。
通信部25具备作为用于经由作为中继单元的中继点即家庭网关以及因特网等网络与外部装置进行无线通信的无线通信单元的无线通信部、以及作为吸尘器信号接收单元即吸尘器信号接收部的无线LAN设备等。另外，例如也可以在通信部25搭载接入点功能，不经由家庭网关而与外部装置直接进行无线通信。另外，例如也可以在通信部25附加网络服务器功能。
输入输出部26取得从遥控器等外部装置发送的控制指令、从设于主体壳体20的开关或触摸面板等输入单元输入的控制指令，并且向例如充电装置等发送信号。
控制部27例如使用具备作为控制单元主体的控制部主体即CPU、ROM以及RAM等的微型计算机。控制部27与吸尘部22、传感器部23、拍摄部24、通信部25、输入输出部26等电连接。本实施方式的控制部27具备作为第一控制部的行驶·传感器系统CPU61。另外，控制部27具备作为第二控制部的用户接口系统CPU62。以下，用户接口系统CPU称为UI系统CPU62。而且，控制部27具备作为第三控制部的图像处理处理器63。另外，控制部27具备作为吸尘控制单元的吸尘控制部。而且，控制部27具备作为存储单元即存储部的存储器。另外，控制部27与电池电连接。而且，控制部27也可以具备控制电池的充电的充电控制部。
行驶·传感器系统CPU61与马达33电连接。另外，行驶·传感器系统CPU61与传感器部23电连接。而且，行驶·传感器系统CPU61与UI系统CPU62电连接。另外，行驶·传感器系统CPU61与图像处理处理器63电连接。行驶·传感器系统CPU61例如具有通过控制马达33的驱动来控制驱动轮21的驱动的、作为行驶控制单元的行驶控制部的功能。另外，行驶·传感器系统CPU61具有取得传感器部23的检测结果的、作为传感器控制单元的传感器控制部的功能。而且，行驶·传感器系统CPU61具备行驶模式，该行驶模式为，基于表示能够供电动吸尘器11配置、行驶的区域即行驶区域的地图数据以及传感器部23的检测来设定行驶路径，并控制马达33的驱动，从而使主体壳体20沿着该行驶路径在行驶区域自主行驶。而且，由行驶·传感器系统CPU61设定的行驶路设为，除了地图数据中的障碍物、台阶等无法行驶的区域以外能够行驶的、在本实施方式中为能够以最短的行驶距离在能够吸尘的区域行驶的路径，例如主体壳体20尽可能直行的路径、方向转换最少的路径、与成为障碍物的物体的接触较少的路径、或者在相同的部位重复行驶的次数最少的路径等能够高效地进行行驶以及吸尘的路径。另外，本实施方式中，电动吸尘器11能够行驶的区域实质上是成为吸尘部22的吸尘对象的区域，因此行驶区域与吸尘对象区域相同。
UI系统CPU62取得由输入输出部26接收到的信号、或者生成从输入输出部26输出的信号。UI系统CPU62与输入输出部26电连接。另外，UI系统CPU62与行驶·传感器系统CPU61电连接。而且，UI系统CPU62与图像处理处理器63电连接。
图像处理处理器63与拍摄部24的各相机51以及灯53电连接。另外，图像处理处理器63与通信部25电连接。而且，图像处理处理器63与各CPU61、62电连接。而且，图像处理处理器63获取由至少两个相机51、51拍摄到的图像的数据，并进行各种处理。本实施方式的图像处理处理器63具有作为从至少两个相机51、51获取图像数据的图像输入单元的图像输入部的功能。另外，图像处理处理器63具有作为对所获取的至少两个图像数据进行图像处理的图像处理单元的图像处理部的功能。而且，图像处理处理器63具有作为基于图像处理后的图像数据来推测自身位置的自身位置推测单元的自身位置推测部的功能。另外，图像处理处理器63具有作为基于图像处理后的这些图像数据来制作主体壳体20行驶的行驶区域的地图的地图制作单元的地图制作部的功能。
参照图4，对检测从相机51、51到周围的物体的距离的技术的概要进行说明。首先，在左右设置有一对的两个相机51、51中的一方的拍摄图像G1中，提取多个在成为距离检测的对象的物体O中位置唯一确定的角部等特征点SP。若在从拍摄了拍摄图像G1的相机51离开了焦距f的位置设定拍摄坐标平面，则在三维的坐标空间中，在连结相机51的中心与拍摄坐标平面上的各特征点的延长线上应该存在物体O的特征点SP。若使用两个相机51、51中的另一方的拍摄图像G2进行同样的操作，则在连结这边的拍摄坐标平面上的各特征点的延长线上也应该存在物体O的特征点SP。因而，物体O的特征点SP的三维坐标空间中的坐标能够唯一地确定为分别通过两个拍摄坐标平面的延长线上的相交的位置。而且，通过基于两个相机51、51间的距离l，能够取得从相机51、51到物体O的各特征点SP的实际的空间中的距离。通过在拍摄范围整体进行这样的处理，能够获得将从相机到周围的物体的距离信息附加到拍摄图像而得的距离图像或视差图像。
在图5(c)中，示出基于图5(a)所示的一方的相机51的拍摄图像G1与图5(b)所示的另一方的相机51的拍摄图像G2生成的距离图像GL的例子。在图5(c)所例示的距离图像GL中，示出了明度较高、即在纸面上越白，距相机51的距离越近。例如，该距离图像GL的下部在整个宽度上变白，此外，越是下部白色越增加而距相机51的距离变近，因此可知是放置有电动吸尘器11的地面。另外，在距离图像GL中，能够将整体为相同程度的白色且规定形状的物体检测为一个物体，在图示的例子中为物体O。如上述那样，由于取得了从相机51、51到物体O的距离，因此基于距离图像GL中的宽度、高度，也能够获知物体O的实际的宽度、高度。若在这样的信息的基础上考虑相机51、51的拍摄方向、电动吸尘器11的行进方向，则也能够判断物体O是否为成为电动吸尘器11的行驶的障碍的障碍物。即，该图像处理处理器63也可以具有作为制作计算出图像数据中的物体的深度的距离图像数据的深度计算单元的深度计算部的功能。
本实施方式的图像处理处理器63例如也可以具有如下功能：将通过相机51、51在与主体壳体20的宽度以及高度对应地设定的图像范围等的规定的图像范围中拍摄的物体的距离与预先设定的、或可变设定的阈值即设定距离进行比较，将位于设定距离以下的距离的物体判定为障碍物。因而，图像处理处理器63也可以具有作为障碍物判定单元的障碍物判定部的功能，该障碍物判定单元基于由相机51、51拍摄到的图像数据来判定计算出距主体壳体20的距离的物体是否是障碍物。
而且，图像处理处理器63基于检测出的主体壳体20的周围的形状、例如成为障碍物的物体的距离以及高度来推测行驶区域中的电动吸尘器11的自身位置。本实施方式的图像处理处理器63基于由相机51、51拍摄到的图像数据中的物体的特征点的三维坐标，推测行驶区域中的电动吸尘器11的自身位置。因而，图像处理处理器63能够基于距离图像数据中的规定距离范围内的数据来推测自身位置。
另外，图像处理处理器63根据基于由相机51、51拍摄到的图像数据而检测出的主体壳体20的周围的形状、例如成为障碍物的物体的距离以及高度，制作表示能够行驶的行驶区域的地图数据。本实施方式的图像处理处理器63基于由相机51、51拍摄到的图像数据中的物体的特征点的三维坐标，制作记载位于行驶区域内的物体即障碍物等的位置关系以及高度的地图。本实施方式的图像处理处理器63制作反映了物体即障碍物的形状、位置关系以及高度的地图数据。因而，图像处理处理器63能够基于距离图像数据中的规定距离范围内的数据制作行驶区域的地图。地图数据例如在正交坐标系等规定的坐标系上制作。本实施方式的地图数据例如以基于该坐标系设定的网格为基本单位而制作。例如，在地图数据M中，如图6中一个例子所示，不仅能够反映包围行驶区域的例如家具等障碍物、作为墙壁的外壁W的形状，还能够反映电动吸尘器11的行驶轨迹TR和当前位置P。而且，由图像处理处理器63制作的地图数据能够存储于存储器。另外，图像处理处理器63在已制作出的地图数据中的障碍物等的形状、配置与检测出的周围的形状、配置不一致的情况下，能够对地图数据进行适当校正。
另外，图像处理处理器63例如也可以具有作为图像校正单元的图像校正部的功能，该图像校正单元对由相机51、51拍摄到的原始图像的数据进行因相机51、51的镜头而产生的失真的校正、噪声的去除、对比度调整以及图像中心的一致化等一次图像处理。由图像处理处理器63进行的对比度调整例如能够与相机51自身具备的对比度调整功能分开地进行。另外，由图像处理处理器63进行图像处理的帧速率也可以设定为比从相机51、51获取的图像数据的帧速率低。而且，由图像处理处理器63进行处理的图像数据也可以比由相机51、51拍摄而获取的图像数据的像素数少。即，图像处理处理器63能够进行对由相机51、51拍摄到的图像数据的像素进行间隔剔除而使图像变粗糙的处理、或者修整(trimming)图像数据而仅留下必要的部位等的处理。
吸尘控制部控制吸尘部22的动作。在本实施方式中，吸尘控制部通过控制电动鼓风机35、刷马达以及侧刷马达的驱动、即分别单独地控制电动鼓风机35、刷马达以及侧刷马达的通电量，来控制电动鼓风机35、旋转刷36、以及侧刷38的驱动。
存储器例如使用闪存等非易失性的存储器。在存储器中，与由图像处理处理器63制作出的地图数据一起存储地图数据中的行驶完毕区域或吸尘完毕区域。
电池向吸尘部22、传感器部23、拍摄部24、通信部25、输入输出部26、以及控制部27等供电。在本实施方式中，作为电池，例如使用能够充电的二次电池。因此，在本实施方式中，例如在主体壳体20的底部，露出地配置有用于对电池进行充电的充电端子71。
充电装置成为电动吸尘器11结束行驶或吸尘时返回的基地部。充电装置例如也可以内置有恒流电路等充电电路。另外，在充电装置中设有电池的充电用的充电用端子。充电用端子与充电电路电连接。而且，充电用端子与返回到充电装置的电动吸尘器11的充电端子71机械连接及电连接。
接下来，对上述一实施方式的动作进行说明。
首先，对电动吸尘器11的从吸尘开始到结束的概略进行说明。当开始吸尘时，电动吸尘器11基于存储于存储器的地图数据一边行驶一边对地面进行吸尘，并随时更新地图数据。然后，当吸尘结束时，电动吸尘器11例如在返回到充电装置之后，移至电池的充电作业。
更具体地对上述的控制进行说明，例如在成为预先设定的吸尘开始时刻时、通过输入输出部26接收到由遥控器或外部装置发送的吸尘开始的控制指令时等定时，控制部27切换为行驶模式，电动吸尘器11开始吸尘。此时，在存储器中未存储有行驶区域的地图数据的情况下，能够通过进行规定的动作而利用传感器部23、相机51以及图像处理处理器63等检测主体壳体20的周围的障碍物等来由图像处理处理器63制作地图数据，也能够从外部输入或读入地图数据。
作为图像处理处理器63的处理，首先，从至少两个相机51、51获取图像数据，例如进行镜头的失真校正。在该情况下，例如，在由相机51、51拍摄到的图像数据较暗的情况下，图像处理处理器63进行对比度调整，并且进行对图像数据的像素数进行间隔剔除、或者仅对自身位置推测以及地图的制作、即SLAM处理所需的图像范围进行修整等的处理。然后，图像处理处理器63根据图像处理后的与各相机51、51对应的2张1组的图像数据进行SLAM处理，实施自身位置推测与地图制作。此时，始终以一定的例如30fps等帧速率从各相机51输出图像信号，但为了由图像处理处理器63进行SLAM处理，用间隔剔除后的帧就足矣，因此进行例如10fps即从3张中间隔剔除1张等的间隔剔除处理。但是，由于各图像数据在电动吸尘器11行驶的同时由相机51、51拍摄，因此若由左右的相机51、51进行拍摄的定时错开，则根据各个图像数据进行拍摄的位置不同，因此为了消除这样的左右的相机51、51的图像数据相对于时间变化的误差，优选在相同时刻进行捕捉。另外，为了在较暗的行驶区域中也获得适当的图像，图像处理处理器63使灯53点亮。基于灯53的照明例如若是可见光波段的光，则仅在行驶区域、拍摄到的图像数据较暗时点亮即可。
接着，行驶·传感器系统CPU61基于地图数据制作行驶路径。
而且，在吸尘模式下，行驶·传感器系统CPU61通过控制马达33的驱动来使主体壳体20沿着所设定的行驶路径自主行驶，并且吸尘控制部使吸尘部22动作而对行驶区域或吸尘对象区域的地面进行吸尘。在吸尘部22中，例如通过由吸尘控制部驱动的电动鼓风机35、旋转刷36、或侧刷38将地面的尘埃经由吸入口31捕集到集尘部40。另外，电动吸尘器11在自主行驶时，当由传感器部23、图像处理处理器63检测出未记载于地图的行驶区域内的障碍物等物体时，取得该物体的三维坐标，图像处理处理器63使其反映在地图数据中，并存储于存储器。另外，拍摄到的图像也能够从通信部经由网络、或直接发送至具有显示功能的外部装置，使得用户能够通过该外部装置进行阅览。
也参照图7所示的说明图对这些处理进行说明，在由图像处理处理器63进行的相机图像处理IP中，首先，在步骤S1中，以规定的帧速率获取来自两个相机51、51的图像数据、即拍摄图像G1、G2，在步骤S2中进行镜头失真校正等图像处理之后，在步骤S3中，制作作为距离图像数据的距离图像GL，并且在步骤S4中，基于距离图像数据进行SLAM处理。
接着，在基于行驶·传感器系统CPU61的行驶算法TA中，在步骤S5中，制作以使主体壳体20沿着行驶路径行驶的方式驱动马达33的行驶指令，并且在步骤S6中例如基于距离图像数据进行障碍物检测，在步骤S7中使马达33驱动而使主体壳体20行驶。此时，检测出的障碍物的位置以及主体壳体20的行驶轨迹TR被发送至图像处理处理器63，并反映在地图中。
根据以上说明的一实施方式，从搭载于主体壳体20的多个相机51中的至少两个相机获取在相同时刻拍摄到的图像数据并进行图像处理，基于图像处理后的图像数据推测自身位置，并且制作主体壳体20行驶的行驶区域的地图，从而仅通过搭载小型的相机51就能够实施自身位置的推测以及地图的制作、即SLAM处理，因此能够使电动吸尘器11小型化。因此，例如能够使电动吸尘器11进入床、沙发的下方等较窄的间隙而进行吸尘。
另外，由于使用由相机51拍摄到的图像，因此例如与作为行驶信息而从驱动轮21的转速、陀螺仪传感器等获得的自身位置信息等相比，能够进行高精度的行驶控制。
并且，由相机51拍摄到的图像例如也能够应用于守护等安全目的、基于图像识别的人、物等的识别。
图像处理处理器63通过获取由至少两个相机51、51在相同时刻拍摄到的图像数据，能够降低由这些相机51拍摄到的图像数据相对于时间变化的误差。因此，即使是在电动吸尘器11行驶、转弯的同时由相机51拍摄到的图像，也能够不易产生由该行驶、转弯引起的图像的拍摄位置、拍摄方向的偏移，能够进一步提高基于这些图像的数据的SLAM处理的精度。
另外，所谓在相同时刻拍摄到的图像数据，可以是使多个相机51同步而拍摄到的图像数据，也可以使用不使多个相机51同步而实质上能够作为在相同时刻拍摄到的图像数据进行处理的图像数据。在使多个相机51同步的情况下，能够进行更高精度的SLAM处理，在不同步的情况下，能够使用更廉价的相机51。
通过使由图像处理处理器63进行图像处理的帧速率比从至少两个相机51、51获取的图像数据的帧速率低，能够降低图像处理处理器63中的图像处理的负载。
并且，由于不需要选择使输出的图像信号的帧速率与图像处理处理器63的处理速度一致的相机51，因此相机51的选择自由度提高。
由图像处理处理器63进行图像处理的图像数据的像素数比从至少两个相机51、51获取的图像数据的像素数少，从而能够降低图像处理处理器63中的图像处理的负载。
其结果，作为图像处理处理器63，能够使用更廉价的处理器。
图像处理处理器63具有对因相机51、51的镜头而在图像数据中产生的失真进行校正的功能，从而能够进一步提高SLAM处理的精度。特别是，由于本实施方式的相机51的镜头为广角，因此在图像数据中产生失真，因而通过校正该失真，能够进行更高精度的SLAM处理。
另外，在各相机51、51能够拍摄可见光波长区域的情况下，通过具备输出包含可见光波长区域的光的灯53，即使在所拍摄的行驶区域较暗的情况下等，也能够获得适当的亮度的图像数据。
此时，灯53在行驶区域的亮度为规定以下的情况下点亮，从而能够抑制不必要时的灯53的点亮，实现省电力化。
另一方面，在各相机51、51能够拍摄红外线区域的情况下，通过具备输出包含红外线区域的光的灯53，能够获得适当的图像数据。
图像处理处理器63具有调整图像数据的对比度的功能，从而即使在例如拍摄到的图像较暗的情况下等，也能够提高SLAM处理的精度。
另外，图像处理处理器63具有制作计算出图像数据中的物体的深度的距离图像数据的功能，从而能够基于该距离图像数据检测障碍物，能够并用SLAM处理与障碍物检测而进行动作，能够进行更稳定的行驶控制。因此，例如也能够削减传感器部23的检测障碍物的专用的障碍物检测单元，能够提供更小型且廉价的电动吸尘器11。或者，在与专用的障碍物检测单元并用的情况下，能够进一步提高障碍物检测的精度。
而且，图像处理处理器63基于距离图像数据中的规定距离范围内的数据来推测自身位置，并基于距离图像数据中的规定距离范围内的数据来制作行驶区域的地图，从而能够进行更高精度的处理。
另外，在上述一实施方式中，在图像处理处理器63中，也能够采用不具备制作计算出图像数据中的物体的深度的距离图像数据的深度计算单元的构成。即，深度计算单元不是必须的构成。
另外，虽然采用了在图像处理处理器63中一体地具有图像输入单元、图像处理单元、自身位置推测单元、地图制作单元、深度计算单元各自的功能的构成，但这些功能可以分别由单独的处理部构成，也可以构成一体地具有这些功能中的任意多个功能的处理部。
而且，相机51以规定的帧速率拍摄动态图像，但也可以在必要的定时仅拍摄静止图像。
对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而提示的，并不意图限定发明的范围。这些新的实施方式能够以其他各种方式来实施，在不脱离发明的主旨的范围内，能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围、主旨内，并且包含在权利要求书所记载的发明及其等效的范围内。
(1)一种电动吸尘器的控制方法，其特征在于，从多个相机中的至少两个相机获取图像数据并进行图像处理，基于图像处理后的图像数据来推测自身位置，并且基于图像处理后的所述图像数据来制作用于进行行驶的行驶区域的地图。
(2)如(1)的电动吸尘器的控制方法，其特征在于，获取由至少两个所述相机在相同时刻拍摄到的所述图像数据。
(3)如(1)所述的电动吸尘器的控制方法，其特征在于，进行图像处理的帧速率比从至少两个所述相机获取的图像数据的帧速率低。
(4)如(1)所述的电动吸尘器的控制方法，其特征在于，进行图像处理的图像数据的像素数比从至少两个所述相机获取的图像数据的像素数少。
(5)如(1)所述的电动吸尘器的控制方法，其特征在于，对因所述相机所具备的镜头而在图像数据产生的失真进行校正并进行图像处理。
(6)如(1)所述的电动吸尘器的控制方法，其特征在于，在由各所述相机拍摄可见光波长区域时，输出包含可见光波长区域的光。
(7)如(1)所述的电动吸尘器的控制方法，其特征在于，在由各所述相机拍摄可见光波长区域时，在所述行驶区域的亮度为规定以下的情况下，输出包含可见光波长区域的光。
(8)如(1)电动吸尘器的控制方法，其特征在于，在由所述相机拍摄红外线区域时，输出包含红外线区域的光。
(9)如(1)所述的电动吸尘器的控制方法，其特征在于，对所获取的所述图像数据的对比度进行调整。
(10)如(1)所述的电动吸尘器的控制方法，其特征在于，制作计算出所述图像数据中的物体的深度的距离图像数据。
(11)如(10)所述的电动吸尘器的控制方法，其特征在于，基于所述距离图像数据中的规定距离范围内的数据来推测自身位置，基于所述距离图像数据中的规定距离范围内的数据来制作行驶区域的地图。

Claims (7)

1.一种电动吸尘器，其特征在于，具备：能够行驶的主体；行驶控制单元，对所述主体进行行驶控制；多个相机，搭载于所述主体；图像输入单元，从所述相机中的至少两个相机获取图像数据；图像处理单元，对从至少两个所述相机获取到所述图像输入单元的多个帧的所述图像数据的一部分的帧进行间隔剔除，对于剩余的所述帧中的相同时刻的帧的所述图像数据，使所述图像数据的中心一致化并且进行修整；深度计算单元，基于通过所述图像处理单元进行了图像处理的所述图像数据，制作计算出所述图像数据中的物体的深度的距离图像数据；自身位置推测单元，基于由所述图像处理单元进行了图像处理的图像数据，推测自身位置；以及地图制作单元，基于由所述图像处理单元进行了图像处理的所述图像数据，检测位于所述主体所行驶的行驶区域的障碍物，制作表示该障碍物的位置关系的所述行驶区域的地图，所述自身位置推测单元基于所述距离图像数据中的规定距离范围内的数据，来推测自身位置，所述地图制作单元基于所述距离图像数据中的规定距离范围内的数据，在所述自身位置推测单元推测自身位置的同时执行所述行驶区域的地图的制作，所述图像处理单元对由所述自身位置推测单元进行的自身位置推测处理与由所述地图制作单元进行的地图制作处理所需的图像范围进行修整，一旦由所述图像处理单元进行了图像处理，就由所述自身位置推测单元推测所述自身位置并且由所述地图制作单元制作所述地图。
2.如权利要求1所述的电动吸尘器，其特征在于，所述相同时刻的帧的所述图像数据是使所述相机同步而拍摄到的图像数据。
3.如权利要求1或2所述的电动吸尘器，其特征在于，各所述相机具备镜头，所述图像处理单元具有对因所述相机的所述镜头而在所述图像数据中产生的失真进行校正的功能。
4.如权利要求1或2所述的电动吸尘器，其特征在于，各所述相机能够对可见光波长区域进行拍摄，所述电动吸尘器具备照明单元，该照明单元输出包含可见光波长区域的光。
5.如权利要求4所述的电动吸尘器，其特征在于，在行驶区域的亮度为规定以下的情况下，所述照明单元点亮。
6.如权利要求1或2所述的电动吸尘器，其特征在于，所述相机能够对红外线区域进行拍摄，所述电动吸尘器具备照明单元，该照明单元输出包含红外线区域的光。
7.如权利要求1或2所述的电动吸尘器，其特征在于，所述图像处理单元具有调整所述图像数据的对比度的功能。
CN201880076864.8A 2017-12-15 2018-12-10 电动吸尘器 Active CN111405862B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017240934A JP7075201B2 (ja) 2017-12-15 2017-12-15 電気掃除機
JP2017-240934 2017-12-15
PCT/JP2018/045284 WO2019117078A1 (ja) 2017-12-15 2018-12-10 電気掃除機

Publications (2)

Publication Number Publication Date
CN111405862A CN111405862A (zh) 2020-07-10
CN111405862B true CN111405862B (zh) 2022-11-29

Family

ID=66819292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880076864.8A Active CN111405862B (zh) 2017-12-15 2018-12-10 电动吸尘器

Country Status (5)

Country Link
US (1) US20210026369A1 (zh)
EP (1) EP3725204A4 (zh)
JP (1) JP7075201B2 (zh)
CN (1) CN111405862B (zh)
WO (1) WO2019117078A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3128117B2 (ja) * 1996-12-20 2001-01-29 株式会社シマノ 自転車の変速方法
JP6831210B2 (ja) 2016-11-02 2021-02-17 東芝ライフスタイル株式会社 電気掃除機
KR20190106874A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 인공 지능을 통해 구속 상황을 인식하는 로봇 청소기 및 그의 동작 방법
WO2023101067A1 (ko) * 2021-12-03 2023-06-08 엘지전자 주식회사 인공 지능 청소기 및 그의 동작 방법
CN114259188A (zh) * 2022-01-07 2022-04-01 美智纵横科技有限责任公司 清洁设备、图像处理方法和装置、可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090393A (ja) * 1998-09-16 2000-03-31 Sumitomo Electric Ind Ltd 車載型走行路環境認識装置
US8872812B2 (en) * 2009-11-12 2014-10-28 Marvell World Trade Ltd. Power saving in mobile devices by optimizing frame rate output
KR20110119118A (ko) * 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
EP3082542B1 (en) * 2013-12-19 2018-11-28 Aktiebolaget Electrolux Sensing climb of obstacle of a robotic cleaning device
KR20160065574A (ko) * 2014-12-01 2016-06-09 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
JP2016118899A (ja) * 2014-12-19 2016-06-30 キヤノン株式会社 放射線撮影装置及びその制御方法
JP6720510B2 (ja) * 2015-01-09 2020-07-08 株式会社リコー 移動体システム
US10176543B2 (en) * 2015-01-13 2019-01-08 Sony Corporation Image processing based on imaging condition to obtain color image
JP2017027417A (ja) * 2015-07-23 2017-02-02 株式会社東芝 画像処理装置及び電気掃除器
JP6288060B2 (ja) * 2015-12-10 2018-03-07 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP6658001B2 (ja) * 2016-01-27 2020-03-04 株式会社リコー 位置推定装置、プログラム、位置推定方法
JP7058067B2 (ja) * 2016-02-16 2022-04-21 東芝ライフスタイル株式会社 自律走行体
JP6685755B2 (ja) * 2016-02-16 2020-04-22 東芝ライフスタイル株式会社 自律走行体
JP6808358B2 (ja) * 2016-05-27 2021-01-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US20210026369A1 (en) 2021-01-28
JP2019107083A (ja) 2019-07-04
JP7075201B2 (ja) 2022-05-25
CN111405862A (zh) 2020-07-10
WO2019117078A1 (ja) 2019-06-20
EP3725204A4 (en) 2021-09-01
EP3725204A1 (en) 2020-10-21

Similar Documents

Publication Publication Date Title
CN111405862B (zh) 电动吸尘器
US20190254490A1 (en) Vacuum cleaner and travel control method thereof
TWI656423B (zh) Autonomous walking body
CN110325938B (zh) 电动吸尘器
CN109843139B (zh) 电动吸尘器
TWI653022B (zh) Autonomous mobile body
KR101840158B1 (ko) 전기청소기
TWI726031B (zh) 電動掃除機
CN110636789B (zh) 电动吸尘器
JP7141220B2 (ja) 自走式電気掃除機
CN109938642B (zh) 电动吸尘器
CN110650667B (zh) 电动吸尘器
CN110325089B (zh) 电动吸尘器
JP6912937B2 (ja) 電気掃除機
JP2017027417A (ja) 画像処理装置及び電気掃除器
JP2019109854A (ja) 自律走行体
JP7023719B2 (ja) 自律走行体
JP7014586B2 (ja) 自律走行体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant