CN114521836B - 一种自动清洁设备 - Google Patents
一种自动清洁设备 Download PDFInfo
- Publication number
- CN114521836B CN114521836B CN202210193181.9A CN202210193181A CN114521836B CN 114521836 B CN114521836 B CN 114521836B CN 202210193181 A CN202210193181 A CN 202210193181A CN 114521836 B CN114521836 B CN 114521836B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- coordinate data
- analysis range
- effective analysis
- reference point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 239000000428 dust Substances 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010408 sweeping Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000005108 dry cleaning Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/28—Floor-scrubbing machines, motor-driven
- A47L11/282—Floor-scrubbing machines, motor-driven having rotary tools
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4002—Installations of electric equipment
- A47L11/4008—Arrangements of switches, indicators or the like
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2805—Parameters or conditions being sensed
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
- A47L9/2847—Surface treating elements
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
- A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Robotics (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Electric Vacuum Cleaner (AREA)
- Image Analysis (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Manipulator (AREA)
Abstract
本公开实施例提供一种自动清洁设备,包括图像采集装置、激光测距装置和控制系统,图像采集装置,用于采集障碍物信息;激光测距装置用于采集绘制自动清洁设备所在环境的即时地图的信息;控制系统,用于利用激光测距装置反馈的信息绘制即时地图;并通过表征是否存在障碍物的历史经验绘制概率地图;还用于将图像采集装置采集的障碍物信息转换为深度信息;将深度信息转化成点云图,并确定障碍物上的各参考点的坐标数据;在点云图中选取高度方向上的有效分析范围;还用于基于有效分析范围内的各参考点坐标数据和概率地图,确定有效分析范围之内是否存在障碍物。该设备能够对自行走机器人行进路线中的任何物体进行探测。
Description
本申请为申请号为CN202010872327.3的中国专利申请的分案申请。
技术领域
本公开涉及自行走机器人技术领域,尤其涉及一种自动清洁设备。
背景技术
随着人工智能技术的发展,出现了各种各样的智能化的机器人,比如扫地机器人、拖地机器人、吸尘器、除草机等。这些清洁机器人在工作过程中能够自动识别周围的障碍物,并对障碍物执行避障操作,这些清洁机器人不仅解放了劳动力、节约了人力成本,而且提升了清洁效率。
但是,现有的扫地机器人的图像采集装置仅能识别有限类别的障碍物,往往是通过将拍摄到的障碍物图像与之前数据库中保存的图像进行匹配,当匹配成功时,将拍摄目标识别为特定种类的障碍物,例如鞋子等。另外,扫地机器人还可以通过激光设备识别障碍物,但是激光设备通常设置在扫地机器人顶面上,激光设备水平方向发射、接收信号后识别扫地机器人周围的障碍物,由于扫地机器人自身具有一定的高度,且激光设备也具有一定的高度,使得激光设备仅能检测到高度高于扫地机器人机身高度的障碍物,因此会导致部分高度低的障碍物被误碰,用户体验不好。
发明内容
有鉴于此,本公开实施例提供一种自动清洁设备,用以使自行走机器人能够躲避一定高度范围内的任何障碍物。
本公开实施例提供一种自动清洁设备,包括:图像采集装置、激光测距装置和控制系统,
所述图像采集装置,用于采集障碍物信息;
所述激光测距装置用于采集绘制所述自动清洁设备所在环境的即时地图的信息;
控制系统,用于利用所述激光测距装置反馈的信息绘制所述即时地图;并通过表征是否存在障碍物的历史经验绘制概率地图;
还用于将所述图像采集装置采集的所述障碍物信息转换为深度信息;将所述深度信息转化成点云图,并确定所述障碍物上的各参考点的坐标数据;在所述点云图中选取高度方向上的有效分析范围;
还用于基于所述有效分析范围内的各参考点坐标数据和所述概率地图,确定所述有效分析范围之内是否存在障碍物。
可选的,所述控制系统还用于将确定所述障碍物上的各参考点的3D坐标数据转换为2D坐标数据,并基于所述有效分析范围内的各参考点的2D坐标数据和所述概率地图,确定所述有效分析范围之内是否存在障碍物。
可选的,所述基于所述有效分析范围内的各参考点的坐标数据和所述概率地图,确定所述有效分析范围内是否存在障碍物,包括:
基于所述概率地图,过滤掉所述各参考点的坐标数据中的噪声点坐标数据,基于过滤后的所述各参考点的坐标数据分析所述有效分析范围内是否存在障碍物。
可选的,所述基于所述概率地图,过滤掉所述各参考点的坐标数据中的噪声点坐标数据,包括:
获取所述概率地图中障碍物的位置坐标数据,在所述概率地图中,所述障碍物的概率值大于预设概率阈值;
比较所述障碍物的位置坐标数据和所述各参考点的坐标数据,当所述障碍物的位置坐标数据与所述各参考点的坐标数据的距离大于第一预设值时,过滤掉所述坐标数据。
可选的,所述基于所述各参考点的坐标数据和所述概率地图,分析所述有效分析范围内是否存在障碍物,包括:
在所述有效分析范围内,对所述各参考点进行聚类,将与相邻参考点的坐标数据距离小于第二预设值的所有参考点作为一个区域;
分别判断每个区域的尺寸;如所述区域的尺寸大于等于第三预设值,则确认在所述有效分析范围内存在障碍物。
可选的,所述区域的尺寸包括以下至少之一:
区域的面积/体积、区域的直径、横穿区域几何中心的最小距离。
可选的,所述控制系统还用于,当确定所述有效分析范围内存在障碍物时,判断所述障碍物尺寸是否小于预设阈值;
当判断所述障碍物尺寸小于预设阈值时,控制所述自动清洁设备在距离所述障碍物预设距离范围之内降低边刷转速。
相对于现有技术,本发明至少具有以下技术效果:
本公开实施例提供一种自动清洁设备,利用自行走机器人自身获取的一定高度范围内的深度图像,对深度图像进行坐标变换、数据聚类等处理,从而准确的判断出当前深度图像中是否存在障碍物。该自动清洁设备能够对自行走机器人行进路线中的任何物体进行探测,突破了现有方法对障碍物种类的限定,同时,弥补了激光设备探测高度上的缺陷,使得自行走机器人探测障碍物的能力进一步提升,增加了自行走机器人的避障性能。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的应用场景示意图;
图2为本公开实施例提供的自行走机器人结构立体图;
图3为本公开实施例提供的自行走机器人结构俯视图;
图4为本公开实施例提供的自行走机器人结构仰视图;
图5为本公开实施例提供的自行走机器人障碍物探测方法的流程示意图;
图6为本公开实施例提供的双目测距原理结构图;
图7为本公开实施例提供的双目测距几何结构示意图;
图8为本公开实施例提供的平面坐标系示意图;
图9为本公开实施例提供的立体坐标系示意图;
图10为本公开实施例提供的聚类方法的结构示意图;
图11为本公开另一实施例提供的自行走机器人障碍物探测方法的流程示意图;
图12为本公开实施例提供的障碍物探测装置的结构示意图;
图13为本公开另一实施例提供的障碍物探测装置的结构示意图;
图14为本公开实施例提供的机器人的电子结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
本公开实施例提供一种可能的应用场景,该应用场景包括自动清洁设备100,例如自行走机器人、拖地机器人、吸尘器、除草机等等。在某些实施例中。在本实施例中,如图1所示,以家用式自行走机器人为例进行说明,在自行走机器人工作过程中,实时的通过自行走机器人前端的图像采集装置获取前方的视场图像,并根据对视场图像的分析判断是否存在障碍物200等,根据识别结果控制自行走机器人的行进路线。在本实施例中,机器人可以设置单个或多个图像采集装置,以获得进行路线过程中的图像,机器人还可以设置有触敏显示器或者通过移动终端控制,以接收用户输入的操作指令。自行走机器人还可以设置各种传感器,例如缓冲器、悬崖传感器、超声传感器、红外传感器、磁力计、加速度计、陀螺仪、里程计等传感装置,机器人还可以设置有WIFI模块、Bluetooth模块等无线通讯模块,以与智能终端或服务器连接,并通过无线通讯模块接收智能终端或服务器传输的操作指令。
如图2所示,自动清洁设备100可通过相对于由主体110界定的如下三个相互垂直轴的移动的各种组合在地面上行进:前后轴X、横向轴Y及中心垂直轴Z。沿着前后轴X的前向驱动方向标示为“前向”,且沿着前后轴X的向后驱动方向标示为“后向”。横向轴Y的方向实质上是沿着由驱动轮模块141的中心点界定的轴心在机器人的右轮与左轮之间延伸的方向。
自动清洁设备100可以绕Y轴转动。当自动清洁设备100的前向部分向上倾斜,后向部分向下倾斜时为“上仰”,且当自动清洁设备100的前向部分向下倾斜,后向部分向上倾斜时为“下俯”。另外,机器人100可以绕Z轴转动。在自动清洁设备100的前向方向上,当自动清洁设备100向X轴的右侧倾斜为“右转”,当自动清洁设备100向X轴的左侧倾斜为“左转”。
如图3所示,自动清洁设备100包含机器主体110、感知系统120、控制系统、驱动系统140、清洁系统、能源系统和人机交互系统180。
机器主体110包括前向部分111和后向部分112,具有近似圆形形状(前后都为圆形),也可具有其他形状,包括但不限于前方后圆的近似D形形状及前方后方的矩形或正方形形状。
如图3所示,感知系统120包括位于机器主体110上的位置确定装置121、设置于机器主体110的前向部分111的缓冲器122上的碰撞传感器、近距离传感器,设置于机器主体下部的悬崖传感器,以及设置于机器主体内部的磁力计、加速度计、陀螺仪(Gyro)、里程计(ODO,全称odograph)等传感装置,用于向控制系统130提供机器的各种位置信息和运动状态信息。位置确定装置121包括但不限于摄像头、激光测距装置(LDS,全称Laser DirectStructuring)。
如图3所示,机器主体110的前向部分111可承载缓冲器122,在清洁过程中驱动轮模块141推进机器人在地面行走时,缓冲器122经由设置在其上的传感器系统,例如红外传感器,检测自动清洁设备100的行驶路径中的一或多个事件,自动清洁设备100可通过由缓冲器122检测到的事件,例如障碍物、墙壁,而控制驱动轮模块141使自动清洁设备100来对所述事件做出响应,例如远离障碍物。
控制系统130设置在机器主体110内的电路主板上,包括与非暂时性存储器,例如硬盘、快闪存储器、随机存取存储器,通信的计算处理器,例如中央处理单元、应用处理器,应用处理器根据激光测距装置反馈的障碍物信息利用定位算法,例如即时定位与地图构建(SLAM,全称Simultaneous Localization And Mapping),绘制机器人所在环境中的即时地图。并且结合缓冲器122上所设置传感器、悬崖传感器、磁力计、加速度计、陀螺仪、里程计等传感装置反馈的距离信息、速度信息综合判断自行走机当前处于何种工作状态、位于何位置,以及自行走机当前位姿等,如过门槛,上地毯,位于悬崖处,上方或者下方被卡住,尘盒满,被拿起等等,还会针对不同情况给出具体的下一步动作策略,使得机器人的工作更加符合主人的要求,有更好的用户体验。
如图4所示,驱动系统140可基于具有距离和角度信息(例如x、y及θ分量)的驱动命令而操纵机器人100跨越地面行驶。驱动系统140包含驱动轮模块141,驱动轮模块141可以同时控制左轮和右轮,为了更为精确地控制机器的运动,优选驱动轮模块141分别包括左驱动轮模块和右驱动轮模块。左、右驱动轮模块沿着由主体110界定的横向轴对置。为了机器人能够在地面上更为稳定地运动或者更强的运动能力,机器人可以包括一个或者多个从动轮142,从动轮包括但不限于万向轮。驱动轮模块包括行走轮和驱动马达以及控制驱动马达的控制电路,驱动轮模块还可以连接测量驱动电流的电路和里程计。驱动轮模块141可以可拆卸地连接到主体110上,方便拆装和维修。驱动轮可具有偏置下落式悬挂系统,以可移动方式紧固,例如以可旋转方式附接,到机器人主体110,且接收向下及远离机器人主体110偏置的弹簧偏置。弹簧偏置允许驱动轮以一定的着地力维持与地面的接触及牵引,同时自动清洁设备100的清洁元件也以一定的压力接触地面10。
清洁系统可为干式清洁系统和/或湿式清洁系统。作为干式清洁系统,主要的清洁功能源于滚刷、尘盒、风机、出风口以及四者之间的连接部件所构成的清扫系统151。与地面具有一定干涉的滚刷将地面上的垃圾扫起并卷带到滚刷与尘盒之间的吸尘口前方,然后被风机产生并经过尘盒的有吸力的气体吸入尘盒。干式清洁系统还可包含具有旋转轴的边刷152,旋转轴相对于地面成一定角度,以用于将碎屑移动到清洁系统的滚刷区域中。
能源系统包括充电电池,例如镍氢电池和锂电池。充电电池可以连接有充电控制电路、电池组充电温度检测电路和电池欠压监测电路,充电控制电路、电池组充电温度检测电路、电池欠压监测电路再与单片机控制电路相连。主机通过设置在机身侧方或者下方的充电电极与充电桩连接进行充电。如果裸露的充电电极上沾附有灰尘,会在充电过程中由于电荷的累积效应,导致电极周边的塑料机体融化变形,甚至导致电极本身发生变形,无法继续正常充电。
人机交互系统180包括主机面板上的按键,按键供用户进行功能选择;还可以包括显示屏和/或指示灯和/或喇叭,显示屏、指示灯和喇叭向用户展示当前机器所处状态或者功能选择项;还可以包括手机客户端程序。对于路径导航型自动清洁设备,在手机客户端可以向用户展示设备所在环境的地图,以及机器所处位置,可以向用户提供更为丰富和人性化的功能项。
本公开实施例提供一种障碍物探测方法,该方法应用于上述描述的自行走机器人,通过自行走机器人本体上设置的图像采集装置获取正前方图像,分析该图像进而判断该图像中是否存在障碍物,从而根据识别结果控制自行走机器人的行进路线。
如图5所示的方法步骤,一种障碍物探测方法,应用于自行走机器人,具体包括如下方法步骤,方法步骤序号并不必然具有先后顺序:
步骤S502:将图像采集装置采集的障碍物信息转换为深度信息。图像采集装置可以但不限于为摄像头。
在3D计算机图形和计算机视觉中,物体的深度信息是一种图像或图像通道,其中包含与场景对象的表面到视点的距离有关的信息。深度图像的每个像素点的灰度值可用于表征场景中某一点距离图像采集装置的远近。
其中,深度信息的获取方法例如可以是双目立体视觉,该方法通过两个相隔一定距离的摄像机同时获取同一场景的两幅图像,通过立体匹配算法找到两幅图像中对应的像素点,随后根据三角原理计算出视差信息,而视差信息通过转换可用于表征场景中物体的深度信息。基于立体匹配算法,还可通过拍摄同一场景下不同角度的一组图像来获得该场景的深度信息。
如图6所示是双目立体视觉原理图,OL和OR是左右摄像头的光心,它们的光轴和各自的成像平面如图6所示。假设双目摄像头的内部和外部参数完全相同,焦距为f,光心之间的距离(基线)为B,双目摄像头在同一平面上,即他们的投影中心的Y坐标相等。同一时刻空间点P(x,y,z)在双目摄像头上成像点分别为Pleft和Pright。
如图7所示,根据三角形相似定律:
经过变换得出:
z=b*f/d,x=z*x|/d,y=z*y/f
根据上式可知,确定了摄像头焦距f,左右摄像头基线b(可以通过先验信息或者相机标定得到),视差d(左相机像素点(xl,yl)和右相机中对应点(xr,yr)的关系),就可以确定空间点P离自行走机器人的距离(深度)z。
步骤S504:将所述深度图像转化成点云图,并确定所述障碍物的各参考点的3D坐标数据。其中,参考点可泛指障碍物上能被测到距离的点,可以包括但不限于:障碍物上的边界点、特征点等。
深度图像中各点像素满足像素坐标系和图像坐标系,点云图中各点满足世界坐标系。深度图像转化成点云图的具体转化原理如下所述。
在摄像头成像过程中存在四个坐标系,像素坐标系、图像坐标系、相机坐标系以及世界坐标系。如图8所示,像素坐标系以图像的左上角为原点O0,横坐标(u,v)分别表示该像素点在图像中的列数和行数;图像坐标系的原点为相机的光轴与图像平面的交点,一般为图像平面的中心,x轴与u轴平行,y轴与v轴平行。令O1在像素坐标系O0-uv的坐标为(u0,v0),dx,dy为单位像素在横轴和纵轴上的物理尺寸,则两坐标系之间存在如下关系:
齐次矩阵表示为:
进一步变换为:
如图9所示为相机的成像原理图,O为相机的光心,zc为相机的光轴,光轴与图像平面的交点为O1。坐标系O-xcyczc为相机坐标系,Ow-xwywzw为世界坐标系,OO1之间的距离为相机的焦距f。
由相机坐标系到图像坐标系的公式变换关系为:
用齐次矩阵表示如下:
世界坐标系与相机坐标系的转换关系为:
其中R为旋转矩阵,T为平移矩阵。
需要说明的是,以上原理性说明仅用于介绍性陈述,不作为限定转化原理的唯一方案。
步骤S506:在所述点云图中选取高度方向上的有效分析范围。
通常自行走机器人的高度在10cm以上,因此,设置在该自行走机器人顶部的激光雷达设备往往只能探测到高度为10cm以上的障碍物,自行走机器人的越障高度在1-2cm,因此,选择的高度范围优选为3-9cm,此时,由于摄像头的视场方向朝向自行走机器人工作时的运行方向,可以探测到激光雷达的盲区。此时对于获取到的点云图中高度范围为3-9cm的3D数据点进行分析,能够准确的获取到理想的目标障碍物。
步骤S508:在所述有效分析范围内,基于所述各参考点的坐标数据,分析所述有效分析范围内是否存在障碍物。
作为一种可选的具体实施方式,在所述有效分析范围内,基于所述各参考点的坐标数据,分析所述有效分析范围内是否存在障碍物,包括如下方法步骤:
步骤S508-2:如果坐标数据为3D坐标,则可将所述有效分析范围内的所述各参考点的3D坐标数据转换为2D坐标数据。具体转换过程如上所述,在此不做赘述,通过把3D点云数据转化为2D坐标数据,可以有效的降低数据处理量,提升数据处理效率。
步骤S508-4:在所述有效分析范围内,基于所述各参考点的2D坐标数据,分析所述有效分析范围内是否存在障碍物。
作为一种可选的具体实施方式,所述在所述有效分析范围内,基于所述各参考点的2D坐标数据,分析所述有效分析范围内是否存在障碍物,包括如下子步骤:
步骤S508-4-2:获取所述自行走机器人在行进过程中形成的概率地图。
自行走机器人在行走的过程中会实时进行障碍物检测,如果检测到障碍物,则增加地图上对应预估位置的概率值;而对于未检测出障碍物的部分,计算出对应的地图区域,降低该区域内概率值。
概率地图包括系统状态向量的均值和方差的当前估计。前者表明地图中的物体在世界参考系下的名义位置;后者表明地图中各参考点的不确定性,以及这些不确定性的相互依赖程度。
所述概率地图是自行走机器人在历史运行轨迹过程中,通过多次的历史经验判断该位置是否存在障碍物,并将是否存在障碍物的位置进行标记,同时标记此位置是障碍物的概率值,例如该位置存在障碍物的概率值为80%或30%。概率地图存储于自行走机器人本身的存储装置,且概率数据以及位置数据随着自行走机器人的运行而不断更新。
步骤S508-4-4:基于所述概率地图,过滤掉所述各参考点的2D坐标数据中的噪声点坐标数据,基于过滤后的所述各参考点的2D坐标数据分析所述有效分析范围内是否存在障碍物。
作为一种可选的具体实施方式,所述基于所述概率地图,过滤掉所述各参考点的2D坐标数据中的噪声点坐标数据,包括如下子步骤:
步骤S508-4-4-2:获取所述概率地图中障碍物的位置坐标数据,在所述概率地图中,所述障碍物的概率值大于预设概率阈值。
在概率地图中,选择的障碍物目标是其概率值大于预设阈值的障碍物目标,例如某一障碍物目标A的概率为50%,另一障碍物目标B的概率为60%,当取概率阈值为55%时,则障碍物目标B的坐标数据就会被考虑,而忽略障碍物目标A。确定了要选择的概率地图中的障碍物目标,就可以获取每一障碍物目标的坐标数据,例如记为B(x1,y1)。
步骤S508-4-4-4:比较所述障碍物的位置坐标数据和所述各参考点的2D坐标数据,当所述障碍物的位置坐标数据与所述各参考点的2D坐标数据的距离大于预设值时,过滤掉所述2D坐标数据。
例如比较概率地图中选取的障碍物目标B(x1,y1)的坐标值与双目摄像头获取的2D数据中某一点C的坐标值C(x0,y0),当所述障碍物的位置坐标数据与所述各参考点的2D坐标数据的距离大于预设值时,过滤掉所述2D坐标数据,也就是当B(x1,y1)与C(x0,y0)离的足够远时,过滤掉所述2D坐标数据,此时认为该点C(x0,y0)为噪音。其中预设值可以根据实验数据进行确定,在此不做约束。
作为一种可选的具体实施方式,所述在所述有效分析范围内,基于所述各参考点的2D坐标数据,分析所述有效分析范围内是否存在障碍物,包括如下步骤:
在所述有效分析范围内,对所述各参考点进行聚类,将与相邻参考点的坐标数据距离小于第二预设值的所有点作为一个区域;分别判断每个区域的尺寸;如所述尺寸大于等于第三预设值,则确认在所述有效分析范围内存在障碍物。
如图10所示,例如在高度为3-9cm距离范围内,对图像中该范围内的各参考点与相邻点的坐标数据距离进行计算,将距离值小于第二预设值的所有点作为一个区域,例如区域D、E、F、G,而点H、K由于超过了第二预设值,则可以判断为噪声点。其中,第二、第三预设值可以根据像素大小进行设置,在此不做限定。
然后分别判断每个区域的尺寸;如所述尺寸大于等于第三预设值,则确认在所述有效分析范围内存在障碍物。所述尺寸包括以下至少之一:每个区域的面积、每个区域的直径(当区域构成近似圆形区域时获取区域的直径)、横穿每个区域几何中心的最小距离。如图10所示,对于区域D、E、F、G,可以判断为属于障碍物,且区域中的各点属于障碍物表面的点,而点H、K则判断为非障碍物。
作为另外一种可选的具体实施方式,所述在所述有效分析范围内,基于所述各参考点的坐标数据,分析所述有效分析范围内是否存在障碍物,包括如下步骤:
在所述有效分析范围内,对所述各参考点进行聚类,将与相邻点的3D坐标数据距离小于第四预设值的所有点作为一个立体区域;分别判断每个立体区域的尺寸;如所述尺寸大于等于第五预设值,则确认在所述有效分析范围内存在障碍物。
例如在高度为3-9cm距离范围内,对范围内的各参考点与3D空间范围内相邻点的坐标数据距离进行计算,将距离值小于第四预设值的所有点作为一个区域,在遍历完所有的坐标点后,分别判断每个立体区域的尺寸;如所述尺寸大于等于第五预设值,则确认在所述有效分析范围内存在障碍物。所述尺寸包括以下至少之一:每个区域的体积、每个区域的直径(当区域构成近似圆形区域时获取区域的直径)、横穿每个区域几何中心的最小距离、区域的高度。其中,第四、第五预设值可以根据像素大小进行设置,在此不做限定。
作为一种可选的具体实施方式,所述分析所述有效分析范围内是否存在障碍物,之后包括:
步骤S510:当所述有效分析范围内存在障碍物时,判断所述障碍物尺寸范围是否小于预设阈值;当所述障碍物尺寸范围小于预设阈值时,控制所述自行走机器人在距离所述障碍物预设距离范围之内降低边刷转速。
根据上述方法步骤,可以判断出是否为障碍物,进一步,根据区域面积的大小,可以判断出障碍物的大小,结合实验数据设置一个预设阈值,该阈值可以是区域面积或像素量,具体阈值不做限定。当超过该阈值时,则认为属于大尺寸的障碍物,反之则属于小尺寸障碍物。对于小尺寸障碍物,可以不进行避障,控制所述自行走机器人在距离所述障碍物预设距离范围之内降低边刷转速,以免将小尺寸障碍物打飞。对于大尺寸障碍物,控制所述自行走机器人在距离所述障碍物预设距离范围之内执行避障操作。
本公开实施例提供一种障碍物探测方法,该方法利用自行走机器人自身获取的一定高度范围内的深度图像,对深度图像进行坐标变换、数据聚类等处理,从而准确的判断出当前深度图像中是否存在障碍物。该方法能够对自行走机器人行进路线中的任何物体进行探测,突破了现有方法对障碍物种类的限定,同时,弥补了激光设备探测高度上的缺陷,使得自行走机器人探测障碍物的能力进一步提升,增加了自行走机器人的避障性能。
如图11所示,本公开另外的实施例提供一种障碍物探测方法,应用于自行走机器人,包括如下方法步骤:
步骤S1102:将图像采集装置采集到的障碍物信息转换为深度信息。
该步骤的过程参见上述实施例步骤S502所述,在此不做赘述。
步骤S1104:将所述深度信息转化成点云图,在所述点云图中选取有效分析范围;
将所述深度信息转化成点云图的过程参见上述实施例步骤S504所述,在所述点云图中选取有效分析范围的过程参见上述实施例步骤S5011所述,在此不做赘述。
步骤S1108:在所述有效分析范围内,确定是否存在障碍物,并依据所述障碍物的尺寸执行导航。
作为一种实施方式,其中,在所述有效分析范围内,确定是否存在障碍物,包括如下子步骤:
步骤S1108-1:在所述有效分析范围内,对所述各参考点进行聚类;
步骤S1108-2:将与相邻参考点的坐标数据距离小于第二预设值的所有参考点作为一个区域;
步骤S1108-3:分别判断每个区域的尺寸;
步骤S1108-4:如所述区域的尺寸大于等于第三预设值,则确认在所述有效分析范围内存在障碍物。可选的,所述尺寸包括以下至少之一:每个区域的面积/体积、每个区域的直径、横穿每个区域几何中心的最小距离。
作为一种实施方式,依据所述障碍物的尺寸执行导航,包括:当所述障碍物尺寸范围小于预设阈值时,控制所述自行走机器人在距离所述障碍物预设距离范围之内降低边刷转速。
例如:针对尺寸较小的障碍物,可以选择较远的避障距离,以进一步避免近距离打飞该障碍物。具体的,根据区域面积的大小,可以判断出障碍物的大小,结合实验数据设置一个预设阈值,该阈值可以是区域面积或像素量,具体阈值不做限定。当超过该阈值时,则认为属于大尺寸的障碍物,反之则属于小尺寸障碍物。对于小尺寸障碍物,可以不进行避障,控制所述自行走机器人在距离所述障碍物预设距离范围之内降低边刷转速,以免将小尺寸障碍物打飞。
作为一种实施方式,依据所述障碍物的尺寸执行导航,还包括:根据所述障碍物尺寸或该尺寸所在的范围,确定其避障距离,控制所述自行走机器人在所述避障距离开始执行避障策略。
对于超过预设阈值的大尺寸障碍物,控制所述自行走机器人在距离所述障碍物预设距离范围之内执行避障操作。通常情况下,判断的障碍物尺寸越大,开始执行避障的距离越小,因为障碍物越大,受边刷影响越小,行走机器人甚至可以沿着障碍物行走。
作为一种实施例,所述依据所述障碍物的尺寸执行导航,具体包括:如判断出所述障碍物的高度大于预设高度,则执行避障策略。这样,只有高度超过一定数值的障碍物才需要躲避;如高度较小,可选择直接越高该障碍物,可以进一步减少漏扫的区域。
如图12所示,本公开实施例提供一种障碍物探测装置,用于实施如上实施例所述的方法步骤,对于同样的方法步骤具有相同的技术效果,在此不做赘述,具体的,所述障碍物探测装置,包括:
转换单元1202,用于将图像采集装置采集到的障碍物信息转换为深度信息。
转化单元1204,用于将所述深度信息转化成点云图,并确定所述障碍物的各参考点的坐标数据。
确定单元1206,在所述点云图中选取高度方向上的有效分析范围。
分析单元1208,用于在所述有效分析范围内,基于所述各参考点的坐标数据,分析所述有效分析范围内是否存在障碍物。
可选的,所述分析单元1208,还用于将所述有效分析范围内的所述各参考点的3D坐标数据转换为2D坐标数据。在所述有效分析范围内,基于所述各参考点的2D坐标数据,分析所述有效分析范围内是否存在障碍物。
可选的,所述分析单元1208,还用于获取所述自行走机器人在行进过程中形成的概率地图;基于所述概率地图,过滤掉所述各参考点的2D坐标数据中的噪声点坐标数据,基于过滤后的所述各参考点的2D坐标数据分析所述有效分析范围内是否存在障碍物。
可选的,所述分析单元1208,还用于获取所述概率地图中障碍物的位置坐标数据,在所述概率地图中,所述障碍物的概率值大于预设概率阈值;比较所述障碍物的位置坐标数据和所述各参考点的2D坐标数据,当所述障碍物的位置坐标数据与所述各参考点的2D坐标数据的距离大于预设值时,过滤掉所述2D坐标数据。
可选的,所述分析单元1208,还用于在所述有效分析范围内,对所述各参考点进行聚类,将与相邻点的坐标数据距离小于第二预设值的所有点作为一个区域;分别判断每个区域的尺寸;如所述尺寸大于等于第三预设值,则确认在所述有效分析范围内存在障碍物。所述尺寸包括以下至少之一:每个区域的面积/体积、每个区域的直径、横穿每个区域几何中心的最小距离。
还包括:控制单元(未图示),用于当所述有效分析范围内存在障碍物时,判断所述障碍物尺寸范围是否小于预设阈值;当所述障碍物尺寸范围小于预设阈值时,控制所述自行走机器人在距离所述障碍物预设距离范围之内降低边刷转速;当所述障碍物尺寸范围大于等于预设阈值时,控制所述自行走机器人在距离所述障碍物预设距离范围之内执行避障操作。
本公开实施例提供一种障碍物探测装置,利用自行走机器人双目摄像头获取自行走机器人一定高度范围内的深度图像,然后通过对深度图像进行坐标变换、数据聚类等处理,从而准确的判断出当前深度图像中是否存在障碍物。该方法能够对自行走机器人行进路线中的任何物体进行探测,突破了现有方法对障碍物种类的限定,同时,弥补了激光设备探测高度上的缺陷,使得自行走机器人探测障碍物的能力进一步提升,增加了自行走机器人的避障性能。
如图13所示,本公开另外的实施例提供一种障碍物探测装置,用于实施如上实施例所述的方法步骤,对于同样的方法步骤具有相同的技术效果,在此不做赘述,具体的,所述障碍物探测装置,包括:
图像转换单元1302,用于将图像采集装置采集到的障碍物信息转换为深度信息。
图像转化单元1304,用于将所述深度图像转化成点云图,并确定所述障碍物的各参考点的坐标数据。
范围选取单元1306,用于在所述点云图中选取有效分析范围。
导航执行单元1308,用于在所述有效分析范围内,确定是否存在障碍物,并依据所述障碍物的尺寸执行导航。
作为一种实施方式,确定单元1308,还用于在所述有效分析范围内,对所述各参考点进行聚类;将与相邻点的坐标数据距离小于第二预设值的所有点作为一个区域;分别判断每个区域的尺寸;如所述区域的尺寸大于等于第三预设值,则确认在所述有效分析范围内存在障碍物。可选的,所述尺寸包括以下至少之一:每个区域的面积/体积、每个区域的直径、横穿每个区域几何中心的最小距离、区域的高度。
作为一种实施方式,依据所述障碍物的尺寸执行导航,包括:当所述障碍物尺寸范围小于预设阈值时,控制所述自行走机器人在距离所述障碍物预设距离范围之内降低边刷转速。
作为一种实施方式,依据所述障碍物的尺寸执行导航,还包括:根据所述障碍物尺寸或其所在的范围,确定其避障距离,控制所述自行走机器人在所述避障距离开始执行避障策略。
本公开实施例提供一种非瞬时性计算机可读存储介质,存储有计算机程序指令,所述计算机程序指令在被处理器调用和执行时实现如上任一所述的方法步骤。
本公开实施例提供一种机器人,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机程序指令,所述处理器执行所述计算机程序指令时,实现前述任一实施例的方法步骤。
如图14所示,机器人可以包括处理装置(例如中央处理器、图形处理器等)1401,其可以根据存储在只读存储器(ROM)1402中的程序或者从存储装置1408加载到随机访问存储器(RAM)1403中的程序而执行各种适当的动作和处理。在RAM 1403中,还存储有电子机器人1400操作所需的各种程序和数据。处理装置1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。
通常,以下装置可以连接至I/O接口1405:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1406;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1407;包括例如硬盘等的存储装置1408;以及通信装置1409。通信装置1409可以允许电子机器人与其他机器人进行无线或有线通信以交换数据。虽然14图14示出了具有各种装置的电子机器人,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为机器人软件程序。例如,本公开的实施例包括一种机器人软件程序产品,其包括承载在可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置1409从网络上被下载和安装,或者从存储装置1408被安装,或者从ROM 1402被安装。在该计算机程序被处理装置1401执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述机器人中所包含的;也可以是单独存在,而未装配入该机器人中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
最后应说明的是:以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。
Claims (7)
1.一种自动清洁设备,包括:图像采集装置、激光测距装置和控制系统,其特征在于:
所述图像采集装置,用于采集障碍物信息;
所述激光测距装置用于采集绘制所述自动清洁设备所在环境的即时地图的障碍物信息;
控制系统,用于利用所述激光测距装置反馈的障碍物信息绘制所述即时地图;并通过表征是否存在障碍物的历史经验绘制概率地图;其中,所述概率地图是自动清洁设备在历史运行轨迹过程中,通过多次的历史经验判断该位置是否存在障碍物,并将是否存在障碍物的位置进行标记,同时标记此位置是障碍物的概率值;
还用于将所述图像采集装置采集的所述障碍物信息转换为深度信息;将所述深度信息转化成点云图,并确定所述障碍物上的各参考点的坐标数据;在所述点云图中选取高度方向上的有效分析范围;
还用于基于所述有效分析范围内的各参考点坐标数据和所述概率地图,确定所述有效分析范围之内是否存在障碍物。
2.根据权利要求1所述的自动清洁设备,其特征在于,所述控制系统包括分析单元,分析单元用于将确定所述障碍物上的各参考点的3D坐标数据转换为2D坐标数据,并基于所述有效分析范围内的各参考点的2D坐标数据和所述概率地图,确定所述有效分析范围之内是否存在障碍物。
3.根据权利要求1所述的自动清洁设备,其特征在于,所述基于所述有效分析范围内的各参考点的坐标数据和所述概率地图,确定所述有效分析范围内是否存在障碍物,包括:
基于所述概率地图,过滤掉所述各参考点的2D坐标数据中的噪声点坐标数据,基于过滤后的所述各参考点的2D坐标数据分析所述有效分析范围内是否存在障碍物。
4.根据权利要求3所述的自动清洁设备,其特征在于,所述基于所述概率地图,过滤掉所述各参考点的2D坐标数据中的噪声点坐标数据,包括:
获取所述概率地图中障碍物的位置坐标数据,在所述概率地图中,所述障碍物的概率值大于预设概率阈值;
比较所述障碍物的位置坐标数据和所述各参考点的2D坐标数据,当所述障碍物的位置坐标数据与所述各参考点的2D坐标数据的距离大于第一预设值时,过滤掉所述坐标数据。
5.根据权利要求1-4任一所述的自动清洁设备,其特征在于,所述基于所述各参考点的坐标数据和所述概率地图,分析所述有效分析范围内是否存在障碍物,包括:
在所述有效分析范围内,对所述各参考点进行聚类,将与相邻参考点的坐标数据距离小于第二预设值的所有参考点作为一个区域;
分别判断每个区域的尺寸;如所述区域的尺寸大于等于第三预设值,则确认在所述有效分析范围内存在障碍物。
6.根据权利要求5所述的自动清洁设备,其特征在于,所述区域的尺寸包括以下至少之一:
区域的面积/体积、区域的直径、横穿区域几何中心的最小距离。
7.根据权利要求1所述的自动清洁设备,其特征在于,所述控制系统还用于,当确定所述有效分析范围内存在障碍物时,判断所述障碍物尺寸是否小于预设阈值;
当判断所述障碍物尺寸小于预设阈值时,控制所述自动清洁设备在距离所述障碍物预设距离范围之内降低边刷转速。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210193181.9A CN114521836B (zh) | 2020-08-26 | 2020-08-26 | 一种自动清洁设备 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010872327.3A CN111990929B (zh) | 2020-08-26 | 2020-08-26 | 一种障碍物探测方法、装置、自行走机器人和存储介质 |
CN202210193181.9A CN114521836B (zh) | 2020-08-26 | 2020-08-26 | 一种自动清洁设备 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010872327.3A Division CN111990929B (zh) | 2020-08-26 | 2020-08-26 | 一种障碍物探测方法、装置、自行走机器人和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114521836A CN114521836A (zh) | 2022-05-24 |
CN114521836B true CN114521836B (zh) | 2023-11-28 |
Family
ID=73470968
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210193181.9A Active CN114521836B (zh) | 2020-08-26 | 2020-08-26 | 一种自动清洁设备 |
CN202010872327.3A Active CN111990929B (zh) | 2020-08-26 | 2020-08-26 | 一种障碍物探测方法、装置、自行走机器人和存储介质 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010872327.3A Active CN111990929B (zh) | 2020-08-26 | 2020-08-26 | 一种障碍物探测方法、装置、自行走机器人和存储介质 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230305573A1 (zh) |
EP (1) | EP4193897A4 (zh) |
JP (2) | JP7484015B2 (zh) |
KR (1) | KR20230050396A (zh) |
CN (2) | CN114521836B (zh) |
CA (1) | CA3190361A1 (zh) |
WO (1) | WO2022041740A1 (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114521836B (zh) * | 2020-08-26 | 2023-11-28 | 北京石头创新科技有限公司 | 一种自动清洁设备 |
CN114633248B (zh) * | 2020-12-16 | 2024-04-12 | 北京极智嘉科技股份有限公司 | 一种机器人及定位方法 |
CN114690755A (zh) * | 2020-12-25 | 2022-07-01 | 尚科宁家(中国)科技有限公司 | 清洁机器人及其绕障方法 |
CN112684801B (zh) * | 2020-12-25 | 2022-08-23 | 珠海格力电器股份有限公司 | 一种机器人回充控制方法、装置、电器设备及存储介质 |
CN112783158A (zh) * | 2020-12-28 | 2021-05-11 | 广州辰创科技发展有限公司 | 多种无线传感识别技术融合方法、设备及存储介质 |
CN112883128A (zh) * | 2020-12-30 | 2021-06-01 | 杭州图歌科技有限公司 | 一种封闭环境下机器人自主建图方法 |
CN112857254B (zh) * | 2021-02-02 | 2022-02-08 | 北京大成国测科技有限公司 | 基于无人机数据的参数测量方法、装置及电子设备 |
CN113031648A (zh) * | 2021-02-26 | 2021-06-25 | 华南理工大学 | 一种基于实感深度相机的旋翼无人机避障的方法 |
US12085944B2 (en) * | 2021-03-02 | 2024-09-10 | Yujin Robot Co., Ltd. | Moving path planning apparatus and method for robot |
CN113075692A (zh) * | 2021-03-08 | 2021-07-06 | 北京石头世纪科技股份有限公司 | 目标检测及控制方法、系统、设备及存储介质 |
CN114625116A (zh) * | 2021-05-06 | 2022-06-14 | 北京石头世纪科技股份有限公司 | 自行走设备避障方法、装置、介质和电子设备 |
CN113485359A (zh) * | 2021-07-29 | 2021-10-08 | 北京超维世纪科技有限公司 | 一种工业类巡检机器人多传感器融合避障系统 |
CN115235482A (zh) * | 2021-09-28 | 2022-10-25 | 上海仙途智能科技有限公司 | 地图更新方法、装置、计算机设备及介质 |
CN114549576B (zh) * | 2022-01-26 | 2023-05-23 | 广州方图科技有限公司 | 行走能力检测方法、装置、存储介质及体检机 |
CN114557640B (zh) * | 2022-02-21 | 2023-08-01 | 广州宝乐软件科技有限公司 | 清洁机器人的数据处理方法、装置及清洁机器人 |
CN114451830B (zh) * | 2022-03-17 | 2023-06-16 | 上海飞博激光科技股份有限公司 | 激光清洗玻璃幕墙装置及其清洗方法 |
CN114777759A (zh) * | 2022-03-23 | 2022-07-22 | 北京石头创新科技有限公司 | 机器人地图中障碍物的标记方法及装置 |
CN114662760A (zh) * | 2022-03-23 | 2022-06-24 | 青岛海信网络科技股份有限公司 | 一种基于机器人的配送方法和机器人 |
CN114740867A (zh) * | 2022-05-10 | 2022-07-12 | 丰疆智能(深圳)有限公司 | 基于双目视觉的智能避障方法、装置、机器人及介质 |
KR102611481B1 (ko) * | 2022-05-27 | 2023-12-08 | 주식회사 쓰리아이 | 이미지 내의 좌표들 간의 실제 거리를 계산하는 방법 및 장치 |
CN117333837A (zh) * | 2022-06-22 | 2024-01-02 | 鸿海精密工业股份有限公司 | 行车安全辅助方法、电子设备及存储介质 |
CN116859380B (zh) * | 2023-09-05 | 2023-11-21 | 长沙隼眼软件科技有限公司 | 目标航迹的测量方法、装置、电子设备及存储介质 |
KR102679734B1 (ko) * | 2023-12-04 | 2024-07-01 | 주식회사 메이사 | 수치 표고 모델을 생성하는 전자 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107966989A (zh) * | 2017-12-25 | 2018-04-27 | 北京工业大学 | 一种机器人自主导航系统 |
CN109645897A (zh) * | 2019-01-10 | 2019-04-19 | 轻客小觅智能科技(北京)有限公司 | 一种扫地机的障碍物检测方法及系统 |
CN110070570A (zh) * | 2019-03-20 | 2019-07-30 | 重庆邮电大学 | 一种基于深度信息的障碍物检测系统及方法 |
CN110799989A (zh) * | 2019-04-20 | 2020-02-14 | 深圳市大疆创新科技有限公司 | 一种障碍物检测方法、设备、可移动平台及存储介质 |
CN111329398A (zh) * | 2020-03-27 | 2020-06-26 | 上海高仙自动化科技发展有限公司 | 机器人控制方法、机器人、电子设备和可读存储介质 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008281385A (ja) * | 2007-05-09 | 2008-11-20 | Olympus Corp | 画像処理装置 |
KR20090018336A (ko) * | 2007-08-17 | 2009-02-20 | 삼성전자주식회사 | 로봇 청소기 및 그 제어방법 |
CN104236548B (zh) * | 2014-09-12 | 2017-04-05 | 清华大学 | 一种微型无人机室内自主导航方法 |
JP6464410B2 (ja) * | 2014-09-26 | 2019-02-06 | シャープ株式会社 | 障害物判定装置および障害物判定方法 |
CN105204510B (zh) * | 2015-10-09 | 2016-06-22 | 福州华鹰重工机械有限公司 | 一种用于精确定位的概率地图的生成方法及装置 |
US20170357267A1 (en) * | 2016-06-10 | 2017-12-14 | Cnh Industrial America Llc | Autonomous work vehicle obstacle detection system |
CN107491070A (zh) * | 2017-08-31 | 2017-12-19 | 成都通甲优博科技有限责任公司 | 一种移动机器人路径规划方法及装置 |
US10795377B2 (en) * | 2018-01-03 | 2020-10-06 | AI Incorporated | Method for autonomously controlling speed of components and functions of a robot |
JP7141220B2 (ja) * | 2018-01-22 | 2022-09-22 | 東芝ライフスタイル株式会社 | 自走式電気掃除機 |
CN108983248A (zh) * | 2018-06-26 | 2018-12-11 | 长安大学 | 一种基于3d激光雷达及v2x的网联车定位方法 |
WO2020049650A1 (ja) * | 2018-09-05 | 2020-03-12 | 三菱電機株式会社 | 運転支援装置 |
CN109645892B (zh) * | 2018-12-12 | 2021-05-28 | 深圳乐动机器人有限公司 | 一种障碍物的识别方法及清洁机器人 |
CN110045376B (zh) * | 2019-04-28 | 2021-06-01 | 森思泰克河北科技有限公司 | 可行驶区域获取方法、计算机可读存储介质及终端设备 |
CN111521184A (zh) * | 2020-04-13 | 2020-08-11 | 轻客小觅机器人科技(成都)有限公司 | 一种扫地机器人的建图方法、装置及系统 |
CN114521836B (zh) * | 2020-08-26 | 2023-11-28 | 北京石头创新科技有限公司 | 一种自动清洁设备 |
-
2020
- 2020-08-26 CN CN202210193181.9A patent/CN114521836B/zh active Active
- 2020-08-26 CN CN202010872327.3A patent/CN111990929B/zh active Active
-
2021
- 2021-04-08 WO PCT/CN2021/085960 patent/WO2022041740A1/zh active Application Filing
- 2021-04-08 CA CA3190361A patent/CA3190361A1/en active Pending
- 2021-04-08 US US18/023,221 patent/US20230305573A1/en active Pending
- 2021-04-08 KR KR1020237008255A patent/KR20230050396A/ko active Search and Examination
- 2021-04-08 EP EP21859589.0A patent/EP4193897A4/en active Pending
- 2021-04-08 JP JP2023513541A patent/JP7484015B2/ja active Active
-
2024
- 2024-04-30 JP JP2024073586A patent/JP2024109610A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107966989A (zh) * | 2017-12-25 | 2018-04-27 | 北京工业大学 | 一种机器人自主导航系统 |
CN109645897A (zh) * | 2019-01-10 | 2019-04-19 | 轻客小觅智能科技(北京)有限公司 | 一种扫地机的障碍物检测方法及系统 |
CN110070570A (zh) * | 2019-03-20 | 2019-07-30 | 重庆邮电大学 | 一种基于深度信息的障碍物检测系统及方法 |
CN110799989A (zh) * | 2019-04-20 | 2020-02-14 | 深圳市大疆创新科技有限公司 | 一种障碍物检测方法、设备、可移动平台及存储介质 |
CN111329398A (zh) * | 2020-03-27 | 2020-06-26 | 上海高仙自动化科技发展有限公司 | 机器人控制方法、机器人、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
KR20230050396A (ko) | 2023-04-14 |
WO2022041740A1 (zh) | 2022-03-03 |
CN111990929B (zh) | 2022-03-22 |
JP2023540909A (ja) | 2023-09-27 |
CN114521836A (zh) | 2022-05-24 |
US20230305573A1 (en) | 2023-09-28 |
CA3190361A1 (en) | 2022-03-03 |
JP2024109610A (ja) | 2024-08-14 |
EP4193897A4 (en) | 2024-07-24 |
EP4193897A1 (en) | 2023-06-14 |
JP7484015B2 (ja) | 2024-05-15 |
CN111990929A (zh) | 2020-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114521836B (zh) | 一种自动清洁设备 | |
CN109947109B (zh) | 机器人工作区域地图构建方法、装置、机器人和介质 | |
US20230225576A1 (en) | Obstacle avoidance method and apparatus for self-walking robot, robot, and storage medium | |
EP4137905A1 (en) | Robot obstacle avoidance method, device, and storage medium | |
AU2016372758B2 (en) | Automatic cleaning device and cleaning method | |
CN111990930B (zh) | 一种测距方法、装置、机器人和存储介质 | |
CN114468898B (zh) | 机器人语音控制方法、装置、机器人和介质 | |
CN114595354A (zh) | 机器人的建图方法、装置、机器人和存储介质 | |
EP4332501A1 (en) | Distance measurement method and apparatus, and robot and storage medium | |
CN217792839U (zh) | 自动清洁设备 | |
CN113625700B (zh) | 自行走机器人控制方法、装置、自行走机器人和存储介质 | |
CN117008148A (zh) | 打滑状态的检测方法、设备及存储介质 | |
CN112269379B (zh) | 障碍物识别信息反馈方法 | |
CN114879691A (zh) | 自行走机器人的控制方法、存储介质和自行走机器人 | |
RU2819023C1 (ru) | Способ и устройство для обнаружения препятствий, самоходный робот и носитель для хранения данных | |
AU2023201499A1 (en) | Method and apparatus for detecting obstacle, self-moving robot, and storage medium | |
CN114601373B (zh) | 清洁机器人的控制方法、装置、清洁机器人和存储介质 | |
CN118411403A (zh) | 自行走设备的地面信息确定方法及装置、设备和介质 | |
CN117990143A (zh) | 自行走机器人及其传感器脏污检测方法、装置和存储介质 | |
CN116942017A (zh) | 自动清洁设备、控制方法及存储介质 | |
CN112244705A (zh) | 智能清洁设备、控制方法、计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |