CN111830966A - 角落识别和清扫方法、装置及存储介质 - Google Patents
角落识别和清扫方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111830966A CN111830966A CN202010501094.6A CN202010501094A CN111830966A CN 111830966 A CN111830966 A CN 111830966A CN 202010501094 A CN202010501094 A CN 202010501094A CN 111830966 A CN111830966 A CN 111830966A
- Authority
- CN
- China
- Prior art keywords
- plane
- corner
- dimensional information
- determined
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 239000007787 solid Substances 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 241001417527 Pempheridae Species 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
Abstract
本发明揭示了一种角落识别和清扫方法、装置及存储介质；方法包括：采集清扫空间的三维信息；根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落；针对认定角落，进行角落清洁。本发明角落识别和清扫方法、装置及存储介质，角落识别和清扫方法通过采集清扫空间的三维信息；根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落，并对认定角落进行重点清洁，能够有效消除清洁死角，提高清洁效果。
Description
技术领域
本发明涉及到清洁机器人领域，特别是涉及到一种角落识别和清扫方法、装置及存储介质。
背景技术
现市场上的清洁机器人主要靠沿边传感器(典型的有红外对管和TOF等) 和碰撞传感器来检测墙壁，并实现跟随墙壁，同时进行墙壁边缘清洁，现有方法不会识别到角落(如墙的夹角等)，并对角落做清洁处理，而这些地方通常成为清洁死角。
发明内容
本发明的主要目的为提供一种角落识别和清扫方法、装置及存储介质，可以解决现有清洁机器人清洁过程中存在清洁死角的问题。
本发明提出一种角落识别和清扫方法，包括如下步骤：
采集清扫空间的三维信息；
根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落；
针对认定角落，进行角落清洁。
进一步地，根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落的步骤包括：
在三维信息中的二维信息中确定多条候选直线，三维是指以移动机器人的前后、左右、上下作为维度轴的延伸方向建立的三维坐标，其中，以前后方向作为深度维度轴的方向，二维信息包括左右和上下方向上的位置信息；
根据相交的候选直线在三维信息中选出确定平面；
根据确定平面确定认定角落，认定角落为置信度高的角落。
进一步地，在三维信息中的二维信息中确定多条候选直线的步骤，包括：
在二维信息中提取特征点并根据特征点在二维信息中拟合直线得到第一直线，第一直线为候选直线；
或者，在RGB图像上进行直线提取，在二维信息中确认出第二直线，第二直线为候选直线，RGB图像在采集清扫空间的三维信息的步骤中获取得到；
或者，在二维信息中提取特征点并根据特征点在二维信息中拟合直线得到第一直线；
在RGB图像上进行直线提取，在二维信息中确认出第二直线，RGB图像在采集清扫空间的三维信息的步骤中获取得到；
将所有第一直线、第二直线比较，将重合的第一直线和第二直线确定为候选直线。
进一步地，根据相交的候选直线在三维信息中选出确定平面的步骤，包括：
在三维信息中，确定出有至少两条候选直线相交的交点；
在三维信息中，通过穿过交点的每两条候选直线确定出一个预选平面；
在预选平面中筛选出实体平面；
判断实体平面是否为确定平面，确定平面为符合预设条件的实体平面。
进一步地，在三维信息中，通过穿过交点的每两条候选直线确定出一个预选平面的步骤，包括：
在三维信息中，判断通过穿过交点的每两条候选直线是否可以构成存在法线的平面；
若是，则两个候选直线确认出的平面为预选平面。
进一步地，在预选平面中筛选出实体平面的步骤，包括：
在三维图像中，对每一预选平面，搜索其平面范围内的特征点；
判断搜索到的特征点的数量是否达到预设值；
若是，则判定该预选平面为实体平面。
进一步地，根据确定平面确定认定角落，认定角落为置信度高的角落的步骤，包括：
在判定候选直线的交点位于确定平面时，判定交点为认定角落；
或者，在判定候选直线的交点为2或3个确定平面的交点时，判定交点为认定角落。
进一步地，根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落的步骤包括：
通过特征点由RANSAC法估算备选平面，备选平面为实体平面，特征点包含于三维信息中；
判断备选平面是否为确定平面，确定平面为符合预设条件的预选平面；
判断是否存在2或3个确定平面的交点；
若是，则判定交点为认定角落。
本申请还提出了一种角落识别和清扫装置，包括：
摄像模块，用于采集清扫空间的三维信息；
角落确定模块，用于根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落；
模式转换模块，用于针对认定角落，进行角落清洁。
本申请还提出了一种存储介质，其为计算机可读的存储介质，其上存储有计算机程序，计算机程序被执行时实现上述的角落识别和清扫方法。
本发明角落识别和清扫方法、装置及存储介质，角落识别和清扫方法通过采集清扫空间的三维信息；根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落，并对认定角落进行重点清洁，能够有效消除清洁死角，提高清洁效果。
附图说明
图1本发明角落识别和清扫方法一实施例中步骤结构示意图；
图2本发明角落识别和清扫装置一实施例结构示意图；
图3是本发明存储介质一实施例的结构示意图；
图4是本发明智能设备一实施例的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”“上述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件、单元、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、单元、模块、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
参照图1，本发明角落识别和清扫方法一实施例，包括如下步骤：
S1、采集清扫空间的三维信息；
S2、根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落；
S3、针对认定角落，进行角落清洁。
在本实施方式的上述步骤S1中，清扫空间为房间等需要清扫的空间，三维信息都是针对清扫空间的，三维信息通过扫地机开机原地旋转或矩形移动，以使摄像头移动，伴随摄像头移动，采集清扫空间的三维信息；移动过程中,由机器人携带至少一个三维相机(比如深度相机/双目相机/3D-TOF等传感器设备，如此既可以获得二维信息，也可以获得三维深度信息)，或者是单目相机 +里程计/其他类似器件(结合两次单目相机的二维信息，以及里程计获取的一个距离信息，可以获得三维深度信息)，或者是单目相机+深度相机/双目相机 /3D-TOF等传感器设备，采集三维信息；在一些实施例中，三维信息中可以包括二维图像、三维图像、RGB图像、特征点、直线、平面中的一种或多种；其中，二维图像和三维图像也都是针对清扫空间的；所述三维是指以移动机器人的前后、左右、上下作为维度轴的延伸方向建立的三维坐标，其中，以所述前后方向作为深度维度轴的方向，二维信息包括左右和上下方向上的位置信息；前后是指移动机器人的前进后退方向。
在上述步骤S2中，角落通常位于两或三个面的交线上；因此通过确认面，并根据确定的面(即所述确定平面)按照预设规则来判断疑似角落的位置是否为两或三个面的交线上，以进一步来判断是否为确定角落。因此，预设规则在本实施例中为：角落为两或三个面的交线上；若要根据三维信息选出确定平面，可以通过两条相交的直线以及设定的规则确认出平面,和/或通过大量特征点可以由RANSAC法估算出平面(获得深度信息，以确认是一个面，并且是一个平面，而不是一个曲面)，再通过判断获得的平面是否为所需要的确定平面的方式，获得符合条件的确定平面，在本实施例中，判断为确定平面的条件为实体的墙面。
在上述步骤S3中，在确定了角落后，在角落之外的其他位置的清洁可以与现有的清洁模式相同，通过转换为角落清洁模式可以相应的对认定角落进行针对性清洁，进而提高清洁的整体效果，针对认定角落清洁时进入角落清洁模式，进入角落清洁模式后，清洁机器人会进行相应的调整，例如通过增大抽吸强度，提高清洁强度；还可以降低清洁机器人的接近传感器阈值，使清洁机器人靠近认定角落，而且还可以反复旋转清扫提高清洁质量；进行角落清洁时，通过控制机器人移动到认定角落进行清扫确认，清扫确认为清洁机器人移动到认定角落并伸缩清扫的刷子，可以顺利伸出清扫，例如刷子可以伸出设定长度既认定刷子可以顺利伸出，则表示确实是真实角落，这样可以在清洁过程中排除掉判断错误的角落，只对真实的角落进行清洁。
进一步地，在一些实施例中，根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落的步骤S2包括：
S21、在三维信息中的二维信息中确定多条候选直线，三维是指以移动机器人的前后、左右、上下作为维度轴的延伸方向建立的三维坐标，其中，以前后方向作为深度维度轴的方向，二维信息包括左右和上下方向上的位置信息；
S22、根据相交的候选直线在三维信息中选出确定平面；
S23、根据确定平面确定认定角落，认定角落为置信度高的角落。
在上述步骤S21中，可以通过在二维信息中提取多条候选直线，在一些实施例中获取候选直线方式包括：由检测到的特征点(平面特征点/深度特征点)，进行直线拟合确认候选直线，和/或使用hough等直线提取方法在RGB 图像上进行直线提取,确认候选直线(RGB彩色图像可以从单目相机/双目相机获得，并通过提取轮廓来确认直线)。两种方法可分开使用，也可同时使用。
其中，第一种方法获得的特征点偏稀疏，拟合获得的直线少，但获得的每个特征点可直接具有三维信息，即可作为深度特征提取的导向(可以以特征点的坐标为基础，在三维图上搜索该坐标位置的深度信息，获得该特征点的深度值，可减少计算)，第二种获取的直线较多，获取的点也多，不过该直线和点主要包含二维信息，可以在直线或直线周围提取点后，返回到三维信息中以追述该点的第三维信息——深度特征，在三维图上搜索该点坐标位置的深度信息，获得该特征点的深度值；当两者同时使用时，可优先获取两种方式下获得的重合直线，可筛选出更准确的直线，在保证准确率的同时，还减少后期的计算量；在当两者同时使用时，可以通过第一种的特征点为基础，在三维图上搜索该坐标位置的深度信息，获得该特征点的深度值；在二维信息中提取多条候选直线，可以减少计算量。
三维是指以移动机器人的前后、左右、上下作为维度轴的延伸方向建立的三维坐标，前后、左右、上下都是以移动机器人为参照，伴随移动机器人移动，前后、左右、上下也相应变化，其中，以前后方向作为深度维度轴的方向，二维信息包括左右和上下方向上的位置信息。
在上述步骤S22中，根据相交的候选直线在三维信息中选出确定平面，因已经排除了部分直线，数据减少，可以减少计算量，检测到的候选直线,获得候选直线交点,将交点确认为候选角落，对在形成候选角落的候选直线上进行特征点提取(当然，特征点也可能在直线的周侧，因为特征点不一定是正好/准确的落在直线上)，并以该特征点为目标，在三维信息的第三维或三维图 (由深度相机/3DTOF/双目)中搜索该点的深度信息，从而获得直线/直线附近特征点的深度信息(深度信息可通过深度相机/3D-TOF等设备直接输出，或者通过单目摄像机+里程计的方式用三角计算得出)，由此确定该直线的深度信息，深度信息包括前后方向的信息，即该直线的第三维空间位置，并进一步在三维图中根据两条相交直线确定出预选平面；此时也可能产生误判，比如，两条线确实相交，但不是一个实体面，因此，还需要在三维图中查看是否该预选平面是否为一个真实的平面，判断是否为实体平面的方法可通过在三维图中在该预选平面范围内搜索点，若搜索到足够多的点在该预选平面上，则该预选平面为真实平面，若搜索到的点不在平面上，比如在平面的后侧，则该预选平面并非实体平面。
此处需要说明的是，可以进一步判断，获得实体平面是所需平面，比如是墙面，而不是柜子面/桌子面；可以通过高度判断的方式，其中高的是墙，矮的是其他面，如果我们需要的墙面，那么高的面即为确定平面，或者通过距离判断，距离移动机器人较远/较旁侧实体平面的是墙面，靠近移动机器人的可能是桌子等。
在上述步骤S23中，可以通过两或三个面的交线确定认定角落，当判断交点位于两或三个面的交线上时，即判断交点为认定角落，认定角落为置信度高的角落，需要重点清理，能够筛选出置信度高的角落，用于重点清洁，提高清洁质量。
进一步地，在一些实施例中，在三维信息中的二维信息中确定多条候选直线的步骤S21，包括：
S211、在二维信息中提取特征点并根据特征点在二维信息中拟合直线得到第一直线，第一直线为候选直线；
或者，S212、在RGB图像上进行直线提取，在二维信息中确认出第二直线，第二直线为候选直线，RGB图像在采集清扫空间的三维信息的步骤中获取得到；
或者S2131、在二维信息中提取特征点并根据特征点在二维信息中拟合直线得到第一直线；
S2132、在RGB图像上进行直线提取，在二维信息中确认出第二直线， RGB图像在采集清扫空间的三维信息的步骤中获取得到；
S2133、将所有第一直线、第二直线比较，将重合的第一直线和第二直线确定为候选直线。
在上述步骤S211中，在一些实施例中，特征点为二维信息或二维图中提取得到，根据提取的特征点进行直线拟合确认出多条第一直线，在本实施例中，将第一直线作为候选直线；特征点偏稀疏，获得的直线少，但可作为深度特征提取的导向，可以以特征点的坐标为基础，在三维图上搜索该坐标位置的深度信息，获得该特征点的深度值，可减少计算。
在上述步骤S212中，RGB图像可以从单目相机/双目相机获得，在步骤 S1中得到，使用hough等直线提取方法在RGB图像上进行直线提取；获取的直线较多，但进行深度导向时，需要根据候选直线在二维图中提取点，该直线和点主要包含二维信息，可以在直线或直线周围提取点后，返回到三维信息中以追述该点的第三维信息——深度特征，在三维图上搜索该点坐标位置的深度信息，获得该特征点的深度值，信息更充分，后续判断的基础信息更多，判断结果准确率更高。
在上述步骤S2131-S2133中，步骤S2131相当于步骤S211，步骤S2132 相当于步骤S212，步骤S2133将步骤S2131和步骤S2132获取的第一直线和第二直线通过比较获得的重合直线，可筛选出更准确的直线，在保证准确率的同时，还减少后期的计算量。
进一步地，根据相交的候选直线在三维信息中选出确定平面的步骤S22，包括：
S221、在三维信息中，确定出有至少两条候选直线相交的交点；
S222、在三维信息中，通过穿过交点的每两条候选直线确定出一个预选平面；
S223、在预选平面中筛选出实体平面；
S224、判断实体平面是否为确定平面，确定平面为符合预设条件的实体平面。
在上述步骤S221中，先在二维中获得至少两条二维候选直线相交的“交点”，再根据交点返找第三维的深度信息，以在三维图中确认出空间中真正的交点，还可以通过获取相交的候选直线在三维图中深度值，在三维图中确认出穿过交点的候选直线，在此过程中可以排除掉仅在二维中穿过交点的候选直线，例如在二维中相交的候选直线，但在三维信息或者三维图中并非真正相交，因此可以被排除掉，可以减少后续步骤中的计算量；其中三维图是指针对清扫空间的三维图。
在上述步骤S222中，在三维图中根据两条相交的直线确定一个平面的方式，在三维图中，穿过交点的每两条候选直线确定出一个预选平面，因此本步骤中可以确认出多个预选平面，但是预选平面并不一定是真实存在的，此时也可能产生误判，比如，两条线确实相交，但不是一个实体面，因此，还需要在深度图中查看是否该备选平面是否为一个真实的平面(比如墙)，而不是仅为两条相交的直线。
在上述步骤S223中，确定预选平面为实体平面可以排除掉在三维图中没有实体面的预选平面，可以采用多种方式来实现，例如，在三维图中搜索特征点，若搜索到足够多的特征点在该预选平面上，则该预选平面为真实平面，若搜索到的特征点不在平面上，比如在平面的后侧，则该预选平面并非实体墙面，且，判断特征点在该预选平面上是否足够多，可以通过对比在该预选平面上特征点数量与预设值，当在该预选平面上特征点数量达到或超过预设值时，判定该预选平面为实体墙面，预设值的大小是预先设定好的，在此不做具体说明。
在上述步骤S224中，判断实体平面是否为确定平面，比如是墙面，而不是柜子面/桌子面；可以通过高度判断的方式，其中高的是墙，矮的是其他面，如果我们需要的墙面，那么高的预选平面即为确定平面，或者通过距离判断，距离移动机器人较远/较旁侧预选平面的是墙面，靠近移动机器人的可能是桌子等，进而可以根据需求选取符合条件的预选平面作为确定平面。
进一步地，在一些实施例中，在三维信息中，通过穿过交点的每两条候选直线确定出一个预选平面的步骤S222，包括：
S2221、在三维信息中，判断通过穿过交点的每两条候选直线是否可以构成存在法线的平面；
S2222、若是，则两个候选直线确认出的平面为预选平面。
在上述步骤S2221-S2222中，在三维图中根据两条相交的直线确定一个平面的方式，在三维图中，穿过交点的每两条候选直线确定出一个平面，在判断出该平面具有法线是判定该平面为预选平面，该方式，可以排除掉不存在法线的平面，减少计算量。
进一步地，在一些实施例中，在预选平面中筛选出实体平面的步骤S223，包括：
S2231、在三维图像中，对每一预选平面，搜索其平面范围内的特征点；
S2232、判断搜索到的特征点的数量是否达到预设值；
S2233、若是，则判定该预选平面为实体平面。
在上述步骤S2231中，三维图像为步骤S1中获得，为针对清扫空间的，通过任意能够实现的特征点提取方法在三维图像中提取每一预选平面的平面范围内的特征点，其中特征点提取方法为现有技术可以实现的，在此就不一一赘述。
在上述步骤S2232中，预设值为预先设定的，代表特征点的阈值，可以通过将搜索到的特征点的数量与预设值相减并判断其差值是否大于等于0的方式判断是否达到预设值，当差值大于等于0则判定达到预设值。
在上述步骤S2233中，当判定预选平面上有达到预设值的特征点时，即可判定该预选平面为具有实体面的实体平面，排除掉特征点的数量未达到预设值的预选平面。
进一步地，在一些实施例中，根据确定平面确定认定角落，认定角落为置信度高的角落的步骤S23，包括：
S231、在判定候选直线的交点位于确定平面时，判定交点为认定角落；
或者，S232、在判定候选直线的交点为2或3个确定平面的交点时，判定交点为认定角落。
在上述步骤S231中，至少有一个交点位于确定平面上，通过判定候选直线的交点位于确定平面，即可判断交点为认定角落，判断速度较快。
在上述步骤S232中，若相交直线不是墙边界的直线，而是图案花纹等形成的直线相交，或者是门边界的相交直线，则具有一定误差，因此通过判断候选直线的交点是否为2或3个确定平面的交点，可以排除图案花纹等形成的直线相交，提高认定角落的置信度。
进一步地，在一些实施例中，根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落的步骤S2包括：
S24、通过特征点由RANSAC法估算备选平面，备选平面为实体平面，特征点包含于三维信息中；
S25、判断备选平面是否为确定平面，确定平面为符合预设条件的预选平面；
S26、判断是否存在2或3个确定平面的交点；
S27、若是，则判定交点为认定角落。
在上述步骤S24中，直接通过特征点估算备选平面，可以直接确定备选平面为实体面、并且是一个平面，而不是一个曲面，通过较少的步骤在三维中判断出实体平面，实体平面获取效率更高。
在上述步骤S25中，其判断方式可以与步骤S224相同，例如，判断实体平面是否为确定平面，比如是墙面，而不是柜子面/桌子面；可以通过高度判断的方式，其中高的是墙，矮的是其他面，如果我们需要的墙面，那么高的备选平面即为确定平面，或者通过距离判断，距离移动机器人较远/较旁侧备选平面的是墙面，靠近移动机器人的可能是桌子等，进而可以根据需求选取符合条件的备选平面作为确定平面。
在上述步骤S26-S27中，通过判断交点是否同时在2或3个确定平面的边线上来判断是否存在2或3个确定平面的交点，当交点同时在2或3个确定平面的边线上则判定交点在2或3个确定平面上，可以排除图案花纹等形成的直线相交，提高认定角落的置信度。应当说的是，上述的公开的步骤中，其中步骤可以组合构成多个技术方案，用于解决角落识别和清扫问题，任意合理的组合构成的技术方案都属于本发明的保护范围，在此就不一一赘述。
本发明角落识别和清扫方法、装置及存储介质，角落识别和清扫方法通过采集清扫空间的三维信息；根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落，并对认定角落进行重点清洁，能够有效消除清洁死角，提高清洁效果。
参照图2，本申请还提出了一种角落识别和清扫装置，包括：
摄像模块1，用于采集清扫空间的三维信息；
角落确定模块2，用于角落确定模块，用于根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落；
模式转换模块3，用于针对认定角落，进行角落清洁。
在上述摄像模块1中，清扫空间为房间等需要清扫的空间，三维信息都是针对清扫空间的，三维信息通过扫地机开机原地旋转或矩形移动，以使摄像头移动，伴随摄像头移动，采集清扫空间的三维信息；移动过程中,由机器人携带至少一个三维相机(比如深度相机/双目相机/3D-TOF等传感器设备，如此既可以获得二维信息，也可以获得三维深度信息)，或者是单目相机+里程计/其他类似器件(结合两次单目相机的二维信息，以及里程计获取的一个距离信息，可以获得三维深度信息)，或者是单目相机+深度相机/双目相机 /3D-TOF等传感器设备，采集三维信息；在一些实施例中，三维信息包括二维图像、三维图像、RGB图像、特征点、直线、平面中的一种或多种；其中，二维图像和三维图像都是针对清扫空间的；所述三维是指以移动机器人的前后、左右、上下作为维度轴的延伸方向建立的三维坐标，其中，以所述前后方向作为深度维度轴的方向，二维信息包括左右和上下方向上的位置信息；前后是指移动机器人的前进后退方向。
在上述角落确定模块2中，角落通常位于两或三个面的交线上；因此通过确认面，并根据确定的面(即所述确定平面)按照预设规则来判断疑似角落的位置是否为两或三个面的交线上，以进一步来判断是否为确定角落。因此，预设规则在本实施例中为：角落为两或三个面的交线上；若要根据三维信息选出确定平面，可以通过两条相交的直线以及设定的规则确认出平面,和 /或通过大量特征点可以由RANSAC法估算出平面(获得深度信息，以确认是一个面，并且是一个平面，而不是一个曲面)，再通过判断获得的平面是否为所需要的确定平面的方式，获得符合条件的确定平面，在本实施例中，判断为确定平面的条件为实体的墙面。在上述模式转换模块3中，在确定了角落后，在角落之外的其他位置的清洁可以与现有的清洁模式相同，通过转换为角落清洁模式可以相应的对认定角落进行针对性清洁，进而提高清洁的整体效果，针对认定角落清洁时进入角落清洁模式，进入角落清洁模式后，清洁机器人会进行相应的调整，例如通过增大抽吸强度，提高清洁强度；还可以降低清洁机器人的接近传感器阈值，使清洁机器人靠近认定角落，而且还可以反复旋转清扫提高清洁质量。
进一步地，角落确定模块2包括：
候选直线选取子模块，用于在三维信息中的二维信息中确定多条候选直线，三维是指以移动机器人的前后、左右、上下作为维度轴的延伸方向建立的三维坐标，其中，以前后方向作为深度维度轴的方向，二维信息包括左右和上下方向上的位置信息；
确定平面选取子模块，用于根据相交的候选直线在三维信息中选出确定平面；
认定角落选取子模块，用于根据确定平面确定认定角落，认定角落为置信度高的角落。
进一步地，候选直线选取子模块包括：
第一候选直线选取单元，用于在二维信息中提取特征点并根据特征点在二维信息中拟合直线得到第一直线，第一直线为候选直线；
或者，第二候选直线选取单元，用于在RGB图像上进行直线提取，在二维信息中确认出第二直线，第二直线为候选直线，RGB图像在采集清扫空间的三维信息的步骤中获取得到。
或者，第一候选直线选取单元，用于在二维信息中提取特征点并根据特征点在二维信息中拟合直线得到第一直线；
第二候选直线选取单元，用于在RGB图像上进行直线提取，在二维信息中确认出第二直线，RGB图像在采集清扫空间的三维信息的步骤中获取得到；
第三候选直线选取单元，用于将所有第一直线、第二直线比较，将重合的第一直线和第二直线确定为候选直线。
进一步地，确定平面选取子模块包括：
交点获取单元，用于在三维信息中，确定出有至少两条候选直线相交的交点；
预选平面获取单元，用于在三维信息中，通过穿过交点的每两条候选直线确定出一个预选平面；
实体平面获取单元，用于在预选平面中筛选出实体平面；
确定平面获取单元，用于判断实体平面是否为确定平面，确定平面为符合预设条件的实体平面。
进一步地，在一些实施例中，预选平面获取单元包括：
平面获取子单元，用于在三维信息中，判断通过穿过交点的每两条候选直线是否可以构成存在法线的平面；
预选平面判断子单元，用于若是，则两个候选直线确认出的平面为预选平面。
进一步地，在一些实施例中，实体平面获取单元包括：
特征点获取子单元，用于在三维图像中，对每一预选平面，搜索其平面范围内的特征点；
对比判断子单元，用于判断搜索到的特征点的数量是否达到预设值；
实体平面判断子单元，用于若是，则判定该预选平面为实体平面。
进一步地，在一些实施例中，认定角落选取子模块包括：
第一认定角落选取单元，用于在判定候选直线的交点位于确定平面时，判定交点为认定角落；
或者，第二认定角落选取单元，用于在判定候选直线的交点为2或3个确定平面的交点时，判定交点为认定角落。
进一步地，在一些实施例中，角落确定模块2包括：
估算子模块，用于通过特征点由RANSAC法估算备选平面，备选平面为实体平面，特征点包含于三维信息中；
确定平面判断子模块，用于判断备选平面是否为确定平面，确定平面为符合预设条件的预选平面；
交点判断子模块，用于判断是否存在2或3个确定平面的交点；
认定角落判定子模块，用于若是，则判定交点为认定角落。
第二实施例是对应第一实施例的装置实，第一实施例中的多个细节和说明同样适用于第二实施例，为避免重复，此处不再赘述。
参照图3，本申请实施例还提出一种存储介质100，其为计算机可读的存储介质，其上存储有计算机程序200，计算机程序200被执行时实现上述任一实施例中的角落识别和清扫方法。
参照图4，本申请实施例还提出一种智能设备300，包括存储器400、处理器500以及存储在存储器400上并可在处理器500上运行的计算机程序200，处理器500执行计算机程序200时实现上述任一实施例中的角落识别和清扫方法。
本领域技术人员可以理解，本申请实施例的智能设备300为上述所涉及用于执行本申请中方法中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序200或应用程序，这些计算机程序200选择性地激活或重构。这样的计算机程序200可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、 CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本发明角落识别和清扫方法、装置及存储介质，角落识别和清扫方法通过采集清扫空间的三维信息；根据三维信息选出确定平面，根据确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落，并对认定角落进行重点清洁，能够有效消除清洁死角，提高清洁效果。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种角落识别和清扫方法，其特征在于，包括如下步骤：
采集清扫空间的三维信息；
根据所述三维信息选出确定平面，根据所述确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落；
针对所述认定角落，进行角落清洁。
2.根据权利要求1所述的角落识别和清扫方法，其特征在于，所述根据所述三维信息选出确定平面，根据所述确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落的步骤包括：
在所述三维信息中的二维信息中确定多条候选直线，所述三维是指以移动机器人的前后、左右、上下作为维度轴的延伸方向建立的三维坐标，其中，以所述前后方向作为深度维度轴的方向，所述二维信息包括所述左右和上下方向上的位置信息；
根据相交的所述候选直线在所述三维信息中选出确定平面；
根据所述确定平面确定认定角落，所述认定角落为置信度高的角落。
3.根据权利要求2所述的角落识别和清扫方法，其特征在于，所述在所述三维信息中的二维信息中确定多条候选直线的步骤，包括：
在所述二维信息中提取特征点并根据所述特征点在所述二维信息中拟合直线得到第一直线，所述第一直线为所述候选直线；
或者，在RGB图像上进行直线提取，在所述二维信息中确认出第二直线，所述第二直线为所述候选直线，所述RGB图像在所述采集清扫空间的三维信息的步骤中获取得到；
或者，在所述二维信息中提取特征点并根据所述特征点在所述二维信息中拟合直线得到第一直线；
在RGB图像上进行直线提取，在所述二维信息中确认出第二直线，所述RGB图像在所述采集清扫空间的三维信息的步骤中获取得到；
将所有所述第一直线、所述第二直线比较，将重合的所述第一直线和第二直线确定为所述候选直线。
4.根据权利要求3所述的角落识别和清扫方法，其特征在于，所述根据相交的所述候选直线在所述三维信息中选出确定平面的步骤，包括：
在所述三维信息中，确定出有至少两条所述候选直线相交的交点；
在所述三维信息中，通过穿过所述交点的每两条所述候选直线确定出一个预选平面；
在所述预选平面中筛选出实体平面；
判断所述实体平面是否为确定平面，所述确定平面为符合预设条件的所述实体平面。
5.根据权利要求4所述的角落识别和清扫方法，其特征在于，所述在所述三维信息中，通过穿过所述交点的每两条所述候选直线确定出一个预选平面的步骤，包括：
在所述三维信息中，判断通过穿过所述交点的每两条所述候选直线是否可以构成存在法线的平面；
若是，则两个所述候选直线确认出的平面为预选平面。
6.根据权利要求4-5中任一项所述的角落识别和清扫方法，其特征在于，所述在所述预选平面中筛选出实体平面的步骤，包括：
在所述三维图像中，对每一所述预选平面，搜索其平面范围内的特征点；
判断搜索到的特征点的数量是否达到预设值；
若是，则判定该预选平面为实体平面。
7.根据权利要求2所述的角落识别和清扫方法，其特征在于，所述根据所述确定平面确定认定角落，所述认定角落为置信度高的角落的步骤，包括：
在判定所述候选直线的交点位于所述确定平面时，判定所述交点为所述认定角落；
或者，在判定所述候选直线的交点为2或3个所述确定平面的交点时，判定所述交点为所述认定角落。
8.根据权利要求1所述的角落识别和清扫方法，其特征在于，所述根据所述三维信息选出确定平面，根据所述确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落的步骤包括：
通过特征点由RANSAC法估算备选平面，所述备选平面为实体平面，所述特征点包含于所述三维信息中；
判断所述备选平面是否为确定平面，所述确定平面为符合预设条件的所述预选平面；
判断是否存在2或3个所述确定平面的交点；
若是，则判定所述交点为所述认定角落。
9.一种角落识别和清扫装置，其特征在于，包括：
摄像模块，用于采集清扫空间的三维信息；
角落确定模块，用于
根据所述三维信息选出确定平面，根据所述确定平面，按照预设规则，选出置信度较高的位置，确定为认定角落；
模式转换模块，用于针对所述认定角落，进行角落清洁。
10.一种存储介质，其特征在于，其为计算机可读的存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如权利要求1至8中任一项所述的角落识别和清扫方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010501094.6A CN111830966B (zh) | 2020-06-04 | 2020-06-04 | 角落识别和清扫方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010501094.6A CN111830966B (zh) | 2020-06-04 | 2020-06-04 | 角落识别和清扫方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111830966A true CN111830966A (zh) | 2020-10-27 |
| CN111830966B CN111830966B (zh) | 2023-12-19 |
Family
ID=72898360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010501094.6A Active CN111830966B (zh) | 2020-06-04 | 2020-06-04 | 角落识别和清扫方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111830966B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113261879A (zh) * | 2021-04-29 | 2021-08-17 | 深圳市无限动力发展有限公司 | 角落清洁方法、装置、计算机设备和存储介质 |
| CN114913223A (zh) * | 2021-02-09 | 2022-08-16 | 北京盈迪曼德科技有限公司 | 一种视觉扫地机正方向识别方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130287290A1 (en) * | 2012-04-30 | 2013-10-31 | The Boeing Company | Image registration of multimodal data using 3d geoarcs |
| CN106940560A (zh) * | 2010-07-01 | 2017-07-11 | 德国福维克控股公司 | 具有区域划分的测绘制图 |
| CN108961395A (zh) * | 2018-07-03 | 2018-12-07 | 上海亦我信息技术有限公司 | 一种基于拍照重建三维空间场景的方法 |
| US10293489B1 (en) * | 2017-12-15 | 2019-05-21 | Ankobot (Shanghai) Smart Technologies Co., Ltd. | Control method and system, and cleaning robot using the same |
| US20190178654A1 (en) * | 2016-08-04 | 2019-06-13 | Reification Inc. | Methods for simultaneous localization and mapping (slam) and related apparatus and systems |
| KR20190134970A (ko) * | 2018-05-04 | 2019-12-05 | 엘지전자 주식회사 | 복수의 이동 로봇 및 그 제어방법 |
| WO2020007594A1 (de) * | 2018-07-04 | 2020-01-09 | Thyssenkrupp Steel Europe Ag | Verzinktes kaltfeinblech mit homogenen werkstoffeigenschaften |
| US20200045668A1 (en) * | 2018-08-01 | 2020-02-06 | Nextnav, Llc | Systems and methods for determining an indoor or outdoor location of a mobile device |
| CN110824525A (zh) * | 2019-11-15 | 2020-02-21 | 中冶华天工程技术有限公司 | 机器人的自定位方法 |
| CN111127524A (zh) * | 2018-10-31 | 2020-05-08 | 华为技术有限公司 | 一种轨迹跟踪与三维重建方法、系统及装置 |
-
2020
- 2020-06-04 CN CN202010501094.6A patent/CN111830966B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106940560A (zh) * | 2010-07-01 | 2017-07-11 | 德国福维克控股公司 | 具有区域划分的测绘制图 |
| US20130287290A1 (en) * | 2012-04-30 | 2013-10-31 | The Boeing Company | Image registration of multimodal data using 3d geoarcs |
| US20190178654A1 (en) * | 2016-08-04 | 2019-06-13 | Reification Inc. | Methods for simultaneous localization and mapping (slam) and related apparatus and systems |
| US10293489B1 (en) * | 2017-12-15 | 2019-05-21 | Ankobot (Shanghai) Smart Technologies Co., Ltd. | Control method and system, and cleaning robot using the same |
| KR20190134970A (ko) * | 2018-05-04 | 2019-12-05 | 엘지전자 주식회사 | 복수의 이동 로봇 및 그 제어방법 |
| CN108961395A (zh) * | 2018-07-03 | 2018-12-07 | 上海亦我信息技术有限公司 | 一种基于拍照重建三维空间场景的方法 |
| WO2020007594A1 (de) * | 2018-07-04 | 2020-01-09 | Thyssenkrupp Steel Europe Ag | Verzinktes kaltfeinblech mit homogenen werkstoffeigenschaften |
| US20200045668A1 (en) * | 2018-08-01 | 2020-02-06 | Nextnav, Llc | Systems and methods for determining an indoor or outdoor location of a mobile device |
| CN111127524A (zh) * | 2018-10-31 | 2020-05-08 | 华为技术有限公司 | 一种轨迹跟踪与三维重建方法、系统及装置 |
| CN110824525A (zh) * | 2019-11-15 | 2020-02-21 | 中冶华天工程技术有限公司 | 机器人的自定位方法 |
Non-Patent Citations (3)
| Title |
|---|
| 房芳,马旭东,戴先中: "基于霍夫空间模型匹配的移动机器人定位方法" * |
| 李明磊等: "3D Hough Transform 在激光点云特征提取中的应用" * |
| 许国玉;曹虎辰;刘少刚;: "基于特征线段匹配的救援机器人建图方法" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913223A (zh) * | 2021-02-09 | 2022-08-16 | 北京盈迪曼德科技有限公司 | 一种视觉扫地机正方向识别方法及系统 |
| CN113261879A (zh) * | 2021-04-29 | 2021-08-17 | 深圳市无限动力发展有限公司 | 角落清洁方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111830966B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8867790B2 (en) | Object detection device, object detection method, and program | |
| CN105467394B (zh) | 停车空间探索装置及其探索方法 | |
| Saeedi et al. | Vision-based 3-D trajectory tracking for unknown environments | |
| Broggi et al. | Self-calibration of a stereo vision system for automotive applications | |
| CN109887033A (zh) | 定位方法及装置 | |
| Kuk et al. | Fast lane detection & tracking based on Hough transform with reduced memory requirement | |
| CN108303096B (zh) | 一种视觉辅助激光定位系统及方法 | |
| Nourani-Vatani et al. | A study of feature extraction algorithms for optical flow tracking | |
| CN111487641A (zh) | 一种利用激光雷达检测物体的方法、装置、电子设备及存储介质 | |
| CN111402160B (zh) | 一种点云数据去噪方法、装置、设备和存储介质 | |
| CN111830966A (zh) | 角落识别和清扫方法、装置及存储介质 | |
| CN111243003B (zh) | 车载双目摄像机及其检测道路限高杆的方法、装置 | |
| CN112180931A (zh) | 扫地机的清扫路径规划方法、装置及可读存储介质 | |
| CN111679664A (zh) | 基于深度相机的三维地图构建方法及扫地机器人 | |
| CN111726591B (zh) | 地图更新方法、装置、存储介质及电子设备 | |
| CN114365974B (zh) | 一种室内清洁分区方法、装置和扫地机器人 | |
| CN113768419B (zh) | 确定扫地机清扫方向的方法、装置及扫地机 | |
| CN101604380B (zh) | 人头识别直径搜索法 | |
| Saleem et al. | Effects of ground manifold modeling on the accuracy of stixel calculations | |
| CN114489058A (zh) | 扫地机器人及其路径规划方法、装置和存储介质 | |
| CN114740867A (zh) | 基于双目视觉的智能避障方法、装置、机器人及介质 | |
| Stock et al. | Subpixel corner detection for tracking applications using cmos camera technology | |
| CN110488320A (zh) | 一种利用立体视觉检测车辆距离的方法 | |
| CN210515810U (zh) | 一种基于三维激光视觉和高精度车道模型的计算机评判系统 | |
| Saglam et al. | Realtime corridor detection for mobile robot navigation with hough transform using a depth camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |