CN113662476A - 一种提高可移动清洁机器人清洁覆盖率的方法、以及系统 - Google Patents

一种提高可移动清洁机器人清洁覆盖率的方法、以及系统 Download PDF

Info

Publication number
CN113662476A
CN113662476A CN202010406030.8A CN202010406030A CN113662476A CN 113662476 A CN113662476 A CN 113662476A CN 202010406030 A CN202010406030 A CN 202010406030A CN 113662476 A CN113662476 A CN 113662476A
Authority
CN
China
Prior art keywords
cleaning robot
camera device
image
movable
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010406030.8A
Other languages
English (en)
Other versions
CN113662476B (zh
Inventor
朱建华
苏辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN202010406030.8A priority Critical patent/CN113662476B/zh
Publication of CN113662476A publication Critical patent/CN113662476A/zh
Application granted granted Critical
Publication of CN113662476B publication Critical patent/CN113662476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/28—Floor-scrubbing machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请公开了一种提高可移动清洁机器人清洁覆盖率的方法，该方法包括，在摄像装置侧，摄像装置捕获n帧图像，确定每帧图像中可移动清洁机器人的像素位置，记录为已清洁像素位置；其中，n为自然数；根据图像中已清洁像素位置，确定图像中未清洁区域，根据摄像装置位姿的标定信息，获取未清洁区域的空间位置信息，并发送给可移动清洁机器人，使得可移动清洁机器人进行补充清洁。本申请实现了清洁过程中无需人力干预而对可移动机器人的外界辅助，提高了清洁覆盖率，提高了系统的智能性。

Description

一种提高可移动清洁机器人清洁覆盖率的方法、以及系统
技术领域
本发明涉及可移动清洁机器人领域，特别地，涉及一种提高可移动清洁机器人清洁覆盖率的方法。
背景技术
可移动清洁机器人基于构建的地图完成清洁。
对于采用惯性导航的可移动清洁机器人，其利用可移动清洁机器人自身携带的里程计和安装在可移动机器人本体上的陀螺仪进行地图的构建，但是陀螺仪是机械设备，在可移动清洁机器人工作过程中，涉及到机身与桌腿等物体的碰撞，导致陀螺仪输出角度的漂移。此外，可移动清洁机器人的轮子在运动过程中，由于存在打滑的现象，从而造成里程计输出距离的漂移。
即使对于使用激光雷达或者视觉摄像头的可移动清洁机器人而言，受限于MCU的计算能力，建立的地图分辨率不能设置特别高，地图和实际的物理空间仍然存在一定的误差。由于建图以及定位误差的存在，实际中，可移动清洁机器人工作中仍然存在一定的漏扫区域。
发明内容
本发明提供了一种提高可移动清洁机器人清洁覆盖率的方法，以改善可移动清洁机器人清洁覆盖。
本发明提供的一种提高可移动清洁机器人清洁覆盖率的方法是这样实现的：在摄像装置侧，
摄像装置捕获n帧图像，确定每帧图像中可移动清洁机器人的像素位置，记录为已清洁像素位置；其中，n为自然数；
根据图像中已清洁像素位置，确定图像中未清洁区域，
根据摄像装置位姿的标定信息，获取未清洁区域的空间位置信息，并发送给可移动清洁机器人，使得可移动清洁机器人进行补充清洁。
较佳地，该方法进一步包括，
摄像装置接收可移动清洁机器人发送的所探测到的障碍物空间位置信息，
根据摄像装置位姿的标定信息，获取障碍物空间位置信息在图像中的像素位置，并在图像中进行标记；
所述根据已清洁像素位置，确定图像中未清洁区域，进一步包括，
接收到可移动清洁机器人发送的清洁结束的消息后，根据图像中是否有非障碍物围绕的未清洁区域，确定未清洁区域；
所述标定信息基于摄像装置所采集到可移动清洁机器人图像帧、以及与可移动清洁机器人交互所获得的图像帧中可移动清洁机器人的位置进行标定。
较佳地，所述基于摄像装置所采集到可移动清洁机器人图像帧、以及与可移动清洁机器人交互所获得的图像帧中可移动清洁机器人的位置进行标定，包括，
捕获可移动清洁机器人在不同位置的至少4帧图像帧，所述位置中至少有三个位置不共线，
与可移动清洁机器人交互获取图像帧中可移动清洁机器人位置信息，
根据所获取的位置信息以及图像帧中可移动清洁机器人中心的像素位置，求解单应矩阵；
根据单应矩阵确定标定信息。
较佳地，摄像装置检测到所采集的图像中包括可移动清洁机器人，向可移动清洁机器人请求该可移动清洁机器人的当前位置信息，在接收到可移动清洁机器人反馈的位置信息时，捕获当前图像帧；
跟踪可移动清洁机器人的运动，接收可移动清洁机器人移动的距离大于设定的阈值时所发送的当前位置信息，捕获当前图像帧，
反复执行所述跟踪可移动清洁机器人的运动，接收可移动清洁机器人移动的距离大于设定的阈值时所发送的当前位置信息，捕获当前图像帧的步骤，直至得到至少4帧图像帧和图像帧中可移动清洁机器人的位置；其中，当前位置信息由可移动清洁机器人根据地图确定；
所述根据所获取的位置信息以及图像帧中移动机器人中心的像素位置，求解单应矩阵，包括，
根据单应矩阵与位置坐标矩阵的乘积对应为像素坐标矩阵的关系，求解单应矩阵，其中，单应矩阵为3×3的矩阵；
所述根据单应矩阵确定标定信息包括，
将单应矩阵进行奇异分解，得到旋转矩阵和平移向量，所述旋转矩阵为摄像装置的姿态，所述平移向量为摄像装置的三维空间位置。
较佳地，所述根据摄像装置位姿的标定信息，获取未清洁区域的空间位置信息，包括，
根据相机内参矩阵乘以，标定信息中的旋转矩阵与未清洁区域空间位置信息的齐次坐标矩阵的乘积与标定信息中的平移矩阵之和，等于未清洁区域的像素位置坐标，求解得到未清洁区域空间位置信息；
所述未清洁区域的像素位置包括，未清洁区域的中心像素位置信息，和/或，未清洁区域边界上均匀分布的m个像素点，其中，m为自然数。
较佳地，所述摄像装置捕获n帧图像之前，进一步包括，
接收可移动清洁机器人发送的联动请求，触发目标检测以识别出图像中可移动清洁机器人，
其中，联动请求是由可移动清洁机器人根据当前空间位置所在视野范围FOV确定联动的摄像装置而向联动的摄像装置发送的；
所述视野范围由摄像装置根据其标定信息确定其FOV空间位置信息、并发送给可移动清洁机器人以保存。
本发明提供的一种提高可移动清洁机器人清洁覆盖率的方法，在可移动清洁机器人侧，
接收来自摄像装置的未清洁区域的空间位置信息，对未清洁区域进行补充清洁；
其中，未清洁区域的空间位置信息是由摄像装置通过n帧图像中可移动清洁机器人的像素位置确定已清洁区域而根据已清洁区域确定图像中的未清洁区域、并根据摄像装置位姿的标定信息而获取的；n为自然数。
较佳地，所述接收来自摄像装置的未清洁区域的空间位置信息，对未清洁区域进行清洁，包括，
根据当前未清洁区域的空间位置信息，生成清洁路径和任务，并执行该任务；
或者，
记录各个未清洁区域，对记录的各个未清洁区域结合地图规划清洁路径和任务，执行所述任务。
较佳地，该方法进一步包括，
可移动清洁机器人根据地图确定当前空间位置，根据当前空间位置所在的FOV空间位置确定所联动的摄像装置，并向联动的摄像装置发送联动请求以触发摄像装置进行目标检测识别所述可移动清洁机器人；
所述接收来自摄像装置的未清洁区域的空间位置信息之前进一步包括，
可移动机器人的既有清洁任务结束时向摄像装置发送清洁任务结束的通知，以使得摄像装置确定未清洁区域，
或者，
在联动的摄像装置FOV范围内的清洁路径已完成时，向摄像装置发送清洁任务结束的通知，以使得摄像装置确定未清洁区域。
本发明提供的一种智能家居系统，至少包括摄像装置和可移动清洁机器人，
所述摄像装置包括第一存储器和第一处理器，所述第一存储器存储有可被执行的指令，所述指令被第一处理器执行，以使所述第一处理器执行上述摄像装置侧进行的所述提高可移动清洁机器人清洁覆盖率方法的步骤；
所述可移动机器人包括第二存储器和第二处理器，所述第二存储器存储有可被执行的指令，所述指令被第二处理器执行，以使所述第二处理器执行上述可移动机器人侧进行的所述提高可移动清洁机器人清洁覆盖率方法的步骤。
本发明提供的一种摄像装置，所述摄像装置包括存储器和处理器，所述存储器存储有可被执行的指令，所述指令被处理器执行，以使所述处理器执行上述摄像装置侧进行的所述提高可移动清洁机器人清洁覆盖率方法的步骤。
本发明提供的一种可移动清洁机器人，所述可移动机器人包括存储器和处理器，所述存储器存储有可被执行的指令，所述指令被处理器执行，以使得所述处理器执行上述可移动机器人侧进行的所述提高可移动清洁机器人清洁覆盖率方法的步骤。
本发明通过摄像装置与可移动清洁机器人的联动，将通过摄像装置所发现的未清洁区域的空间位置发送给可移动清洁机器人，使得可移动清洁机器人进行补充清洁，实现了清洁过程中无需人力干预而对可移动机器人的外界辅助，有效解决了由于建图误差而导致的清洁不彻底的问题，提高了清洁覆盖率，提高了系统的智能性。
附图说明
图1为对摄像装置的安装位姿进行标定的一种流程示意图。
图2为获取至少4个坐标位置的一种示意图。
图3为摄像装置与其视野范围内的扫地机器人联动以提高清洁覆盖率的一种流程示意图。
图4为摄像装置采集图像中所标记的一种示意图。
图5为本申请多个摄像装置与扫地机器人联动进行补扫的一种流程示意图。
图6为本发明智能家居系统的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
本发明基于摄像装置和可移动清洁机器人联动，通过摄像装置来捕捉其视野范围FOV中的可移动清洁机器人，来辅助可移动清洁机器人调整摄像装置视野范围内的清洁路径，从而改善清洁的覆盖率。其中，摄像装置和可移动清洁机器人联动可以通过局域网/互联网/蓝牙等方式进行通信，通过一定的协议交互信息。
以下将以扫地机器人为例为进行说明，所应理解的是，本发明不限于此，对于其他可清洁移动机器人也同样适用。
为了使得摄像装置视野范围内的物理空间位置信息映射至摄像装置的图像像素位置信息，需要对摄像装置的安装位姿进行标定，即，获取摄像装置中相机的外参。
参见图1所示，图1为对摄像装置的安装位姿进行标定的一种流程示意图。标定的过程可这样进行：
步骤100，摄像装置启动后，判断其本体是否存储有其安装位姿的标定信息，如果有，则进入正常的图像监控状态，否则，执行步骤101，
步骤101，摄像装置检测当前图像中的目标，当检测到图像中有扫地机器人时，采集至少4帧以上扫地机器人图像的图像帧；
在该步骤中，摄像装置与扫地机器人的交互过程可以如下：
摄像装置将扫地机器人作为目标检测，当检测到图像中包括扫地机器人时，向扫地机器人请求其当前空间位置信息，在收到扫地机器人反馈的位置信息时，捕获当前图像帧；
跟踪扫地机器人的运动，当扫地机器人的平移距离大于设定的阈值时，向摄像装置发送根据地图定位的当前空间位置信息，摄像装置接收到当前空间位置信息后，采集当前第二图像帧；其中，设定的阈值用以避免所采集的位置过近而影响标定信息的准确性。
反复执行，直至采集有4帧图像帧和该帧中扫地机器人的位置信息，且三个位置不共线，分别记为：(x1，y1，0)，(x2，y2，0)，(x3，y3，0)，(x4，y4，0)；摄像装置向扫地机器人指令暂停当前空间位置信息的上报，或者停止接收扫地机器人上报的空间位置信息以及图像采集。
参见图2所示，图2为获取至少4个坐标位置的一种示意图。安装于某一位置的摄像头捕获其视野范围内的扫地机器人图像以及接收扫地机器人根据地图定位的位置信息。
步骤102，根据扫地机器人在世界坐标系下的位置信息来对摄像装置的位姿进行标定，该位姿包括空间位置和姿态(朝向)，将标定的结果保存于摄像装置本体中。
在现有的监控系统中，由于摄像装置的位姿未被标定，因此无法直接与所监控的目标区域的地图产生关联，也就是说，对于摄像装置本体而言，其无法基于地图而选择目标区域来进行监控。
鉴于摄像装置能够捕获到扫地机器人与摄像装置之间的相对于运动信息的图像，通过捕获扫地机器人的不同位置信息，基于物理空间位置与图像成像位置的对应关系，可获得摄像装置的标定位姿，即摄像装置安装的空间位置和姿态。
由于扫地机器人是在平面中运动，(x1，y1，0)，(x2，y2，0)，(x3，y3，0)，以及(x4，y4)，0)空间位置坐标在同一平面z＝0中，那么摄像装置的安装位置可以通过求解一个单应矩阵来获取。
将捕获的每一图像帧去畸变，确定图像帧中扫地机器人中心的像素位置，记为(u1，v1))，(u2，v2)(u3，v3)(u4，v4)，那么，单应矩阵与空间位置坐标矩阵的乘积对应为像素坐标矩阵，用数学式表达为：
Figure BDA0002491304910000061
其中单应矩阵的自由度为8，通过4个空间位置和像素位置的对应关系，可以求出单应矩阵中每一个元素的值。对单应矩阵进行奇异分解，可以求得相应的旋转矩阵R和平移向量T，即摄像装置中摄像头(相机)的朝向和在三维空间中的安装位置，也就是相机的外参。
所应理解的是，上述标定摄像机位姿的过程也可以嵌入在提高清洁覆盖率的方法中进行，例如，需要重新标定时可以利用扫地机器人清洁过程中实时地标定。
实施例一
参见图3所示，图3为摄像装置与其视野范围内的扫地机器人联动以提高清洁覆盖率的一种流程示意图。
步骤301，摄像装置根据捕获的扫地机器人的多帧图像，记录扫地机器人的清扫路径；
在该步骤中，摄像装置捕获当前图像，通过目标检测识别出扫地机器人，并确定图像中扫地机器人中心的当前像素位置(us，vs)，将扫地机器人所占的像素位置标记为以清洁；
反复执行步骤301，以获得多帧图像，并确定每帧图像中扫地机器人的空间位置，依次将基于各帧所确定的扫地机器人像素位置连接起来，可以得到图像中扫地机器人的清扫路径轨迹。
步骤302，扫地机器人将探测到的障碍物的空间位置信息发送给摄像装置，以使得摄像转置在图像中标记出障碍物的像素位置。
当扫地机器人探测到障碍物的时候，扫地机器人根据地图确定障碍物的空间位置(xz，yz，0)，并将障碍物的空间位置信息发送给摄像装置，摄像装置通过相机内参、外参按照式1计算出该空间位置在图像中的像素位置，对图像中的障碍物进行标记。
其中，根据相机外参、内参求取障碍物当前的像素位置信息，具体计算式为：
Figure BDA0002491304910000071
其中
Figure BDA0002491304910000072
为相机的内参矩阵，
Figure BDA0002491304910000073
为障碍物的三维空间的齐次坐标。
参见图4所示，图4为摄像装置采集图像中所标记的一种示意图。图中矩形框标记的是障碍物，连续的曲线为扫地机器人在图像中的轨迹。
上述步骤301与302可以无先后次序，可以并行执行，这样，便将扫地机器人的清洁区域和障碍物填充在图像平面中。
步骤303，当扫地机器人清洁结束时，通知摄像装置；摄像装置判断图像中是否有非障碍物围绕的未清扫区域来决定是否存在未清扫区域；如果是，则执行步骤304，否则，结束。
以图4为例，虚线矩形框区域为未清洁区域，即，扫地机器人由于定位误差实际没有打扫的区域。
步骤304，将图像中未清洁区域中心的像素位置(uc，vc)映射到空间位置，即按照式1计算空间坐标，将空间位置信息发送给扫地机器人。
步骤305，扫地机器人导航至所接收到的空间位置，建立补扫任务，进行补扫。
本实施例以单个摄像装置与扫地机器人联动为例来实现摄像装置辅助扫地机器人进行补扫，弥补了扫地机器人由于定位误差导致的清洁遗漏，提高了清洁的覆盖率。
实施例二
参见图5所示，图5为本申请多个摄像装置与扫地机器人联动进行补扫的一种流程示意图。在该实施例中，各个摄像装置的标定信息已通过标定流程获得，并分别存储于摄像装置本体中，各个摄像装置的FOV范围基于标定信息按照式1转化为空间位置下的FOV信息，通过网络通知给扫地机器人；扫地机器人保存各个摄像装置的FOV空间位置信息，进一步地，可映射至地图中。
步骤501，扫地机器人根据地图定位当前空间位置，并根据FOV空间位置信息判断当前所属摄像装置的视野，即，扫地机器人确定当前位于哪个或哪些摄像装置的视野，以确定当前联动的摄像装置；
步骤502，扫地机器人向当前联动的摄像装置发起联动请求，摄像装置接收到联动请求后，触发目标检测以识别当前扫地机器人图像，
步骤503，根据图像中扫地机器人的像素位置，标记扫地机器人所占的像素位置为以清洁；反复执行该步骤，以获得多帧图像，并确定每帧图像中扫地机器人的像素位置，依次将基于各帧所确定的扫地机器人像素位置连接起来，可以得到图像中扫地机器人的清扫路径轨迹。
当扫地机器人检测到障碍物时，根据地图确定障碍物当前的空间位置，并发送给联动的摄像装置，摄像装置通过相机内参、外参按照式1计算出该空间位置在图像中的像素位置，对图像中的障碍物进行标记。
步骤504，扫地机器人判断联动的摄像装置FOV范围内的清洁路径是否已经完成，如果已完成，则通知联动的摄像装置；联动的摄像装置判断图像中是否有非障碍物围绕的未清扫区域来决定是否存在未清扫区域；如果是，则执行步骤505，否则，则返回执行步骤503；
步骤505，将未清洁区域边界上m个像素位置，分别按照式1映射到空间位置，将映射的空间位置发送给扫地机器人；m为自然数；
较佳地，m个像素位置均匀分布于未清洁区域边界。
步骤506，扫地机器人根据m个空间位置确定未清洁区域，生成该未清洁区域的清洁路径和任务，并进行清洁，这种方式能够使得未清结区域被及时清洁。
作为另一实施方式，步骤506还可以是，扫地机器人根据m个空间位置确定未清洁区域，记录当前未清洁区域；待规划的所有清洁任务完成后，对记录的各个未清洁区域结合地图规划清洁路径，并执行清洁。这种方式从整体上来对未清洁区域进行补扫，可以合并部分未清洁区域，有利于提高清洁的效率。
本实施例通过扫地机器人所在的视野范围选择当前联动的摄像装置，提高了摄像装置和扫地机器人的交互效率；摄像装置在接收到联动通知后进行目标检测，避免了监控的漏检；基于联动摄像装置视野范围确定未清洁区域，有利于避免未清洁区域的遗漏，提高了清洁的覆盖率；在实际应用中，可根据需要灵活部署各个摄像装置，为扫地机器人提供智能辅助。
参见图6所示，图6为本发明智能家居系统的一种示意图。在智能家居中，至少包括摄像装置和可移动清洁机器人，
所述摄像装置包括第一存储器和第一处理器，所述第一存储器存储有可被执行的指令，所述指令被第一处理器执行，以使所述第一处理器执行如实施例一或实施例二中的步骤；
所述可移动机器人包括第二存储器和第二处理器，所述第二存储器存储有可被执行的指令，所述指令被第二处理器执行，以使所述第二处理器执行如如实施例一或实施例二中的步骤。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例一、实施例二的步骤。
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种提高可移动清洁机器人清洁覆盖率的方法，其特征在于，该方法包括，在摄像装置侧，
摄像装置捕获n帧图像，确定每帧图像中可移动清洁机器人的像素位置，记录为已清洁像素位置；其中，n为自然数；
根据图像中已清洁像素位置，确定图像中未清洁区域，
根据摄像装置位姿的标定信息，获取未清洁区域的空间位置信息，并发送给可移动清洁机器人，使得可移动清洁机器人进行补充清洁。
2.如权利要求1所述的方法，其特征在于，该方法进一步包括，
摄像装置接收可移动清洁机器人发送的所探测到的障碍物空间位置信息，
根据摄像装置位姿的标定信息，获取障碍物空间位置信息在图像中的像素位置，并在图像中进行标记；
所述根据已清洁像素位置，确定图像中未清洁区域，进一步包括，
接收到可移动清洁机器人发送的清洁结束的消息后，根据图像中是否有非障碍物围绕的未清洁区域，确定未清洁区域；
所述标定信息基于摄像装置所采集到可移动清洁机器人图像帧、以及与可移动清洁机器人交互所获得的图像帧中可移动清洁机器人的位置进行标定。
3.如权利要求2所述的方法，其特征在于，所述基于摄像装置所采集到可移动清洁机器人图像帧、以及与可移动清洁机器人交互所获得的图像帧中可移动清洁机器人的位置进行标定，包括，
捕获可移动清洁机器人在不同位置的至少4帧图像帧，所述位置中至少有三个位置不共线，
与可移动清洁机器人交互获取图像帧中可移动清洁机器人位置信息，
根据所获取的位置信息以及图像帧中可移动清洁机器人中心的像素位置，求解单应矩阵；
根据单应矩阵确定标定信息。
4.如权利要求3所述的方法，其特征在于，摄像装置检测到所采集的图像中包括可移动清洁机器人，向可移动清洁机器人请求该可移动清洁机器人的当前位置信息，在接收到可移动清洁机器人反馈的位置信息时，捕获当前图像帧；
跟踪可移动清洁机器人的运动，接收可移动清洁机器人移动的距离大于设定的阈值时所发送的当前位置信息，捕获当前图像帧，
反复执行所述跟踪可移动清洁机器人的运动，接收可移动清洁机器人移动的距离大于设定的阈值时所发送的当前位置信息，捕获当前图像帧的步骤，直至得到至少4帧图像帧和图像帧中可移动清洁机器人的位置；其中，当前位置信息由可移动清洁机器人根据地图确定；
所述根据所获取的位置信息以及图像帧中移动机器人中心的像素位置，求解单应矩阵，包括，
根据单应矩阵与位置坐标矩阵的乘积对应为像素坐标矩阵的关系，求解单应矩阵，其中，单应矩阵为3×3的矩阵；
所述根据单应矩阵确定标定信息包括，
将单应矩阵进行奇异分解，得到旋转矩阵和平移向量，所述旋转矩阵为摄像装置的姿态，所述平移向量为摄像装置的三维空间位置。
5.如权利要求4所述的方法，其特征在于，所述根据摄像装置位姿的标定信息，获取未清洁区域的空间位置信息，包括，
根据相机内参矩阵乘以，标定信息中的旋转矩阵与未清洁区域空间位置信息的齐次坐标矩阵的乘积与标定信息中的平移矩阵之和，等于未清洁区域的像素位置坐标，求解得到未清洁区域空间位置信息；
所述未清洁区域的像素位置包括，未清洁区域的中心像素位置信息，和/或，未清洁区域边界上均匀分布的m个像素点，其中，m为自然数。
6.如权利要求1所述的方法，其特征在于，所述摄像装置捕获n帧图像之前，进一步包括，
接收可移动清洁机器人发送的联动请求，触发目标检测以识别出图像中可移动清洁机器人，
其中，联动请求是由可移动清洁机器人根据当前空间位置所在视野范围FOV确定联动的摄像装置而向联动的摄像装置发送的；
所述视野范围由摄像装置根据其标定信息确定其FOV空间位置信息、并发送给可移动清洁机器人以保存。
7.一种提高可移动清洁机器人清洁覆盖率的方法，其特征在于，该方法包括，在可移动清洁机器人侧，
接收来自摄像装置的未清洁区域的空间位置信息，对未清洁区域进行补充清洁；
其中，未清洁区域的空间位置信息是由摄像装置通过n帧图像中可移动清洁机器人的像素位置确定已清洁区域而根据已清洁区域确定图像中的未清洁区域、并根据摄像装置位姿的标定信息而获取的；n为自然数。
8.如权利要求7所述的方法，其特征在于，所述接收来自摄像装置的未清洁区域的空间位置信息，对未清洁区域进行清洁，包括，
根据当前未清洁区域的空间位置信息，生成清洁路径和任务，并执行该任务；
或者，
记录各个未清洁区域，对记录的各个未清洁区域结合地图规划清洁路径和任务，执行所述任务。
9.如权利要求7所述的方法，其特征在于，该方法进一步包括，
可移动清洁机器人根据地图确定当前空间位置，根据当前空间位置所在的FOV空间位置确定所联动的摄像装置，并向联动的摄像装置发送联动请求以触发摄像装置进行目标检测识别所述可移动清洁机器人；
所述接收来自摄像装置的未清洁区域的空间位置信息之前进一步包括，
可移动机器人的既有清洁任务结束时向摄像装置发送清洁任务结束的通知，以使得摄像装置确定未清洁区域，
或者，
在联动的摄像装置FOV范围内的清洁路径已完成时，向摄像装置发送清洁任务结束的通知，以使得摄像装置确定未清洁区域。
10.一种智能家居系统，其特征在于，至少包括摄像装置和可移动清洁机器人，
所述摄像装置包括第一存储器和第一处理器，所述第一存储器存储有可被执行的指令，所述指令被第一处理器执行，以使所述第一处理器执行如权利要求1至6任一所述提高可移动清洁机器人清洁覆盖率方法的步骤；
所述可移动机器人包括第二存储器和第二处理器，所述第二存储器存储有可被执行的指令，所述指令被第二处理器执行，以使所述第二处理器执行如权利要求7至9任一所述提高可移动清洁机器人清洁覆盖率方法的步骤。
11.一种摄像装置，其特征在于，所述摄像装置包括存储器和处理器，所述存储器存储有可被执行的指令，所述指令被处理器执行，以使所述处理器执行如权利要求1至6任一所述提高可移动清洁机器人清洁覆盖率方法的步骤。
12.一种可移动清洁机器人，其特征在于，所述可移动机器人包括存储器和处理器，所述存储器存储有可被执行的指令，所述指令被处理器执行，以使得所述处理器执行如权利要求7至9任一所述提高可移动清洁机器人清洁覆盖率方法的步骤。
CN202010406030.8A 2020-05-14 2020-05-14 一种提高可移动清洁机器人清洁覆盖率的方法、以及系统 Active CN113662476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010406030.8A CN113662476B (zh) 2020-05-14 2020-05-14 一种提高可移动清洁机器人清洁覆盖率的方法、以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010406030.8A CN113662476B (zh) 2020-05-14 2020-05-14 一种提高可移动清洁机器人清洁覆盖率的方法、以及系统

Publications (2)

Publication Number Publication Date
CN113662476A true CN113662476A (zh) 2021-11-19
CN113662476B CN113662476B (zh) 2023-04-04

Family

ID=78537127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010406030.8A Active CN113662476B (zh) 2020-05-14 2020-05-14 一种提高可移动清洁机器人清洁覆盖率的方法、以及系统

Country Status (1)

Country Link
CN (1) CN113662476B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207610A1 (zh) * 2022-04-25 2023-11-02 追觅创新科技(苏州)有限公司 建图方法、装置、存储介质及电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102138769A (zh) * 2010-01-28 2011-08-03 深圳先进技术研究院 清洁机器人及其清扫方法
US10293489B1 (en) * 2017-12-15 2019-05-21 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and cleaning robot using the same
CN110091326A (zh) * 2018-01-31 2019-08-06 松下知识产权经营株式会社 移动机器人以及移动机器人的控制方法
CN110338715A (zh) * 2019-07-11 2019-10-18 珠海市一微半导体有限公司 智能机器人清洁地面的方法和芯片以及清洁机器人
CN110561416A (zh) * 2019-08-01 2019-12-13 深圳市银星智能科技股份有限公司 一种激光雷达重定位方法及机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102138769A (zh) * 2010-01-28 2011-08-03 深圳先进技术研究院 清洁机器人及其清扫方法
US10293489B1 (en) * 2017-12-15 2019-05-21 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and cleaning robot using the same
CN110091326A (zh) * 2018-01-31 2019-08-06 松下知识产权经营株式会社 移动机器人以及移动机器人的控制方法
CN110338715A (zh) * 2019-07-11 2019-10-18 珠海市一微半导体有限公司 智能机器人清洁地面的方法和芯片以及清洁机器人
CN110561416A (zh) * 2019-08-01 2019-12-13 深圳市银星智能科技股份有限公司 一种激光雷达重定位方法及机器人

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207610A1 (zh) * 2022-04-25 2023-11-02 追觅创新科技(苏州)有限公司 建图方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN113662476B (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
US10109104B2 (en) Generation of 3D models of an environment
JP6445995B2 (ja) センサデータの空間的集約を用いる適応マッピング
TWI408486B (zh) 具動態校正的攝影機及其動態校正方法
CN108403146B (zh) 基于多传感器信息融合的三维超声成像方法及装置
May et al. Robust 3D-mapping with time-of-flight cameras
US10375376B2 (en) Pose estimation apparatus and vacuum cleaner system
EP3690587B1 (en) Map creation method of mobile robot and mobile robot
CN110989631A (zh) 自移动机器人控制方法、装置、自移动机器人和存储介质
JP2008506953A5 (zh)
Castaneda et al. SLAM combining ToF and high-resolution cameras
JPWO2005124687A1 (ja) 光学式モーションキャプチャシステムにおけるマーカトラッキング方法、光学式モーションキャプチャ方法及びシステム
WO2019019819A1 (zh) 一种用于处理任务区域的任务的移动电子设备以及方法
US11915411B2 (en) Structure management device, structure management method, and structure management program
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN113662476B (zh) 一种提高可移动清洁机器人清洁覆盖率的方法、以及系统
US20200159229A1 (en) System and method for creating a single perspective synthesized image
CN113520246B (zh) 移动机器人补偿清洁方法及系统
CN114209433B (zh) 一种手术机器人导航定位装置
US20220084218A1 (en) System and method for monitoring movements
CN115147495A (zh) 一种针对车载系统的标定方法、装置以及系统
JP7451165B2 (ja) 走行位置検証システム、走行位置計測システム及び走行位置補正システム
CN115023588A (zh) 用于估计系统状态的方法和装置
Ait-Aider et al. Simultaneous pose and velocity measurement by vision for high-speed robots
CN115700507B (zh) 地图更新方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant