CN111738149A - 基于计算机视觉的扫地机器人覆盖率确定方法及系统 - Google Patents
基于计算机视觉的扫地机器人覆盖率确定方法及系统 Download PDFInfo
- Publication number
- CN111738149A CN111738149A CN202010574016.9A CN202010574016A CN111738149A CN 111738149 A CN111738149 A CN 111738149A CN 202010574016 A CN202010574016 A CN 202010574016A CN 111738149 A CN111738149 A CN 111738149A
- Authority
- CN
- China
- Prior art keywords
- sweeping robot
- image
- frame
- sweeping
- actual physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000010408 sweeping Methods 0.000 title claims abstract description 168
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012937 correction Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 18
- 238000003062 neural network model Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本公开公开了基于计算机视觉的扫地机器人覆盖率确定方法及系统，包括：获取扫地机器人运动视频中每一帧图像，对每一帧图像进行校准，得到实际物理图像；对实际物理图像的所有像素点的坐标进行位置修正；计算位置修正后的每一帧图像中扫地机器人的朝向和扫地机器人的中心位置；根据任意相邻两帧实际物理图像中，每一帧图像中扫地机器人的朝向和扫地机器人的中心位置，确定扫地机器人的覆盖率。
Description
技术领域
本公开涉及扫地机器人技术领域，特别是涉及基于计算机视觉的扫地机器人覆盖率确定方法及系统。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
扫地机器人的清扫覆盖率是评价扫地机器人性能的一个重要指标，相同时间内覆盖率越大、重复覆盖的区域越小表明性能越好。目前广泛采用的是利用摄像机拍摄扫地机器人的运行视频，然后根据摄像机高度、扫地机器人高度、地刷宽度等参数信息计算覆盖率。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
(1)采用广角摄像头进行拍摄及计算。这种方式中，广角摄像头拍摄的图像转换为比例缩放的正常图像需要经过非线性变换，计算量大，对计算机性能要求高，甚至需要集群计算，成本高而且校准过程复杂，往往需要多轮校准才能正常工作，覆盖率计算的误差也较大。本公开的方法中采用了平角摄像头，计算量小，成本小，校准过程简单易用，覆盖率计算的误差也较小。
(2)采用平角摄像头和滤光片进行拍摄及计算。这种方式中，在扫地机器人上附加红外光源，摄像头前增加红外滤光片，过滤可见光和紫外光波段，只通过红外光波段，将图像识别问题转换为亮度识别。这种方式只能识别扫地机器人的位置，无法或者很难扩展到可以同时识别扫地机器人的朝向，因此当扫地机器人原地转圈或者边走边转时，覆盖率误差大。另外，扫地机器人本身可能带有红外光源，从而对扫地机器人的位置识别产生干扰。
发明内容
针对目前扫地机器人覆盖率计算系统中存在的计算复杂、成本高、无法同时识别位置和朝向等问题，本公开提供了基于计算机视觉的扫地机器人覆盖率确定方法及系统；本公开的方法基于图像，不需要滤光片，可以同时识别扫地机器人的位置和朝向，覆盖率计算更加准确，可以同时识别扫地机器人的位置和朝向，而且降低了计算复杂度和成本，提高了系统的易用性。
第一方面，本公开提供了基于计算机视觉的扫地机器人覆盖率确定方法；
基于计算机视觉的扫地机器人覆盖率确定方法，包括：
获取扫地机器人运动视频中每一帧图像，对每一帧图像进行校准，得到实际物理图像；
对实际物理图像的所有像素点的坐标进行位置修正；
计算位置修正后的每一帧图像中扫地机器人的朝向和扫地机器人的中心位置；
根据任意相邻两帧实际物理图像中，每一帧图像中扫地机器人的朝向和扫地机器人的中心位置，确定扫地机器人的覆盖率。
第二方面，本公开提供了基于计算机视觉的扫地机器人覆盖率确定系统；
基于计算机视觉的扫地机器人覆盖率确定系统，包括：
获取模块，其被配置为：获取扫地机器人运动视频中每一帧图像，对每一帧图像进行校准，得到实际物理图像；
修正模块，其被配置为：对实际物理图像的所有像素点的坐标进行位置修正；
计算模块，其被配置为：计算位置修正后的每一帧图像中扫地机器人的朝向和扫地机器人的中心位置；
覆盖率确定模块，其被配置为：根据任意相邻两帧实际物理图像中，每一帧图像中扫地机器人的朝向和扫地机器人的中心位置，确定扫地机器人的覆盖率。
第三方面，本公开还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
第五方面，本公开还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。
与现有技术相比，本公开的有益效果是：
1.本公开提出的方法可以同时获得扫地机器人的位置和朝向信息，因此可以计算出更准确的覆盖率。
2.本公开用标准图形进行扫地机器人的识别，并且针对这种特定场景，简化了深度学习网络中距离的定义，可以提高训练速度和预测精度，降低系统硬件配置要求和成本。
3.本公开提出的方法设置简单，校准方便，易用性强。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为第一个实施例的方法流程图；
图2(a)和图2(b)为第一个实施例的标准图形和夹角示意图；
图3为第一个实施例的距离的定义示意图；
图4为第一个实施例的VGGNet神经网络模型训练示意图；
图5(a)和图5(b)为第一个实施例的覆盖率计算结果示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了基于计算机视觉的扫地机器人覆盖率确定方法；
如图1所示，基于计算机视觉的扫地机器人覆盖率确定方法，包括：
S101：获取扫地机器人运动视频中每一帧图像，对每一帧图像进行校准，得到实际物理图像；
S102：对实际物理图像的所有像素点的坐标进行位置修正；
S103：计算位置修正后的每一帧图像中扫地机器人的朝向和扫地机器人的中心位置；
S104：根据任意相邻两帧实际物理图像中，每一帧图像中扫地机器人的朝向和扫地机器人的中心位置，确定扫地机器人的覆盖率。
作为一个或多个实施例，所述获取扫地机器人运动视频中每一帧图像，是通过平角摄像头进行获取。
示例性的，所述平角摄像头安装在房间内，用于对机器人运动视频进行拍摄。所述平角摄像头为一个或多个，当平角摄像头为多个时，根据摄像头拍摄重叠区域最小进行布局，从而使安装的平角摄像头数目最少。
作为一个或多个实施例，所述对每一帧图像进行校准，得到实际物理图像；是通过四点法进行校准。
进一步地，所述通过四点法进行校准；具体步骤包括：
S1011：在房间地面中选取四个点作为基准点，获取四个基准点的实际物理坐标和四个基准点在摄像头所拍摄图像中的像素坐标；
S1012：基于四个基准点的实际物理坐标和四个基准点在摄像头所拍摄图像中的像素坐标，利用透视变换公式，得到透视变换矩阵；
S1013：基于透视变换矩阵和摄像头采集图像中任意像素点的坐标，计算出图像中每个像素点的物理坐标。
示例性的，所述通过四点法进行校准；具体步骤包括：
采用平角摄像头进行图像拍摄，用四点法进行校准，在房间地面中选取四个点作为基准点，设其物理坐标为(xi,yi),四个基准点在摄像头拍摄的图像中的像素坐标为(ui，vi)，i＝0,1,2,3。
利用透视变换公式求出透视变换矩阵M：
其中，
基于透视变换矩阵和摄像头采集图像中任意像素点的坐标，计算出图像中每个像素点的物理坐标。
应理解的，所述获取扫地机器人运动视频中每一帧图像，对每一帧图像进行校准，得到实际物理图像，其目的是将透视变换后的图像还原为固定比例缩放的实际物理图像。
作为一个或多个实施例，所述对实际物理图像的所有像素点的坐标进行位置修正；具体步骤包括：
根据摄像头的高度、扫地机器人的高度、摄像头的物理坐标和图像中每个像素点的物理坐标之间的几何关系，计算出图像中每个像素点的修正后的物理坐标。
示例性的，所述对实际物理图像的所有像素点的坐标进行位置修正；具体步骤包括：
求出透视变换矩阵M后，对摄像头采集的图像中的任意像素坐标，都可以求出其物理坐标。但是由于校准点与扫地机器人不在同一水平面，因此需要对物理坐标进行修正。摄像头的高度记为H，扫地机器人的高度为h，摄像头的物理坐标为(xc,yc)，摄像头图像经过透视变换后得到的任一坐标记为(x,y)，其对应的真实物理坐标为(x’,y’)，根据几何关系，可以得到方程：
从而有
将摄像头图像中的所有像素坐标转换为真实物理坐标后，得到按固定比例缩放的房间地面图片。
应理解的，所述对实际物理图像的所有像素点的坐标进行位置修正，目的是消除扫地机器人自身高度引起的位置信息误差。
作为一个或多个实施例，所述计算位置修正后的每一帧图像中扫地机器人的朝向和扫地机器人的中心位置；具体步骤包括：
将待确定扫地机器人朝向的图像，输入到预训练好的神经网络模型中，输出扫地机器人的朝向和扫地机器人的中心位置。
应理解的，所述计算位置修正后的每一帧图像中扫地机器人的朝向和扫地机器人的中心位置；用训练好的VGGNet判断扫地机器人的位置和朝向，其目的是得到每一帧图像中的扫地机器人的位置和朝向信息。
进一步地，所述预训练好的神经网络模型的训练步骤包括：
S301：构建数据集，所述数据集包括：训练集和测试集；所述数据集均为已知扫地机器人方向和扫地机器人中心位置的图像；
S302：构建神经网络模型；
S303：用训练集对神经网络模型进行参数训练，利用测试集的数据验证网络的预测准确率；
S304：判断预测准确率是否达到要求，如果是，就输出训练好的神经网络模型；如果否，就返回S303。
示例性的，所述神经网络模型，包括但不限于：VGGNet(Visual Geometry GroupNet)深度学习网络。
示例性的，所述数据集的获取步骤包括：
将与扫地机器人横截面相同形状的硬纸板固定在扫地机器人的正上方，所述硬纸板上中心位置画有一个箭头，箭头的方向指向扫地机器人前进时所针对的方向；在扫地机器人运行过程中，通过摄像头采集扫地机器人的图像，并确定当前帧扫地机器人的中心位置，和当前帧箭头指向方向与上一帧箭头指向方向的夹角；将已知扫地机器人中心位置和已知夹角的当前帧图像作为数据集；将数据集按照设定比例划分为训练集和测试集。
本方法将图2(a)作为标准图形，制作成硬纸板，将其固定在扫地机器人上方，图形的中心与扫地机器人的中心重合，箭头的方向指向扫地机器人直线运行时所对方向。在扫地机器人运行过程中，需要识别图形并确定中心位置以及箭头指向方向与垂直向上方向的夹角，如图2(b)所示。
本方法采用深度学习方法对箭头图形进行识别，基本的网络结构为VGGNet，包括训练和推理两个过程。训练过程通过在图像样本中手动标注箭头的位置及夹角，对网络参数进行训练，位置信息用正切标准图形的矩形表示。
训练过程中，首先定义两个矩形框的距离：
其中A和B表示正切标准图形的不同矩形，如图3所示，
表示除了角度为θB外其它参数均与A相同的矩形。在本公开提出的方法中，标准图形的大小是固定的，因此
和B对应的是同一个矩形区域。因此，距离函数可以简化为
ArIoU(A,B)＝cos(θA-θB)
设B为手动标注的矩形框，当ArIoU(A,B)大于某一个固定值时，则矩形框A参与损失函数的计算，通过损失函数调整网络参数。
本公开针对图像中的标准图形大小固定的特点，简化了距离的定义，从而减少了损失函数的计算量，加快了网络的训练速。
示例性的，所述设定比例，例如：3：7，或者5：5，具体的设定比例，本领域技术人员可以根据自己的需求随意设定，本申请不做任何限定。
示例性的，所述训练流程如图4所示，基本步骤包括：
1.构造数据集，包括训练集和测试集。训练集和测试集的图像按真实房间地面大小固定比例缩放，手动标注图像中扫地机器人的位置和朝向。训练集用来进行网络参数训练，测试集用来检验网络参数是否已满足要求。
2.构建深度学习网络。本公开采用VGGNet作为深度学习网络，但是本公开的方法并不局限于VGGNet。初始时，网络权值可采用随机或其他方法进行设置。
3.用训练集数据对VGGNet网络进行参数训练。利用训练集的图像数据，调整网络权值。
4.用测试集数据验证VGGNet网络的预测准确率。当测试集上预测准确率超过某一阈值时，认为训练完成，否则，继续用训练集数据对网络参数进行训练。
作为一个或多个实施例，所述根据任意相邻两帧实际物理图像中，每一帧图像中扫地机器人的朝向和扫地机器人的中心位置，确定扫地机器人的覆盖率；具体步骤包括：
假设扫地机器人的扫地刷本体为长方体形状，且扫地刷本体与扫地机器人的前进方向垂直，并且扫地刷固定在扫地机器人上；
计算相邻两帧中前一帧扫地机器人的扫地刷本体所在的直线方向与后一帧扫地刷本体所在的直线方向是否有交叉；
如果没有交叉，则计算前一帧扫地刷与后一帧扫地刷之间形成的第一区域面积，将第一区域面积作为扫地机器人的覆盖面积；
如果有交叉，则计算前一帧扫地刷与后一帧扫地刷之间的夹角所形成的第二区域和第三区域的面积，计算第二区域与第三区域面积之和，将面积之和作为扫地机器人的覆盖面积；
统计设定时间段内的扫地机器人覆盖面积总和，将覆盖面积总和除以房间除障碍物外的总面积，得到扫地机器人的覆盖率。
应理解的，按照设定的采样频率，得到离散的位置和朝向信息，计算覆盖率，其目的是计算一段时间内扫地机器人的覆盖率信息，作为一项指标评价扫地机器人的性能。
按照设定的采用频率，可以得到一系列扫地机器人的位置和朝向信息，相邻两个采样点可能出现的情况如图5(a)和图5(b)所示，其中b表示扫地机器人地刷的宽度。如果地刷对应的线段不相交，则S为相邻采样点之间扫地机器人覆盖的区域，如果地刷对应的线段相交，则S1和S2的和为相邻采样点之间扫地机器人覆盖的区域。
实施例二
本实施例提供了基于计算机视觉的扫地机器人覆盖率确定系统；
基于计算机视觉的扫地机器人覆盖率确定系统，包括：
获取模块，其被配置为：获取扫地机器人运动视频中每一帧图像，对每一帧图像进行校准，得到实际物理图像；
修正模块，其被配置为：对实际物理图像的所有像素点的坐标进行位置修正；
计算模块，其被配置为：计算位置修正后的每一帧图像中扫地机器人的朝向和扫地机器人的中心位置；
覆盖率确定模块，其被配置为：根据任意相邻两帧实际物理图像中，每一帧图像中扫地机器人的朝向和扫地机器人的中心位置，确定扫地机器人的覆盖率。
此处需要说明的是，上述获取模块、修正模块、计算模块和覆盖率确定模块对应于实施例一中的步骤S101至S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.基于计算机视觉的扫地机器人覆盖率确定方法，其特征是，包括：
获取扫地机器人运动视频中每一帧图像，对每一帧图像进行校准，得到实际物理图像；
对实际物理图像的所有像素点的坐标进行位置修正；
计算位置修正后的每一帧图像中扫地机器人的朝向和扫地机器人的中心位置；
根据任意相邻两帧实际物理图像中，每一帧图像中扫地机器人的朝向和扫地机器人的中心位置，确定扫地机器人的覆盖率。
2.如权利要求1所述的方法，其特征是，所述对每一帧图像进行校准，得到实际物理图像；是通过四点法进行校准；
或者，
所述通过四点法进行校准；具体步骤包括：
在房间地面中选取四个点作为基准点，获取四个基准点的实际物理坐标和四个基准点在摄像头所拍摄图像中的像素坐标；
基于四个基准点的实际物理坐标和四个基准点在摄像头所拍摄图像中的像素坐标，利用透视变换公式，得到透视变换矩阵；
基于透视变换矩阵和摄像头采集图像中任意像素点的坐标，计算出图像中每个像素点的物理坐标。
3.如权利要求1所述的方法，其特征是，所述对实际物理图像的所有像素点的坐标进行位置修正；具体步骤包括：
根据摄像头的高度、扫地机器人的高度、摄像头的物理坐标和图像中每个像素点的物理坐标之间的几何关系，计算出图像中每个像素点的修正后的物理坐标。
4.如权利要求1所述的方法，其特征是，所述计算位置修正后的每一帧图像中扫地机器人的朝向和扫地机器人的中心位置；具体步骤包括：
将待确定扫地机器人朝向的图像，输入到预训练好的神经网络模型中，输出扫地机器人的朝向和扫地机器人的中心位置。
5.如权利要求4所述的方法，其特征是，所述预训练好的神经网络模型的训练步骤包括：
构建数据集，所述数据集包括：训练集和测试集；所述数据集均为已知扫地机器人方向和扫地机器人中心位置的图像；构建神经网络模型；
用训练集对神经网络模型进行参数训练，利用测试集的数据验证网络的预测准确率；
判断预测准确率是否达到要求，如果是，就输出训练好的神经网络模型；如果否，就继续对神经网络模型进行参数训练。
6.如权利要求5所述的方法，其特征是，所述数据集的获取步骤包括：
将与扫地机器人横截面相同形状的硬纸板固定在扫地机器人的正上方，所述硬纸板上中心位置画有一个箭头，箭头的方向指向扫地机器人前进时所针对的方向；在扫地机器人运行过程中，通过摄像头采集扫地机器人的图像，并确定当前帧扫地机器人的中心位置，和当前帧箭头指向方向与上一帧箭头指向方向的夹角；将已知扫地机器人中心位置和已知夹角的当前帧图像作为数据集；将数据集按照设定比例划分为训练集和测试集。
7.如权利要求1所述的方法，其特征是，所述根据任意相邻两帧实际物理图像中，每一帧图像中扫地机器人的朝向和扫地机器人的中心位置，确定扫地机器人的覆盖率；具体步骤包括：
假设扫地机器人的扫地刷本体为长方体形状，且扫地刷本体与扫地机器人的前进方向垂直，并且扫地刷固定在扫地机器人上；
计算相邻两帧中前一帧扫地机器人的扫地刷本体所在的直线方向与后一帧扫地刷本体所在的直线方向是否有交叉；
如果没有交叉，则计算前一帧扫地刷与后一帧扫地刷之间形成的第一区域面积，将第一区域面积作为扫地机器人的覆盖面积；
如果有交叉，则计算前一帧扫地刷与后一帧扫地刷之间的夹角所形成的第二区域和第三区域的面积，计算第二区域与第三区域面积之和，将面积之和作为扫地机器人的覆盖面积；
统计设定时间段内的扫地机器人覆盖面积总和，将覆盖面积总和除以房间除障碍物外的总面积，得到扫地机器人的覆盖率。
8.基于计算机视觉的扫地机器人覆盖率确定系统，其特征是，包括：
获取模块，其被配置为：获取扫地机器人运动视频中每一帧图像，对每一帧图像进行校准，得到实际物理图像；
修正模块，其被配置为：对实际物理图像的所有像素点的坐标进行位置修正；
计算模块，其被配置为：计算位置修正后的每一帧图像中扫地机器人的朝向和扫地机器人的中心位置；
覆盖率确定模块，其被配置为：根据任意相邻两帧实际物理图像中，每一帧图像中扫地机器人的朝向和扫地机器人的中心位置，确定扫地机器人的覆盖率。
9.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574016.9A CN111738149A (zh) | 2020-06-22 | 2020-06-22 | 基于计算机视觉的扫地机器人覆盖率确定方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574016.9A CN111738149A (zh) | 2020-06-22 | 2020-06-22 | 基于计算机视觉的扫地机器人覆盖率确定方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111738149A true CN111738149A (zh) | 2020-10-02 |
Family
ID=72650452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010574016.9A Withdrawn CN111738149A (zh) | 2020-06-22 | 2020-06-22 | 基于计算机视觉的扫地机器人覆盖率确定方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738149A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112741559A (zh) * | 2020-12-30 | 2021-05-04 | 北京小狗吸尘器集团股份有限公司 | 清扫覆盖率的测定方法、存储介质、扫地机器人 |
| CN113096179A (zh) * | 2021-03-09 | 2021-07-09 | 杭州电子科技大学 | 一种基于视觉定位的扫地机器人覆盖率检测方法 |
-
2020
- 2020-06-22 CN CN202010574016.9A patent/CN111738149A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112741559A (zh) * | 2020-12-30 | 2021-05-04 | 北京小狗吸尘器集团股份有限公司 | 清扫覆盖率的测定方法、存储介质、扫地机器人 |
| CN113096179A (zh) * | 2021-03-09 | 2021-07-09 | 杭州电子科技大学 | 一种基于视觉定位的扫地机器人覆盖率检测方法 |
| CN113096179B (zh) * | 2021-03-09 | 2024-04-02 | 杭州电子科技大学 | 一种基于视觉定位的扫地机器人覆盖率检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179339B (zh) | 基于三角测量的坐标定位方法、装置、设备及存储介质 | |
| CN104299244B (zh) | 基于单目相机的障碍物检测方法及装置 | |
| US20190213392A1 (en) | Face spatial positioning method, face spatial positioning system, and non-transitory computer-readable recording medium | |
| CN109978925B (zh) | 一种机器人位姿的识别方法及其机器人 | |
| CN110850872A (zh) | 机器人巡检方法、装置、计算机可读存储介质及机器人 | |
| CN109816733A (zh) | 相机参数初始化方法及装置、相机参数标定方法及设备、图像采集系统 | |
| JP6900609B2 (ja) | 広角画像を修正するシステム及び方法 | |
| CN110443245B (zh) | 一种非限制场景下的车牌区域的定位方法、装置及设备 | |
| CN112200771A (zh) | 一种高度测量方法、装置、设备和介质 | |
| CN111311632A (zh) | 一种物体位姿跟踪方法、装置及设备 | |
| CN111738149A (zh) | 基于计算机视觉的扫地机器人覆盖率确定方法及系统 | |
| CN114494347A (zh) | 一种单摄像头多模式视线追踪方法和装置、电子设备 | |
| CN113610927B (zh) | 一种avm摄像头参数标定方法、装置及电子设备 | |
| CN112060079A (zh) | 机器人及其碰撞检测方法和装置 | |
| CN112330755B (zh) | 环视系统的标定评价方法及装置、存储介质、终端 | |
| CN109074663A (zh) | 物体体积测量方法、相关装置及计算机可读存储介质 | |
| CN111401143A (zh) | 一种行人跟踪系统及方法 | |
| CN107945136B (zh) | 一种鱼眼图像矫正方法、系统、设备及计算机存储介质 | |
| Fasogbon et al. | Calibration of fisheye camera using entrance pupil | |
| CN111881748B (zh) | 一种基于vbai平台建模的车道线视觉识别方法和系统 | |
| CN111401240B (zh) | 一种课堂注意力检测方法、装置、设备及存储介质 | |
| CN112529943B (zh) | 一种物体检测方法、物体检测装置及智能设备 | |
| CN111104965A (zh) | 车辆目标识别的方法及装置 | |
| CN114415129A (zh) | 基于多项式模型的视觉与毫米波雷达联合标定方法及装置 | |
| CN114067417A (zh) | 判断人员是否关注目标物的方法、装置及计算机主设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201002 |