CN114882363A - 一种扫地机的污渍处理方法和装置 - Google Patents

一种扫地机的污渍处理方法和装置 Download PDF

Info

Publication number
CN114882363A
CN114882363A CN202210551309.4A CN202210551309A CN114882363A CN 114882363 A CN114882363 A CN 114882363A CN 202210551309 A CN202210551309 A CN 202210551309A CN 114882363 A CN114882363 A CN 114882363A
Authority
CN
China
Prior art keywords
stain
relative distance
spot
distance
monocular image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210551309.4A
Other languages
English (en)
Inventor
魏年勇
王永超
吴健春
蔡剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Barnes & Noble Robot Co ltd
Original Assignee
Shenzhen Barnes & Noble Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Barnes & Noble Robot Co ltd filed Critical Shenzhen Barnes & Noble Robot Co ltd
Priority to CN202210551309.4A priority Critical patent/CN114882363A/zh
Publication of CN114882363A publication Critical patent/CN114882363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及视觉识别技术领域，特别是一种扫地机的污渍处理方法和装置，所述方法包括接收第一单目图像和第二单目图像，确定两图像中的污渍标识框，获取所述机器人分别在采集两图像时的里程距离，然后调用污渍位置计算模型输入污渍标识框的坐标值、里程距离、高度值和焦距值，得到扫地机到污渍目标点的目标相对距离，进而根据目标相对距离控制扫地机行走并执行预设的清扫策略对污渍目标点及附近进行清扫，相对于通过一张图像计算得到的距离数值更加精准，利于扫地机到达准确的地面位置从而有效的清扫。

Description

一种扫地机的污渍处理方法和装置
技术领域
本申请涉及视觉识别技术领域，特别是一种扫地机的污渍处理方法和装置。
背景技术
在智能清洁技术领域，表面污渍的识别与清洁方法是提升智能设备清洁效果的途径之一。
目前而言，扫地机清洁设备的地面污渍识别与清扫方法主要分为二种。一种是依据灰尘检测模块的数据，调节清洁结构件的清洁力度，这种方法实现简单且成本低，缺点是识别的污渍种类少；另一种是依据用户的交互，调节清洁结构件的清洁力度，这种方法需要用户的参与。随着扫地机产品的进化和人工智能技术的不断发展，基于视觉的方案成为一种趋势，但目前有待完善。
发明内容
鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种扫地机的污渍处理方法和装置。
所述扫地机设有光轴与地面平行的单目摄像机，所述方法包括：
接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框；
获取所述机器人分别在采集所述第一单目图像和所述第二单目图像时的第一里程距离和第二里程距离，以及获取所述单目摄像机的高度值和焦距值；
调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离；
依据所述目标相对距离控制所述扫地机行走，当所述扫地机行走至所述目标相对距离时，确定污渍目标点并触发预设的污渍清扫模式对所述污渍目标点周围进行清扫。
优选的，所述接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框，包括：
接收所述第一单目图像，并调用预设的污渍识别模型对所述第一单目图像进行污渍识别；
当通过所述污渍识别模型识别到所述第一单目图像中存在污渍目标图像时，依据所述污渍目标图像生成所述第一污渍标识框并确定所述第一污渍标识框在所述第一单目图像中的第一底线纵坐标值；
接收所述第二单目图像并通过所述污渍识别模型生成所述第二污渍标识框，并确定所述第二污渍标识框在所述第二单目图像中的第二底线纵坐标值。
优选的，所述接收所述第一单目图像，并调用预设的污渍识别模型对所述第一单目图像进行污渍识别，包括：
获取多个污渍训练图像并提取每一所述污渍训练图像中的污渍特征，所述污渍特征包括类别特征、地面纹理特征以及环境特征；
依据所述污渍特征在对应所述污渍训练图像中的位置信息进行污渍标识框标注；
将所述污渍训练图像作为所述污渍识别模型的训练输入，将相应的所标注的所述污渍标识框作为所述污渍识别模型的训练输出，训练得到目标污渍识别模型；
输入所述第一单目图像到所述目标污渍识别模型中进行污渍识别。
优选的，所述调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离，包括：
调用所述污渍位置计算模型；
输入所述第一底线纵坐标值、第二底线纵坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离。
优选的，所述通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离，包括：
依据所述第一底线纵坐标值、所述第一里程距离、所述高度值和所述焦距值构建在采集所述第一单目图像时所述扫地机与所述污渍目标点的第一相对距离的第一函数关系；
依据所述第二底线纵坐标值、所述第二里程距离、所述高度值和所述焦距值构建在采集所述第二单目图像时所述扫地机与所述污渍目标点的第二相对距离的第二函数关系；
通过所述第一函数关系和所述第二函数关系确定所述第一相对距离和所述第二相对距离，所述目标相对距离为所述第一相对距离和所述第二相对距离的均值。
优选的，所述通过所述第一函数关系和所述第二函数关系确定所述第一相对距离和所述第二相对距离，所述目标相对距离为所述第一相对距离和所述第二相对距离的均值，包括：
依据所述第一里程距离和所述第二里程距离确定所述第一相对距离和所述第二相对距离之间的距离差值，依据所述距离差值确定所述第一单目图像和所述第二单目图像中的地平线坐标值；
依据所述地平线坐标值和所述第一函数关系确定所述第一相对距离，依据所述地平线坐标值和所述第二函数关系确定所述第二相对距离；
依据所述第一相对距离和所述第二相对距离确定所述目标相对距离。
优选的，依据所述目标相对距离控制所述扫地机行走，包括：
调用预设的运动控制模型，依据所述目标相对距离以及所述污渍目标点相对于所述单目图像中心的偏移角度，控制所述扫地机行走至所述污渍目标点。
还提供一种扫地机的污渍处理装置，所述扫地机设有光轴与地面平行的单目摄像机，所述装置包括：
图像接收模块，用于接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框；
参数获取模块，用于获取所述机器人分别在采集所述第一单目图像和所述第二单目图像时的第一里程距离和第二里程距离，以及获取所述单目摄像机的高度值和焦距值；
距离计算模块，用于调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离；
动作执行模块，用于依据所述目标相对距离控制所述扫地机行走，当所述扫地机行走至所述目标相对距离时，确定污渍目标点并触发预设的污渍清扫模式对所述污渍目标点周围进行清扫。
还提供一种计算机设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的任一项所述的方法。
还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现实现如上所述的任一项所述的方法。
本申请具有以下优点：
在本申请的实施例中，通过上述接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框；获取所述机器人分别在采集所述第一单目图像和所述第二单目图像时的第一里程距离和第二里程距离，以及获取所述单目摄像机的高度值和焦距值；调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离；依据所述目标相对距离控制所述扫地机行走，当所述扫地机行走至所述目标相对距离时，确定污渍目标点并触发预设的污渍清扫模式对所述污渍目标点周围进行清扫；通过采集两相邻帧的单目图像，结合每一图像的里程距离、相机参数以及标识框的位置坐标值通过模型输出目标相对距离，该目标相对距离相对于一张图像计算得到的数值更加精准，利于扫地机到达准确的地面位置从而有效的清扫。
附图说明
为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种扫地机的污渍处理方法的步骤流程图；
图2是本申请一实施例提供的一种扫地机的污渍处理装置的结构框图；
图3是本发明一实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的所述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的扫地机中内嵌有污渍识别模型、污渍位置计算模型以及运动控制模型。扫地机的正前部安装有用于采集扫地机前方环境图像的单目摄像机，污渍识别模型主要用于识别所采集的单目图像中的污渍目标，污渍位置计算模型主要用于计算当前扫地机与污渍目标之间的相对距离，运动控制模型主要用于控制扫地机依据相对距离进行行走，而后调整扫地机的清扫模式以对污渍目标以及周围进行清扫。
参照图1，示出了本申请一实施例提供的一种扫地机的污渍处理方法的步骤流程图，所述扫地机设有光轴与地面平行的单目摄像机，该方法包括以下步骤：
S110，接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框；
S120，获取所述机器人分别在采集所述第一单目图像和所述第二单目图像时的第一里程距离和第二里程距离，以及获取所述单目摄像机的高度值和焦距值；
S130，调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离；
S140，依据所述目标相对距离控制所述扫地机行走，当所述扫地机行走至所述目标相对距离时，确定污渍目标点并触发预设的污渍清扫模式对所述污渍目标点周围进行清扫。
通过上述接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框；获取所述机器人分别在采集所述第一单目图像和所述第二单目图像时的第一里程距离和第二里程距离，以及获取所述单目摄像机的高度值和焦距值；调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离；依据所述目标相对距离控制所述扫地机行走，当所述扫地机行走至所述目标相对距离时，确定污渍目标点并触发预设的污渍清扫模式对所述污渍目标点周围进行清扫；通过采集两相邻帧的单目图像，结合每一图像的里程距离、相机参数以及标识框的位置坐标值通过模型输出目标相对距离，该目标相对距离相对于一张图像计算得到的数值更加精准，利于扫地机到达准确的地面位置从而有效的清扫。
下面，将对上述实施例中的一种扫地机的污渍处理方法作进一步说明。
如步骤S110所述，接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框；
在本申请一实施例中，可以结合下列描述进一步说明步骤S110所述“接收由所述单目摄像机连续采集的第一单目图像和第二单目图像”的具体过程。
如下列步骤所述，接收所述第一单目图像，并调用预设的污渍识别模型对所述第一单目图像进行污渍识别；当通过所述污渍识别模型识别到所述第一单目图像中存在污渍目标图像时，依据所述污渍目标图像生成所述第一污渍标识框并确定所述第一污渍标识框在所述第一单目图像中的第一底线纵坐标值；接收所述第二单目图像并通过所述污渍识别模型生成所述第二污渍标识框，并确定所述第二污渍标识框在所述第二单目图像中的第二底线纵坐标值。
在一具体实施例中，在t1时刻接收到第一单目图像时，将第一单目图像输入到污渍识别模型中，若污渍识别模型输出第一单目图像的第一污渍标识框以及该第一污渍标识框的底线纵坐标，则再次采集t2时刻时的第二单目图像，并确定第二单目图像的第二污渍标识框以及第二底线纵坐标。
在本申请一实施例中，输出第一单目图像的第一污渍标识框的前提条件是对污渍识别模型进行训练，其训练步骤包括：
获取多个污渍训练图像并提取每一所述污渍训练图像中的污渍特征，所述污渍特征包括类别特征、地面纹理特征以及环境特征；依据所述污渍特征在对应所述污渍训练图像中的位置信息进行污渍标识框标注；将所述污渍训练图像作为所述污渍识别模型的训练输入，将相应的所标注的所述污渍标识框作为所述污渍识别模型的训练输出，训练得到目标污渍识别模型；输入所述第一单目图像到所述目标污渍识别模型中进行污渍识别。
需要说明的是，上述待训练的识别模型可直接采用包括但不限于的 YOLO系列，SSD系列，CNN系列等目标检测深度学习模型。在模型训练结束后，还需对其就召回率、准确率、精准率等指标进行测试，并实际验证模型检测污渍的效果。达到上述的设定要求后即可将训练好的模型实际应用在所实时采集的单目图像中进行污渍目标识别。
如步骤S120所述，获取所述机器人分别在采集所述第一单目图像和所述第二单目图像时的第一里程距离和第二里程距离，以及获取所述单目摄像机的高度值和焦距值。
需要说明的是，t1时刻扫地机距离污渍目标点的距离为d1，t2时刻扫地机距离污渍目标点的距离为d2，通过d1和d2的得出相对距离为：
Δd＝d1-d2
结合扫地机实际行走，本申请采集t1时刻的第一里程距离为O1，t2时刻的第一里程距离为O2，通过O1和O2得出相对距离为。
Δd＝O1-O2
可知的，里程距离可直接通过通过扫地机内置的距离记录仪器等直接得到。
如步骤S130所述，调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离。
在本申请一实施例中，可以结合下列描述进一步说明步骤S130所述“通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离”的具体过程。
如下列步骤所述，调用所述污渍位置计算模型；输入所述第一底线纵坐标值、第二底线纵坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离。
具体的，依据所述第一底线纵坐标值、所述第一里程距离、所述高度值和所述焦距值构建在采集所述第一单目图像时所述扫地机与所述污渍目标点的第一相对距离的第一函数关系；依据所述第二底线纵坐标值、所述第二里程距离、所述高度值和所述焦距值构建在采集所述第二单目图像时所述扫地机与所述污渍目标点的第二相对距离的第二函数关系；通过所述第一函数关系和所述第二函数关系确定所述第一相对距离和所述第二相对距离，所述目标相对距离为所述第一相对距离和所述第二相对距离的均值。
需要说明的是，本方案启发于“使用单目摄像机的基于视觉的系统中使用的传统距离估计方法”的现有技术方案，在设定滚动角和偏航角为零的条件下，使用摄像机的几何结构从图像中的车辆位置估算实际道路中与前车的距离。结合本申请在扫地机的真实应用，采用上述现有技术中俯仰角为零或者小到忽略不计的情况下的距离计算公式，如下：
Figure RE-GDA0003726145600000091
上式中，Fc是相机焦距，Hc是相机高度，yb是车辆底线在图像中的纵坐标，yh是地平线在图像中的纵坐标，d是扫地机到污渍目标点的距离。
上式中，可通过计算在图像中标识车辆的图像框的坐标得到底线的纵坐标，因为地面的不平整度抑或相机的安装偏差，导致水平位置的变化(地平线在前后两帧图像中可能呈现出不同的坐标)带来较大的范围误差，因此地平线难以通过图像识别而直接标识出来。现有技术中大量的运用大量目标车辆的平均宽度来估计地平线在图像中的值，而在扫地机中，污渍等目标检测物体尺寸相差较大，难以用于地平线估计，本申请在假定相邻两帧的地面平整的条件下，利用至少连续两帧里程计数据及图像检测框来估计地平线的值。
通过上述的距离计算公式可得，采集第一单目图像的t1时刻扫地机距离污渍目标点的第一相对距离的第一函数关系的公式为：
Figure RE-GDA0003726145600000101
采集第一单目图像的t1时刻扫地机距离污渍目标点的第二相对距离的第二函数关系的公式为：
Figure RE-GDA0003726145600000102
然后求得d1和d2的均值为扫地机当前时刻到污渍目标点的估计距离。
在本申请一实施例中，所述通过所述第一函数关系和所述第二函数关系确定所述第一相对距离和所述第二相对距离，所述目标相对距离为所述第一相对距离和所述第二相对距离的均值，包括：
依据所述第一里程距离和所述第二里程距离确定所述第一相对距离和所述第二相对距离之间的距离差值，依据所述距离差值确定所述第一单目图像和所述第二单目图像中的地平线坐标值；依据所述地平线坐标值和所述第一函数关系确定所述第一相对距离，依据所述地平线坐标值和所述第二函数关系确定所述第二相对距离；依据所述第一相对距离和所述第二相对距离确定所述目标相对距离。
也即，d1和d2的相对距离Δd可变换为：
Figure RE-GDA0003726145600000103
由于，d1-d2＝Δd＝O1-O2、Fc.Hc以及yb2-yb1均为已知条件，则可估算出两帧图像中地平线yh的值，然后将地平线yh的值分别带入上式第一函数关系和第二函数关系中，分别得到第一相对距离d1和第二相对距离d2的值，进而得到最终的目标相对距离。
需要说明的是，地平线的约束方程为：
hmin≤yh≤hmax
在本申请中，当扫地机检测到污渍目标时，即通过污渍目标在当前图像中的位置角度调整其扫地机的行走角度，即使扫地机的行走正前方与污渍目标点对应，这其中涉及一些控制算法，包括但不限于固定速度移动控制、PID 控制、动态窗口法(DWA)控制等。
如步骤S140所述，依据所述目标相对距离控制所述扫地机行走，当所述扫地机行走至所述目标相对距离时，确定污渍目标点并触发预设的污渍清扫模式对所述污渍目标点周围进行清扫。
在本申请一实施例中，可以结合下列描述进一步说明步骤S140所述“依据所述目标相对距离控制所述扫地机行走”的具体过程。
如下列步骤所述，调用预设的运动控制模型，依据所述目标相对距离以及所述污渍目标点相对于所述单目图像中心的偏移角度，控制所述扫地机行走至所述污渍目标点。
具体的，扫地机靠近污渍目标点后开始重点清洁，其清扫方式包括但不限于往复清洁、调节清洁结构的力度、圆形清洁等方式。可围绕污渍目标点位置呈弓形小范围往复清洁。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
参照图2，示出了本申请一实施例提供的一种扫地机的污渍处理装置的结构框图。
所述装置包括：
图像接收模块110，用于接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框；
参数获取模块120，用于获取所述机器人分别在采集所述第一单目图像和所述第二单目图像时的第一里程距离和第二里程距离，以及获取所述单目摄像机的高度值和焦距值；
距离计算模块130，用于调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离；
动作执行模块140，用于依据所述目标相对距离控制所述扫地机行走，当所述扫地机行走至所述目标相对距离时，确定污渍目标点并触发预设的污渍清扫模式对所述污渍目标点周围进行清扫。
参照图3，示出了本发明的一种扫地机的污渍处理方法的计算机设备，具体可以包括如下：
上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线18结构中的一种或多种，包括存储器总线18或者存储器控制器，外围总线18，图形加速端口，处理器或者使用多种总线 18结构中的任意总线18结构的局域总线18。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线18，微通道体系结构(MAC)总线 18，增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及外围组件互连(PCI)总线18。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块42，这些程序模块42被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信，还可与一个或者多个使得操作人员能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)界面22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网 (WAN)和/或公共网络(例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图3中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种扫地机的污渍处理方法。
也即，上述处理单元16执行上述程序时实现：接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框；获取所述机器人分别在采集所述第一单目图像和所述第二单目图像时的第一里程距离和第二里程距离，以及获取所述单目摄像机的高度值和焦距值；调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离；依据所述目标相对距离控制所述扫地机行走，当所述扫地机行走至所述目标相对距离时，确定污渍目标点并触发预设的污渍清扫模式对所述污渍目标点周围进行清扫。
在本发明实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的一种扫地机的污渍处理方法：
也即，给程序被处理器执行时实现：接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框；获取所述机器人分别在采集所述第一单目图像和所述第二单目图像时的第一里程距离和第二里程距离，以及获取所述单目摄像机的高度值和焦距值；调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离；依据所述目标相对距离控制所述扫地机行走，当所述扫地机行走至所述目标相对距离时，确定污渍目标点并触发预设的污渍清扫模式对所述污渍目标点周围进行清扫。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在操作人员计算机上执行、部分地在操作人员计算机上执行、作为一个独立的软件包执行、部分在操作人员计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到操作人员计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种扫地机的污渍处理方法和装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种扫地机的污渍处理方法，所述扫地机设有光轴与地面平行的单目摄像机，其特征在于，所述方法包括：
接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框；
获取所述机器人分别在采集所述第一单目图像和所述第二单目图像时的第一里程距离和第二里程距离，以及获取所述单目摄像机的高度值和焦距值；
调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离；
依据所述目标相对距离控制所述扫地机行走，当所述扫地机行走至所述目标相对距离时，确定污渍目标点并触发预设的污渍清扫模式对所述污渍目标点周围进行清扫。
2.根据权利要求1所述的方法，其特征在于，所述接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框，包括：
接收所述第一单目图像，并调用预设的污渍识别模型对所述第一单目图像进行污渍识别；
当通过所述污渍识别模型识别到所述第一单目图像中存在污渍目标图像时，依据所述污渍目标图像生成所述第一污渍标识框并确定所述第一污渍标识框在所述第一单目图像中的第一底线纵坐标值；
接收所述第二单目图像并通过所述污渍识别模型生成所述第二污渍标识框，并确定所述第二污渍标识框在所述第二单目图像中的第二底线纵坐标值。
3.根据权利要求2所述的方法，其特征在于，所述接收所述第一单目图像，并调用预设的污渍识别模型对所述第一单目图像进行污渍识别，包括：
获取多个污渍训练图像并提取每一所述污渍训练图像中的污渍特征，所述污渍特征包括类别特征、地面纹理特征以及环境特征；
依据所述污渍特征在对应所述污渍训练图像中的位置信息进行污渍标识框标注；
将所述污渍训练图像作为所述污渍识别模型的训练输入，将相应的所标注的所述污渍标识框作为所述污渍识别模型的训练输出，训练得到目标污渍识别模型；
输入所述第一单目图像到所述目标污渍识别模型中进行污渍识别。
4.根据权利要求2所述的方法，其特征在于，所述调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离，包括：
调用所述污渍位置计算模型；
输入所述第一底线纵坐标值、第二底线纵坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离。
5.根据权利要求4所述的方法，其特征在于，所述通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离，包括：
依据所述第一底线纵坐标值、所述第一里程距离、所述高度值和所述焦距值构建在采集所述第一单目图像时所述扫地机与所述污渍目标点的第一相对距离的第一函数关系；
依据所述第二底线纵坐标值、所述第二里程距离、所述高度值和所述焦距值构建在采集所述第二单目图像时所述扫地机与所述污渍目标点的第二相对距离的第二函数关系；
通过所述第一函数关系和所述第二函数关系确定所述第一相对距离和所述第二相对距离，所述目标相对距离为所述第一相对距离和所述第二相对距离的均值。
6.根据权利要求5所述的方法，其特征在于，所述通过所述第一函数关系和所述第二函数关系确定所述第一相对距离和所述第二相对距离，所述目标相对距离为所述第一相对距离和所述第二相对距离的均值，包括：
依据所述第一里程距离和所述第二里程距离确定所述第一相对距离和所述第二相对距离之间的距离差值，依据所述距离差值确定所述第一单目图像和所述第二单目图像中的地平线坐标值；
依据所述地平线坐标值和所述第一函数关系确定所述第一相对距离，依据所述地平线坐标值和所述第二函数关系确定所述第二相对距离；
依据所述第一相对距离和所述第二相对距离确定所述目标相对距离。
7.根据权利要求1所述的方法，其特征在于，依据所述目标相对距离控制所述扫地机行走，包括：
调用预设的运动控制模型，依据所述目标相对距离以及所述污渍目标点相对于所述单目图像中心的偏移角度，控制所述扫地机行走至所述污渍目标点。
8.一种扫地机的污渍处理装置，所述扫地机设有光轴与地面平行的单目摄像机，其特征在于，所述装置包括：
图像接收模块，用于接收由所述单目摄像机连续采集的第一单目图像和第二单目图像，确定所述第一单目图像中的第一污渍标识框，以及所述第二单目图像中的第二污渍标识框；
参数获取模块，用于获取所述机器人分别在采集所述第一单目图像和所述第二单目图像时的第一里程距离和第二里程距离，以及获取所述单目摄像机的高度值和焦距值；
距离计算模块，用于调用预设的污渍位置计算模型，并输入所述第一污渍标识框的位置坐标值、所述第二污渍标识框的位置坐标值、第一里程距离、第二里程距离、高度值和焦距值到所述污渍位置计算模型中，通过所述污渍位置计算模型输出所述扫地机到污渍目标点的目标相对距离；
动作执行模块，用于依据所述目标相对距离控制所述扫地机行走，当所述扫地机行走至所述目标相对距离时，确定污渍目标点并触发预设的污渍清扫模式对所述污渍目标点周围进行清扫。
9.一种计算机设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202210551309.4A 2022-05-20 2022-05-20 一种扫地机的污渍处理方法和装置 Pending CN114882363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210551309.4A CN114882363A (zh) 2022-05-20 2022-05-20 一种扫地机的污渍处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210551309.4A CN114882363A (zh) 2022-05-20 2022-05-20 一种扫地机的污渍处理方法和装置

Publications (1)

Publication Number Publication Date
CN114882363A true CN114882363A (zh) 2022-08-09

Family

ID=82678529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210551309.4A Pending CN114882363A (zh) 2022-05-20 2022-05-20 一种扫地机的污渍处理方法和装置

Country Status (1)

Country Link
CN (1) CN114882363A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880238A (zh) * 2022-12-01 2023-03-31 华瑞研能科技(深圳)有限公司 一种人工智能画面污迹处理方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880238A (zh) * 2022-12-01 2023-03-31 华瑞研能科技(深圳)有限公司 一种人工智能画面污迹处理方法和装置
CN115880238B (zh) * 2022-12-01 2023-08-15 华瑞研能科技(深圳)有限公司 一种人工智能画面污迹处理方法和装置

Similar Documents

Publication Publication Date Title
JP6842520B2 (ja) 物体検出方法、装置、機器、記憶媒体及び車両
CN111753797B (zh) 一种基于视频分析的车辆测速方法
CN112669349A (zh) 一种客流统计方法、电子设备及存储介质
CN110263713B (zh) 车道线检测方法、装置、电子设备及存储介质
CN110348332B (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
US9396553B2 (en) Vehicle dimension estimation from vehicle images
CN111311766A (zh) 基于车牌识别和跟踪技术的路边停车智能收费系统及方法
CN110659658B (zh) 一种目标检测方法及其装置
CN112927303B (zh) 一种基于车道线的自动驾驶车载相机位姿估计方法及系统
CN113724297A (zh) 基于事件相机的跟踪方法
CN112562406B (zh) 一种越线行驶的识别方法及装置
CN114360261B (zh) 车辆逆行的识别方法、装置、大数据分析平台和介质
US11080562B1 (en) Key point recognition with uncertainty measurement
CN114882363A (zh) 一种扫地机的污渍处理方法和装置
CN110111018B (zh) 评估车辆感测能力的方法、装置、电子设备及存储介质
CN116654022B (zh) 基于多重交互的行人轨迹预测方法、系统、设备和介质
CN117315547A (zh) 一种解决动态物体大占比的视觉slam方法
CN111553342A (zh) 一种视觉定位方法、装置、计算机设备和存储介质
CN109188419B (zh) 障碍物速度的检测方法、装置、计算机设备及存储介质
CN113361299A (zh) 一种异常停车的检测方法、装置、存储介质及电子设备
CN113450385B (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN113869163B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN115311634A (zh) 一种基于模板匹配的车道线跟踪方法、介质以及设备
CN113793250A (zh) 位姿评价方法、位姿确定方法、对应装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination