CN111374607A - 一种基于扫地机器人的目标识别方法及装置、设备、介质 - Google Patents

一种基于扫地机器人的目标识别方法及装置、设备、介质 Download PDF

Info

Publication number
CN111374607A
CN111374607A CN201811637530.1A CN201811637530A CN111374607A CN 111374607 A CN111374607 A CN 111374607A CN 201811637530 A CN201811637530 A CN 201811637530A CN 111374607 A CN111374607 A CN 111374607A
Authority
CN
China
Prior art keywords
target object
moving speed
moving
determined
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811637530.1A
Other languages
English (en)
Inventor
王旭宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharkninja China Technology Co Ltd
Original Assignee
Sharkninja China Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharkninja China Technology Co Ltd filed Critical Sharkninja China Technology Co Ltd
Priority to CN201811637530.1A priority Critical patent/CN111374607A/zh
Publication of CN111374607A publication Critical patent/CN111374607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24Floor-sweeping machines, motor-driven
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002Installations of electric equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于扫地机器人的目标识别方法及装置、设备、介质,包括:扫地机器人采集连续的若干视频帧,通过对视频帧进行图像比对,从连续的若干视频帧中确定出至少一个突变帧,从确定出的至少一个突变帧中提取出至少一个目标对象,通过对至少一个突变帧进行图像分析,分别确定至少一个目标对象的移动速度,针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。本申请可以对清扫过程中采集到的图像进行分析,以从采集到的图像中识别出移动物体,从而有助于扫地机器人能够准确的确定出清扫区域。

Description

一种基于扫地机器人的目标识别方法及装置、设备、介质
技术领域
本申请涉及智能家电领域,尤其涉及一种基于扫地机器人的目标识别方法及装置、设备、介质。
背景技术
随着科技的迅速发展,各种智能家电应运而生,这些智能家电为人们的日常生活带来了极大的方便,扫地机器人就是其中之一。
现有的扫地机器人主要基于雷达探测和视觉分析这两种方式进行导航,以完成对地面的清扫工作。对于通过视觉分析进行自动导航的这种方式来说,扫地机器人上设有摄像头,通过摄像头采集周围环境的图像,并对采集到的图像加以分析,实现清扫时的自动导航。
然而在扫地机器人工作的过程中,其工作区域常常会出现行人、宠物等移动物体,扫地机器人可能会将行人、宠物等移动物体视为固定的障碍物,并将其所处的区域或行进过的路径规划到障碍区域中,进而也将不会清扫这些障碍区域。所以,如何能够准确的识别出移动物体,以防止误将移动物体所处的区域或行进过的路径规划到障碍区域的可能发生,则是一个亟待解决的问题。
发明内容
本申请实施例提供一种基于扫地机器人的目标识别方法及装置、设备、介质,用以解决现有技术中的如下技术问题:无法准确的识别出移动物体,会误将移动物体所处的区域或行进过的路径规划到障碍区域中的问题。
本申请实施例采用下述技术方案:
一种基于扫地机器人的目标识别方法,包括:
扫地机器人采集连续的若干视频帧;
通过对视频帧进行图像比对,从所述连续的若干视频帧中确定出至少一个突变帧;
从确定出的所述至少一个突变帧中提取出至少一个目标对象;
通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度;
针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。
可选地,通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度,具体包括:
针对每个目标对象,通过对包含有该目标对象的相邻突变帧进行图像分析,确定出该目标对象的移动速度。
可选地,确定参照对象,具体包括:
针对每个目标对象,当判断该目标对象是否为移动物体时,则将其他目标对象作为参照对象。
可选地,确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,具体包括:
若确定与该目标对象的移动速度相匹配的参照对象的数量的占比不超过设定占比时,则确定该目标对象的移动速度符合所述预设移动条件。
可选地,确定参照对象的移动速度,具体包括:
将所述扫地机器人自身确定为参照对象,并根据自身所采用的惯性导航,确定所述参照对象的移动速度。
可选地,确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,具体包括:
若该目标对象的移动速度与所述参照对象的移动速度之间的差值超过设定阈值,则确定该目标对象的移动速度符合所述预设移动条件。
可选地,所述方法还包括:
将确定出的移动物体当前所处的区域纳入到清扫区域中。
一种基于扫地机器人的目标识别装置,包括:
采集模块,采集连续的若干视频帧;
第一确定模块,通过将各相邻视频帧进行图像比对,从所述连续的若干视频帧中确定出至少一个突变帧;
提取模块,从确定出的所述至少一个突变帧中提取出至少一个目标对象;
第二确定模块,通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度;
识别模块,针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。
一种基于扫地机器人的目标识别设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
采集连续的若干视频帧;
通过对视频帧进行图像比对,从所述连续的若干视频帧中确定出至少一个突变帧;
从确定出的所述至少一个突变帧中提取出至少一个目标对象;
通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度;
针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。
一种基于扫地机器人的目标识别非易失性存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
采集连续的若干视频帧;
通过将各相邻视频帧进行图像比对,从所述连续的若干视频帧中确定出至少一个突变帧;
从确定出的所述至少一个突变帧中提取出至少一个目标对象;
通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度;
针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。
通过本申请提出标定方式能够带来如下有益效果:本申请可以对清扫过程中采集到的图像进行分析,以从采集到的图像中识别出移动物体,从而有助于扫地机器人能够准确的确定出清扫区域。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中一种基于扫地机器人的目标识别方法的流程示意图;
图2A~2F为本申请实施例提供的扫地机器人确定突变帧的示意图;
图3为本申请实施例提供的扫地机器人确定目标对象的移动速度的示意图;
图4为本申请实施例提供的移动物体在扫地机器人的采集视野中处于不动状态的示意图;
图5为本申请实施例中一种基于扫地机器人的目标识别装置示意图;
图6为本申请的一些实施例提供的对应于图1的一种基于扫地机器人的目标识别设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本申请实施例中一种基于扫地机器人的目标识别方法的流程示意图,具体包括以下步骤:
S101:扫地机器人采集连续的若干视频帧。
扫地机器人在进行清扫工作时,将连续采集若干视频帧,以对采集到的若干视频帧进行视觉分析,实现清扫过程中的自动导航。由于扫地机器人可以连续采集若干视频帧,所以,当扫地机器人在清扫过程中有移动物体出现在扫地机器人上设置的镜头所面对的视野时,扫地机器人可以采集到移动物体经过该视野的完整图像,从而便于扫地机器人基于图像分析,识别出在视野中出现的移动物体。其中,为了便于后续的描述,可以将扫地机器人在进行图像采集时镜头所面对的视野称之为采集视野。
S102:通过对视频帧进行图像比对,从所述连续的若干视频帧中确定出至少一个突变帧。
在扫地机器人连续采集图像的过程中,若是有移动物体出现在扫地机器人的采集视野中时,其包含有移动物体的视频帧和不包含有移动物体的视频帧将有明显的差别。基于此,扫地机器人可以通过对采集到的视频帧进行图像比对,从采集到的连续若干视频帧中确定出满足预设突变条件的至少一个突变帧。
其中,这里提到的突变帧可以是指移动物体出现在扫地机器人的采集视野中的视频帧。由于移动物体进入到扫地机器人的采集视野和从该采集视频中离开是一个持续的过程,因此,这里提到的突变帧并不一定是指完整的移动物体出现在扫地机器人的采集视野中时所采集到的一帧图像,也可以是指移动物体部分出现在该采集视野中时扫地机器人所采集到的一帧图像。
移动物体从进入到离开扫地机器人的采集视野这段过程中,扫地机器人将采集到至少一帧包含有移动物体的视频帧。而在从采集到的连续的若干视频帧中确定出包含有移动物体的突变帧时,扫地机器人可以通过将连续的若干视频帧中的部分视频帧与连续的若干视频帧中的其余部分视频帧做图像比对分析,来确定采集到的连续的若干视频帧中包含的突变帧。若确定部分连续视频帧与连续的若干视频帧中的其余部分视频帧之间的差异度超过设定差异度,则确定部分连续视频帧满足预设突变条件,其中,这里提到的部分视频帧可以是指一帧视频帧,也可以是指连续的几个视频帧,如图2A~2F所示。
图2A~2F为本申请实施例提供的扫地机器人确定突变帧的示意图。
图2A为扫地机器人采集到的不包含有移动物体的视频帧。当扫地机器人正对图2A所示的沙发进行清扫工作时,将采集到大量的如图2A所示的视频帧。而当扫地机器人正对沙发进行清扫的过程中,其采集视野内走进了一只猫,则猫从进入扫地机器人的采集视野开始,到离开扫地机器人的采集视野这段过程中,扫地机器人将采集到如图2B~2F所示的这几个在时序上连续的视频帧。由于图2B~2F这几帧包含有猫的图像,所以通过图像比对分析发现,这几帧与如图2A所示的不包含猫的图像的其他视频帧之间将有显著的差别,具体可以体现在图2B~2F中任意一帧视频帧与其他如图2A所示的不包含有猫的图像的视频帧之间的差异度将超过设定差异度。基于此,扫地机器人可以从连续的若干视频帧中确定出满足预设突变条件的至少一个突变帧。在该示例中,图2B~2F即为扫地机器人确定出的突变帧。
需要说明的是,扫地机器人在实际的清扫过程中,基本上将始终处于移动状态,所以,即使没有移动物体进入到扫地机器人的采集视野,扫地机器人在清扫过程中所采集到的各视频帧之间也会存在一定的差异。但是,这些视频帧之间的差异,与包含有移动物体的视频帧和不包含有视频帧之间的差异相比要低得多。所以,通过判断部分视频帧与连续的若干视频帧中其余部分视频帧之间的差异度是否超过设定差异度,依然能够有效的从采集到的连续的若干视频帧中确定出满足预设突变条件的至少一个突变帧。
S103:从确定出的所述至少一个突变帧中提取出至少一个目标对象。
在确定出至少一个突变帧后,可以对突变帧中包含的物体进行目标对象的提取,并在后续过程中,确定出各目标对象的移动速度。如在图2C中,扫地机器人对图2C这一帧视频帧进行目标提取,可以从中提取出沙发和猫这两个目标对象。需要说明的是,进行目标对象的提取可以是指:能够将出现在扫地机器人的采集视野中的物体作为单独的一个目标对象提取出来,而无需进一步地确定提取出的目标对象到底为何物。
由于扫地机器人在实际的清扫过程中基本上始终处于移动状态,所以,扫地机器人确定出的各突变帧中所包含的物体可能不尽相同,如,有的突变帧中可能包含有两个目标对象,有的突变帧中可能包含有三个目标对象。基于此,扫地机器人可以分别对各突变帧进行目标对象的提取操作,以确定出各突变帧中所包含的目标对象有哪些。
在本申请实施例中,扫地机器人可以采用常规的目标对象提取算法,对突变帧中的目标对象进行提取操作,如阈值分割算法、边缘检测算法等,在此就作具体的限定。
S104:通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度。
在从确定出的至少一个突变帧中提取出各目标对象后,扫地机器人可以通过对这些突变帧进行图像分析,分别确定出各目标对象的移动速度。具体的,扫地机器人在实际的清扫过程中基本上始终处于移动状态,所以,即使一个实际的物体为固定不动的物体,也会因为扫地机器人移动的缘故,使得该物体在扫地机器人所采集到的各视频帧中的位置不尽相同。基于此,可以通过图像分析确定出提取出的各目标对象的移动速度,如图3所示。
图3为本申请实施例提供的扫地机器人确定目标对象的移动速度的示意图。
图3中的沙发实际上始终处于不动的状态,但是由于扫地机器人在清扫过程中基本上始终处于移动状态,所以,沙发在扫地机器人所采集到的视频帧中的位置将发生变化。图3可以看作是相邻两帧包含有沙发的图像合并在了一起,在其中一帧视频帧中,沙发位于A1位置,而在另一帧视频帧中,沙发位于A2位置。因此,可以基于沙发在这两帧图像中所位于的不同位置,通过图像分析,确定出沙发的移动速度。以此类推,对于每个目标对象来说,该目标对象的移动速度也可以对包含有该目标对象的相邻突变帧进行图像分析进行确定。
需要说明的是,扫地机器人通过图像分析所确定出的各目标对象的移动速度并不是各目标对象在实际中的真实速度,以上述提到的沙发为例,在实际中沙发始终处于不动的状态,而之所以沙发在扫地机器人所采集到的视频帧中表现出了发生移动的状况,是由扫地机器人在清扫过程中发生移动所导致的。所以,扫地机器人确定出的沙发这一目标对象的移动速度,实际上应为扫地机器人自身的移动速度,而沙发本身的实际移动速度应为0。同理,对于移动物体来说,若是该移动物体与扫地机器人按照相同的方向发生移动,则扫地机器人通过图像分析所确定出的该移动物体这一目标对象的移动速度应为该移动物体的实际移动速度减去扫地机器人的实际移动速度,若是该移动物体与扫地机器人按照相反的方向移动,则扫地机器人通过图像分析确定出的该移动物体这一目标对象的移动速度应为该移动物体的实际移动速度加上扫地机器人的实际移动速度。
虽然扫地机器人所确定出的各目标对象的移动速度并不是各目标对象的实际移动速度,但是依然可以基于确定出的各目标对象的移动速度,在后续过程中,确定出哪个或哪些目标对象为移动物体。这是因为,即使各目标对象的移动速度是在扫地机器人发生移动的条件下进行确定的,所确定出的移动物体的移动速度和固定不动的物体的移动速度依然会存在显著的差别,基于此,可以对移动物体进行识别。
S105:针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。
在确定出各目标对象的移动速度后,扫地机器人可以针对每个目标对象,将该目标对象的移动速度与确定出的参照对象的移动速度进行比对。若确定出某一目标对象的移动速度相对于参照对象的移动速度符合预设移动条件,则可以确定该目标对象为移动物体。
其中,选取参照对象的方式可以有两种:
第一种,在判断一个目标对象是否为移动物体时,可以将提取出的其余目标对象作为参照对象,后续可以通过将参照对象的移动速度与该目标对象的移动速度进行比对,来确定该目标对象是否为移动速度。
由于移动物体的移动速度和固定不动的目标对象移动速度具有显著差别,因此可以将确定出的各目标对象彼此作为参照对象,来识别移动物体。在确定出的目标对象中仅包含移动物体和固定不动的物体两个物体的情况下,当需要判断是否为移动物体的目标对象为固定不动的物体时,可以将另一目标对象(即移动物体)作为参照对象,将这两者的移动速度进行比对,发现该目标对象的移动速度小于参照对象的移动速度,则可以确定出该目标对象不符合预设移动条件,即不是移动物体。反之,当需要判断是否为移动物体的目标对象为移动物体时,可以将另一目标对象(即固定不动的物体)作为参照对象,将这两者的移动速度进行比对,并发现该目标对象的移动速度大于参照对象的移动速度,则可以确定出该目标对象为移动速度。
需要说明的是,扫地机器人确定出的突变帧中除了包含有移动物体的图像外,可能会包含有多个固定不动的物体的图像,所以,在确定某一个目标对象是否为移动物体时,可以将该目标对象的移动速度与其他各目标对象的移动速度进行比对,以确定有多少个其他目标对象的移动速度是与该目标对象的移动速度相匹配的。这是因为,在突变帧中包含的各目标对象中,大部分应是固定不动的物体,而只有少数(或是一个)目标对象为移动物体,所以可以通过确定与该目标对象的移动速度相匹配的参照对象的数量的占比,来判断该目标对象是否为移动物体。
例如,假设扫地机器人当前需要判断是否为移动物体的目标对象实际上为固定不动的物体,在对该目标对象进行判断的过程中,可以先将确定出的其他目标对象作为参照对象,然后,分别将该目标对象的移动速度与各参照对象的移动速度进行匹配。由于实际上各固定不动的物体的移动速度应为相同的,所以,扫地机器人可以确定出大部分参照对象的移动速度均与该目标对象的移动速度相匹配,即,与该目标对象的移动速度相匹配的参照对象的数量的占比超过设定占比,则可以确定出该目标对象的移动速度不符合预设移动条件,也即,该目标对象不是移动物体。
若是扫地机器人当前需要判断是否为移动物体的目标对象实际上以移动物体,则在具体的判断过程中,该目标对象的移动速度应是与大部分参照对象的移动速度不相匹配,即,与该目标对象的移动速度相匹配的参照对象的数量的占比不超过设定占比,则可以确定出该目标对象的移动速度符合预设移动条件,也即,该目标对象为移动物体。
对于第二种参照对象的选取方式来说,扫地机器人可以将自身确定为参照对象,并根据自身所采用的惯性导航,来确定出该参照对象,也即自身的移动速度。通过惯性导航来确定自身移动速度的具体方式为现有的常规技术,在此不做详细说明。
扫地机器人在确定某一目标对象是否为移动物体时,可以将该目标对象的移动物体与参照对象(也即扫地机器人自身)的移动速度作差,以通过判断两者之间的差值是否超过设定阈值,来确定该目标对象的移动速度是否符合预设移动条件。
对于实际上是固定不动的物体的目标对象来说,这些目标对象的移动速度应是与扫地机器人(即参照对象)通过惯性导航所确定出的自身的实际移动速度相同的。即,这些目标对象的移动速度与扫地机器人的移动速度之间的差值应是不超过设定阈值的。相应的,实际上为移动物体的目标对象的移动速度,应是与扫地机器人的移动速度不相匹配的,也即,实际上为移动物体的目标对象的移动速度,与扫地机器人的移动速度之间的差值应是超过设定阈值的。
在本申请实施例中,扫地机器人具体可以通过判断目标对象的移动速度与参照对象的移动速度之间差的绝对值是否超过设定阈值,来确定该目标对象的移动速度是否符合预设移动条件。之所以采用绝对值来进行判断,主要是应对以下几种考虑:
当移动物体的移动速度大于扫地机器人的移动速度时,这两者移动速度的差值为正值,可直接通过确定出的差值,判断是否超过设定阈值。但若是移动物体与扫地机器人按照相同的方向,相同的速度移动时,扫地机器人基于图像分析所确定出的移动物体的移动速度应很小(很可能为0),所以将这两者的移动速度作差时将得到一个负值。而若是直接通过将该负值与设定阈值进行比较,来判断目标对象是否为移动物体,则很可能会出现错误结果。所以,可以用两者移动速度之差的绝对值,与设定阈值进行比较,这样能够准确的识别出目标对象是否为移动物体。
当然,在确定目标对象是否为移动物体时,也可以结合上述两种选取参照对象的方式,来进行判断。例如,对于突变帧中只有移动物体的情况来说,由于没有其他的目标对象作参照对象,所以基于第一种参照对象的选取方式来判断该目标对象是否为移动物体可能效果较差,但是基于第二种参照对象的选取方式来判断,可以较容易的判断出该目标对象是否为移动物体。
换句话说,在实际应用中,若是扫地机器人无法通过一种参照对象的选取方式判断该目标对象是否为移动物体,则可以选用另一种参照对象的选取方式,来判断该目标对象是否为移动物体。
在确定出某一目标对象为移动物体后,扫地机器人可以将确定出的移动物体当前所处的区域纳入到清扫区域中,若是在前往该区域执行清扫工作时监测到该区域存在障碍物致使当前无法对该区域进行清扫,则可以前往其他的清扫区域进行清扫,并在确定经过设定时长后,再返回该区域进行清扫。
另外,在实际应用中,可能会存在移动物体进入到扫地机器人的采集视野中后一直处于固定不动状态的情况发生,如图4所示。
图4为本申请实施例提供的移动物体在扫地机器人的采集视野中处于不动状态的示意图。
在图4中,一只猫进入到了扫地机器人的采集视野,并处于固定不动的状态,则扫地机器人通过上述方法所确定出的以这只猫为目标对象的移动速度应与其他固定不动的物体的移动速度相同,也即,无法有效的判断出这一目标对象实际上是移动物体。
对于这种情况来说,若是仅仅依靠上述方式来确定实际的清扫区域,则很有可能会将移动物体当前占据的区域划分到非清扫区域中,致使该区域无法被清扫。
为了在一定程度上防止上述情况所带来的不利影响,在本申请实施例中,扫地机器人可以将确定出的不符合预设移动条件的目标对象确定为待核实对象,并针对每个待核实对象,确定该待核实对象所处的区域是否属于历史障碍区域,若是,则不清扫该待核实对象所处的区域,否则,将该待核实对象所处的区域纳入到清扫区域中。
移动物体在一个区域停留的时间并不会太长,因此,对于扫地机器人中保存的记录历史障碍区域的信息中,应不包含有移动物体当前所处的区域,所以,扫地机器人可以基于历史记录,来判断该移动物体当前所处的区域是否为障碍区域,若不是,可以通过将该区域纳入到清扫区域中实施对该区域的清扫。
另外,在实际应用中,扫地机器人可能并不能将所有出现在视频帧或突变帧中的目标对象识别出来,而对于出现在视频帧或突变帧中,但是扫地机器人无法进行目标提取的对象来说,可以通过区域分割、边界分割等方式,将划分出的部分图像区域作为一个整体,并通过对相邻视频帧的图像分析,确定出该部分图像区域的移动速度。换句话说,可以将划分出的部分图像区域作为目标对象,通过图像分析的方式,确定出相应的移动速度,进而判断出这部分图像区域中是否包含有移动物体的图像。
从上述的方法可以看出,由于扫地机器人可以通过参照对象比对的方式,从提取出的目标对象中识别出移动物体,因此,极大的提高了扫地机器人在清扫工作时的导航精度,有助于扫地机器人能够准确的确定出清扫区域。
以上为本说明书的一个或多个实施例提供的基于扫地机器人的目标识别方法,基于同样的思路,本说明书还提供了相应的基于扫地机器人的目标识别装置,如图5所示。
图5为本说明书提供的一种基于扫地机器人的目标识别装置示意图,具体包括:
采集模块501,采集连续的若干视频帧;
第一确定模块502,通过将各相邻视频帧进行图像比对,从所述连续的若干视频帧中确定出至少一个突变帧;
提取模块503,从确定出的所述至少一个突变帧中提取出至少一个目标对象;
第二确定模块504,通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度;
识别模块505,针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。
所述第二确定模块504,针对每个目标对象,通过对包含有该目标对象的相邻视频帧进行图像分析,确定出该目标对象的移动速度。
所述第二确定模块504,针对每个目标对象,当判断该目标对象是否为移动物体时,则将其他目标对象作为参照对象。
所述识别模块505,若确定与该目标对象的移动速度相匹配的参照对象的数量的占比不超过设定占比时,则确定该目标对象的移动速度符合所述预设移动条件。
所述第二确定模块504,将所述扫地机器人自身确定为参照对象,并根据自身所采用的惯性导航,确定所述参照对象的移动速度。
所述识别模块505,若该目标对象的移动速度与所述参照对象的移动速度之间的差值超过设定阈值,则确定该目标对象的移动速度符合所述预设移动条件。
所述装置还包括:
区域规划模块506,将确定出的移动物体当前所处的区域纳入到清扫区域中。
图6为本申请的一些实施例提供的对应于图1的一种基于扫地机器人的目标识别设备的结构示意图,所述设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
采集连续的若干视频帧;
通过对视频帧进行图像比对,从所述连续的若干视频帧中确定出至少一个突变帧;
从确定出的所述至少一个突变帧中提取出至少一个目标对象;
通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度;
针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。
本申请的一些实施例提供的对应于图1的一种基于扫地机器人的目标识别非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:
采集连续的若干视频帧;
通过将各相邻视频帧进行图像比对,从所述连续的若干视频帧中确定出至少一个突变帧;
从确定出的所述至少一个突变帧中提取出至少一个目标对象;
通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度;
针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备和介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例提供的装置、设备和介质与方法是一一对应的,因此,装置、设备和介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述装置、设备和介质的有益技术效果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于扫地机器人的目标识别方法,其特征在于,包括:
扫地机器人采集连续的若干视频帧;
通过对视频帧进行图像比对,从所述连续的若干视频帧中确定出至少一个突变帧;
从确定出的所述至少一个突变帧中提取出至少一个目标对象;
通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度;
针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。
2.如权利要求1所述的方法,其特征在于,通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度,具体包括:
针对每个目标对象,通过对包含有该目标对象的相邻视频帧进行图像分析,确定出该目标对象的移动速度。
3.如权利要求2所述的方法,其特征在于,确定参照对象,具体包括:
针对每个目标对象,当判断该目标对象是否为移动物体时,则将其他目标对象作为参照对象。
4.如权利要求3所述的方法,其特征在于,确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,具体包括:
若确定与该目标对象的移动速度相匹配的参照对象的数量的占比不超过设定占比时,则确定该目标对象的移动速度符合所述预设移动条件。
5.如权利要求2所述的方法,其特征在于,确定参照对象的移动速度,具体包括:
将所述扫地机器人自身确定为参照对象,并根据自身所采用的惯性导航,确定所述参照对象的移动速度。
6.如权利要求5所述的方法,确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,具体包括:
若该目标对象的移动速度与所述参照对象的移动速度之间的差值超过设定阈值,则确定该目标对象的移动速度符合所述预设移动条件。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
将确定出的移动物体当前所处的区域纳入到清扫区域中。
8.一种基于扫地机器人的目标识别装置,其特征在于,包括:
采集模块,采集连续的若干视频帧;
第一确定模块,通过将各相邻视频帧进行图像比对,从所述连续的若干视频帧中确定出至少一个突变帧;
提取模块,从确定出的所述至少一个突变帧中提取出至少一个目标对象;
第二确定模块,通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度;
识别模块,针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。
9.一种基于扫地机器人的目标识别设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
采集连续的若干视频帧;
通过对视频帧进行图像比对,从所述连续的若干视频帧中确定出至少一个突变帧;
从确定出的所述至少一个突变帧中提取出至少一个目标对象;
通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度;
针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。
10.一种基于扫地机器人的目标识别非易失性存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为:
采集连续的若干视频帧;
通过将各相邻视频帧进行图像比对,从所述连续的若干视频帧中确定出至少一个突变帧;
从确定出的所述至少一个突变帧中提取出至少一个目标对象;
通过对所述至少一个突变帧进行图像分析,分别确定所述至少一个目标对象的移动速度;
针对每个目标对象,若确定该目标对象的移动速度相对于确定出的参照对象的移动速度符合预设移动条件,则确定该目标对象为移动物体。
CN201811637530.1A 2018-12-29 2018-12-29 一种基于扫地机器人的目标识别方法及装置、设备、介质 Pending CN111374607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811637530.1A CN111374607A (zh) 2018-12-29 2018-12-29 一种基于扫地机器人的目标识别方法及装置、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811637530.1A CN111374607A (zh) 2018-12-29 2018-12-29 一种基于扫地机器人的目标识别方法及装置、设备、介质

Publications (1)

Publication Number Publication Date
CN111374607A true CN111374607A (zh) 2020-07-07

Family

ID=71220511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811637530.1A Pending CN111374607A (zh) 2018-12-29 2018-12-29 一种基于扫地机器人的目标识别方法及装置、设备、介质

Country Status (1)

Country Link
CN (1) CN111374607A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112168066A (zh) * 2020-09-30 2021-01-05 深圳市银星智能科技股份有限公司 清洁机器人的控制方法、装置、清洁机器人及存储介质
CN113509104A (zh) * 2021-04-25 2021-10-19 珠海格力电器股份有限公司 一种清扫方法、存储介质和清洁机器人
CN113657164A (zh) * 2021-07-15 2021-11-16 美智纵横科技有限责任公司 标定目标对象的方法、装置、清扫设备和存储介质
CN114587220A (zh) * 2022-01-26 2022-06-07 深圳市无限动力发展有限公司 动态避障方法、装置和计算机设备、计算机可读存储介质
CN113657164B (zh) * 2021-07-15 2024-07-02 美智纵横科技有限责任公司 标定目标对象的方法、装置、清扫设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299275A (zh) * 2008-06-25 2008-11-05 北京中星微电子有限公司 一种目标检测方法、装置及一种监控系统
CN104658007A (zh) * 2013-11-25 2015-05-27 华为技术有限公司 一种实际运动目标的识别方法及装置
CN107092252A (zh) * 2017-04-11 2017-08-25 杭州光珀智能科技有限公司 一种基于机器视觉的机器人主动避障方法及其装置
CN107518833A (zh) * 2017-10-12 2017-12-29 南京中高知识产权股份有限公司 一种扫地机器人的障碍物识别方法
CN107578011A (zh) * 2017-09-05 2018-01-12 中国科学院寒区旱区环境与工程研究所 视频关键帧的判定方法及装置
CN108230362A (zh) * 2017-12-29 2018-06-29 北京视觉世界科技有限公司 环境监控方法、装置、电子设备和存储介质
CN108344414A (zh) * 2017-12-29 2018-07-31 中兴通讯股份有限公司 一种地图构建、导航方法及装置、系统
CN108968811A (zh) * 2018-06-20 2018-12-11 四川斐讯信息技术有限公司 一种扫地机器人的物体识别方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299275A (zh) * 2008-06-25 2008-11-05 北京中星微电子有限公司 一种目标检测方法、装置及一种监控系统
CN104658007A (zh) * 2013-11-25 2015-05-27 华为技术有限公司 一种实际运动目标的识别方法及装置
CN107092252A (zh) * 2017-04-11 2017-08-25 杭州光珀智能科技有限公司 一种基于机器视觉的机器人主动避障方法及其装置
CN107578011A (zh) * 2017-09-05 2018-01-12 中国科学院寒区旱区环境与工程研究所 视频关键帧的判定方法及装置
CN107518833A (zh) * 2017-10-12 2017-12-29 南京中高知识产权股份有限公司 一种扫地机器人的障碍物识别方法
CN108230362A (zh) * 2017-12-29 2018-06-29 北京视觉世界科技有限公司 环境监控方法、装置、电子设备和存储介质
CN108344414A (zh) * 2017-12-29 2018-07-31 中兴通讯股份有限公司 一种地图构建、导航方法及装置、系统
CN108968811A (zh) * 2018-06-20 2018-12-11 四川斐讯信息技术有限公司 一种扫地机器人的物体识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
屈晶晶: "连续帧间差分与背景差分相融合的运动目标检测方法", 《光子学报》 *
胡敬舒: "基于帧间差分的运动目标检测", 《中国优秀硕士学位论文全文数据库(电子期刊)》 *
赵婷: "基于改进的帧间差分运动目标提取算法", 《无线通信技术》 *
高飞: "一种快速运动目标检测算法", 《合肥工业大学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112168066A (zh) * 2020-09-30 2021-01-05 深圳市银星智能科技股份有限公司 清洁机器人的控制方法、装置、清洁机器人及存储介质
CN113509104A (zh) * 2021-04-25 2021-10-19 珠海格力电器股份有限公司 一种清扫方法、存储介质和清洁机器人
CN113657164A (zh) * 2021-07-15 2021-11-16 美智纵横科技有限责任公司 标定目标对象的方法、装置、清扫设备和存储介质
CN113657164B (zh) * 2021-07-15 2024-07-02 美智纵横科技有限责任公司 标定目标对象的方法、装置、清扫设备和存储介质
CN114587220A (zh) * 2022-01-26 2022-06-07 深圳市无限动力发展有限公司 动态避障方法、装置和计算机设备、计算机可读存储介质
CN114587220B (zh) * 2022-01-26 2023-11-21 深圳市无限动力发展有限公司 动态避障方法、装置和计算机设备、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN110575099B (zh) 定点清扫方法、扫地机器人及存储介质
CN111374607A (zh) 一种基于扫地机器人的目标识别方法及装置、设备、介质
CN110051292B (zh) 一种扫地机器人控制方法
CN112650235A (zh) 一种机器人避障控制方法、系统及机器人
CN112526993B (zh) 栅格地图更新方法、装置、机器人及存储介质
CN112168066B (zh) 清洁机器人的控制方法、装置、清洁机器人及存储介质
CN111700546A (zh) 一种移动机器人的清扫方法及移动机器人
US20130243343A1 (en) Method and device for people group detection
CN108763571B (zh) 一种作业地图更新方法
CN112101378A (zh) 机器人重定位方法、装置及设备
CN105519102A (zh) 视频监控方法、视频监控系统以及计算机程序产品
CN110874101B (zh) 一种机器人清扫路径的生成方法及装置
CN109683617B (zh) 一种自动驾驶方法、装置及电子设备
CN112180931A (zh) 扫地机的清扫路径规划方法、装置及可读存储介质
CN111358362A (zh) 视觉机器人的清扫控制方法、装置、芯片及扫地机器人
CN105354529A (zh) 一种车辆逆行的检测方法及装置
CN112842184B (zh) 一种清扫方法及清洁机器人
CN110895409B (zh) 避让障碍物的控制方法
CN111714028A (zh) 清扫设备的禁区脱困方法、装置、设备及可读存储介质
CN109984691A (zh) 一种扫地机器人控制方法
CN110928282A (zh) 清扫机器人的控制方法及装置
CN114283370A (zh) 车辆未清洗识别方法、装置及应用
CN115240094A (zh) 一种垃圾检测方法和装置
CN108038418B (zh) 垃圾清理方法和装置
CN113534822A (zh) 扫地机器人的路径控制方法、装置及扫地机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200707

RJ01 Rejection of invention patent application after publication