CN107969995A - 视觉扫地机器人及其重定位方法 - Google Patents

视觉扫地机器人及其重定位方法 Download PDF

Info

Publication number
CN107969995A
CN107969995A CN201711209103.9A CN201711209103A CN107969995A CN 107969995 A CN107969995 A CN 107969995A CN 201711209103 A CN201711209103 A CN 201711209103A CN 107969995 A CN107969995 A CN 107969995A
Authority
CN
China
Prior art keywords
magnetic field
vision
field fingerprint
fingerprint
sweeping robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711209103.9A
Other languages
English (en)
Other versions
CN107969995B (zh
Inventor
王声平
张立新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Infinite Power Development Co., Ltd.
Original Assignee
Shenzhen Water World Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Water World Co Ltd filed Critical Shenzhen Water World Co Ltd
Priority to CN201711209103.9A priority Critical patent/CN107969995B/zh
Publication of CN107969995A publication Critical patent/CN107969995A/zh
Application granted granted Critical
Publication of CN107969995B publication Critical patent/CN107969995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24Floor-sweeping machines, motor-driven
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Manipulator (AREA)

Abstract

本发明揭示了一种视觉扫地机器人及其重定位方法,先利用当前位置的当前磁场指纹与磁场指纹地图匹配,磁场指纹之间匹配的计算量小,所以可以快速地找到对应当前磁场指纹对应的位置,然后在视觉地图上使用该位置的图像信息与当前图像信息比较,无需逐一地与视觉地图中的图像信息比较,提高重定位的速度。

Description

视觉扫地机器人及其重定位方法
技术领域
本发明涉及到扫地机器人领域,特别是涉及到一种视觉扫地机器人及其重定位方法。
背景技术
扫地机器人在清扫过程中,可能被劫持(外部因素将扫地机器人从行进路径上移动到其他位置),此时扫地机器人需要重新定位,以便于确定清扫过的区域和待清扫的区域,提高扫地机器人的清扫效率等。现有的一种扫地机器人是视觉扫地机器人,其具有视觉定位系统,通过视觉地图和当前图像实现重定位,但是,在重定位过程中,需要将视觉地图中的全部图像分别与当前图像进行比较,对比计算量大,而且时间较长。
发明内容
本发明的主要目的为提供一种提高重定位速度的视觉扫地机器人及其重定位方法。
为了实现上述发明目的,本发明提出一种视觉扫地机器人的定位方法,所述视觉扫地机器人中存储有磁场指纹地图和视觉地图;所述重定位方法,包括:
S1、获取所述视觉机器人当前位置的当前磁场指纹和当前图像信息;
S2、将所述当前磁场指纹分别与磁场指纹地图中的磁场指纹一一对比,建立当前磁场指纹与所述磁场指纹地图中的磁场指纹相似度由高到低排序的相似度列表;
S3、按照预设规则提取所述相似度列表中的磁场指纹;
S4、判断提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息是否达到预设的匹配要求;
S5、若达到预设的匹配要求,则判定提取的磁场指纹在所述视觉地图中对应的图像信息所关联的位置信息为重新定位的位置信息;若未达到预设的匹配要求,则返回步骤S3。
进一步地,所述按照预设规则提取所述相似度列表中的磁场指纹的步骤S3,包括:
S301、按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述磁场指纹。
进一步地,所述按照预设规则提取所述相似度列表中的磁场指纹的步骤S3,包括:
S311、提取相似度列表中除已提取过的磁场指纹之外排序最高的第一磁场指纹,以及提取以第一磁场指纹为参考点的指定范围内的第二磁场指纹,其中第二磁场指纹为未被提取过的磁场指纹。
进一步地,所述参考点为指定范围的中心点。
进一步地,所述获取重定位指令,根据所述重定位指令采集当前位置的当前磁场指纹和当前图像信息的步骤S1之前,包括:
S101、判断所述视觉扫地机器人采集的场景图像是否为连续场景;
S102、若所述场景图像不是连续场景,则判定所述扫地机器人被劫持;
S103、判断所述扫地机器人被劫持状态是否结束;
S104、若判定所述扫地机器人被劫持状态结束,则生成重定位指令。
进一步地,所述获取重定位指令,根据所述重定位指令采集当前位置的当前磁场指纹和当前图像信息的步骤S1之前,包括:
S111、视觉扫地机器人重新上电,判断前一次清扫任务是否完成;
S112、若未完成前一次的清扫任务,则生成所述重定位指令。
进一步地,所述获取重定位指令,根据所述重定位指令采集当前位置的当前磁场指纹和当前图像信息的步骤S1之前,包括:
S121、所述视觉扫地机器人在全覆盖清扫策略下启动,以起始位置开始,扫地机器人每行进第一指定距离采集一次图像信息,并根据视觉定位系统获取对应图像信息的位置信息,将所述图像信息和位置信息关联存储到第一数据库中,第一数据库中的多组图像信息和其对应的位置信息形成所述视觉地图;以及,以起始位置开始,扫地机器人每行进第二指定距离采集一次磁场指纹,并将磁场指纹与当前视觉定位系统获取的位置信息关联存储在第二数据库中,第二数据库中的多组磁场指纹和其关联的位置信息形成所述磁场地图。
本发明还提供一种视觉扫地机器人,所述视觉扫地机器人中存储有磁场指纹地图和视觉地图;所述视觉扫地机器人,包括:
获取单元,用于获取所述视觉机器人当前位置的当前磁场指纹和当前图像信息;
对比建立单元,用于将所述当前磁场指纹分别与磁场指纹地图中的磁场指纹一一对比,建立当前磁场指纹与所述磁场指纹地图中的磁场指纹相似度由高到低排序的相似度列表;
提取单元,用于按照预设规则提取所述相似度列表中的磁场指纹;
第一判断单元,用于判断提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息是否达到预设的匹配要求;
判定单元,用于若提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息达到预设的匹配要求,则判定提取的磁场指纹在所述视觉地图中对应的图像信息所关联的位置信息为重新定位的位置信息;否则控制所述提取单元继续提取磁场指纹。
进一步地,所述提取单元,包括:
第一提取模块,用于按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述磁场指纹。
进一步地,所述提取单元,包括:
第二提取模块,用于提取相似度列表中除已提取过的磁场指纹之外排序最高的第一磁场指纹,以及提取以第一磁场指纹为参考点的指定范围内的第二磁场指纹,其中第二磁场指纹为未被提取过的磁场指纹。
进一步地,所述参考点为指定范围的中心点。
进一步地,所述视觉扫地机器人还包括:
第二判断单元,用于判断所述视觉扫地机器人采集的场景图像是否为连续场景;
判定劫持单元,用于若所述场景图像不是连续场景,则判定所述扫地机器人被劫持;
第三判断单元,用于判断所述扫地机器人被劫持状态是否结束;
第一生成单元,用于若判定所述扫地机器人被劫持状态结束,则生成重定位指令。
进一步地,所述视觉扫地机器人还包括:
任务判断单元,用于视觉扫地机器人重新上电时,判断前一次清扫任务是否完成;
第二生成单元,用于若未完成前一次的清扫任务,则生成所述重定位指令。
进一步地,所述视觉扫地机器人还包括:
地图建立单元,用于所述视觉扫地机器人在全覆盖清扫策略下启动,以起始位置开始,扫地机器人每行进第一指定距离采集一次图像信息,并根据视觉定位系统获取对应图像信息的位置信息,将所述图像信息和位置信息关联存储到第一数据库中,第一数据库中的多组图像信息和其对应的位置信息形成所述视觉地图;以及,以起始位置开始,扫地机器人每行进第二指定距离采集一次磁场指纹,并将磁场指纹与当前视觉定位系统获取的位置信息关联存储在第二数据库中,第二数据库中的多组磁场指纹和其关联的位置信息形成所述磁场地图。
本发明的视觉扫地机器人及其重定位方法,先利用当前位置的当前磁场指纹在磁场指纹地图进行匹配度的排序,然后按照匹配度的高低顺序逐个提取磁场指纹地图中磁场指纹,根据提取的磁场指纹对应的位置信息,在视觉地图中找到对应的图像信息,并将找到的图像信息与当前图像信息比较,提高找到匹配度达到要求的图像信息,进而提高重定位的速度。又因为当前磁场指纹与磁场指纹地图匹配时,计算量小,所以可以快速地找到对应当前磁场指纹对应的位置,然后在视觉地图上使用该位置的图像信息与当前图像信息比较,无需逐一地与视觉地图中的图像信息比较,降低视觉扫地机器人在重定位过程中的计算量,进一步地提高重定位的速度。
附图说明
图1为本发明一实施例的视觉扫地机器人的重定位方法的流程示意图;
图2为本发明一实施例的生成重定位指令的流程示意图;
图3为本发明一实施例的判断扫地机器人被劫持状态是否结束的流程示意图;
图4为本发明另一实施例的生成重定位指令的流程示意图;
图5为本发明一实施例的视觉机器人的结构示意框图;
图6为本发明一实施例的提取单元的结构示意框图;
图7为本发明另一实施例的提取单元的结构示意框图;
图8为本发明一实施例的视觉机器人的结构示意框图;
图9为本发明一实施例的第三判断单元的结构示意框图;
图10为本发明一实施例的视觉机器人的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,本发明提供一种视觉扫地机器人的定位方法,所述视觉扫地机器人中存储有磁场指纹地图和视觉地图,其中,磁场指纹地图与视觉地图关联。上述磁场指纹地图是含有磁场指纹以及与所述磁场指纹对应的位置信息的集合。上述视觉地图是含有图像信息以及与所述图像信息对应的位置信息的集合。上述磁场指纹地图与视觉地图关联是指,磁场指纹地图中位置信息与视觉地图中的位置信息关联,根据磁场指纹可以查找到视觉地图在该位置的图像信息等。
上述重定位方法,包括:
S1、获取所述视觉机器人当前位置的当前磁场指纹和当前图像信息.
在步骤S1中,上述重定位指令是在触发需要重新定位的条件时生成的指令,比如,视觉扫地机器人被劫持结束后,触发生成重定位指令。上述当前磁场指纹是指利用视觉扫地机器人上的磁场计获取当前位置的多个角度上的磁场强度的集合。磁场计可以设置一个或多个,视觉扫地机器人会根据预设的要求进行原地转动等以获取指定的多个角度上的磁场强度。上述当前图像信息是指视觉扫地机器人拍摄的图像以及拍摄图像的朝向等信息组合在一起的图像信息。
S2、将所述当前磁场指纹分别与磁场指纹地图中的磁场指纹一一对比,建立当前磁场指纹与所述磁场指纹地图中的磁场指纹相似度由高到低排序的相似度列表。
在步骤S2中,上述相似度列表中包含有磁场指纹地图中的全部的磁场指纹,其排列顺序是以与当前磁场指纹的相似度的高低进行排序的,相似度的判断,可以根据将当前磁场指纹中包含的各方向的磁场强度与磁场指纹地图中的每一个磁场指纹的各方向的磁场强度进行比较,计算各方向磁场强度的差值并平均处理,平均值越小,相似度越高等。
S3、按照预设规则提取所述相似度列表中的磁场指纹。
在步骤S3中,上述预设规则是指预先设置的提取相似度列表中磁场指纹的规则算法,比如,按照从高到低的顺序提取相似度列表中的磁场指纹,或者,按照从相似度列表的中间位置,依次向两端提取磁场指纹等。
S4、判断提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息是否达到预设的匹配要求。
在步骤S4中,上述匹配要求即为设定一个相似度阈值,比如提取的磁场指纹在所述视觉地图中对应的图像信息中的特征点与当前图像信息中的特征点的相似度达到99%,而相似度阈值为98%,则判定提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息达到预设的匹配要求。
S5、若达到预设的匹配要求,则判定提取的磁场指纹在所述视觉地图中对应的图像信息所关联的位置信息为重新定位的位置信息;若未达到预设的匹配要求,则返回步骤S3。
在步骤S5中,因为提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息达到预设的匹配要求,所以可以将提取的磁场指纹在所述视觉地图中对应的图像信息对应的位置信息认为是视觉扫地机器人所处的位置信息,完成视觉扫地机器人的重定位。因为提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息未达到预设的匹配要求,则需要继续寻找达到匹配要求的图片信息,因此重复上述S3、S4和S5的步骤,直到重定位成功为止。当然,如果将相似度列表中全部磁场指纹全部提取一遍后仍未重定位成功,则说明视觉扫地机器人被劫持到位置区域。
本实施例中,上述按照预设规则提取所述相似度列表中的磁场指纹的步骤S3,包括:
S301、按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述磁场指纹。
在步骤S301中,与当前图像信息匹配度最高的磁场指纹,其在磁场地图中对应的位置信息与视觉机器人当前所述位置信息相同的概率最高,所以按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述磁场指纹,可以提高提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息达到预设的匹配要求的概率,进而提高重定位的速度。
在另一实施例中,上述按照预设规则提取所述相似度列表中的磁场指纹的步骤S3,包括:
S311、提取相似度列表中除已提取过的磁场指纹之外排序最高的第一磁场指纹,以及提取以第一磁场指纹为参考点的指定范围内的第二磁场指纹,其中第二磁场指纹为未被提取过的磁场指纹。
在步骤S311中,一般情况下,视觉地图中的图像信息会对应磁场指纹地图中的多个磁场指纹,比如建立视觉地图时,每行进1米采集一次图像信息,而在建立磁场指纹地图时,每行进0.2米记录一个磁场指纹,此时,磁场指纹地图会将多个磁场指纹与对应的图像信息关联,以得到图像信息关联的位置信息。所以,当提取一个位于相似度列表中没有被提取过的、且与当前磁场指纹相似度最高的第一磁场指纹时,同时提取第一磁场指纹指定范围内的第二磁场指纹,此时,可以进一步地提高查找与当前图像信息达到匹配要求的图像信息,进而提高重定位的速度。本实施例中,上述参考点为指定范围的中心点。在其它实施例中,也可以是一条直线上的某一段的中心点,如在磁场指纹地图中在一条直线上的多个位置对应的磁场指纹,以第一磁场指纹对应的位置为中心,其两端相邻的相同数量的位置对应的磁场指纹为第二磁场指纹。
参照图2,本实施例中,上述获取重定位指令,根据所述重定位指令采集当前位置的当前磁场指纹和当前图像信息的步骤S1之前,包括:
S101、判断所述视觉扫地机器人采集的场景图像是否为连续场景;
S102、若所述场景图像不是连续场景,则判定所述扫地机器人被劫持;
S103、判断所述扫地机器人被劫持状态是否结束;
S104、若判定所述扫地机器人被劫持状态结束,则生成重定位指令。
在步骤S101、S102、S103和S104中,视觉扫地机器人在清扫过程中会连续采集场景图像,所以场景图像的内容是连续的,如果场景图像的风格或特征突然变化(正常的避障转弯引起的变化会被剔除),则说明视觉扫地机器人被劫持,然后判断劫持状态是否结束,如果劫持状态结束,则生成重定位指令,以便于确定已清扫区域,继续进行清扫任务。
参照图3,本实施例中,上述判断所述扫地机器人被劫持状态是否结束的步骤S103,包括:
S1031、利用姿态传感器采所述扫地机器人的移动加速度变化值和偏转角度变化值;
S1032、若所述移动加速度变化值和偏转角度变化值分别小于预设的加速度阈值和偏转角阈值,则判定所述扫地机器人被劫持状态结束,否则,判定所述扫地机器人人处于被劫持状态。
在步骤S1031和S1032中,视觉扫地机器人劫持状态结束后,其会被放置在清扫地面上,此时移动加速度会接近于零,偏转角度也不会发生过大的变化,所以通过移动加速度变化值和偏转角度变化值即可准确判断出劫持状态是否结束。在其它实施例中,因为扫地机器人被劫持,所以运动系统仍在工作,可以根据扫地机器人的运动系统指定的移动方向和实际移动方向进行比较,如果两者相同,且移动速度与运动系统的里程计记录的数据相匹配,同样可以认为劫持状态结束。
参照图4,在另一实施例中,上述获取重定位指令,根据所述重定位指令采集当前位置的当前磁场指纹和当前图像信息的步骤S1之前,包括:
S111、视觉扫地机器人重新上电,判断前一次清扫任务是否完成;
S112、若未完成前一次的清扫任务,则生成所述重定位指令。
在步骤S111和S112中,视觉扫地机器人在未完成清扫任务时,可能被用户人为断电或其它原因而停止清扫任务,当再次上电时,为了提高清扫效率,要判断前一次清扫任务是否完成,如果没有完成,则重新定位,以便于找到上一次停止清扫的位置,以便于继续清扫。在判断前一次清扫任务是否完成的步骤之前,一般还会先判断前一次清扫结束的时间,如果距离当前时间的时间长度大于预设时间长度,则无需判断前一次清扫任务是否完成,而是直接开始新的清扫任务。
本实施例中,上述获取重定位指令,根据所述重定位指令采集当前位置的当前磁场指纹和当前图像信息的步骤S1之前,包括:
S121、所述视觉扫地机器人在全覆盖清扫策略下启动,以起始位置开始,扫地机器人每行进第一指定距离采集一次图像信息,并根据视觉定位系统获取对应图像信息的位置信息,将所述图像信息和位置信息关联存储到第一数据库中,第一数据库中的多组图像信息和其对应的位置信息形成所述视觉地图;以及,以起始位置开始,扫地机器人每行进第二指定距离采集一次磁场指纹,并将磁场指纹与当前视觉定位系统获取的位置信息关联存储在第二数据库中,第二数据库中的多组磁场指纹和其关联的位置信息形成所述磁场地图。
在步骤S121中,即为建立磁场指纹地图和视觉地图的过程。第一指定距离大于第二指定距离。在一具体实施例中,第一指定距离是第二指定距离的整数倍。视觉扫地机器人会在全覆盖清扫策略下实时建立磁场指纹地图和视觉地图,同时将磁场指纹地图中的磁场指纹与视觉地图中位置相关联,进而可以根据磁场指纹找到对应的图像信息。
本发明的视觉扫地机器人的重定位方法,先利用当前位置的当前磁场指纹在磁场指纹地图进行匹配度的排序,然后按照匹配度的高低顺序逐个提取磁场指纹地图中磁场指纹,根据提取的磁场指纹对应的位置信息,在视觉地图中找到对应的图像信息,并将找到的图像信息与当前图像信息比较,提高找到匹配度达到要求的图像信息,进而提高重定位的速度。又因为当前磁场指纹与磁场指纹地图匹配时,计算量小,所以可以快速地找到对应当前磁场指纹对应的位置,然后在视觉地图上使用该位置的图像信息与当前图像信息比较,无需逐一地与视觉地图中的图像信息比较,降低视觉扫地机器人在重定位过程中的计算量,进一步地提高重定位的速度。
参照图5,本发明实施例还提供一种视觉扫地机器人,所述视觉扫地机器人中存储有磁场指纹地图和视觉地图,其中,磁场指纹地图与视觉地图关联。上述磁场指纹地图是含有磁场指纹以及与所述磁场指纹对应的位置信息的集合。上述视觉地图是含有图像信息以及与所述图像信息对应的位置信息的集合。上述磁场指纹地图与视觉地图关联是指,磁场指纹地图中位置信息与视觉地图中的位置信息关联,根据磁场指纹可以查找到视觉地图在该位置的图像信息等。
所述视觉扫地机器人包括:
获取单元10,用于获取所述视觉机器人当前位置的当前磁场指纹和当前图像信息。
在获取单元10,上述重定位指令是在触发需要重新定位的条件时生成的指令,比如,视觉扫地机器人被劫持结束后,触发生成重定位指令。上述当前磁场指纹是指利用视觉扫地机器人上的磁场计获取当前位置的多个角度上的磁场强度的集合。磁场计可以设置一个或多个,视觉扫地机器人会根据预设的要求进行原地转动等以获取指定的多个角度上的磁场强度。上述当前图像信息是指视觉扫地机器人拍摄的图像以及拍摄图像的朝向等信息组合在一起的图像信息。
对比建立单元20,用于将所述当前磁场指纹分别与磁场指纹地图中的磁场指纹一一对比,建立当前磁场指纹与所述磁场指纹地图中的磁场指纹相似度由高到低排序的相似度列表。
在上述对比建立单元20中,上述相似度列表中包含有磁场指纹地图中的全部的磁场指纹,其排列顺序是以与当前磁场指纹的相似度的高低进行排序的,相似度的判断,可以根据将当前磁场指纹中包含的各方向的磁场强度与磁场指纹地图中的每一个磁场指纹的各方向的磁场强度进行比较,计算各方向磁场强度的差值并平均处理,平均值越小,相似度越高等。
提取单元30,用于按照预设规则提取所述相似度列表中的磁场指纹。
在上述提取单元30中,上述预设规则是指预先设置的提取相似度列表中磁场指纹的规则算法,比如,按照从高到低的顺序提取相似度列表中的磁场指纹,或者,按照从相似度列表的中间位置,依次向两端提取磁场指纹等。
第一判断单元40,用于判断提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息是否达到预设的匹配要求。
在上述第一判断单元40中,上述匹配要求即为设定一个相似度阈值,比如提取的磁场指纹在所述视觉地图中对应的图像信息中的特征点与当前图像信息中的特征点的相似度达到99%,而相似度阈值为98%,则判定提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息达到预设的匹配要求。
判定单元50,用于若提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息达到预设的匹配要求,则判定提取的磁场指纹在所述视觉地图中对应的图像信息所关联的位置信息为重新定位的位置信息;否则控制所述提取单元30继续提取磁场指纹。
在上述判定单元50中,因为提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息达到预设的匹配要求,所以可以将提取的磁场指纹在所述视觉地图中对应的图像信息对应的位置信息认为是视觉扫地机器人所处的位置信息,完成视觉扫地机器人的重定位。因为提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息未达到预设的匹配要求,则需要继续寻找达到匹配要求的图片信息,因此上述提取单元30、第一判断单元40重复工作,直到判定单元50重定位成功为止。当然,如果将相似度列表中全部磁场指纹全部提取一遍后仍未重定位成功,则说明视觉扫地机器人被劫持到位置区域。
参照图6,本实施例中,上述提取单元30,包括:
第一提取模块301,用于按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述磁场指纹。
在上述第一提取模块301中,与当前图像信息匹配度最高的磁场指纹,其在磁场地图中对应的位置信息与视觉机器人当前所述位置信息相同的概率最高,所以按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述磁场指纹,可以提高提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息达到预设的匹配要求的概率,进而提高重定位的速度。
参照图7,在另一实施例中,上述提取单元30,包括:
第二提取模块311,用于提取相似度列表中除已提取过的磁场指纹之外排序最高的第一磁场指纹,以及提取以第一磁场指纹为参考点的指定范围内的第二磁场指纹,其中第二磁场指纹为未被提取过的磁场指纹。
在上述第二提取单元311中,一般情况下,视觉地图中的图像信息会对应磁场指纹地图中的多个磁场指纹,比如建立视觉地图时,每行进1米采集一次图像信息,而在建立磁场指纹地图时,每行进0.2米记录一个磁场指纹,此时,磁场指纹地图会将多个磁场指纹与对应的图像信息关联,以得到图像信息关联的位置信息。所以,当提取一个位于相似度列表中没有被提取过的、且与当前磁场指纹相似度最高的第一磁场指纹时,同时提取第一磁场指纹指定范围内的第二磁场指纹,此时,可以进一步地提高查找与当前图像信息达到匹配要求的图像信息,进而提高重定位的速度。本实施例中,上述参考点为指定范围的中心点。在其它实施例中,也可以是一条直线上的某一段的中心点,如在磁场指纹地图中在一条直线上的多个位置对应的磁场指纹,以第一磁场指纹对应的位置为中心,其两端相邻的相同数量的位置对应的磁场指纹为第二磁场指纹。
参照图8,本实施例中,上述视觉扫地机器人还包括:
第二判断单元101,用于判断所述视觉扫地机器人采集的场景图像是否为连续场景;
判定劫持单元102,用于若所述场景图像不是连续场景,则判定所述扫地机器人被劫持;
第三判断单元103,用于判断所述扫地机器人被劫持状态是否结束;
第一生成单元104,用于若判定所述扫地机器人被劫持状态结束,则生成重定位指令。
视觉扫地机器人在清扫过程中会连续采集场景图像,所以场景图像的内容是连续的,通过第二判断单元101判断如果场景图像的风格或特征突然变化(正常的避障转弯引起的变化会被剔除),则判定劫持单元102判定视觉扫地机器人被劫持,然后通过第三判断单元103判断劫持状态是否结束,如果劫持状态结束,则第一生成单元104生成重定位指令,以便于确定已清扫区域,继续进行清扫任务。
参照图9,本实施例中,上述第三判断单元103,包括:
获取姿态模块1031,用于利用姿态传感器采所述扫地机器人的移动加速度变化值和偏转角度变化值;
劫持结束判定模块1032,用于若所述移动加速度变化值和偏转角度变化值分别小于预设的加速度阈值和偏转角阈值,则判定所述扫地机器人被劫持状态结束,否则,判定所述扫地机器人人处于被劫持状态。
视觉扫地机器人劫持状态结束后,其会被放置在清扫地面上,此时获取姿态模块1031获取到的移动加速度会接近于零,偏转角度也不会发生过大的变化,所以劫持结束判定模块1032通过移动加速度变化值和偏转角度变化值即可准确判断出劫持状态是否结束。在其它实施例中,因为扫地机器人被劫持,所以运动系统仍在工作,可以根据扫地机器人的运动系统指定的移动方向和实际移动方向进行比较,如果两者相同,且移动速度与运动系统的里程计记录的数据相匹配,同样可以认为劫持状态结束。
参照图10,在另一实施例中,上述视觉扫地机器人还包括:
任务判断单元111,用于视觉扫地机器人重新上电时,判断前一次清扫任务是否完成;
第二生成单元112,用于若未完成前一次的清扫任务,则生成所述重定位指令。
视觉扫地机器人在未完成清扫任务时,可能被用户人为断电或其它原因而停止清扫任务,当再次上电时,为了提高清扫效率,任务判断单元111要判断前一次清扫任务是否完成,如果没有完成,第二生成单元112生成重定位指令,以重新定位,以便于找到上一次停止清扫的位置,以便于继续清扫。在判断前一次清扫任务是否完成之前,一般还会通过时间分析单元先判断前一次清扫结束的时间,如果距离当前时间的时间长度大于预设时间长度,则无需判断前一次清扫任务是否完成,而是直接开始新的清扫任务。
本实施例中,上述视觉扫地机器人还包括:
地图建立单元,用于所述视觉扫地机器人在全覆盖清扫策略下启动,以起始位置开始,扫地机器人每行进第一指定距离采集一次图像信息,并根据视觉定位系统获取对应图像信息的位置信息,将所述图像信息和位置信息关联存储到第一数据库中,第一数据库中的多组图像信息和其对应的位置信息形成所述视觉地图;以及,以起始位置开始,扫地机器人每行进第二指定距离采集一次磁场指纹,并将磁场指纹与当前视觉定位系统获取的位置信息关联存储在第二数据库中,第二数据库中的多组磁场指纹和其关联的位置信息形成所述磁场地图。
在地图建立单元中,即为建立磁场指纹地图和视觉地图的过程。第一指定距离大于第二指定距离。在一具体实施例中,第一指定距离是第二指定距离的整数倍。视觉扫地机器人会在全覆盖清扫策略下实时建立磁场指纹地图和视觉地图,同时将磁场指纹地图中的磁场指纹与视觉地图中位置相关联,进而可以根据磁场指纹找到对应的图像信息。
本发明的视觉扫地机器人,先利用当前位置的当前磁场指纹在磁场指纹地图进行匹配度的排序,然后按照匹配度的高低顺序逐个提取磁场指纹地图中磁场指纹,根据提取的磁场指纹对应的位置信息,在视觉地图中找到对应的图像信息,并将找到的图像信息与当前图像信息比较,提高找到匹配度达到要求的图像信息,进而提高重定位的速度。又因为当前磁场指纹与磁场指纹地图匹配时,计算量小,所以可以快速地找到对应当前磁场指纹对应的位置,然后在视觉地图上使用该位置的图像信息与当前图像信息比较,无需逐一地与视觉地图中的图像信息比较,降低视觉扫地机器人在重定位过程中的计算量,进一步地提高重定位的速度。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视觉扫地机器人的定位方法,其特征在于,所述视觉扫地机器人中存储有磁场指纹地图和视觉地图;所述重定位方法,包括:
S1、获取所述视觉机器人当前位置的当前磁场指纹和当前图像信息;
S2、将所述当前磁场指纹分别与磁场指纹地图中的磁场指纹一一对比,建立当前磁场指纹与所述磁场指纹地图中的磁场指纹相似度由高到低排序的相似度列表;
S3、按照预设规则提取所述相似度列表中的磁场指纹;
S4、判断提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息是否达到预设的匹配要求;
S5、若达到预设的匹配要求,则判定提取的磁场指纹在所述视觉地图中对应的图像信息所关联的位置信息为重新定位的位置信息;若未达到预设的匹配要求,则返回步骤S3。
2.根据权利要求1所述的视觉扫地机器人的定位方法,其特征在于,所述按照预设规则提取所述相似度列表中的磁场指纹的步骤S3,包括:
S301、按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述磁场指纹。
3.根据权利要求1所述的视觉扫地机器人的定位方法,其特征在于,所述按照预设规则提取所述相似度列表中的磁场指纹的步骤S3,包括:
S311、提取相似度列表中除已提取过的磁场指纹之外排序最高的第一磁场指纹,以及提取以第一磁场指纹为参考点的指定范围内的第二磁场指纹,其中第二磁场指纹为未被提取过的磁场指纹。
4.根据权利要求1所述的视觉扫地机器人的重定位方法,其特征在于,所述获取重定位指令,根据所述重定位指令采集当前位置的当前磁场指纹和当前图像信息的步骤S1之前,包括:
S101、判断所述视觉扫地机器人采集的场景图像是否为连续场景;
S102、若所述场景图像不是连续场景,则判定所述扫地机器人被劫持;
S103、判断所述扫地机器人被劫持状态是否结束;
S104、若判定所述扫地机器人被劫持状态结束,则生成重定位指令。
5.根据权利要求1所述的视觉扫地机器人的重定位方法,其特征在于,所述获取重定位指令,根据所述重定位指令采集当前位置的当前磁场指纹和当前图像信息的步骤S1之前,包括:
S121、所述视觉扫地机器人在全覆盖清扫策略下启动,以起始位置开始,扫地机器人每行进第一指定距离采集一次图像信息,并根据视觉定位系统获取对应图像信息的位置信息,将所述图像信息和位置信息关联存储到第一数据库中,第一数据库中的多组图像信息和其对应的位置信息形成所述视觉地图;以及,以起始位置开始,扫地机器人每行进第二指定距离采集一次磁场指纹,并将磁场指纹与当前视觉定位系统获取的位置信息关联存储在第二数据库中,第二数据库中的多组磁场指纹和其关联的位置信息形成所述磁场地图。
6.一种视觉扫地机器人,其特征在于,所述视觉扫地机器人中存储有磁场指纹地图和视觉地图;所述视觉扫地机器人,包括:
获取单元,用于获取所述视觉机器人当前位置的当前磁场指纹和当前图像信息;
对比建立单元,用于将所述当前磁场指纹分别与磁场指纹地图中的磁场指纹一一对比,建立当前磁场指纹与所述磁场指纹地图中的磁场指纹相似度由高到低排序的相似度列表;
提取单元,用于按照预设规则提取所述相似度列表中的磁场指纹;
第一判断单元,用于判断提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息是否达到预设的匹配要求;
判定单元,用于若提取的磁场指纹在所述视觉地图中对应的图像信息与当前图像信息达到预设的匹配要求,则判定提取的磁场指纹在所述视觉地图中对应的图像信息所关联的位置信息为重新定位的位置信息;否则控制所述提取单元继续提取磁场指纹。
7.根据权利要求6所述的视觉扫地机器人,其特征在于,所述提取单元,包括:
第一提取模块,用于按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述磁场指纹。
8.根据权利要求6所述的视觉扫地机器人,其特征在于,所述提取单元,包括:
第二提取模块,用于提取相似度列表中除已提取过的磁场指纹之外排序最高的第一磁场指纹,以及提取以第一磁场指纹为参考点的指定范围内的第二磁场指纹,其中第二磁场指纹为未被提取过的磁场指纹。
9.根据权利要求6所述的视觉扫地机器人,其特征在于,还包括:
第二判断单元,用于判断所述视觉扫地机器人采集的场景图像是否为连续场景;
判定劫持单元,用于若所述场景图像不是连续场景,则判定所述扫地机器人被劫持;
第三判断单元,用于判断所述扫地机器人被劫持状态是否结束;
第一生成单元,用于若判定所述扫地机器人被劫持状态结束,则生成重定位指令。
10.根据权利要求6所述的视觉扫地机器人,其特征在于,还包括:
地图建立单元,用于所述视觉扫地机器人在全覆盖清扫策略下启动,以起始位置开始,扫地机器人每行进第一指定距离采集一次图像信息,并根据视觉定位系统获取对应图像信息的位置信息,将所述图像信息和位置信息关联存储到第一数据库中,第一数据库中的多组图像信息和其对应的位置信息形成所述视觉地图;以及,以起始位置开始,扫地机器人每行进第二指定距离采集一次磁场指纹,并将磁场指纹与当前视觉定位系统获取的位置信息关联存储在第二数据库中,第二数据库中的多组磁场指纹和其关联的位置信息形成所述磁场地图。
CN201711209103.9A 2017-11-27 2017-11-27 视觉扫地机器人及其重定位方法 Active CN107969995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711209103.9A CN107969995B (zh) 2017-11-27 2017-11-27 视觉扫地机器人及其重定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711209103.9A CN107969995B (zh) 2017-11-27 2017-11-27 视觉扫地机器人及其重定位方法

Publications (2)

Publication Number Publication Date
CN107969995A true CN107969995A (zh) 2018-05-01
CN107969995B CN107969995B (zh) 2020-09-25

Family

ID=62012036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711209103.9A Active CN107969995B (zh) 2017-11-27 2017-11-27 视觉扫地机器人及其重定位方法

Country Status (1)

Country Link
CN (1) CN107969995B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109549569A (zh) * 2018-12-28 2019-04-02 珠海凯浩电子有限公司 一种根据地磁强弱方向清扫的扫地机器人
WO2020015548A1 (zh) * 2018-07-19 2020-01-23 科沃斯机器人股份有限公司 机器人控制方法、机器人及存储介质
WO2020052154A1 (zh) * 2018-09-13 2020-03-19 珠海格力电器股份有限公司 清洁监控方法、装置及吸尘器和移动终端
CN111158374A (zh) * 2020-01-10 2020-05-15 惠州拓邦电气技术有限公司 重定位方法、系统、移动机器人及存储介质
CN111202470A (zh) * 2018-11-21 2020-05-29 北京石头世纪科技股份有限公司 智能清洁设备、重定位方法及装置、存储介质、电子设备
CN112414391A (zh) * 2019-08-20 2021-02-26 北京京东乾石科技有限公司 一种机器人的重定位方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130116968A1 (en) * 2010-05-19 2013-05-09 Nokia Corporation Extended fingerprint generation
US20140171098A1 (en) * 2012-12-14 2014-06-19 Apple Inc. Location determination using a state space estimator
CN105547301A (zh) * 2016-02-25 2016-05-04 华南理工大学 基于地磁的室内地图构建方法与装置
CN107037806A (zh) * 2016-02-04 2017-08-11 科沃斯机器人股份有限公司 自移动机器人重新定位方法及采用该方法的自移动机器人
CN107356256A (zh) * 2017-07-05 2017-11-17 中国矿业大学 一种多源数据混合的室内高精度定位系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130116968A1 (en) * 2010-05-19 2013-05-09 Nokia Corporation Extended fingerprint generation
US20140171098A1 (en) * 2012-12-14 2014-06-19 Apple Inc. Location determination using a state space estimator
CN107037806A (zh) * 2016-02-04 2017-08-11 科沃斯机器人股份有限公司 自移动机器人重新定位方法及采用该方法的自移动机器人
CN105547301A (zh) * 2016-02-25 2016-05-04 华南理工大学 基于地磁的室内地图构建方法与装置
CN107356256A (zh) * 2017-07-05 2017-11-17 中国矿业大学 一种多源数据混合的室内高精度定位系统和方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020015548A1 (zh) * 2018-07-19 2020-01-23 科沃斯机器人股份有限公司 机器人控制方法、机器人及存储介质
CN110733033A (zh) * 2018-07-19 2020-01-31 科沃斯机器人股份有限公司 机器人控制方法、机器人及存储介质
US11534916B2 (en) 2018-07-19 2022-12-27 Ecovacs Robotics Co., Ltd. Robot control method, robot and storage medium
US11850753B2 (en) 2018-07-19 2023-12-26 Ecovacs Robotics Co., Ltd. Robot control method, robot and storage medium
WO2020052154A1 (zh) * 2018-09-13 2020-03-19 珠海格力电器股份有限公司 清洁监控方法、装置及吸尘器和移动终端
CN111202470A (zh) * 2018-11-21 2020-05-29 北京石头世纪科技股份有限公司 智能清洁设备、重定位方法及装置、存储介质、电子设备
CN109549569A (zh) * 2018-12-28 2019-04-02 珠海凯浩电子有限公司 一种根据地磁强弱方向清扫的扫地机器人
CN112414391A (zh) * 2019-08-20 2021-02-26 北京京东乾石科技有限公司 一种机器人的重定位方法及装置
CN112414391B (zh) * 2019-08-20 2024-06-18 北京京东乾石科技有限公司 一种机器人的重定位方法及装置
CN111158374A (zh) * 2020-01-10 2020-05-15 惠州拓邦电气技术有限公司 重定位方法、系统、移动机器人及存储介质

Also Published As

Publication number Publication date
CN107969995B (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN107969995A (zh) 视觉扫地机器人及其重定位方法
CN105617638B (zh) 羽毛球挥拍动作识别方法和装置
Zhang et al. Hierarchical topic model based object association for semantic SLAM
CN100397410C (zh) 基于视频的面部表情识别方法及装置
CN106355604B (zh) 图像目标跟踪方法与系统
CN105139425B (zh) 一种人数统计方法及装置
CN109522853B (zh) 面向监控视频的人脸检测与搜索方法
Wang et al. Gait recognition based on 3D skeleton joints captured by kinect
CN112327852B (zh) 融合路径信息丰富度的移动机器人自主探索方法
CN106327526A (zh) 图像目标跟踪方法与系统
CN109146972A (zh) 基于快速特征点提取及网格化三角形约束的视觉导航方法
CN109213882A (zh) 图片排序方法及终端
US9582711B2 (en) Robot cleaner, apparatus and method for recognizing gesture
CN109308437B (zh) 动作识别纠错方法、电子设备、存储介质
CN106980844A (zh) 一种基于人脸识别系统的人物关系挖掘系统及方法
CN111239763A (zh) 对象的定位方法、装置、存储介质和处理器
CN110599129A (zh) 一种基于图像追踪校园考勤方法、装置、识别终端及系统
JP5432677B2 (ja) クラスタリングを使用したビデオ概要の生成方法とシステム
CN108089695A (zh) 一种控制可移动设备的方法和装置
CN107220634B (zh) 基于改进d-p算法与多模板匹配的手势识别方法
Sarantopoulos et al. Total singulation with modular reinforcement learning
Yan et al. Human-object interaction recognition using multitask neural network
WO2020205981A1 (en) Adaptive learning and matching of face modalities
Jin et al. Essential body-joint and atomic action detection for human activity recognition using longest common subsequence algorithm
CN104765739B (zh) 基于形状空间的大规模人脸数据库检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190906

Address after: Room 402, 4th floor, Kanghe Sheng Building, New Energy Innovation Industrial Park, No. 1 Chuangsheng Road, Nanshan District, Shenzhen City, Guangdong Province, 518000

Applicant after: Shenzhen Infinite Power Development Co., Ltd.

Address before: 518000 B, block 1079, garden city digital garden, Nanhai Road, Shekou, Shenzhen, Guangdong, 503, Nanshan District 602, China

Applicant before: SHENZHEN WOTE WODE CO., LTD.

GR01 Patent grant
GR01 Patent grant