CN115346256A - 机器人寻人方法及系统 - Google Patents

机器人寻人方法及系统 Download PDF

Info

Publication number
CN115346256A
CN115346256A CN202210945431.XA CN202210945431A CN115346256A CN 115346256 A CN115346256 A CN 115346256A CN 202210945431 A CN202210945431 A CN 202210945431A CN 115346256 A CN115346256 A CN 115346256A
Authority
CN
China
Prior art keywords
robot
information
person
searching
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210945431.XA
Other languages
English (en)
Inventor
袁智鹏
王恒华
柏林
刘彪
舒海燕
袁添厦
沈创芸
祝涛剑
方映峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Gosuncn Robot Co Ltd
Original Assignee
Guangzhou Gosuncn Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Gosuncn Robot Co Ltd filed Critical Guangzhou Gosuncn Robot Co Ltd
Priority to CN202210945431.XA priority Critical patent/CN115346256A/zh
Publication of CN115346256A publication Critical patent/CN115346256A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种机器人寻人方法及系统,方法包括以下步骤:向机器人输入被寻人员的信息和使用者信息,并同步至后台管理系统;后台管理系统根据被寻人员的信息,进行历史记录检索;机器人按照设定的巡逻路线自主导航行走,基于历史记录位置和/或使用者输入的走丢位置自动规划路径进行寻找;进行人员检索匹配,人员检索包括人体检测、人脸识别、高度检测和颜色识别;匹配一致后,通过后台管理系统进行通知和确认。本发明能够根据被寻人员的信息,通过自动规划路径进行识别寻找,不受环境影响,覆盖范围广,寻人效率和准确率高,并且支持目标跟随和位置动态共享,引导寻人方与被寻人员会合,避免已找到人员再次走丢。

Description

机器人寻人方法及系统
技术领域
本发明涉及机器人制造技术领域,更具体地,涉及一种机器人寻人方法及系统。
背景技术
目前,现有技术中的机器人寻人方法,通常基于固定布置的监控摄像头采集人脸图像信息,与参照人脸图像进行匹配,搜寻被找对象。通过在环境中不同位置放置具备自主移动能力的机器人,用户将目标寻找对象图像输入到其中一台机器人。然后,机器人将图像共享到其他机器人中。接着,所有机器人原地通过机身摄像头采集环境中过往人员的人脸图像,并与参照人脸图像进行匹配,进行人员识别。找到匹配的人员后,用户旁的机器人根据识别到被寻人员的机器人的所在位置,自主导航引领用户前往确认。
但是,现有的机器人寻人方法,机器人定点采集人脸图像,覆盖范围有限。并且机器人仅采集人脸信息,识别准确率易受拍照角度、遮挡物等因素影响。
发明内容
本发明的一个目的是提供一种机器人寻人方法的新技术方案,至少能够解决现有技术中的机器人寻人方法不受环境影响,识别准确率低等问题。
本发明的第一方面,提供了一种机器人寻人方法,包括以下步骤:
向机器人输入被寻人员的信息和使用者信息,并将所述被寻人员的信息和所述使用者信息同步至后台管理系统;其中,所述被寻人员的信息包括姓名、性别、身高、图片和衣服颜色类别;
根据所述被寻人员的信息和/或所述使用者信息,所述机器人按照设定的巡逻路线自主导航行走,进行历史记录检索;
所述机器人在行走过程中,基于历史记录位置和/或使用者输入的走丢位置自动规划路径进行寻找;
所述机器人在寻找过程中采集人员信息,并将所述人员信息进行人员检索匹配,所述人员检索包括人体检测、人脸识别、高度检测和颜色识别;
在所述人员信息与所述被寻人员匹配一致后,通过所述后台管理系统进行通知和确认,完成机器人寻人任务。
可选地,根据所述被寻人员的信息和/或所述使用者信息,所述机器人按照设定的巡逻路线自主导航行走,进行历史记录检索的步骤包括:
通过激光雷达扫描环境轮廓构建地图,并按照设定的所述巡逻路线自主导航行走,以采集环境中的人脸图像信息;
根据采集的所述人脸图像信息上报所述后台管理系统;
预设历史记录的时间范围,以接收使用者输入的信息时刻为基准,并通过所述后台管理系统检索所在环境中的所述人脸图形信息;
将筛选出的所述人脸图像信息与输入的参考人脸图像进行匹配。
可选地,所述机器人在行走过程中,基于历史记录位置和/或使用者输入的走丢位置自动规划路径进行寻找的步骤包括:
预先在机器人扫描的地图中标记机器人可行走路段,并设置路段编号;
以历史记录位置或使用者输入的走丢位置为圆心,根据预设的搜索半径阶梯值作不同半径的圆;
将所有圆的路段排序组合,生成完整的路段搜索顺序;
自主规划路径寻找,并在机器人行走搜索过程中,确定所述后台管理系统收到的人脸图像与参考的人脸图像是否匹配,并继续寻找。
可选地,自主规划路径寻找的步骤包括:
按照地图中的路段编号顺序,根据由小到大或由大到小的顺序以此行走寻找;
当机器人当前所在路段与最小路段编号差值小于最大路段编号差值绝对值时,取由小到大的顺序行走寻找。
可选地,所述机器人在寻找过程中采集人员信息,并将所述人员信息进行人员检索匹配的步骤包括:
在机器人行走过程中,采集环境的红外图像;
对采集的所述红外图像进行图像二值化,并进行特征提取;
将提取的样本特征输入到分类器,与已有的训练样本模型进行匹配,得到识别结果。
可选地,进行人员检索匹配的步骤还包括:
通过红外传感器检测到有人时,采集环境RGB图像,得到每张人脸的边界框坐标;
进行人脸对齐,得到统一角度和姿态的标准人脸;
将标准化的人脸图像进行特征建模,得到向量化的人脸特征;
将所述人脸特征与分类器的训练模板进行判别,得到识别结果。
可选地,进行人员检索匹配的步骤还包括:
预先将红外传感器的图像坐标系与激光雷达的坐标系进行关联映射,得到红外图像提供的坐标区域位置内的障碍物距离数据;
基于所述障碍物距离数据,计算激光线测得的人体高度,并取最大值作为高度测量值;
将高度值与使用者输入的身高进行对比,判断潜在的寻找对象。
可选地,进行人员检索匹配的步骤还包括:
将人在红外图像上的坐标区域位置信息同步到机身摄像头,对红外图像提供的坐标区域位置进行颜色识别;
识别到的颜色类别与使用者输入的颜色类别匹配,判断为潜在的寻找对象。
可选地,在所述人员信息与所述被寻人员匹配一致后,通过所述后台管理系统进行通知和确认,完成机器人寻人任务的步骤包括:
人脸识别成功后,基于输入的所述被寻人员信息,通过语音播报喊话,提醒被寻人员;
基于识别对象的高度、颜色给对象进行编号,保持对目标对象进行人脸识别;
使用者在机器人上操作确认找到,发送短信至使用者的移动终端,完成寻人任务。
本发明的第二方面,提供一种机器人寻人系统,应用于上述实施例中所述的机器人寻人方法,所述系统包括:
中央控制单元,所述中央控制单元用于系统的逻辑控制和数据运算;
检测模块,所述检测模块与所述中央控制单元连接,所述检测模块用于检测人脸图像信息、人脸识别、高度检测和颜色识别;
输入模块,所述输入模块与所述中央控制单元连接,所述输入模块用于输入被寻人员的信息和使用者信息,并将所述被寻人员的信息和所述使用者信息同步至后台管理系统;
导航模块,所述导航模块与所述中央控制单元连接,所述导航模块用于自主搜索规划行走路径并控制机器人自主行走;
历史记录检索模块,所述历史记录检索模块与所述中央控制单元连接,所述历史记录检索模块用于历史记录检索;
人员检索匹配模块,所述人员检索匹配模块与所述中央控制单元连接,所述人员检索匹配模块用于进行人员检索匹配;
通知模块,所述通知模块与所述中央控制单元连接,所述通知模块用于在人员检索匹配一致后,通过所述后台管理系统进行通知和确认。
本发明的机器人寻人方法,能够根据被寻人员的姓名、身高、图片以及衣服颜色等信息进行识别寻找,不受环境影响,识别准确率高,寻人效率高。同时,通过自动规划路径,实现移动时搜寻,覆盖范围广,支持目标跟随和位置动态共享,引导寻人方与被寻人员会合,避免已找到人员再次走丢。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是根据本发明实施例的机器人寻人方法的流程图;
图2是根据本发明实施例的机器人寻人系统的原理图。
附图标记:
检测模块10;
输入模块20;
导航模块30;
历史记录检索模块40;
人员检索匹配模块50;
通知模块60;
中央控制单元70。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
下面结合附图具体描述根据本发明实施例的机器人寻人方法。
如图1所示,根据本发明实施例的机器人寻人方法包括以下步骤:
向机器人输入被寻人员的信息和使用者信息,并将被寻人员的信息和使用者信息同步至后台管理系统;其中,被寻人员的信息包括姓名、性别、身高、图片和衣服颜色类别;
根据被寻人员的信息和/或使用者信息,机器人按照设定的巡逻路线自主导航行走,进行历史记录检索;
机器人在寻找过程中,基于历史记录位置和/或使用者输入的走丢位置自动规划路径进行寻找;
机器人在寻找过程中采集人员信息,并将人员信息进行人员检索匹配,人员检索包括人体检测、人脸识别、高度检测和颜色识别;
在人员信息与被寻人员匹配一致后,通过后台管理系统进行通知和确认,完成机器人寻人任务。
换言之,在本发明实施例的机器人寻人方法中,参见图1,首先,可以向机器人输入被寻人员的信息和使用者信息,并将被寻人员的信息和使用者信息同步至后台管理系统。其中,被寻人员的信息包括姓名、身高、图片和衣服颜色类别等,以便于后续进行人脸识别、体征检测,提升寻人效率,保证寻人过程不受环境影响,避免漏检。
使用者可以通过移动终端将被寻人员的信息(姓名、性别、身高、图片、衣服颜色类别等)、使用者信息(电话号码)等发送至机器人,如通过扫描机器人上的二维码,亦可通过机器人上的摄像头拍摄使用者提供的图片。另外,机器人可配备触摸屏,触摸屏支持显示环境地图信息,使用者可机器人的输入被寻人员走丢位置。信息输入完成后,通知使用者在地图中的指定位置等待,使用者操作确认后,然后机器人开始寻人,并将输入信息同步至后台管理系统。
在本发明中,机器人具备自主导航移动能力,支持人体识别、人体身高采集、人脸图像采集。监控摄像头布置在环境中的固定位置,支持人脸图像采集。
在本发明中,人体识别可以采用红外传感器,基于红外传感器检测识别物是否为人。人体身高采集可以通过激光雷达测距和三角原理换算得到。人脸图像采集可以采用机器人上的摄像头(在本发明中统称为机身摄像头)和环境固定的监控摄像头(在本发明中统称为监控摄像头),机器人上的摄像头可以拍摄使用者提供的图片,机器人上的摄像头所采集的人脸图像信息包含图像、机器人实时位置以及采集时间等。环境中的监控摄像头工作时采集的环境中的人脸图像信息可以包含图像以及采集时间等。
后台管理系统能够接收设备采集的图像数据进行匹配,实现数据接收、处理和结果分发,对机器人和监控摄像头等设备进行统一控制管理。通信设备可以支持4G/5G/WiFi/有线网络等。
然后,可以根据被寻人员的信息和/或使用者信息,机器人可以按照设定的巡逻路线自主导航行走,进行历史记录检索。机器人在行走过程中,可以基于历史记录位置和/或使用者输入的走丢位置自动规划路径进行寻找。通过自动规划路径,实现移动时搜寻,覆盖范围广,支持目标跟随和位置动态共享,引导寻人方与被寻人员会合,避免已找到人员再次走丢。
接着,机器人在寻找过程中可以采集人员信息,并将人员信息进行人员检索匹配,人员检索包括人体检测、人脸识别、高度检测和颜色识别,提高检测的全面性,防止漏检。在人员信息与被寻人员匹配一致后,通过后台管理系统进行通知和确认,完成机器人寻人任务。
由此,根据本发明实施例的机器人寻人方法,能够根据被寻人员的姓名、身高、图片以及衣服颜色等信息进行识别寻找,不受环境影响,识别准确率高,寻人效率高。同时,通过自动规划路径,实现移动时搜寻,覆盖范围广,支持目标跟随和位置动态共享,引导寻人方与被寻人员会合,避免已找到人员再次走丢。
根据本发明的一个实施例,根据被寻人员的信息和/或使用者信息,机器人按照设定的巡逻路线自主导航行走,进行历史记录检索的步骤包括:
通过激光雷达扫描环境轮廓构建地图,并按照设定的巡逻路线自主导航行走,以采集环境中的人脸图像信息;
根据采集的人脸图像信息上报后台管理系统;
预设历史记录的时间范围,以接收使用者输入的信息时刻为基准,并通过后台管理系统检索所在环境中的人脸图形信息;
将筛选出的人脸图像信息与输入的参考人脸图像进行匹配。
也就是说,在寻人过程中,机器人可以通过激光雷达扫描环境轮廓构建地图,并按照设定的巡逻路线自主导航行走,采集环境中的人脸图像信息(含图像、机器人实时位置、采集时间),并上报后台管理系统。监控摄像头工作时采集环境中的人脸图像信息(含图像、采集时间),并上报后台管理系统。通过预设历史记录的时间检索范围,接收到使用者输入的信息时刻为基准。通过后台管理系统检索所在环境中所有机器人及监控摄像头采集过的人脸图像数据,并将筛选的人脸图像数据与输入的参考人脸图像进行匹配。
若匹配成功,则以最后时刻的图像作为参考,预先在机器人的地图中标定摄像头的位置和编号,将图像对应的机器人位置/摄像头编号发送给使用者操作的机器人。其中,最后时刻的图像可以理解为距离输入信息最接近的时刻。若匹配失败,则以使用者输入的走丢位置为参考。若匹配失败,且使用者未输入走丢位置,则机器人自主规划路径寻找。机器人自主寻人过程中,其他机器人及监控摄像头继续采集环境人脸图像信息,并上报后台管理系统。
根据本发明的一个实施例,机器人在行走过程中,基于历史记录位置和/或使用者输入的走丢位置自动规划路径进行寻找的步骤包括:
预先在机器人扫描的地图中标记机器人可行走路段,并设置路段编号;
以历史记录位置或使用者输入的走丢位置为圆心,根据预设的搜索半径阶梯值作不同半径的圆;
将所有圆的路段排序组合,生成完整的路段搜索顺序;
自主规划路径寻找,并在机器人行走搜索过程中,确定后台管理系统收到的人脸图像与参考的人脸图像是否匹配,并继续寻找。
换句话说,可以预先在机器人扫描的地图中标记机器人可行走路段,并设置路段编号。基于历史记录位置/使用者输入的走丢位置寻找,以历史记录位置/使用者输入的走丢位置为圆心,根据预设的搜索半径阶梯值作不同半径的圆(如半径10m、20m、30m、40m…,直至机器人地图被圆完整包含在内)。首先在最小半径的圆中根据地图坐标遍历得到圆内部包含的路段,将对应的路段列入搜索队列首位(如圆内存在多个路段,则按路段编号按从小到达的顺序排列,编号小的路段优先搜索,大的其次)。接着按半径递增顺序,得到每个圆内部的路段及搜索顺序(需剔除前一半径的圆内的路段),最终将所有圆的路段排序组合,生成完整的路段搜索顺序(半径小的圆内的路段在前)。
根据本发明的一个实施例,自主规划路径寻找的步骤包括:
按照地图中的路段编号顺序,根据由小到大或由大到小的顺序以此行走寻找;
当机器人当前所在路段与最小路段编号差值绝对值小于最大路段编号差值时,取由小到大的顺序行走寻找。
也就是说,在自主规划路径寻找中,可以按照地图中的路段编号顺序,按由小到大/由大到小的顺序依次行走寻找,机器人当前所在路段与最小路段编号差值小于与最大路段编号差值绝对值时,取由小到大的顺序,反之则取由大到小的顺序。机器人行走搜索过程中,若后台管理系统收到监控摄像头采集的人脸图像并匹配成功,则后台管理系统将摄像头编号发送至搜寻的机器人,机器人根据摄像头编号前往摄像头所在位置,并给于新的参考位置继续寻找。机器人行走搜索过程中,若后台管理系统收到其他机器人采集的人脸图像并匹配成功,则后台管理系统分派搜寻任务给当前采集到匹配人脸的机器人,并通知原负责搜寻的机器人任务取消。
在本发明的一些具体实施方式中,进机器人在寻找过程中采集人员信息,并将人员信息行人员匹配的步骤包括:
在机器人行走过程中,采集环境的红外图像;
对采集的红外图像进行图像二值化,并进行特征提取;
将提取的样本特征输入到分类器,与已有的训练样本模型进行匹配,得到识别结果。
可选地,进行人员检索匹配的步骤还包括:
通过红外传感器检测到有人时,采集环境RGB图像,得到每张人脸的边界框坐标;
进行人脸对齐,得到统一角度和姿态的标准人脸;
将标准化的人脸图像进行特征建模,得到向量化的人脸特征;
将人脸特征与分类器的训练模板进行判别,得到识别结果。
可选地,进行人员检索匹配的步骤还包括:
预先将红外传感器的图像坐标系与激光雷达的坐标系进行关联映射,得到红外图像提供的坐标区域位置内的障碍物距离数据;
基于障碍物距离数据,计算激光线测得的人体高度,并取最大值作为高度测量值;
将高度值与使用者输入的身高进行对比,判断潜在的寻找对象。
可选地,进行人员检索匹配的步骤还包括:
将人在红外图像上的坐标区域位置信息同步到摄像头,对红外图像提供的坐标区域位置进行颜色识别;
识别到的颜色类别与使用者输入的颜色类别匹配,判断为潜在的寻找对象。
换句话说,在人员检索匹配中,首先,可以进行人体检测,机器人行走过程中,通过红外传感器采集环境的红外图像,图像采集完毕后将彩色图像二值化,转换成灰度图。然后对二值化后的图像进行噪声滤除、图像分割、特征提取,最后将提取的样本特征输入到分类器,与已有的训练样本模型进行匹配,得到识别结果。
若识别结果为有人,则返回进行人脸识别。若识别结果为无人,则继续行走并采集红外图像
然后,可以进行人脸识别,机器人通过红外传感器检测到有人时,通过摄像头采集环境RGB图像,图像经人脸检测器处理,得到每张人脸的边界框坐标。然后进行人脸对齐,基于人脸的关键点(如眼角、鼻尖、嘴角)进行相似变换,得到统一角度和姿态的标准人脸。接着,将标准化的人脸图像进行特征建模得到向量化的人脸特征。最后,将人脸特征与分类器的训练模板进行判别得到识别结果。
另外,亦可预先将红外传感器的图像坐标系与摄像头的图像坐标系进行关联映射(基于红外传感器、摄像头的视场角和安装位置设定),红外传感器检测到有人后,将人在红外图像上的坐标区域位置信息同步到摄像头,摄像头采集到RGB图像后,基于坐标映射关系,对红外图像提供的坐标区域位置进行人脸识别。
若识别到人脸,但与寻找对象的人脸不匹配,则机器人继续行走和检测;若识别到人脸,且与寻找对象的人脸匹配,则进行通知及确认;若未识别到人脸(比如背对机器人/遮挡),则跳转检测人体的体征信息(身高、衣物颜色)。
接着,可以进行高度检测,根据红外传感器、激光雷达的视场角和安装位置,预先将红外传感器的图像坐标系与激光雷达的坐标系进行关联映射。红外传感器检测到有人后,将人在红外图像上的坐标区域位置信息同步到激光雷达。激光雷达在纵向(天地方向)发射多条激光线速扫描环境障碍物信息,并基于坐标映射关系,得到红外图像提供的坐标区域位置内的障碍物距离数据。
基于激光雷达测得的障碍物距离、各激光线速与水平面的夹角、激光雷达的安装高度计算各激光线速测得的人体高度,取最大值作为高度测量值。将高度值与使用者输入的身高进行比对,若两者差值的绝对值小于设定值,则判定为潜在寻找对象,接着进入颜色识别。反之,则判定为非寻找对象,则机器人继续按路线行走检测。预先在机器人地图上标记斜坡区域,若机器人当前坐标位于在斜坡区域时,则不进行高度检测,直接进行颜色识别。若机器人不在斜坡区域,基于激光雷达检测到障碍物(行人)的距离和角度,根据机器人的坐标及障碍物距离、角度,判断障碍物是否位于斜坡上,若是,则不进行高度检测,直接进行颜色识别。
最后,可以进行颜色识别,红外传感器检测到有人后,且激光雷达通过高度检测到潜在目标对象,则将人在红外图像上的坐标区域位置信息同步到摄像头,摄像头采集到RGB图像后,基于坐标映射关系,对红外图像提供的坐标区域位置进行颜色识别。
在颜色识别方法中,可以将对应坐标区域位置的图像转换为HSV颜色空间,基于颜色直方图方法得到各颜色值的像素个数及其占完整图像像素的比例(预设各颜色类别与颜色值的关联关系),然后结合使用者输入的颜色类别,得到目标颜色类别的像素个数及比例。当目标颜色比例大于设定值时,视为检测对象的颜色类别匹配。反之则不匹配,判定为非寻找对象,机器人继续按路线行走检测。
若识别到的颜色类别与使用者输入的颜色类别匹配,则判定为潜在寻找对象,并基于识别对象的高度、颜色给对象进行编号,机器人行走过程中(沿规划的路段行走)持续对该编号对象的进行人脸识别,自动调节摄像头角度使目标对象保持在视场角中心,直至得到识别结果;若识别到的人脸与寻找对象的人脸不匹配,则机器人继续行走和检测;若识别到的人脸与寻找对象的人脸匹配。
根据本发明的一个实施例,在人员信息与被寻人员匹配一致后,通过后台管理系统进行通知和确认,完成机器人寻人任务的步骤包括:
人脸识别成功后,基于输入的被寻人员信息,通过语音播报喊话,提醒被寻人员;
基于识别对象的高度、颜色给对象进行编号,保持对目标对象进行人脸识别;
使用者在机器人上操作确认找到,发送短信至使用者的移动终端,完成寻人任务。
也就是说,人脸识别成功后,机器人基于输入的被寻人姓名,通过语音播报喊话,提醒被寻人员。同时,机器人通过GSM模块发送短信至使用者(发起寻人任务方)的移动终端,提示人员已找到。使用者可通过短信内的网页链接地址访问查看机器人所在位置并前往机器人处。人员找到后,机器人基于识别对象的高度、颜色给对象进行编号,保持对目标对象进行人脸识别。若目标对象继续移动,则机器人自动调节摄像头角度使目标对象保持在视场角中心,并结合激光雷达扫描得到的人员距离进行位置调整,确保目标对象与机器人的距离在设定范围内,此时机器人不再按规划的路段继续行走。
使用者(发起寻人任务方)在机器人上操作确认找到,机器人发送短信验证码至使用者的移动终端,使用者在机器人上输入验证码后,验证通过即可结束寻人任务。若从机器人发送人员已找到短信给使用者后,超过设定时间未检测到使用者的确认找到操作,则寻人任务自动结束。
若所有路段搜寻完成,但未找到匹配的被寻人员,则机器人通过GSM模块发送短信至使用者(发起寻人任务方)的移动终端,通知使用者被寻人员未找到,机器人结束寻人任务。
本发明的机器人寻人方法,机器人支持根据寻人基础信息自主规划路径,实现移动搜寻。机器人支持人体检测、人脸识别、体征检测(身高、衣服颜色),可调整摄像头角度进行检测识别,筛选式检测可降低样本检测数量,提升效率,同时避免因角度/遮挡等因素引起的漏检。该方法支持结合后台管理系统与固定式监控摄像头,实现组合搜寻及机器人调度。并且支持通过短信通知寻人发起方,实现结果通知和机器人位置共享。
本发明的机器人寻人方法,采用移动式搜寻,覆盖范围广。通过人脸识别和体征检测进行筛选检测,提升效率,避免漏检。采用机器人和固定式监控摄像头组合搜寻,提升效率。机器人支持目标跟随和位置动态共享,引导寻人方与被寻人员汇合,避免已找到人员再次走散。
根据本发明的第二方面,提供一种机器人寻人系统,应用于上述实施例中的机器人寻人方法,如图2所示,系统包括中央控制单元70、检测模块10、输入模块20、导航模块30、历史记录检索模块40、人员检索匹配模块50和通知模块60。其中,参见图2,中央控制单元70用于系统的逻辑控制和数据运算。检测模块10与中央控制单元70连接,检测模块10用于检测人脸图像信息、人脸识别、高度检测和颜色识别。输入模块20与中央控制单元70连接,输入模块20用于输入被寻人员的信息和使用者信息,并将被寻人员的信息和使用者信息同步至后台管理系统。导航模块30与中央控制单元70连接,导航模块30用于自主搜索规划行走路径并控制机器人自主行走。历史记录检索模块40与中央控制单元70连接,历史记录检索模块40用于历史记录检索。人员检索匹配模块50与中央控制单元70连接,人员检索匹配模块50用于进行人员检索匹配。其中,历史记录检索模块40和人员检索匹配模块50可以归属于后台管理系统。通知模块60与中央控制单元70连接,通知模块60用于在人员检索匹配一致后,通过后台管理系统进行通知和确认。
本发明的机器人寻人系统,机器人支持根据寻人基础信息自主规划路径,实现移动搜寻。机器人支持人体检测、人脸识别、体征检测(身高、衣服颜色),可调整摄像头角度进行检测识别,筛选式检测可降低样本检测数量,提升效率,同时避免因角度/遮挡等因素引起的漏检。该方法支持结合后台管理系统与固定式监控摄像头,实现组合搜寻及机器人调度。并且支持通过短信通知寻人发起方,实现结果通知和机器人位置共享。
本发明的机器人寻人系统,采用移动式搜寻,覆盖范围广。通过人脸识别和体征检测进行筛选检测,提升效率,避免漏检。采用机器人和固定式监控摄像头组合搜寻,提升效率。机器人支持目标跟随和位置动态共享,引导寻人方与被寻人员汇合,避免已找到人员再次走散。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种机器人寻人方法,其特征在于,包括以下步骤:
向机器人输入被寻人员的信息和使用者信息,并将所述被寻人员的信息和所述使用者信息同步至后台管理系统;其中,所述被寻人员的信息包括姓名、性别、身高、图片和衣服颜色类别;
根据所述被寻人员的信息和/或所述使用者信息,所述机器人按照设定的巡逻路线自主导航行走,进行历史记录检索;
所述机器人在行走过程中,基于历史记录位置和/或使用者输入的走丢位置自动规划路径进行寻找;
所述机器人在寻找过程中采集人员信息,并将所述人员信息进行人员检索匹配,所述人员检索包括人体检测、人脸识别、高度检测和颜色识别;
在所述人员信息与所述被寻人员匹配一致后,通过所述后台管理系统进行通知和确认,完成机器人寻人任务。
2.根据权利要求1所述的机器人寻人方法,其特征在于,根据所述被寻人员的信息和/或所述使用者信息,所述机器人按照设定的巡逻路线自主导航行走,进行历史记录检索的步骤包括:
通过激光雷达扫描环境轮廓构建地图,并按照设定的所述巡逻路线自主导航行走,以采集环境中的人脸图像信息;
根据采集的所述人脸图像信息上报所述后台管理系统;
预设历史记录的时间范围,以接收使用者输入的信息时刻为基准,并通过所述后台管理系统检索所在环境中的所述人脸图形信息;
将筛选出的所述人脸图像信息与输入的参考人脸图像进行匹配。
3.根据权利要求1所述的机器人寻人方法,其特征在于,所述机器人在行走过程中,基于历史记录位置和/或使用者输入的走丢位置自动规划路径进行寻找的步骤包括:
预先在机器人扫描的地图中标记机器人可行走路段,并设置路段编号;
以历史记录位置或使用者输入的走丢位置为圆心,根据预设的搜索半径阶梯值作不同半径的圆;
将所有圆的路段排序组合,生成完整的路段搜索顺序;
自主规划路径寻找,并在机器人行走搜索过程中,确定所述后台管理系统收到的人脸图像与参考的人脸图像是否匹配,并继续寻找。
4.根据权利要求1所述的机器人寻人方法,其特征在于,自主规划路径寻找的步骤包括:
按照地图中的路段编号顺序,根据由小到大或由大到小的顺序以此行走寻找;
当机器人当前所在路段与最小路段编号差值小于最大路段编号差值绝对值时,取由小到大的顺序行走寻找。
5.根据权利要求1所述的机器人寻人方法,其特征在于,所述机器人在寻找过程中采集人员信息,并将所述人员信息进行人员检索匹配的步骤包括:
在机器人行走过程中,采集环境的红外图像;
对采集的所述红外图像进行图像二值化,并进行特征提取;
将提取的样本特征输入到分类器,与已有的训练样本模型进行匹配,得到识别结果。
6.根据权利要求5所述的机器人寻人方法,其特征在于,进行人员检索匹配的步骤还包括:
通过红外传感器检测到有人时,采集环境RGB图像,得到每张人脸的边界框坐标;
进行人脸对齐,得到统一角度和姿态的标准人脸;
将标准化的人脸图像进行特征建模,得到向量化的人脸特征;
将所述人脸特征与分类器的训练模板进行判别,得到识别结果。
7.根据权利要求6所述的机器人寻人方法,其特征在于,进行人员检索匹配的步骤还包括:
预先将红外传感器的图像坐标系与激光雷达的坐标系进行关联映射,得到红外图像提供的坐标区域位置内的障碍物距离数据;
基于所述障碍物距离数据,计算激光线测得的人体高度,并取最大值作为高度测量值;
将高度值与使用者输入的身高进行对比,判断潜在的寻找对象。
8.根据权利要求7所述的机器人寻人方法,其特征在于,进行人员检索匹配的步骤还包括:
将人在红外图像上的坐标区域位置信息同步到机身摄像头,对红外图像提供的坐标区域位置进行颜色识别;
识别到的颜色类别与使用者输入的颜色类别匹配,判断为潜在的寻找对象。
9.根据权利要求8所述的机器人寻人方法,其特征在于,在所述人员信息与所述被寻人员匹配一致后,通过所述后台管理系统进行通知和确认,完成机器人寻人任务的步骤包括:
人脸识别成功后,基于输入的所述被寻人员信息,通过语音播报喊话,提醒被寻人员;
基于识别对象的高度、颜色给对象进行编号,保持对目标对象进行人脸识别;
使用者在机器人上操作确认找到,发送短信至使用者的移动终端,完成寻人任务。
10.一种机器人寻人系统,应用于权利要求1-9中任一项所述的机器人寻人方法,其特征在于,所述系统包括:
中央控制单元,所述中央控制单元用于系统的逻辑控制和数据运算;
检测模块,所述检测模块与所述中央控制单元连接,所述检测模块用于检测人脸图像信息、人脸识别、高度检测和颜色识别;
输入模块,所述输入模块与所述中央控制单元连接,所述输入模块用于输入被寻人员的信息和使用者信息,并将所述被寻人员的信息和所述使用者信息同步至后台管理系统;
导航模块,所述导航模块与所述中央控制单元连接,所述导航模块用于自主搜索规划行走路径并控制机器人自主行走;
历史记录检索模块,所述历史记录检索模块与所述中央控制单元连接,所述历史记录检索模块用于历史记录检索;
人员检索匹配模块,所述人员检索匹配模块与所述中央控制单元连接,所述人员检索匹配模块用于进行人员检索匹配;
通知模块,所述通知模块与所述中央控制单元连接,所述通知模块用于在人员检索匹配一致后,通过所述后台管理系统进行通知和确认。
CN202210945431.XA 2022-08-08 2022-08-08 机器人寻人方法及系统 Pending CN115346256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210945431.XA CN115346256A (zh) 2022-08-08 2022-08-08 机器人寻人方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210945431.XA CN115346256A (zh) 2022-08-08 2022-08-08 机器人寻人方法及系统

Publications (1)

Publication Number Publication Date
CN115346256A true CN115346256A (zh) 2022-11-15

Family

ID=83950709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210945431.XA Pending CN115346256A (zh) 2022-08-08 2022-08-08 机器人寻人方法及系统

Country Status (1)

Country Link
CN (1) CN115346256A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115963825A (zh) * 2022-12-23 2023-04-14 美的集团(上海)有限公司 智能设备及其控制方法和装置、计算机程序产品
CN116030449A (zh) * 2023-02-17 2023-04-28 济南邦德激光股份有限公司 一种激光切割件的自动分拣方法及自动分拣系统
CN116682134A (zh) * 2023-01-16 2023-09-01 南京信江物联网技术有限公司 适用于智慧旅游的数据处理方法及系统
CN117690541A (zh) * 2024-02-01 2024-03-12 深圳大学总医院 一种护理记录系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115963825A (zh) * 2022-12-23 2023-04-14 美的集团(上海)有限公司 智能设备及其控制方法和装置、计算机程序产品
CN115963825B (zh) * 2022-12-23 2024-03-26 美的集团(上海)有限公司 智能设备及其控制方法和装置、计算机程序产品
CN116682134A (zh) * 2023-01-16 2023-09-01 南京信江物联网技术有限公司 适用于智慧旅游的数据处理方法及系统
CN116682134B (zh) * 2023-01-16 2023-11-03 南京信江物联网技术有限公司 适用于智慧旅游的数据处理方法及系统
CN116030449A (zh) * 2023-02-17 2023-04-28 济南邦德激光股份有限公司 一种激光切割件的自动分拣方法及自动分拣系统
CN116030449B (zh) * 2023-02-17 2023-09-01 济南邦德激光股份有限公司 一种激光切割件的自动分拣方法及自动分拣系统
CN117690541A (zh) * 2024-02-01 2024-03-12 深圳大学总医院 一种护理记录系统
CN117690541B (zh) * 2024-02-01 2024-04-30 深圳大学总医院 一种护理记录系统

Similar Documents

Publication Publication Date Title
CN115346256A (zh) 机器人寻人方法及系统
US10818188B2 (en) Method for dispatching a vehicle to a user's location
JP3781370B2 (ja) 移動装置
JP4970195B2 (ja) 人物追跡システム、人物追跡装置および人物追跡プログラム
EP1672456B1 (en) Target object detection apparatus and robot provided with the same
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
WO2004011314A1 (ja) 駅ホームにおける安全監視装置
CN111814752B (zh) 室内定位实现方法、服务器、智能移动设备、存储介质
CN109448326B (zh) 一种基于快速图像识别的地质灾害智能群防监测系统
CN106162144A (zh) 一种用于夜视环境的视觉图像处理设备、系统和智能机器
EP3680813A1 (en) Method and system for detecting objects installed within a building
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
US20160055382A1 (en) Vehicle discrimination apparatus
KR20160109761A (ko) 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템
JP6503079B2 (ja) 特定人物検知システム、特定人物検知方法および検知装置
CN115170792B (zh) 红外图像处理方法、装置及设备、存储介质
CN111460985A (zh) 基于跨摄像头人体匹配的现场工人轨迹统计方法和系统
KR20210025327A (ko) 이동 로봇 및 그 제어 방법
CN113359692A (zh) 一种障碍物的避让方法、可移动机器人
CN110263719B (zh) 基于大数据监控的人工智能油气田防范判别系统与方法
CN112033390A (zh) 机器人导航纠偏方法、装置、设备和计算机可读存储介质
CN109993107B (zh) 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法
CN117152719B (zh) 除草障碍物检测方法、设备、存储介质及装置
KR101560810B1 (ko) 템플릿 영상을 이용한 공간 관리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination