CN109309813A - 适应室内的智能跟随方法及智能跟随机器人 - Google Patents
适应室内的智能跟随方法及智能跟随机器人 Download PDFInfo
- Publication number
- CN109309813A CN109309813A CN201811228417.8A CN201811228417A CN109309813A CN 109309813 A CN109309813 A CN 109309813A CN 201811228417 A CN201811228417 A CN 201811228417A CN 109309813 A CN109309813 A CN 109309813A
- Authority
- CN
- China
- Prior art keywords
- target
- template
- point cloud
- robot
- children
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 49
- 238000000605 extraction Methods 0.000 claims description 26
- 239000000284 extract Substances 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 17
- 230000006978 adaptation Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 12
- 238000001914 filtration Methods 0.000 description 10
- 230000036544 posture Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 7
- 241001269238 Data Species 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000003449 preventive effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 235000007926 Craterellus fallax Nutrition 0.000 description 2
- 240000007175 Datura inoxia Species 0.000 description 2
- 206010053615 Thermal burn Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
Abstract
本发明提供了适应室内的智能跟随方法及智能跟随机器人,该方法实施例包括以下步骤:首先实时采集周围环境的点云数据,然后对点云数据进行点云分割,得到多个目标点云,分别从多个目标点云中提取目标特征,再将提取出的多个目标特征与预先建立的目标模板的特征进行匹配,识别出跟随目标,预先建立的目标模板包括跟随目标模板,最后获取跟随目标的位置,并据此跟随跟随目标的走动。该方法实施例主要应用于在室内环境下对需要被看护、照看、监视的人进行人体跟随,以避免需要被看护、照看、监视的人因触碰到危险物品导致发生危险。
Description
技术领域
本发明涉及室内安防技术领域,特别涉及适应室内的智能跟随方法及智能跟随机器人。
背景技术
随着社会的发展,人们意识水平有所提高,逐渐增加对老幼病残孕的关爱和照顾。对于低龄儿童和高龄老人这样的被看护方来说,在家庭室内活动时可能会发生危险。
当家长或保姆有事外出时,低龄儿童单独在家,儿童可能会出于好奇心旺盛等原因,在屋内走动以寻找能够把玩的事物,此时由于儿童并未对屋内所有的事物都有足够的认识,因此若屋内开着火炉、燃气炉,或者开着电吹风等家用电器,或厨房刀具被放在能够被儿童够到的地方,就可能会发生危险,导致儿童受伤。对高龄老人同理,当护工有事外出时,老人单独在家,老人可能会出于身体或生理的原因在屋内走动,例如接一杯水喝或去卫生间,但可能因为记性不好或不知情而去操作处于工作状态的高压锅,或因为听力不好或不知情而去操作处于工作状态的洗衣机等,导致老人受伤。
因此在看护方因外出等原因未能使被看护方处于看护方的视线范围内时,需要防止被看护方在室内因触碰到危险物品导致发生危险的情况发生。
发明内容
(一)发明目的
为克服上述现有技术存在的至少一种缺陷,防止被看护方在室内因触碰到危险物品导致发生危险的情况发生,本发明提供了以下技术方案。
(二)技术方案
作为本发明的第一方面,本发明公开了适应室内的智能跟随方法,包括:
实时采集周围环境的点云数据;
对所述点云数据进行点云分割,得到多个目标点云,分别从所述多个目标点云中提取目标特征;
将提取出的多个所述目标特征与预先建立的目标模板的特征进行匹配,识别出跟随目标;
获取所述跟随目标的位置,并据此跟随所述跟随目标的走动;其中,
所述预先建立的目标模板包括跟随目标模板。
一种可能的实施方式中,在所述跟随所述跟随目标时,实时采集所述跟随目标的图像并发送给看护方。
一种可能的实施方式中,该方法还包括:
接收看护方上传的音视频数据并播放。
一种可能的实施方式中,所述预先建立的目标模板还包括危险目标模板;
在所述将提取出的多个所述目标特征与预先建立的目标模板的特征进行匹配时,若同时识别出所述跟随目标以及危险目标,则获取所述危险目标的位置,并实时计算所述跟随目标和所述危险目标之间的距离,在所述跟随目标和所述危险目标的距离低于预设的阈值时报警。
一种可能的实施方式中,建立所述目标模板包括:
采集作为模板的目标的点云数据,对所述模板的点云数据进行点云分割,得到模板目标点云,并从所述模板目标点云中提取模板目标特征;
重复执行上述步骤,得到多个候选的模板目标特征,对所述多个候选的模板目标特征进行处理得到最终模板目标特征,依据所述最终模板目标特征建立所述目标模板。
一种可能的实施方式中,所述报警的方式包括以下至少一项:发声、震动、通过无线通信向警报设备发送告警信号、通过无线通信向警报设备发送所述跟随目标和/或所述危险目标的名称。
一种可能的实施方式中,在所述预先建立的目标模板有多个时,所述多个目标模板的名称各不相同。
作为本发明的第二方面,本发明公开了适应室内的智能跟随机器人,包括:
第一采集设备,用于实时采集周围环境的点云数据;
特征提取模块,用于对所述点云数据进行点云分割,得到多个目标点云,分别从所述多个目标点云中提取目标特征;
目标识别模块,用于将提取出的多个所述目标特征与预先建立的目标模板的特征进行匹配,识别出跟随目标;
位置获取模块,用于获取所述跟随目标的位置;
跟随控制模块,用于根据所述获取的跟随目标位置驱动所述机器人跟随所述跟随目标;其中,
所述预先建立的目标模板包括跟随目标模板。
一种可能的实施方式中,所述机器人还包括:第二采集设备,用于在所述机器人跟随所述跟随目标时,实时采集所述跟随目标的图像并发送给看护方。
一种可能的实施方式中,所述机器人还包括:视频播放设备,用于接收看护方上传的音视频数据并播放。
一种可能的实施方式中,所述预先建立的目标模板还包括危险目标模板,所述目标识别模块还用于识别出危险目标,所述位置获取模块还用于获取所述危险目标的位置,所述机器人还包括报警模块;
在所述目标识别模块同时识别出所述跟随目标以及所述危险目标,则所述位置获取模块实时计算所述跟随目标和所述危险目标之间的距离,所述报警模块用于在所述跟随目标和所述危险目标的距离低于预设的阈值时报警。
一种可能的实施方式中,所述报警模块包括以下至少一项:
发声单元,用于发声报警;
震动单元,用于震动报警;
无线通信单元,用于向警报设备发送告警信号和/或所述跟随目标名称和/或所述危险目标名称。
一种可能的实施方式中,所述机器人还包括:模板建立模块,用于建立所述目标模板;所述模板建立模块包括:
模板特征提取单元,用于控制所述第一采集设备采集作为模板的目标的点云数据,控制滤波模块去除噪声点,保留有效点,控制所述特征提取模块对所述模板的点云数据进行点云分割,得到模板目标点云,并从所述模板目标点云中提取模板目标特征;
目标模板建立单元,用于控制所述模板特征提取单元重复采集点云数据、进行点云分割、提取模板目标特征,以得到多个所述模板目标特征,并对所述多个模板目标特征进行处理得到模板目标特征,依据所述模板目标特征建立所述目标模板。
一种可能的实施方式中,所述机器人还包括:名称定义模块,用于为每个所述目标模版定义互不相同的名称。
(三)有益效果
本发明提供的适应室内的智能跟随方法及智能跟随机器人,具有如下有益效果:
1、在室内环境下对需要被看护、照看、监视的跟随目标进行人体跟随。
2、在发现可能会使跟随目标受伤的危险目标,并在跟随目标与危险目标相距过近时报警,以避免跟随目标因触碰到危险目标导致发生危险。
3、对跟随目标进行远程视频监看。
附图说明
以下参考附图描述的实施例是示例性的,旨在用于解释和说明本发明,而不能理解为对本发明的保护范围的限制。
图1是本申请提供的第一实施例的适应室内的智能跟随方法的流程示意图。
图2是本申请提供的第二实施例的适应室内的智能跟随方法的流程示意图。
图3是本申请提供的第三实施例的适应室内的智能跟随机器人的结构框图。
图4是本申请提供的第四实施例的适应室内的智能跟随机器人的结构框图。
具体实施方式
为使本发明实施的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行更加详细的描述。
需要说明的是:在附图中,自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例,而不是全部的实施例,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本文中,“第一”、“第二”等仅用于彼此的区分,而非表示它们的重要程度及顺序等。
本文中的模块、单元或组件的划分仅仅是一种逻辑功能的划分,在实际实现时可以有其他的划分方式,例如多个模块和/或单元可以结合或集成于另一个系统中。作为分离部件说明的模块、单元、组件在物理上可以是分开的,也可以是不分开的。作为单元显示的部件可以是物理单元,也可以不是物理单元,即可以位于一个具体地方,也可以分布到网格单元中。因此可以根据实际需要选择其中的部分或全部的单元来实现实施例的方案。
下面参考图1详细描述本发明提供的适应室内的智能跟随方法的其中一个实施例,即第一实施例。本实施例主要应用于在室内环境下对需要被看护、照看、监视的人进行人体跟随,以避免需要被看护、照看、监视的人因触碰到危险物品导致发生危险。
如图1所示,本实施例提供的适应室内的智能跟随方法包括如下步骤:
步骤100,实时采集周围环境的点云数据。
当被看护方(例如儿童)在某屋内时,首先通过跟随机器人采集屋内环境的点云数据,以查找作为跟随目标的被看护方。在对跟随目标进行跟随之前,首先要确认出跟随目标是否在周围环境内(屋内)。
点云数据,也称点云,是通过测量仪器得到的产品外观表面的点数据集合,每一个点包含有三维坐标,并可能含有颜色信息或反射强度信息。
点云数据作为原始数据,为后续确认跟随目标的存在及位置提供数据基础。
步骤200,对点云数据进行点云分割,得到多个目标点云,分别从多个目标点云中提取目标特征。
点云分割的目的提取点云数据中的不同物体,得到点云数据中分属不同物体的点云数据(目标点云),然后从这些分属不同物体的点云数据中分别提取目标特征。
具体的,在步骤100中跟随机器人采集到周围环境的点云数据包含有位于跟随机器人左侧的床、床边的儿童、正对着跟随机器人的墙边开着的火炉以及位于采集设备右侧的衣柜,则上述这些物体或人均为目标,步骤200中跟随机器人需要将包含有上述目标的点云数据进行分割,得到分属于不同物体或人的点云数据,然后分别从这些点云数据中提取目标特征。特征包括几何形状,例如床和衣柜的几何形状是类长方体,则床和衣柜的目标特征就包括长方体特征,在后续对目标进行识别时,即可识别出具有长方体特征部分的点云数据为床或衣柜;对于儿童来说,目标特征就是圆形的头部、柱状的躯干等。
可以理解的是,点云分割后得到的多个目标点云可能只是物体或人的一部分,例如儿童的的腿部被床遮挡,则点云数据中只有儿童的上半身,目标点云也只有儿童的上半身,因此提取出来的目标特征也只包括儿童的上半身。
步骤300,将提取出的多个目标特征与预先建立的目标模板的特征进行匹配,识别出跟随目标。其中,预先建立的目标模板包括跟随目标模板。
跟随机器人内置有预先建立的目标模板的特征,即跟随目标的模板的特征是已经预先知晓的。在步骤200中从多个目标点云数据中提取出多个目标特征后,将提取出的各个目标特征分别与目标模板的特征进行对比、匹配,以从各目标中识别出跟随目标。
具体的,儿童是跟随机器人需要跟随的目标,即跟随目标,跟随机器人从步骤200中提取出的包含有床的目标特征、儿童的目标特征、火炉的目标特征以及衣柜的目标特征分别与儿童模板特征进行对比,识别出各目标特征中儿童的目标特征,进而识别出儿童。
可以理解的是,目标模板中的特征较为丰富,使得即使提取出的目标特征不是跟随目标的完整形状(例如只有上半身的儿童),也能够以此识别出跟随目标(即儿童)。
步骤400,获取跟随目标的位置,并据此跟随跟随目标的走动。
跟随机器人在识别出作为跟随目标的儿童后,能够根据实时采集点云数据来获取儿童的实时位置,并跟随儿童的走动而移动。获取到的儿童位置可以是通过儿童相对于跟随机器人的相对距离以及相对方位确定的,跟随儿童的走动而移动也是根据跟随机器人与儿童之间的相对距离的相对方位进行移动,例如儿童向远离跟随机器人的方向走动时,儿童与跟随机器人的距离增加,跟随机器人就需要向儿童走动的方向移动以保持相对距离;儿童向跟随机器人左侧走动时,跟随机器人需要随着儿童的移动而转变自身方向,以保持正面面对儿童,进而能够持续采集到儿童的点云数据。
在跟随儿童移动的过程中,跟随机器人能够代替看护方实时监控儿童的位置,防止儿童触碰到危险物品。
在一种实施方式中,步骤200中在对点云数据进行点云分割之前,先去除点云数据中的噪声点,得到点云数据的有效点集合,再对有效点集合进行点云分割。
步骤100中采集到的点云数据中,由于采集设备自身的原因或外界环境因素导致点云数据中可能会包含有噪声点,因此在对点云数据进行分割、提取等处理之前,先将噪声点除去,只保留点云数据的有效点,并对有效点进行点云分割、提取等处理,以增加数据真实性。
在一种实施方式中,在步骤200中,通过RANSAC算法对点云数据进行点云分割。RANSAC(Random Sample Consensus),是根据一组包含异常数据的样本数据集,计算出数据的数学模型参数,得到有效样本数据的算法。利用RANSAC检测方法,能够分割出点云模型中代表性几何特征点集,分割出来的目标点云更贴近于真实的人体和物体。
在一种实施方式中,在跟随跟随目标时,实时采集跟随目标的图像并发送给预设的看护方。
跟随机器人能够和家长的手机等便携式电子设备进行通信,并且跟随机器人在确认了跟随目标后,在跟随儿童/老人移动时,会在实时采集包含有跟随目标的点云数据时,还实时采集包含有跟随目标的图像数据,并将图像数据发送给看护方的便携式电子设备,看护方可以出门在外时,随时打开便携式电子设备观看室内儿童/老人的情况,以掌握儿童/老人的动向,并在看到可能会发生危险时采取一些预防性措施来阻止危险发生。
可以理解的是,跟随机器人可以在启动并开始采集周围环境的点云数据时,就开始实时采集图像数据并发送给看护方,以尽量增加看护方对室内情况的了解。
在一种实施方式中,该方法还包括:
步骤A,接收看护方上传的音视频数据并播放。
看护方外出前可以启动跟随机器人,或者设定时间来延迟启动跟随机器人,看护方在外时可以将随身携带的便携式电子设备上的音视频数据上传发送给跟随机器人,跟随机器人配备的播放设备可以下载并播放看护方上传的音视频数据,对儿童进行音乐播放、讲故事、外语播放等娱乐教育,同时还能吸引儿童的注意力,避免儿童四处走动进而增加触碰到危险物品的几率。
在一种实施方式中,建立目标模板的方式包括以下步骤:
首先采集作为模板的目标的点云数据,然后对模板的点云数据进行点云分割,得到模板目标点云,并从模板目标点云中提取模板目标特征。重复执行上述采集、滤波、分割、特征提取步骤,分别得到多个候选的模板目标特征,对多个候选的模板目标特征进行处理得到最终模板目标特征,依据最终模板目标特征建立目标模板。
目标模板是预先建立的,在跟随机器人工作并跟随儿童移动之前建立的。建立目标模板的过程称为训练阶段。在训练阶段,家长可以使用跟随机器人的激光雷达对跟随目标(人体)进行扫描,一般是让人体站在背景干净的地方(例如家中的整面墙壁),利用激光雷达对人体进行反复多次扫描,对每次扫描取得的点云数据进行滤波、分割、特征提取,利用提取的目标特征建立跟随目标模板。并且在建立目标模板时,可以针对同一跟随对象的不同姿势建立多个目标模板,例如儿童的站姿、蹲姿等能够做出触碰危险物品的姿势。每个跟随目标的不同姿势的目标模板均要经过多次的上述采集、滤波、分割、特征提取步骤,以得到跟随目标的一个姿势的目标模板。
若同一跟随目标有多个不同姿势,或有多个跟随目标的模板,则在步骤300中将提取出的目标特征与目标模板进行对比、匹配时,是对所有的目标模板进行匹配,匹配任一目标模板均可。
可以理解的是,在对点云数据进行分割之前,可以先通过滤波去除点云数据中的噪声点,保留有效点,得到点云数据的有效点集合,然后对模板的点云数据有效点集合进行点云分割,并且通过RANSAC算法进行点云分割。在重复执行步骤时,重复执行采集、滤波、分割、提取的步骤。并且,上述对多个候选的模板目标特征进行处理得到最终模板目标特征时的处理方式主要为:通过对多个候选的模板目标特征取平均值的方式得到最终模板目标特征。
在一种实施方式中,在预先建立的目标模板有多个时,多个目标模板的名称各不相同。
如果有多个跟随目标,则为每个跟随目标建立目标模板,并且可以为每个目标模板定义不同的名称,例如将大儿子的目标模板命名为“大儿子”,将小儿子的目标模板命名为“小儿子”,将小闺女的目标模板命名为“小闺女”,以便于在屋内只有大儿子或跟随机器人只跟随大儿子时,可以将跟随机器人设置为只与大儿子的目标模板进行匹配,同时在记录跟随日志时也可以辨明跟随目标是谁,以便于后期翻阅查看。
下面参考图2详细描述本发明提供的适应室内的智能跟随方法的其中一个实施例,即第二实施例。本实施例主要应用于在室内环境下对需要被看护、照看、监视的人进行人体跟随,同时在发现可能会使人受伤的危险目标时,在人与危险目标相距过近时报警,以避免需要被看护、照看、监视的人因触碰到危险目标导致发生危险。
如图2所示,本实施例提供的适应室内的智能跟随方法包括如下步骤:
步骤100,实时采集周围环境的点云数据。
当被看护方(例如儿童)在某屋内时,首先通过跟随机器人采集屋内环境的点云数据,以查找作为跟随目标的被看护方。在对跟随目标进行跟随之前,首先要确认出跟随目标是否在周围环境内(屋内)。
步骤200,对点云数据进行点云分割,得到多个目标点云,分别从多个目标点云中提取目标特征。
点云分割的目的提取点云数据中的不同物体,得到点云数据中分属不同物体的点云数据(目标点云),然后从这些分属不同物体的点云数据中分别提取目标特征。
具体的,在步骤100中跟随机器人采集到周围环境的点云数据包含有位于跟随机器人左侧的床、床边的儿童、正对着采集设备的墙边开着的火炉以及位于跟随机器人右侧的衣柜,则上述这些物体或人均为目标,步骤200中跟随机器人需要将包含有上述目标的点云数据进行分割,得到分属于不同物体或人的点云数据,然后分别从这些点云数据中提取目标特征。
可以理解的是,点云分割后得到的多个目标点云可能只是物体或人的一部分,例如儿童的的腿部被床遮挡,则点云数据中只有儿童的上半身,目标点云也只有儿童的上半身,因此提取出来的目标特征也只包括儿童的上半身。
步骤300,将提取出的多个目标特征与预先建立的目标模板的特征进行匹配,识别出跟随目标。其中,预先建立的目标模板包括跟随目标模板和危险目标模板。
跟随目标是跟随机器人需要跟随的人,危险目标则是在跟随目标与其相距太近时可能会使跟随目标发生危险的物体,例如容易烫伤儿童的火炉、容易使儿童跌落的窗台等。
跟随机器人内置有预先建立的目标模板的特征,即跟随目标和危险目标的模板的特征是已经预先知晓的。在步骤200中从多个目标点云数据中提取出多个目标特征后,将提取出的各个目标特征分别与跟随目标的模板特征进行对比、匹配,以从各目标中识别出跟随目标,同时还将提取出的各个目标特征分别与危险目标的模板特征进行对比、匹配,以从各目标中识别出危险目标。
具体的,儿童是跟随机器人需要跟随的目标,即跟随目标,跟随机器人从步骤200中提取出的包含有床的目标特征、儿童的目标特征、火炉的目标特征以及衣柜的目标特征分别与儿童模板特征进行对比,识别出各目标特征中儿童的目标特征,进而识别出儿童,并且跟随机器人还从步骤200中提取出的包含有床的目标特征、儿童的目标特征、火炉的目标特征以及衣柜的目标特征中分别与危险目标(如火炉、窗台)模板特征进行对比,进而识别出火炉、窗台等危险目标。
可以理解的是,目标模板中的特征较为丰富,使得即使提取出的目标特征不是跟随目标或危险目标的完整形状(例如只有上半身的儿童),也能够以此识别出跟随目标(即儿童)。
在将提取出的多个目标特征与预先建立的目标模板的特征进行匹配时,有可能只识别出跟随目标,即跟随目标目前较为安全,并且距离危险目标的距离为安全距离,因此跟随机器人的采集设备并未采集到危险目标。但也有可能会同时识别出跟随目标和危险目标,这就表示跟随目标靠近了危险目标。
步骤400,获取跟随目标的位置,并据此跟随跟随目标的走动。在将提取出的多个目标特征与预先建立的目标模板的特征进行匹配时,若同时识别出跟随目标以及危险目标,则获取危险目标的位置,并实时计算跟随目标和危险目标之间的距离,在跟随目标和危险目标的距离低于预设的阈值时报警。
跟随机器人在识别出作为跟随目标的儿童后,能够根据实时采集点云数据来获取儿童的实时位置,并跟随儿童的走动而移动。获取到的儿童位置可以是通过儿童相对于跟随机器人的相对距离以及相对方位确定的,跟随儿童的走动而移动也是根据跟随机器人与儿童之间的相对距离的相对方位进行移动,例如儿童向远离跟随机器人的方向走动时,儿童与跟随机器人的距离增加,跟随机器人就需要向儿童走动的方向移动以保持相对距离;儿童向跟随机器人左侧走动时,跟随机器人需要随着儿童的移动而转变自身方向,以保持正面面对儿童,进而能够持续采集到儿童的点云数据。
若跟随机器人同时识别出了儿童和火炉,则跟随机器人同时也根据实时采集点云数据获取火炉的位置,并实时计算儿童和火炉之间的距离。若此时儿童向远离火炉的方向走动,则儿童和火炉之间的距离逐渐变大,直至跟随机器人采集不到火炉的点云数据,此时儿童远离了危险目标,无需报警。若此时儿童向靠近火炉的方向走动,则儿童和火炉之间的距离逐渐变小,直至跟随机器人判断儿童与火炉之间的距离小于预先设定的阈值(即危险距离),此时跟随机器人报警,以使儿童远离危险目标。
在跟随儿童移动的过程中,跟随机器人能够代替看护方实时监控儿童的位置,防止儿童触碰到危险物品。
在一种实施方式中,报警的方式包括以下至少一项:发声、震动、通过无线通信向警报设备发送告警信号、通过无线通信向警报设备发送跟随目标和/或危险目标的名称。
跟随机器人在判断儿童与火炉之间的距离小于预先设定的阈值,可以通过以下方式中的一种或多种来防止儿童因危险目标而受伤。
第一种:跟随机器人发出警示的声音,例如蜂鸣声,来对儿童做出警示,提醒儿童远离当前的危险物品。若家长在隔壁房间时,则可以通过警示声音来告知家长,家长即可立即来到儿童所在的房室并制止儿童进一步靠近危险目标。
第二种:跟随机器人产生高频震动,来对儿童做出警示,提醒儿童远离当前的危险物品。若家长在隔壁房间时,则可以通过震动产生的声音来告知家长,家长即可立即来到儿童所在的房室并制止儿童进一步靠近危险目标。
第三种:跟随机器人向看护人的警报设备发送告警信号。警报设备一般为看护人随身携带的手机等便携式电子设备,看护人携带手机出门后,若跟随机器人发现危险,则跟随机器人通过无线通信的方式向看护人的手机发送告警信号,看护人可以通过跟随机器人的手机APP将手机设置为响铃或震动的方式来接收告警信号,在手机在该APP控制下响铃或振动时,看护人得知儿童可能有危险。若此时看护人在屋内或离房屋不远的位置,即可立即返回屋内制止儿童,若此时看护人在较远的地方,则可以通过远程遥控智能家居的方式来关闭火炉、窗台等的危险目标或采取一些其他防护措施,防止儿童接触到危险目标。
第四种:跟随机器人向看护人的警报设备发送跟随目标和/或危险目标的名称。看护人携带手机出门后,若跟随机器人发现危险,则跟随机器人通过无线通信的方式向看护人的手机发送跟随目标和危险目标的名称,例如大儿子与火炉之间的距离为0.5米,看护人可以通过跟随机器人的手机APP将手机设置为响铃或震动的方式来接收上述信息,在手机在该APP控制下响铃或振动时,看护人得知儿童可能会遇到何种危险。若此时看护人在屋内或离房屋不远的位置,即可立即返回屋内并直接去到向儿童所在的位置制止儿童,以最快的速度防止危险发生。若此时看护人在较远的地方,则可以通过远程遥控智能家居的方式来关闭儿童所靠近的危险目标(例如火炉、窗台)或采取一些其他防护措施,防止儿童接触到火炉。
可以理解的是,上述四种报警方式可以同时选择,以增强报警效果。
在一种实施方式中,步骤200中在对点云数据进行点云分割之前,先去除点云数据中的噪声点,得到点云数据的有效点集合,再对有效点集合进行点云分割。
步骤100中采集到的点云数据中,由于采集设备自身的原因或外界环境因素导致点云数据中可能会包含有噪声点,因此在对点云数据进行分割、提取等处理之前,先将噪声点除去,只保留点云数据的有效点,并对有效点进行点云分割、提取等处理,以增加数据真实性。
在一种实施方式中,在步骤200中,通过RANSAC算法对点云数据进行点云分割。
在一种实施方式中,在跟随跟随目标时,实时采集跟随目标和/或危险目标的图像并发送给预设的看护方。
跟随机器人能够和家长的手机等便携式电子设备进行通信,并且跟随机器人在确认了跟随目标后,在跟随儿童/老人移动时,会在实时采集包含有跟随目标的点云数据时,还实时采集包含有跟随目标的图像数据,并将图像数据发送给看护方的便携式电子设备,看护方可以出门在外时,随时打开便携式电子设备观看室内儿童/老人的情况,以掌握儿童/老人的动向,并在看到可能会发生危险时采取一些预防性措施来阻止危险发生。
可以理解的是,跟随机器人可以在启动并开始采集周围环境的点云数据时,就开始实时采集图像数据并发送给看护方,以尽量增加看护方对室内情况的了解。
在一种实施方式中,该方法还包括:
步骤A,接收看护方上传的音视频数据并播放。
看护方外出前可以启动跟随机器人,或者设定时间来延迟启动跟随机器人,看护方在外时可以将随身携带的便携式电子设备上的音视频数据上传发送给跟随机器人,跟随机器人配备的播放设备可以下载并播放看护方上传的音视频数据,对儿童进行音乐播放、讲故事、外语播放等娱乐教育,同时还能吸引儿童的注意力,避免儿童四处走动进而增加触碰到危险物品的几率。
在一种实施方式中,建立目标模板的方式包括以下步骤:
首先采集作为模板的目标的点云数据,然后对模板的点云数据进行点云分割,得到模板目标点云,并从模板目标点云中提取模板目标特征。重复执行上述采集、滤波、分割、特征提取步骤,分别得到多个候选的模板目标特征,对多个候选的模板目标特征进行处理得到最终模板目标特征,依据最终模板目标特征建立目标模板。
目标模板是预先建立的,在跟随机器人工作并跟随儿童移动之前建立的。建立目标模板的过程称为训练阶段。在训练阶段,家长可以使用跟随机器人的激光雷达对跟随目标(人体)以及危险目标(火炉、窗台等)进行扫描。在扫描跟随目标时,一般是让人体站在背景干净的地方(例如家中的整面墙壁),利用激光雷达对人体进行反复多次扫描,对每次扫描取得的点云数据进行滤波、分割、特征提取,利用提取的目标特征建立跟随目标模板。并且在建立目标模板时,可以针对同一跟随对象的不同姿势建立多个目标模板,例如儿童的站姿、蹲姿等能够做出触碰危险物品的姿势。每个跟随目标的不同姿势的目标模板均要经过多次的上述采集、滤波、分割、特征提取步骤,以得到跟随目标的一个姿势的目标模板。对危险目标的扫描同理。
若同一跟随目标有多个不同姿势,或有多个跟随目标的模板,则在步骤300中将提取出的目标特征与目标模板进行对比、匹配时,是对所有的目标模板进行匹配,匹配上任一目标模板均可。
可以理解的是,在对点云数据进行分割之前,可以先通过滤波去除点云数据中的噪声点,保留有效点,得到点云数据的有效点集合,然后对模板的点云数据有效点集合进行点云分割,并且通过RANSAC算法进行点云分割。在重复执行步骤时,重复执行采集、滤波、分割、提取的步骤。并且,上述对多个候选的模板目标特征进行处理得到最终模板目标特征时的处理方式主要为:通过对多个候选的模板目标特征取平均值的方式得到最终模板目标特征。
在一种实施方式中,在预先建立的目标模板有多个时,多个目标模板的名称各不相同。
如果有多个跟随目标,则为每个跟随目标建立目标模板,并且可以为每个目标模板定义不同的名称,例如将大儿子的目标模板命名为“大儿子”,将小儿子的目标模板命名为“小儿子”,将小闺女的目标模板命名为“小闺女”,以便于在屋内只有大儿子或跟随机器人只跟随大儿子时,可以将跟随机器人设置为只与大儿子的目标模板进行匹配,同时在记录跟随日志时也可以辨明跟随目标是谁,以便于后期翻阅查看,还用于向看护人的手机发送跟随目标的名称。
如果有多个危险目标,则也为每个危险目标建立目标模板,并且可以为每个目标模板定义不同的名称,例如将火炉的目标模板命名为“火炉”,将窗台的目标模板命名为“窗台”,以便于在记录跟随日志时也可以辨明跟随目标曾经与哪个危险目标之间过于靠近,以便于后期翻阅查看,同时也用于向看护人的手机发送危险目标的名称。
下面参考图3详细描述本发明提供的适应室内的智能跟随机器人的其中一个实施例,即第三实施例。本实施例为应用上述第一实施例提供的适应室内的智能跟随方法的机器人,主要应用于在室内环境下对需要被看护、照看、监视的人进行人体跟随,以避免需要被看护、照看、监视的人因触碰到危险物品导致发生危险。
如图3所示,本实施例提供的适应室内的智能跟随机器人主要包括有:第一采集设备、特征提取模块、目标识别模块、位置获取模块和跟随控制模块。
第一采集设备用于实时采集周围环境的点云数据。具体的,第一采集设备以固定频率(例如每秒N次)采集点云数据。当被看护方(例如儿童)在某屋内时,跟随机器人首先通过第一采集设备采集屋内环境的点云数据,以查找作为跟随目标的被看护方。在对跟随目标进行跟随之前,首先要确认出跟随目标是否在周围环境内(屋内)。
特征提取模块用于对第一采集设备采集的点云数据进行点云分割,得到多个目标点云,并分别从多个目标点云中提取目标特征。具体的,跟随机器人的第一采集设备采集到周围环境的点云数据包含有位于跟随机器人左侧的床、床边的儿童、正对着跟随机器人的墙边开着的火炉以及位于采集设备右侧的衣柜,则上述这些物体或人均为目标,跟随机器人需要通过特征提取模块将包含有上述目标的点云数据进行分割,得到分属于不同物体或人的点云数据,然后分别从这些点云数据中提取目标特征。
目标识别模块用于将特征提取模块提取出的多个目标特征与预先建立的目标模板的特征进行匹配,识别出跟随目标。其中,预先建立的目标模板包括跟随目标模板。跟随机器人内置有预先建立的目标模板的特征,即跟随目标的模板的特征是已经预先知晓的。具体的,儿童是跟随机器人需要跟随的目标,即跟随目标,跟随机器人从步骤200中提取出的包含有床的目标特征、儿童的目标特征、火炉的目标特征以及衣柜的目标特征分别与儿童模板特征进行对比,识别出各目标特征中儿童的目标特征,进而识别出儿童。
位置获取模块用于在目标识别模块识别出跟随目标后,获取跟随目标的位置。跟随机器人在识别出作为跟随目标的儿童后,能够根据实时采集点云数据来获取儿童的实时位置,并跟随儿童的走动而移动。获取到的儿童位置可以是通过儿童相对于跟随机器人的相对距离以及相对方位确定的,跟随儿童的走动而移动也是根据跟随机器人与儿童之间的相对距离的相对方位进行移动,例如儿童向远离跟随机器人的方向走动时,儿童与跟随机器人的距离增加,跟随机器人就需要向儿童走动的方向移动以保持相对距离;儿童向跟随机器人左侧走动时,跟随机器人需要随着儿童的移动而转变自身方向,以保持正面面对儿童,进而能够持续采集到儿童的点云数据。
跟随控制模块用于根据位置获取模块获取的跟随目标位置驱动跟随机器人跟随跟随目标。在跟随儿童移动的过程中,跟随机器人能够代替看护方实时监控儿童的位置,防止儿童触碰到危险物品。
在一种实施方式中,第一采集设备可以采用激光雷达。激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号,然后将接收到的从目标反射回来的信号与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数,从而对目标进行探测和识别。通过激光雷达对周围环境进行实时探测,并根据探测结果确定目标点的坐标。
当一束激光照射到物体表面时,所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描,便会边扫描边记录到反射的激光点信息,由于扫描极为精细,则能够得到大量的激光点,因而就可形成激光点云。
在一种实施方式中,该机器人还包括:滤波模块用于在对第一采集设备采集的点云数据进行点云分割之前,先去除点云数据中的噪声点,得到点云数据的有效点集合。特征提取模块对经过滤波模块过滤后得到的点云数据有效点集合进行点云分割等后续处理。
由于第一采集设备自身的原因或外界环境因素导致点云数据中可能会包含有噪声点,因此在对点云数据进行分割、提取等处理之前,先通过滤波模块将噪声点除去,只保留点云数据的有效点,并对有效点进行点云分割、提取等处理,以增加数据真实性。
在一种实施方式中,特征提取模块通过RANSAC算法对点云数据进行点云分割。利用RANSAC检测方法,能够分割出点云模型中代表性几何特征点集,分割出来的目标点云更贴近于真实的人体和物体。
在一种实施方式中,机器人还包括:第二采集设备用于在机器人跟随跟随目标时,实时采集跟随目标的图像并发送给看护方。
跟随机器人能够和家长的手机等便携式电子设备进行通信,并且跟随机器人在确认了跟随目标后,在跟随儿童/老人移动时,会在实时采集包含有跟随目标的点云数据时,控制第二采集设备实时采集包含有跟随目标的图像数据,并将图像数据发送给看护方的便携式电子设备,看护方可以出门在外时,随时打开便携式电子设备观看室内儿童/老人的情况,以掌握儿童/老人的动向,并在看到可能会发生危险时采取一些预防性措施来阻止危险发生。
可以理解的是,跟随机器人可以在启动并开始采集周围环境的点云数据时,就开始实时采集图像数据并发送给看护方,以尽量增加看护方对室内情况的了解。
在一种实施方式中,机器人还包括:视频播放设备用于接收看护方上传的音视频数据并播放。
看护方外出前可以启动跟随机器人,或者设定时间来延迟启动跟随机器人,看护方在外时可以将随身携带的便携式电子设备上的音视频数据上传发送给跟随机器人,跟随机器人可以下载并通过视频播放设备播放看护方上传的音视频数据,对儿童进行音乐播放、讲故事、外语播放等娱乐教育,同时还能吸引儿童的注意力,避免儿童四处走动进而增加触碰到危险物品的几率。
在一种实施方式中,机器人还包括:模板建立模块用于建立目标模板。模板建立模块包括:
模板特征提取单元用于控制第一采集设备采集作为模板的目标的点云数据,控制特征提取模块对模板的点云数据进行点云分割,得到模板目标点云,并从模板目标点云中提取模板目标特征。
目标模板建立单元用于控制模板特征提取单元重复采集点云数据、进行点云分割、提取模板目标特征,以得到多个模板目标特征,并对多个模板目标特征进行处理得到模板目标特征,依据模板目标特征建立目标模板。
目标模板是预先建立的,在跟随机器人工作并跟随儿童移动之前通过模板建立模块建立的。建立目标模板的过程称为训练阶段。在训练阶段,家长可以使用跟随机器人的模板特征提取单元控制激光雷达对跟随目标(人体)进行扫描,一般是让人体站在背景干净的地方(例如家中的整面墙壁),利用激光雷达对人体进行反复多次扫描,对每次扫描取得的点云数据进行滤波、分割、特征提取,利用提取的目标特征建立跟随目标模板。并且在建立目标模板时,可以针对同一跟随对象的不同姿势建立多个目标模板,例如儿童的站姿、蹲姿等能够做出触碰危险物品的姿势。每个跟随目标的不同姿势的目标模板均要经过多次的上述采集、滤波、分割、特征提取步骤,以得到跟随目标的一个姿势的目标模板。
可以理解的是,在对点云数据进行分割之前,可以先通过滤波模块去除点云数据中的噪声点,保留有效点,得到点云数据的有效点集合,然后对模板的点云数据有效点集合进行点云分割,并且特征提取模块通过RANSAC算法进行点云分割。在重复执行步骤时,重复执行采集、滤波、分割、提取的步骤。并且,上述对多个候选的模板目标特征进行处理得到最终模板目标特征时的处理方式主要为:通过对多个候选的模板目标特征取平均值的方式得到最终模板目标特征。
在一种实施方式中,机器人还包括:名称定义模块用于为每个目标模版定义互不相同的名称。
如果有多个跟随目标,则名称定义模块会为在训练阶段扫描建立的每个跟随目标模板定义不同的名称,例如将大儿子的目标模板命名为“大儿子”,将小儿子的目标模板命名为“小儿子”,将小闺女的目标模板命名为“小闺女”,以便于在屋内只有大儿子或跟随机器人只跟随大儿子时,可以将跟随机器人设置为只与大儿子的目标模板进行匹配,同时在记录跟随日志时也可以辨明跟随目标是谁,以便于后期翻阅查看。
下面参考图4详细描述本发明提供的适应室内的智能跟随机器人的其中一个实施例,即第四实施例。本实施例为应用上述第二实施例提供的适应室内的智能跟随方法的机器人,主要应用于在室内环境下对需要被看护、照看、监视的人进行人体跟随,同时在发现可能会使人受伤的危险目标时,在人与危险目标相距过近时报警,以避免需要被看护、照看、监视的人因触碰到危险目标导致发生危险。
如图4所示,本实施例提供的适应室内的智能跟随机器人主要包括有:第一采集设备、特征提取模块、目标识别模块、位置获取模块、跟随控制模块和报警模块。
第一采集设备用于实时采集周围环境的点云数据。
特征提取模块用于对第一采集设备采集的点云数据进行点云分割,得到多个目标点云,并分别从多个目标点云中提取目标特征。
目标识别模块用于将特征提取模块提取出的多个目标特征与预先建立的目标模板的特征进行匹配,识别出跟随目标和危险目标。其中,预先建立的目标模板包括跟随目标模板和危险目标模板。
跟随目标是跟随机器人需要跟随的人,危险目标则是在跟随目标与其相距太近时可能会使跟随目标发生危险的物体,例如容易烫伤儿童的火炉、容易使儿童跌落的窗台等。
跟随机器人内置有预先建立的目标模板的特征,即跟随目标和危险目标的模板的特征是已经预先知晓的。在特征提取模块从多个目标点云数据中提取出多个目标特征后,目标识别模块将提取出的各个目标特征分别与跟随目标的模板特征进行对比、匹配,以从各目标中识别出跟随目标,同时还将提取出的各个目标特征分别与危险目标的模板特征进行对比、匹配,以从各目标中识别出危险目标。
具体的,儿童是跟随机器人需要跟随的目标,即跟随目标,目标识别模块将特征提取模块提取出的包含有床的目标特征、儿童的目标特征、火炉的目标特征以及衣柜的目标特征分别与儿童模板特征进行对比,识别出各目标特征中儿童的目标特征,进而识别出儿童,并且目标识别模块还将特征提取模块提取出的包含有床的目标特征、儿童的目标特征、火炉的目标特征以及衣柜的目标特征中分别与危险目标(如火炉、窗台)模板特征进行对比,进而识别出火炉、窗台等危险目标。
在将提取出的多个目标特征与预先建立的目标模板的特征进行匹配时,有可能只识别出跟随目标,即跟随目标目前较为安全,并且距离危险目标的距离为安全距离,因此跟随机器人的采集设备并未采集到危险目标。但也有可能会同时识别出跟随目标和危险目标,这就表示跟随目标靠近了危险目标。
位置获取模块用于在目标识别模块识别出跟随目标和危险目标后,获取跟随目标的位置以及危险目标的位置,并实时计算跟随目标和危险目标之间的距离。
跟随控制模块用于根据位置获取模块获取的跟随目标位置驱动跟随机器人跟随跟随目标。
报警模块用于在跟随目标和危险目标的距离低于预设的阈值时报警。
跟随机器人的目标识别模块在识别出作为跟随目标的儿童后,位置获取模块能够根据实时采集点云数据来获取儿童的实时位置,并使跟随控制模块跟随儿童的走动而驱动机器人移动。获取到的儿童位置可以是通过儿童相对于跟随机器人的相对距离以及相对方位确定的,跟随儿童的走动而移动也是根据跟随机器人与儿童之间的相对距离的相对方位进行移动,例如儿童向远离跟随机器人的方向走动时,儿童与跟随机器人的距离增加,跟随机器人就需要向儿童走动的方向移动以保持相对距离;儿童向跟随机器人左侧走动时,跟随机器人需要随着儿童的移动而转变自身方向,以保持正面面对儿童,进而能够持续采集到儿童的点云数据。
若目标识别模块同时识别出了儿童和火炉,则位置获取模块同时也根据实时采集点云数据获取火炉的位置,并实时计算儿童和火炉之间的距离。若此时儿童向远离火炉的方向走动,则儿童和火炉之间的距离逐渐变大,直至跟随机器人采集不到火炉的点云数据,此时儿童远离了危险目标,无需报警。若此时儿童向靠近火炉的方向走动,则儿童和火炉之间的距离逐渐变小,直至报警模块判断儿童与火炉之间的距离小于预先设定的阈值(即危险距离),此时报警模块报警,以使儿童远离危险目标。
在跟随儿童移动的过程中,跟随机器人能够代替看护方实时监控儿童的位置,防止儿童触碰到危险物品。
在一种实施方式中,报警模块包括以下至少一项:发声单元,震动单元,无线通信单元。
发声单元用于发声报警。
震动单元用于震动报警。
无线通信单元用于向警报设备发送告警信号和/或跟随目标名称和/或危险目标名称。
报警模块在判断儿童与火炉之间的距离小于预先设定的阈值,可以通过以下方式中的一种或多种来防止儿童因危险目标而受伤。
第一种:发声单元发出警示的声音,例如蜂鸣声,来对儿童做出警示,提醒儿童远离当前的危险物品。若家长在隔壁房间时,则可以通过警示声音来告知家长,家长即可立即来到儿童所在的房室并制止儿童进一步靠近危险目标。
第二种:震动单元产生高频震动,来对儿童做出警示,提醒儿童远离当前的危险物品。若家长在隔壁房间时,则可以通过震动产生的声音来告知家长,家长即可立即来到儿童所在的房室并制止儿童进一步靠近危险目标。
第三种:无线通信单元向看护人的警报设备发送告警信号。警报设备一般为看护人随身携带的手机等便携式电子设备,看护人携带手机出门后,若跟随机器人发现危险,则无线通信单元通过无线通信的方式向看护人的手机发送告警信号,看护人可以通过跟随机器人的手机APP将手机设置为响铃或震动的方式来接收告警信号,在手机在该APP控制下响铃或振动时,看护人得知儿童可能有危险。若此时看护人在屋内或离房屋不远的位置,即可立即返回屋内制止儿童,若此时看护人在较远的地方,则可以通过远程遥控智能家居的方式来关闭火炉、窗台等的危险目标或采取一些其他防护措施,防止儿童接触到危险目标。
第四种:无线通信单元向看护人的警报设备发送跟随目标和/或危险目标的名称。看护人携带手机出门后,若跟随机器人发现危险,则无线通信单元通过无线通信的方式向看护人的手机发送跟随目标和危险目标的名称,例如大儿子与火炉之间的距离为0.5米,看护人可以通过跟随机器人的手机APP将手机设置为响铃或震动的方式来接收上述信息,在手机在该APP控制下响铃或振动时,看护人得知儿童可能会遇到何种危险。若此时看护人在屋内或离房屋不远的位置,即可立即返回屋内并直接去到向儿童所在的位置制止儿童,以最快的速度防止危险发生。若此时看护人在较远的地方,则可以通过远程遥控智能家居的方式来关闭儿童所靠近的危险目标(例如火炉、窗台)或采取一些其他防护措施,防止儿童接触到火炉。
可以理解的是,上述报警模块的四种报警方式可以同时选择,以增强报警效果。
在一种实施方式中,第一采集设备可以采用激光雷达。
在一种实施方式中,该机器人还包括:滤波模块,用于在对第一采集设备采集的点云数据进行点云分割之前,先去除点云数据中的噪声点,得到点云数据的有效点集合。特征提取模块对经过滤波模块过滤后得到的点云数据有效点集合进行点云分割等后续处理。
在一种实施方式中,特征提取模块通过RANSAC算法对点云数据进行点云分割。利用RANSAC检测方法,能够分割出点云模型中代表性几何特征点集,分割出来的目标点云更贴近于真实的人体和物体。
在一种实施方式中,机器人还包括:第二采集设备用于在机器人跟随跟随目标时,实时采集跟随目标和/或危险目标的图像并发送给看护方。
在一种实施方式中,机器人还包括:视频播放设备用于接收看护方上传的音视频数据并播放。
在一种实施方式中,机器人还包括:模板建立模块用于建立目标模板。模板建立模块包括:
模板特征提取单元用于控制第一采集设备采集作为模板的目标的点云数据,控制特征提取模块对模板的点云数据进行点云分割,得到模板目标点云,并从模板目标点云中提取模板目标特征。
目标模板建立单元用于控制模板特征提取单元重复采集点云数据、进行点云分割、提取模板目标特征,以得到多个模板目标特征,并对多个模板目标特征进行处理得到模板目标特征,依据模板目标特征建立目标模板。
在一种实施方式中,机器人还包括:名称定义模块用于为每个目标模版定义互不相同的名称。
本实施例的第一采集设备、特征提取模块、目标识别模块、位置获取模块和跟随控制模块等部件的具体结构均可参照前述第三实施例所描述的结构设置,不再一一赘述。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种适应室内的智能跟随方法,其特征在于,包括:
实时采集周围环境的点云数据;
对所述点云数据进行点云分割,得到多个目标点云,分别从所述多个目标点云中提取目标特征;
将提取出的多个所述目标特征与预先建立的目标模板的特征进行匹配,识别出跟随目标;
获取所述跟随目标的位置,并据此跟随所述跟随目标的走动;其中,
所述预先建立的目标模板包括跟随目标模板。
2.如权利要求1所述的智能跟随方法,其特征在于,所述预先建立的目标模板还包括危险目标模板;
在所述将提取出的多个所述目标特征与预先建立的目标模板的特征进行匹配时,若同时识别出所述跟随目标以及危险目标,则获取所述危险目标的位置,并实时计算所述跟随目标和所述危险目标之间的距离,在所述跟随目标和所述危险目标的距离低于预设的阈值时报警。
3.如权利要求2所述的智能跟随方法,其特征在于,所述报警的方式包括以下至少一项:发声、震动、通过无线通信向警报设备发送告警信号、通过无线通信向警报设备发送所述跟随目标和/或所述危险目标的名称。
4.如权利要求1或2所述的智能跟随方法,其特征在于,建立所述目标模板包括:
采集作为模板的目标的点云数据,对所述模板的点云数据进行点云分割,得到模板目标点云,并从所述模板目标点云中提取模板目标特征;
重复执行上述步骤,得到多个候选的模板目标特征,对所述多个候选的模板目标特征进行处理得到最终模板目标特征,依据所述最终模板目标特征建立所述目标模板。
5.如权利要求1或2所述的智能跟随方法,其特征在于,在所述预先建立的目标模板有多个时,所述多个目标模板的名称各不相同。
6.一种适应室内的智能跟随机器人,其特征在于,包括:
第一采集设备,用于实时采集周围环境的点云数据;
特征提取模块,用于对所述点云数据进行点云分割,得到多个目标点云,分别从所述多个目标点云中提取目标特征;
目标识别模块,用于将提取出的多个所述目标特征与预先建立的目标模板的特征进行匹配,识别出跟随目标;
位置获取模块,用于获取所述跟随目标的位置;
跟随控制模块,用于根据所述获取的跟随目标位置驱动所述机器人跟随所述跟随目标;其中,
所述预先建立的目标模板包括跟随目标模板。
7.如权利要求6所述的智能跟随机器人,其特征在于,所述预先建立的目标模板还包括危险目标模板,所述目标识别模块还用于识别出危险目标,所述位置获取模块还用于获取所述危险目标的位置,所述机器人还包括报警模块;
在所述目标识别模块同时识别出所述跟随目标以及所述危险目标,则所述位置获取模块实时计算所述跟随目标和所述危险目标之间的距离,所述报警模块用于在所述跟随目标和所述危险目标的距离低于预设的阈值时报警。
8.如权利要求7所述的智能跟随机器人,其特征在于,所述报警模块包括以下至少一项:
发声单元,用于发声报警;
震动单元,用于震动报警;
无线通信单元,用于向警报设备发送告警信号和/或所述跟随目标名称和/或所述危险目标名称。
9.如权利要求6或7所述的智能跟随机器人,其特征在于,所述机器人还包括:模板建立模块,用于建立所述目标模板;所述模板建立模块包括:
模板特征提取单元,用于控制所述第一采集设备采集作为模板的目标的点云数据,控制滤波模块去除噪声点,保留有效点,控制所述特征提取模块对所述模板的点云数据进行点云分割,得到模板目标点云,并从所述模板目标点云中提取模板目标特征;
目标模板建立单元,用于控制所述模板特征提取单元重复采集点云数据、进行点云分割、提取模板目标特征,以得到多个所述模板目标特征,并对所述多个模板目标特征进行处理得到模板目标特征,依据所述模板目标特征建立所述目标模板。
10.如权利要求6或7所述的智能跟随机器人,其特征在于,所述机器人还包括:名称定义模块,用于为每个所述目标模版定义互不相同的名称。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811228417.8A CN109309813A (zh) | 2018-10-22 | 2018-10-22 | 适应室内的智能跟随方法及智能跟随机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811228417.8A CN109309813A (zh) | 2018-10-22 | 2018-10-22 | 适应室内的智能跟随方法及智能跟随机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109309813A true CN109309813A (zh) | 2019-02-05 |
Family
ID=65225350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811228417.8A Pending CN109309813A (zh) | 2018-10-22 | 2018-10-22 | 适应室内的智能跟随方法及智能跟随机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109309813A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110362091A (zh) * | 2019-08-05 | 2019-10-22 | 广东交通职业技术学院 | 一种机器人的跟随录像方法、装置及机器人 |
CN110717918A (zh) * | 2019-10-11 | 2020-01-21 | 北京百度网讯科技有限公司 | 行人检测方法和装置 |
WO2021044953A1 (ja) * | 2019-09-06 | 2021-03-11 | ソニー株式会社 | 情報処理システム及び情報処理方法 |
CN113671940A (zh) * | 2020-05-14 | 2021-11-19 | 东元电机股份有限公司 | 跟随移动平台及其方法 |
CN114153184A (zh) * | 2020-09-07 | 2022-03-08 | Oppo广东移动通信有限公司 | 智能家居管理方法、装置、设备、系统及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102973395A (zh) * | 2012-11-30 | 2013-03-20 | 中国舰船研究设计中心 | 一种多功能智能导盲方法、处理器及其装置 |
CN106155065A (zh) * | 2016-09-28 | 2016-11-23 | 上海仙知机器人科技有限公司 | 一种机器人跟随方法及用于机器人跟随的设备 |
CN107357292A (zh) * | 2017-07-13 | 2017-11-17 | 上海斐讯数据通信技术有限公司 | 一种儿童室内智能看护系统及其看护方法 |
EP2740013B1 (en) * | 2011-08-02 | 2018-08-22 | Microsoft Technology Licensing, LLC | Finding a called party |
-
2018
- 2018-10-22 CN CN201811228417.8A patent/CN109309813A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2740013B1 (en) * | 2011-08-02 | 2018-08-22 | Microsoft Technology Licensing, LLC | Finding a called party |
CN102973395A (zh) * | 2012-11-30 | 2013-03-20 | 中国舰船研究设计中心 | 一种多功能智能导盲方法、处理器及其装置 |
CN106155065A (zh) * | 2016-09-28 | 2016-11-23 | 上海仙知机器人科技有限公司 | 一种机器人跟随方法及用于机器人跟随的设备 |
CN107357292A (zh) * | 2017-07-13 | 2017-11-17 | 上海斐讯数据通信技术有限公司 | 一种儿童室内智能看护系统及其看护方法 |
Non-Patent Citations (1)
Title |
---|
《电子报》编辑部编著: "《2015年电子报合订本 下》", 30 November 2015, 成都:电子科技大学出版社 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110362091A (zh) * | 2019-08-05 | 2019-10-22 | 广东交通职业技术学院 | 一种机器人的跟随录像方法、装置及机器人 |
WO2021044953A1 (ja) * | 2019-09-06 | 2021-03-11 | ソニー株式会社 | 情報処理システム及び情報処理方法 |
CN110717918A (zh) * | 2019-10-11 | 2020-01-21 | 北京百度网讯科技有限公司 | 行人检测方法和装置 |
CN113671940A (zh) * | 2020-05-14 | 2021-11-19 | 东元电机股份有限公司 | 跟随移动平台及其方法 |
CN114153184A (zh) * | 2020-09-07 | 2022-03-08 | Oppo广东移动通信有限公司 | 智能家居管理方法、装置、设备、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109309813A (zh) | 适应室内的智能跟随方法及智能跟随机器人 | |
CN1286073C (zh) | 监视偶尔需要帮助的独居者的自动系统 | |
US10447972B2 (en) | Infant monitoring system | |
CN106003047B (zh) | 一种面向智能机器人的危险预警方法和装置 | |
EP1371042B1 (en) | Automatic system for monitoring person requiring care and his/her caretaker automatic system for monitoring person requiring care and his/her caretaker | |
CN104966375B (zh) | 一种安防监控系统 | |
CN107422643A (zh) | 基于振动检测的智能家居监控方法及系统 | |
CN107357292A (zh) | 一种儿童室内智能看护系统及其看护方法 | |
RU2003128643A (ru) | Способ и система обнаружения отклонений в контролируемой среде | |
CN109657737B (zh) | 基于红外热视技术的机柜内小动物入侵检测方法及系统 | |
CN111643017B (zh) | 基于日程信息的清扫机器人控制方法、装置和清扫机器人 | |
US11294383B2 (en) | Self-learning robot | |
CN112913830B (zh) | 一种基于红外成像移动侦测的小动物驱逐装置 | |
CN105303583A (zh) | 一种基于图像变化的宠物行为检测系统 | |
CN105788124A (zh) | 非接触式监测系统及其方法 | |
CN108537172A (zh) | 一种基于机器视觉识别人的行为的方法和装置 | |
Dimitrievski et al. | Towards application of non-invasive environmental sensors for risks and activity detection | |
CN110094782B (zh) | 一种智能油烟机的控制方法及智能油烟机 | |
CN207966145U (zh) | 一种看家看人的家用智能看管机器人 | |
US9399178B1 (en) | User identification and tracking system for artificial cave obstacle course | |
CN208094718U (zh) | 一种基于双ip网络接口的智能安防控制系统 | |
CN104374885A (zh) | 一种易爆气体的危险声源功能检测装置 | |
CN109394084A (zh) | 一种基于物联网的智能移动垃圾桶及其控制系统 | |
CN109686032A (zh) | 一种水产养殖生物防盗监测方法及系统 | |
US11823553B2 (en) | Information processing device, information processing method, and information processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190205 |