CN108724178A - 特定人自主跟随方法及装置、机器人、设备和存储介质 - Google Patents
特定人自主跟随方法及装置、机器人、设备和存储介质 Download PDFInfo
- Publication number
- CN108724178A CN108724178A CN201810330017.1A CN201810330017A CN108724178A CN 108724178 A CN108724178 A CN 108724178A CN 201810330017 A CN201810330017 A CN 201810330017A CN 108724178 A CN108724178 A CN 108724178A
- Authority
- CN
- China
- Prior art keywords
- information
- target
- image
- unit
- testing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明提供特定人自主跟随方法及装置、机器人、设备和存储介质,该方法包括:接收触发信息;响应于触发信息,采集第一图像信息;对第一图像信息进行人体检测,得到第一检测结果信息;根据预存的注册信息对第一检测结果信息进行跟随目标识别,得到识别结果信息;根据识别结果信息和实时采集的第二图像信息生成跟踪信息,以供运动控制单元根据跟踪信息进行自动跟随。本发明通过对采集到的图像进行人体检测,并根据注册信息进行目标识别,再根据识别结果和实时图像信息生成跟踪信息,无需在跟随全程持续采集人脸即可自动跟随特定目标,从而准确、便捷地实现了对特定目标进行自动跟随。
Description
技术领域
本申请涉及机器人技术领域,具体涉及一种特定人自主跟随方法及装置、机器人、设备和存储介质。
背景技术
复杂背景环境下机器人特定人跟随是目前机器人领域非常重要的一个技术难点,是实现智能化人机交互的最重要的一种实现手段,在实际的生活和生产中越来越多的场合需要用到特定人的跟随功能。
以物流和仓储领域为例,由于现有的机器人无法准确、便捷地实现自主跟随快递员或仓储管理员进行快递派送或包裹分拣,导致生产效率仍有待提高。例如,通过人脸识别进行跟随特定目标的机器人,要求在跟随过程中,检测到人脸,导致跟随目标在机器人的跟随过程中行走非常不方便;又例如,通过红外和超声波进行跟随的机器人无法跟随特定的目标。
更进一步地,现有机器人跟踪方案在丢失跟随目标或视野里出现多个人时往往无法继续跟随,无法满足复杂环境下的自动跟随需求。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种准确、便捷地实现对特定目标进行自动跟随的特定人自主跟随方法及装置、机器人、设备和存储介质;并进一步满足复杂环境下的自动跟随需求。
第一方面,本发明提供一种特定人自主跟随方法,包括:
接收触发信息;
响应于触发信息,采集第一图像信息;
对第一图像信息进行人体检测,得到第一检测结果信息;
根据预存的注册信息对第一检测结果信息进行跟随目标识别,得到识别结果信息;
根据识别结果信息和实时采集的第二图像信息生成跟踪信息,以供运动控制单元根据跟踪信息进行自主跟随。
第二方面,本发明提供一种特定人自主跟随装置,包括触发单元、图像采集单元、人体检测单元、目标识别单元和跟踪单元。
触发单元配置用于接收触发信息;
图像采集单元配置用于响应于触发信息,采集第一图像信息,以及,实时采集第二图像信息;
人体检测单元配置用于对第一图像信息进行人体检测,得到第一检测结果信息;
目标识别单元配置用于根据预存的注册信息对第一检测结果信息进行跟随目标识别,得到识别结果信息;
跟踪单元配置用于根据识别结果信息和实时采集的第二图像信息生成跟踪信息,以供运动控制单元根据跟踪信息进行自主跟随。
第三方面,本发明提供一种机器人,包括上述特定人自主跟随装置和运动控制单元。运动控制单元配置用于根据跟踪信息控制机器人进行自动跟随。
第四方面,本发明还提供一种设备,包括一个或多个处理器和存储器,其中存储器包含可由该一个或多个处理器执行的指令以使得该一个或多个处理器执行根据本发明各实施例提供的特定人自主跟随方法。
第五方面,本发明还提供一种存储有计算机程序的存储介质,该计算机程序使计算机执行根据本发明各实施例提供的特定人自主跟随方法。
本发明诸多实施例提供的特定人自主跟随方法及装置、机器人、设备和存储介质通过对采集到的图像进行人体检测,并根据注册信息进行目标识别,再根据识别结果和实时图像信息生成跟踪信息,无需在跟随全程持续采集人脸即可自动跟随特定目标,从而准确、便捷地实现了对特定目标进行自主跟随;
本发明一些实施例提供的特定人自主跟随方法及装置、机器人、设备和存储介质进一步通过在采集注册信息时、采集用于识别目标的图像时、未检测到人体时、丢失跟随目标时、采集到人数增加且难以识别时等上述任意一个或多个场景下对跟随目标进行语音提示,从而保障了在复杂环境中可以持续自动跟随;
本发明一些实施例提供的特定人自主跟随方法及装置、机器人、设备和存储介质进一步通过在自动跟随过程中结合视觉避障和超声避障实现了立体避障,进一步保障了在复杂环境中的自主跟随。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本发明一实施例提供的一种特定人自主跟随方法的流程图。
图2为图1所示方法的一种实施方式中步骤S50的流程图。
图3为图2所示步骤S50的一种优选实施方式的流程图。
图4为图1所示方法的一种实施方式中步骤S60的流程图。
图5为图1所示方法的一种实施方式中步骤S70的流程图。
图6为图5所示步骤S70的一种优选实施方式的流程图。
图7为图1所示方法的一种优选实施方式的流程图。
图8为本发明一实施例提供的一种特定人自主跟随装置的结构示意图。
图9为图8所示装置的一种实施方式中人体检测单元的结构示意图。
图10为图9所示人体检测单元的一种优选实施方式的结构示意图。
图11为图8所示装置的一种实施方式中目标识别单元的结构示意图。
图12为图8所示装置的一种实施方式中跟踪单元的结构示意图。
图13为图8所示装置的一种优选实施方式的结构示意图。
图14为本发明一实施例提供的一种机器人的结构示意图。
图15为本发明一实施例提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为本发明一实施例提供的一种特定人自主跟随方法的流程图。
如图1所示,在本实施例中,本发明提供一种特定人自主跟随方法,包括:
S30:接收触发信息;
S40:响应于触发信息,采集第一图像信息;
S50:对第一图像信息进行人体检测,得到第一检测结果信息;
S60:根据预存的注册信息对第一检测结果信息进行跟随目标识别,得到识别结果信息;
S70:根据识别结果信息和实时采集的第二图像信息生成跟踪信息,以供运动控制单元根据跟踪信息进行自动跟随。
具体地,在本实施例中,上述特定人自主跟随方法应用于物流仓储领域的机器人,通过跟随快递员或仓储管理员进行快递派送或包裹分拣;在更多实施例中,上述方法还可以应用于不同行业或领域的机器人,例如,医疗行业的辅助机器人、室外或野外作业的助手机器人,等等。
在步骤S30中,本实施例提供的方法可以通过以下两种方式接收触发信息:
一种是通过接收远程控制装置通过无线通信发送的启动跟随控制信息,例如由手机等控制终端通过WiFi或4G信号发送启动控制指令,或,由遥控器通过红外、蓝牙等方式发送启动控制指令,等等;
另一种是通过接收语音信息,并对该语音信息进行解析,得到启动控制指令。优选地,在对语音信息进行解析时还可以进行声纹识别,即只接受已注册声纹的跟随对象的启动命令。
另一方面,上述两种方式除了控制机器人启动跟随外,还可以控制机器人停止跟随,控制原理与启动控制的原理相同,不再赘述。
在更多实施例中,步骤S30可以根据实际需求选择配置上述任一种控制方式,还可以配置为上述至少一种控制方式与其它本领域常用控制方式的组合,例如通过在特定人自主跟随装置上配置启动按钮和停止按钮,并通过按钮触发启动控制和停止控制,等等。
在步骤S40中,本实施例中通过深度相机进行图像信息的采集,具体可以采集单幅或多幅图像,也可以采集视频流并从中抽取图像。在更多实施例中,还可以配置为通过二维相机和距离传感器的组合来采集图像信息,可实现相同的技术效果。
优选地,在步骤S40中,采集图像前或采集视频流时还可以生成语音提示信息并输出,从而通过语音提示跟随目标进入图像采集范围内(位于采集范围的正中位置效果最佳),以有效保障跟随目标识别的顺利进行。
在步骤S50中,本实施例中通过人体描述数据库的图像数据预先训练神经网络模型获得的人体检测模型来进行人体检测,以下结合图2进行具体介绍。
图2为图1所示方法的一种实施方式中步骤S50的流程图。如图2所示,在本实施例中,步骤S50包括:
S501:对第一图像信息进行预处理;
S503:将预处理结果输入预先训练获得的人体检测模型,得到第一检测结果信息。
具体地,在步骤S501中,对第一图像信息进行常规的预处理,以及网格化处理,例如,将常规预处理后的图像划分为n*n个网格,其中n可以根据需要进行设置,例如n=7。
在步骤S503中,将网格化的图像输入人体预测模型后,模型对存在人体图像的概率进行预测,若预测概率高于置信度,则判断出人体图像。
具体地,在本实施例中,每个网络预测若干个边框(boundingboxes),每个边框对应若干个预测参数,例如:边框的中心坐标(x,y)、宽高(w,h)以及置信度评分(Pr(Object)*IOU(pred|truth)),其中Pr(Object)表示当前模型边框内存在人体的可能性,IOU(pred|truth)表示边框预测目标位置的准确性。
边框的置信度Pr(Class_i|Object)*Pr(Object)*IOU(pred|truth)=Pr(Class_i)*IOU(pred|truth),其中,Pr(Class_i|Object)表示存在物体的情况下,属于人体的概率。
以划分7*7网格为例,每个网格预测2个边框,有一类待检测目标,最终相当于预测长度为7*7*(2*5+1)=7*7*11=539维度向量,完成检测并识别出人体的任务。
在更多实施例中,还可以采用基于不同算法原理的神经网络模型训练获得人体检测模型,可实现相似的技术效果。
图3为图2所示步骤S50的一种优选实施方式的流程图。如图3所示,在一优选实施例中,步骤S50还包括:
S505:在第一检测结果信息为未检测到人体图像时,生成第一语音提示信息并输出以提醒跟随目标。
具体地,当跟随目标因各种原因没有处于特定人自主跟随装置的采集范围内时,会导致无法识别跟随目标,从而无法进行自动跟随。在本实施例中,通过在未检测到人体图像时,通过语音提示跟随目标配合进行图像采集和跟随目标识别,可以有效保障自动跟随的进行。
图4为图1所示方法的一种实施方式中步骤S60的流程图。如图4所示,在本实施例中,步骤S60包括:
S601:根据第一检测结果信息提取检测到的各人体图像的以下至少一项信息:人脸信息、身体轮廓信息、衣服颜色信息、衣服质地信息;
S603:根据提取结果和预存的注册信息进行跟随目标识别,确定跟随目标并生成识别结果信息。
具体地,在步骤S601中,除了采集上述信息外,还可以进一步采集被跟随人的其他信息等其它便于用于进行比对识别的信息。
在步骤S603中,对于步骤S601的提取结果和预存的注册信息,人脸信息单独进行比对识别,其它信息可以通过生成HSV颜色直方图信息和HOG方向梯度直方图信息的方式来进行比对识别。
在更多实施例中,还可以采用图像识别领域的不同比对识别算法或方法进行步骤S60的比对识别,可实现相同的技术效果。
图5为图1所示方法的一种实施方式中步骤S70的流程图。如图5所示,在本实施例中,步骤S70包括:
S705:根据识别结果信息和第二图像信息确定跟随目标的点云质心;
S707:根据点云质心和伺服控制算法生成跟踪信息并输出。
具体地,在步骤S705中,根据实时采集的第二图像信息提取出的点云信息和识别结果信息进行映射,提取出人体点云块,再计算出质心坐标。
在步骤S707中,将质心坐标与图像坐标零点进行比较,根据差值信息,结合PID控制/其他控制算法,产生基于现实坐标系的运动速度,并根据该运动速度生成跟踪信息,输出给运动控制单元。
图6为图5所示步骤S70的一种优选实施方式的流程图。如图6所示,在一优选实施例中,步骤S70还包括:
S701:根据第二图像信息进行人体检测,得到第二检测结果信息;
S702:判断第二检测结果信息是否发生变化:
若检测到丢失跟随目标,则执行步骤S703:生成第三语音提示信息并输出以提醒跟随目标;
若检测到人体数量增加,则执行步骤S704:对第二检测结果信息进行跟随目标识别,并在无法识别时生成第四语音提示信息并输出以提醒跟随目标。
具体地,为了保障在发生丢失跟随目标,或,采集范围内出现与跟随目标相似的人员而可能导致跟随发生错误的情况下,继续进行对跟随目标的准确自动跟随,可以通过上述语音提示的方式提醒跟随目标,在发生丢失跟随目标或采集范围内出现与跟随目标相似的人员时,提醒被跟踪人员,脸部面向机器人重新进行脸部的图像采集以重新识别跟随目标,保障在复杂环境下的准确自动跟随。
上述各实施例通过对采集到的图像进行人体检测,并根据注册信息进行目标识别,再根据识别结果和实时图像信息生成跟踪信息,无需在跟随全程持续采集人脸即可自动跟随特定目标,从而准确、便捷地实现了对特定目标进行自动跟随;
并进一步通过在采集注册信息时、采集用于识别目标的图像时、未检测到人体时、丢失跟随目标时、采集到人数增加且难以识别时等上述任意一个或多个场景下对跟随目标进行语音提示,从而保障了在复杂环境中可以持续自主跟随。
图7为图1所示方法的一种优选实施方式的流程图。如图7所示,在一优选实施例中,上述方法还包括:
S20:采集跟随目标的以下至少一项信息以生成注册信息:人脸信息、身体轮廓信息、衣服颜色信息、衣服质地信息。
优选地,步骤S20还包括生成语音提示信息并输出以提醒跟随目标。
例如,触发注册操作时,通过语音提示跟随对象面向机器人,使人体居于采集视野的中央位置,采集人脸信息,保存到人脸数据库,再通过语音提示跟随对象背对机器人,采集图像数据进行处理,得到HSV颜色直方图信息和HOG方向梯度直方图信息,将人脸信息和上述直方图信息进行关联,得到注册信息并存储。
图8为本发明一实施例提供的一种特定人自主跟随装置的结构示意图。图8所示的装置可对应执行图1所示的方法。如图8所示,在本实施例中,本发明提供的特定人自主跟随装置10包括触发单元13、图像采集单元14、人体检测单元15、目标识别单元16和跟踪单元17。
触发单元13配置用于接收触发信息;
图像采集单元14配置用于响应于触发信息,采集第一图像信息,以及,实时采集第二图像信息;
人体检测单元15配置用于对第一图像信息进行人体检测,得到第一检测结果信息;
目标识别单元16配置用于根据预存的注册信息对第一检测结果信息进行跟随目标识别,得到识别结果信息;
跟踪单元17配置用于根据识别结果信息和实时采集的第二图像信息生成跟踪信息,以供运动控制单元20根据跟踪信息进行自动跟随。
其中,在本实施例中,触发单元13包括通信单元131和语音辅助单元132。
通信单元131配置用于接收远程控制装置发送的第一启动跟随控制信息;
语音辅助单元132配置用于接收语音信息,解析语音信息,得到第二启动跟随控制信息。
在更多实施例中,还可根据实际需求将触发单元13配置为仅包括通信单元131或语音辅助单元132。
在一项触发单元13包括语音辅助单元132的优选实施例中,图像采集单元14进一步配置用于通知语音辅助单元132生成第二语音提示信息并输出以提醒跟随目标。
图8所示装置的自动跟随原理可参考图1所示的方法,此处不再赘述。
图9为图8所示装置的一种实施方式中人体检测单元的结构示意图。图9所示的装置可对应执行图2所示的方法。如图9所示,在一优选实施例中,人体检测单元15包括预处理子单元151和模型预测子单元152。
预处理子单元151配置用于对第一图像信息进行预处理;
模型预测子单元152配置用于将预处理结果输入预先训练获得的人体检测模型,得到第一检测结果信息。
图9所示装置的自动跟随原理可参考图2所示的方法,此处不再赘述。
图10为图9所示人体检测单元的一种优选实施方式的结构示意图。图10所示的装置可对应执行图3所示的方法。如图10所示,在一优选实施例中,该装置包括语音辅助单元132,人体检测单元15还包括第一提醒子单元153。
第一提醒子单元153配置用于在第一检测结果信息为未检测到人体图像时,通知语音辅助单元132生成第一语音提示信息并输出以提醒跟随目标。
图10所示装置的自动跟随原理可参考图3所示的方法,此处不再赘述。
图11为图8所示装置的一种实施方式中目标识别单元的结构示意图。图11所示的装置可对应执行图4所示的方法。如图11所示,在一优选实施例中,目标识别单元16包括提取子单元161和识别子单元162。
提取子单元161配置用于根据第一检测结果信息提取检测到的各人体图像的以下至少一项信息:人脸信息、身体轮廓信息、衣服颜色信息、衣服质地信息;
识别子单元162配置用于根据提取结果和预存的注册信息进行跟随目标识别,确定跟随目标并生成识别结果信息。
图11所示装置的自动跟随原理可参考图4所示的方法,此处不再赘述。
图12为图8所示装置的一种实施方式中跟踪单元的结构示意图。图12所示的装置可对应执行图5或图6所示的方法。如图12所示,在一优选实施例中,跟踪单元17包括质心确定子单元171和跟踪子单元172。
质心确定子单元171配置用于根据识别结果信息和第二图像信息确定跟随目标的点云质心;
跟踪子单元172配置用于根据点云质心和伺服控制算法生成跟踪信息并输出。
优选地,该装置包括语音辅助单元132,人体检测单元15进一步配置用于根据第二图像信息进行人体检测,得到第二检测结果信息;
跟踪单元进一步配置用于判断第二检测结果信息是否发生变化:
若检测到丢失跟随目标,则通知语音辅助单元132生成第三语音提示信息并输出以提醒跟随目标;
若检测到人体数量增加,通知目标识别单元16对第二检测结果信息进行跟随目标识别,并在无法识别时通知语音辅助单元132生成第四语音提示信息并输出以提醒跟随目标。
图12所示装置的自动跟随原理可参考图5或图6所示的方法,此处不再赘述。
图13为图8所示装置的一种优选实施方式的结构示意图。图13所示的装置可对应执行图7所示的方法。如图13所示,在一优选实施例中,该装置还包括注册单元12。
注册单元12配置用于采集跟随目标的以下至少一项信息以生成注册信息:人脸信息、身体轮廓信息、衣服颜色信息、衣服质地信息。
图13所示装置的自动跟随原理可参考图7所示的方法,此处不再赘述。
图14为本发明一实施例提供的一种机器人的结构示意图。如图14所示,在本实施例中,本发明还提供一种机器人,包括机器人本体30、上述任一实施例提供的特定人自主跟随装置10、运动控制单元20。
优选地,该机器人还包括避障单元。该避障单元包括视觉避障子单元、超声避障子单元和融合子单元。
视觉避障子单元配置用于根据第二图像信息进行视觉避障分析;
超声避障子单元配置用于根据超声传感器40采集的超声信息进行超声避障分析;
融合子单元配置用于融合视觉避障分析结果和超声避障分析结果,生成避障结果信息以供进行路线规划。
基于上述融合视觉避障和超声避障的立体避障,机器人在行走过程中可以实时更新路径,绕过障碍物,达到目标位置。
上述实施例进一步通过在自动跟随过程中结合视觉避障和超声避障实现了立体避障,进一步保障了在复杂环境中的自动跟随。
图15为本发明一实施例提供的一种设备的结构示意图。
如图15所示,作为另一方面,本申请还提供了一种设备1500,包括一个或多个中央处理单元(CPU)1501,其可以根据存储在只读存储器(ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(RAM)1503中的程序而执行各种适当的动作和处理。在RAM1503中,还存储有设备1500操作所需的各种程序和数据。CPU1501、ROM1502以及RAM1503通过总线1504彼此相连。输入/输出(I/O)接口1505也连接至总线1504。
以下部件连接至I/O接口1505:包括键盘、鼠标等的输入部分1506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1507;包括硬盘等的存储部分1508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1510上,以便于从其上读出的计算机程序根据需要被安装入存储部分1508。
特别地,根据本公开的实施例,上述任一实施例描述的特定人自主跟随方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行特定人自主跟随方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1509从网络上被下载和安装,和/或从可拆卸介质1511被安装。
作为又一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例的装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,该程序被一个或者一个以上的处理器用来执行描述于本申请的特定人自主跟随方法。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这根据所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以通过执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以通过专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,例如,各所述单元可以是设置在计算机或移动智能设备中的软件程序,也可以是单独配置的硬件装置。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离本申请构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (24)
1.一种特定人自主跟随方法,其特征在于,包括:
接收触发信息;
响应于所述触发信息,采集第一图像信息;
对所述第一图像信息进行人体检测,得到第一检测结果信息;
根据预存的注册信息对所述第一检测结果信息进行跟随目标识别,得到识别结果信息;
根据所述识别结果信息和实时采集的第二图像信息生成跟踪信息,以供运动控制单元根据所述跟踪信息进行自动跟随。
2.根据权利要求1所述的方法,其特征在于,所述接收触发信息包括以下任一项:
接收远程控制装置发送的第一启动跟随控制信息;
接收语音信息,解析所述语音信息,得到第二启动跟随控制信息。
3.根据权利要求1所述的方法,其特征在于,所述对所述第一图像信息进行人体检测,得到第一检测结果信息包括:
对所述第一图像信息进行预处理;
将预处理结果输入预先训练获得的人体检测模型,得到第一检测结果信息。
4.根据权利要求3所述的方法,其特征在于,所述对所述第一图像信息进行人体检测,得到第一检测结果信息还包括:
在所述第一检测结果信息为未检测到人体图像时,生成第一语音提示信息并输出以提醒跟随目标。
5.根据权利要求1所述的方法,其特征在于,所述响应于所述触发信息,采集第一图像信息包括:
生成第二语音提示信息并输出以提醒跟随目标。
6.根据权利要求1所述的方法,其特征在于,所述根据预存的注册信息对所述第一检测结果信息进行跟随目标识别,得到识别结果信息包括:
根据所述第一检测结果信息提取检测到的各人体图像的以下至少一项信息:人脸信息、身体轮廓信息、衣服颜色信息、衣服质地信息;
根据提取结果和预存的注册信息进行跟随目标识别,确定跟随目标并生成识别结果信息。
7.根据权利要求1所述的方法,其特征在于,所述根据所述识别结果信息和实时采集的第二图像信息生成跟踪信息,以供运动控制单元根据所述跟踪信息进行自动跟随包括:
根据所述识别结果信息和所述第二图像信息确定跟随目标的点云质心;
根据所述点云质心和伺服控制算法生成跟踪信息并输出。
8.根据权利要求7所述的方法,其特征在于,所述根据所述识别结果信息和实时采集的第二图像信息生成跟踪信息,以供运动控制单元根据所述跟踪信息进行自动跟随还包括:
根据所述第二图像信息进行人体检测,得到第二检测结果信息;
判断所述第二检测结果信息是否发生变化:
若检测到丢失跟随目标,则生成第三语音提示信息并输出以提醒跟随目标;
若检测到人体数量增加,对所述第二检测结果信息进行跟随目标识别,并在无法识别时生成第四语音提示信息并输出以提醒跟随目标。
9.根据权利要求1-8任一项所述的方法,其特征在于,还包括:
采集跟随目标的以下至少一项信息以生成注册信息:人脸信息、身体轮廓信息、衣服颜色信息、衣服质地信息。
10.根据权利要求9所述的方法,其特征在于,所述采集跟随目标的以下至少一项信息以生成注册信息还包括:
生成第五语音提示信息并输出以提醒跟随目标。
11.一种特定人自主跟随装置,其特征在于,包括:
触发单元,配置用于接收触发信息;
图像采集单元,配置用于响应于所述触发信息,采集第一图像信息,以及,实时采集第二图像信息;
人体检测单元,配置用于对所述第一图像信息进行人体检测,得到第一检测结果信息;
目标识别单元,配置用于根据预存的注册信息对所述第一检测结果信息进行跟随目标识别,得到识别结果信息;
跟踪单元,配置用于根据所述识别结果信息和实时采集的第二图像信息生成跟踪信息,以供运动控制单元根据所述跟踪信息进行自动跟随。
12.根据权利要求11所述的装置,其特征在于,所述触发单元包括以下至少一项:
通信单元,配置用于接收远程控制装置发送的第一启动跟随控制信息;
语音辅助单元,配置用于接收语音信息,解析所述语音信息,得到第二启动跟随控制信息。
13.根据权利要求11所述的装置,其特征在于,所述人体检测单元包括:
预处理子单元,配置用于对所述第一图像信息进行预处理;
模型预测子单元,配置用于将预处理结果输入预先训练获得的人体检测模型,得到第一检测结果信息。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括语音辅助单元;
所述人体检测单元还包括:
第一提醒子单元,配置用于在所述第一检测结果信息为未检测到人体图像时,通知所述语音辅助单元生成第一语音提示信息并输出以提醒跟随目标。
15.根据权利要求11所述的装置,其特征在于,所述装置还包括语音辅助单元;
所述图像采集单元进一步配置用于通知所述语音辅助单元生成第二语音提示信息并输出以提醒跟随目标。
16.根据权利要求11所述的装置,其特征在于,所述目标识别单元包括:
提取子单元,配置用于根据所述第一检测结果信息提取检测到的各人体图像的以下至少一项信息:人脸信息、身体轮廓信息、衣服颜色信息、衣服质地信息;
识别子单元,配置用于根据提取结果和预存的注册信息进行跟随目标识别,确定跟随目标并生成识别结果信息。
17.根据权利要求11所述的装置,其特征在于,所述跟踪单元包括:
质心确定子单元,配置用于根据所述识别结果信息和所述第二图像信息确定跟随目标的点云质心;
跟踪子单元,配置用于根据所述点云质心和伺服控制算法生成跟踪信息并输出。
18.根据权利要求17所述的装置,其特征在于,所述装置还包括语音辅助单元;
所述人体检测单元进一步配置用于根据所述第二图像信息进行人体检测,得到第二检测结果信息;
所述跟踪单元进一步配置用于判断所述第二检测结果信息是否发生变化:
若检测到丢失跟随目标,则通知所述语音辅助单元生成第三语音提示信息并输出以提醒跟随目标;
若检测到人体数量增加,通知所述目标识别单元对所述第二检测结果信息进行跟随目标识别,并在无法识别时通知所述语音辅助单元生成第四语音提示信息并输出以提醒跟随目标。
19.根据权利要求11-18任一项所述的装置,其特征在于,还包括:
注册单元,配置用于采集跟随目标的以下至少一项信息以生成注册信息:人脸信息、身体轮廓信息、衣服颜色信息、衣服质地信息。
20.根据权利要求19所述的装置,其特征在于,所述装置还包括语音辅助单元,所述注册单元进一步配置用于通知所述语音辅助单元生成第五语音提示信息并输出以提醒跟随目标。
21.一种机器人,其特征在于,包括如权利要求11-20任一项所述的特定人自主跟随装置,以及:
运动控制单元,配置用于根据所述跟踪信息控制所述机器人进行自动跟随。
22.根据权利要求21所述的机器人,其特征在于,还包括避障单元,所述避障单元包括:
视觉避障子单元,配置用于根据所述第二图像信息进行视觉避障分析;
超声避障子单元,配置用于根据超声传感器采集的超声信息进行超声避障分析;
融合子单元,配置用于融合视觉避障分析结果和超声避障分析结果,生成避障结果信息以供进行路线规划。
23.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1-10中任一项所述的方法。
24.一种存储有计算机程序的存储介质,其特征在于,该程序被处理器执行时实现如权利要求1-10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810330017.1A CN108724178B (zh) | 2018-04-13 | 2018-04-13 | 特定人自主跟随方法及装置、机器人、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810330017.1A CN108724178B (zh) | 2018-04-13 | 2018-04-13 | 特定人自主跟随方法及装置、机器人、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108724178A true CN108724178A (zh) | 2018-11-02 |
CN108724178B CN108724178B (zh) | 2022-03-29 |
Family
ID=63940796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810330017.1A Active CN108724178B (zh) | 2018-04-13 | 2018-04-13 | 特定人自主跟随方法及装置、机器人、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108724178B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110147121A (zh) * | 2019-05-09 | 2019-08-20 | 安徽酷哇机器人有限公司 | 行李箱的控制方法和应用该方法的行李箱 |
WO2020135127A1 (zh) * | 2018-12-29 | 2020-07-02 | 深圳市商汤科技有限公司 | 一种行人识别方法及装置 |
CN111639515A (zh) * | 2020-01-16 | 2020-09-08 | 上海黑眸智能科技有限责任公司 | 目标丢失再跟踪方法、装置、系统、电子终端及存储介质 |
CN112890680A (zh) * | 2019-11-19 | 2021-06-04 | 科沃斯机器人股份有限公司 | 跟随清洁作业方法、控制方法、装置、机器人及存储介质 |
CN114200934A (zh) * | 2021-12-06 | 2022-03-18 | 北京云迹科技股份有限公司 | 机器人目标跟随控制方法、装置、电子设备和存储介质 |
TWI760189B (zh) * | 2021-04-19 | 2022-04-01 | 微星科技股份有限公司 | 可移動式電子裝置及其控制方法 |
CN114829085A (zh) * | 2019-12-20 | 2022-07-29 | Lg电子株式会社 | 移动机器人及其控制方法 |
CN115552348A (zh) * | 2021-04-25 | 2022-12-30 | 深圳市优必选科技股份有限公司 | 移动目标跟随方法、机器人和计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103984315A (zh) * | 2014-05-15 | 2014-08-13 | 成都百威讯科技有限责任公司 | 一种家用多功能智能机器人 |
CN105759650A (zh) * | 2016-03-18 | 2016-07-13 | 北京光年无限科技有限公司 | 一种用于智能机器人系统实时跟踪人脸的方法 |
CN106444763A (zh) * | 2016-10-20 | 2017-02-22 | 泉州市范特西智能科技有限公司 | 基于视觉传感器智能自动跟随方法、系统及行李箱 |
CN107309883A (zh) * | 2016-04-27 | 2017-11-03 | 王方明 | 智能机器人 |
CN107398900A (zh) * | 2017-05-27 | 2017-11-28 | 芜湖星途机器人科技有限公司 | 机器人识别人体后主动跟随系统 |
CN107615298A (zh) * | 2015-05-25 | 2018-01-19 | 彻可麦迪克私人投资有限公司 | 人脸识别方法及系统 |
WO2018045081A1 (en) * | 2016-08-31 | 2018-03-08 | Taechyon Robotics Corporation | Robots for interactive comedy and companionship |
-
2018
- 2018-04-13 CN CN201810330017.1A patent/CN108724178B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103984315A (zh) * | 2014-05-15 | 2014-08-13 | 成都百威讯科技有限责任公司 | 一种家用多功能智能机器人 |
CN107615298A (zh) * | 2015-05-25 | 2018-01-19 | 彻可麦迪克私人投资有限公司 | 人脸识别方法及系统 |
CN105759650A (zh) * | 2016-03-18 | 2016-07-13 | 北京光年无限科技有限公司 | 一种用于智能机器人系统实时跟踪人脸的方法 |
CN107309883A (zh) * | 2016-04-27 | 2017-11-03 | 王方明 | 智能机器人 |
WO2018045081A1 (en) * | 2016-08-31 | 2018-03-08 | Taechyon Robotics Corporation | Robots for interactive comedy and companionship |
CN106444763A (zh) * | 2016-10-20 | 2017-02-22 | 泉州市范特西智能科技有限公司 | 基于视觉传感器智能自动跟随方法、系统及行李箱 |
CN107398900A (zh) * | 2017-05-27 | 2017-11-28 | 芜湖星途机器人科技有限公司 | 机器人识别人体后主动跟随系统 |
Non-Patent Citations (1)
Title |
---|
朱景泉: "服务机器人交互式地图构建与路径规划技术研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020135127A1 (zh) * | 2018-12-29 | 2020-07-02 | 深圳市商汤科技有限公司 | 一种行人识别方法及装置 |
CN110147121A (zh) * | 2019-05-09 | 2019-08-20 | 安徽酷哇机器人有限公司 | 行李箱的控制方法和应用该方法的行李箱 |
CN112890680A (zh) * | 2019-11-19 | 2021-06-04 | 科沃斯机器人股份有限公司 | 跟随清洁作业方法、控制方法、装置、机器人及存储介质 |
CN112890680B (zh) * | 2019-11-19 | 2023-12-12 | 科沃斯机器人股份有限公司 | 跟随清洁作业方法、控制方法、装置、机器人及存储介质 |
CN114829085A (zh) * | 2019-12-20 | 2022-07-29 | Lg电子株式会社 | 移动机器人及其控制方法 |
CN114829085B (zh) * | 2019-12-20 | 2023-11-14 | Lg电子株式会社 | 移动机器人及其控制方法 |
CN111639515A (zh) * | 2020-01-16 | 2020-09-08 | 上海黑眸智能科技有限责任公司 | 目标丢失再跟踪方法、装置、系统、电子终端及存储介质 |
TWI760189B (zh) * | 2021-04-19 | 2022-04-01 | 微星科技股份有限公司 | 可移動式電子裝置及其控制方法 |
CN115552348A (zh) * | 2021-04-25 | 2022-12-30 | 深圳市优必选科技股份有限公司 | 移动目标跟随方法、机器人和计算机可读存储介质 |
CN114200934A (zh) * | 2021-12-06 | 2022-03-18 | 北京云迹科技股份有限公司 | 机器人目标跟随控制方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108724178B (zh) | 2022-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108724178A (zh) | 特定人自主跟随方法及装置、机器人、设备和存储介质 | |
US20210161193A1 (en) | System and method of estimating livestock weight | |
EP3509014A1 (en) | Detecting objects in images | |
CN107895160A (zh) | 人脸检测与识别装置及方法 | |
CN108647557A (zh) | 信息处理设备、信息处理方法和存储介质 | |
US20120030208A1 (en) | Facilitating People Search in Video Surveillance | |
CN107610177B (zh) | 一种同步定位与地图构建中确定特征点的方法和设备 | |
KR20220098315A (ko) | 화상 처리 방법과 장치, 전자 디바이스 및 기록 매체 | |
EP4404148A1 (en) | Image processing method and apparatus, and computer-readable storage medium | |
JP6410450B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
US11244475B2 (en) | Determining a pose of an object in the surroundings of the object by means of multi-task learning | |
CN109753901A (zh) | 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质 | |
Li et al. | Model-based temporal object verification using video | |
Marton et al. | Probabilistic categorization of kitchen objects in table settings with a composite sensor | |
KR20220042335A (ko) | 자동 수어 인식 방법 및 시스템 | |
CN115082389A (zh) | 医学影像的肋骨检测方法、设备及介质 | |
Caliwag et al. | Distance estimation in thermal cameras using multi-task cascaded convolutional neural network | |
CN110084187A (zh) | 基于计算机视觉的位置识别方法、装置、设备及存储介质 | |
US20230107372A1 (en) | Image processing apparatus, image processing system, image processing method, andnon-transitory computer-readable medium storing image processing program therein | |
WO2021081688A1 (zh) | 基于价签的缺货检测方法及装置 | |
CN115131826A (zh) | 物品检测识别方法、网络模型的训练方法和装置 | |
Klempous et al. | Review of algorithms for tag detection in video sequences | |
CN114898287A (zh) | 用于餐盘检测预警的方法、装置、电子设备、存储介质 | |
CN114494355A (zh) | 基于人工智能的轨迹分析方法、装置、终端设备及介质 | |
WO2023209955A1 (ja) | 情報処理装置、情報処理方法及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |