CN107450729B - 机器人交互方法及装置 - Google Patents

机器人交互方法及装置 Download PDF

Info

Publication number
CN107450729B
CN107450729B CN201710682577.9A CN201710682577A CN107450729B CN 107450729 B CN107450729 B CN 107450729B CN 201710682577 A CN201710682577 A CN 201710682577A CN 107450729 B CN107450729 B CN 107450729B
Authority
CN
China
Prior art keywords
user
robot
face
interacted
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710682577.9A
Other languages
English (en)
Other versions
CN107450729A (zh
Inventor
蒋化冰
孙庭华
廖凯
齐鹏举
方园
米万珠
舒剑
吴琨
罗璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Noah Wood Robot Technology Co ltd
Shanghai Zhihui Medical Technology Co ltd
Shanghai Zhihuilin Medical Technology Co ltd
Original Assignee
Shanghai Wood Wood Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wood Wood Robot Technology Co Ltd filed Critical Shanghai Wood Wood Robot Technology Co Ltd
Priority to CN201710682577.9A priority Critical patent/CN107450729B/zh
Publication of CN107450729A publication Critical patent/CN107450729A/zh
Application granted granted Critical
Publication of CN107450729B publication Critical patent/CN107450729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Abstract

本发明提供一种机器人交互方法及装置。其中,方法的部分包括以下步骤:通过安装在机器人上的摄像头,拍摄机器人指定范围内用户的面部图像;根据用户的面部图像,判断用户是否具有与机器人进行交互的意图;若判断结果为是,控制机器人主动与用户交互。本发明提供的方法可以提高机器人在与人交互方面的智能程度,以提高交互效率。

Description

机器人交互方法及装置
技术领域
本发明涉及机器人技术领域,尤其涉及一种机器人交互方法及装置。
背景技术
随着机器人技术的发展,越来越多的机器人进入了人们的生活,取代或者协助人们的工作,例如扫地机器人、迎宾机器人、陪伴机器人等。
现有技术中,在用户与机器人开始交互的时候,首先需要用户主动发出指令,机器人才能按照指令进行动作。例如,用户通过按压机器人外部设置的实体按钮或触摸机器人自带的屏幕显示界面开始与机器人交互。这种通过用户主动发出指令以进行人机交互的方式,使得机器人在人机交互中处于被动状态,智能程度和交互效率均较低。
发明内容
本发明的多个方面提供一种机器人交互方法及装置,用以提高机器人在与人交互方面的智能程度,以提高交互效率。
本发明实施例提供一种机器人交互方法,包括:
通过安装在机器人上的摄像头,拍摄所述机器人指定范围内用户的面部图像;
根据所述用户的面部图像,判断所述用户是否具有与所述机器人进行交互的意图;
若所述判断结果为是,控制所述机器人主动与所述用户交互。
可选地,所述方法还包括:
若所述判断结果为否,禁止所述机器人与所述用户交互。
可选地,所述根据所述用户的面部图像,判断所述用户是否具有与所述机器人进行交互的意图,包括:
从所述用户的面部图像中,提取所述用户的面部特征点;
根据所述面部特征点,确定所述用户的朝向以及被拍摄到的所述用户的面部面积;
根据所述用户的朝向以及被拍摄到的所述用户的面部面积,判断所述用户是否具有与所述机器人进行交互的意图。
可选地,所述根据所述用户的朝向以及被拍摄到的所述用户的面部面积,判断所述用户是否具有与所述机器人进行交互的意图,包括:
若所述用户朝向所述机器人,且被拍摄到的所述用户的面部面积大于或等于面积阈值,判定所述用户具有与所述机器人进行交互的意图;若所述用户未朝向所述机器人,或被拍摄到的所述用户的面部面积小于所述面积阈值,判定所述用户不具有与所述机器人进行交互的意图。
可选地,根据所述用户的朝向以及被拍摄到的所述用户的面部面积,判断所述用户是否具有与所述机器人进行交互的意图,包括:
若所述用户朝向所述机器人,且被拍摄到的所述用户的面部面积大于或等于面积阈值,通过安装在所述机器人上的眼动仪,捕捉所述用户的注视点;
若所述注视点在所述机器人上,判定所述用户具有与所述机器人进行交互的意图;
若所述用户未朝向所述机器人,或者被拍摄到的所述用户的面部面积小于所述面积阈值,或者所述注视点未在所述机器人上,判定所述用户不具有与所述机器人进行交互的意图。
可选地,所述方法还包括:
在所述机器人与所述用户交互的过程中,实时监控所述用户的朝向;
若监控到所述用户不朝向所述机器人的时长大于第一指定时长,控制所述机器人停止与所述用户交互。
可选地,所述方法还包括:
在所述机器人与所述用户交互的过程中,实时监控被拍摄到的所述用户的面部面积;
若监控到所述用户的面部面积小于所述面积阈值的时长大于第二指定时长,控制所述机器人停止与所述用户交互。
可选地,控制所述机器人主动与所述用户交互,包括:
控制所述机器人输出语音引导信息,以向所述用户介绍所述机器人的功能;和/或
控制所述机器人向所述用户输出交互页面,以供所述用户与所述机器人进行交互。
本发明实施例还提供一种机器人交互装置,包括:
摄像头,用于拍摄机器人指定范围内用户的面部图像;所述摄像头安装在所述机器人上;
判断模块,用于根据所述用户的面部图像,判断所述用户是否具有与所述机器人进行交互的意图;
控制模块,用于若所述判断结果为是,控制所述机器人主动与所述用户交互。
可选地,所述控制模块还用于:
若所述判断结果为是,控制所述机器人主动与所述用户交互。
在本发明实施例中,通过在机器人上安装摄像头,并根据拍摄到的指定范围内的用户的面部图像,判断用户是否具有与机器人进行交互的意图,从而,可以在用户与机器人交互之前,主动判断用户是否想要与机器人交互,进而当判断结果为是时,控制机器人主动与用户交互。本实施例提供的方法可以提高机器人在与人交互方面的智能程度,以提高交互效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明一实施例提供的一种机器人交互方法的流程示意图;
图2为本发明又一实施例提供的一种机器人交互方法的流程示意图;
图3为本发明又一实施例提供的一种机器人交互装置的模块结构图;
图4为本发明又一实施例提供的一种机器人交互装置的模块结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下结合附图,详细说明本发明各实施例提供的技术方案。
图1为本发明一实施例提供的一种机器人交互方法的流程示意图。如图1所示,该方法包括以下步骤。
S101:通过安装在机器人上的摄像头,拍摄机器人指定范围内用户的面部图像。
S102:根据用户的面部图像,判断用户是否具有与机器人进行交互的意图。
S103:若判断结果为是,控制机器人主动与用户交互。
一般来说,人在接近机器人时,可能具有与机器人进行交互的意图。基于此,可以在机器人上安装摄像头,用于拍摄机器人指定范围内的图像。
可选地,可以在机器人的头部安装一个或多个摄像头。当安装一个摄像头时,为了能够拍摄机器人指定范围内的图像,可以控制摄像头旋转360度拍摄。当安装多个摄像头时,可以令多个摄像头的镜头朝向不同的方向,以拍摄不同方向的图像。
可选地,机器人指定范围可以指以机器人为中心,以指定距离为半径的球体区域。处于指定范围内的用户有较大可能具有与机器人交互的意图;与机器人交互的意图指用户尚未与机器人进行交互,但是具有与机器人交互的想法。
接着,识别拍摄到的图像。若在机器人指定范围内未拍摄到用户的面部图像,可以认为机器人指定范围内不存在用户,或者指定范围内的用户背对机器人,则认为用户不具有与机器人进行交互的意图。若在机器人指定范围内拍摄到用户的面部图像。进一步分析用户的面部图像,来判断用户是否具有与机器人进行交互的意图。
拍摄的用户的面部图像就是以机器人的视角看到的用户的面部图像。一般来说,用户想要与机器人交互和不想与机器人交互时的面部不同。基于此,可以根据用户的面部图像,判断用户是否具有与机器人进行交互的意图。
若判断结果为是,即用户具有与机器人进行交互的意图,则控制机器人主动与用户交互。也就是,在用户与机器人交互之前,控制机器人主动与用户交互,例如,控制机器人主动向用户所在的方向行进。
本实施例中,通过在机器人上安装摄像头,并根据拍摄到的指定范围内的用户的面部图像,判断用户是否具有与机器人进行交互的意图,从而,可以在用户与机器人交互之前,主动判断用户是否想要与机器人交互,进而当判断结果为是时,控制机器人主动与用户交互。本实施例提供的方法可以提高机器人在与人交互方面的智能程度,以提高交互效率。
在一可选实施方式中,若判断结果为否,即用户不具有与机器人进行交互的意图,则禁止机器人与用户交互。此时,机器人可以继续处于待机状态。可选地,安装在机器人上的摄像头可以继续拍摄机器人指定范围内的图像,并对拍摄的图像进行识别。
在上述实施例或下述实施例中,可以从用户的面部图像中根据用户的面部图像,判断用户是否具有与机器人进行交互的意图。可选地,可以从用户的面部图像中,识别出用户的朝向以及被拍摄到的用户的面部面积,进而,根据用户的朝向以及被拍摄到的用户的面部面积,判断用户是否具有与机器人进行交互的意图。
可选地,可以提取用户的面部特征点;继而,根据面部特征点,确定用户的朝向以及被拍摄到的用户的面部面积。图2示出的实施例为一种具体的实施方式。
图2为本发明又一实施例提供的一种机器人交互方法的流程示意图。如图2,该方法包括以下步骤。
S201:通过安装在机器人上的摄像头,拍摄机器人指定范围内用户的面部图像。
S202:从用户的面部图像中,提取用户的面部特征点。
S203:根据面部特征点,确定用户的朝向以及被拍摄到的用户的面部面积。
S204:判断用户是否朝向机器人。若判断结果为是,跳转到步骤S205;若判断结果为否,跳转到步骤S206。
S205:判断被拍摄到的用户的面部面积是否大于或等于面积阈值。若判断结果为是,跳转到步骤S207;若判断结果为否,跳转到步骤S206。
S206:禁止机器人与用户交互,并结束本次操作。
S207:控制机器人主动与用户交互,并结束本次操作。
步骤S201与步骤S101相同,此处不再赘述。
在拍摄机器人指定范围内用户的面部图像之后,可以采用人脸识别技术,从用户的面部图像中,提取用户的面部特征点(即步骤S202)。可选地,可以通过面部特征点确定用户的面部轮廓、面部各器官的位置、大小、形状等信息。
接着,根据用户的面部轮廓、面部各器官的位置、大小、形状等信息,确定用户的朝向以及被拍摄到的用户的面部面积。
可选地,可以根据面部各器官的轮廓、面部各器官的位置、大小、形状等信息,判定用户的面部是否为正面面部。当用户的面部为正面面部时,判定用户朝向机器人;否则,判定用户未朝向机器人。
在一示例中,若面部图像中,鼻子图像位于面部图像的中心区域内,则判定用户的面部图像为正面面部图像,进而确定用户朝向机器人;否则,确定用户不朝向机器人。
可选地,在判定用户朝向机器人后,可以认为用户具有与机器人交互的意图。考虑到正面朝向机器人的用户可能距离机器人较远,难以注意到机器人,进而可能不具有与机器人交互的意图。基于此,在判定用户朝向机器人后,可以进一步判定用户是否靠近机器人。优选地,判断被拍摄到的用户的面部面积是否大于或等于面积阈值。
可选地,面积阈值可以为用户距离机器人指定距离时,拍摄的用户的正面面部面积。其中,指定距离可以为1m、2m等。
一般来说,当用户朝向机器人时,拍摄到的图像是用户的正面面部图像。则比较用户的正面面部面积与面积阈值。若用户的正面面部面积大于或等于面积阈值,根据近大远小的原理,可以认为用户与机器人之间小于或等于指定距离,也就是用户靠近机器人。进而,可以判定用户具有与机器人交互的意图。
相反,若用户的面部面积小于面部阈值,可以认为用户与机器人之间大于指定距离,也就是用户未靠近机器人。进而,可以判定用户不具有与机器人交互的意图。
本实施例中,在确定用户的朝向以及被拍摄到的用户的面部面积之后,首先判断用户的朝向,再判断用户的面部面积,但不限于此。在确定用户的朝向以及被拍摄到的用户的面部面积之后,还可以包括以下两种实施方式中的任一种。
第一种实施方式:判断被拍摄到的用户的面部面积是否大于或等于面积阈值。若否,即被拍摄到的用户的面部面积小于面积阈值,判定用户不具有与机器人进行交互的意图。若是,进一步判断用户是否朝向机器人。若否,即用户未朝向机器人,判定用户不具有与机器人进行交互的意图;若是,即用户未朝向机器人,判定用户具有与机器人进行交互的意图。
第二种实施方式:同时判断被拍摄到的用户的面部面积是否大于或等于面积阈值,以及用户是否朝向机器人。若用户朝向机器人,且被拍摄到的用户的面部面积大于或等于面积阈值,判定用户具有与机器人进行交互的意图;若用户未朝向机器人,或被拍摄到的用户的面部面积小于面积阈值,判定用户不具有与机器人进行交互的意图。
这两种实施方式中,被拍摄到的用户的面部面积可以为正面面部面积、也可以为非正面面部面积。基于此,判断被拍摄到的用户的面部面积是否大于或等于面积阈值,包括两种情况。一种情况是,拍摄到的图像是用户的正面面部图像,比较用户的正面面部面积与面积阈值。另一种情况是,拍摄到的图像是用户的非正面面部图像,如侧面、上/下面等,则比较用户的非正面面部图像与面积阈值。
在一可选实施方式中,可以根据用户的朝向、被拍摄到的用户的面部面积以及用户的注视点,判断用户是否具有与机器人进行交互的意图。
具体地,用户虽然朝向机器人,并且用户的面部面积大于或等于面积阈值;但是,用户关注的可能是机器人周围的其他设备,并不想与机器人进行交互。基于此,在上述实施例或下述实施例中,若用户朝向机器人,且被拍摄到的用户的面部面积大于或等于面积阈值,进一步,判断用户的注视点是否在机器人上。可选地,通过安装在机器人上的眼动仪,捕捉用户的注视点;若注视点在机器人上,判定用户具有与机器人进行交互的意图。
其中,注视是指将眼睛的中央窝对准某一物体的时间超过100毫秒,在此期间被注视的物体成像在中央窝上,获得更充分的加工而形成清晰的像。可选地,可以通过眼动仪在指定时间内,捕捉用户的至少一个注视点。若位于机器人所在的区域内的注视点超过指定数目,或者位于机器人所在区域内的注视点在本次捕捉到的注视点中的占比大于指定比例,可以认为用户的注视点位于机器人上。
当用户的注视点位于机器人上时,意味着用户对机器人感兴趣,具有与机器人进行交互的意图。接着,控制机器人主动与用户交互。相反,当用户的注视点不位于机器人上时,意味着用户对机器人不感兴趣,不具有与机器人进行交互的意图。继而,禁止机器人与用户交互。
在一可选实施方式中,若用户未朝向机器人,或者被拍摄到的用户的面部面积小于面积阈值,或者注视点未在机器人上,均可以判定用户不具有与机器人进行交互的意图。可选地,当用户的注视点未在机器人上时,可不必判断用户是否朝向机器人和被拍摄到的用户的面部面积是否大于或等于面积阈值,直接判定用户不具有与机器人交互的意图。
值得说明的是,在上述实施例中,判断用户是否朝向机器人、判断被拍摄到的用户的面部面积是否大于或等于面积阈值以及判断用户的关注点是否位于机器人上,这三个判断步骤的先后顺序可以根据应用场景进行任意调整,本实施例不作限制。
在上述实施例或下述实施例中,在机器人与用户交互的过程中,用户可能不再需要与机器人进行交互,则可以执行以下三种实施方式中的至少一种。
第一种实施方式:在机器人与用户交互的过程中,实时监控用户的朝向;若监控到用户不朝向机器人的时长大于第一指定时长,控制机器人停止与用户交互。
可选地,可以在机器人与用户交互的过程中,通过安装在机器人上的摄像头实时拍摄用户的面部图像,以监控用户的朝向。当监控到用户不朝向机器人时,开始计时。若本次计时长度大于第一指定时长,即用户有大于第一指定时长的时间不朝向机器人,意味着用户不再需要与机器人进行交互,可以控制机器人停止与用户交互。
可选地,可以通过人脸识别技术确定用户是否朝向机器人,具体的方法详见上述实施例,此处不再赘述。
其中,第一指定时长可以根据实际情况设置。当然,为了使机器人更加灵敏,可以监控到用户不朝向机器人时,控制机器人停止与用户交互。
第二种实施方式:在机器人与用户交互的过程中,实时监控被拍摄到的用户的面部面积;若监控到用户的面部面积小于面积阈值的时长大于第二指定时长,控制机器人停止与用户交互。
可选地,可以在机器人与用户交互的过程中,通过安装在机器人上的摄像头实时拍摄用户的面部图像,以监控被拍摄到的用户的面部面积。当监控到用户的面部面积小于面积阈值时,开始计时。若计时长度大于第二指定时长,即用户有大于第二指定时长的时间远离机器人,意味着用户不再需要与机器人进行交互,可以控制机器人停止与用户交互。
可选地,可以通过人脸识别技术确定用户的面部面积是否小于面积阈值,具体的方法详见上述实施例,此处不再赘述。
其中,第二指定时长可以根据实际情况设置,可以与第一指定时长相同,也可以不同。当然,为了使机器人更加灵敏,可以监控到用户的面部面积小于面积阈值时,控制机器人停止与用户交互。
第三种实施方式:在机器人与用户交互的过程中,实时捕捉用户的注视点;若捕捉到用户的注视点不在机器人上的时长大于第三指定时长,控制机器人停止与用户交互。
可选地,可以在机器人与用户交互的过程中,通过安装在机器人上的眼动仪实时捕捉用户的注视点。当捕捉到用户的注视点不再机器人上时,开始计时。若计时长度大于第三指定时长,即用户有大于第三指定时长的时间不注视机器人,意味着用户不再需要与机器人进行交互,可以控制机器人停止与用户交互。
其中,第三指定时长可以根据实际情况设置,可以与第一指定时长或第二指定时长相同,也可以不同。当然,为了使机器人更加灵敏,可以捕捉到用户的注视点不再机器人上时,控制机器人停止与用户交互。
在一可选实施方式中,控制机器人主动与用户交互,包括以下三种实施方式。
第一种实施方式:控制机器人输出语音引导信息,以向用户介绍机器人的功能。
可选地,语音引导信息指用于引导用户与机器人交互的音频信息。语音引导信息的内容可以为机器人的功能内容,以向用户介绍机器人的功能,但不限于此。语音音频信息的内容还可以包括迎宾内容,如“你好”,以实现迎宾的功能。
第二种实施方式:在控制机器人主动与用户交互时,还可以控制机器人向用户输出交互页面,以供用户与机器人进行交互。可选地,交互页面可以是机器人的功能列表、机器人统计的信息列表等。
第三种实施方式:控制机器人输出语音引导信息,以向用户介绍机器人的功能;以及控制机器人向用户输出交互页面,以供用户与机器人进行交互。
本发明实施例还提供一种机器人交互装置。如图3所示,机器人交互装置300包括摄像头301、判断模块302和控制模块303。
摄像头301,用于拍摄机器人指定范围内用户的面部图像;摄像头安装在机器人上。
判断模块302,用于根据摄像头301拍摄的用户的面部图像,判断用户是否具有与机器人进行交互的意图。
控制模块303,用于若判断模块302的判断结果为是,控制机器人主动与用户交互。
本实施例中,通过在机器人上安装摄像头,并根据拍摄到的指定范围内的用户的面部图像,判断用户是否具有与机器人进行交互的意图,从而,可以在用户与机器人交互之前,主动判断用户是否想要与机器人交互,进而当判断结果为是时,控制机器人主动与用户交互。本实施例提供的方法可以提高机器人在与人交互方面的智能程度,以提高交互效率。
可选地,控制模块303还用于:若判断模块302的判断结果为是,控制机器人主动与用户交互。
可选地,如图4所示,判断模块302包括:提取单元3021、确定单元3022和判断单元3023。
提取单元3021,用于从用户的面部图像中,提取用户的面部特征点。
确定单元3022,用于根据面部特征点,确定用户的朝向以及被拍摄到的用户的面部面积。
判断单元3023,用于根据用户的朝向以及被拍摄到的用户的面部面积,判断用户是否具有与机器人进行交互的意图。
可选地,判断单元3023在根据用户的朝向以及被拍摄到的用户的面部面积,判断用户是否具有与机器人进行交互的意图时,具体用于:若用户朝向机器人,且被拍摄到的用户的面部面积大于或等于面积阈值,判定用户具有与机器人进行交互的意图;若用户未朝向机器人,或被拍摄到的用户的面部面积小于面积阈值,判定用户不具有与机器人进行交互的意图。
可选地,如图4所示,机器人交互装置300还包括眼动仪304,眼动仪304安装在机器人上。眼动仪304用于捕捉用户的注视点。
判断单元3023,还用于若用户朝向机器人、被拍摄到的用户的面部面积大于或等于面积阈值,且注视点在机器人上,判定用户具有与机器人进行交互的意图;若所述用户未朝向所述机器人,或者被拍摄到的所述用户的面部面积小于所述面积阈值,或者所述注视点未在所述机器人上,判定所述用户不具有与所述机器人进行交互的意图。
可选地,确定单元3022用于在机器人与用户交互的过程中,实时监控用户的朝向。基于此,判断单元3023用于判断监控到用户不朝向机器人的时长是否大于第一时长。控制模块303用于若监控到用户不朝向机器人的时长大于第一指定时长,控制机器人停止与用户交互。
可选地,确定单元3022还用于在机器人与用户交互的过程中,实时监控被拍摄到的用户的面部面积。基于此,判断单元3023用于判断监控的被拍摄到的用户的面部面积小于面积阈值的时长是否大于第二指定时长。控制模块303用于若监控的被拍摄到的用户的面部面积小于面积阈值的时长大于第二指定时长,控制机器人停止与用户交互。
可选地,眼动仪304还用于在机器人与用户交互的过程中,实时捕捉用户的注视点。基于此,判断单元3023用于判断捕捉到用户的注视点不在机器人上的时长是否大于第三指定时长。控制模块303用于若捕捉到用户的注视点不在机器人上的时长大于第三指定时长,控制机器人停止与用户交互。
可选地,控制模块303在控制机器人主动与用户交互时,具体用于:控制机器人输出语音引导信息,以向用户介绍机器人的功能;和/或控制机器人向用户输出交互页面,以供用户与机器人进行交互。
以上所述仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (9)

1.一种机器人交互方法,其特征在于,包括:
通过安装在机器人上的摄像头,拍摄所述机器人指定范围内用户的面部图像;
从所述用户的面部图像中,提取所述用户的面部特征点;
根据所述面部特征点,确定所述用户的朝向以及被拍摄到的所述用户的面部面积;
根据所述用户的朝向以及被拍摄到的所述用户的面部面积,判断所述用户是否具有与所述机器人进行交互的意图;
若所述判断结果为是,控制所述机器人主动与所述用户交互。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述判断结果为否,禁止所述机器人与所述用户交互。
3.根据权利要求1所述的方法,其特征在于,所述根据所述用户的朝向以及被拍摄到的所述用户的面部面积,判断所述用户是否具有与所述机器人进行交互的意图,包括:
若所述用户朝向所述机器人,且被拍摄到的所述用户的面部面积大于或等于面积阈值,判定所述用户具有与所述机器人进行交互的意图;
若所述用户未朝向所述机器人,或被拍摄到的所述用户的面部面积小于所述面积阈值,判定所述用户不具有与所述机器人进行交互的意图。
4.根据权利要求1所述的方法,其特征在于,所述根据所述用户的朝向以及被拍摄到的所述用户的面部面积,判断所述用户是否具有与所述机器人进行交互的意图,包括:
若所述用户朝向所述机器人,且被拍摄到的所述用户的面部面积大于或等于面积阈值,通过安装在所述机器人上的眼动仪,捕捉所述用户的注视点;
若所述注视点在所述机器人上,判定所述用户具有与所述机器人进行交互的意图;
若所述用户未朝向所述机器人,或者被拍摄到的所述用户的面部面积小于所述面积阈值,或者所述注视点未在所述机器人上,判定所述用户不具有与所述机器人进行交互的意图。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述机器人与所述用户交互的过程中,实时监控所述用户的朝向;
若监控到所述用户不朝向所述机器人的时长大于第一指定时长,控制所述机器人停止与所述用户交互。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述机器人与所述用户交互的过程中,实时监控被拍摄到的所述用户的面部面积;
若监控到所述用户的面部面积小于所述面积阈值的时长大于第二指定时长,控制所述机器人停止与所述用户交互。
7.根据权利要求1-6任一项所述的方法,其特征在于,控制所述机器人主动与所述用户交互,包括:
控制所述机器人输出语音引导信息,以向所述用户介绍所述机器人的功能;和/或
控制所述机器人向所述用户输出交互页面,以供所述用户与所述机器人进行交互。
8.一种机器人交互装置,其特征在于,包括:
摄像头,用于拍摄机器人指定范围内用户的面部图像;所述摄像头安装在所述机器人上;
判断模块,用于从所述用户的面部图像中,提取所述用户的面部特征点;根据所述面部特征点,确定所述用户的朝向以及被拍摄到的所述用户的面部面积;根据所述用户的朝向以及被拍摄到的所述用户的面部面积,判断所述用户是否具有与所述机器人进行交互的意图;
控制模块,用于若所述判断结果为是,控制所述机器人主动与所述用户交互。
9.根据权利要求8所述的装置,其特征在于,所述控制模块还用于:
若所述判断结果为是,控制所述机器人主动与所述用户交互。
CN201710682577.9A 2017-08-10 2017-08-10 机器人交互方法及装置 Active CN107450729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710682577.9A CN107450729B (zh) 2017-08-10 2017-08-10 机器人交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710682577.9A CN107450729B (zh) 2017-08-10 2017-08-10 机器人交互方法及装置

Publications (2)

Publication Number Publication Date
CN107450729A CN107450729A (zh) 2017-12-08
CN107450729B true CN107450729B (zh) 2019-09-10

Family

ID=60491526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710682577.9A Active CN107450729B (zh) 2017-08-10 2017-08-10 机器人交互方法及装置

Country Status (1)

Country Link
CN (1) CN107450729B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108068121A (zh) * 2017-12-22 2018-05-25 达闼科技(北京)有限公司 一种人机交互控制方法、装置及机器人
CN108780361A (zh) * 2018-02-05 2018-11-09 深圳前海达闼云端智能科技有限公司 人机交互方法、装置、机器人及计算机可读存储介质
CN108803866A (zh) * 2018-03-27 2018-11-13 北京七鑫易维信息技术有限公司 输出信息的方法、装置和系统
CN110858426A (zh) * 2018-08-24 2020-03-03 深圳市神州云海智能科技有限公司 一种彩票机器人与用户交互的方法、装置及彩票机器人
CN110175489A (zh) * 2018-08-30 2019-08-27 永康市胜时电机有限公司 摄像组件现场搜索平台
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
CN109890573B (zh) * 2019-01-04 2022-05-03 上海阿科伯特机器人有限公司 移动机器人的控制方法、装置、移动机器人及存储介质
CN111124109B (zh) * 2019-11-25 2023-05-05 北京明略软件系统有限公司 一种交互方式的选择方法、智能终端、设备及存储介质
CN110928415B (zh) * 2019-12-04 2020-10-30 上海飘然工程咨询中心 一种基于面部动作的机器人交互方法
CN112732074A (zh) * 2020-12-29 2021-04-30 珠海新天地科技有限公司 一种机器人交互的方法
CN113284404B (zh) * 2021-04-26 2022-04-08 广州九舞数字科技有限公司 一种基于用户动作的电子沙盘展示方法及装置
CN113894783A (zh) * 2021-10-12 2022-01-07 北京声智科技有限公司 机器人的交互方法、装置、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222563A (ja) * 1999-02-04 2000-08-11 Nec Corp 障害物検出装置および障害物検出装置を搭載した移動体
CN103677270A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于眼动跟踪的人机交互方法
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN105093986A (zh) * 2015-07-23 2015-11-25 百度在线网络技术(北京)有限公司 基于人工智能的拟人机器人控制方法、系统及拟人机器人
CN105116920A (zh) * 2015-07-07 2015-12-02 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人追踪方法、装置及智能机器人
CN106161916A (zh) * 2015-04-08 2016-11-23 联想(北京)有限公司 一种图像采集方法及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222563A (ja) * 1999-02-04 2000-08-11 Nec Corp 障害物検出装置および障害物検出装置を搭載した移動体
CN103677270A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于眼动跟踪的人机交互方法
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN106161916A (zh) * 2015-04-08 2016-11-23 联想(北京)有限公司 一种图像采集方法及电子设备
CN105116920A (zh) * 2015-07-07 2015-12-02 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人追踪方法、装置及智能机器人
CN105093986A (zh) * 2015-07-23 2015-11-25 百度在线网络技术(北京)有限公司 基于人工智能的拟人机器人控制方法、系统及拟人机器人

Also Published As

Publication number Publication date
CN107450729A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN107450729B (zh) 机器人交互方法及装置
CN109976506B (zh) 一种电子设备的唤醒方法、存储介质及机器人
US20230206685A1 (en) Decreasing lighting-induced false facial recognition
Vaitukaitis et al. Eye gesture recognition on portable devices
WO2017088360A1 (zh) 一种关闭终端的方法及装置
CN106557744B (zh) 可穿戴人脸识别装置及实现方法
EP3287939A1 (en) Security inspection image discrimination system and image discrimination method comprising video analysis
CN207267773U (zh) 用于智能楼宇的电梯
WO2015078240A1 (zh) 一种视频控制方法及用户终端
CN109002786A (zh) 人脸检测方法、设备及计算机可读存储介质
CN105260697A (zh) 预防眼睛疲劳的方法及所适用的移动设备
CN103369248A (zh) 一种闭眼后睁开的拍照方法
KR20190001067A (ko) 음성 인식 방법 및 장치
KR101385981B1 (ko) 제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법
CN104484588A (zh) 具有人工智能的虹膜安全认证方法
EP3617851A1 (en) Information processing device, information processing method, and recording medium
CN105354552A (zh) 一种基于人脸识别和表情分析的在线监测系统与方法
CN104348969A (zh) 一种利用视线凝视操作手机的方法
CN103019381B (zh) 控制显示屏自动背光的方法
CN108600715A (zh) 一种投影控制方法及投影设备
CN106791407A (zh) 一种自拍控制方法和系统
CN111768785A (zh) 一种智能手表的控制方法及智能手表
CN108958488A (zh) 一种人脸指令识别方法
CN104636719A (zh) 一种嵌入式人脸虹膜可视化识别系统
CN113759748A (zh) 一种基于物联网的智能家居控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 402, Building 33 Guangshun Road, Changning District, Shanghai, 2003

Applicant after: SHANGHAI MROBOT TECHNOLOGY Co.,Ltd.

Address before: Room 402, Building 33 Guangshun Road, Changning District, Shanghai, 2003

Applicant before: SHANGHAI MUYE ROBOT TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 200336 402 rooms, No. 33, No. 33, Guang Shun Road, Shanghai

Patentee after: Shanghai Zhihui Medical Technology Co.,Ltd.

Address before: 200336 402 rooms, No. 33, No. 33, Guang Shun Road, Shanghai

Patentee before: SHANGHAI MROBOT TECHNOLOGY Co.,Ltd.

Address after: 200336 402 rooms, No. 33, No. 33, Guang Shun Road, Shanghai

Patentee after: Shanghai zhihuilin Medical Technology Co.,Ltd.

Address before: 200336 402 rooms, No. 33, No. 33, Guang Shun Road, Shanghai

Patentee before: Shanghai Zhihui Medical Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP03 Change of name, title or address

Address after: 202150 room 205, zone W, second floor, building 3, No. 8, Xiushan Road, Chengqiao Town, Chongming District, Shanghai (Shanghai Chongming Industrial Park)

Patentee after: Shanghai Noah Wood Robot Technology Co.,Ltd.

Address before: 200336 402 rooms, No. 33, No. 33, Guang Shun Road, Shanghai

Patentee before: Shanghai zhihuilin Medical Technology Co.,Ltd.

CP03 Change of name, title or address