CN107133609B - 一种人机交流机器人与其控制方法 - Google Patents
一种人机交流机器人与其控制方法 Download PDFInfo
- Publication number
- CN107133609B CN107133609B CN201710404232.7A CN201710404232A CN107133609B CN 107133609 B CN107133609 B CN 107133609B CN 201710404232 A CN201710404232 A CN 201710404232A CN 107133609 B CN107133609 B CN 107133609B
- Authority
- CN
- China
- Prior art keywords
- person
- head
- face
- wide
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 46
- 230000009471 action Effects 0.000 claims abstract description 26
- 210000003128 head Anatomy 0.000 claims description 78
- 230000008569 process Effects 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Toys (AREA)
Abstract
本发明涉及一种人机交流机器人与其控制方法,其包括模仿面部的头部,支撑头部的胴体以及相对于胴体让头部回转的控制手段,示意交流成立的信号动作的控制手段,检测出要求交流的人物并进行交流的机器人。所述机器人通过安装在头部和胸部的广角摄像头检测出人物,通过所述的图像处理手段分析检出要求服务的人的正面面孔,并执行与所述人物打招呼、举手等示意交流成立的动作。
Description
技术领域
本发明涉及一种以与人进行交流为目的的交流机器人及其控制方法,尤其涉及一种实现了让人容易依赖的服务机器人。
背景技术
交流机器人具备利用动作、手势以及音声等与人进行交流功能。现有交流机器人,通过头部的转动移动机器人的视线,通过视线的转移传达机器人的意图。
但是现有的人机交流机器人在人物的识别准确性不佳以及第三人参与交流时无法及时应对处理,无法实现同步处理第三人的交流需求,无法满足人机交流的高体验要求。
发明内容
本发明设计了一种人机交流机器人与其控制方法,其解决的技术问题是现有的人机交流机器人在人物的识别准确性不佳以及第三人参与交流时无法及时应对处理,无法实现同步处理第三人的交流需求,无法满足人机交流的高体验要求。
为了解决上述存在的技术问题,本发明采用了以下方案:
本发明人机交流机器人具备模仿面孔的头部、支撑所述头部的胴体,相对于胴体让头部控制单元、示意交流成立的信号动作控制单元。检测出要求交流的人物并且进行交流的交流机器人,在所述头部设置相当于眼睛的眼照相机,所述胴体上设置广域摄影的广角照相机,从所述广角照相机的图像检测出人物,从所述眼照相机检测出正面面对机器人的正面面孔的图像处理单元,所述头部控制单元是,在可以进行交流时,所述头部相对于所述胴体按照预定的回转速度执行回转巡视动作,该巡视动作执行过程中,在所述图像处理单元从所述广角照相机的图像检测出的人物位置,所述头部的回转速度降低到所述规定值,所述图像处理单元在所述头部的回转速度降低到规定值以下时从所述眼照相机的图像检测出正面面孔的人物,所述图像处理单元从眼照相机的图像超过预先设定的时间检测出所述正面面孔的人物时,所述信号动作控制单元将向该人物发出信号的特征。
该交流机器人执行旋转头部(脖子转动)、观察周围(巡视动作)的动作。而且在有人的方向头部的回转速度降低,或者暂时停止。该巡视动作是表示处于可以进行服务的状态,观察本身仅仅是个表象,人物的检测是从巡视动作开始前设置在胴体上的广角照相机的图像进行,在人物的检出位置控制降低头部的回转速度。此时,检出位置的人物继续盯着机器人时,机器人会判断眼睛接触已成立并送出信号。因此,机器人如果执行巡视动作,服务对象可以知道机器人是可以服务的,机器人朝向人的时候人如果盯着机器人,可以向机器人请求服务。
对于本发明的交流机器人,对所述信号动作控制单元是,对所述正面面孔的人物发出的所述信号是,将胴体转向该人物的正面,执行与该人物打招呼、举手的动作中的一个或者两个以上的动作。
本发明的交流机器人的所述图像处理单元为,从所述广角照相机的图像检出肤色域,所述肤色域的帧间差值的绝对值的总和超出阈值时,所述肤色域被作为人物检出。巡视动作的过程中人物的检出,由于没有严格要求,所以通过肤色域的位置推断出人物,但是肌肤色的墙壁等完全不动的东西除外。
本发明的交流机器人从眼照相机的图像检测出正面面孔的情况下,所述图像处理单元从眼照相机的图像,通过利用矩形特征的识别器检测出与面孔相当的脸矩形,同时检测出与所述脸矩形重叠的肤色域,通过计算脸矩形左边缘与鼻尖的视角,计算脸矩形右边缘与鼻尖的视角,如果这两个视角接近相等,就可以判断是正面面孔。
对于本发明的交流机器人,通过所述信号动作控制单元对发送信号的人进行交流的过程中,检测出其他要求接触的人时,所述头部控制单元中止所述交流,所述头部的面孔在规定时间段内转向被检出的所述其他的方向,然后,所述头部的方向转回重新开始所述交流。
本发明的交流机器人通过所述图像处理单元检出所述要求接触的其他人,所述图像处理单元从所述广角照相机的图像、通过利用矩形特征的识别器检出与脸矩形相当的面孔,同时,检出与所述脸矩形重叠的肤色域,脸矩形左边沿A到脸矩形中心(鼻尖C)的角度∠AOC与脸矩形中心(鼻尖C)到脸矩形右边沿B的角度∠COB如果接近相等,则可以判定此人正面朝服务机器人。
本发明的动作机制是具备模仿面孔的头部,支撑所述头部的胴体,指示所述胴体的信号动作控制单元,检出要求交流的人并且进行交流的交流机器人的动作机制,特征是从设置在所述胴体的广角照相机的图像检测人物的步骤,可能进行交流时相对所述胴体的所述头部执行按照规定的回转速度回转巡视动作,在所述人物检出的位置所述头部的回转速度降低到规定值以下的步骤,以及所述头部的回转速度降低到所述规定值以下时,从在所述头部设置的眼照相机的图像检出面向机器人的正面面孔的人物的步骤、所述正面面孔的人物超出预先设定的时间将面孔面向机器人时向该人物发送信号的步骤。
通过该交流机器人的动作,寻求服务的人看到机器人的巡视动作可以知道机器人可以提供服务,机器人面向自己时如果盯着机器人,就可以要求机器人提供服务。
本发明的交流机器人的动作机制,与发送所述信号的人进行交流的过程中,检测出要求接触的其他人时,中断所述交流,在规定时间段内将所述头部的面孔转向所述其他人物的方向,然后将所述头部回转重新开始所述交流。
通过该机器人的动作,要求接触的其他人可以知道机器人认可了所述要求,然后现在进行的交流结束后,会应答自己的要求。
该人机交流机器人与其控制方法具有以下有益效果:
(1)本发明包括模仿面部的头部,支撑头部的胴体以及相对于胴体让头部回转的控制手段,示意交流成立的信号动作的控制手段,检测出要求交流的人物并进行交流的机器人。所述机器人通过安装在头部和胸部的广角摄像头检测出人物,通过所述的图像处理手段分析检出要求服务的人的正面面孔,并执行与所述人物打招呼、举手等示意交流成立的动作。
(2)本发明的交流机器人的动作机制,与发送所述信号的人进行交流的过程中,检测出要求接触的其他人时,中断所述交流,在规定时间段内将所述头部的面孔转向所述其他人物的方向,然后将所述头部回转重新开始所述交流。
附图说明
图1是本发明的机器人的机能模块示意图;
图2是该机器人的硬件构成组件示意图;
图3是该机器人的外观示意图;
图4是该机器人的动作示意图;
图5是图4的步骤1的动作顺序流程示意图;
图6是图4的步骤3的动作顺序的流程示意图;
图7是图4的步骤8的动作顺序的流程示意图;
图8是本发明中面孔领域检出用的识别器工作示意图;
图9是图4的步骤12的动作顺序的示意图;
图10是图9中涉及的各个角度计算示意图。
附图标记说明:
13—右臂马达;14—左臂马达;15—头部马达;16—腰部马达;17—车轮马达;18—超声波距离传感器;20—眼照相机;21—触摸传感器;22—碰撞传感器;23—扬声器;24—麦克风;25—CPU;26—内存;27—无线网卡;28—外部电脑;29—马达控制板;30—传感器输入/输出控制板;31—音声输入/输出控制板;40—图像处理部分;41—肤色检出部分;42—帧间差值的算出部分;43—面孔检测部分;52—头部;53—广角照相机;54—胴体;55—胳膊;56—车轮;61—头部控制单元;62—图像处理单元;63—信号动作控制单元;64—控制部分;70—矩形;71—中心线。
具体实施方式
下面结合图1至图10,对本发明做进一步说明:
如图1所示,本发明机器人作为与本发明相关的机能模块,包括控制胴体54上方的头部52,像摇头一样回转的头部控制单元61,对眼照相机20与广角照相机53的图像进行处理图像的图像处理单元62,通过举手、从扬声器23中发声、将胴体转向请求者的方向等向请求者发出信号的信号动作控制单元63,基于图像处理单元62的处理结果或者触摸传感器21的检测信号控制各部分的控制部分64。
图2是交流机器人的构造模块。该机器人的外形包括胴体54和头部52,被胴体54支撑的胳膊55可以回转,头部52设置了眼或者嘴(扬声器23)。左右眼睛通过左、右眼球马达可以转动,胳膊55可以通过右臂马达13和左臂马达14进行转动。头部52可以通过头部马达15的驱动相对于胴体来回摇动。胴体54通过腰部马达16改变方向,并且通过车轮马达56前后左右移动。而且,胴体54还设置了测定与邻近物距离的超声波距离传感器18、感知碰撞的碰撞感知器22、广角照相机53、麦克风24,头部52设置了眼照相机20。
控制系统包括CPU25、控制程序、记忆各种数据的内存26,基于CPU25的指令控制各个马达的马达控制板29,将各传感器的信号送入CPU25的传感器输入/输出控制板30,从CPU25发出的合成音声经过扬声器23发出,从麦克风24收到的声音送到CPU25的音声输入/输出控制板31,与外部的计算机进行通信的无线网卡27,从CPU25中送出的情报经过无线网卡27传到外部的计算机,把外部计算机28收到的信号送到CPU25的无线网卡27。该交流机器人通过眼照相机检测出对象人物的位置,通过头部的转动或者视线的移动向对象人物传达机器人的意图。
提供服务的对象不是特定人物的服务机器人,需要服务对象与机器人之间首先要建立连接。人类之间服务对象和服务人员之间即使不出声多数情况下也能正常开始交流。由于机器人不具备类似交流的能力,本发明的发明人提出人和机器人之间通过眼睛接触开始交流的方法。
如图2所示,本发明机器人包括内部CPU25、控制程序或者记忆各种数据的芯片,基于CPU25的指令控制各个马达的马达控制板29,以及将各个传感器的信号送往CPU25的传感器输入/输出控制板30,从CPU25传出的合成声音通过扬声器23传出,从麦克风24收到的声音送入CPU25的音声输入/输出控制板31,与外部计算机进行通信的无线网卡27,从CPU25中送出的信号通过无线网卡27送向外面计算机28,将外部计算机收到的信号送到CPU25的无线网卡27。
马达控制板29控制胳膊55回转的回转右臂马达13、左臂马达14,控制头部52回转的头部马达15,控制胴体54回转的腰部马达16,控制胴体54前后移动的车轮马达56。
传感器输入/输出控制板30收集从超声波距离传感器18、广角照相机53、眼照相机20、触摸传感器21以及碰撞传感器22传送的信号并进行信号发送。
该机器人包括处理广角照相机53以及眼照相机20图像的图像处理部分40。该图像处理部分40,由从图像检出肤色域的肤色检出部分41以及计算摄像机的帧间差值的算出部分42,通过利用矩形特征的识别器检出与面孔相当的脸矩形的面孔检测部分43。另外,该图像处理部分40可以包括DSP(digital signal processor)构成,或者通过控制程序实现进行演算处理的CPU25的机能。另外,在外部计算机端有图像处理部分40,处理通过无线通信装置28收到的图像数据,处理结果也可以转送给机器人。
如图3所示,本发明机器人是看护机器人,有设置了与眼睛相当的眼照相机20的头部52、设置了广域摄影的广角照相机的胴体54,在胴体54上可以回转的胳膊55。眼照相机20由摄像机构成.另外,广角照相机53由不同方向可以在180°范围内摄影的3台摄像机组成。
图4的流程图所示为本发明机器人的动作顺序。步骤1、图像处理单元62通过广角照相机53的广角图像检测出人物的肤色域。
如图5所示,该处理具体按照图5的流程图所示的顺序进行。即,通过广角图像RGB色阶(R、G、B各8位)值:
R>95、G>40、B>20Max{R.G.B}-Min{R.G.B}>15|R-G|>15R>G、R>B;
步骤1中检测出人物的肤色域具体步骤如下:步骤101、抽出满足条件的肤色的像素范围区域;步骤102、算出该肤色部分的帧间差值,识别帧间差值绝对值的和是否超出阈值;步骤103、帧间差值的绝对值加和超出阈值的肤色部分作为人的面孔肤色域被检测出来;步骤104、帧间差值在阈值以下的肤色部分被作为肤色的墙壁或者橱柜排除。另外,图像处理单元62,反复不停的从广角图像检出肤色域。
步骤2、头部控制单元61让头部52按照一定的回转速度开始回转巡视的动作。
步骤3、该巡视动作期间,图像处理单元62从广角照相机53的广角图像检出帧间差值大的区域。该步骤3的目的是检出站起来的人或者从门口进入室内的人。
步骤3的具体按照图6的流程图所示的顺序进行。即步骤31、算出广角图像的帧间差值,步骤32、再算出差值超出预先设定的阈值的区域,步骤33、然后判断该区域的面积是否超出设定值,步骤34、如果超出设定值检出差值大的区域,步骤35、如该区域的面积不超出设定值则无视。
在检出差值大的区域的情况下,如图4所示,步骤6、头部控制单元61中断巡视的动作,将头部转向差值大的区域方向,执行后续步骤7。
而且,持续巡视动作的头部控制单元61将头部52转向在步骤1中检出的肤色域方向时,头部52的回转速度降低,或者暂时停止。头部52的回转一旦停止或者减慢,图像处理单元62从头部52上搭载的眼照相机20的图像检出直视机器人的面孔(正面面孔)(步骤7)。
首先从眼照相机的图像通过利用矩形特征的识别器检出与面孔相当的脸矩形。作为面孔领域检出用的识别器也有许多开发。图8中(a)所示的矩形70所示为利用该识别器检出的脸矩形。该脸矩形70的水平方向的中心线与鼻的位置一致。但是,脸矩形70的区域内也包含了人脸以外的区域。
图8中(b)、(c)和(d)部分所示为从照相机看过去分别是略微转向右侧的面孔、正面朝向的面孔、从照相机看过去略微转向左侧的面孔图像,各图像上面标有脸矩形70、脸矩形70的水平方向的中心线71。脸矩形70的水平方向的中心线71与鼻的位置一致,面向右侧时(图8中(b)部分)该中心线71向右偏离脸矩形的水平方向的中心。相反的,面向左侧时(图8中(d)部分)该中心线71向左偏离脸矩形中心。正面朝向时(图8中(c)部分)该中心线71位于脸矩形的水平方向的中心。
步骤8、控制部64判断与该人的眼睛接触是否成立。该处理具体按照图7的流程图所示的顺序进行。即计算正面面孔被持续检出的时间(步骤81),计算时间如果超出预先设定的阈值(步骤82YES的情况)判定眼睛接触成立(步骤83)。另外,计算时间如果没有超出阈值,判定眼睛接触不成立(步骤84),头部控制单元61重新开始巡视的动作(步骤2)。一旦眼睛接触成立,信号动作控制单元63将胴体转向眼睛接触的对方,举起胳膊55或者从扬声器23“有什么事情吗”的声音信号发送出去(步骤9)。然后,机器人使用车轮56接近对方开始服务(步骤10)。此外,图像处理单元62反复从广角图像中检测肤色域,人的位置发生变化时头部52的回转速度减慢的方向也发生相应的变化。
机器人执行所述动作时,要求服务的人看到机器人的巡视动作,意识到机器人是可以提供服务的状态。而且服务的要求者从机器人的巡视动作可以判断机器人头部转向的时间,在这个时间看机器人的话,就能得到服务。因此,可以对机器人高效传达请求。
从椅子上站起来的高龄者或者从门口进入的高龄者有时需要帮忙。为进行该动作的高龄者者提供的帮助比对在椅子上安静地坐着的高龄者提供帮助要求更迅速。该机器人一旦检出高龄者的大动作,会直接将头部转向该方向,寻求帮助的人如果此时盯着机器人看可迅速获得帮助。
接下来说明一下机器人在服务开始后,其他要求服务的人出现时机器人的动作。如图4所示,机器人开始服务(步骤10)后,其他寻求服务的人碰一下机器人,控制部分64通过触摸传感器21检出(步骤1),执行后续的步骤14的动作。然后,图像处理单元62即使是在服务执行中仍然对广角照相机53的广角图像进行解析,从广角图像中检出正面面孔(步骤12)。该处理具体按照图9的流程图所示的顺序执行,即:从广角图像通过与步骤81相同的顺序检出脸矩形(步骤121),与步骤82同样的步骤检出肤色域(步骤122)。此时,人物的面孔可能位于广角图像的中央附近的位置。
如图10所示,也有在广角图像的界限附近的位置的情况。人物的面孔如果在广角图像的中央附近位置,该人物一旦盯着机器人看,如同对步骤83和步骤84说明的那样,脸矩形的水平方向的中心位置与肤色域的水平方向的中心位置的差值变小。
回到图9的流程图(关于各点的定义,参见图10),从广角图像计算脸矩形左边沿到鼻尖的角度∠AOC=atan(PA/OP)-atan(PC/OP)(步骤123);计算脸矩形右边沿到鼻尖的角度∠BOC=atan(PC/OP)-atan(PB/OP)(步骤124),然后比较∠AOC和∠BOC(步骤125),如果两个角的比值约等于1,识别出正面面孔(步骤126),如果离1比较远,识别出非正面面孔(步骤127)。
返回图4的流程图,控制部分64计算从广角图像持续监测出正面面孔的时间,判定该时间是否超出预先设定的时间(步骤13)。盯着机器人看的时间如果超过规定时间(步骤13YES的情况),或者有与机器人接触的人存在(步骤11YES的情况),头部控制单元61强头部52转向该人的方向,在该人的位置短暂停留后,回到原来的位置(步骤14)重新开始进行中的服务(步骤10)。机器人的该动作可以向对方传达已经注意到了服务的要求,但是,由于现在对其他人进行服务,无法直接应答服务。这种情况下,机器人记忆该服务要求,进行中的服务结束后应答记忆下的该服务。
如图图10所示,人的面部分为左侧边缘L,右侧边缘R,以及两者的正中,鼻尖M。分别在摄像头平面上成像为A,B,C三点。摄像头观察点位于O。从广角图像计算脸矩形左边沿到鼻尖的角度∠AOC=atan(PA/OP)-atan(PC/OP)(步骤123);计算脸矩形右边沿到鼻尖的角度∠BOC=atan(PC/OP)-atan(PB/OP)(步骤124),然后比较∠AOC和∠BOC(步骤125),如果两个角的比值约等于1,识别出正面面孔(步骤126),如果离1比较远,识别出非正面面孔(步骤127)。
本发明中对于该交流机器人,请求者通过极其简单的动作,实现高效交流。另外,在这里尽管使用了作为广角照相机53的3台摄影机构成的照相机,只要是能够广角摄影的照相机,任何类型都可以使用。而且,本发明中,巡视动作的过程中尽管说明用眼照相机检出正面面孔,不使用眼照相机,使用广角照相机53的图像检出也可以。这种情况下正面面孔的检出机制与步骤12中说明的机制相同,从降低回转速度的头部的面孔前方的图像范围检出。这种情况下正面面孔的检出有无需等待头部转向人的方向就可以开始的优点。
上面结合附图对本发明进行了示例性的描述,显然本发明的实现并不受上述方式的限制,只要采用了本发明的方法构思和技术方案进行的各种改进,或未经改进将本发明的构思和技术方案直接应用于其它场合的,均在本发明的保护范围内。
Claims (10)
1.一种人机交流机器人,包括模仿面部的头部、支撑头部的胴体、相对于胴体让头部控制单元,示意交流成立的信号动作控制单元,其特征在于:在所述头部设置了相当于眼睛的眼照相机,所述胴体设置了广角摄影的广角照相机,从所述广角照相机的画像检出人物,从所述眼照相机的画像检出面向机器人的正面面孔的图像处理单元,所述头部控制单元在可能接受交流时执行相对于所述胴体和所述头部按照规定的回转速度回转的巡视动作,该巡视动作的过程中,所述图像处理单元从所述广角照相机的画像检测出人物,让所述头部的回转速度降低到规定值以下,所述图像处理单元在所述头部的回转速度的规定值以下时从所述眼照相机的画像检测出所述正面面孔的人物,所述图像处理单元从所述眼照相机的画像检出所述正面面孔的人物超出预先设定的时间时,所述信号动作控制单元向该人物送出信号;所述信号动作控制单元与发送信号的人物进行交流的过程中,如果检测到要求接触的其他人物,所述头部控制单元会中止所述的交流,向被检测到的所述其他人的方向在规定时间段内转向所述头部的面孔,然后所述头部的方向回到原处重新开始所述的交流。
2.根据权利要求1所述人机交流机器人,其特征在于:所述信号动作控制单元中的信号动作包括正面面孔的交流人物发出的信号、所述胴体转向正面的动作信号、与交流人物说话的动作信号以及对该交流人物举手的动作中的一个或者两个的动作信号。
3.根据权利要求1或2所述人机交流机器人,其特征在于:所述图像处理单元从所述广角照相机的画像可以分成肤色域,帧间差值的绝对值的总和超过阈值时,所述肤色域可以辨别出人物。
4.根据权利要求3所述人机交流机器人,其特征在于:所述图像处理单元从所述眼照相机的画像,通过利用矩形特征的识别器可以检测出与面孔相当的脸矩形。
5.根据权利要求1、2或4所述人机交流机器人,其特征在于:要求接触的其他人物通过所述图像处理单元被检出,所述图像处理单元从所述广角照相机通过利用矩形特征的识别器检出相当于面孔的脸矩形;脸矩形左边沿A到脸矩形中心鼻尖C的角度∠AOC与脸矩形中心鼻尖C到脸矩形右边沿B的角度∠COB如果接近相等,则可以判定此人正面朝向服务机器人。
6.根据权利要求3所述人机交流机器人,其特征在于:要求接触的其他人物通过所述图像处理单元被检出,所述图像处理单元从所述广角照相机通过利用矩形特征的识别器检出相当于面孔的脸矩形;脸矩形左边沿A到脸矩形中心鼻尖C的角度∠AOC与脸矩形中心鼻尖C到脸矩形右边沿B的角度∠COB如果接近相等,则可以判定此人正面朝向服务机器人。
7.一种人机交流机器人的控制方法,包括以下步骤:
步骤A、图像处理单元(62)通过广角照相机(53)的广角图像检测出人物的肤色域;
步骤B、头部控制单元(61)让头部(52)按照一定的回转速度开始回转巡视的动作;
步骤C、该巡视动作期间,图像处理单元(62)从广角照相机(53)的广角图像检出帧间差值大的区域;
步骤D、在检出差值大的区域的情况下,头部控制单元(62)中断巡视的动作,将头部转向差值大的区域方向;
步骤E、头部52的回转一旦停止或者减慢,图像处理单元(62)从头部(52)上搭载的眼照相机(20)的图像检出直视机器人的人物面孔,即正面面孔;
步骤F、控制部(64)判断与该人的眼睛接触是否成立;
步骤G:一旦眼睛接触成立,信号动作控制单元(63)将胴体转向眼睛接触的对方,举起手(55)将动作信号或者从扬声器(23)将声音信号发送出去;
步骤H:机器人使用车轮(56)接近该人物开始服务。
8.根据权利要求7所述人机交流机器人的控制方法,其特征在于:按照顺序还包括:
步骤I、机器人开始服务后,其他寻求服务的人碰一下机器人,控制部分64通过触摸传感器器(21)检出,执行后续的步骤L的动作;
步骤J、图像处理单元(62)即使是在服务执行中仍然对广角照相机53的广角图像进行解析,从广角图像中检出其他寻求服务的人正面面孔;
步骤K、控制部分(64)计算从广角图像持续监测出正面面孔的时间,判定该时间是否超出预先设定的时间;
步骤L、盯着机器人看的时间如果超过规定时间,或者有与机器人接触的人存在,头部控制单元(61)将头部(52)转向该人的方向,在该人的位置短暂停留后,回到原来的位置,重新开始进行中的服务。
9.根据权利要求7或8所述人机交流机器人的控制方法,其特征在于:步骤C中包括以下分步骤:步骤C1、算出广角图像的帧间差值,步骤C2、再算出差值超出预先设定的阈值的区域,步骤C3、然后判断该区域的面积是否超出设定值,步骤C4、如果超出设定值检出差值大的区域,步骤C5、如该区域的面积不超出设定值则无视。
10.根据权利要求7或8所述人机交流机器人的控制方法,其特征在于:步骤J中从广角图像中检出正面面孔包括以下分步骤:
步骤J1、从广角图像检出脸矩形;
步骤J2、检出肤色域;
步骤J3、从广角图像计算脸矩形左边沿到鼻尖的角度∠AOC=atan(PA/OP)-atan(PC/OP);
步骤J4、计算脸矩形右边沿到鼻尖的角度∠BOC=atan(PC/OP)-atan(PB/OP);
步骤J5、然后比较∠AOC和∠BOC;
步骤J6、如果两个角的比值约等于1,识别出正面面孔,如果离1比较远,识别出非正面面孔。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710404232.7A CN107133609B (zh) | 2017-06-02 | 2017-06-02 | 一种人机交流机器人与其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710404232.7A CN107133609B (zh) | 2017-06-02 | 2017-06-02 | 一种人机交流机器人与其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107133609A CN107133609A (zh) | 2017-09-05 |
CN107133609B true CN107133609B (zh) | 2020-01-14 |
Family
ID=59733422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710404232.7A Expired - Fee Related CN107133609B (zh) | 2017-06-02 | 2017-06-02 | 一种人机交流机器人与其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107133609B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110253590B (zh) * | 2019-04-30 | 2021-08-17 | 北京云迹科技有限公司 | 机器人转身处理方法及装置 |
CN112571433A (zh) * | 2020-12-14 | 2021-03-30 | 王永安 | 宠物机器人的情感交流方法 |
CN114310938A (zh) * | 2021-12-17 | 2022-04-12 | 重庆特斯联智慧科技股份有限公司 | 一种景区游玩智能引导机器人 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102323817A (zh) * | 2011-06-07 | 2012-01-18 | 上海大学 | 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法 |
CN103645733A (zh) * | 2013-12-02 | 2014-03-19 | 江苏建威电子科技有限公司 | 自寻充电机器人及其自寻充电系统和方法 |
CN104602868A (zh) * | 2012-06-21 | 2015-05-06 | 睿信科机器人有限公司 | 用于机器人训练的用户接口 |
CN105116920A (zh) * | 2015-07-07 | 2015-12-02 | 百度在线网络技术(北京)有限公司 | 基于人工智能的智能机器人追踪方法、装置及智能机器人 |
CN105184058A (zh) * | 2015-08-17 | 2015-12-23 | 李泉生 | 一种悄悄话机器人 |
CN105912120A (zh) * | 2016-04-14 | 2016-08-31 | 中南大学 | 基于人脸识别的移动机器人人机交互控制方法 |
CN106355242A (zh) * | 2016-09-26 | 2017-01-25 | 苏州小璐机器人有限公司 | 一种基于人脸检测的互动机器人 |
CN106468917A (zh) * | 2015-09-14 | 2017-03-01 | 北京理工大学 | 一种可触摸现场实时视频图像的远程呈现交互方法和系统 |
-
2017
- 2017-06-02 CN CN201710404232.7A patent/CN107133609B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102323817A (zh) * | 2011-06-07 | 2012-01-18 | 上海大学 | 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法 |
CN104602868A (zh) * | 2012-06-21 | 2015-05-06 | 睿信科机器人有限公司 | 用于机器人训练的用户接口 |
CN103645733A (zh) * | 2013-12-02 | 2014-03-19 | 江苏建威电子科技有限公司 | 自寻充电机器人及其自寻充电系统和方法 |
CN105116920A (zh) * | 2015-07-07 | 2015-12-02 | 百度在线网络技术(北京)有限公司 | 基于人工智能的智能机器人追踪方法、装置及智能机器人 |
CN105184058A (zh) * | 2015-08-17 | 2015-12-23 | 李泉生 | 一种悄悄话机器人 |
CN106468917A (zh) * | 2015-09-14 | 2017-03-01 | 北京理工大学 | 一种可触摸现场实时视频图像的远程呈现交互方法和系统 |
CN105912120A (zh) * | 2016-04-14 | 2016-08-31 | 中南大学 | 基于人脸识别的移动机器人人机交互控制方法 |
CN106355242A (zh) * | 2016-09-26 | 2017-01-25 | 苏州小璐机器人有限公司 | 一种基于人脸检测的互动机器人 |
Non-Patent Citations (1)
Title |
---|
Power Assist Method Based on Phase Sequence Driven by Interaction between Human and Robot Suit;Hiroaki KAWAMOTO 等;《Proceedings of the 2004 IEEE International Workshop on Robot and Human Interactive Communication》;20040922;第491-493页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107133609A (zh) | 2017-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4949969B2 (ja) | コミュニケーションロボットとその動作方法 | |
CN107133609B (zh) | 一种人机交流机器人与其控制方法 | |
US9939896B2 (en) | Input determination method | |
US9031327B2 (en) | Information processing device, method, and program that recognizes a predetermined part of a body | |
TWI694904B (zh) | 機器人語音操控系統及方法 | |
JP5033994B2 (ja) | コミュニケーションロボット | |
CN112771453A (zh) | 用于使用运动姿势控制电器的系统和方法 | |
US10140676B2 (en) | Operation advance indication apparatus | |
JP5145569B2 (ja) | 対象物特定方法および装置 | |
KR20070029794A (ko) | 유저와 시스템 사이에 통신을 하기 위한 방법 및 시스템 | |
JP2009222969A (ja) | 音声認識ロボットおよび音声認識ロボットの制御方法 | |
TW201941104A (zh) | 智慧設備的控制方法、裝置、設備和存儲介質 | |
JP2004230479A (ja) | コミュニケーションロボットおよびそれを用いたコミュニケーションシステム | |
WO2023124026A1 (zh) | 机器人控制方法、系统、计算机设备、存储介质及计算机程序产品 | |
JP4315872B2 (ja) | 移動ロボットの制御装置 | |
JP2009166184A (ja) | ガイドロボット | |
US11816924B2 (en) | Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium | |
JP2018173707A (ja) | 人推定システムおよび推定プログラム | |
US20200081528A1 (en) | System and method for using gaze control to control electronic switches and machinery | |
JP2004034274A (ja) | 会話ロボット及びその動作方法 | |
CN112634895A (zh) | 语音交互免唤醒方法和装置 | |
CN106214163A (zh) | 一种下肢畸形矫正术后康复的人工心理辅导装置 | |
JPH1124694A (ja) | 命令認識装置 | |
JP2007156689A (ja) | 光源位置検出装置、これを用いた顔認識装置及び自走式ロボット | |
JP2019202354A (ja) | ロボット制御装置、ロボット制御方法及びロボット制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200114 |
|
CF01 | Termination of patent right due to non-payment of annual fee |