CN106791565A - 机器人视频通话控制方法、装置及终端 - Google Patents

机器人视频通话控制方法、装置及终端 Download PDF

Info

Publication number
CN106791565A
CN106791565A CN201611157928.6A CN201611157928A CN106791565A CN 106791565 A CN106791565 A CN 106791565A CN 201611157928 A CN201611157928 A CN 201611157928A CN 106791565 A CN106791565 A CN 106791565A
Authority
CN
China
Prior art keywords
robot
destination object
information
video
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611157928.6A
Other languages
English (en)
Inventor
何坚强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201611157928.6A priority Critical patent/CN106791565A/zh
Publication of CN106791565A publication Critical patent/CN106791565A/zh
Priority to PCT/CN2017/116674 priority patent/WO2018108176A1/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone

Abstract

本发明提供的机器人视频通话控制方法、装置及终端,其主要涉及可通过远程控制实现视频通话的智能机器人,其方法包括步骤:建立与呼叫方的视频通话,向呼叫方传输本机获取的视频流;接收呼叫方发起的寻的指令,解析其中包含的目标物信息,并以此为据确定相对应的目标特征信息;在未捕捉到目标对象时,启动行走装置执行本机移动,在移动过程中对视频流进行图像识别,确定包含所述目标特征信息的图像,以捕捉目标对象;当捕捉到所述目标对象后,控制行走装置使本机与目标对象之间保持预设距离范围。本发明的行走装置配合摄像单元,在移动过程中通过图像识别技术实现对目标对象的快速地捕捉,并进行视频通话,并通过人机交互功能,减少小孩的孤独感。

Description

机器人视频通话控制方法、装置及终端
技术领域
本发明涉及自动控制技术领域,特别是涉及一种机器人视频通话控制方法、装置及终端。
背景技术
现如今,人们在日常生活及工作中多方面应用到互联网,与互联网相关的各种智能产品也应运而生。特别地,智能机器人作为其中的一种智能产品,可以取代或者协助人类完成一些工作,常应用于各行各业。目前智能机器人已逐渐走件千家万户代替人们处理家里的日常家务工作,尽管这样的机器人具有简单自动控制和移动的功能,但是并不能满足现代的需求,特别地,现代的年轻父母常年埋头于工作中,对孩子的日常照顾仅有饮食起居,不能常常陪伴孩子,错失陪伴孩子成长和智慧发育的机会,尽管现有机器人已经深入到千家万户,但是常常充当打扫家务的替代人员,虽然有一些机器人在家庭中也会实现简单的对小孩的看护陪伴功能,但随着小孩的生长发育及娱乐学习需求,机器人也会逐渐失去看护陪伴的意义。因此,在现有的机器人还无法做到远程视频通信、移动、人机交互等综合的智能处理,且现有机器人的智能化程度较低及智商范围小不能自由调节,导致实际使用不便。
发明内容
为了解决上述问题,本发明提供一种机器人视频通话控制方法及其相应的装置。
相应的,本发明的另一目标在于提供一种终端,以便运行依据前一目标所述的方法实现的程序。
为实现上述目标,本发明采用如下技术方案:
本发明的一种机器人视频通话控制方法,包括如下步骤:
建立与呼叫方的视频通话,向呼叫方传输本机摄像单元获取的视频流;
接收所述呼叫方发起的寻的指令,解析所述寻的指令所包含的目标物信息,依据目标物信息确定相应的目标对象的目标特征信息;
在未捕捉到所述目标对象时,启动行走装置执行本机移动,在移动过程中对摄像单元的视频流进行图像识别,确定包含所述目标特征信息的图像,以捕捉目标对象;
当捕捉到所述目标对象后,控制行走装置使本机与目标对象之间保持预设距离范围。
进一步的,还包括步骤:
当捕捉到所述目标对象后,采集所述目标对象的属于其目标特征信息之外的扩展特征信息,在不能捕捉所述目标特征信息时,依据所述扩展特征信息定位所述目标对象的扩增部位实现目标对象捕捉。
进一步的,依据所述扩展特征信息定位所述目标对象的扩增部位之后,启动行走装置环绕该扩增部位继续搜寻所述目标特征信息,直到定位到该目标特征信息之后方才实现目标对象捕捉。
优选的,所述扩展特征信息采集自所述视频流中与所述目标特征信息相对应的图像部分共同运动的动景图像。
进一步的,所述目标物信息与目标特征信息之间以映射关系存储于数据库中,通过查询该数据库而实现依据目标物信息确定目标特征信息。
进一步的,当捕捉到所述目标对象后,控制行走装置使本机与目标对象之间保持预设距离范围的步骤中,伴随所述行走装置的运行,获取本机距离传感器侦测的与目标对象之间的距离数据,当该距离数据超过所述预定距离范围时,控制行走装置开始先走而执行移动,否则控制行走装置停止行走而暂停移动。
进一步的,所述目标物信息为目标对象的名称或者指示符。
优选的,所述目标特征信息为所述目标对象的脸部特征信息。
在其中一个实施例中,还包括如下步骤:监测到所述目标对象的扩展特征信息发生变化后,重新采集所述扩展部位的所述扩展特征信息。
优选的,所述距离传感器为超声波传感器、红外线传感器或者包含所述摄像单元在内的双目测距摄像装置。
优选的,所述扩展特征信息包括一个或任意多个以下特征:躯干部位特征、服装部位特征、脸部轮廓特征、毛发轮廓特征信息或音频特征信息。
进一步的,本机还包括音频和/或红外定位单元,在捕捉所述目标对象过程中时,本机开启音频和/或红外定位单元获取所述目标物位置,以确定行走装置的起始走向。
进一步的,在捕捉所述目标对象过程中,在遇到障碍物时,本机通过距离传感器测量本机与所述障碍物的距离,控制行走装置绕行和/或远离所述障碍物,在绕行和/或远离所述障碍物后继续捕捉所述目标对象。
进一步的,所述本机还包括语音提醒单元,当本机移动到与所述目标对象的距离范围内时,启动所述语音提醒单元,并发出语音提醒。
在其中一个实施例中,还包括如下步骤:
所述呼叫方挂断所述视频通话后,所述机器人摄像单元持续采集所述目标对象的视频;
所述机器人将所述视频发送到与其连接的终端,且在向所述终端发送文字提醒和/或语音提醒。
优选的,所述机器人在采集所述目标对象时,根据所述目标对象脸部特征和/或音频特征的变化和/或所述目标对象发出的交互指令,所述本机启动语音交互单元和/或向与所述本机连接的移动终端发起视频通话。
进一步的,在采集所述目标对象视频过程中,所述摄像单元还包括拍照功能,以根据所述目标对象的脸部特征和/或音频特征的变化和/或所述目标对象发出的交互指令对所述目标对象进行拍照。
在其中一个实施例中,所述目标对象发出交互指令后,还包括如下步骤:
接收所述目标对象的交互指令;
解析所述交互指令中包含的交互信息,提取与本机功能单元相对应的指示符;
启动与所述指示符相对应的功能单元。
进一步的,所述交互指令为所述目标物发出语音指令和/或所述目标物在本机上点击的与所述功能单元对应的按键。
本发明还提供了一种机器人视频通话控制装置,包括以下模块:
视频模块,用于建立与呼叫方的视频通话,向呼叫方传输本机摄像单元获取的视频流;
分析模块,用于接收所述呼叫方发起的寻的指令,解析所述寻的指令所包含的目标物信息,依据目标物信息确定相应的目标对象的目标特征信息;
捕捉模块,用于在未捕捉到所述目标对象时,启动行走装置执行本机移动,在移动过程中对摄像单元的视频流进行图像识别,确定包含所述目标特征信息的图像,以捕捉目标对象;
维持模块,用于当捕捉到所述目标对象后,控制行走装置使本机与目标对象之间保持预设距离范围。
进一步的,所述捕捉模块还包括采集单元:用于在捕捉到所述目标对象后,采集所述目标对象的属于其目标特征信息之外的扩展特征信息,在不能捕捉所述目标特征信息时,依据所述扩展特征信息定位所述目标对象的扩增部位实现目标对象捕捉。
进一步的,所述采集单元还包括定位单元:用于依据所述扩展特征信息定位所述目标对象的扩增部位之后,启动行走装置环绕该扩增部位继续搜寻所述目标特征信息,直到定位到该目标特征信息之后方才实现目标对象捕捉。
优选的,所述扩展特征信息采集自所述视频流中与所述目标特征信息相对应的图像部分共同运动的动景图像。
进一步的,所述分析模块还包括查询单元,所述目标物信息与目标特征信息之间以映射关系存储于数据库中,用于查询该数据库而实现依据目标物信息确定目标特征信息。
进一步的,所述维持模块还包括测量单元:用于当捕捉到所述目标对象后,控制行走装置使本机与目标对象之间保持预设距离范围的步骤中,伴随所述行走装置的运行,获取本机距离传感器侦测的与目标对象之间的距离数据,当该距离数据超过所述预定距离范围时,控制行走装置开始先走而执行移动,否则控制行走装置停止行走而暂停移动。
进一步的,所述目标物信息为目标对象的名称或者指示符。
优选的,所述目标特征信息为所述目标对象的脸部特征信息。
在其中一个实施例中,所述采集单元还包括监测单元:用于监测到所述目标对象的扩展特征信息发生变化后,重新采集所述扩展部位的所述扩展特征信息。
优选的,所述距离传感器为超声波传感器、红外线传感器或者包含所述摄像单元在内的双目测距摄像装置。
优选的,所述扩展特征信息包括一个或任意多个以下特征:躯干部位特征、服装部位特征、脸部轮廓特征、毛发轮廓特征信息或音频特征信息。
进一步的,所述捕捉模块包括定位单元,用本机音频和/或红外定位单元,在捕捉所述目标对象过程中时,本机开启音频和/或红外定位单元获取所述目标物位置,以确定行走装置的起始走向。
进一步的,所述测量单元,还用于在捕捉所述目标对象过程中,在遇到障碍物时,本机通过距离传感器测量本机与所述障碍物的距离,控制行走装置绕行和/或远离所述障碍物,在绕行和/或远离所述障碍物后继续捕捉所述目标对象。
进一步的,所述维持模块之后还包括语音模块,用于在本机移动到与所述目标对象的距离范围内时,启动所述语音提醒单元,并发出语音提醒。
进一步的,所述视频模块还包括:
拍摄单元,用于所述呼叫方挂断所述视频通话后,所述机器人摄像单元持续采集所述目标对象的视频;
传输单元,所述机器人将所述视频发送到与其连接的终端,且在向所述终端发送文字提醒和/或语音提醒。
优选的,还包括启动单元,用于所述机器人在采集所述目标对象时,根据所述目标对象脸部特征和/或音频特征的变化和/或所述目标对象发出的交互指令,所述本机启动语音交互单元和/或向与所述本机连接的移动终端发起视频通话。
进一步的,所述拍摄单元,还用于在采集所述目标对象视频过程中,所述摄像单元还包括拍照功能,以根据所述目标对象的脸部特征和/或音频特征的变化和/或所述目标对象发出的交互指令对所述目标对象进行拍照。
在其中一个实施例中,所述传输单元之后还包括:
接收单元,用于接收所述目标对象的交互指令;
分析单元,用于解析所述交互指令中包含的交互信息,提取与本机功能单元相对应的指示符;
启动单元,启动与所述指示符相对应的功能单元。
进一步的,所述交互指令为所述目标物发出语音指令和/或所述目标物在本机上点击的与所述功能单元对应的按键。
本发明还提供了一种终端,包括处理器,该处理器用于运行程序以执行所述的机器人视频通话控制方法的各个步骤。
与现有技术相比较,本发明具备如下有益效果:
1、本发明提供的机器人视频通话控制方法、装置及终端,通过预先存储的图像、人物的关系及与人物实现远程连接的联系方式,并在人物远程发送远程控制时,建立了与发起远程控制人物的视频,并向其传输视频流,采用图像识别技术从动态的视频流中捕捉远程人物指定的目标对象,并通过视频摄像单元实现远程人物与目标对象的视频通话的功能。
2、本发明在捕捉所述目标对象的过程中,以预先存储的目标对象的图像作为特征信息进行识别,在捕捉到所述目标对象的后,采集所述目标对象的扩展特征信息,以便于在后续捕捉所述目标对象时可通过扩展特征信息实现对目标对象的快速捕捉。
3、本发明中设有语音提醒,保证了小孩及时接收父母发起的视频通话,有助于家长随时随地监护小孩的动态。在捕捉所述目标对象的过程中,主要采用了
4、本方法中涉及了语音和/或红外定位,使机器人在寻找小孩过程中能更快的定位小孩的位置,大幅度提高了人物识别时间及准确率,在捕捉到小孩后及与小孩的和交互过程中,通过测距装置,时刻保持与小孩在预设的距离范围内,保证了小孩安全、清晰的接收小孩信息及最大范围的捕捉小孩状态。
5、本发明集成有视频通信、移动、人机交互的娱乐学习功能,任何存储在机器人数据库中的人物都可以发起启动机器人的指令,通过接收并解析指令,完成和/或启动指令中涉及的任务及功能,在本发明提供的机器人还可通过观察学习,向小孩提供与其年龄和/或智商相匹配的人机交互活动,使本机在陪伴小孩的过程,达到最大可能的开发小孩的智力,减少小孩的孤独感的作用,在实际生活中,更具有实用价值。
附图说明
图1为本发明一实施例的机器人视频通话控制方法流程图;
图2为本发明另一实施例的机器人视频通话控制方法流程图;
图3为本发明又一实施例的机器人视频通话控制方法流程图;
图4为本发明再一实施例的机器人视频通话控制方法流程图;
图5为本发明一实施例的机器人视频通话控制装置结构示意图;
图6为本发明另一实施例的机器人视频通话控制装置子结构示意图;
图7为本发明又一实施例的机器人视频通话控制方法结构示意图;
图8为本发明再一实施例的机器人视频通话控制方法结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID10(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
本发明所涉及的机器人可以理解人类语言,用人类语言同操作者对话,在通过编程的形式使它自身的“意识”中单独形成了一种使它得以“生存”的外界环境。它能分析出现的情况,能调整自己的动作以达到操作者所提出的机器人可实现的要求。机器人可通过编程等,使其智力达到儿童的程度。机器人能独自行走,能“看到”东西并分析看到的东西,能服从指令并用人类语言回答问题。更重要的是它具有“理解”能力。
本发明所述的机器人视频通话控制方法,使得家庭成员除在家以为的任何地方,可通过通信终端随时随地的监护家中的小孩,查看家里的情况,家里的小孩在想父母和/或家里的其他成员时,也可通过机器人一端向他们发出付出及时通讯,同时机器人在捕捉目标对象的过程中,通过及时的监测目标对象扩展部位的扩展特征的变化,及时更新已存储的扩展特征信息,做到更快速更准确的捕捉目标对象,特别是目标对象的目标特征,在外家庭成员发出向机器人发出指示符之后,机器人能够及时的接收消息并传输家里的状况的视频图像,本发明所述的机器人具有人机交互功能,也能起到陪玩、解答问题、帮助学习的作用。
以下实施例所揭示的机器人视频通话控制方法,如图1所示,包括步骤:
S100:建立与呼叫方的视频通话,向呼叫方传输本机摄像单元获取的视频流;
机器人存储的信息中记录了机器人与家庭成员关联关系,并与家庭成员之间的直接通信终端建立了连接方式,步骤S100中的呼叫方即为家庭成员,例如家庭成员的各移动终端如手机、电脑、ipad等都存储有与机器人连接的应用程序,其中,应用程序可以是与机器人直接相关的控制机器人的App,也可以是控制机器人的网页链接,为了做到实时监护看管小孩的作用,家庭成员通过提前设置并开启机器人的视频通信传输的功能,直接建立与家庭成员通信终端之间的视频通话,或者在接到家庭成员的传输指令时,建立与家庭成员之间的视频通话,并实时传输视频图像到家庭成员的终端,或者是在接收到在外一位家庭成员通过控制机器人的App应用程序或者进入控制机器的网页应用程序的呼叫,并发出了视频通话请求,则直接接受家庭成员的视频通话请求,并向发起视频通话的家庭成员即呼叫方传输本机获取的视频流,其中机器人传输过去的视频流也是在呼叫方的安装有控制机器人的App移动终端上显示,或者是在呼叫方移动终端打开的网页应用程序上显示,实现了实时的视频通话。
S200:接收所述呼叫方发起的寻的指令,解析所述寻的指令所包含的目标物信息,依据目标物信息确定相应的目标对象的目标特征信息;
机器人接受并向呼叫方发回了视频流,呼叫方可通过视频直接观察到家里的情况,如果呼叫方在视频中不能看到自己想要看到目标对象时,呼叫方可在自己这边的移动终端上发出寻的指令,寻的指令中包含有目标物的相关信息,且这些信息是存储在机器人中的,或者和机器人相连接的云端中,机器人接收寻的指令后,在本机中解析寻的指令中包含的目标物信息,再根据目标物信息确定与目标物对应的目标对象的目标特征信息,机器人在后续过程中,将以此为依据寻找并确定目标对象。
具体的,例如妈妈在移动终端向机器人发起了“寻找女儿”的寻的指令,机器人接收“寻找女儿”的寻的指令并在本机中解析寻的指令中的信息,即解析并提取出“女儿”这一信息,将“女儿”这一信息发送到存储“女儿”这一目标信息及对应特征信息的数据库,并在通过存储女儿这一目标信息确定女儿的特征信息,其中具体的目标特征信息与目标物信息之间的存储关系于后文详述,特征信息为女儿的脸部特征,例如整个脸部和五官的轮廓与位置,机器人在后续过程中,将以此为依据寻找并确定女儿。
本步骤的另一实施方式即为机器人接收到了寻的指令后,将寻的指令发送给云端,云端解析出寻的指令中包含的目标物信息,并将目标物信息发送给机器人,机器人根据目标物信息确定与目标物对应的目标对象的目标特征信息,机器人在后续过程中,将以此为依据寻找并确定目标对象。
具体的,例如上述妈妈在移动终端向机器人发起了“寻找女儿”的寻的指令,机器人接收“寻找女儿”的寻的指令后,将“寻找女儿”的寻的指令发送给云端,云端解析寻的指令中的信息,即解析并提取出“女儿”这一信息,并将该信息发送给机器人,机器人接收已解析的信息,将“女儿”这一信息发送到存储“女儿”这一目标信息及对应特征信息的数据库,并在通过存储女儿这一目标信息确定女儿的特征信息,机器人在后续过程中,将以此为依据寻找并确定女儿。
本步骤的另一实施方式即为机器人接收到了寻的指令后,将寻的指令发送给云端,云端解析出寻的指令中包含的目标物信息,云端将所述目标物信息发送到存储目标物信息及目标物特征信息的云端数据库中,并在云端根据目标物信息确定与目标物对应的目标对象的目标特征信息,云端再将目标特征信息发送给机器人,机器人在后续过程中,将以此为依据寻找并确定目标对象。
具体的,例如上述妈妈在移动终端向机器人发起了“寻找女儿”的寻的指令,机器人接收“寻找女儿”的寻的指令后,将“寻找女儿”的寻的指令发送给云端,云端解析寻的指令中的信息,即解析并提取出“女儿”这一信息,通过该信息确定女儿的特征信息,并将该特征信息发送给机器人,机器人接收直接接收女儿的特征信息,并以此为依据寻找并确定女儿。
S300:在未捕捉到所述目标对象时,启动行走装置执行本机移动,在移动过程中对摄像单元的视频流进行图像识别,确定包含所述目标特征信息的图像,以捕捉目标对象;
在步骤S200中确定了目标对象及目标对象的特征信息之后,如果在已获取的视频流中通过图像识别确定没有带有目标特征信息的图像,机器人则启动自身的行走装置,使机器人移动,在移动过程中,机器人通过摄像单元的获取的视频流,并通过图像识别技术,识别视频中的图像,确定视频中是否包含有目标特征信息的图像,并以此来捕捉目标对象,其中,未捕捉到对象包括以下几种情形:1、机器人对视频流中的图像中未识别到与目标对象对应的目标特征信息及扩展特征信息,同时机器人通过音频、红外定位到目标对象后,通过测量与目标对象的距离大于预设的机器人与目标对象的预设的距离范围,启动行走装置;2、机器人对视频流中的图像中未识别到与目标对象对应的目标特征信息及扩展特征信息,同时机器人通过音频、红外定位到目标对象后,通过测量与目标对象的距离小于预设的机器人与目标对象的预设的距离范围,机器人启动行走装置;3、机器人捕捉到目标对象的目标特征,且与目标对象的距离保持在预设范围内过程中,机器人摄像单元出现视频图像轮廓不清晰时,机器人暂不启动行走装置,待视频图像轮廓清晰后,如果对视频流中的图像中未识别到与目标对象对应的目标特征信息及扩展特征信息,同时机器人通过音频、红外定位到目标对象后,启动行走装置;4、机器人捕捉到目标对象的目标特征,且与目标对象的距离保持在预设范围内过程中,如目标对象突然远离导致机器人不能识别目标对象的目标特征时,启动行走装置,如果目标对象远离后且在机器人定位到目标对象的位置之前,机器人通过测距发现目标对象逐渐靠近,则不启动行走装置。机器人行走装置接收来自摄像单元的信号,并将其转化成控制行走装置并与其电连接的控制器的电信号,控制器将所述电信号转移动到启动行走装置的驱动装置上,驱动装置启动行走装置实现机器人的移动,其中驱动装置可以是电机,行走装置可以是轮、履带或者轮履复合式等;图像识别是首先在机器人中存储一张图片,并将其作为一个模型,机器人处理器对此模型的首先进行预处理,并提取出其中带有线条的轮廓、线条与线条之间的角度、线条与线条的相对位置、轮廓中所包覆的色彩等,在捕捉到一视频图像后,为了确定当前图像中是否需要捕捉的目标对象,机器人处理器依次对图像中的每一帧图片进行进行预处理,并提取出其中带有线条的轮廓、线条与线条之间的角度、线条与线条的相对位置、轮廓中所包覆的色彩等与数据库中的图片模型进行对比拟合,在其拟合度达到设定值时则认为视频图像中存在捕捉的目标对象。
具体的,如上述妈妈通过机器人查看女儿的情况,在步骤S200中确定了女儿的特征信息,机器人以此特征信息为依据在家中寻找女儿,机器人首先是在自己接收到寻的指令的位置处,通过各音频和/或红外定位女儿的位置,若女儿在预设的距离范围内,且机器人不能在当前视频流的部分帧或者连续帧图像中捕捉到女儿的目标特征,则启动行走装置,配合摄像单元捕捉女儿的目标特征信息,若通过各音频和/或红外定位女儿的位置,若女儿不在预设的距离范围内,启动行走装置,并通过摄像单元的视频流进行图像识别,以捕捉女儿的目标特征如女儿脸部的轮廓特征。
S400:当捕捉到所述目标对象后,控制行走装置使本机与目标对象之间保持预设距离范围。
机器人可预设机器人与目标对象的距离范围且为M,在机器人捕捉到目标对象后,首先通过安装在其上的测量装置如超声波传感器测量机器人与目标对象的距离L,若M≤L,即为机器人与目标对象的距离较远且不在预设的距离范围内,则机器人通过行走装置移动到与目标对象预设的距离范围内,且在目标对象移动过程中,机器人始终与目标对象保持预设的距离范围,若M≥L,即为机器人与目标对象的距离较近,此时,机器人只需保持与目标对象预设的距离范围。
具体的,如上述妈妈寻找女儿,在步骤S300中,若机器人依据女儿的特征信息寻找到了女儿,其中,机器人与女儿的预设距离为3m,则机器人通过自身的测量装置测量机器人与女儿的距离6m大于预设距离3m,则机器人通过行走装置移动到与女儿预设的距离范围内,且在女儿行走的过程中,机器人始终与目标对象保持预设的3m距离范围。
S410:当捕捉到所述目标对象后,采集所述目标对象的属于其目标特征信息之外的扩展特征信息,在不能捕捉所述目标特征信息时,依据所述扩展特征信息定位所述目标对象的扩增部位实现目标对象捕捉。
为了在后续的时间内快速寻找和/或定位目标对象的目标特征,在机器人捕捉到目标对象后,通过视频采集目标对象上除了目标特征信息之外的扩增部位的扩展特征信息,在呼叫方通过机器人和目标对象视频通话的过程中,由于目标对象自身的移动和/或机器人的移动,导致机器人的视频不能捕捉到目标的对象的目标特征信息,即机器人在当前视频流中的部分帧或者连续帧图片中不能清晰的识别目标特征对应的带有线条的轮廓、线条与线条之间的角度、线条与线条的相对位置、轮廓中所包覆的色彩等时,机器人可以通过目标对象目标特征信息以外的扩增部位的扩展特征信息快速寻找并聚焦到目标对象的目标特征信息。如上述机器捕捉到目标对象后,由于目标对象突然远离而不能识别目标对象的目标特征信息,为了进一步快速的捕捉目标对象,机器人在当前视频流中同时识别目标对象的目标特征信息和扩展特征信息,若通过扩展特征信息识别到了目标对象的扩增部位,则依据所述扩增部位捕捉到了目标对象,并再以此为依据定位目标对象的目标特征。
具体的,如上文所述机器人在捕捉到女儿之后,通过摄像单元采集女儿身上的除了脸部特征信息之外的其他扩展特征信息,如女儿衣服、裤子、鞋子的颜色和款式,头发的颜色以及形态,帽子的颜色、形状、款式,身体、手臂、腿部的轮廓等,在妈妈和女儿通过机器人视频通话的过程中,如果女儿时站时坐时走,在这过程中,就有可能导致机器人不能定位并捕捉到女儿的脸部特征信息,机器人便可通过扩展部位的扩展特征信息定位到目标特征信息并实现对目标对象的捕捉。例如,摄像单元捕捉到女儿后,在采集身体部位的的特征时,在获取部分帧或者连续帧图片中身体部位的身穿衣服的颜色,再按照R:G:B=3:6:1的比值将部分帧或者连续帧图片去色,处理为黑白图片,提取出身体轮廓的轮廓特征,在后续捕捉目标对象的过程中以此为扩展特征信息确定目标对象。
进一步的,依据所述扩展特征信息定位所述目标对象的扩增部位之后,启动行走装置环绕该扩增部位继续搜寻所述目标特征信息,直到定位到该目标特征信息之后方才实现目标对象捕捉。
在机器人不能捕捉到目标对象的目标特征信息时,机器人首先是通过摄像单元捕捉到的特征信息和之前采集的扩展特征信息进行对比并定位现在摄像单元捕捉到的扩展部位,机器人启动行走装置移动围绕扩增部位继续搜寻目标特征信息,直到摄像单元捕捉并定位到目标特征信息之后,才继续进行视频通话中对目标兑现过的捕捉。
具体的,在妈妈和女儿通过机器人视频通话的过程中,如上述在女儿坐着时,机器人能捕捉到女儿的脸部特征信息,女儿站起来之后,机器人只能捕捉到女儿的身体部分,女儿身上穿的是一件粉色连衣裙,款式为圆领、无袖的蓬蓬裙,此时机器人可通过之前采集的扩展特征信息即女儿身体的轮廓、裙子的颜色、款式确定此时捕捉的部位,且通过捕捉部位确定机器人摄像单元转动的方位,即机器人通过摄像单元捕捉的裙子的领子、肩部形式以及女儿躯体的特征信息,确定此时捕捉到女儿的身体部位为前胸,且通过上抬摄像单元便可捕捉到女儿的脸部特征信息;如女儿站起来并转过身体,使自己的后背对着机器人的摄像单元,机器人的摄像单元捕捉到的是女儿躯干扩展部位的裙子颜色和款式、后背轮廓的扩展特征信息,那么机器人则需要启动行走装置环绕躯干移动并通过转变摄像单元的角度搜寻目标特征信息,一直到摄像单元搜寻到目标特征信息,机器人调整与女儿的距离,并定位目标特征信息之后,才继续对目标对象进行捕捉,又如机器人捕捉到女儿的目标特征信息,且与女儿的距离保持在预设范围内过程中,机器人摄像单元出现视频图像轮廓不清晰时,机器人暂不启动行走装置,待视频图像轮廓清晰后,通过对视频流中的图像识别后,识别的扩展特征信息来自女儿的身体背部的扩增部位,启动行走装置环绕该特征部位捕捉女儿的脸部特征信息。
优选的,所述扩展特征信息采集自所述视频流中与所述目标特征信息相对应的图像部分共同运动的动景图像。
机器人捕捉到目标对象后,目标对象在视频流中相对于其他景象属于动态的图像,在采集扩展信息时,采集视频流中与目标特征信息共同运动的目标对象上的扩展特征,例如机器人摄像单元捕捉到目标对象后,其中脸部特征信息作为目标特征信息,将部分帧或者连续帧图片中的随着脸部的线条轮廓的变化其他线条轮廓发生变化且可与脸部轮廓被包围在一个封闭轮廓中的部位作为扩增部位,确定扩增部位后采集扩增部位的轮廓、各轮廓的相对位置及轮廓包覆的色彩。
具体的,如上述机器人捕捉到女儿后,在视频流中女儿相对于家里的静态物品属于动态的对象,女儿的躯干、衣服、头发等都是跟随女儿运动而共同运动,根据视频流中女儿的脸部特征信息确定了女儿这一对象时,采集视频流中部分帧或者连续帧图片随着女儿脸部轮廓的变化的其他线条轮廓发生变化的部位的轮廓、各轮廓的相对位置及轮廓包覆的色彩,且其他线条轮廓可与脸部轮廓被包围与一个封闭的轮廓中的部位,并根据其他线条轮廓与脸部轮廓的位置确定其他轮廓属于身体的某一部分,同时根据部分帧或者连续帧图片中脸部的轮廓相对其他物品位置的是否变化及其他部位的位置跟随脸部位置相对其他物品位置是否变化确定女儿是否处于运动状态,若都为是,则为运动,否则女儿不处于运动状态。如在女儿走路过程中,读取摄像单元视频流中部分帧或者连续帧图片中脸部的轮廓特征相对其他物品位置发生变化,且对比脸部特征位置的变化有其他轮廓跟随脸部的轮廓位置变化相对其他物品位置发生变化,确定女儿为运动状态,且其他部位轮廓可与脸部轮廓被包裹在一个封闭轮廓中,根据其他部位相对脸部的轮廓的位置确定为腿部,则腿部确定为扩增部位,并采集部分帧或者连续帧图片中扩增部位的扩展特征信息。
进一步的,所述目标物信息与目标特征信息之间以映射关系存储于数据库中,通过查询该数据库而实现依据目标物信息确定目标特征信息。
目标物信息和目标特征信息等都是以一一对应的关系映射存储于数据库中,在确定了目标物信息之后,就可通过目标物信息查询到目标特征信息,且数据库可以是本地数据库,也可以是和机器人相连接的云端数据库。如果是本地数据库,则获取到目标物信息后,可在本地直接确定目标特征信息,如果是云端的数据库,则机器人将目标物信息发送到云端,云端确定与目标物信息对应的目标特征信息之后,将目标特征信息返回给机器人。
具体的,如小红为目标物,在存储的时,将妈妈对小红的常见称呼女儿(包括其他家庭成员对小红称呼)、小红脸部特征信息对应存储,同时还包括采集的扩展特征信息,如表1,表1为目标物信息与目标特征信息在数据库中的存储关系。
进一步的,当捕捉到所述目标对象后,控制行走装置使本机与目标对象之间保持预设距离范围的步骤中,伴随所述行走装置的运行,获取本机距离传感器侦测的与目标对象之间的距离数据,当该距离数据超过所述预定距离范围时,控制行走装置开始先走而执行移动,否则控制行走装置停止行走而暂停移动。
在捕捉到目标对象后,机器人在维持自身与目标对象的距离过程中,其距离传感器一直处于测量状态,测量机器人自身与目标对象之间的距离,在目标对象运动的过程中,当机器人与目标对象之间的距离超过预设的范围时,机器人自动控制行走装置开始行走而移动,如果通过距离传感器测出机器人与目标对象的距离在预设的范围内,机器人自动控制行走装置停止行走装置使机器人暂停移动。
具体的,如上述机器人在捕捉到小红后,在机器人的行走装置维持自身与小红的距离过程中,其距离传感器一直处于测量状态,测量机器人自身与目标对象之间的距离,在小红运动的过程中,当机器人与小红之间的距离超过预设的范围时,机器人自动控制行走装置开始行走而移动,如果通过距离传感器测出机器人与小红的距离在预设的范围内,机器人自动控制行走装置停止行走装置使机器人暂停移动,在距离范围超过预设范围时,则机器人自动控制行走装置开始行走而移动,使得机器人更为智能化。
所述目标物信息为目标对象的名称或者指示符。
在步骤S200接收到来之呼叫方的指令后,解析出指令中携带的目标物信息,目标物信息即为目标对象的名称或者指示符,如人物的名字、电脑等。
具体的,如上述妈妈作为呼叫方在其终端发出的寻的指令为“寻找电脑”,其中“寻找电脑”字符信息,步骤S200解析出“寻找电脑”中的电脑,并将其作为目标对象的指示符,如电脑即为指示符,即目标物信息;如女儿的名字为小红,妈妈发出的寻的指令为“寻找小红”,其中“寻找小红”字符信息,步骤S200解析出“寻找小红”中的小红,并将其作为目标对象的指示符,即目标物信息小红即为女儿目标对象的名称,即目标物信息;另外,指示符也可以是呼叫方终端存储的与目标对象的信息,在呼叫方终端触发目标对象的信息,呼叫方终端将该目标对象的信息生成和目标对象相对应的指示符,并向机器人发出该目标对象的指示符,如妈妈作为呼叫方在自己的终端上存储有和女儿小红相关的信息,如名字小红、代表小红的图像,妈妈在终端上触发了女儿小红的名字或者代表小红的图像,则呼叫方终端生成寻找小红的指示符,并将该指示符发向机器人。
优选的,所述目标特征信息为所述目标对象的脸部特征信息。
目标对象的目标特征信息是提前录入的,脸部特征变化最能表现一个人心情或者表达此时的状态,在录入时,优选脸部特征作为目标特征信息,便于在后续视频通话过程中,父母或在外家庭成员在视频通话过程中,或者拍摄的视频和/或照片中,可以首先通过脸部的表情观察家中儿童和/或其他家庭成员的喜怒哀乐。
在其中一个实施例中,还包括如下步骤:监测到所述目标对象的扩展特征信息发生变化后,重新采集所述扩展部位的所述扩展特征信息。
机器人可以对目标对象的扩展特征信息保存至下一次扩展特征信息发生变化后,机器人监测到存储的目标对象的扩展特征信息发生变后则重新采集新的扩展特征信息,以便于在目标对象扩展特征信息变化后,需要捕捉目标对象,能快速的定位到目标对象的目标特征信息并捕捉目标对象。
具体的,如上述小红穿的是粉色连衣裙,数据库存储的扩展特征信息同样是粉色连衣裙的信息,在小红换成一条白色连衣裙后,机器人通过捕捉目标特征信息确定穿白色连衣裙的对象为小红后,并发现其服装扩展特征信息发生变化后,则重新采集小红身体与白色连衣裙的扩展特征信息。
优选的,所述距离传感器为超声波传感器、红外线传感器或者包含所述摄像单元在内的双目测距摄像装置。
在步骤S400中涉及到的距离传感器为超声波传感器、红外线传感器或者包含所述摄像单元在内的双目测距摄像装置,双目测距摄像装置使用方便,可初步确定机器人与目标对象的距离,超声波对远距离测距的误差小,效果好,红外传感器对近距离的测距误差小,效果好,本发明通过相互结合,使得机器人在远近距离上的测距误差达到优化。
优选的,所述扩展特征信息包括一个或任意多个以下特征:躯干部位特征、服装部位特征、脸部轮廓特征、毛发轮廓特征信息或音频特征信息。
在步骤S410中,所述扩展特征信息包括一个或任意多个以下特征:躯干部位特征、服装部位特征、脸部轮廓特征、毛发轮廓特征信息或音频特征信息。
进一步的,本机还包括音频和/或红外定位单元,在捕捉所述目标对象过程中时,本机开启音频和/或红外定位单元获取所述目标物位置,以确定行走装置的起始走向。
在机器人中还包括音频和/或红外定位单元,在捕捉目标对象过程中,通过开启音频和/或红外定位单元获取所述目标物的位置,并以此来确定机器人行走装置的开始时的行走方向。
具体的,如上述在确定了目标对象为小红后,小红此时在机器人的正前方哈哈大笑,机器人通过音频定位单元获取到小红的音频,并定位到小红的位置为机器人的正前方,此时机器人则直接启动行走装置使机器人往正前方移动;又如机器人通过红外定位单元的红外灯辐射感受周围景物和环境反射回来的红外光确定小红所在的位置为机器人的右前方,则机器人启动行走装置并向右前方移动寻找小红。
进一步的,在捕捉所述目标对象过程中,在遇到障碍物时,本机通过距离传感器测量本机与所述障碍物的距离,控制行走装置绕行和/或远离所述障碍物,在绕行和/或远离所述障碍物后继续捕捉所述目标对象。
机器人在寻找小红的过程中,不可避免的会遇到障碍物,如家中凳子、墙体等,同样可以通过距离传感器测量机器人与图中障碍物的距离,在寻找小红的方位不变的情况下,控制行走装置绕过和/或远离凳子、墙体,并继续捕捉小红。
进一步的,所述本机还包括语音提醒单元,当本机移动到与所述目标对象的距离范围内时,启动所述语音提醒单元,并发出语音提醒。
为了确保在呼叫方发起视频通话时,目标对象能够及时的接收到父母发来的消息,在机器人捕捉到目标对象并移动到与目标对象预设的距离范围内时,启动机器人的语音提醒单元,并发出语音提醒。
具体的,如上述机器人寻找到了小红,并移动到与小红预设的距离范围内,则向小红发出语音提醒,如:妈妈来电话了,妈妈来电话了,妈妈来电话了,快接电话,快接电话,快接电话。
在其中一个实施例中,如图3,还包括如下步骤:
S500:所述呼叫方挂断所述视频通话后,所述机器人摄像单元持续采集所述目标对象的视频;
为了保证呼叫方可以更多的了解小孩及小孩在家中的状态,在呼叫方挂断电话后,机器人通过摄像单元持续的采集小孩的在家中的视频。
具体的,如上述妈妈作为呼叫方挂断了与女儿小红的视频通话,而机器人并没有关闭摄像单元,而是在持续的采集小红的在家中玩耍,学习等的视频。
S600:所述机器人将所述视频发送到与其连接的终端,且在向所述终端发送文字提醒和/或语音提醒。
在一段视频采集完成后,机器人将采集的视频发送到与其连接的家庭成员的终端和/或云端,并向终端发送文字提醒和/或语音提醒,且采集一段视频后,再持续采集下一段视频。
具体的,如上述机器人将小红在家中玩耍的视频后,将其发送到家庭成员的终端和/或云端,如手机、电脑、ipad等和/或与其相连接的云端中,在视频发送成功后向家庭成员的终端发送文字提醒和/或语音提醒,如:有小红玩耍的视频了;如果机器人没有和云端连接则仅发送到终端,有则发送到云端和终端,或者终端在全都属于关闭状态时,则仅发送云端,且在开启任一终端时,发送提醒消息。
优选的,所述机器人在采集所述目标对象时,根据所述目标对象脸部特征和/或音频特征的变化和/或所述目标对象发出的交互指令,所述本机启动语音交互单元和/或向与所述本机连接的移动终端发起视频通话。
机器人通过摄像单元在采集目标对象的过程中,根据目标对象的脸部特征变化,如小孩在哭,则机器人启动本机的人机交互单元,逗小孩开心;根据目标对象的音频特征的变化,如小孩在发脾气,机器人通过音频特征确定小孩属于发脾气的状态,则机器人启动本机的人机交互单元,宽慰小孩;机器人根据目标对象发出的交互指令,如小孩向机器提出花朵用英语怎么说,则机器人根据小孩提出的问题回答,花朵的英语为flower;再如目标对象小孩向机器人发出给爸爸打电话,则机器人向爸爸的手机终端发出视频通话请求。
具体的,如上述机器人在采集小红的视频过程中,通过小红脸部特征的变化和音频特征的变化,确定小红现在正在哭,机器人则启动人机交互单元给小红讲故事或者讲笑话等,逗小红开心;又如小红给机器人发出我想听歌的指令,机器人则向小红唱歌;又如小红跟机器人说我想学习唐诗,则机器人根据小红平时的提问情况确定小红的智力发展阶段,给小红念适合小红智力阶段学习的唐诗,并解析。
进一步的,在采集所述目标对象视频过程中,所述摄像单元还包括拍照功能,以根据所述目标对象的脸部特征和/或音频特征的变化和/或所述目标对象发出的交互指令对所述目标对象进行拍照。
机器人的摄像单元还包括拍照的功能,在机器人采集目标对象视频过程中,在目标对象的脸部特征发生变化,如目标对象笑得很开心的时候,则摄像单元抓拍下此时目标对象的状态;又如在目标对象一直在一个人默默的自言自语,则摄像单元同样抓拍下此时目标对象的状态;又如目标对象给机器人说拍一张我和狗狗的合照,机器人根据目标对象的指令启动摄像单元的拍照功能,拍下目标对象和狗狗的合照。
在其中一个实施例中,所述目标对象发出交互指令后,还包括如下步骤:
S700:接收所述目标对象的交互指令;
在家中的家庭成员的目标特征信息都可以存储在机器人本地的数据库中和/或和机器人连接的云端数据库,因此存储在数据库的成员都可以向机器人发送交互指令,机器人首先是接收当前的目标对象发出的交互指令。
具体的,如小红家庭成员包括爷爷、奶奶、爸爸、妈妈和小红自己,并且数据库中存储了所有家庭成员的目标特征信息,即脸部特征信息,当前家中的人物包括爷爷、奶奶和小红三个人,如果当前小红识别的目标对象为小红,在多个人同时向机器人发送交互指令时,则只接受小红发送的交互指令。
S800:解析所述交互指令中包含的交互信息,提取与本机功能单元相对应的指示符;
在机器人获取到目标对象的交互指令后,需要对交互指令中包含的信息进行解析,解析出交互指令中和本机功能单元相对应的指示符,以便于开启本机的功能单元。
具体的,如上述机器人接收了小红发送交互指令,交互指令为“给我讲小鸭子的故事”,机器人解析出指令中“小鸭子的故事”以及“讲”,将“小鸭子的故事”转变为在数据库或者网络中搜索“小鸭子的故事”,并将其提取出来,将“讲”转变启动语音单元的指示符。
S900:启动与所述指示符相对应的功能单元。
在人机交互中,目标对象发出的交互指令中包含有能实现目标对象目的的功能性指示,根据步骤S800解析出的指示符,启动实现目标对象目的的功能性单元,并执行目标对象发出的指令。
具体的,如上述小红发出的交互指令“给我讲小鸭子的故事”,经过步骤S800的解析后,通过数据库和/或网络搜索“小鸭子的故事”并将其提取出来,启动机器人的语音功能,给小红讲“小鸭子的故事”,其中数据库可以是本地数据库也可以是云端数据库,在搜索的时候可以数据库和网络同时搜索,或者在没有网络连接的时候只搜索本地数据库。
进一步的,所述交互指令为所述目标物发出语音指令和/或所述目标物在本机上点击的与所述功能单元对应的按键。
机器人有接收语音的传感器,同时在机器人上设置有人机交互的实体功能按键,如果机器人设有触摸屏,则功能按揭也可以是虚拟的触摸键。
如图5,本发明还提供了一种机器人视频通话控制装置,包括以下模块:
S10:视频模块,用于建立与呼叫方的视频通话,向呼叫方传输本机摄像单元获取的视频流;
机器人存储的信息中记录了机器人与家庭成员关联关系,并与家庭成员之间的直接通信终端建立了连接方式,呼叫方即为家庭成员,例如家庭成员的各移动终端如手机、电脑、ipad等都存储有与机器人连接的应用程序,其中,应用程序可以是与机器人直接相关的控制机器人的App,也可以是控制机器人的网页链接,为了做到实时监护看管小孩的作用,家庭成员通过提前设置并开启机器人的视频通信传输的功能,视频模块S10直接建立与家庭成员通信终端之间的视频通话,或者在接到家庭成员的传输指令时,视频模块S10建立与家庭成员之间的视频通话,并实时传输视频图像到家庭成员的终端,或者是在接收到在外一位家庭成员通过控制机器人的App应用程序或者进入控制机器的网页应用程序的呼叫,并发出了视频通话请求,视频模块S10则直接接受家庭成员的视频通话请求,并向发起视频通话的家庭成员即呼叫方传输本机获取的视频流,其中机器人传输过去的视频流也是在呼叫方的安装有控制机器人的App移动终端上显示,或者是在呼叫方移动终端打开的网页应用程序上显示,实现了实时的视频通话。
S20:分析模块,用于接收所述呼叫方发起的寻的指令,解析所述寻的指令所包含的目标物信息,依据目标物信息确定相应的目标对象的目标特征信息;
视频模块S10建立了与呼叫方的视频通话,机器人接受并向呼叫方发回了视频流,呼叫方可通过视频直接观察到家里的情况,如果呼叫方在视频中不能看到自己想要看到目标对象时,呼叫方可在自己这边的移动终端上发出寻的指令,寻的指令中包含有目标物的相关信息,且这些信息是存储在机器人中的,或者和机器人相连接的云端中,机器人分析模块S20接收寻的指令后,在本机中解析寻的指令中包含的目标物信息,再根据目标物信息确定与目标物对应的目标对象的目标特征信息,机器人在后续过程中,将以此为依据寻找并确定目标对象。
具体的,例如妈妈在移动终端向机器人发起了“寻找女儿”的寻的指令,机器人分析模块S20接收“寻找女儿”的寻的指令并在本机中解析寻的指令中的信息,即解析并提取出“女儿”这一信息,将“女儿”这一信息发送到存储“女儿”这一目标信息及对应特征信息的数据库,并在通过存储女儿这一目标信息确定女儿的特征信息为女儿的脸部特征,即整个脸部和五官的轮廓与位置,机器人在后续过程中,将以此为依据寻找并确定女儿。
本步骤的另一实施方式即为机器人分析模块S20接收到寻的指令后,将寻的指令发送给云端,云端解析出寻的指令中包含的目标物信息,并将目标物信息发送给机器人,机器人根据目标物信息确定与目标物对应的目标对象的目标特征信息,机器人在后续过程中,将以此为依据寻找并确定目标对象。
具体的,例如上述妈妈在移动终端向机器人发起了“寻找女儿”的寻的指令,机器人分析模块S20接收“寻找女儿”的寻的指令后,将“寻找女儿”的寻的指令发送给云端,云端解析寻的指令中的信息,即解析并提取出“女儿”这一信息,并将该信息发送给机器人,机器人接收已解析的信息,将“女儿”这一信息发送到存储“女儿”这一目标信息及对应特征信息的数据库,其中具体的目标特征信息与目标物信息之间的存储关系于后文详述,并在通过存储女儿这一目标信息确定女儿的特征信息,机器人在后续过程中,将以此为依据寻找并确定女儿。
本步骤的另一实施方式即为机器人分析模块S20接收到寻的指令后,将寻的指令发送给云端,云端解析出寻的指令中包含的目标物信息,云端将所述目标物信息发送到存储目标物信息及目标物特征信息的云端数据库中,并在云端根据目标物信息确定与目标物对应的目标对象的目标特征信息,云端在将目标特征信息发送给机器人,机器人在后续过程中,将以此为依据寻找并确定目标对象。
具体的,例如上述妈妈在移动终端向机器人发起了“寻找女儿”的寻的指令,机器人分析模块S20接收“寻找女儿”的寻的指令后,将“寻找女儿”的寻的指令发送给云端,云端解析寻的指令中的信息,即解析并提取出“女儿”这一信息,通过该信息确定女儿的特征信息,并将该特征信息发送给机器人,机器人接收直接接收女儿的特征信息,并以此为依据寻找并确定女儿。
S30:捕捉模块,用于在未捕捉到所述目标对象时,启动行走装置执行本机移动,在移动过程中对摄像单元的视频流进行图像识别,确定包含所述目标特征信息的图像,以捕捉目标对象;
分析模块S20确定了目标对象及目标对象的特征信息之后,如果在已获取的视频流中通过图像识别确定没有带有目标特征信息的图像,机器人则启动自身的行走装置,使机器人移动,在移动过程中,机器人通过摄像单元的获取的视频流,并通过图像识别技术,识别视频中的图像,确定视频中是否包含有目标特征信息的图像,并以此来捕捉目标对象,其中,未捕捉到对象包括以下几种情形:1、机器人对视频流中的图像中未识别到与目标对象对应的目标特征信息及扩展特征信息,同时机器人通过音频、红外定位到目标对象后,通过测量与目标对象的距离大于预设的机器人与目标对象的预设的距离范围,启动行走装置;2、机器人对视频流中的图像中未识别到与目标对象对应的目标特征信息及扩展特征信息,同时机器人通过音频、红外定位到目标对象后,通过测量与目标对象的距离小于预设的机器人与目标对象的预设的距离范围,机器人启动行走装置;3、机器人捕捉到目标对象的目标特征,且与目标对象的距离保持在预设范围内过程中,机器人摄像单元出现视频图像轮廓不清晰时,机器人暂不启动行走装置,待视频图像轮廓清晰后,如果对视频流中的图像中未识别到与目标对象对应的目标特征信息及扩展特征信息,同时机器人通过音频、红外定位到目标对象后,启动行走装置;4、机器人捕捉到目标对象的目标特征,且与目标对象的距离保持在预设范围内过程中,如目标对象突然远离导致机器人不能识别目标对象的目标特征时,启动行走装置,如果目标对象远离后且在机器人定位到目标对象的位置之前,机器人通过测距发现目标对象逐渐靠近,则不启动行走装置。机器人行走装置接收来自摄像单元的信号,并将其转化成控制行走装置并与其电连接的控制器的电信号,控制器将所述电信号转移动到启动行走装置的驱动装置上,驱动装置启动行走装置实现机器人的移动,其中驱动装置可以是电机,行走装置可以是轮、履带或者轮履复合式等;图像识别是首先在机器人中存储一张图片,并将其作为一个模型,机器人处理器对此模型的首先进行预处理,并提取出其中带有线条的轮廓、线条与线条之间的角度、线条与线条的相对位置、轮廓中所包覆的色彩等,在捕捉到一视频图像后,为了确定当前图像中是否需要捕捉的目标对象,机器人处理器依次对图像中的每一帧图片进行进行预处理,并提取出其中带有线条的轮廓、线条与线条之间的角度、线条与线条的相对位置、轮廓中所包覆的色彩等与数据库中的图片模型进行对比拟合,在其拟合度达到设定值时则认为视频图像中存在捕捉的目标对象。
具体的,如上述妈妈通过机器人查看女儿的情况,分析模块S20确定了女儿的特征信息,机器人以此特征信息为依据在家中寻找女儿,机器人首先是在自己接收到寻的指令的位置处,通过各音频和/或红外定位女儿的位置,若女儿在预设的距离范围内,且机器人不能在当前视频流的部分帧或者连续帧图像中捕捉到女儿的目标特征,则启动行走装置,配合摄像单元捕捉女儿的目标特征信息,若通过各音频和/或红外定位女儿的位置,若女儿不在预设的距离范围内,启动行走装置,并通过摄像单元的视频流进行图像识别,以捕捉女儿的目标特征如女儿脸部的轮廓特征。
S40:维持模块,用于当捕捉到所述目标对象后,控制行走装置使本机与目标对象之间保持预设距离范围。
机器人可预设机器人与目标对象的距离范围,在机器人步骤到目标对象后,首先通过安装在其上的测量装置测量机器人与目标对象的距离,若机器人与目标对象的距离较远且不在预设的距离范围内,则机器人通过行走装置移动到与目标对象预设的距离范围内,且在目标对象移动过程中,机器人通过维持模块S40始终与目标对象保持预设的距离范围。
具体的,如上述妈妈寻找女儿,通过捕捉模块S30机器人依据女儿的特征信息寻找到了女儿,则机器人通过自身的测量装置测量机器人与女儿的距离,若机器人与女儿的距离较远且不在预设的距离范围内,则机器人通过行走装置移动到与女儿预设的距离范围内,且在女儿行走的过程中,机器人通过维持模块S40始终与目标对象保持预设的距离范围。
进一步的,所述捕捉模块S10还包括采集单元S31:用于在捕捉到所述目标对象后,采集所述目标对象的属于其目标特征信息之外的扩展特征信息,在不能捕捉所述目标特征信息时,依据所述扩展特征信息定位所述目标对象的扩增部位实现目标对象捕捉。
为了在后续的时间内快速寻找和/或定位目标对象的目标特征,在机器人通过捕捉模块S10捕捉到目标对象后,通过采集单元S31采集目标对象上除了目标特征信息之外的扩增部位的扩展特征信息,在呼叫方通过机器人和目标对象视频通话的过程中,由于目标对象自身的移动和/或机器人的移动,导致机器人的摄像单元不能捕捉到目标的对象的目标特征信息,机器人在当前视频流中的部分帧或者连续帧图片中不能清晰的识别目标特征对应的带有线条的轮廓、线条与线条之间的角度、线条与线条的相对位置、轮廓中所包覆的色彩等时,机器人可以通过目标对象目标特征信息以外的扩增部位的扩展特征信息快速寻找并聚焦到目标对象的目标特征信息。如上述机器捕捉到目标对象后,由于目标对象突然远离而不能识别目标对象的目标特征信息,为了进一步快速的捕捉目标对象,机器人在当前视频流中同时识别目标对象的目标特征信息和扩展特征信息,若通过扩展特征信息识别到了目标对象的扩增部位,则依据所述扩增部位捕捉到了目标对象,并再以此为依据定位目标对象的目标特征。
具体的,如上文所述机器人在捕捉模块S10捕捉到女儿之后,通过采集单元S31采集女儿身上的除了脸部特征信息之外的其他扩展特征信息,如女儿衣服、裤子、鞋子的颜色和款式,头发的颜色以及形态,帽子的颜色、形状、款式,身体、手臂、腿部的轮廓等,在妈妈和女儿通过机器人视频通话的过程中,如果女儿时站时坐时走,在这过程中,就有可能导致机器人不能定位并捕捉到女儿的脸部特征信息,机器人便可通过扩展部位的扩展特征信息定位到目标特征信息并实现对目标对象的捕捉。例如,摄像单元捕捉到女儿后,在采集身体部位的的特征时,在获取部分帧或者连续帧图片中身体部位的身穿衣服的颜色,再按照R:G:B=3:6:1的比值将部分帧或者连续帧图片去色,处理为黑白图片,提取出身体轮廓的轮廓特征,在后续捕捉目标对象的过程中以此为扩展特征信息确定目标对象。
进一步的,所述采集单元S31还包括定位单元S311:用于依据所述扩展特征信息定位所述目标对象的扩增部位之后,启动行走装置环绕该扩增部位继续搜寻所述目标特征信息,直到定位到该目标特征信息之后方才实现目标对象捕捉。
在机器人不能捕捉到目标对象的目标特征信息时,机器人首先是通过捕捉模块S30捕捉到的特征信息和之前采集单元S31采集的扩展特征信息进行对比并通过定位单元S311定位现在捕捉模块S30捕捉到的扩展部位,机器人启动行走装置移动围绕扩增部位继续搜寻目标特征信息,直到摄像单元捕捉并定位到目标特征信息之后,才继续进行视频通话中对目标兑现过的捕捉。
具体的,在妈妈和女儿通过机器人视频通话的过程中,如上述在女儿坐着时,机器人捕捉模块S30能捕捉到女儿的脸部特征信息,女儿站起来之后,机器人捕捉模块S30只能捕捉到女儿的身体部分,女儿身上穿的是一件粉色连衣裙,款式为圆领、无袖的蓬蓬裙,此时机器人可通过之前采集的扩展特征信息即女儿身体的轮廓、裙子的颜色、款式确定此时捕捉的部位,且通过捕捉部位确定机器人摄像单元转动的方位,即机器人通过摄像单元捕捉的裙子的领子、肩部形式以及女儿躯体的特征信息,确定此时捕捉到女儿的身体部位为前胸,且通过上抬摄像单元便可捕捉到女儿的脸部特征信息;如女儿站起来并转过身体,使自己的后背对着机器人的摄像单元,机器人的摄像单元捕捉到的是女儿躯干扩展部位的裙子颜色和款式、后背轮廓的扩展特征信息,那么机器人则需要启动行走装置环绕躯干移动并通过转变摄像单元的角度搜寻目标特征信息,一直到摄像单元搜寻到目标特征信息,机器人调整与女儿的距离,并由定位单元S311定位目标特征信息之后,捕捉模块S30才继续对目标对象进行捕捉,又如机器人捕捉到女儿的目标特征信息,且与女儿的距离保持在预设范围内过程中,机器人摄像单元出现视频图像轮廓不清晰时,机器人暂不启动行走装置,待视频图像轮廓清晰后,通过对视频流中的图像识别后,识别的扩展特征信息来自女儿的身体背部的扩增部位,启动行走装置环绕该特征部位捕捉女儿的脸部特征信息。
优选的,所述扩展特征信息采集自所述视频流中与所述目标特征信息相对应的图像部分共同运动的动景图像。
机器人捕捉到目标对象后,目标对象在视频流中相对于其他景象属于动态的图像,在采集扩展信息时,采集视频流中与目标特征信息共同运动的目标对象上的扩展特征,例如机器人摄像单元捕捉到目标对象后,其中脸部特征信息作为目标特征信息,将部分帧或者连续帧图片中的随着脸部的线条轮廓的变化其他线条轮廓发生变化且可与脸部轮廓被包围在一个封闭轮廓中的部位作为扩增部位,确定扩增部位后采集扩增部位的轮廓、各轮廓的相对位置及轮廓包覆的色彩。
具体的,如上述机器人捕捉到女儿后,在视频流中女儿相对于家里的静态物品属于动态的对象,女儿的躯干、衣服、头发等都是跟随女儿运动而共同运动,根据视频流中女儿的脸部特征信息确定了女儿这一对象时,采集视频流中部分帧或者连续帧图片随着女儿脸部轮廓的变化的其他线条轮廓发生变化的部位的轮廓、各轮廓的相对位置及轮廓包覆的色彩,且其他线条轮廓可与脸部轮廓被包围与一个封闭的轮廓中的部位,并根据其他线条轮廓与脸部轮廓的位置确定其他轮廓属于身体的某一部分,同时根据部分帧或者连续帧图片中脸部的轮廓相对其他物品位置的是否变化及其他部位的位置跟随脸部位置相对其他物品位置是否变化确定女儿是否处于运动状态,若都为是,则为运动,否则女儿不处于运动状态。如在女儿走路过程中,读取摄像单元视频流中部分帧或者连续帧图片中脸部的轮廓特征相对其他物品位置发生变化,且对比脸部特征位置的变化有其他轮廓跟随脸部的轮廓位置变化相对其他物品位置发生变化,确定女儿为运动状态,且其他部位轮廓可与脸部轮廓被包裹在一个封闭轮廓中,根据其他部位相对脸部的轮廓的位置确定为腿部,则腿部确定为扩增部位,并采集部分帧或者连续帧图片中扩增部位的扩展特征信息。
进一步的,所述分析模块S20还包括查询单元S21,所述目标物信息与目标特征信息之间以映射关系存储于数据库中,用于查询该数据库而实现依据目标物信息确定目标特征信息。
目标物信息和目标特征信息等都是以一一对应的关系映射存储于数据库中,在确定了目标物信息之后,查询单元S21就可通过目标物信息查询到目标特征信息,且数据库可以是本地数据库,也可以是和机器人相连接的云端数据库。如果是本地数据库,则获取到目标物信息后,可在本地直接确定目标特征信息,如果是云端的数据库,则机器人将目标物信息发送到云端,云端确定与目标物信息对应的目标特征信息之后,将目标特征信息返回给机器人。
具体的,如小红为目标物,在存储的时候,将妈妈对小红的常见称呼女儿(包括其他家庭成员对其的常见称呼)、小红的脸部特征信息对应存储,同时还包括采集的扩展特征信息,如表2。
表2为目标物信息与目标特征信息在数据库中的存储关系。
进一步的,所述维持模块S40还包括测量单元S41:用于当捕捉到所述目标对象后,控制行走装置使本机与目标对象之间保持预设距离范围的步骤中,伴随所述行走装置的运行,获取本机距离传感器侦测的与目标对象之间的距离数据,当该距离数据超过所述预定距离范围时,控制行走装置开始先走而执行移动,否则控制行走装置停止行走而暂停移动。
在捕捉到目标对象后,机器人在维持自身与目标对象的距离过程中,其测量单元S41的距离传感器一直处于测量状态,测量机器人自身与目标对象之间的距离,在目标对象运动的过程中,当机器人与目标对象之间的距离超过预设的范围时,机器人自动控制行走装置开始行走而移动,如果通过距离传感器测出机器人与目标对象的距离在预设的范围内,机器人自动控制行走装置停止行走装置使机器人暂停移动。
具体的,如上述机器人在捕捉到小红后,在机器人的行走装置维持自身与小红的距离过程中,测量单元S41距离传感器一直处于测量状态,测量机器人自身与目标对象之间的距离,在小红运动的过程中,当机器人与小红之间的距离超过预设的范围时,机器人自动控制行走装置开始行走而移动,如果通过距离传感器测出机器人与小红的距离在预设的范围内,机器人自动控制行走装置停止行走装置使机器人暂停移动,在距离范围超过预设范围时,则机器人自动控制行走装置开始行走而移动,使得机器人更为智能化。
进一步的,所述目标物信息为目标对象的名称或者指示符。
在分析模块S20接收到来之呼叫方的指令后,解析出指令中携带的目标物信息,目标物信息即为目标对象的名称或者指示符,如人物的名字、电脑等。
具体的,具体的,如上述妈妈作为呼叫方在其终端发出的寻的指令为“寻找电脑”,其中“寻找电脑”字符信息,分析模块S20解析出“寻找电脑”中的电脑,并将其作为目标对象的指示符,如电脑即为指示符,即目标物信息;如女儿的名字为小红,妈妈发出的寻的指令为“寻找小红”,其中“寻找小红”字符信息,分析模块S20解析出“寻找小红”中的小红,并将其作为目标对象的指示符,即目标物信息小红即为女儿目标对象的名称,即目标物信息;另外,指示符也可以是呼叫方终端存储的与目标对象的信息,在呼叫方终端触发目标对象的信息,呼叫方终端将该目标对象的信息生成和目标对象相对应的指示符,并向机器人发出该目标对象的指示符,如妈妈作为呼叫方在自己的终端上存储有和女儿小红相关的信息,如名字小红、代表小红的图像,妈妈在终端上触发了女儿小红的名字或者代表小红的图像,则呼叫方终端生成寻找小红的指示符,并将该指示符发向机器人。
优选的,所述目标特征信息为所述目标对象的脸部特征信息。
目标对象的目标特征信息是提前录入的,脸部特征变化最能表现一个人心情或者表达此时的状态,在录入时,优选脸部特征作为目标特征信息,便于在后续视频通话过程中,父母或在外家庭成员在视频通话过程中,或者拍摄的视频和/或照片中,可以首先通过脸部的表情观察家中儿童和/或其他家庭成员的喜怒哀乐。
在其中一个实施例中,所述采集单元S31还包括监测单元S312:用于监测到所述目标对象的扩展特征信息发生变化后,重新采集所述扩展部位的所述扩展特征信息。
机器人可以对目标对象的扩展特征信息保存至下一次扩展特征信息发生变化后,机器人监测单元S312监测到存储的目标对象的扩展特征信息发生变后则重新采集新的扩展特征信息,以便于在目标对象扩展特征信息变化后,需要捕捉目标对象,能快速的定位到目标对象的目标特征信息并捕捉目标对象。
具体的,如上述小红穿的是粉色连衣裙,数据库存储的扩展特征信息同样是粉色连衣裙的信息,在小红换成一条白色连衣裙后,机器人通过捕捉目标特征信息确定穿白色连衣裙的对象为小红后,监测单元S312发现其服装扩展特征信息发生变化后,则重新采集小红身体与白色连衣裙的扩展特征信息。
优选的,所述距离传感器为超声波传感器、红外线传感器或者包含所述摄像单元在内的双目测距摄像装置。
在维持模块S40中的距离传感器为超声波传感器、红外线传感器或者包含所述摄像单元在内的双目测距摄像装置,双目测距摄像装置使用方便,可初步确定机器人与目标对象的距离,超声波对远距离测距的误差小,效果好,红外传感器对近距离的测距误差小,效果好,本发明通过相互结合,使得机器人在远近距离上的测距误差达到优化。
优选的,所述扩展特征信息包括一个或任意多个以下特征:躯干部位特征、服装部位特征、脸部轮廓特征、毛发轮廓特征信息或音频特征信息。
采集单元S31采集的所述扩展特征信息包括一个或任意多个以下特征:躯干部位特征、服装部位特征、脸部轮廓特征、毛发轮廓特征信息或音频特征信息。
进一步的,所述捕捉模块S30包括定位单元S311,用本机音频和/或红外定位单元,在捕捉所述目标对象过程中时,本机开启音频和/或红外定位单元获取所述目标物位置,以确定行走装置的起始走向。
在机器人中还包括音频和/或红外定位单元,在捕捉目标对象过程中,通过开启音频和/或红外定位单元获取所述目标物的位置,并以此来确定机器人行走装置的开始时的行走方向。
具体的,如上述在确定了目标对象为小红后,小红此时在机器人的正前方哈哈大笑,机器人通过音频定位单元获取到小红的音频,并定位到小红的位置为机器人的正前方,此时机器人则直接启动行走装置使机器人往正前方移动;又如机器人通过红外定位单元的红外灯辐射感受周围景物和环境反射回来的红外光确定小红所在的位置为机器人的右前方,则机器人启动行走装置并向右前方移动寻找小红。
进一步的,所述测量单元S41,还用于在捕捉所述目标对象过程中,在遇到障碍物时,本机通过距离传感器测量本机与所述障碍物的距离,控制行走装置绕行和/或远离所述障碍物,在绕行和/或远离所述障碍物后继续捕捉所述目标对象。
机器人在寻找小红的过程中,不可避免的会遇到障碍物,如家中凳子、墙体等,同样可以通过测量单元S41的距离传感器测量机器人与图中障碍物的距离,在寻找小红的方位不变的情况下,控制行走装置绕过和/或远离凳子、墙体,并继续捕捉小红。
进一步的,所述维持模块S40之后还包括语音模块S50,如图6,用于在本机移动到与所述目标对象的距离范围内时,启动所述语音提醒单元,并发出语音提醒。
为了确保在呼叫方发起视频通话时,目标对象能够及时的接收到父母发来的消息,在机器人捕捉到目标对象并移动到与目标对象预设的距离范围内时,启动机器人的语音提醒单元,并发出语音提醒。
具体的,如上述机器人寻找到了小红,并移动到与小红预设的距离范围内,则向小红发出语音提醒,如:妈妈来电话了,妈妈来电话了,妈妈来电话了,快接电话,快接电话,快接电话。
进一步的,如图7,所述视频模块S10还包括:
S11:拍摄单元,用于所述呼叫方挂断所述视频通话后,所述机器人摄像单元持续采集所述目标对象的视频;
为了保证呼叫方可以更多的了解小孩及小孩在家中的状态,在呼叫方挂断电话后,机器人通过拍摄像单元S11持续的采集小孩的在家中的视频。
具体的,如上述妈妈作为呼叫方挂断了与女儿小红的视频通话,而机器人并没有关闭摄像单元,拍摄单元S11在持续的采集小红的在家中玩耍,学习等的视频。
S12:传输单元,所述机器人将所述视频发送到与其连接的终端,且在向所述终端发送文字提醒和/或语音提醒。
拍摄单元S11一段视频采集完成后,机器人将采集的视频通过传输单元S12发送到与其连接的家庭成员的终端和/或云端,并通过传输单元S12向终端发送文字提醒和/或语音提醒,且采集一段视频后,再持续采集下一段视频。
具体的,如上述机器人拍摄单元S11将小红在家中玩耍的视频后,将其通过传输单元S12发送到家庭成员的终端和/或云端,如手机、电脑、ipad等和/或与其相连接的云端中,在视频发送成功后通过传输单元S12向家庭成员的终端发送文字提醒和/或语音提醒,如:有小红玩耍的视频了;如果机器人没有和云端连接则仅发送到终端,有则发送到云端和终端,或者终端在全都属于关闭状态时,则仅发送云端,且在开启任一终端时,发送提醒消息。
优选的,还包括启动单元60,用于所述机器人在采集所述目标对象时,根据所述目标对象脸部特征和/或音频特征的变化和/或所述目标对象发出的交互指令,所述本机启动语音交互单元和/或向与所述本机连接的移动终端发起视频通话。
机器人通过摄像单元在采集目标对象的过程中,根据目标对象的脸部特征变化,如小孩在哭,则机器人启动单元60启动本机的人机交互单元,逗小孩开心;根据目标对象的音频特征的变化,如小孩在发脾气,机器人通过音频特征确定小孩属于发脾气的状态,则机器人启动单元60启动本机的人机交互单元,宽慰小孩;机器人根据目标对象发出的交互指令,如小孩向机器提出花朵用英语怎么说,则机器人根据小孩提出的问题回答,花朵的英语为flower;再如目标对象小孩向机器人发出给爸爸打电话,则机器人启动单元50启动视频模块S10,向爸爸的手机终端发出视频通话请求。
具体的,如上述机器人在采集小红的视频过程中,通过小红脸部特征的变化和音频特征的变化,确定小红现在正在哭,机器人启动单元60启动人机交互单元给小红讲故事或者讲笑话等,逗小红开心;又如小红给机器人发出我想听歌的指令,机器人启动单元60启动放歌曲功能向小红唱歌;又如小红跟机器人说我想学习唐诗,则机器人根据小红平时的提问情况确定小红的智力发展阶段,给小红念适合小红智力阶段学习的唐诗,并解析。
进一步的,所述拍摄单元S11,还用于在采集所述目标对象视频过程中,所述摄像单元还包括拍照功能,以根据所述目标对象的脸部特征和/或音频特征的变化和/或所述目标对象发出的交互指令对所述目标对象进行拍照。
机器人的拍摄单元S11还包括拍照的功能,在机器人采集目标对象视频过程中,在目标对象的脸部特征发生变化,如目标对象笑得很开心的时候,则摄像单元抓拍下此时目标对象的状态;又如在目标对象一直在一个人默默的自言自语,则摄像单元同样抓拍下此时目标对象的状态;又如目标对象给机器人说拍一张我和狗狗的合照,机器人根据目标对象的指令启动摄像单元的拍照功能,拍下目标对象和狗狗的合照。
在其中一个实施例中,如图8,所述传输单元S12之后还包括:
S13:接收单元,用于接收所述目标对象的交互指令;
在家中的家庭成员的目标特征信息都可以存储在机器人本地的数据库中和/或和机器人连接的云端数据库,因此存储在数据库的成员都可以向机器人发送交互指令,机器人首先是接收当前的目标对象发出的交互指令。
具体的,如小红家庭成员包括爷爷、奶奶、爸爸、妈妈和小红自己,并且数据库中存储了所有家庭成员的目标特征信息,即脸部特征信息,当前家中的人物包括爷爷、奶奶和小红三个人,如果当前小红识别的目标对象为小红,在多个人同时向机器人发送交互指令时,则只接受小红发送的交互指令。
S14:分析单元,用于解析所述交互指令中包含的交互信息,提取与本机功能单元相对应的指示符;
在机器人获取到目标对象的交互指令后,需要对交互指令中包含的信息进行解析,解析出交互指令中和本机功能单元相对应的指示符,以便于开启本机的功能单元。
具体的,如上述机器人接收了小红发送交互指令,交互指令为“给我讲小鸭子的故事”,机器人解析出指令中“小鸭子的故事”以及“讲”,将“小鸭子的故事”转变为在数据库或者网络中搜索“小鸭子的故事”,并将其提取出来,将“讲”转变启动语音单元的指示符。
S15:启动单元,启动与所述指示符相对应的功能单元。
在人机交互中,目标对象发出的交互指令中包含有能实现目标对象目的的功能性指示,根据分析单元S14解析出的指示符,启动实现目标对象目的的功能性单元,并执行目标对象发出的指令。
具体的,如上述小红发出的交互指令“给我讲小鸭子的故事”,经过分析单元S14的解析后,通过数据库和/或网络搜索“小鸭子的故事”并将其提取出来,启动机器人的语音功能,给小红讲“小鸭子的故事”,其中数据库可以是本地数据库也可以是云端数据库,在搜索的时候可以数据库和网络同时搜索,或者在没有网络连接的时候只搜索本地数据库。
进一步的,所述交互指令为所述目标物发出语音指令和/或所述目标物在本机上点击的与所述功能单元对应的按键。
机器人有接收语音的传感器,同时在机器人上设置有人机交互的实体功能按键,如果机器人设有触摸屏,则功能按揭也可以是虚拟的触摸键。
本发明还提供了一种终端,包括处理器,该处理器用于运行程序以执行所述的机器人视频通话控制方法的各个步骤,例如:机器人建立了与妈妈的各移动终端如手机、电脑、ipad等的连接应用程序,且终端下载有与控制并与机器人连接App,并向妈妈的移动终端传输本机摄像单元获取的家里情况的视频流,由于妈妈想在移动终端中看到女儿小红现在在家里的状态,且此时的视频流中没有包含小红的图像,妈妈在移动终端向机器人发起了“寻找女儿”的寻的指令,机器人接收“寻找女儿”的寻的指令并在本机中解析寻的指令中的信息,即解析并提取出“女儿”这一信息,并在本地通过该信息确定女儿的特征信息,特征信息为女儿的脸部特征,即整个脸部和五官的轮廓与位置,机器人以此特征信息为依据在家中寻找女儿,机器人首先是在自己接收到寻的指令的位置处,机器人的摄像单元360度旋转,并通过摄像单元的视频流进行图像识别,以捕捉女儿的目标特征,若未捕捉到女儿,则机器人启动自身的行走装置并移动,机器人在移动过程同时通过摄像单元获取视频流,并在视频图像中通过图像识别技术检查当前的视频图像中是否有女儿的脸部特征信息,若机器人依据女儿的特征信息寻找到了女儿,则机器人通过自身的测量装置测量机器人与女儿的距离,若机器人与女儿的距离较远且不在预设的距离范围内,则机器人通过行走装置移动到与女儿预设的距离范围内,且在女儿行走的过程中,机器人始终与女儿小红之间保持预设的距离范围。
进一步的,本实施例的处理器还可以实现上述实施例的方法的其他步骤,处理器的具体作用和实现方式可参见上述方法部分的实施例,在此不做赘述。
本技术领域技术人员可以理解,本技术方案不仅仅是应用到家里看管并与小孩娱乐学习的机器人身上,也可以应用到机器人监控、扫地等类型的可视频和/或通话和/或人机交互的机器人身上,同时也可应用于模拟其他生物的机械如机器狗,机器猫等,本方案中的目标对象可以是人类,也可以是家中的动物和/或其他的物品,如电脑、手机、开关等,同时也可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解,可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现,从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解,本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种机器人视频通话控制方法,其特征在于,包括如下步骤:
建立与呼叫方的视频通话,向呼叫方传输本机摄像单元获取的视频流;
接收所述呼叫方发起的寻的指令,解析所述寻的指令所包含的目标物信息,依据目标物信息确定相应的目标对象的目标特征信息;
在未捕捉到所述目标对象时,启动行走装置执行本机移动,在移动过程中对摄像单元的视频流进行图像识别,确定包含所述目标特征信息的图像,以捕捉目标对象;
当捕捉到所述目标对象后,控制行走装置使本机与目标对象之间保持预设距离范围。
2.根据权利要求1所述的控制方法,其特征在于,还包括步骤:
当捕捉到所述目标对象后,采集所述目标对象的属于其目标特征信息之外的扩展特征信息,在不能捕捉所述目标特征信息时,依据所述扩展特征信息定位所述目标对象的扩增部位实现目标对象捕捉。
3.根据权利要求2所述的控制方法,其特征在于,依据所述扩展特征信息定位所述目标对象的扩增部位之后,启动行走装置环绕该扩增部位继续搜寻所述目标特征信息,直到定位到该目标特征信息之后方才实现目标对象捕捉。
4.根据权利要求2所述的控制方法,所述扩展特征信息采集自所述视频流中与所述目标特征信息相对应的图像部分共同运动的动景图像。
5.根据权利要求1所述的控制方法,其特征在于,所述目标物信息与目标特征信息之间以映射关系存储于数据库中,通过查询该数据库而实现依据目标物信息确定目标特征信息。
6.根据权利要求1所述的控制方法,其特征在于,所述本机还包括语音提醒单元,当本机移动到与所述目标对象的距离范围内时,启动所述语音提醒单元,并发出语音提醒。
7.根据权利要求1所述的控制方法,其特征在于,还包括如下步骤:
所述呼叫方挂断所述视频通话后,所述机器人摄像单元持续采集所述目标对象的视频;
所述机器人将所述视频发送到与其连接的终端,且在向所述终端发送文字提醒和/或语音提醒。
8.一种机器人视频通话控制装置,其特征在于,包括以下单元:
视频模块,用于建立与呼叫方的视频通话,向呼叫方传输本机摄像单元获取的视频流;
分析模块,用于接收所述呼叫方发起的寻的指令,解析所述寻的指令所包含的目标物信息,依据目标物信息确定相应的目标对象的目标特征信息;
捕捉模块,用于在未捕捉到所述目标对象时,启动行走装置执行本机移动,在移动过程中对摄像单元的视频流进行图像识别,确定包含所述目标特征信息的图像,以捕捉目标对象;
维持模块,用于当捕捉到所述目标对象后,控制行走装置使本机与目标对象之间保持预设距离范围。
9.根据权利要求8所述的控制装置,其特征在于,所述视频模块还包括:
拍摄单元,用于所述呼叫方挂断所述视频通话后,所述机器人摄像单元持续采集所述目标对象的视频;
传输单元,所述机器人将所述视频发送到与其连接的终端,且在向所述终端发送文字提醒和/或语音提醒。
10.一种可视频通话移动式机器人,其特征在于,包括处理器,该处理器用于执行权利要求1-7中任意一项所述的机器人视频通话控制方法。
CN201611157928.6A 2016-12-15 2016-12-15 机器人视频通话控制方法、装置及终端 Pending CN106791565A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611157928.6A CN106791565A (zh) 2016-12-15 2016-12-15 机器人视频通话控制方法、装置及终端
PCT/CN2017/116674 WO2018108176A1 (zh) 2016-12-15 2017-12-15 机器人视频通话控制方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611157928.6A CN106791565A (zh) 2016-12-15 2016-12-15 机器人视频通话控制方法、装置及终端

Publications (1)

Publication Number Publication Date
CN106791565A true CN106791565A (zh) 2017-05-31

Family

ID=58888280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611157928.6A Pending CN106791565A (zh) 2016-12-15 2016-12-15 机器人视频通话控制方法、装置及终端

Country Status (2)

Country Link
CN (1) CN106791565A (zh)
WO (1) WO2018108176A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516367A (zh) * 2017-08-10 2017-12-26 芜湖德海机器人科技有限公司 一种基于医院排队人员识别的座椅机器人控制方法
CN107659608A (zh) * 2017-07-24 2018-02-02 北京小豆儿机器人科技有限公司 一种基于养老机器人的亲情关怀系统
CN107825428A (zh) * 2017-12-08 2018-03-23 子歌教育机器人(深圳)有限公司 智能机器人的作业系统及智能机器人
CN108073112A (zh) * 2018-01-19 2018-05-25 福建捷联电子有限公司 一种具有角色扮演的智能服务型机器人
WO2018108176A1 (zh) * 2016-12-15 2018-06-21 北京奇虎科技有限公司 机器人视频通话控制方法、装置及终端
CN110191300A (zh) * 2019-04-26 2019-08-30 特斯联(北京)科技有限公司 一种无人化停车场的可视通话设备及其系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221602B (zh) * 2019-05-06 2022-04-26 上海秒针网络科技有限公司 目标对象捕捉方法和装置、存储介质及电子装置
CN114079696A (zh) * 2020-08-21 2022-02-22 海能达通信股份有限公司 呼叫终端的方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117065A1 (en) * 2002-07-25 2004-06-17 Yulun Wang Tele-robotic system used to provide remote consultation services
CN102025964A (zh) * 2010-05-07 2011-04-20 中兴通讯股份有限公司 一种视频留言方法及终端
CN102176222A (zh) * 2011-03-18 2011-09-07 北京科技大学 多传感器信息采集分析系统及自闭症儿童监护辅助系统
CN104656653A (zh) * 2015-01-15 2015-05-27 长源动力(北京)科技有限公司 一种基于机器人的交互系统及方法
CN105182983A (zh) * 2015-10-22 2015-12-23 深圳创想未来机器人有限公司 基于移动机器人的人脸实时跟踪方法和跟踪系统
CN105301997A (zh) * 2015-10-22 2016-02-03 深圳创想未来机器人有限公司 基于移动机器人的智能提醒方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302785A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動ロボットの画像送信装置
US7613285B2 (en) * 2004-12-07 2009-11-03 Electronics And Telecommunications Research Institute System and method for service-oriented automatic remote control, remote server, and remote control agent
US8761933B2 (en) * 2011-08-02 2014-06-24 Microsoft Corporation Finding a called party
CN103926912B (zh) * 2014-05-07 2016-07-06 桂林赛普电子科技有限公司 一种基于家庭服务机器人的智能家庭监控系统
CN104800950A (zh) * 2015-04-22 2015-07-29 中国科学院自动化研究所 自闭症儿童辅助机器人及系统
CN105856260A (zh) * 2016-06-24 2016-08-17 深圳市鑫益嘉科技股份有限公司 一种带有随叫随到功能的机器人
CN106162037A (zh) * 2016-08-08 2016-11-23 北京奇虎科技有限公司 一种视频通话时进行互动的方法和装置
CN106791565A (zh) * 2016-12-15 2017-05-31 北京奇虎科技有限公司 机器人视频通话控制方法、装置及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117065A1 (en) * 2002-07-25 2004-06-17 Yulun Wang Tele-robotic system used to provide remote consultation services
CN102025964A (zh) * 2010-05-07 2011-04-20 中兴通讯股份有限公司 一种视频留言方法及终端
CN102176222A (zh) * 2011-03-18 2011-09-07 北京科技大学 多传感器信息采集分析系统及自闭症儿童监护辅助系统
CN104656653A (zh) * 2015-01-15 2015-05-27 长源动力(北京)科技有限公司 一种基于机器人的交互系统及方法
CN105182983A (zh) * 2015-10-22 2015-12-23 深圳创想未来机器人有限公司 基于移动机器人的人脸实时跟踪方法和跟踪系统
CN105301997A (zh) * 2015-10-22 2016-02-03 深圳创想未来机器人有限公司 基于移动机器人的智能提醒方法和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018108176A1 (zh) * 2016-12-15 2018-06-21 北京奇虎科技有限公司 机器人视频通话控制方法、装置及终端
CN107659608A (zh) * 2017-07-24 2018-02-02 北京小豆儿机器人科技有限公司 一种基于养老机器人的亲情关怀系统
CN107516367A (zh) * 2017-08-10 2017-12-26 芜湖德海机器人科技有限公司 一种基于医院排队人员识别的座椅机器人控制方法
CN107825428A (zh) * 2017-12-08 2018-03-23 子歌教育机器人(深圳)有限公司 智能机器人的作业系统及智能机器人
CN108073112A (zh) * 2018-01-19 2018-05-25 福建捷联电子有限公司 一种具有角色扮演的智能服务型机器人
CN108073112B (zh) * 2018-01-19 2024-02-20 冠捷电子科技(福建)有限公司 一种具有角色扮演的智能服务型机器人
CN110191300A (zh) * 2019-04-26 2019-08-30 特斯联(北京)科技有限公司 一种无人化停车场的可视通话设备及其系统
CN110191300B (zh) * 2019-04-26 2020-02-14 特斯联(北京)科技有限公司 一种无人化停车场的可视通话设备及其系统

Also Published As

Publication number Publication date
WO2018108176A1 (zh) 2018-06-21

Similar Documents

Publication Publication Date Title
CN106791565A (zh) 机器人视频通话控制方法、装置及终端
CN106873773B (zh) 机器人交互控制方法、服务器和机器人
CN105468145B (zh) 一种基于手势和语音识别的机器人人机交互方法和装置
US11080882B2 (en) Display control device, display control method, and program
CN104410883B (zh) 一种移动可穿戴非接触式交互系统与方法
US20230305530A1 (en) Information processing apparatus, information processing method and program
CN108818569A (zh) 面向公共服务场景的智能机器人系统
JPWO2003035334A1 (ja) ロボット装置及びその制御方法
CN106210450A (zh) 基于slam的影视人工智能
JP7375748B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN107942695A (zh) 情感智能音响系统
JP2007156577A (ja) 生活支援ロボットによる色情報獲得方法
CN206105869U (zh) 一种机器人快速示教装置
CN108572586B (zh) 信息处理装置和信息处理系统
CN107437063A (zh) 用于感测环境的装置和方法、非暂态计算机可读介质
US11257355B2 (en) System and method for preventing false alarms due to display images
CN109324693A (zh) Ar搜索装置、基于ar搜索装置的物品搜索系统及方法
CN108446026A (zh) 一种基于增强现实的引导方法、引导设备以及一种介质
JP2005131713A (ja) コミュニケーションロボット
CN206023981U (zh) 一种无人机电子宠物狗
CN109521878A (zh) 交互方法、装置和计算机可读存储介质
CN106997449A (zh) 具有人脸识别功能的机器人和人脸识别方法
JP2006123153A (ja) コミュニケーションロボット用開発支援装置および開発支援プログラム
US20220134544A1 (en) System and method for continuously sharing behavioral states of a creature
EP3738726B1 (en) Animal-shaped autonomous moving body, method of operating animal-shaped autonomous moving body, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531