CN106773820A - 机器人互动方法、装置及机器人 - Google Patents

机器人互动方法、装置及机器人 Download PDF

Info

Publication number
CN106773820A
CN106773820A CN201611097707.4A CN201611097707A CN106773820A CN 106773820 A CN106773820 A CN 106773820A CN 201611097707 A CN201611097707 A CN 201611097707A CN 106773820 A CN106773820 A CN 106773820A
Authority
CN
China
Prior art keywords
information
environment
user
contextual model
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611097707.4A
Other languages
English (en)
Other versions
CN106773820B (zh
Inventor
何坚强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201611097707.4A priority Critical patent/CN106773820B/zh
Publication of CN106773820A publication Critical patent/CN106773820A/zh
Application granted granted Critical
Publication of CN106773820B publication Critical patent/CN106773820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Manipulator (AREA)

Abstract

本发明实施例公开了一种机器人互动方法、装置及机器人,包括下述步骤:通过传感装置获取用户所处环境的环境信息;将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息;在预设环境类别信息库中匹配适用于所述环境类别信息的至少一种情景模式;执行情景模式中预设的动作方案。通过采用传感装置检测用户所处环境的环境信息,并在分析该信息的基础上,确定适用于该环境的情景模式,在选定的情景模式下,执行情景模式中预设的动作方案,机器人能够为用户提供切合度较高的交互方式,且机器人能够根据不同的环境对应的情景切换不同的交互方式,使其与用户交流时变化不断,解决现有技术中用户体验差的问题。

Description

机器人互动方法、装置及机器人
技术领域
本发明实施例涉及机器人领域,尤其是一种机器人互动方法、装置及机器人。
背景技术
随着移动通信、计算机以及互联网技术的发展,计算机设备的微型化时代来临,由于计算机软件的高度集成化,以及强大的处理能力,能够使较小的智能装置具有强大的处理能力。在机器人领域,由于计算机的强大处理能力,使小型的陪护机器人成为可能,陪护机器人是通过语音或其他能够与用户交流的交互型智能设备,能够作为用户的生活学习的好朋友。
现有技术中提供的机器人,其工作方式为命令式操作,即用户通过向机器人下达命令,机器人在获知该命令后,按照命令的指示进行执行,其与用户之间的交互仅限于回答用户提出的问题,在交互过程中机器人自始至终保持一个形态与交流腔调。
本发明创造的发明人在研究中发现,现有技术中的陪护机器人与用户进行交流时,交流内容相对呆板,用户在长期使用的过程中,容易使用户对其呆板的腔调产生厌烦,进而失去继续使用该机器人的兴趣,造成用户体验差,使用频率低使用寿命短的问题。
发明内容
本发明实施例主要解决的技术问题是提供一种机器人互动方法、装置及机器人,通过采用传感装置检测用户所处环境的环境信息,并在分析该信息的基础上,确定适用于该环境的情景模式,使人机交互时,机器人能够根据不同的环境情景切换不同的交互方式。
为解决上述技术问题,本发明创造的实施例采用的一个技术方案是:提供一种机器人互动方法,包括下述步骤:
通过传感装置获取用户所处环境的环境信息;
将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息;
在预设环境类别信息库中匹配适用于所述环境类别信息的至少一种情景模式;
执行所述情景模式中预设的动作方案。
可选地,所述环境信息包括:图像信息和/或声音信息。
可选地,将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息包括:
根据事物的颜色信息截取所述图像信息中事物的轮廓信息;
将所述轮廓信息与所述环境类别识别数据库中预存储的轮廓识别标识符进行比对,根据所述轮廓信息与预存储的轮廓识别标识符的对应关系,识别出所述事物的名称信息;
根据所述图像信息中事物的名称信息确定表征所述用户所处环境的环境类别信息。
可选地,根据所述环境信息中事物的名称信息确定表征所述用户所处环境的环境类别信息包括:
将所述的环境信息中多个事物的名称信息作为一个场景信息进行群组化;
根据所述群组化后多个事物的名称信息确定表征所述用户所处环境的环境类别信息。
可选地,所述方法还包括:
根据预设的用户颜色识别符与所述图像信息中颜色的对应关系,确定用户图像在所述图像信息中的具体位置;
根据图像信息中用户图像与所述事物之间的相对位置关系,确定用户行为的危险程度;
匹配与所述危险程度相应的情景模式。
可选地,将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息包括:
将所述声音信息转化为文字信息;
提取所述文字信息中表征所述环境信息的特征文字信息;
匹配适用于所述调整文字信息相适应的环境类别信息。
可选地,在预设环境类别信息库中匹配适用于所述环境类别信息的至少一种情景模式包括:
将所述环境类别信息与所述情景模式中预设的多级类别标识进行比对,确定携带的多级类别标识中与所述环境类别信息具有对应关系的情景模式;
所述多级类别标识为根据所述情景模式在应对不同环境类别时的使用优先级设计。
可选地,所述方法还包括:
根据所述危险程度确定具有与所述危险程度相适应优先级的情景模式;
运行具有与所述危险程度相适应优先级的情景模式。
可选地,获取用户针对当前执行的所述情景模式的反馈语音信息;
识别所述反馈语音信息中表征用户针对当前执行情景模式的情绪类型;
根据所述用户的情绪类型确定继续执行当前情景模式或重新确定适用于当前环境类别信息和用户情绪类型的情景模式。
可选地,将所述反馈语音信息转化为反馈文字信息;
识别所述反馈文字信息中的字义;
根据所述字义确定表征用户针对当前执行情景模式的情绪类型。
为解决上述技术问题,本发明实施例还提供一种机器人互动装置,所述装置包括:
获取模块,用于通过传感装置获取用户所处环境的环境信息;
比对确定模块,用于将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息;
匹配模块,用于在预设环境类别信息库中匹配适用于所述环境类别信息的至少一种情景模式;
运行模块,用于执行所述情景模式中预设的动作方案。
可选地,所述环境信息包括:图像信息和/或声音信息。
可选地,所述装置还包括:
第一截取子模块,用于根据事物的颜色信息截取所述图像信息中事物的轮廓信息;
第一比对确定模块,用于将所述轮廓信息与所述环境类别识别数据库中预存储的轮廓识别标识符进行比对,根据所述轮廓信息与预存储的轮廓识别标识符的对应关系,识别出所述事物的名称信息;
第一确定子模块,用于根据所述图像信息中事物的名称信息确定表征所述用户所处环境的环境类别信息。
可选地,所述装置还包括:
第一群组子模块,用于将所述的环境信息中多个事物的名称信息作为一个场景信息进行群组化;
第二确定子模块,用于根据所述群组化后多个事物的名称信息确定表征所述用户所处环境的环境类别信息。
可选地,所述装置还包括:
第三确定子模块,用于根据预设的用户颜色识别符与所述图像信息中颜色的对应关系,确定用户图像在所述图像信息中的具体位置;
第四确定子模块,用于根据图像信息中用户图像与所述事物之间的相对位置关系,确定用户行为的危险程度;
第一匹配子模块,用于匹配与所述危险程度相应的情景模式。
可选地,所述装置还包括:
第一转化子模块,用于将所述声音信息转化为文字信息;
第一识别子模块,用于提取所述文字信息中表征所述环境信息的特征文字信息;
第二匹配子模块,用于匹配适用于所述调整文字信息相适应的环境类别信息。
可选地,所述装置还包括:
第二比对确定子模块,用于将所述环境类别信息与所述情景模式中预设的多级类别标识进行比对,确定携带的多级类别标识中与所述环境类别信息具有对应关系的情景模式;
所述多级类别标识为根据所述情景模式在应对不同环境类别时的使用优先级设计。
可选地,所述装置还包括:
第五确定子模块,用于根据所述危险程度确定具有与所述危险程度相适应优先级的情景模式;
第一运行子模块,用于运行具有与所述危险程度相适应优先级的情景模式。
可选地,第一获取子模块,用于获取用户针对当前执行的所述情景模式的反馈语音信息;
第二识别子模块,用于识别所述反馈语音信息中表征用户针对当前执行情景模式的情绪类型;
第三比对子模块,用于根据所述用户的情绪类型确定继续执行当前情景模式或重新确定适用于当前环境类别信息和用户情绪类型的情景模式。
可选地,第二转换子模块,用于将所述反馈语音信息转化为反馈文字信息;
第三识别子模块,用于识别所述反馈文字信息中的字义;
第六确定子模块,用于根据所述字义确定表征用户针对当前执行情景模式的情绪类型。
为解决上述技术问题,本发明实施例还提供一种机器人,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:
通过传感装置获取用户所处环境的环境信息;
将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息;
在预设环境类别信息库中匹配适用于所述环境类别信息的至少一种情景模式;
执行所述情景模式中预设的动作方案。
可选地,所述环境信息包括:图像信息和/或声音信息。
可选地,所述一个或多个程序还被配置用于:
根据事物的颜色信息截取所述图像信息中事物的轮廓信息;
将所述轮廓信息与所述环境类别识别数据库中预存储的轮廓识别标识符进行比对,根据所述轮廓信息与预存储的轮廓识别标识符的对应关系,识别出所述事物的名称信息;
根据所述图像信息中事物的名称信息确定表征所述用户所处环境的环境类别信息。
可选地,所述一个或多个程序还被配置用于:
将所述的环境信息中多个事物的名称信息作为一个场景信息进行群组化;
根据所述群组化后多个事物的名称信息确定表征所述用户所处环境的环境类别信息。
可选地,所述一个或多个程序还被配置用于:
根据预设的用户颜色识别符与所述图像信息中颜色的对应关系,确定用户图像在所述图像信息中的具体位置;
根据图像信息中用户图像与所述事物之间的相对位置关系,确定用户行为的危险程度;
匹配与所述危险程度相应的情景模式。
可选地,所述一个或多个程序还被配置用于:
将所述声音信息转化为文字信息;
识别所述文字信息所表述的语境状态;
匹配适用于所述语境状态的环境类别信息。
可选地,所述一个或多个程序还被配置用于:
将所述环境类别信息与所述情景模式中预设的多级类别标识进行比对,确定携带的多级类别标识中与所述环境类别信息具有对应关系的情景模式;
所述多级类别标识为根据所述情景模式在应对不同环境类别时的使用优先级设计。
可选地,所述一个或多个程序还被配置用于:
根据所述危险程度确定具有与所述危险程度相适应优先级的情景模式;
运行具有与所述危险程度相适应优先级的情景模式。
可选地,获取用户针对当前执行的所述情景模式的反馈语音信息;
识别所述反馈语音信息中表征用户针对当前执行情景模式的情绪类型;
根据所述用户的情绪类型确定继续执行当前情景模式或重新确定适用于当前环境类别信息和用户情绪类型的情景模式。
可选地,将所述反馈语音信息转化为反馈文字信息;
识别所述反馈文字信息中的字义;
根据所述字义确定表征用户针对当前执行情景模式的情绪类型。
本发明实施例的有益效果是:通过采用传感装置检测用户所处环境的环境信息,并在分析该信息的基础上,确定适用于该环境的情景模式,在选定的情景模式下,执行所述情景模式中预设的动作方案,机器人能够为用户提供切合度较高的交互方式,且机器人能够根据不同的环境对应的情景切换不同的交互方式,使其与用户交流时变化不断,解决现有技术中用户体验差,使用频率低使用寿命短的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例机器人互动方法基本流程图;
图2为本发明实施例环境信息类别识别方法流程图;
图3为本发明实施例多事物名称确定环境信息类别的方法流程图;
图4为本发明实施例根据用户危险程度确定情景模式的方法流程图;
图5为本发明实施语音确定环境类别信息的方法流程图;
图6为本发明实施例根据用户危险程度优先适用情景模式的方法流程图;
图7为本发明根据用户危险程度优先适用情景模式的方法流程图;
图8为本发明识别用户情绪类型的方法流程图;
图9为本发明实施例机器人互动装置基本结构示意图;
图10为本发明实施例机器人的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
请参阅图1,图1为本实施例机器人互动方法基本流程图。
如图1所示,一种机器人互动方法,包括下述步骤:
S1100、通过传感装置获取用户所处环境的环境信息。在机器人内设有影像采集传感器与语音采集传感器,单本实施例中机器人内设有的传感装置不局限与此,根据应用场景的不同,在一些选择性实施方式中,机器人内还设有红外传感装置、超声波传感装置或电磁传感装置,根据不同适用场合选用不同的传感装置。
机器人在使用过程中,设置在机器人上的传感装置在实时启动或定时启动的状态下获取用户所在位置处的环境信息。具体地,设在机器人上的影像采集装置的拍摄路径始终朝向用户,以获取用户的图像信息以及用户所处环境的图像信息。在获取图像的同时,设置在机器人内的语音采集传感器实时采集,包括用户语音指令在内的环境声音信息。机器人在使用过程中获取用户所在环境的图像信息与声音信息。
S1200、将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息。机器人内预设有环境类别数据库,该数据库内存储有用于识别用户所处环境的环境信息所表征的环境类别,数据库内存储有表征不同环境类别的特征信息,如表示在室内环境的光照亮度范围、墙壁、家具和家用电器等能够表征室内环境的特征信息,若拍摄的图像信息中存在表征室内环境的事物的图像时,即可确定该用户所处的环境为室内环境。具体的实现方式为,采用图像处理技术截取图像信息中表示事物的图像,将该图像与数据库内能够鉴别环境类别的特征信息进行比对,比对确定图像信息中存在与某一特征信息相同时,则确定该图像信息中存在与特征信息的相同的环境设定,将该图像信息的环境类别信息标定为室内环境类别。相同的在环境类别识别数据库中设定人们生活中各种生活场景的,以及能够表征相应生活场景的特征信息,以用于机器人根据特征信息与图像信息之间的对比确定表征用户所处环境的环境类别信息。
S1300、在预设环境类别信息库中匹配适用于所述环境类别信息的至少一种情景模式。在机器人内存储有环境类别信息库,环境类别信息库中存储有情景模式,情景模式是指按照预先设定的一个或者多个逻辑动作,控制机器人动作行为方式的预设程序。不同的情景模式内包括不同的逻辑动作,能够使机器人应对不同的环境。如以应对于室内环境的情景模式配置为:由于室内相对噪音较低,故在适用于室内环境下的情景模式中首先降低机器人发出语音的音量,语音模式被配置为用户讲故事或者向用户讲解家用电器的正确使用方法,跟随用户运动的距离被调整为较远距离跟随(机器人自动跟随的距离被划分为:近、较近、较远和远四个等级,具体距离根据机器人设定的最远跟随距离进行划分)。而与之对应的适用于室外环境信息情景模式,被配置为:提高机器人发音的音量,语音交流被配置为用户讲述户外交通规则、安全注意事项或与陌生人交流时应当注意的礼仪和警惕事项,在室外环境下为方便用户与机器人交流以及处于安全的考虑,跟随用户运动的距离被调整为较近或者近距离。
由于每一套情景模式中仅设置一套可执行的逻辑动作,但是用户在同一环境中逗留时间过长,或者用户在同一环境下进行不同的活动,仅生成一套用于该环境的情景模式,不能够很好的满足用户多样性的需求,因此,在匹配与用户所在环境相应的情景模式时,至少匹配一个情景模式,如在户外环境中,为语音交流被配置为用户讲述户外交通规则、安全注意事项或与陌生人交流时应当注意的礼仪和警惕事项,上述三个模式分布在三个不同的户外情景模式中,匹配时将三个情景模式均匹配使用。
S1400、执行所述情景模式中预设的动作方案。匹配到用户所在环境的情景模式后,机器人根据情景模式预设的逻辑动作以及预设的配置进行执行,以使该机器人的工作与工作模式与当前环境相适应。
上述实施方式通过采用传感装置检测用户所处环境的环境信息,并在分析该信息的基础上,确定适用于该环境的情景模式,在选定的情景模式下,机器人能够为用户提供切合度较高的交互方式,且机器人能够根据不同的环境情景切换不同的交互方式,使其与用户交流时变化不断,解决现有技术中用户体验差,使用频率低使用寿命短的问题。
以下为一优选实施方式,在识别用户所在环境的环境信息时,需要对获取的环境图片信息中的具体的事物进行确定,具体的确定过程请参阅图2,图2为本实施例环境信息类别识别方法流程图。
如图2所示,步骤S1200包括:
S1210、根据事物的颜色信息截取所述图像信息中事物的轮廓信息。机器人获取的用户当前环境的图像信息的画面,是由用户所在环境的具体事物构成的,本实施例中所说的事物包括构成图像信息的自然环境、固定物品以及生命物。构成图像信息的不同事物具有不同的颜色,机器人人通过图像处理手段能够根据不同事物之间的颜色信息,从图像信息中分割出不同事物的轮廓信息。如用户所处的外界环境为“马路”,由于马路的颜色为黑色,而行驶在马路上的白色或其他颜色时,由于二者之间存在较大的色差,故采用微分边缘检测算子,即可将图像信息中的马路及车辆的轮廓信息提取出来。
S1220、将所述轮廓信息与所述环境类别识别数据库中预存储的轮廓识别标识符进行比对,根据所述轮廓信息与预存储的轮廓识别标识符的对应关系,识别出所述事物的名称信息。环境类别数据库中存储有用于识别事物轮廓的轮廓识别标识符,轮廓识别标识符实质为表征其表示的事物的轮廓图样,通过将识别出的事物轮廓采用SIFT(Scale-invariant feature transform,尺度不变特征变换)技术将事物轮廓信息与轮廓识别标识符进行比对。具体的,首先,构建事物轮廓的尺度空间,检测出事物轮廓的极值点,获得尺度不变性;其次,特征点过滤并进行精确定位,然后为特征点分配方向值;再次,以特征点为中心取16×16(不限于,能够根据具体应用需要进行取值)的邻域作为采样窗口,将采样点与特征点的相对方向通过高斯加权后归入包含8(不限于,能够根据具体应用需要进行取值)个bin(二进制单位)的方向直方图,最后获得4×4×8(不限于,能够根据具体应用需要进行取值)的128维特征描述子;最后,将检测出的事物轮廓图的中的关键点与轮廓识别标识符中的关键点进行比对,采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量。事物轮廓图中的某个关键点,通过遍历找到轮廓识别标识符中的距离最近的两个关键点。在这两个关键点中,如果次近距离除以最近距离小于预设阈值(根据具体应用场景设置),则判定为一对匹配点,所有关键点均匹配的两幅图则为相互匹配图形。
预设的轮廓识别标识符上标识有表征该轮廓识别标识符代表事物的名称,确定该事物轮廓图与哪一个轮廓识别标识符匹配,则根据一一对应的关系,确定出该事物轮廓图表征的事物名称。
S1230、根据所述图像信息中事物的名称信息确定表征所述用户所处环境的环境类别信息。根据确定的事物名称信息确定出用户所处环境的环境类别信息,特定的事物名称出现在一些特定的环境类别中,或者在一些较为固定的几个场景中出现,如表征事物为汽车的事物名称一般出现在户外场景中,表征雕塑的事物名称出现在公园场景信息或者广场中,因此通过事物名称能够确定环境类别的信息。
在另一些实施方式中,通过单一的事物的名称信息确定的环境类别信息范围较大且不一定能够准确确定,为解决单一事物名称信息确定环境类别不准确的问题,本实施例还采用一种多事物名称确定环境信息类别的方法,具体请参阅图3,图3为本实施例多事物名称确定环境信息类别的方法流程图。
如图3所示,步骤S1230包括下述步骤:
S1231、将所述的环境信息中多个事物的名称信息作为一个场景信息进行群组化。用户当前环境的图像信息中包括有多个事物组成,如在公路场景中,图像信息中包括有马路、汽车和植物,若只采用表征汽车的事物名称信息确定应用场景,则确定的事物场景能够是室内停车场、公路和室外停车场等至少三个应用场景。本实施方式中,通过上述事物名称信息确定该图像信息中,表征马路的事务名称信息、表征汽车的事物名称信息和表征植物的事物名称信息,然后将这三个事物名称信息进行群组化,即确定该图像信息中包括三种事物的名称信息。
S1232、根据所述群组化后多个事物的名称信息确定表征所述用户所处环境的环境类别信息。将图像信息中多个事物名称信息群组化后,确定群组化后图像信息所表征的环境类别信息,具体地,确定包括有该图像信息中多个事物名称信息的环境类别,预存储的环境类别信息中包括有构成该环境的事物名称信息,若识别出的名称信息均被包括在环境类型信息中时,则确定该环境类别信息图像信息所表征的环境类别。
在一些实施方式中,确定情景模式时需要确定用户在该环境信息中是否存在危险,具体实现请参阅图4,图4为本实施例根据用户危险程度确定情景模式的方法流程图。
如图4所示,步骤1300包括下述步骤:
S1310、根据预设的用户颜色识别符与所述图像信息中颜色的对应关系,确定用户图像在所述图像信息中的具体位置。机器人在使用时始终跟随用户,在启动时,机器人获取用户的图像信息,并将该用户的图像信息中的颜色设定为用户颜色识别符,在跟随过程中,采用该用户颜色识别符与图像信息中用户的轮廓图进行图像比对,以确定用户在图像信息中的具体位置。
S1320、根据图像信息中用户图像与所述事物之间的相对位置关系,确定用户行为的危险程度。确定了用户在图像信息中的具体位置后,采用双摄像头的三维重构距离测算方法,对用户与所在环境中的其他事物的距离进行确定。在日常的使用中,用户所处的环境中的事物会对用户造成一定的危险,如在室内环境中存在用户能够接触到刀具盛放热水的热水壶等,在室外环境中用户行走在马路中央或者用户不遵守交通规则等行为。因此,在采集的图像信息中,首先确定图像信息中是否存在能够对用户造成危险的事物,在确定了该图像信息中存在有对用户造成危险的事物后,采用双摄像头的三维重构距离测算方法,确定用户与危险事物的之间的距离,以确定用户在该环境中的危险程度。
机器人内存储有用户与危险事物之间距离与用户危险程度的对应关系,如用户与危险事物之间的距离为0至1米之间为非常危险,用户与危险事物之间的距离为1至3米之间为危险,用户与危险事物之间的距离为3至7米之间为存在危险,7米以上为正常的距离。上述距离与危险度之间的对应关系不局限与此,能够根据具体应用场景的不同进行相应的调整。根据用户与危险事物之间距离与危险程度的对应关系,确定用户的在当前环境中的危险程度。
S1330、匹配与所述危险程度相应的情景模式。确定了用户在当前环境中的危险程度后,根据用户的危险程度确定使用的情景模式,情景模式中有用于吸引用户远离危险事物的设定,不同的情景模式对应不同的危险程度,主要的区别点在于,对应于正常距离的情景模式中包括教导用户远离危险事物的语音,对应于存在危险的情景模式中教导用户远离危险事物的语音音量大于正常距离的语音;对应于危险的情景模式语音音量调至最大,开启警报灯;对应于非常危险的情景模式机器人语音音量调至最大,开启警报灯,并绕行到用户前方组织用户进一步靠近危险事物。
在一些实施方式中,机器人识别用户所在环境的环境状态信息时还包括语音识别,语音识别的具体实现方案请参阅图5,图5为本实施例语音确定环境类别信息的方法流程图。
如图5所示,步骤S1200之后还包括下述步骤:
S1410、将所述声音信息转化为文字信息。机器人内安装有语音识别芯片,机器人通过声音传感器获取到外界的声音信息后,将该声音信息发送到语音识别芯片中,将包括用户声音指令在内的外界声音转化为文字信息。
S1420、提取所述文字信息中表征所述环境信息的特征文字信息。将获取到的环境中的语音信息,并转化为文字信息后,检测文字信息中是否存在表征环境信息的特征文字信息,特征文字信息是预存储的表征不同环境中用户能够发出的特定的语音,如在室内时,用户会发出看电视、看书或讲故事的语音指令,在室外时用户会发出我们去公园或者我们去树林中玩等,能够表征用户当前所处环境特征文字,将这些文字确定为特征文字信息,并在文字信息内搜索是否存在特征文字信息。
S1430、匹配适用于所述调整文字信息相适应的环境类别信息。不同的特征文字信息与不同的环境类别信息之间存在映射对应的关系,通过转化后的语音信息中存在的特征文字信息能够确定用户所在环境的环境类别信息。
在一些实施方式中,将所述环境类别信息与所述情景模式中预设的多级类别标识进行比对,确定携带的多级类别标识中与所述环境类别信息具有对应关系的情景模式,所述多级类别标识为根据所述情景模式在应对不同环境类别时的使用优先级设计。确定了用户当前的环境类别后,机器人获得了两个以上的情景模式,为了使机器人能够应用多个情景模式,情景模式就其在不同的环境中的用的级别优先级进行标定,如检测出环境类别信息为户外时,为应对户外不同的情景,将能够应用于户外的所有情景模式均发送至机器人,但是进一步的确定用户所在的环境为户外公园时,需要对应于户外公园的情景模式进行优先适用,本实施方式中,将情景模式划分为三个优先级别,如适用于公园环境的情景模式在公园环境中优先级别为三级是最高优先级,在庭院中使用级别为二级,在马路上的使用级别为一级为最低等级,但该应用情景能够使用在所有的室外环境中,但在具体的室外细分环境中的优先级不同,采用轮播模式时,在同一环境中不同优先级的轮换使用时间不同,优先级最高的使用的时间最早且使用的次数多,优先级最低的情景模式使用时间为最后,且使用时间较短。
在一些实施方式中,情景模式中的优先级别划分根据用户的所处环境的危险性进行划分,以使用户躲避事物,具体的实现方法请参阅图6,图6为本实施例根据用户危险程度优先适用情景模式的方法流程图。
如图6所示,步骤1320之后包括下述步骤:
S1510、根据所述危险程度确定具有与所述危险程度相适应优先级的情景模式。在本实施方案中,能够用于执行的情景模式的优先级的划定方式为:根据用户所处环境的危险性进行划分,如当前用于执行的情景模式共有四种,其中第一种情景模式的危险适用级别为4级,适用于出现用户存在非常危险的环境中使用;第二情景模式的危险适用级别为3级,适用于出现用户危险的环境中使用;第三情景模式的危险适用级别为2级,适用于出现用户存在危险的环境中使用;第三情景模式的危险适用级别为1级,适用于出现用户在正常的环境中使用。第一情景模式的具体方案为:机器人语音音量调至最大,开启警报灯,并绕行到用户前方组织用户进一步靠近危险事物。第二情景模式的具体方案为:语音音量调至最大,开启警报灯;第三情景模式教导用户远离危险事物的语音音量大于正常距离的语音;第四情景模式播放教导用户远离危险事物的语音。
S1520、运行具有与所述危险程度相适应优先级的情景模式。在确定了用户当前所在环境中存在的危险程度后即可根据优先级对应关系选择使用的应用场景。通过在遇到不同程度的危险时,启用不同优先级的情景模式,能够有效地避免用户处于危险状态,且不至于让用户感到极度紧张,有利于使用户与危险物之间保持相对安全的距离。
在一些实施方式中,情景模式被执行后,需要通过用户的反馈信息对其进行校正或者重新确定新的情景模式情景模式,具体的实现方法请参阅图7,图7为本实施例根据用户反馈重新确定。
如图7所示,步骤1400之后包括下述步骤:
S1610、获取用户针对当前执行的所述情景模式的反馈语音信息;通过安装在机器人内的语音采集装置,采集用户对当前情景模式的语音反馈信息。
S1620、识别所述反馈语音信息中表征用户针对当前执行情景模式的情绪类型;通过语音反馈信息中表征用户针对当前执行情景模式的情绪类型具体实现方法请参阅图8,图8为本实施例识别用户情绪类型的方法流程图;
如图8所示,步骤S1620具体包括:
S1621、将所述反馈语音信息转化为反馈文字信息;机器人内安装有语音识别芯片,机器人通过声音传感器获取到外界的声音信息后,将该声音信息发送到语音识别芯片中,将包括用反馈语音信息在内的外界声音转化为反馈文字信息。
S1622、识别所述反馈文字信息中的字义;机器人内安装有文字识别芯片,能够识别用户反馈文字信息,如用户反馈文字信息中有“好”、“我喜欢”或“继续呀”等表示用户喜悦和高兴的字样时,则确定该用户表示的字义为高兴,而用户反馈文字信息中有“闭嘴”、“不要再讲了”或“你滚开”等表示用户生气的字样时,则确定用户确定的字义为生气。
S1623、根据所述字义确定表征用户针对当前执行情景模式的情绪类型。确定用户的反馈文字信息的字义后,根据不同的字义与情绪类型之间的对应关系,确定用户的情绪类型。如表征心情好的字义对应的情绪类型为“高兴”和“喜欢”,而表征心情不好的字义对应的情绪类型为“懊恼”和“不喜欢”等。
S1630、根据所述用户的情绪类型确定继续执行当前情景模式或重新确定适用于当前环境类别信息和用户情绪类型的情景模式。确定了用户的情绪类型后,根据用户的情绪类型确定继续执行当前情景模式还是重新确定情景模式,如用户的情绪类型为“高兴”时则继续执行当前情景模式。若用户的情绪类型为“不喜欢”时,需要在已有的情景模式中选择适用于当前环境类别的其他情景模式进行执行,直至用户对某一情景模式表示出友好类型的情绪为止。
为解决上述技术问题本发明还提供一种机器人互动装置。请参阅图9,图9为机器人互动装置基本结构示意图。
一种机器人互动装置,装置包括:获取模块2100、比对确定模块2200、匹配模块2300和运行模块2400。获取模块用于通过传感装置获取用户所处环境的环境信息;比对确定模块用于将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息;匹配模块用于在预设环境类别信息库中匹配适用于所述环境类别信息的至少一种情景模式;运行模块用于执行所述情景模式中预设的动作方案。环境信息包括:图像信息和/或声音信息。
在一些实施方式中,机器人互动装置,还包括:第一截取子模块、第一比对确定模块和第一确定子模块。其中,第一截取子模块用于根据事物的颜色信息截取所述图像信息中事物的轮廓信息;第一比对确定模块用于将所述轮廓信息与所述环境类别识别数据库中预存储的轮廓识别标识符进行比对,根据所述轮廓信息与预存储的轮廓识别标识符的对应关系,识别出所述事物的名称信息;第一确定子模块用于根据所述图像信息中事物的名称信息确定表征所述用户所处环境的环境类别信息。
在一些实施方式中,机器人互动装置,还包括:第一群组子模块和第二确定子模块。其中,第一群组子模块用于将所述的环境信息中多个事物的名称信息作为一个场景信息进行群组化;第二确定子模块用于根据所述群组化后多个事物的名称信息确定表征所述用户所处环境的环境类别信息。
在一些实施方式中,机器人互动装置,还包括:第三确定子模块、第四确定子模块和第一匹配子模块。其中,第三确定子模块用于根据预设的用户颜色识别符与所述图像信息中颜色的对应关系,确定用户图像在所述图像信息中的具体位置;第四确定子模块用于根据图像信息中用户图像与所述事物之间的相对位置关系,确定用户行为的危险程度;第一匹配子模块用于匹配与所述危险程度相应的情景模式。
在一些实施方式中,机器人互动装置,还包括:第一转化子模块、第一识别子模块和第二匹配子模块。其中,第一转化子模块用于将所述声音信息转化为文字信息;第一识别子模块用于提取所述文字信息中表征所述环境信息的特征文字信息;第二匹配子模块用于匹配适用于所述调整文字信息相适应的环境类别信息。
在一些实施方式中,机器人互动装置,还包括:第二比对确定子模块用于将所述环境类别信息与所述情景模式中预设的多级类别标识进行比对,确定携带的多级类别标识中与所述环境类别信息具有对应关系的情景模式;所述多级类别标识为根据所述情景模式在应对不同环境类别时的使用优先级设计。
在一些实施方式中,机器人互动装置,还包括:第五确定子模块和第一运行子模块。第五确定子模块用于根据所述危险程度确定具有与所述危险程度相适应优先级的情景模式;第一运行子模块用于运行具有与所述危险程度相适应优先级的情景模式。
在一些实施方式中,机器人互动装置,还包括:第一获取子模块、第二识别子模块和第三比对子模块。其中,第一获取子模块用于获取用户针对当前执行的情景模式的反馈语音信息;第二识别子模块用于识别反馈语音信息中表征用户针对当前执行情景模式的情绪类型;
第三比对子模块用于根据用户的情绪类型确定继续执行当前情景模式或重新确定适用于当前环境类别信息和用户情绪类型的情景模式。
在一些实施方式中,机器人互动装置,还包括:第二转换子模块、第三识别子模块和第六确定子模块。其中,第二转换子模块用于将反馈语音信息转化为反馈文字信息;第三识别子模块用于识别反馈文字信息中的字义;第六确定子模块用于根据字义确定表征用户针对当前执行情景模式的情绪类型。
上述实施例中的机器人互动装置,通过采用传感装置检测用户所处环境的环境信息,并在分析该信息的基础上,确定适用于该环境的情景模式,在选定的情景模式下,执行情景模式中预设的动作方案,机器人能够为用户提供切合度较高的交互方式,且机器人能够根据不同的环境对应的情景切换不同的交互方式,使其与用户交流时变化不断,解决现有技术中用户体验差,使用频率低使用寿命短的问题。
为解决上述技术问题本实施例还提供一种机器人。
本实施例提供机器人的实施方式。具体请参阅图8,图8为机器人的结构框图。
请参阅图10,机器人包括:一个或多个处理器3110、存储器3120影像采集传感器3120和语音采集传感器3130,其中,影像采集传感器3120和语音采集传感器3130连接在处理器3110上。;一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于:
通过传感装置获取用户所处环境的环境信息;
将环境信息与预设的环境类别识别数据库进行比对,确定表征用户所处环境的环境类别信息;
在预设环境类别信息库中匹配适用于环境类别信息的至少一种情景模式;
执行情景模式中预设的动作方案。
上述实施例中的机器人,通过采用传感装置检测用户所处环境的环境信息,并在分析该信息的基础上,确定适用于该环境的情景模式,在选定的情景模式下,执行情景模式中预设的动作方案,机器人能够为用户提供切合度较高的交互方式,且机器人能够根据不同的环境对应的情景切换不同的交互方式,使其与用户交流时变化不断,解决现有技术中用户体验差,使用频率低使用寿命短的问题。
需要指出的是本实施列中,机器人的存储器内存储用于实现本实施例中机器人互动方法中的所有程序,处理器能够调用该存储器内的程序,执行上述机器人互动方法所列举的所有功能。由于机器人实现的功能在本实施例中的机器人互动方法进行了详述,在此不再进行赘述。

Claims (10)

1.一种机器人互动方法,其特征在于,包括下述步骤:
通过传感装置获取用户所处环境的环境信息;
将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息;
在预设环境类别信息库中匹配适用于所述环境类别信息的至少一种情景模式;
执行所述情景模式中预设的动作方案。
2.根据权利要求1所述的机器人互动方法,其特征在于,所述环境信息包括:图像信息和/或声音信息。
3.根据权利要求2所述的机器人互动方法,其特征在于,将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息包括:
根据事物的颜色信息截取所述图像信息中事物的轮廓信息;
将所述轮廓信息与所述环境类别识别数据库中预存储的轮廓识别标识符进行比对,根据所述轮廓信息与预存储的轮廓识别标识符的对应关系,识别出所述事物的名称信息;
根据所述图像信息中事物的名称信息确定表征所述用户所处环境的环境类别信息。
4.根据权利要求3所述的机器人互动方法,其特征在于,根据所述环境信息中事物的名称信息确定表征所述用户所处环境的环境类别信息包括:
将所述环境信息中多个事物的名称信息作为一个场景信息进行群组化;
根据所述群组化后多个事物的名称信息确定表征所述用户所处环境的环境类别信息。
5.根据权利要求3所述的机器人互动方法,其特征在于,所述将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息,步骤之后还包括:
根据预设的用户颜色识别符与所述图像信息中颜色的对应关系,确定用户图像在所述图像信息中的具体位置;
根据图像信息中用户图像与所述事物之间的相对位置关系,确定用户行为的危险程度;
匹配与所述危险程度相应的情景模式。
6.根据权利要求2所述的机器人互动方法,其特征在于,将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息包括:
将所述声音信息转化为文字信息;
提取所述文字信息中表征所述环境信息的特征文字信息;
匹配适用于所述调整文字信息相适应的环境类别信息。
7.根据权利要求5所述的机器人互动方法,其特征在于,在预设环境类别信息库中匹配适用于所述环境类别信息的至少一种情景模式包括:
将所述环境类别信息与所述情景模式中预设的多级类别标识进行比对,确定携带的多级类别标识中与所述环境类别信息具有对应关系的情景模式;
所述多级类别标识为根据所述情景模式在应对不同环境类别时的使用优先级设计。
8.根据权利要求7所述的机器人互动方法,其特征在于,所述根据图像信息中用户图像与所述事物之间的相对位置关系,确定用户行为的危险程度,步骤之后还包括:
根据所述危险程度确定具有与所述危险程度相适应优先级的情景模式;
运行具有与所述危险程度相适应优先级的情景模式。
9.一种机器人互动装置,其特征在于,所述装置包括:
获取模块,用于通过传感装置获取用户所处环境的环境信息;
比对确定模块,用于将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息;
匹配模块,用于在预设环境类别信息库中匹配适用于所述环境类别信息的至少一种情景模式;
运行模块,用于执行所述情景模式中预设的动作方案。
10.一种机器人,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:
通过传感装置获取用户所处环境的环境信息;
将所述环境信息与预设的环境类别识别数据库进行比对,确定表征所述用户所处环境的环境类别信息;
在预设环境类别信息库中匹配适用于所述环境类别信息的至少一种情景模式;
执行所述情景模式中预设的动作方案。
CN201611097707.4A 2016-12-02 2016-12-02 机器人互动方法、装置及机器人 Active CN106773820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611097707.4A CN106773820B (zh) 2016-12-02 2016-12-02 机器人互动方法、装置及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611097707.4A CN106773820B (zh) 2016-12-02 2016-12-02 机器人互动方法、装置及机器人

Publications (2)

Publication Number Publication Date
CN106773820A true CN106773820A (zh) 2017-05-31
CN106773820B CN106773820B (zh) 2019-07-19

Family

ID=58882803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611097707.4A Active CN106773820B (zh) 2016-12-02 2016-12-02 机器人互动方法、装置及机器人

Country Status (1)

Country Link
CN (1) CN106773820B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257596A (zh) * 2017-12-22 2018-07-06 北京小蓦机器人技术有限公司 一种用于提供目标呈现信息的方法与设备
CN108406776A (zh) * 2018-05-09 2018-08-17 科沃斯商用机器人有限公司 安全交互方法、安全交互装置及服务机器人
CN108492452A (zh) * 2018-03-20 2018-09-04 郴州多特科技发展有限公司 一种机器人贩卖系统及其对应的操作方法
CN108960200A (zh) * 2018-07-31 2018-12-07 北京微播视界科技有限公司 一种基于智能交互的数据处理方法及电子设备
CN109509466A (zh) * 2018-10-29 2019-03-22 Oppo广东移动通信有限公司 数据处理方法、终端及计算机存储介质
CN109760043A (zh) * 2018-12-05 2019-05-17 北京百度网讯科技有限公司 移动机器人控制方法、装置、设备及存储介质
CN109858009A (zh) * 2017-11-30 2019-06-07 财团法人资讯工业策进会 根据文本产生控制指令的装置、方法及其电脑存储介质
CN110502977A (zh) * 2019-07-10 2019-11-26 广东国地规划科技股份有限公司 一种建筑物变化分类检测方法、系统、装置及存储介质
CN111429907A (zh) * 2020-03-25 2020-07-17 北京百度网讯科技有限公司 语音服务模式切换方法、装置、设备及存储介质
CN112200292A (zh) * 2020-09-30 2021-01-08 江苏迪迪隆机器人科技发展有限公司 一种基于户外巡游机器人的互动信息处理方法和装置
CN113110176A (zh) * 2021-04-15 2021-07-13 北京云迹科技有限公司 基于机器人的运行状态控制方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544496A (zh) * 2012-07-12 2014-01-29 同济大学 基于空间与时间信息融合的机器人场景识别方法
CN104156726A (zh) * 2014-08-19 2014-11-19 大连理工大学 一种基于几何形状特征的工件识别方法及装置
CN104754311A (zh) * 2015-04-28 2015-07-01 刘凌霞 计算机视觉对物体进行识别的装置及其系统
US20160193732A1 (en) * 2013-03-15 2016-07-07 JIBO, Inc. Engaging in human-based social interaction with members of a group using a persistent companion device
CN105843118A (zh) * 2016-03-25 2016-08-10 北京光年无限科技有限公司 一种机器人交互方法及机器人系统
CN105930794A (zh) * 2016-04-20 2016-09-07 东北大学 一种基于云计算的室内场景识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544496A (zh) * 2012-07-12 2014-01-29 同济大学 基于空间与时间信息融合的机器人场景识别方法
US20160193732A1 (en) * 2013-03-15 2016-07-07 JIBO, Inc. Engaging in human-based social interaction with members of a group using a persistent companion device
CN104156726A (zh) * 2014-08-19 2014-11-19 大连理工大学 一种基于几何形状特征的工件识别方法及装置
CN104754311A (zh) * 2015-04-28 2015-07-01 刘凌霞 计算机视觉对物体进行识别的装置及其系统
CN105843118A (zh) * 2016-03-25 2016-08-10 北京光年无限科技有限公司 一种机器人交互方法及机器人系统
CN105930794A (zh) * 2016-04-20 2016-09-07 东北大学 一种基于云计算的室内场景识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RYOSUKE KOJIMA 等: "Audio-visual scene understanding utilizing text information for a cooking support robot", 《INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
刘小峰 等: "大学生创新技能培养的NAO 机器人交互平台", 《实验室研究与探索》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858009A (zh) * 2017-11-30 2019-06-07 财团法人资讯工业策进会 根据文本产生控制指令的装置、方法及其电脑存储介质
CN108257596A (zh) * 2017-12-22 2018-07-06 北京小蓦机器人技术有限公司 一种用于提供目标呈现信息的方法与设备
CN108492452A (zh) * 2018-03-20 2018-09-04 郴州多特科技发展有限公司 一种机器人贩卖系统及其对应的操作方法
CN108406776A (zh) * 2018-05-09 2018-08-17 科沃斯商用机器人有限公司 安全交互方法、安全交互装置及服务机器人
CN108406776B (zh) * 2018-05-09 2021-06-25 科沃斯商用机器人有限公司 安全交互方法、安全交互装置及服务机器人
CN108960200A (zh) * 2018-07-31 2018-12-07 北京微播视界科技有限公司 一种基于智能交互的数据处理方法及电子设备
CN109509466A (zh) * 2018-10-29 2019-03-22 Oppo广东移动通信有限公司 数据处理方法、终端及计算机存储介质
CN109760043A (zh) * 2018-12-05 2019-05-17 北京百度网讯科技有限公司 移动机器人控制方法、装置、设备及存储介质
CN109760043B (zh) * 2018-12-05 2021-07-20 北京百度网讯科技有限公司 移动机器人控制方法、装置、设备及存储介质
CN110502977A (zh) * 2019-07-10 2019-11-26 广东国地规划科技股份有限公司 一种建筑物变化分类检测方法、系统、装置及存储介质
CN110502977B (zh) * 2019-07-10 2022-03-15 广东国地规划科技股份有限公司 一种建筑物变化分类检测方法、系统、装置及存储介质
CN111429907A (zh) * 2020-03-25 2020-07-17 北京百度网讯科技有限公司 语音服务模式切换方法、装置、设备及存储介质
CN111429907B (zh) * 2020-03-25 2023-10-20 北京百度网讯科技有限公司 语音服务模式切换方法、装置、设备及存储介质
CN112200292A (zh) * 2020-09-30 2021-01-08 江苏迪迪隆机器人科技发展有限公司 一种基于户外巡游机器人的互动信息处理方法和装置
CN113110176A (zh) * 2021-04-15 2021-07-13 北京云迹科技有限公司 基于机器人的运行状态控制方法及相关设备

Also Published As

Publication number Publication date
CN106773820B (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN106773820B (zh) 机器人互动方法、装置及机器人
US10430707B2 (en) Information processing device
Khan et al. Hand gesture recognition: a literature review
CN105334743B (zh) 一种基于情感识别的智能家居控制方法及其系统
CN105739702B (zh) 用于自然人机交互的多姿态指尖跟踪方法
CN109542233B (zh) 一种基于动态手势和人脸识别的灯具控制系统
US9652561B2 (en) Method, system and program for processing input data to facilitate selection of a corresponding tag candidate
CN106294774A (zh) 基于对话服务的用户个性化数据处理方法及装置
US20130108994A1 (en) Adaptive Multimodal Communication Assist System
CN102622085A (zh) 多维感官人机交互系统及交互方法
CN104537341B (zh) 人脸图片信息获取方法和装置
CN109191939B (zh) 一种基于智能设备的三维投影交互方法及智能设备
CN103353935A (zh) 一种用于智能家居系统的3d动态手势识别方法
CN109191940B (zh) 一种基于智能设备的交互方法及智能设备
CN102831404A (zh) 手势检测方法及系统
CN109005632A (zh) 一种辅助学习方法及智能台灯
CN104933827A (zh) 一种基于旋转摄像头的报警方法及终端
CN106960181A (zh) 一种基于rgbd数据的行人属性识别方法
CN104361311B (zh) 多模态在线增量式来访识别系统及其识别方法
CN102930270A (zh) 基于肤色检测与背景消除的手部识别方法及系统
CN107995982A (zh) 一种目标识别方法、装置和智能终端
CN108388553A (zh) 对话消除歧义的方法、电子设备及面向厨房的对话系统
CN101299234B (zh) 一种基于嵌入式隐马尔可夫模型的人眼状态识别方法
CN108073851A (zh) 一种抓取手势识别的方法、装置及电子设备
Balasuriya et al. Learning platform for visually impaired children through artificial intelligence and computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220804

Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.

TR01 Transfer of patent right