CN110569726A - 一种服务机器人的交互方法及系统 - Google Patents

一种服务机器人的交互方法及系统 Download PDF

Info

Publication number
CN110569726A
CN110569726A CN201910719265.XA CN201910719265A CN110569726A CN 110569726 A CN110569726 A CN 110569726A CN 201910719265 A CN201910719265 A CN 201910719265A CN 110569726 A CN110569726 A CN 110569726A
Authority
CN
China
Prior art keywords
image
interactive
user
service robot
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910719265.XA
Other languages
English (en)
Inventor
支涛
王洪贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunji Technology Co Ltd
Original Assignee
Beijing Yunji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunji Technology Co Ltd filed Critical Beijing Yunji Technology Co Ltd
Priority to CN201910719265.XA priority Critical patent/CN110569726A/zh
Publication of CN110569726A publication Critical patent/CN110569726A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种服务机器人的交互方法及系统，涉及智能机器人技术领域。该方法包括获取人脸图像的识别特征；发送人脸图像的识别特征至服务器；接收并显示所述服务器返回的与所述人脸图像的识别特征相匹配的特征图像，并播放互动语音与用户进行互动；当与用户进行互动时，根据接收到的用户的语音内容播放互动语音并显示与所述语音内容相匹配的互动图像。该方法通过语音和图像与用户进行互动，解决了现有的服务机器人无法与用户进行图文互动，进而无法扩大服务范围和提高服务质量的问题。

Description

一种服务机器人的交互方法及系统
技术领域
本申请涉及智能机器人技术领域，具体而言，涉及一种服务机器人的交互方法及系统。
背景技术
现有的服务机器人常常用于银行、商场酒店等场合，用于提供与场合相应的服务。但是，现有的服务机器人的服务内容比较单一，无法与用户通过图像进行互动，互动形式较为单一的问题。
发明内容
本申请实施例的目的在于提供一种服务机器人的交互方法及系统，解决了现有的服务机器人无法与用户通过图像进行互动，互动形式较为单一的问题。
本申请实施例提供了一种服务机器人的交互方法，该方法包括：
获取人脸图像的识别特征；
发送人脸图像的识别特征至服务器；
接收并显示所述服务器返回的与所述人脸图像相匹配的特征图像，与用户进行互动；
当与用户进行互动时，显示互动图像。
在上述实现过程中，根据人脸图像的识别特征接收到与其相匹配的互动图像进行显示，如客户是一个黑人，可以在显示屏上显示一个黑人图像，与客户进行互动；在互动过程中，通过特征图像和互动图像与用户进行互动，解决了现有的服务机器人无法与用户通过图像进行互动，互动形式较为单一的问题。
进一步地，所述与用户进行互动，包括：
当显示特征图像时，播放互动语音；
根据接收到的用户的语音内容播放互动语音并显示与所述语音内容相匹配的互动图像。
在上述实现过程中，根据接收到的用户的语音内容播放互动语音的同时，也可以显示与接收到的用户的语音内容相匹配的互动图像，通过语音和图像与用户进行双重互动，在现有服务的基础上增加了新的服务内容，扩大了服务范围，提高了服务质量，解决了现有的服务机器人无法与用户进行图文互动，进而无法扩大服务范围和提高服务质量的问题。
进一步地，所述识别特征包括肤色、性别、年龄和是否戴眼镜中的一种或多种；所述当显示互动图像时，播放互动语音，包括：
接收所述服务器返回的与所述人脸图像的识别特征相匹配的特征图像；
根据所述特征图像和识别特征播放与所述特征图像相匹配的互动语音。
在上述实现过程中，根据用户的人脸图像的识别特征得到对应的特征图像，如用户是黑人，该识别特征即为肤色，该特征图像可以为一个黑人形象，也可以是一个黑人形象的表情包或者卡通图像，并播放语音与该用户进行互动，通过特征图像和匹配的语音共同作用与用户进行互动，为用户提供互动服务，提升用户体验。
进一步地，所述互动语音的语音模式包括至少一种语种模式和至少一种语气模式，所述根据所述互动图像和识别特征播放与所述互动图像相匹配的互动语音，包括：
根据所述识别特征获取对应的语种模式和语气模式；
根据所述互动图像、所述语种模式和语气模式播放互动语音。
在上述实现过程中，根据识别特征获取对应的语种模式和语气模式，比如用户是黑人，则语种模式为英语，如果用户是小孩，则语气模式为儿童模式，并以该种与识别特征相匹配的互动语音与用户互动，可以根据不同的用户提供适应于用户的互动图像和互动语音，为用户提供周到的互动服务，提高服务范围和服务质量。
进一步地，当与用户进行语音互动时，根据用户的语音内容播放互动语音和显示与所述语音内容相匹配的互动图像，包括：
接收用户的语音内容；
对所述语音内容进行解析，获取所述语音内容中的关键字；
将关键字发送至服务器；
接收所述服务器返回的与所述关键字相匹配的互动图像，并进行显示。
在上述实现过程中，在与用户进行互动时，接收到用户的语音内容，提取其中的关键字，根据关键字获得与关键字相匹配的图像并进行显示，从而能够及时响应用户的话题或内容，提升用户的互动体验。
进一步地，在发送人脸图像的识别特征至服务器的步骤之前，所述方法还包括：
发送人脸图像至所述服务器；
接收所述服务器返回的与人脸图像相对应的用户信息；
根据所述用户信息播放对应的问候语音并显示对应的问候图像。
在上述实现过程中，将摄像头捕捉到的人脸图像与服务器中存储的人脸图像进行比对，从而确认人脸图像对应的用户的身份，如用户可以为领导或客户，根据用户的身份，对用户进行主动问候和打招呼。
本申请实施例还提供一种服务机器人的交互系统，该系统包括：
识别特征获取模块，用于获取人脸图像的识别特征；
识别特征发送模块，用于发送所述人脸图像的识别特征至服务器；
第一互动模块，用于接收并显示所述服务器返回的与所述人脸图像相匹配的特征图像，与用户进行互动；
第二互动模块，用于当与用户进行互动时，显示互动图像。
在上述实现过程中，通过第一互动模块，显示与用户的人脸图像对应的特征图像与用户进行互动；通过第二互动模块显示互动图像，通过特征图像和互动图像与用户进行互动。
进一步地，所述第二互动模块包括：
语音接收模块，用于接收用户的语音内容；
关键字获取模块，用于对所述语音内容进行解析，获取所述语音内容中的关键字；
关键字发送模块，用于将关键字发送至服务器；
互动显示模块，用于接收所述服务器返回的与所述关键字相匹配的互动图像，并进行显示。
在上述实现过程中，通过语音接收模块接收用户的语音内容，再利用关键字获取模块获取用户语音中的关键字，并根据关键字匹配对应的互动图像，增强对用户的响应和互动。
本申请实施例还提供一种用于服务机器人的交互方法，该方法应用于服务器，包括：
接收由服务机器人发送的人脸图像的识别特征；
根据所述人脸图像的识别特征获取图像库中与所述人脸图像的识别特征相匹配的互动图像；
发送与所述识别特征相匹配的互动图像至所述服务机器人。
在上述实现过程中，服务器中设置有图像库，可以根据识别特征获取图像库中具有相同或相应识别特征的互动图像，再将该互动图像发送给服务机器人，以便服务机器人利用该互动图像与用户进行互动。
进一步地，该方法还包括：
接收所述服务机器人发送的语音内容中的关键字；
根据所述关键字获取图像库中与所述关键字相匹配的互动图像，并发送至所述服务机器人。
在上述实现过程中，服务器根据关键字获取对应的互动图像，该互动图像可以与用户的当前语音内容相呼应和匹配，增强服务机器人与用户的配合度，有利于提高服务质量和扩大服务范围。
本申请实施例还提供另一种服务机器人的交互方法，该方法包括：
获取人脸图像；
发送人脸图像至服务器；
接收并显示所述服务器返回的与所述人脸图像相匹配的特征图像，与用户进行互动；
当与用户进行互动时，显示互动图像。
在上述实现过程中，服务机器人获取人脸图像，将人脸图像直接发送至服务器，在服务器上进行特征识别和图像匹配，可以增加处理效率，能够与用户及时互动。
本申请实施例还提供另一种用于服务机器人的交互方法，应用于服务器，该方法包括：
接收由服务机器人发送的人脸图像；
对所述人脸图像进行特征识别，获取所述人脸图像对应的识别特征；
根据所述识别特征获取与人脸图像相匹配的特征图像；
发送所述特征图像至所述服务机器人。
在上述实现过程中，通过服务器对人脸图像进行处理，并通过图像匹配得到特征图像，以便服务机器人能够通过特征图像与用户进行互动。
进一步地，该方法还包括：
接收所述服务机器人发送的语音内容中的关键字；
根据所述关键字获取图像库中与所述关键字相匹配的互动图像，并发送至所述服务机器人。
本申请实施例还提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行上述第一个实施例中任一项的服务机器人的交互方法。
本申请实施例还提供一种可读存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述第一个实施例中任一项所述的服务机器人的交互方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种服务机器人的交互方法的流程图；
图2为本申请实施例提供的一种服务机器人的交互方法的具体流程图；
图3为本申请实施例提供的获取人脸图像的识别特征的流程图；
图4为本申请实施例提供的执行步骤S400的具体流程图；
图5为本申请实施例提供的执行步骤S420的具体流程图；
图6为本申请实施例提供的执行步骤S500的具体流程图；
图7为本申请实施例提供的在执行步骤S300之前的步骤的具体流程图；
图8为本申请实施例提供的一种服务机器人的交互系统的结构框图；
图9为本申请实施例提供的一种服务机器人的交互系统的整体结构框图；
图10为本申请实施例提供的一种用于服务机器人的交互方法的流程图；
图11为本申请实施例提供的一种用于服务机器人的交互方法的获取互动图像的具体流程图；
图12为本申请实施例提供的一种用于服务机器人的交互方法的获取用户信息的具体流程图；
图13为本申请实施例提供的另一种服务机器人的交互方法的流程图；
图14为本申请实施例提供的执行步骤S740的流程图；
图15为本申请实施例提供的另外一种用于服务机器人的交互方法的流程图；
图16为本申请实施例提供的另外一种用于服务机器人的交互方法的获取互动图像的具体流程图。
图标：
100-识别特征获取模块；101-人脸图像获取模块；102-识别特征获取子模块；200-识别特征发送模块；300-第一互动模块；310-特征图像接收模块；320-互动语音播放模块；321-语音形式获取模块；322-互动语音播放子模块；400-第二互动模块；401-语音接收模块；402-关键字获取模块；403-关键字发送模块；404-互动显示模块。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
如图1所示，为本申请实施例提供的一种服务机器人的交互方法的流程图。该方法具体包括以下步骤：
步骤S110：获取人脸图像的识别特征；
步骤S120：发送人脸图像的识别特征至服务器；
步骤S130：接收并显示所述服务器返回的与所述人脸图像的识别特征相匹配的特征图像，与用户进行互动；
步骤S140：当与用户进行互动时，显示互动图像。
在上述实现过程中，服务机器人通过识别用户的识别特征，将匹配的特征图像显示在显示屏上与用户进行互动，在互动进行中，根据互动内容显示与互动相关的互动图像。通过特征图像和互动图像与用户进行互动，解决了现有的服务机器人无法与用户通过图像进行互动，互动形式较为单一的问题。
实施例2
请参看图2，图2为本申请实施例提供的一种服务机器人的交互方法的具体流程图。在实施例1的基础上，该方法进一步具体包括以下步骤：
步骤S200：获取人脸图像的识别特征；
示例的，如图3所示，为本申请实施例提供的获取人脸图像的识别特征的流程图。获取人脸图像的识别特征的步骤可以具体包括：
步骤S201：通过摄像头捕捉人脸并获取人脸图像；
步骤S202：将人脸图像进行特征识别，获取人脸图像的识别特征。
示例的，服务机器人设置有摄像头，当用户进入到摄像头捕捉区域时，通过摄像头捕捉到人脸图像，将获取的人脸图像进行特征识别，得到该人脸图像的识别特征；其中，识别特征至少可以包括肤色、性别、年龄和是否戴眼镜等，通过肤色区分黄种人、黑种人和白种人，性别区分男女，通过年龄区分儿童、成年人和老人；通过解析人脸图像获取上述识别特征，至于具体的人脸特征图像识别算法如神经网络算法等属于现有的常用算法，在此不再赘述。
步骤S300：发送人脸图像的识别特征至服务器；
示例的，在服务器端设置有图像库，根据识别特征在图像库中找到与识别特征相匹配的特征图像并发送给服务机器人。
步骤S400：接收并显示所述服务器返回的与所述人脸图像的识别特征相匹配的特征图像，并播放互动语音与用户进行互动；
示例的，如图4所示，为本申请实施例提供的执行步骤S400的具体流程图。该步骤具体可以包括：
步骤S410：接收服务器返回的与人脸图像的识别特征相匹配的特征图像；
示例的，如果识别特征是黑人，则特征图像可以是一个黑人形象，也可以是一个黑人卡通图像或黑人表情包图像；如果识别特征是年龄，示例的，用户是一个小孩，则特征图像可以是一个儿童形象或卡通图像。
步骤S420：根据特征图像和识别特征播放与特征图像相匹配的互动语音。
在上述实现过程中，互动语音的语音模式包括至少一种语种模式和至少一种语气模式，如图5所示，为本申请实施例提供的执行步骤S420的具体流程图。执行上述步骤具体可以包括：
步骤S421：根据识别特征获取对应的语种模式和语气模式；
语种模式包括汉语、英语等多种语种，语气模式可以包括儿童模式、一般模式和敬语模式等多种语气，例如，识别特征是肤色，用户是一个黑人，则语种可以是英语，语气可以是一般模式与用户进行互动；如果识别特征是年龄，用户是一个小孩，则语气模式可以是儿童模式。
步骤S422：根据特征图像、语种模式和语气模式播放互动语音。
示例的，可以通过特征图像、语种模式和语气模式确定互动语音的内容、语言和语气，例如特征图像是一个戴眼镜的卡通图像，说明当前用户戴有眼镜，可以播放当前用户戴眼镜很酷或很帅之类的语音打开话题，与当前用户进行互动。
步骤S500：当与用户进行互动时，根据接收到的用户的语音内容播放互动语音并显示与所述语音内容相匹配的互动图像。
示例的，如图6所示，为本申请实施例提供的执行步骤S500的具体流程图。该步骤具体可以包括：
步骤S501：接收用户的语音内容；
步骤S502：对语音内容进行解析，获取所述语音内容中的关键字；
步骤S503：将关键字发送至服务器；
步骤S504：接收所述服务器返回的与所述关键字相匹配的互动图像，并进行显示。
在上述实现过程中，当与当前用户开始进行语音互动时，接收到用户的语音内容，如用户的语音内容是对上述特征图像的评论，则服务机器人对接收到的用户的语音内容进行解析，获取该语音内容中的关键字，再将该关键字发送给服务器，而服务器则根据该关键字找到相匹配的互动图像，再发送给服务机器人，并在服务机器人的显示屏上进行显示。
具体地，关键字可以包括但不限于人名、地名、天气、文学著作、电影以及建筑等，互动图像可以包括但不限于卡通图像、带有趣味性文字的表情包图像、场景图像等与关键字相关的文字图片表情。因此，接收到当前用户的语音内容后，根据该语音内容播放回复语音的同时显示与用户语音内容相关的互动图像，通过图文的形式与用户进行互动，扩展了服务机器人的服务范围，进一步提升用户的体验，从而提高了服务质量，解决了现有的服务机器人无法与用户进行图文互动，进而无法扩大服务范围和提高服务质量的问题。
示例的，如图7所示，为本申请实施例提供的在执行步骤S300之前的步骤的具体流程图。在步骤S300中发送人脸图像的识别特征至服务器之前，该方法还包括：
步骤S101：发送人脸图像至服务器；
步骤S102：接收服务器返回的与人脸图像相对应的用户信息；
步骤S103：根据用户信息播放对应的问候语音并显示对应的问候图像。
在上述实现过程中，当有用户进入摄像头的捕捉区域内时，通过摄像头拍摄用户的人脸图像，将人脸图像发送至服务器，为了准确识别用户的身份信息，可以拍摄多张人脸图像，提高用户识别的准确率。
服务器存储有用户信息，用户信息包括姓名、人脸图像和身份信息等，如用户是领导还是顾客的身份信息，服务器对接收到的人脸图像进行识别，确定用户的身份，例如当前用户是熟客或领导，服务机器人将主动通过问候语音和问候图像问候当前用户，问候图像可以为风景照等与问候相关的图像，例如当前用户是女士，可以显示鲜花的照片。再进一步根据当前用户匹配特征图像开始互动，再进一步随着用户的语音内容切换互动图像，实现了与用户的图文互动。
另外，当摄像头捕捉到的人脸图像为陌生用户时，即经过服务器进行识别，没有找到匹配的用户信息，则服务器可以向服务机器人发送用户为陌生用户的提示信息；服务机器人接收到该信息后可以在显示屏上显示用户自助录入的提示信息和录入端口，也可以显示用户自助录入的二维码，用户可以通过扫描二维码进行自助录入。
用户自助录入时，可以根据提示录入眨眼、张嘴和抬头等多张图像，便于提高识别的准确率；此外，也可以在服务器端通过工作人员录入用户信息。当存储有用户的用户信息时，服务机器人将播放问候语音并显示问候图像，主动向用户问候并打招呼。
实施例3
如图8所示，为本申请实施例提供的一种服务机器人的交互系统的结构框图；该系统包括：
识别特征获取模块100，用于获取人脸图像的识别特征；
识别特征发送模块200，用于发送所述人脸图像的识别特征至服务器；
第一互动模块300，用于接收并显示所述服务器返回的与所述人脸图像相匹配的特征图像，并播放互动语音与用户进行互动；
第二互动模块400，用于当与用户进行互动时，根据接收到的用户的语音内容播放互动语音并显示与语音内容相匹配的互动图像。
示例的，如图9所示，为本申请实施例提供的一种服务机器人的交互系统的整体结构框图。其中，识别特征获取模块100具体可以包括：
人脸图像获取模块101，用于通过摄像头捕捉人脸并获取人脸图像；
识别特征获取子模块102，用于将人脸图像进行特征识别，获取人脸图像的识别特征。
示例的，第一互动模块300具体可以包括：
特征图像接收模块310，用于接收所述服务器返回的与所述人脸图像的识别特征相匹配的特征图像；
互动语音播放模块320，用于根据所述特征图像和识别特征播放与所述特征图像相匹配的互动语音。
示例的，互动语音播放模块320具体可以包括：
语音形式获取模块321，用于根据所述识别特征获取对应的语种模式和语气模式；
互动语音播放子模块322，用于根据所述特征图像、所述语种模式和语气模式播放互动语音。
示例的，第二互动模块400具体可以包括：
语音接收模块401，用于接收用户的语音内容；
关键字获取模块402，用于对所述语音内容进行解析，获取所述语音内容中的关键字；
关键字发送模块403，用于将关键字发送至服务器；
互动显示模块404，用于接收所述服务器返回的与所述关键字相匹配的互动图像，并进行显示。
实施例4
本申请实施例还提供一种用于服务机器人的交互方法，如图10所示，该方法可以应用于服务器，与实施例2中的服务机器人相对应，该方法具体包括以下步骤：
步骤S610：接收由服务机器人发送的人脸图像的识别特征；
步骤S620：根据人脸图像的识别特征获取图像库中与所述人脸图像的识别特征相匹配的互动图像；
步骤S630：发送与所述识别特征相匹配的互动图像至所述服务机器人。
在上述实现过程中，服务器根据人脸图像的识别特征查找图像库，获取匹配的互动图像。
示例的，如图11所示，该方法还包括：
步骤S640：接收所述服务机器人发送的语音内容中的关键字；
步骤S650：根据所述关键字获取图像库中与所述关键字相匹配的互动图像，并发送至所述服务机器人。
示例的，如图12所示，该方法还包括：
步骤S660：接收服务机器人发送的人脸图像；
步骤S670：根据人脸图像获取与人脸图像相对应的用户信息；
步骤S680：将与人脸图像相对应的用户信息发动给服务机器人。
利用服务器辅助服务机器人实现其互动功能的其他处理，与实施例1中服务器的功能相同，在此不再赘述。
实施例5
本申请实施例还提供另一种服务机器人的交互方法，如图13所示，为另一种服务机器人的交互方法的流程图。该方法与实施例2中的服务机器人的交互方法的区别在于识别特征的获取是通过服务器获取的，该方法可以包括以下步骤：
步骤S710：获取人脸图像；
步骤S720：发送人脸图像至服务器；
步骤S730：接收并显示所述服务器返回的与所述人脸图像相匹配的特征图像，并播放互动语音与用户进行互动；
步骤S740：当与用户进行互动时，根据接收到的用户的语音内容播放互动语音并显示与所述语音内容相匹配的互动图像。
示例的，如图14所示，为本申请实施例提供的执行步骤S740的流程图。步骤S740具体可以包括：
步骤S741：接收用户的语音内容；
步骤S742：对所述语音内容进行解析，获取所述语音内容中的关键字；
步骤S743：将关键字发送至服务器；
步骤S744：接收所述服务器返回的与所述关键字相匹配的互动图像，并进行显示。
利用服务器辅助服务机器人实现其互动功能的其他处理，与实施例1中服务器的功能相同，在此不再赘述。
此外，作为另一种实施方式，可以直接将语音内容发送给服务器，通过服务器对语音内容进行解析，获得关键字，再通过服务器匹配得到互动图像，最后将互动图像发送给服务机器人。
实施例6
本申请实施例还提供另外一种用于服务机器人的交互方法，该方法应用于服务器，如图15所示，为本申请实施例提供的另外一种用于服务机器人的交互方法的流程图。与实施例5中的服务机器人的方法相对应，该方法可以包括：
步骤S810：接收由服务机器人发送的人脸图像；
步骤S820：对所述人脸图像进行特征识别，获取所述人脸图像对应的识别特征；
步骤S830：根据所述识别特征获取与人脸图像相匹配的特征图像；
步骤S840：发送所述特征图像至所述服务机器人。
示例的，如图16所示，该方法还包括：
步骤S850：接收所述服务机器人发送的语音内容中的关键字；
步骤S860：根据所述关键字获取图像库中与所述关键字相匹配的互动图像，并发送至所述服务机器人。
此外，关键字也可以在服务器端获取，获取过程与在服务机器人端的获取方法相同，在此不再赘述。
实施例7
本申请实施例还提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行上述实施例中任一项的服务机器人的交互方法。
实施例8
本申请实施例还提供一种可读存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述实施例中任一项所述的服务机器人的交互方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (16)

1.一种服务机器人的交互方法，其特征在于，所述方法包括：
获取人脸图像的识别特征；
发送人脸图像的识别特征至服务器；
接收并显示所述服务器返回的与所述人脸图像的识别特征相匹配的特征图像，与用户进行互动；
当与用户进行互动时，显示互动图像。
2.根据权利要求1所述的服务机器人的交互方法，其特征在于，所述与用户进行互动，包括：
当显示特征图像时，播放互动语音；
根据接收到的用户的语音内容播放互动语音并显示与所述语音内容相匹配的互动图像。
3.根据权利要求2所述的服务机器人的交互方法，其特征在于，所述识别特征包括肤色、性别、年龄和是否戴眼镜中的一种或多种；所述当显示互动图像时，播放互动语音，包括：
接收所述服务器返回的与所述人脸图像的识别特征相匹配的特征图像；
根据所述特征图像和识别特征播放与所述特征图像相匹配的互动语音。
4.根据权利要求3所述的服务机器人的交互方法，其特征在于，所述互动语音的语音模式包括至少一种语种模式和至少一种语气模式，所述根据所述特征图像和识别特征播放与所述互动图像相匹配的互动语音，包括：
根据所述识别特征获取对应的语种模式和语气模式；
根据所述特征图像、所述语种模式和语气模式播放互动语音。
5.根据权利要求2所述的服务机器人的交互方法，其特征在于，所述当与用户进行互动时，根据用户的语音内容播放互动语音和显示与所述语音内容相匹配的互动图像，包括：
接收用户的语音内容；
对所述语音内容进行解析，获取所述语音内容中的关键字；
将关键字发送至服务器；
接收所述服务器返回的与所述关键字相匹配的互动图像，并进行显示。
6.根据权利要求1所述的服务机器人的交互方法，其特征在于，在发送人脸图像的识别特征至服务器的步骤之前，所述方法还包括：
发送人脸图像至所述服务器；
接收所述服务器返回的与人脸图像相对应的用户信息；
根据所述用户信息播放对应的问候语音并显示对应的问候图像。
7.一种服务机器人的交互系统，其特征在于，所述系统包括：
识别特征获取模块，用于获取人脸图像的识别特征；
识别特征发送模块，用于发送所述人脸图像的识别特征至服务器；
第一互动模块，用于接收并显示所述服务器返回的与所述人脸图像相匹配的特征图像，与用户进行互动；
第二互动模块，用于当与用户进行互动时，显示互动图像。
8.根据权利要求7所述的服务机器人的交互系统，其特征在于，所述第二互动模块包括：
语音接收模块，用于接收用户的语音内容；
关键字获取模块，用于对所述语音内容进行解析，获取所述语音内容中的关键字；
关键字发送模块，用于将关键字发送至服务器；
互动显示模块，用于接收所述服务器返回的与所述关键字相匹配的互动图像，并进行显示。
9.一种用于服务机器人的交互方法，应用于服务器，其特征在于，所述方法包括：
接收由服务机器人发送的人脸图像的识别特征；
根据所述人脸图像的识别特征获取图像库中与所述人脸图像的识别特征相匹配的互动图像；
发送与所述识别特征相匹配的互动图像至所述服务机器人。
10.根据权利要求9所述的用于服务机器人的交互方法，其特征在于，所述方法还包括：
接收所述服务机器人发送的语音内容中的关键字；
根据所述关键字获取图像库中与所述关键字相匹配的互动图像，并发送至所述服务机器人。
11.一种服务机器人的交互方法，其特征在于，所述方法包括：
获取人脸图像；
发送人脸图像至服务器；
接收并显示所述服务器返回的与所述人脸图像相匹配的特征图像，与用户进行互动；
当与用户进行互动时，显示互动图像。
12.根据权利要求11所述的用于服务机器人的交互方法，其特征在于，所述与用户进行互动，包括：
当显示特征图像时，播放互动语音；
根据接收到的用户的语音内容播放互动语音并显示与所述语音内容相匹配的互动图像。
13.一种用于服务机器人的交互方法，应用于服务器，其特征在于，所述方法包括：
接收由服务机器人发送的人脸图像；
对所述人脸图像进行特征识别，获取所述人脸图像对应的识别特征；
根据所述识别特征获取与人脸图像相匹配的特征图像；
发送所述特征图像至所述服务机器人。
14.根据权利要求13所述的用于服务机器人的交互方法，其特征在于，所述方法还包括：
接收所述服务机器人发送的语音内容中的关键字；
根据所述关键字获取图像库中与所述关键字相匹配的互动图像，并发送至所述服务机器人。
15.一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行权利要求1-6任一项所述的服务机器人的交互方法。
16.一种可读存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1-6任一项所述的服务机器人的交互方法。
CN201910719265.XA 2019-08-05 2019-08-05 一种服务机器人的交互方法及系统 Pending CN110569726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910719265.XA CN110569726A (zh) 2019-08-05 2019-08-05 一种服务机器人的交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910719265.XA CN110569726A (zh) 2019-08-05 2019-08-05 一种服务机器人的交互方法及系统

Publications (1)

Publication Number Publication Date
CN110569726A true CN110569726A (zh) 2019-12-13

Family

ID=68774573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910719265.XA Pending CN110569726A (zh) 2019-08-05 2019-08-05 一种服务机器人的交互方法及系统

Country Status (1)

Country Link
CN (1) CN110569726A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327772A (zh) * 2020-02-25 2020-06-23 广州腾讯科技有限公司 进行自动语音应答处理的方法、装置、设备及存储介质
CN112297019A (zh) * 2020-10-12 2021-02-02 杭州横竖科技有限公司 泛在问询机器人及其问询方法
CN114227702A (zh) * 2021-12-10 2022-03-25 北京云迹科技股份有限公司 一种基于机器人的会议智能指引方法、装置和机器人

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104505091A (zh) * 2014-12-26 2015-04-08 湖南华凯文化创意股份有限公司 人机语音交互方法及系统
CN105126349A (zh) * 2015-08-26 2015-12-09 江苏木盟智能科技有限公司 智能互动人偶和系统
CN108564036A (zh) * 2018-04-13 2018-09-21 上海思依暄机器人科技股份有限公司 一种基于人脸识别的身份判定方法、装置和云服务器
CN109857352A (zh) * 2017-11-30 2019-06-07 富泰华工业（深圳）有限公司 动画显示方法及人机交互装置
CN109885277A (zh) * 2019-02-26 2019-06-14 百度在线网络技术（北京）有限公司 人机交互设备、方法、系统和装置
CN109949795A (zh) * 2019-03-18 2019-06-28 北京猎户星空科技有限公司 一种控制智能设备交互的方法及装置
CN110070865A (zh) * 2019-04-03 2019-07-30 北京容联易通信息技术有限公司 一种具有语音和图像识别功能的向导机器人

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104505091A (zh) * 2014-12-26 2015-04-08 湖南华凯文化创意股份有限公司 人机语音交互方法及系统
CN105126349A (zh) * 2015-08-26 2015-12-09 江苏木盟智能科技有限公司 智能互动人偶和系统
CN109857352A (zh) * 2017-11-30 2019-06-07 富泰华工业（深圳）有限公司 动画显示方法及人机交互装置
CN108564036A (zh) * 2018-04-13 2018-09-21 上海思依暄机器人科技股份有限公司 一种基于人脸识别的身份判定方法、装置和云服务器
CN109885277A (zh) * 2019-02-26 2019-06-14 百度在线网络技术（北京）有限公司 人机交互设备、方法、系统和装置
CN109949795A (zh) * 2019-03-18 2019-06-28 北京猎户星空科技有限公司 一种控制智能设备交互的方法及装置
CN110070865A (zh) * 2019-04-03 2019-07-30 北京容联易通信息技术有限公司 一种具有语音和图像识别功能的向导机器人

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327772A (zh) * 2020-02-25 2020-06-23 广州腾讯科技有限公司 进行自动语音应答处理的方法、装置、设备及存储介质
CN111327772B (zh) * 2020-02-25 2021-09-17 广州腾讯科技有限公司 进行自动语音应答处理的方法、装置、设备及存储介质
CN112297019A (zh) * 2020-10-12 2021-02-02 杭州横竖科技有限公司 泛在问询机器人及其问询方法
CN112297019B (zh) * 2020-10-12 2022-04-15 杭州横竖科技有限公司 泛在问询机器人及其问询方法
CN114227702A (zh) * 2021-12-10 2022-03-25 北京云迹科技股份有限公司 一种基于机器人的会议智能指引方法、装置和机器人

Similar Documents

Publication Publication Date Title
US9674485B1 (en) System and method for image processing
US7415456B2 (en) Network support for caller identification based on biometric measurement
CN110569726A (zh) 一种服务机器人的交互方法及系统
US20190222806A1 (en) Communication system and method
JP6365915B2 (ja) 応対装置、応対システム、応対方法、及び記録媒体
US20160277707A1 (en) Message transmission system, message transmission method, and program for wearable terminal
CN111599359A (zh) 人机交互方法、服务端、客户端及存储介质
KR20170102570A (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
US10536816B1 (en) Mobile device that creates a communication group based on the mobile device identifying people currently located at a particular location
JP3835771B2 (ja) コミュニケーション装置及びコミュニケーション方法
CN112929253A (zh) 一种虚拟形象交互方法和装置
US20240048572A1 (en) Digital media authentication
CN113703585A (zh) 交互方法、装置、电子设备及存储介质
CN110188364B (zh) 基于智能眼镜的翻译方法、设备及计算机可读存储介质
CN112866577B (zh) 图像的处理方法、装置、计算机可读介质及电子设备
JP2002157592A (ja) 人物情報登録方法、装置、人物情報登録プログラムを記録した記録媒体
JPWO2019026395A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP3617937B2 (ja) 画像監視方法および画像監視装置
CN115171673A (zh) 一种基于角色画像的交流辅助方法、装置及存储介质
JP6140327B2 (ja) メッセージ送信システム、メッセージ送信方法、プログラム
JP2010103704A (ja) 音声変換装置
KR20200112157A (ko) 인공지능을 가지는 음향 출력 장치 및 그 구동방법
JP5904887B2 (ja) メッセージ送信システム、メッセージ送信方法、プログラム
JP2024017074A (ja) 会話促進装置、会話促進方法、及び、会話促進プログラム
JP7170013B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 201, building 4, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Applicant after: Beijing Yunji Technology Co.,Ltd.

Address before: Room 201, building 4, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Applicant before: BEIJING YUNJI TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213

RJ01 Rejection of invention patent application after publication