CN108492145A - 人机交互方法和装置 - Google Patents

人机交互方法和装置 Download PDF

Info

Publication number
CN108492145A
CN108492145A CN201810290659.3A CN201810290659A CN108492145A CN 108492145 A CN108492145 A CN 108492145A CN 201810290659 A CN201810290659 A CN 201810290659A CN 108492145 A CN108492145 A CN 108492145A
Authority
CN
China
Prior art keywords
information
face image
face
user
collected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810290659.3A
Other languages
English (en)
Inventor
路双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810290659.3A priority Critical patent/CN108492145A/zh
Publication of CN108492145A publication Critical patent/CN108492145A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281Customer communication at a business location, e.g. providing product or service information, consulting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了人机交互方法和装置。该方法的一具体实施方式包括:响应于采集到脸部图像,呈现交互页面,所述交互页面包括:商品信息;基于采集到的与商品信息相关联的语音,生成选择信息,以及建立所述脸部图像所属的用户的用户标识与所述选择信息的对应关系,所述选择信息包括:从交互页面中的所有商品信息中选取出的商品信息。实现了通过用于与用户进行交互的终端基于用户的脸部图像,可自动执行与商家相关的各个环节所需的操作,简化了与商家相关的各个环节的流程以及节省成本。

Description

人机交互方法和装置
技术领域
本申请实施例涉及计算机技术领域,具体涉及互联网领域,尤其涉及人机交互方法和装置。
背景技术
在用户光顾诸如餐厅的商家时,在诸如预定环节、点餐环节、支付等环节均需要以人工方式进行诸如预定用户的身份的确认、用户点的菜品的确认、消费金额的确认等,各个环节的流程较为繁琐以及成本较高。
发明内容
本申请实施例提出了人机交互方法和装置。
第一方面,本申请实施例提供了一种人机交互方法,该方法包括:响应于采集到脸部图像,呈现交互页面,所述交互页面包括:商品信息;基于采集到的与商品信息相关联的语音,生成选择信息,以及建立所述脸部图像所属的用户的用户标识与所述选择信息的对应关系,所述选择信息包括:从交互页面中的所有商品信息中选取出的商品信息。
第二方面,本申请实施例提供了一种人机交互装置,该装置包括:检测单元,配置用于响应于采集到脸部图像,呈现交互页面,所述交互页面包括:商品信息;处理单元,配置用于基于采集到的与商品信息相关联的语音,生成选择信息,以及建立所述脸部图像所属的用户的用户标识与所述选择信息的对应关系,所述选择信息包括:从交互页面中的所有商品信息中选取出的商品信息。
本申请实施例提供的人机交互方法和装置,通过响应于采集到脸部图像,呈现交互页面,所述交互页面包括:商品信息;基于采集到的与商品信息相关联的语音,生成选择信息,以及建立所述脸部图像所属的用户的用户标识与所述选择信息的对应关系,所述选择信息包括:从交互页面中的所有商品信息中选取出的商品信息。实现了通过用于与用户进行交互的终端基于用户的脸部图像,可自动执行与商家相关的各个环节所需的操作,简化了与商家相关的各个环节的流程以及节省成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是可以应用于本申请的人机交互方法或装置的示例性系统架构;
图2是根据本申请的人机交互方法的一个实施例的流程图;
图3是根据本申请的人机交互装置的一个实施例的结构示意图;
图4是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1,其示出了可以应用于本申请的人机交互方法或装置的示例性系统架构。
如图1所示,系统架构可以包括终端101、网络102、终端103。网络102可以为无线通信网络或有线通信网络。终端101设置在提供商品或服务的商家,终端101为用于与光顾商家的用户进行交互的终端。终端103可以为即将光顾商家的用户使用的终端。
终端103的用户到达终端101所在的商家来到终端101前时,终端101可以采集到终端103的用户的脸部图像。
请参考图2,其示出了根据本申请的人机交互方法的一个实施例的流程。需要说明的是,本申请实施例所提供的人机交互方法可以由终端(例如图1中的终端101)执行。该方法包括以下步骤:
步骤201,响应于采集到脸部图像,呈现交互页面。
在本实施例中,可以由用于与用户进行交互的终端采集图像,用于与用户进行交互的终端可以每间隔预设时长采集图像。
在本实施例中,每一个即将光顾商家的人或曾经光顾过商家的人均可以称之为用户。例如,商家为一家餐厅,每一个即将来该餐厅就餐的人或曾经在终端所在的餐厅就餐过的人均可以称之为用户。
在本实施例中,采集到的脸部图像中就包含的脸部对象而言可以仅包含一个用户的脸部对应的脸部对象。
在本实施例中,交互页面包括:商品信息。例如,商家为一家餐厅,商品信息为该餐厅的菜品信息。当设置在该餐厅的用于与用户进行交互的终端采集到脸部图像时,可以呈现交互页面,交互页面包括:该餐厅的菜单。
在本实施例中,可以根据采集到的图像是否包含脸部对象,确定是否采集到脸部图像。脸部对象可以为正面的脸部对象,可以根据采集到的图像中是否包含正面的脸部对象,确定是否采集到脸部图像。
例如,商家为一家餐厅,用于与用户进行交互的终端位于餐厅的入口处,当一个用户正对与用户进行交互的终端的屏幕时,采集到的图像中包含该用户的脸部对应的脸部对象。当采集到的图像中包含脸部对象时,可以确定该脸部对象对应的用户期望进行点餐,呈现交互页面,交互页面中包含该餐厅的菜品信息。同时,可以播放引导用户进行点餐的语音。
在本实施例中,脸部对象的特征信息可以为脸部对象的特征点。当采集到的或接收到的一个脸部图像中的脸部对象的特征信息与所有预设的注册脸部图像中每一个预设的注册脸部图像中的脸部对象的相似度中的最大相似度小于相似度阈值,可以确定该脸部图像所属的用户为新的用户,可以分配一个新的用户标识,该新的用户标识表示该新的用户。可以将该用户的脸部图像作为该新的用户标识对应的注册脸部图像。当首次采集或接收到一个用户的脸部图像时,则由于该首次采集到的或接收到的脸部图像中的脸部对象的特征信息与所有预设的注册脸部图像中每一个预设的注册脸部图像中的脸部对象的相似度中的最大相似度小于相似度阈值可以确定该首次采集到的或接收到的脸部图像所属的用户即该用户为新的用户。可以通过上述方式,对于每一个用户,可以在首次采集或接收到属于用户的脸部图像之后,为用户分配用户标识,将用户的脸部图像作为用户的用户标识对应的注册脸部图像。对于一个对应有注册脸部图像的用户,即该用户的用户标识对应有注册脸部图像,当再次采集或接收到该用户的脸部图像时,则在所有预设的注册脸部图像中与再次采集或接收到该用户的脸部图像中的脸部对象的特征信息的相似度最大的预设的注册脸部图像为该用户的用户标识对应的注册脸部图像。从而,可以确定再次采集或接收到的该用户的脸部图像属于该用户。再次采集或接收到的该用户的脸部图像所属的用户的用户标识为该用户的用户标识。
在本实施例的一些可选的实现方式中,当与用户进行交互终端采集到的一个脸部图像中的脸部对象的特征信息与一个绑定有预定信息的预设的注册脸部图像中的脸部对象的特征信息匹配时,可以呈现与该预设的注册脸部图像绑定的预定信息。脸部对象的特征信息可以为脸部对象的特征点。采集到的一个脸部图像的脸部对象的特征信息与一个绑定有预定信息的预设的注册脸部图像中的脸部对象的特征信息匹配可以为该采集到的脸部图像的脸部对象的特征信息与所有绑定有预定信息的预设的注册脸部图像中的脸部对象的特征信息的相似度中,该匹配的绑定有预定信息的预设的注册脸部图像与该采集到的脸部图像的脸部对象的特征信息的相似度最大并且大于相似度阈值。
以商家为一家餐厅为例,一个之前未光顾过该餐厅的用户预订时,可以由该用户的终端预先采集该用户的一个脸部图像,该用户的脸部图像中包含该用户的脸部对应的脸部对象。该用户的终端可以向设置在该餐厅的用于与用户进行交互的终端发送预定请求,该用于与用户进行交互的终端可以将预订页面发送至该用户的终端,在该用户的终端呈现预订页面,该用户可以填写预订页面中的用户的姓名、就餐时间等项,在点击提交按钮之后,在该用户的终端生成预订信息。该用户的终端可以将预订信息和采集的该用户的脸部图像发送至该用于与用户进行交互的终端。该用于与用户进行交互的终端在接收到该用户的终端发送的预订信息和该用户的脸部图像之后,可以确定该用户为新的用户,分配一个表示该用户的用户标识,将该用户的终端发送的该用户的脸部图像作为该用户的用户标识对应的注册脸部图像,并且可以将该注册脸部图像与该用户的终端发送的预订信息绑定。当该用户到达用于与用户进行交互的终端所在的餐厅,该用户来到用于与用户进行交互的终端前时,用于与用户进行交互的终端可以采集到该用户的脸部图像,用于与用户进行交互的终端从所有绑定有预定信息的注册脸部图像中查找出的与该采集到的脸部图像中的脸部对象的特征信息匹配的绑定有预定信息的注册脸部图像为该用户的用户标识对应的注册脸部图像,并且确定该用户的用户标识对应的注册脸部图像预先绑定了预定信息,进而可以确定该用户为进行预定的用户。可以在用于与用户进行交互的终端的屏幕上呈现该用户的用户标识对应的注册脸部图像绑定的预定信息。同时,可以将该用户的用户标识对应的注册脸部图像绑定的预定信息发送至该餐厅的工作人员使用的终端,使得工作人员可以知晓预定的该用户到达该餐厅。
步骤202,基于关联语音,生成选择信息,以及建立采集到的脸部图像对应的用户标识与选择信息的对应关系。
在本实施例中,在呈现交互页面之后,可以基于采集到的与商品信息相关联的语音,生成选择信息。采集到的语音是否为与商品信息相关联的语音可以根据采集到的语音识别结果是否包含预设的与商品信息相关联的关键词确定。
当采集到的语音对应的语音识别结果为对商品信息的选择指令,响应于采集到的语音对应的语音识别结果为对商品信息的选择指令,基于选择指令,生成选择信息,以及建立该采集到的脸部图像对应的用户标识与选择信息的对应关系。选择信息包括:从交互页面中的所有商品信息中选取出的商品信息。
例如,商家为一家餐厅,采集到的与商品信息相关联的语音可以为用户点餐时选择的该餐厅的菜品信息的语音,生成的选择信息可以为选择的该餐厅的菜品信息。用于与用户进行交互的终端位于餐厅的入口处,当一个用户正对终端的屏幕时,可以确定采集到的图像中包含脸部对象,即采集到的图像为一个脸部图像,可以呈现交互页面,交互页面包括该餐厅的菜品信息,以及可以播放引导用户进行点餐的语音。同时,可以确定该采集到的脸部图像中的脸部对象的特征信息与一个预设的注册脸部图像中的脸部对象的特征信息匹配即与该用户的用户标识对应的预设的注册脸部图像中的脸部对象的特征信息匹配。可以确定该采集到的脸部图像属于该用户。该用户利用语音进行点餐例如采集到的该用户的语音为选取菜品“A套餐”对应的语音,语音识别结果为“A套餐”,则选择信息中包含“A套餐”。可以建立该采集到的脸部图像所属的用户的用户标识即该用户的用户标识与选择信息的对应关系。换言之,建立该采集到的脸部图像所属的用户的用户标识即该用户的用户标识与选择信息的对应关系即为建立点餐的用户和用户点的菜品之间的对应关系。
在本实施例的一些可选的实现方式中,可以响应于采集到的一个脸部图像的脸部对象的特征信息与一个预设的注册脸部图像中的脸部对象的特征信息匹配,获取对应于该预设的注册脸部图像的用户标识对应的历史选择信息,然后,基于对应于该预设的注册脸部图像的用户标识对应的历史选择信息,生成推荐信息,以及呈现推荐信息。
例如,商家为一家餐厅,用于与用户进行交互的终端位于餐厅的入口处,一个之前光顾过该餐厅的用户正对终端的屏幕时,可以确定采集到的图像中包含脸部对象,即采集到的图像为一个脸部图像,可以呈现交互页面,交互页面包括该餐厅的菜品信息,以及可以播放引导用户进行点餐的语音。同时,可以确定该采集到的脸部图像中的脸部对象的特征信息与一个预设的注册脸部图像中的脸部对象的特征信息匹配即与该用户的用户标识对应的预设的注册脸部图像匹配。可以确定该采集到的脸部图像属于该用户。由于该用户光顾过该餐厅,用于与用户进行交互的终端预先建立了该用户的用户标识预先和之前光顾该餐厅时生成的包含该用户点的菜品的选择信息的对应关系,则之前光顾该餐厅时生成的包含该用户点的菜品的选择信息为该用户的用户标识对应的历史选择信息,可以根据历史选择信息,确定该用户喜欢的菜品的口味、价位等,生成包含推荐的菜品的推荐信息,以及呈现推荐信息。从而,用户可以看到在用于与用户进行交互的终端呈现的推荐信息,向该用户推荐相应地菜品。
在本实施例的一些可选的实现方式中,用于与用户进行交互的终端可以响应于采集到与支付操作相关联的语音并且在采集到与支付操作相关联的语音的时刻之后的预设时长内采集到的一个脸部图像中的脸部对象的特征信息与一个预设的注册脸部图像中的脸部对象的特征信息匹配,获取对应于该预设的注册脸部图像的用户标识的选择信息和该预设的注册脸部图像对应的账户余额信息。然后,以基于该选择信息对应的消费额信息,更新该账户余额信息。采集到的语音是否为与支付操作相关联的语音可以根据采集到的语音识别结果是否包含预设的与支付操作相关联的关键词确定。
例如,当一个用户消费之后需要付款时,可以采集到该用户的与支付操作相关联的语音,例如“结账”。当采集到该用户的与支付操作相关联的语音之后,可以确定在采集到该用户的与支付操作相关联的语音之后的预设时长内采集到的该用户的脸部图像中的脸部对象的特征信息与一个预设的注册脸部图像中的脸部对象的特征信息匹配即与该用户的用户标识对应的预设的注册脸部图像匹配,进而可以获取到该用户的用户标识。由于已经在该用户的点餐阶段时,预先建立了该用户的用户标识与包含该用户选择的该餐厅的菜品信息的选择信息之间的对应关系,因此,可以获取到包含该用户选择的该餐厅的菜品信息的选择信息。同时,可以获取该用户在该餐厅的该用户的用户标识对应的账户余额信息。可以计算选择信息对应的消费额信息,根据选择信息对应的消费额信息,更新该用户的账户余额信息。可以将该用户的账户余额减去选择信息对应的消费额,得到新的该用户的账户余额信息。
在本实施例的一些可选的实现方式中,用于与用户进行交互的终端可以响应于采集到与支付操作相关联的语音并且在采集到与支付操作相关联的语音的时刻之后的预设时长内采集到的一个脸部图像中的脸部对象的特征信息与一个预设的注册脸部图像中的脸部对象的特征信息匹配,获取对应于该预设的注册脸部图像的用户标识的选择信息;基于该选择信息对应的消费额信息,生成与支付平台相关联的该消费额信息对应的支付信息,以及呈现该支付信息。采集到的语音是否为与支付操作相关联的语音可以根据采集到的语音识别结果是否包含预设的与支付操作相关联的关键词确定。与支付平台相关联的支付信息可以为支付平台支持的用于支付的二维码或提示需要扫描用户的终端上的用于支付的二维码完成支付的提示信息。
例如,当一个用户消费之后需要付款时,可以采集到该用户的与支付操作相关联的语音,例如“结账”。当采集到该用户的与支付操作相关联的语音之后,可以确定在采集到该用户的与支付操作相关联的语音之后的预设时长内采集到的该用户的脸部图像中的脸部对象的特征信息与一个预设的注册脸部图像中的脸部对象的特征信息匹配即与该用户的用户标识对应的预设的注册脸部图像匹配,进而可以获取到该用户的用户标识。由于用于与用户进行交互的终端已经预先在该用户的点餐阶段时,预先建立了该用户的用户标识与包含该用户选择的该餐厅的菜品信息的选择信息之间的对应关系,因此,可以获取到包含该用户选择的该餐厅的菜品信息的选择信息。可以计算选择信息中的该用户选择的该餐厅的菜品信息对应的消费额信息,生成该消费额信息对应的支付平台支持的用于支付的二维码,在用于与用户进行交互的终端的屏幕上将该二维码呈现给该用户。该用户利用终端扫描该二维码,完成支付。
请参考图3,作为对上述各图所示方法的实现,本申请提供了一种人机交互装置的一个实施例,该装置实施例与图2所示的方法实施例相对应。
如图3所示,本实施例的人机交互装置包括:检测单元301,处理单元302。其中,检测单元301配置用于响应于采集到脸部图像,呈现交互页面,所述交互页面包括:商品信息;处理单元302配置用于基于采集到的与商品信息相关联的语音,生成选择信息,以及建立所述脸部图像所属的用户的用户标识与所述选择信息的对应关系,所述选择信息包括:从交互页面中的所有商品信息中选取出的商品信息。
在本实施例的一些可选的实现方式中,人机交互装置还包括:预定单元,配置用于响应于所述采集到的脸部图像的脸部对象的特征信息与绑定有预定信息的预设的注册脸部图像中的脸部对象的特征信息匹配,呈现与所述预设的注册脸部图像绑定的预定信息。
在本实施例的一些可选的实现方式中,人机交互装置还包括:推荐单元,配置用于响应于采集到的脸部图像的脸部对象的特征信息与预设的注册脸部图像中的脸部对象的特征信息匹配,获取对应于所述预设的注册脸部图像的用户标识对应的历史选择信息;基于所述历史选择信息,生成推荐信息,以及呈现所述推荐信息。
在本实施例的一些可选的实现方式中,人机交互装置还包括:第一支付单元,配置用于响应于采集到与支付操作相关联的语音并且在采集到与支付操作相关联的语音的时刻之后的预设时长内采集到的脸部图像中的脸部对象的特征信息与预设的注册脸部图像中的脸部对象的特征信息匹配,获取对应于所述预设的注册脸部图像的用户标识对应的选择信息和所述用户标识对应的账户余额信息;基于所述选择信息对应的消费额信息,更新所述账户余额信息。
在本实施例的一些可选的实现方式中,人机交互装置还包括:第二支付单元,配置用于响应于采集到与支付操作相关联的语音并且在采集到与支付操作相关联的语音的时刻之后的预设时长内采集到的脸部图像中的脸部对象的特征信息与预设的注册脸部图像中的脸部对象的特征信息匹配,获取对应于所述预设的注册脸部图像的用户标识对应的选择信息;基于所述选择信息对应的消费额信息,生成与支付平台相关联的所述消费额信息对应的支付信息,以及呈现所述支付信息
图4示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
如图4所示,计算机系统包括中央处理单元(CPU)401,其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中,还存储有计算机系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405:输入部分406,输入部分406包括摄像头、麦克风;输出部分407,输出部分407包括扬声器;包括硬盘等的存储部分408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地,本申请的实施例中描述的过程可以被实现为计算机程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包括用于执行流程图所示的方法的指令。该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时,执行本申请的方法中限定的上述功能。
本申请还提供了一种终端,该终端可以配置有一个或多个处理器;存储器,用于存储一个或多个程序,一个或多个程序中可以包含用以执行上述步骤201-202中描述的操作的指令。当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器执行上述步骤201-202中描述的操作。
本申请还提供了一种计算机可读介质,该计算机可读介质可以是终端中所包括的;也可以是单独存在,未装配入终端中。上述计算机可读介质承载有一个或者多个程序,当一个或者多个程序被服务器执行时,使得终端:响应于采集到脸部图像,呈现交互页面,所述交互页面包括:商品信息;基于采集到的与商品信息相关联的语音,生成选择信息,以及建立所述脸部图像所属的用户的用户标识与所述选择信息的对应关系,所述选择信息包括:从交互页面中的所有商品信息中选取出的商品信息。
需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括检测单元、处理单元。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种人机交互方法,包括:
响应于采集到脸部图像,呈现交互页面,所述交互页面包括:商品信息;
基于采集到的与商品信息相关联的语音,生成选择信息,以及建立所述脸部图像所属的用户的用户标识与所述选择信息的对应关系,所述选择信息包括:从交互页面中的所有商品信息中选取出的商品信息。
2.根据权利要求1所述的方法,所述方法还包括:
响应于采集到的脸部图像的脸部对象的特征信息与绑定有预定信息的预设的注册脸部图像中的脸部对象的特征信息匹配,呈现与所述预设的注册脸部图像绑定的预定信息。
3.根据权利要求2所述的方法,所述方法还包括:
响应于采集到的脸部图像的脸部对象的特征信息与预设的注册脸部图像中的脸部对象的特征信息匹配,获取对应于所述预设的注册脸部图像的用户标识对应的历史选择信息;
基于所述历史选择信息,生成推荐信息,以及呈现所述推荐信息。
4.根据权利要求3所述的方法,在建立所述脸部图像所属的用户的用户标识与所述选择信息的对应关系之后,所述方法还包括:
响应于采集到与支付操作相关联的语音并且在采集到与支付操作相关联的语音的时刻之后的预设时长内采集到的脸部图像中的脸部对象的特征信息与预设的注册脸部图像中的脸部对象的特征信息匹配,获取对应于所述预设的注册脸部图像的用户标识对应的选择信息和所述用户标识对应的账户余额信息;
基于所述选择信息对应的消费额信息,更新所述账户余额信息。
5.根据权利要求3所述的方法,在建立所述脸部图像所属的用户的用户标识与所述选择信息的对应关系之后,所述方法还包括:
响应于采集到与支付操作相关联的语音并且在采集到与支付操作相关联的语音的时刻之后的预设时长内采集到的脸部图像中的脸部对象的特征信息与预设的注册脸部图像中的脸部对象的特征信息匹配,获取对应于所述预设的注册脸部图像的用户标识对应的选择信息;
基于所述选择信息对应的消费额信息,生成与支付平台相关联的所述消费额信息对应的支付信息,以及呈现所述支付信息。
6.一种人机交互装置,包括:
检测单元,配置用于响应于采集到脸部图像,呈现交互页面,所述交互页面包括:商品信息;
处理单元,配置用于基于采集到的与商品信息相关联的语音,生成选择信息,以及建立所述脸部图像所属的用户的用户标识与所述选择信息的对应关系,所述选择信息包括:从交互页面中的所有商品信息中选取出的商品信息。
7.根据权利要求6所述的装置,所述装置还包括:
预定单元,配置用于响应于采集到的脸部图像的脸部对象的特征信息与绑定有预定信息的预设的注册脸部图像中的脸部对象的特征信息匹配,呈现与所述预设的注册脸部图像绑定的预定信息。
8.根据权利要求7所述的装置,所述装置还包括:
推荐单元,配置用于响应于采集到的脸部图像的脸部对象的特征信息与预设的注册脸部图像中的脸部对象的特征信息匹配,获取对应于所述预设的注册脸部图像的用户标识对应的历史选择信息;基于所述历史选择信息,生成推荐信息,以及呈现所述推荐信息。
9.根据权利要求8所述的装置,所述装置还包括:
第一支付单元,配置用于响应于采集到与支付操作相关联的语音并且在采集到与支付操作相关联的语音的时刻之后的预设时长内采集到的脸部图像中的脸部对象的特征信息与预设的注册脸部图像中的脸部对象的特征信息匹配,获取对应于所述预设的注册脸部图像的用户标识对应的选择信息和所述用户标识对应的账户余额信息;基于所述选择信息对应的消费额信息,更新所述账户余额信息。
10.根据权利要求8所述的装置,所述装置还包括:
第二支付单元,配置用于响应于采集到与支付操作相关联的语音并且在采集到与支付操作相关联的语音的时刻之后的预设时长内采集到的脸部图像中的脸部对象的特征信息与预设的注册脸部图像中的脸部对象的特征信息匹配,获取对应于所述预设的注册脸部图像的用户标识对应的选择信息;基于所述选择信息对应的消费额信息,生成与支付平台相关联的所述消费额信息对应的支付信息,以及呈现所述支付信息。
11.一种终端,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN201810290659.3A 2018-03-30 2018-03-30 人机交互方法和装置 Pending CN108492145A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810290659.3A CN108492145A (zh) 2018-03-30 2018-03-30 人机交互方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810290659.3A CN108492145A (zh) 2018-03-30 2018-03-30 人机交互方法和装置

Publications (1)

Publication Number Publication Date
CN108492145A true CN108492145A (zh) 2018-09-04

Family

ID=63318304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810290659.3A Pending CN108492145A (zh) 2018-03-30 2018-03-30 人机交互方法和装置

Country Status (1)

Country Link
CN (1) CN108492145A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725725A (zh) * 2018-12-29 2019-05-07 出门问问信息科技有限公司 智能交互终端、以及智能交互终端的信息处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605178A (zh) * 2008-06-10 2009-12-16 三星电子株式会社 使用便携式终端中的图像信息的方法
CN103632258A (zh) * 2012-08-27 2014-03-12 深圳市一兆科技发展有限公司 一种消费支付方法、系统和设备
CN104021506A (zh) * 2014-06-24 2014-09-03 河海大学常州校区 一种基于人脸识别技术的智能餐厅点餐管理系统及方法
CN105892829A (zh) * 2016-04-02 2016-08-24 上海大学 一种基于身份识别的人-机器人交互装置和方法
CN107705469A (zh) * 2017-09-29 2018-02-16 阿里巴巴集团控股有限公司 就餐结算方法、智能点餐设备以及智能餐厅支付系统
CN107729928A (zh) * 2017-09-30 2018-02-23 百度在线网络技术(北京)有限公司 信息获取方法和装置
CN107832720A (zh) * 2017-11-16 2018-03-23 北京百度网讯科技有限公司 基于人工智能的信息处理方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605178A (zh) * 2008-06-10 2009-12-16 三星电子株式会社 使用便携式终端中的图像信息的方法
CN103632258A (zh) * 2012-08-27 2014-03-12 深圳市一兆科技发展有限公司 一种消费支付方法、系统和设备
CN104021506A (zh) * 2014-06-24 2014-09-03 河海大学常州校区 一种基于人脸识别技术的智能餐厅点餐管理系统及方法
CN105892829A (zh) * 2016-04-02 2016-08-24 上海大学 一种基于身份识别的人-机器人交互装置和方法
CN107705469A (zh) * 2017-09-29 2018-02-16 阿里巴巴集团控股有限公司 就餐结算方法、智能点餐设备以及智能餐厅支付系统
CN107729928A (zh) * 2017-09-30 2018-02-23 百度在线网络技术(北京)有限公司 信息获取方法和装置
CN107832720A (zh) * 2017-11-16 2018-03-23 北京百度网讯科技有限公司 基于人工智能的信息处理方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725725A (zh) * 2018-12-29 2019-05-07 出门问问信息科技有限公司 智能交互终端、以及智能交互终端的信息处理方法
CN109725725B (zh) * 2018-12-29 2022-08-12 出门问问信息科技有限公司 智能交互终端、以及智能交互终端的信息处理方法

Similar Documents

Publication Publication Date Title
US20240095746A1 (en) Systems and methods for frictionless self-checkout merchandise purchasing
CN109191261A (zh) 一种商品推荐方法和系统
CN107993697A (zh) 医疗服务平台及系统
CN108921313A (zh) 智能订餐方法、装置及终端设备
KR20060003894A (ko) 무선 전자 드라이브-스루 시스템 및 방법
US20070239578A1 (en) Method For Initializing An Exchange Of Services Between At Least Two Parties
CN107480965A (zh) 线下信息推送方法和装置
CN107451785A (zh) 用于输出信息的方法和装置
KR20170133031A (ko) 스마트기기를 이용한 음성인식 배달 주문 및 결제 시스템
CN109168012A (zh) 用于终端设备的信息处理方法和装置
CN108391141A (zh) 用于输出信息的方法和装置
CN108573412A (zh) 一种广告推荐终端、广告推荐系统和广告推荐方法
CN107609953A (zh) 订单的快捷处理方法和装置
CN108492145A (zh) 人机交互方法和装置
US9799039B2 (en) System and method for providing television programming recommendations and for automated tuning and recordation of television programs
US20170337269A1 (en) System for sharing musical preferences
KR20180000073A (ko) 웹포스를 이용한 주문 접수 및 물품 배달 지원 방법
WO2016210390A1 (en) Systems and methods for consumer marketing
CN109640119A (zh) 用于推送信息的方法和装置
CN109348298A (zh) 信息推送、播放多媒体数据流的方法和设备
CN109547565A (zh) 富媒体信息发送、接收方法及终端设备和存储介质
CN109963509A (zh) 用于向内容消费者推荐内容服务的系统和方法
CN112907337A (zh) 基于单一发起人多出发地的商户推荐方法和装置以及设备
JP7218190B2 (ja) サービス提供システム
JP2001357276A (ja) 共同購入サービス提供方法およびシステム、ならびにコンピュータ読取可能な記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180904

RJ01 Rejection of invention patent application after publication