CN110674760A - 一种基于移动机器人的交互导引方法、装置、设备和介质 - Google Patents
一种基于移动机器人的交互导引方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN110674760A CN110674760A CN201910920510.3A CN201910920510A CN110674760A CN 110674760 A CN110674760 A CN 110674760A CN 201910920510 A CN201910920510 A CN 201910920510A CN 110674760 A CN110674760 A CN 110674760A
- Authority
- CN
- China
- Prior art keywords
- mobile robot
- target object
- interaction
- guidance
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 22
- 230000003993 interaction Effects 0.000 claims abstract description 35
- 230000006399 behavior Effects 0.000 claims description 29
- 230000009471 action Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Accounting & Taxation (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Manipulator (AREA)
Abstract
本发明提出一种基于移动机器人的交互导引方法、装置、设备和介质,包括通过移动终端获取导引任务,识别同一批次生物识别特征;根据所述生物识别特征获取对应的目标对象,获取所述目标对象行为特征数据,并与所述目标对象进行人机交互,其中所述移动终端包括移动机器人;本发明通过移动终端执行导引任务,可有效降低人工成本,提高识别精度和效率。
Description
技术领域
本发明涉及商品销售领域,尤其涉及一种基于移动机器人的交互导引方法、装置、设备和介质。
背景技术
目前的商品销售行业,传统经销商库存系数、预警指数均处于高位,市场竞争加剧,营销引流成本居高不下,客户到店转化率低,业务盈利能力下降,经销商亏损导致退网的情况时有发生,生存压力极大,商品实体销售市场将面临深度调整。
从技术上来说,现有的客群分析识别技术仍停留在对客户个体的识别上,没有针对客户批次进行识别,无法满足商品销售行业的业务需求。现有的商品关注技术主要基于人脸和头肩,基于人脸因受限于抓拍角度无法抓拍识别侧对、背对摄像机的客户,基于头肩只能用作计数而无法识别客户身份,都无法将商品关注信息准确对应到具体客户。且目前实体店销售大多还采用人工导购的方式,对个人素质要求较高。
发明内容
鉴于以上现有技术存在的问题,本发明提出一种基于移动机器人地交互导引方法、装置、设备和介质,主要解决目前商品销售实体店依赖人工缺乏自主导购的问题。
为了实现上述目的及其他目的,本发明采用的技术方案如下。
一种基于移动机器人的交互导引方法,包括:
通过移动终端获取导引任务,识别同一批次生物识别特征;
根据所述生物识别特征获取对应的目标对象,获取所述目标对象行为特征数据,并与所述目标对象进行人机交互;其中所述移动终端包括移动机器人。
可选地,通过提示信息获取所述生物识别特征的分类情况,根据所述分类情况对所述生物识别特征进行筛选获取目标对象的生物识别特征。
可选地,通过所述移动终端识别同一批次生物识别特征,获取对应所述目标对象的到访记录。
可选地,所述提示信息包括语音提示信息、文本提示信息。
可选地,根据多个场景采集的所述目标对象的图像,获取清晰的生物识别特征。
可选地,所述生物识别特征包括人脸特征、发型特征、衣着特征、体态特征。
可选地,通过移动终端跟踪所述目标对象的行为轨迹,获取对应的生物识别特征。
可选地,通过所述移动终端采集同一批次的所述目标对象的图像,配合展厅中多个场景采集的所述同一批次的所述目标对象的图像,获取所述目标对象的行为特征数据。
可选地,获取同一批次的所述目标对象的购买意向,根据所述购买意向对同一批次的所述目标对象进行标注。
可选地,根据标注结果采集对应的生物识别特征,并跟踪对应的目标对象的行为轨迹。
可选地,根据所述目标对象的行为特征数据识别客户关注商品。
可选地,所述目标对象的行为特征数据包括:驻留时间、行动轨迹。
可选地,根据所述驻留时间获取关注车辆的语音导引信息并进行语音播放。
可选地,根据所述客户关注车辆,采集对应车辆特征,识别车辆获取车辆信息。
一种基于移动机器人的交互导引装置,包括:
任务获取模块,用于通过移动终端获取导引任务;
行为识别模块,根据所述生物识别特征获取对应的目标对象,获取所述目标对象行为特征数据;
交互模块,用于与目标对象进行人机交互;其中所述移动终端包括移动机器人。
可选地,所述行为识别模块包括图像采集单元、轨迹记录单元和识别单元。
可选地,所述识别单元包括人脸识别器、发型识别器、衣着识别器、体态识别器。
可选地,包括通信模块,用于在所述移动终端和服务器端进行数据传输。
可选地,所述交互模块包括显示单元、语音提示单元、语音播放单元。
可选地,包括标注模块,用于获取同一批次所述目标对象的购买意向,根据所述购买意向对同一批次的所述目标对象进行标注。
可选地,包括数据记录模块,用于记录执行所述导引任务的过程数据,创建所述目标对象行为数据集。
一种计算机可读存储介质,其中存储有计算机程序,所述计算机程序被处理器加载执行时,实现所述的基于移动机器人的交互导引方法。
一种设备,包括处理器和存储器;其中,
所述存储器用于存储计算机程序;
所述处理器用于加载并执行所述计算机程序,使得所述设备执行所述的基于移动机器人的交互导引方法。
如上所述,本发明一种基于移动机器人的交互导引方法、装置、设备和介质,具有以下有益效果。
通过移动终端采集客户行为数据,有利于获取客户清晰的正面图像,可提高识别效率;通过移动终端执行导引任务,减少人工成本。
附图说明
图1为本发明一实施例中基于移动机器人的交互导引方法的流程图。
图2为本发明一实施例中基于移动机器人的交互的导引装置的模块图。
图3为本发明一实施例中终端设备的结构示意图。
图4为本发明另一实施例中终端设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
请参阅图1,本发明提供一种基于移动机器人的交互导引方法,包括步骤S01-S02。
在步骤S01中,通过移动终端获取导引任务,识别同一批次生物识别特征:
在一实施例中,移动终端如移动机器人等获取服务器端分配的导引任务。
服务器端分配导引任务的流程如下:
导引任务可根据具体商品进行设置,商品可以包括车辆、艺术品、古董、服装、等,以车辆销售的导引任务为例。可在车辆展厅入口处设置多个图像采集装置,采集进入车辆展厅的客户图像。对采集的客户图像进行特征提取,获取客户对应的生物识别特征信息。生物识别特征可包括人脸特征、发型特征、衣着特征、体态特征等。以入口处采集人脸特征为例,通过摄像头获取入口处视频流数据,通过获取视频流中人脸图像可进行客流量统计。在进行客流量统计时,可在指定时间间隔内连续采集多张入口处图像,根据人脸正面图像和背面图像对客流进行筛选,背面图像通常表示离开的用户,进行客流统计时可忽略采集的图像中的背面图像,避免重复统计。在另一实施例中,可设置检测模块,检测车辆展厅入口处的生物识别特征,进而触发图像采集装置采集图像。如可设置红外热感应器,通过检测入口处指定区域的红外热图变化,确认是否有人到访。检测到有人进入指定区域,则发送触发信号启动对应的图像采集装置。
在一实施例中,针对入口处采集的图像信息,可设置时间阈值,在设定阈值范围内进入入口处的客户可划分为同一批次。如可设置某一时刻为起点,从该时刻起,每两分钟为一时间阈值,在同一时间阈值内采集到的客户图像属于同一批次客户图像。时间阈值也可以摄像装置未采集到客户图像的时间间隔为参考,如当检测到某一批客户进入入口到下一批客户进入入口的时间间隔为10分钟,设定的时间阈值为3分钟,由于时间间隔大于设定的时间阈值,则判定两批客户属于不同批次的客户。时间阈值的设定方式可根据不同店面历史客流量情况,以及淡/旺季的时间节点进行灵活调整,可有效提高批次识别的效率和精度。
在获取同一批次客户信息后,可针对同一批次客户信息进行进一步筛选,如可获取拍摄的视频流中连续几帧图像,通过提取图像中对应人脸图像的位置及对应的该帧图像的时间节点,获取对应客户的行动轨迹。根据客户的行动轨迹采用聚类算法对采集的人脸图像进行分类,并根据分类信息筛选客户信息,如客户行动轨迹表示该客户正在进入车辆展厅入口,则判定该客户为对应批次客户;如客户行动轨迹表示客户正在离开车辆展厅入口,则从前述获取的同一批次客户信息中剔除对应的客户信息。
在一实施例中,还可设置过滤库对同一批次客户对应的生物识别特征进行筛选。将特定时间采集的图像数据更新到过滤库中,从采集的图像信息与过滤库中图像信息进行比对,滤除特定时间进入展厅的对象信息。如车辆展厅上班时间为早上8点,则将每天8点以前采集的入口处图像信息用于更新过滤库,可减少在刻骨行动轨迹识别过程中,工作人员图像对识别过程的干扰,通过过滤库筛选,精简每一批次中的生物识别特征,可有效提高效率。在另一实施例中,对于通过售后通道进入车辆展厅的客户,直接对采集的对应图像进行标注,获取对应的生物识别特征作为标注特征,将标注特征更新到过滤可中,滤除售后的客户图像信息。
确定客户批次信息后,将客户批次信息及对应的生物识别特征信息发送给后台服务器。服务器进行信息记录的同时,针对客户批次进行任务分配。在进行任务分配之前,可根据获取的人脸特征,进行人脸识别。以历史访客的人脸图像作为目标集,通过神经网络的识别算法,将采集的人脸特征与目标集中人脸特征进行比对。若匹配成功,则将客户的历史到访数据一并发送给服务器。以4S店为例,可通过网络连接获取多个4S店客户到访数据记录,通过当前4S店采集的客户人脸图像进行特征比对,获取对应客户在其他4S店的历史数据,有利于对客户需求进行准确的定位和分析。当识别对应批次中存在客户有历史到访数据,服务器端可根据客户历史到访数据分析客户需求,并向客户手机发送车辆的推荐信息。
移动终端获取导引任务的同时,获取客户的历史数据,根据历史数据针对同一批次客户执行导引任务。
移动终端上设置有图像采集装置,可用于实时采集客户的图像数据,识别同一批次客户的生物识别特征。由于设置在展厅内特定区域的图像采集装置,位置相对固定,采集图像存在死角,而通过图像采集装置的数量来弥补拍摄角度的问题,难免造成成本浪费。通过移动终端上设置的图像采集装置,采集展厅中固定图像采集装置无法采集的人脸正面图像等其他设计生物识别特征的图像信息,可有效弥补固定图像采集装置的不足,提高识别效率。
在步骤S02中,根据生物识别特征获取对应的目标对象,获取目标对象行为特征数据,并与目标对象进行人机交互。
移动终端获取导引任务后,移动至指定批次的客户位置,移动终端发出提示信息,对同一批次的生物识别特征进行分类。由于同一批次客户并非所有人都有购车意向,对同一批次客户的生物识别特征进行分类可减少参与识别的数据量,提高识别效率。其中提示信息可包括语音提示信息、显示界面的文本提示信息等。以语音提示信息为例,通过语音提示和客户确认,同一批次中哪些客户有购车意向,并通过移动终端上的图像采集装置采集有购车意向的客户对应的生物识别特征,将采集的生物识别特征用于对客户进行标注,根据标注结果,可对同一批次客户的生物识别特征进行筛选,将同一批次客户的生物识别特征分为有购车意向和无购车意向两类,将有购车意向的客户作为目标客户。针对目标客户,移动终端连接服务器端获取客户的历史到访数据。在另一实施例中,移动终端也可直接连接其他4S店的服务器端,获取目标客户在其他4S店的历史数据,根据历史数据分析客户需求。
在一实施例中,移动终端对目标客户行为进行跟踪定位。如针对同一批次中的目标客户,需要获取客户进入车辆展示区域的行动轨迹,可通过图像采集装置采集连续几帧的对应批次客户图像,根据图像中客户相对位置,确定客户行动轨迹。当存在多个目标客户时,可通过移动终端的图像采集装置与车辆展厅中设置的其他图像采集装置配合,可将两个或两个以上图像采集装置在临近时间段采集的图像进行比对,进行跨场景追踪。如在跨场景追踪过程中,当某一摄像装置无法获取客户正面人脸图像时,可根据客户衣着、发型、体态等特征与移动终端图像采集装置采集的对应批次的客户特征进行对比,将特征相似度较高的图像的标注为相似图像,结合其他位置图像采集装置在临近时间段采集的图像进行相互校验,确认客户的身份信息,以及客户的行动轨迹。
同时根据客户的行动轨迹,可获取客户从进入某一车辆观展区域到离开该区域的驻留时间,若驻留时间超出设定的驻留时间阈值,则判定对应车辆为客户关注车辆。移动终端可通过图像采集装置采集关注车辆图像,识别车辆信息,并根据识别结果从服务器端获取关注车辆的介绍信息,并将介绍信息播放给客户,介绍信息可包括视频信息、语音信息等。
在一实施例中,移动终端但也可进行简单的语音交互,采集客户针对车辆的问题,输出答复信息。
请参阅图2,本发明还提供了一种基于移动机器人的交互导引装置,包括任务获取模块10、行为识别模块11和交互模块12。任务获取模块10用于辅助执行前述方法实施例介绍的步骤S01,行为识别模块11和交互模块12用于辅助执行前述方法实施例介绍的步骤S02。
在一实施例中,任务获取模块10、行为识别模块11和交互模块12可设置在移动终端上。移动终端可包括移动机器人,移动终端上还可设置通信模块,任务获取模块10通过通信模块与服务器端连接,与服务器端进行数据传输。
在一实施例中,交互模块12包括显示单元、语音提示单元、和语音播放单元,移动终端获取导引任务后,移动至指定批次的客户位置,语音提示单元或显示单元发出提示信息,对同一批次的生物识别特征进行分类。由于同一批次客户并非所有人都有购车意向,对同一批次客户的生物识别特征进行分类可减少参与识别的数据量,提高识别效率。其中提示信息可包括语音提示信息、显示界面的文本提示信息等。以语音提示信息为例,语音提示单元发出语音提示信息,通过语音播放单元进行播放,进而与客户确认同一批次中哪些客户有购车意向,并通过移动终端上的图像采集单元采集有购车意向的客户对应的生物识别特征。
在一实施例中,装置还包括标注模块,将采集的生物识别特征输入标注模块用于对客户进行标注,根据标注结果,可对同一批次客户的生物识别特征进行筛选,将同一批次客户的生物识别特征分为有购车意向和无购车意向两类,将有购车意向的客户作为目标客户。针对目标客户,移动终端连接服务器端获取客户的历史到访数据。在另一实施例中,移动终端也可直接连接其他4S店的服务器端,获取目标客户在其他4S店的历史数据,根据历史数据分析客户需求
在一实施例中,行为识别模块11包括图像采集单元、轨迹记录单元和识别单元。通过图像采集单元采集目标客户图像,对采集的客户图像进行特征提取,获取客户对应的生物识别特征信息。生物识别特征可包括人脸特征、发型特征、衣着特征、体态特征等。识别单元包括人脸识别器、发型识别器、衣着识别器、体态识别器,针对不同的识别特征采用对应的识别器进行特征识别。可通过图像采集单元采集连续几帧的对应批次客户图像,根据图像中客户相对位置,确定客户行动轨迹。当存在多个目标客户时,可通过移动终端的图像采集单元与车辆展厅中设置的其他图像采集单元配合,可将两个或两个以上图像采集单元在临近时间段采集的图像进行比对,进行跨场景追踪。如在跨场景追踪过程中,当某一摄像装置无法获取客户正面人脸图像时,可根据客户衣着、发型、体态等特征与移动终端图像采集装置采集的对应批次的客户特征进行对比,将特征相似度较高的图像的标注为相似图像,结合其他位置图像采集装置在临近时间段采集的图像进行相互校验,确认客户的身份信息,以及客户的行动轨迹。
在一实施例中,还可在移动终端上设置数据记录模块,用于记录执行导引任务的过程数据,创建客户行为数据集。结束任务后将数据集发送指服务器端备案。
本申请实施例还提供了一种设备,该设备可以包括:一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述设备执行图1所述的方法。在实际应用中,该设备可以作为终端设备,也可以作为服务器,终端设备的例子可以包括:智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3,Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4,Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等,本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例的图1中基于移动机器人的交互导引方法所包含步骤的指令(instructions)。
图3为本申请一实施例提供的终端设备的硬件结构示意图。如图所示,该终端设备可以包括:输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,第一存储器1103中可以存储各种程序,用于完成各种处理功能以及实现本实施例的方法步骤。
可选的,上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit,简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的,上述输入设备1100可以包括多种输入设备,例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的,该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等);可选的,该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等);可选的,上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口,例如芯片的输入引脚接口或者输入接口等;输出设备1102可以包括显示器、音响等输出设备。
在本实施例中,该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能,具体功能和技术效果参照上述实施例即可,此处不再赘述。
图4为本申请的另一个实施例提供的终端设备的硬件结构示意图。图4是对图3在实现过程中的一个具体的实施例。如图所示,本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码,实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令,例如消息,图片,视频等。第二存储器1202可能包含随机存取存储器(random access memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
可选地,第一处理器1201设置在处理组件1200中。该终端设备还可以包括:通信组件1203,电源组件1204,多媒体组件1205,语音组件1206,输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定,本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令,以完成上述图1所示方法的全部或部分步骤。此外,处理组件1200可以包括一个或多个模块,便于处理组件1200和其他组件之间的交互。例如,处理组件1200可以包括多媒体模块,以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统,一个或多个电源,及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中,显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板,显示屏可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如,语音组件1206包括一个麦克风(MIC),当终端设备处于操作模式,如语音识别模式时,麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中,语音组件1206还包括一个扬声器,用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口,上述外围接口模块可以是点击轮,按钮等。这些按钮可包括但不限于:音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器,用于为终端设备提供各个方面的状态评估。例如,传感器组件1208可以检测到终端设备的打开/关闭状态,组件的相对定位,用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在,包括检测用户与终端设备间的距离。在一些实施例中,该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个实施例中,该终端设备中可以包括SIM卡插槽,该SIM卡插槽用于插入SIM卡,使得终端设备可以登录GPRS网络,通过互联网与服务器建立通信。
由上可知,在图4实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图3实施例中的输入设备的实现方式。
综上所述,本发明一种基于移动机器人的交互导引方法、装置、设备和介质,通过移动终端采集客户行为数据,有利于获取客户清晰的正面图像,可提高识别效率;通过移动终端执行导引任务,减少人工成本;针对批次客户进行分类处理,可有效减少参与识别的数据量,提高工作效率,根据客户关注车辆进行语音播报,更智能化且更有针对性,有利于增强用户体验。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (23)
1.一种基于移动机器人的交互导引方法,其特征在于,包括:
通过移动终端获取导引任务,识别同一批次生物识别特征;
根据所述生物识别特征获取对应的目标对象,获取所述目标对象行为特征数据,并与所述目标对象进行人机交互;其中所述移动终端包括移动机器人。
2.根据权利要求1所述的基于移动机器人的交互导引方法,其特征在于,通过提示信息获取所述生物识别特征的分类情况,根据所述分类情况对所述生物识别特征进行筛选获取目标对象的生物识别特征。
3.根据权利要求1所述的基于移动机器人的交互导引方法,其特征在于,通过所述移动终端识别同一批次生物识别特征,获取对应所述目标对象的到访记录。
4.根据权利要求2所述的基于移动机器人的交互导引方法,其特征在于,所述提示信息包括语音提示信息、文本提示信息。
5.根据权利要求1所述的基于移动机器人的交互导引方法,其特征在于,根据多个场景采集的所述目标对象的图像,获取清晰的生物识别特征。
6.根据权利要求5所述的基于移动机器人的交互导引方法,其特征在于,所述生物识别特征包括人脸特征、发型特征、衣着特征、体态特征。
7.根据权利要求1所述的基于移动机器人的交互导引方法,其特征在于,通过移动终端跟踪所述目标对象的行为轨迹,获取对应的生物识别特征。
8.根据权利要求7所述的基于移动机器人的交互导引方法,其特征在于,通过所述移动终端采集同一批次的所述目标对象的图像,配合展厅中多个场景采集的所述同一批次的所述目标对象的图像,获取所述目标对象的行为特征数据。
9.根据权利要求2所述的基于移动机器人的交互导引方法,其特征在于,获取同一批次的所述目标对象的购买意向,根据所述购买意向对同一批次的所述目标对象进行标注。
10.根据权利要求9所述的基于移动机器人的交互导引方法,其特征在于,根据标注结果采集对应的生物识别特征,并跟踪对应的目标对象的行为轨迹。
11.根据权利要求1所述的基于移动机器人的交互导引方法,其特征在于,根据所述目标对象的行为特征数据识别客户关注商品。
12.根据权利要求11所述的基于移动机器人的交互导引方法,其特征在于,所述目标对象的行为特征数据包括:驻留时间、行动轨迹。
13.根据权利要求12所述的基于移动机器人的交互导引方法,其特征在于,根据所述驻留时间获取关注车辆的语音导引信息并进行语音播放。
14.根据权利要求11所述的基于移动机器人的交互导引方法,其特征在于,根据所述客户关注车辆,采集对应车辆特征,识别车辆获取车辆信息。
15.一种基于移动机器人的交互导引装置,其特征在于,包括:
任务获取模块,用于通过移动终端获取导引任务;
行为识别模块,根据所述生物识别特征获取对应的目标对象,获取所述目标对象行为特征数据;
交互模块,用于与目标对象进行人机交互;其中所述移动终端包括移动机器人。
16.根据权利要求15所述的基于移动机器人的交互导引装置,其特征在于,所述行为识别模块包括图像采集单元、轨迹记录单元和识别单元。
17.根据权利要求16所述的基于移动机器人的交互导引装置,其特征在于,所述识别单元包括人脸识别器、发型识别器、衣着识别器、体态识别器。
18.根据权利要求15所述的基于移动机器人的交互导引装置,其特征在于,包括通信模块,用于在所述移动终端和服务器端进行数据传输。
19.根据权利要求15所述的基于移动机器人的交互导引装置,其特征在于,所述交互模块包括显示单元、语音提示单元、语音播放单元。
20.根据权利要求15所述的基于移动机器人的交互导引装置,其特征在于,包括标注模块,用于获取同一批次所述目标对象的购买意向,根据所述购买意向对同一批次的所述目标对象进行标注。
21.根据权利要求15所述的基于移动机器人的交互导引装置,其特征在于,包括数据记录模块,用于记录执行所述导引任务的过程数据,创建所述目标对象行为数据集。
22.一种计算机可读存储介质,其中存储有计算机程序,其特征在于,所述计算机程序被处理器加载执行时,实现权利要求1至14任一所述的方法。
23.一种设备,其特征在于,包括处理器和存储器;其中,
所述存储器用于存储计算机程序;
所述处理器用于加载并执行所述计算机程序,使得所述设备执行权利要求1至14中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910920510.3A CN110674760A (zh) | 2019-09-27 | 2019-09-27 | 一种基于移动机器人的交互导引方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910920510.3A CN110674760A (zh) | 2019-09-27 | 2019-09-27 | 一种基于移动机器人的交互导引方法、装置、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110674760A true CN110674760A (zh) | 2020-01-10 |
Family
ID=69079506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910920510.3A Pending CN110674760A (zh) | 2019-09-27 | 2019-09-27 | 一种基于移动机器人的交互导引方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110674760A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010043255A1 (de) * | 2008-10-15 | 2010-04-22 | Zuerrer Alper | Mobile vorrichtung zur benutzerbezogenen vermittlung von darstellungsdaten und entsprechendes verfahren |
CN104766040A (zh) * | 2014-01-03 | 2015-07-08 | 科沃斯机器人科技(苏州)有限公司 | 导购机器人系统及该导购机器人顾客识别通知方法 |
CN104915000A (zh) * | 2015-05-27 | 2015-09-16 | 天津科技大学 | 用于裸眼3d广告的多感知生物识别交互方法 |
CN107169797A (zh) * | 2017-05-16 | 2017-09-15 | 京东方科技集团股份有限公司 | 智能导购方法、系统、共享服务器和智能导购机器人 |
CN107844990A (zh) * | 2017-10-31 | 2018-03-27 | 努比亚技术有限公司 | 一种用于智能门店的信息管理方法及其系统、终端设备 |
CN108320178A (zh) * | 2018-01-08 | 2018-07-24 | 深圳豪威显示科技有限公司 | 一种基于人脸识别的广告推送方法和装置 |
CN109345320A (zh) * | 2018-11-24 | 2019-02-15 | 深圳市晓舟科技有限公司 | 客户类型识别系统 |
CN109711892A (zh) * | 2018-12-28 | 2019-05-03 | 浙江百应科技有限公司 | 智能语音对话过程中自动生成客户标签的方法 |
CN109767258A (zh) * | 2018-12-15 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 基于眼部图像识别的智能导购方法及装置 |
-
2019
- 2019-09-27 CN CN201910920510.3A patent/CN110674760A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010043255A1 (de) * | 2008-10-15 | 2010-04-22 | Zuerrer Alper | Mobile vorrichtung zur benutzerbezogenen vermittlung von darstellungsdaten und entsprechendes verfahren |
CN104766040A (zh) * | 2014-01-03 | 2015-07-08 | 科沃斯机器人科技(苏州)有限公司 | 导购机器人系统及该导购机器人顾客识别通知方法 |
CN104915000A (zh) * | 2015-05-27 | 2015-09-16 | 天津科技大学 | 用于裸眼3d广告的多感知生物识别交互方法 |
CN107169797A (zh) * | 2017-05-16 | 2017-09-15 | 京东方科技集团股份有限公司 | 智能导购方法、系统、共享服务器和智能导购机器人 |
CN107844990A (zh) * | 2017-10-31 | 2018-03-27 | 努比亚技术有限公司 | 一种用于智能门店的信息管理方法及其系统、终端设备 |
CN108320178A (zh) * | 2018-01-08 | 2018-07-24 | 深圳豪威显示科技有限公司 | 一种基于人脸识别的广告推送方法和装置 |
CN109345320A (zh) * | 2018-11-24 | 2019-02-15 | 深圳市晓舟科技有限公司 | 客户类型识别系统 |
CN109767258A (zh) * | 2018-12-15 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 基于眼部图像识别的智能导购方法及装置 |
CN109711892A (zh) * | 2018-12-28 | 2019-05-03 | 浙江百应科技有限公司 | 智能语音对话过程中自动生成客户标签的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11638490B2 (en) | Method and device for identifying product purchased by user and intelligent shelf system | |
CN109976506B (zh) | 一种电子设备的唤醒方法、存储介质及机器人 | |
US8351647B2 (en) | Automatic detection and aggregation of demographics and behavior of people | |
CN106548145A (zh) | 图像识别方法及装置 | |
US8462224B2 (en) | Image retrieval | |
CN107679613A (zh) | 一种人员信息的统计方法、装置、终端设备和存储介质 | |
CN111597999A (zh) | 一种基于视频检测的4s店销售服务管理方法和系统 | |
CN104574599A (zh) | 身份验证方法、装置和智能门锁 | |
CN108335317A (zh) | 一种线下导购方法及装置 | |
US10146870B2 (en) | Video playback method and surveillance system using the same | |
CN109658194A (zh) | 一种基于视频追踪的客户推荐方法及系统 | |
CN102054165A (zh) | 图像处理装置及图像处理方法 | |
CN111340569A (zh) | 基于跨境追踪的门店人流分析方法、装置、系统、终端和介质 | |
CN113076903A (zh) | 一种目标行为检测方法、系统、计算机设备及机器可读介质 | |
CN112529939A (zh) | 一种目标轨迹匹配方法、装置、机器可读介质及设备 | |
CN110647825A (zh) | 无人超市物品确定方法、装置、设备及存储介质 | |
CN112036919A (zh) | 数据处理方法、装置及存储介质 | |
AU2017231602A1 (en) | Method and system for visitor tracking at a POS area | |
CN109766821A (zh) | 车辆行车规律分析方法、系统、计算机设备及存储介质 | |
CN110647732B (zh) | 一种基于生物识别特征的语音交互方法、系统、介质和设备 | |
WO2015003287A1 (zh) | 一种行为辨识及追踪系统及其运作方法 | |
TW201502999A (zh) | 一種行為辨識及追蹤系統 | |
CN111461104B (zh) | 视觉识别方法、装置、设备及存储介质 | |
CN110689375A (zh) | 一种基于便携式设备的信息交互方法、系统、设备和介质 | |
Monisha et al. | A real-time embedded system for human action recognition using template matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200110 |