CN111993978B - 一种自动驾驶售货车及其人机交互方法 - Google Patents
一种自动驾驶售货车及其人机交互方法 Download PDFInfo
- Publication number
- CN111993978B CN111993978B CN202010672544.8A CN202010672544A CN111993978B CN 111993978 B CN111993978 B CN 111993978B CN 202010672544 A CN202010672544 A CN 202010672544A CN 111993978 B CN111993978 B CN 111993978B
- Authority
- CN
- China
- Prior art keywords
- purchasing user
- purchasing
- automatic driving
- user
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000001815 facial effect Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 abstract description 18
- 230000005180 public health Effects 0.000 abstract description 10
- 206010011878 Deafness Diseases 0.000 abstract description 8
- 230000004888 barrier function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000006735 deficit Effects 0.000 description 5
- 208000016354 hearing loss disease Diseases 0.000 description 5
- 206010047571 Visual impairment Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 208000029257 vision disease Diseases 0.000 description 3
- 208000011293 voice disease Diseases 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 206010013952 Dysphonia Diseases 0.000 description 1
- 208000016621 Hearing disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 208000011977 language disease Diseases 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
- 208000023180 voice disturbance Diseases 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
- B60P3/00—Vehicles adapted to transport, to carry or to comprise special loads or objects
- B60P3/025—Vehicles adapted to transport, to carry or to comprise special loads or objects the object being a shop, cafeteria or display the object being a theatre or stage
- B60P3/0257—Vehicles adapted to transport, to carry or to comprise special loads or objects the object being a shop, cafeteria or display the object being a theatre or stage the object being a vending stall, restaurant or food kiosk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q5/00—Arrangement or adaptation of acoustic signal devices
- B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F11/00—Coin-freed apparatus for dispensing, or the like, discrete articles
- G07F11/62—Coin-freed apparatus for dispensing, or the like, discrete articles in which the articles are stored in compartments in fixed receptacles
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/005—Language recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Mechanical Engineering (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Public Health (AREA)
- Transportation (AREA)
- General Physics & Mathematics (AREA)
- Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及无人车、自动驾驶及无人驾驶技术领域，提供了一种自动驾驶售货车及其人机交互方法，该人机交互方法包括：识别购买用户和该购买用户的位置；该购买用户进行付款；根据摄像头实时获取的图像，识别出该购买用户的人手位置；将该购买用户购买的物品送到该购买用户的人手位置；通过语音提示该购买用户抬手或张开手掌，并通过摄像头实时获取的图像调整送出的物品坐标，直至该购买用户获得其购买的物品。本发明提供的人机交互方法适用于多种特殊人群(如盲人、聋哑人和行动不便的残疾人)的购物，提高了自动驾驶售货车的实用性，实现了无接触购物，提高了公共卫生安全性。
Description
技术领域
本发明涉及无人车、自动驾驶及无人驾驶领域，具体涉及一种自动驾驶售货车及其人机交互方法。
背景技术
生活中的公共场合，如车站、广场、商场等地，出行人群众多，包括有盲人，盲人通常具备灵敏的触觉和听觉，他们当中有一部分人仅仅是存在视觉障碍，但是没有听觉障碍和语音障碍，他们可在实体店购置水、饮料、零食等商品，可通过借助触觉和听觉进行商品的识别、购买和支付，但这只能借助盲人单方面的灵敏性完成商品交易，盲人在公共场合的实体店购置商品并不方便快捷。
盲人还可通过公共场合的无人售货机进行购物，但现有的无人售货机，其操作流程、操作步骤提示，均是通过触摸人机交互设备进行信息提醒的，盲人根本无法顺利购物，即便是有声音提示，但是盲人依然无法准确地按下触摸人机交互设备的按键。可见，现有的无人售货机，也同样不能给盲人的购物带来方便，同时在当下疫情期间，传统支付方式如现金、刷卡、触摸屏操作等直接或间接接触，会造成一定的卫生安全隐患。
发明内容
为了解决上述技术问题，本发明提供了一种自动驾驶售货车及其人机交互方法，该人机交互方法适用于存在视觉障碍，但是没有听觉障碍和语音障碍的盲人进行购物，提高了自动驾驶售货车的实用性和公共卫生安全性。
一方面本发明提供了一种用于自动驾驶售货车的人机交互方法，其中包括：
识别购买用户和该购买用户的位置；
该购买用户进行付款；
获取该购买用户的手的位置，结合语音提示将购买用户购买的物品送到该购买用户。
优选地，前述获取该购买用户的手的位置，结合语音提示将购买用户购买的物品送到前述购买用户包括：
根据实时获取的图像，识别出该购买用户的手的位置；
将该购买用户购买的物品送到该购买用户的手的位置；
通过语音提示该购买用户抬手或张开手掌，并根据前述图像调整送出的物品坐标，直至该购买用户获得其购买的物品。
优选地，前述将该购买用户购买的物品送到该购买用户的手的位置包括：
根据识别出的购买用户的手的位置，控制机械手臂或移动升降台将该购买用户购买的物品送到该购买用户的手的位置。
优选地，前述根据实时获取的图像，识别出该购买用户的手的位置包括：
根据摄像头实时获取的图像，通过成像控制系统调整摄像头；
并根据前述图像准确识别出该购买用户的手的位置。
优选地，前述购买用户进行付款包括：
实时获取该自动驾驶售货车周围的图像；
对前述图像进行处理识别出该购买用户的人脸图像；以及
通过成像控制系统调整前述摄像头，以获得购买用户清晰完整的正脸图像。
优选地，前述通过成像控制系统调整前述摄像头包括：
根据前述图像切换不同的摄像头，或调整前述摄像头的参数，该参数包括前述摄像头的位置、角度和焦距。
优选地，在识别购买用户和该购买用户的位置后该人机交互方法还包括：
确定该自动驾驶售货车与购买用户的位置之间的距离，如果该距离大于预设距离，自动驾驶售货车以该购买用户的位置规划行进路线，前往该购买用户的位置；
如果该距离小于或等于预设距离，根据该购买用户的位置调整自动驾驶售货车的位置。
另一方面本发明还提供了一种自动驾驶售货车，包括厢体、控制器和位于厢体上的机械手臂或移动升降台，以及
语音识别系统，用于获取购买用户的语音信息和播报该语音识别系统生成的语音提示；
摄像头，用于实时获取该自动驾驶售货车周围的图像；
其中，控制器分别与语音识别系统和摄像头连接，用于：
对前述语音信息进行处理；
根据语音提示和从前述图像中识别出的购买用户的人脸图像完成付款；以及
根据语音提示和从前述图像中识别出购买用户的手的位置，调整机械手臂或移动升降台送出的物品坐标，直到将该购买用户购买的物品送到该购买用户。
优选地，前述自动驾驶售货车还包括：
成像控制系统，与前述摄像头连接，用于根据前述图像切换不同的摄像头，或调整摄像头的参数，该参数包括摄像头的位置、角度和焦距。
优选地，前述自动驾驶售货车还包括：
人机交互设备，用于在该自动驾驶售货车无人机交互的状态下，对该自动驾驶售货车中物品的信息进行文案显示和/或图像展示，并且前述语音识别系统还用于在该自动驾驶售货车无人机交互的状态下，对该自动驾驶售货车中物品的信息进行语音播报。
本发明的有益效果是：本发明提供了一种用于自动驾驶售货车及其人机交互方法，通过识别购买用户和该购买用户的位置；基于根据摄像头实时获取的图像识别出该购买用户的人脸进行付款；并根据摄像头实时获取的图像识别出该购买用户的人手位置；将该购买用户购买的物品送到该购买用户的人手位置；以及通过语音提示该购买用户抬手或张开手掌，并通过摄像头实时获取的图像调整送出的物品坐标，直至该购买用户获得其购买的物品。本发明提供的自动驾驶售货车以车服务人的方式，使购买用户无需移动，根据无接触的人机交互操作即可完成购买，简单便捷，适用于多种特殊人群(存在视觉障碍，但是没有听觉障碍和语音障碍的盲人、存在听觉障碍和语言障碍，但没有视觉障碍的聋哑人和行动不便的残疾人)的购物，提高了自动驾驶售货车的实用性和公共卫生安全性。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚。
图1a和图1b分别示出本发明实施例提供的自动驾驶售货车的结构示意图和自动驾驶售货车中厢体的示意性结构框图；
图2示出本发明实施例提供的一种用于自动驾驶售货车的人机交互方法的流程示意图；
图3示出本发明实施方式一对应的人机交互方法的流程示意图；
图4示出本发明实施方式二对应的人机交互方法的流程示意图；
图5示出本发明实施方式三对应的人机交互方法的流程示意图；
图6示出本发明实施方式四对应的人机交互方法的流程示意图；
图7示出本发明实施方式五对应的人机交互方法的流程示意图；
图8示出本发明实施方式六对应的人机交互方法的流程示意图；
图9示出本发明实施方式七对应的人机交互方法的流程示意图；
图10示出本发明实施方式八对应的人机交互方法的流程示意图；
图11示出本发明实施方式九对应的人机交互方法的流程示意图；
图12示出本发明实施方式十对应的人机交互方法的流程示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以通过不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
下面，参照附图对本发明进行详细说明。
图1a和图1b分别示出本发明实施例提供的自动驾驶售货车的结构示意图和自动驾驶售货车中厢体的示意性结构框图。
参考图1a和图1b，一方面本发明实施例提供了一种自动驾驶售货车10，其包括底盘200和与底盘200连接且位于底盘200上方的厢体100，厢体100上设有机械手臂或移动升降台120，以及位于厢体100上的控制器103、语音识别系统102和摄像头101，其中，语音识别系统102用于获取购买用户的语音信息，以及播报该语音识别系统102生成的语音提示；摄像头101用于实时获取该自动驾驶售货车10周围的图像；而控制器103分别与语音识别系统102和摄像头101连接，用于对前述语音信息进行处理，还有根据语音提示、从前述图像中识别出的购买用户的人脸图像和该购买用户反馈的确认信息完成付款；以及根据语音提示和从前述图像中识别出购买用户的手的位置，调整机械手臂或移动升降台120送出的物品坐标，直到将该购买用户购买的物品送到该购买用户。
在本实施例中，该自动驾驶售货车10还包括位于厢体100上的成像控制系统104，该成像控制系统104与摄像头101连接，用于根据前述图像切换不同的摄像头101，或调整摄像头101的参数，其中，摄像头101的参数包括该摄像头101的位置、角度和焦距。
在本实施例中，该自动驾驶售货车10还包括人机交互设备110，具体的，该人机交互设备110可以是触控显示屏，也可以是带有键盘的显示屏，在此不做限制。该人机交互设备110用于在该自动驾驶售货车10处于无人机交互的状态下，对该自动驾驶售货车10中物品的信息进行文案显示和/或图像展示，并且前述语音识别系统102还可用于在该自动驾驶售货车10处于无人机交互的状态下，对该自动驾驶售货车10中物品的信息进行语音播报。
在本实施例中，该自动驾驶售货车10进入人机交互状态进行工作是从识别购买用户和该购买用户的位置开始的，在本实施例的一种实施场景中，控制器103在识别购买用户阶段，会通过对摄像头101采集到的自动驾驶售货车10周围的图像进行处理，识别购买用户的招手动作，并根据识别结果计算出购买用户距离自动驾驶售货车10的位置，确定自动驾驶售货车10与购买用户的位置的距离，如果该距离大于预设距离，自动驾驶售货车10控制安装于底盘200上的自动驾驶系统以该购买用户的位置规划行进路线，并通过信号控制前往该购买用户的位置；如果该距离小于或等于预设距离，安装于底盘200上的自动驾驶系统根据该购买用户的位置调整自动驾驶售货车10的位置，其中，前述预设距离可依据摄像头101的图像采集范围结合语音识别系统102对采集得到的语音信息根据周围环境通过过滤处理后的可识别程度进行调整，在此不做限定。对调整自动驾驶售货车10的位置的结果，以能够使摄像头101处在便于采集购买用户人脸图像的范围为宜。
在基于人脸识别的支付阶段，控制器103会通过对摄像头101采集到的自动驾驶售货车10周围的环境图像(尤其是包含当前购买用户人脸图像的区域)进行处理，获得该购买用户的人脸图像，对于不同身高、不同站位的适用人群作为购买用户，可根据识别到的人脸图像，以信号控制成像控制系统104对摄像头101进行调整，调整的方式包括但不限于：切换不同的摄像头101，或调整该摄像头101的参数，其中，该参数包括：摄像头101的位置、摄像头101的拍摄角度以及摄像头101的焦距，以期获得该购买用户清晰完整的正脸图像，后通过云端数据处理进行识别认证完成支付，进一步的，在支付前可将购买用户购买的物品信息和对应的支付信息通过转码形成音频信息，通过语音识别系统102生成语音提示进行播报，作为第三方反馈认证，保证购买用户消费的公开性和准确性。
在本实施例的另一种实施场景中，控制器103在识别购买用户阶段，会通过对语音识别系统102获取自动驾驶售货车10周围的购买用户的语音信息，以及根据该购买语音信息确定该购买用户距离自动驾驶售货车10的位置，而后根据获得的二者的位置关系进行的处理过程以及在支付阶段的实现过程与上述实施场景相同，在此不做赘述。
在本实施例的第三种实施场景中，控制器103在识别购买用户阶段，可根据购买用户在移动设备端的软件服务呼叫自动驾驶售货车10确认购买用户，以及通过移动设备端的定位数据经云端处理确定该购买用户距离自动驾驶售货车10的位置，而后根据获得的二者的位置关系进行的处理过程以及在支付阶段的实现过程与前述实施场景相同，在此不做赘述。
此外，本发明实施例提供的自动驾驶售货车10可适应多个群体，对应正常人群，可通过人机交互设备110(如显示屏)的图像、文字信息，和/或语音信息即可完成上述三种实施场景中的购物支付；对于存在视觉障碍，但是没有听觉障碍和语音障碍的盲人，根据上述前两种实施场景的方式即可完成购物支付；对于存在听觉障碍和语言障碍，但没有视觉障碍的聋哑人和行动不便的残疾人，结合人机交互设备110(如显示屏)的图文信息交互完成上述第一和第三实施场景中的购物支付，故本发明提供的自动驾驶售货车实用性强，适用范围广。
综上所述，本发明提供的自动驾驶售货车在人机交互状态，能够为多种特殊人群提供贴心实用的购物方式，操作便捷，实用性强，同时基于当下疫情，通过无接触购物，既方便人们对需求商品的购买，还能满足当下对公共卫生安全性的要求；在无人机交互状态，本发明提供的自动驾驶售货车能通过视频图像播放、文案显示和语音播报中一种或多种结合的方式，对应不同群体，将该自动驾驶售货车中的商品以相应的方式进行宣传，使不同的受众群体都能得到信息获取，提高用户的体验，提高潜在用户的增加效果。
当然，本发明并不限于此，对于正常人群而言，结合人机交互设备110(如触控显示屏)的实时操作，和扫码、刷卡支付的人机交互方式同样适用，其可以极大提高交易效率，满足部分群体快节奏的生活需求。
图2示出本发明实施例提供的一种用于自动驾驶售货车的人机交互方法的流程示意图。
本发明另一方面还提供了一种用于自动驾驶售货车的人机交互方法，如图2所示，其包括：
识别购买用户和该购买用户的位置；
该购买用户进行付款；
获取该购买用户的手的位置，结合语音提示将购买用户购买的物品送到该购买用户。
具体的，前述识别购买用户和该购买用户的位置包括：
通过摄像头采集自动驾驶售货车周围的图像；
根据该环境图像识别出自动驾驶售货车周围该购买用户的招手动作和计算该购买用户距离自动驾驶售货车的位置；
或者，通过该语音识别系统获取自动驾驶售货车周围的购买用户的语音信息，以及根据该购买语音信息确定该购买用户的位置；
或者，根据用户在移动设备端的软件服务对自动驾驶售货车的呼叫指令确认购买用户，以及通过定位确定该购买用户的位置。
进一步的，前述获取该购买用户的手的位置，结合语音提示将购买用户购买的物品送到前述购买用户包括：
根据实时获取的图像识别出该购买用户的手的位置；
将该购买用户购买的物品送到该购买用户的手的位置；
通过语音提示该购买用户抬手或张开手掌，并根据前述图像调整送出的物品坐标，直至该购买用户获得其购买的物品。
进一步的，前述将该购买用户购买的物品送到该购买用户的手的位置包括根据识别出的购买用户的手的位置，控制机械手臂或移动升降台将该购买用户购买的物品送到该购买用户的手的位置。
进一步的，前述根据实时获取的图像识别出该购买用户的手的位置包括：
根据摄像头实时获取的图像，通过成像控制系统调整摄像头；
并根据前述图像准确识别出该购买用户的手的位置。
进一步的，前述购买用户进行付款包括：
实时获取该自动驾驶售货车周围的图像；
对前述图像进行处理识别出该购买用户的人脸图像；以及
通过成像控制系统调整前述摄像头，以获得购买用户清晰完整的正脸图像。
进一步的，前述通过成像控制系统调整摄像头包括：
根据人脸图像切换不同的摄像头，或调整摄像头的参数，其中，该参数包括该摄像头的位置、角度和焦距。
进一步的，在识别购买用户和该购买用户的位置后，该人机交互方法还包括：
确定自动驾驶售货车与购买用户的位置的距离，如果该距离大于预设距离，自动驾驶售货车以该购买用户的位置规划行进路线，前往该购买用户的位置；
如果该距离小于或等于预设距离，根据该购买用户的位置调整自动驾驶售货车的位置。
本发明提供的自动驾驶售货车以车服务人的方式，使用户无需移动，仅根据动作、语音和/或移动设备端的操作即可完成无接触购买，其操作方式简单便捷，适用于存在视觉障碍，但是没有听觉障碍和语音障碍的盲人进行购物，提高了自动驾驶售货车的实用性和公共卫生安全性。
具体的，如图3所示，本发明实施方式一对应的自动驾驶售货车的人机交互方法包括：
通过摄像头实时获取自动驾驶售货车周围的图像；
根据该图像识别出自动驾驶售货车周围购买用户的招手动作和计算该购买用户距离自动驾驶售货车的位置；
确定自动驾驶售货车与购买用户的位置的距离，如果该距离大于预设距离，自动驾驶售货车以该购买用户的位置规划行进路线，前往该购买用户的位置；
向识别出的购买用户发出语音提示，通过语音识别系统获取该购买用户的语音信息，并根据该语音信息识别购买用户购买的物品信息；
通过对摄像头实时获取的图像处理识别出该购买用户的人脸图像；
根据人脸图像切换不同的摄像头，或调整摄像头的参数，通过成像控制系统调整摄像头，以获得用户清晰完整的人脸图像；
通过语音提示和该购买用户反馈的确认信息完成支付；
根据前述图像准确识别出该购买用户的手的位置，而后根据识别出的购买用户的手的位置；
控制机械手臂或移动升降台将该购买用户购买的物品送到该购买用户的手的位置；
通过语音提示该购买用户抬手或张开手掌，并根据前述图像调整送出的物品坐标，直至该购买用户获得其购买的物品。
在本实施方式中，结合前述图1a和图1b所示实施例，在第一阶段，通过对摄像头101实时获取的自动驾驶售货车10周围的图像进行处理，识别出购买用户的招手动作，并根据识别结果计算出购买用户距离自动驾驶售货车10的位置，确定自动驾驶售货车10与购买用户的位置的距离，如果该距离大于预设距离，自动驾驶售货车10控制安装于底盘200上的自动驾驶系统以该购买用户的位置规划行进路线，并通过信号控制前往该购买用户的位置；其中，前述预设距离可依据摄像头101的图像采集范围结合语音识别系统102对采集得到的语音信息结合周围环境通过过滤处理后的可识别程度进行调整，在此不做限定。对自动驾驶售货车10到达购买用户位置的结果，以能够使摄像头101处在便于采集购买用户人脸图像的范围为宜。
第二阶段，通过对摄像头101实时获取的图像(尤其是包含当前购买用户人脸图像的区域)进行处理，获得该购买用户的人脸图像，对于不同身高、不同站位的适用人群作为购买用户，可根据识别到的人脸图像，以信号控制成像控制系统104对摄像头101进行调整，调整的方式包括但不限于：切换不同的摄像头101，或调整该摄像头101的参数，其中，该参数包括：摄像头101的位置、摄像头101的拍摄角度以及摄像头101的焦距，以期获得该购买用户清晰完整的正脸图像，后通过云端数据处理进行识别认证完成支付，进一步的，在支付前可将购买用户购买的物品信息和对应的支付信息通过转码形成音频信息，通过语音识别系统102生成语音提示进行播报，作为第三方反馈认证，保证购买用户消费的公开性和准确性。
完成付款后，根据摄像头101实时获取的图像，通过成像控制系统104调整摄像头101，根据前述图像准确识别出该购买用户的手的位置，而后根据识别出的购买用户的手的位置，控制机械手臂或移动升降台120将该购买用户购买的物品送到该购买用户的手的位置，再通过语音提示该购买用户抬手或张开手掌，并根据前述图像调整送出的物品坐标，直至该购买用户获得其购买的物品，使购买用户无需移动和额外操作即可完成购买并获取物品。
基于上述实施方式，本发明提供的用于自动驾驶售货车的人机交互方法以车服务人的方式，使购买用户无需移动，仅根据招手动作即可使自动驾驶售货车来到近前，通过语音交互就能完成无接触购买，其操作方式简单便捷，能够为特殊人群(存在视觉障碍，但是没有听觉障碍和语音障碍的盲人、存在听觉障碍和语言障碍，但没有视觉障碍的聋哑人和行动不便的残疾人)提供贴心实用的购物方式，实用性强，同时基于当下疫情，通过无接触购物，既方便人们对需求商品的购买，还能满足当下对公共卫生安全性的要求。
实施方式二：
本发明实施方式二对应的自动驾驶售货车的人机交互方法如图4所示。
具体的，本实施方式提供的自动驾驶售货车的人机交互方法基本采用与上述实施方式一相同的步骤。
区别在于：如果自动驾驶售货车与购买用户的位置的距离小于或等于预设距离，通过安装于底盘200上的自动驾驶系统根据该购买用户的位置调整自动驾驶售货车10的位置，对自动驾驶售货车10调整位置的结果，以能够使摄像头101处在便于采集购买用户人脸图像的范围为宜。
基于上述实施方式，本发明提供的用于自动驾驶售货车的人机交互方法在购买用户无需移动的状态下，仅根据招手动作和语音交互即可使自动驾驶售货车通过调整自身状态以很好的服务使购买用户完成无接触购买，其操作方式简单便捷，能够为特殊人群(存在视觉障碍，但是没有听觉障碍和语音障碍的盲人、存在听觉障碍和语言障碍，但没有视觉障碍的聋哑人和行动不便的残疾人)提供贴心实用的购物方式，实用性强，同时基于当下疫情，通过无接触购物，既方便人们对需求商品的购买，还能满足当下对公共卫生安全性的要求。
实施方式三：
本发明实施方式三对应的自动驾驶售货车的人机交互方法如图5所示。
具体的，本实施方式提供的自动驾驶售货车的人机交互方法基本采用与上述实施方式一相同的步骤。
区别在于：该实施方式确认购买用户及其位置的方式是：通过语音识别系统获取自动驾驶售货车周围的购买用户的语音信息，以及根据该购买语音信息确定该购买用户距离自动驾驶售货车的位置。
该自动驾驶售货车10到达位置的结果，以能够使摄像头101处在便于采集购买用户人脸图像的范围结合语音识别系统102对采集得到的语音信息根据周围环境通过过滤处理后的可识别程度的范围为宜。
基于上述实施方式，本发明提供的用于自动驾驶售货车的人机交互方法在购买用户无需移动的状态下，仅根据语音交互即可使位于自己附近一定范围内的自动驾驶售货车来到近前并以很好的服务使购买用户完成无接触购买，其操作方式简单便捷，能够为特殊人群(存在视觉障碍，但是没有听觉障碍和语音障碍的盲人和行动不便的残疾人)提供贴心实用的购物方式，实用性强，同时基于当下疫情，通过无接触购物，既方便人们对需求商品的购买，还能满足当下对公共卫生安全性的要求。
实施方式四：
本发明实施方式四对应的自动驾驶售货车的人机交互方法如图6所示。
具体的，本实施方式提供的自动驾驶售货车的人机交互方法基本采用与上述实施方式五相同的步骤。
区别在于：如果自动驾驶售货车10与购买用户的位置的距离小于或等于预设距离，安装于底盘200上的自动驾驶系统根据该购买用户的位置调整自动驾驶售货车10的位置，对自动驾驶售货车10调整位置的结果，以能够使摄像头101处在便于采集购买用户人脸图像的范围结合语音识别系统102对采集得到的语音信息根据周围环境通过过滤处理后的可识别程度的范围为宜。
基于上述实施方式，本发明提供的用于自动驾驶售货车的人机交互方法在购买用户无需移动的状态下，仅根据语音交互即可使位于自己附近一定范围内的自动驾驶售货车通过调整自身状态以很好的服务使购买用户完成无接触购买，其操作方式简单便捷，能够为特殊人群(存在视觉障碍，但是没有听觉障碍和语音障碍的盲人和行动不便的残疾人)提供贴心实用的购物方式，实用性强，同时基于当下疫情，通过无接触购物，既方便人们对需求商品的购买，还能满足当下对公共卫生安全性的要求。
实施方式五：
本发明实施方式五对应的自动驾驶售货车的人机交互方法如图7所示。
具体的，本实施方式提供的自动驾驶售货车的人机交互方法基本采用与上述实施方式三相同的步骤。
区别在于：该实施方式确认购买用户及其位置的方式是：根据用户在移动设备端的软件服务对该自动驾驶售货车的呼叫指令确认购买用户，以及通过定位确定该购买用户距离自动驾驶售货车的位置。
基于上述实施方式，本发明提供的用于自动驾驶售货车的人机交互方法在购买用户无需移动的状态下，仅根据移动设备端的软件操作和语音交互即可使自动驾驶售货车来到近前并以很好的服务使购买用户完成无接触购买，其操作方式简单便捷，能够为特殊人群(存在听觉障碍和语言障碍，但没有视觉障碍的聋哑人和行动不便的残疾人)提供贴心实用的购物方式，实用性强，同时基于当下疫情，通过无接触购物，既方便人们对需求商品的购买，还能满足当下对公共卫生安全性的要求。
实施方式六：
本发明实施方式六对应的自动驾驶售货车的人机交互方法如图8所示。
具体的，本实施方式提供的自动驾驶售货车的人机交互方法基本采用与上述实施方式五相同的步骤。
区别在于：如果自动驾驶售货车10与购买用户的位置的距离小于或等于预设距离，安装于底盘200上的自动驾驶系统根据该购买用户的位置调整自动驾驶售货车10的位置，对自动驾驶售货车10调整位置的结果，以能够使摄像头101处在便于采集购买用户人脸图像的范围结合语音识别系统102对采集得到的语音信息根据周围环境通过过滤处理后的可识别程度的范围为宜。
基于上述实施方式，本发明提供的用于自动驾驶售货车的人机交互方法在购买用户无需移动的状态下，仅根据移动设备端的软件操作和语音交互即可使自动驾驶售货车通过调整自身状态以很好的服务使购买用户完成无接触购买，其操作方式简单便捷，能够为特殊人群(存在听觉障碍和语言障碍，但没有视觉障碍的聋哑人和行动不便的残疾人)提供贴心实用的购物方式，实用性强，同时基于当下疫情，通过无接触购物，既方便人们对需求商品的购买，还能满足当下对公共卫生安全性的要求。
实施方式七：
本发明实施方式七对应的自动驾驶售货车的人机交互方法如图9所示。
具体的，本实施方式提供的自动驾驶售货车的人机交互方法基本采用与上述实施方式六相同的步骤。
区别在于：该实施方式确认购买用户购买物品的方式是通过人机交互设备向识别出的购买用户发出文字或图像提示，通过购买用户在交互设备的操作指令获取该购买用户购买的物品信息；以及
在获得购买用户清晰完整的人脸图像后，通过购买用户在人机交互设备或移动设备端的软件操作完成支付。
基于上述实施方式，本发明提供的用于自动驾驶售货车的人机交互方法在购买用户无需移动的状态下，根据移动设备端的软件操作和语音交互即可使自动驾驶售货车来到近前并以很好的服务购买用户，并通过在人机交互设备上的操作指令快速选定需求的物品，以及通过在人机交互设备或移动设备端的软件操作完成基于人脸识别的支付购买(或在移动设备端软件的密码支付等)，其操作方式简单便捷，能够为特殊人群(存在听觉障碍和语言障碍，但没有视觉障碍的聋哑人和行动不便的残疾人)提供贴心实用的购物方式，实用性强。
同时需要说明的是，上述实施方式二和实施方式四同样可采取类似的变形，以获取高效率的物品购买，具体的可对应结合参考实施方式七理解，在此不做赘述。
实施方式八：
本发明实施方式八对应的自动驾驶售货车的人机交互方法如图10所示。
具体的，本实施方式提供的自动驾驶售货车的人机交互方法基本采用与上述实施方式七相同的步骤。
区别在于：该实施方式中如果自动驾驶售货车10与购买用户的位置的距离大于预设距离，安装于底盘200上的自动驾驶系统以该购买用户的位置规划行进路线，并前往该购买用户的位置。
该自动驾驶售货车10到达位置的结果，以能够使摄像头101处在便于采集购买用户人脸图像的范围结合语音识别系统102对采集得到的语音信息根据周围环境通过过滤处理后的可识别程度的范围为宜。
基于上述实施方式，本发明提供的用于自动驾驶售货车的人机交互方法在购买用户无需移动的状态下，根据移动设备端的软件操作和语音交互即可使自动驾驶售货车来到近前并以很好的服务购买用户，并通过在人机交互设备上的操作指令快速选定需求的物品，以及通过在人机交互设备或移动设备端的软件操作完成基于人脸识别的支付购买(或在移动设备端软件的密码支付等)，其操作方式简单便捷，能够为特殊人群(存在听觉障碍和语言障碍，但没有视觉障碍的聋哑人和行动不便的残疾人)提供贴心实用的购物方式，实用性强。
同时需要说明的是，上述实施方式一和实施方式三同样可采取类似的变形，以获取高效率的物品购买，具体的可对应结合参考实施方式七理解，在此不做赘述。
实施方式九：
本发明实施方式九对应的自动驾驶售货车的人机交互方法如图11所示。
具体的，本实施方式提供的自动驾驶售货车的人机交互方法基本采用与上述实施方式七相同的步骤。
区别在于：该实施方式中在完成支付后，通过控制机械手臂或移动升降台120将该购买用户购买的物品送到该购买用户的位置附近，由该购买用户动作获得其购买的物品。
基于上述实施方式，本发明提供的用于自动驾驶售货车的人机交互方法根据移动设备端的软件操作和语音交互即可使自动驾驶售货车来到近前并以很好的服务购买用户，并通过在人机交互设备上的操作指令快速选定需求的物品，完成购买，其操作方式简单便捷，能够为特殊人群(存在听觉障碍和语言障碍，但没有视觉障碍和行动障碍的聋哑人)提供高效实用的购物方式，实用性强。
实施方式十：
本发明实施方式十对应的自动驾驶售货车的人机交互方法如图12所示。
具体的，本实施方式提供的自动驾驶售货车的人机交互方法包括：
通过摄像头采集自动驾驶售货车周围的环境图像，对该环境图像进行处理未识别出有购买用户的人脸图像和招手动作，同时通过语音识别系统未获取到自动驾驶售货车周围有购买用户的语音信息，并且未获取到移动设备端软件服务的呼叫指令，则确定该自动驾驶售卖车处于无人机交互的状态；
通过人机交互设备对该自动驾驶售货车中物品的信息进行文案显示和/或图像展示，并且通过语音识别系统对该自动驾驶售货车中物品的信息进行语音播报。
在本实施方式中，在根据上述三种条件均满足的情况下，才能确认该自动驾驶售货车处于无人机交互状态，而后该自动驾驶售货车能通过人机交互设备(如显示屏)进行视频图像播放和文案显示，以及通过语音识别系统对该自动驾驶售货车中物品的信息进行语音播报，这三种宣传方式中任意一种或多种结合的方式，都可对应不同受众群体，将该自动驾驶售货车中的商品以相应的方式进行宣传，使不同的受众群体都能得到信息获取，提高用户的体验，提高潜在用户的增加效果。
当然，本发明并不限于此，对于正常人群而言，结合人机交互设备(如触控显示屏)的实时操作，和扫码、刷卡支付的人机交互方式同样适用，其可以极大提高交易效率，满足部分群体快节奏的生活需求。
应当说明的是，在本发明的描述中，需要理解的是，术语“上”、“下”、“内”等指示方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，在本文中，所含术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。
Claims (9)
1.一种用于自动驾驶售货车的人机交互方法，其中，包括：
识别购买用户和该购买用户的位置；
所述购买用户进行付款；
获取所述购买用户的手的位置，结合语音提示将所述购买用户购买的物品送到所述购买用户手上，
其中，所述获取所述购买用户的手的位置，结合语音提示将所述购买用户购买的物品送到所述购买用户包括：
根据实时获取的图像，识别出所述购买用户的手的位置；
将所述购买用户购买的物品送到所述购买用户的手的位置；
通过语音提示该购买用户抬手或张开手掌，并根据所述图像调整送出的物品坐标，直至所述购买用户获得所述物品。
2.根据权利要求1所述的人机交互方法，其中，所述将所述购买用户购买的物品送到所述购买用户的手的位置包括：
根据识别出的所述购买用户的手的位置，控制机械手臂或移动升降台将所述购买用户购买的物品送到所述购买用户的手的位置。
3.根据权利要求1所述的人机交互方法，其中，所述根据实时获取的图像，识别出所述购买用户的手的位置包括：
根据摄像头实时获取的图像，通过成像控制系统调整所述摄像头；
并根据所述图像准确识别出所述购买用户的手的位置。
4.根据权利要求1所述的人机交互方法，其中，所述购买用户进行付款包括：
实时获取所述自动驾驶售货车周围的图像；
对所述图像进行处理识别出所述购买用户的人脸图像；以及
通过成像控制系统调整摄像头，以获得所述购买用户清晰完整的正脸图像。
5.根据权利要求3或4所述的人机交互方法，其中，所述通过成像控制系统调整所述摄像头包括：
根据所述图像切换不同的摄像头，或调整所述摄像头的参数，所述参数包括所述摄像头的位置、角度和焦距。
6.根据权利要求1所述的人机交互方法，其中，在识别购买用户和该购买用户的位置后，所述人机交互方法还包括：
确定所述自动驾驶售货车与所述购买用户的位置之间的距离，如果该距离大于预设距离，所述自动驾驶售货车以该购买用户的位置规划行进路线，前往该购买用户的位置；
如果该距离小于或等于预设距离，根据所述购买用户的位置调整所述自动驾驶售货车的位置。
7.一种自动驾驶售货车，包括厢体、控制器和位于所述厢体上的机械手臂或移动升降台，以及
语音识别系统，用于获取购买用户的语音信息和播报所述语音识别系统生成的语音提示；
摄像头，用于实时获取所述自动驾驶售货车周围的图像；
其中，所述控制器分别与所述语音识别系统和所述摄像头连接，用于：
对所述语音信息进行处理；
根据语音提示和从所述图像中识别出的所述购买用户的人脸图像完成付款；以及
根据语音提示和从所述图像中识别出的所述购买用户的手的位置，调整所述机械手臂或移动升降台送出的物品坐标，直到将所述购买用户购买的物品送到所述购买用户。
8.根据权利要求7所述的自动驾驶售货车，其中，还包括：
成像控制系统，与所述摄像头连接，用于根据所述图像切换不同的摄像头，或调整所述摄像头的参数，所述参数包括所述摄像头的位置、角度和焦距。
9.根据权利要求7所述的自动驾驶售货车，其中，还包括：
人机交互设备，用于在所述自动驾驶售货车无人机交互的状态下，对所述自动驾驶售货车中物品的信息进行文案显示和/或图像展示，并且所述语音识别系统还用于在所述自动驾驶售货车无人机交互的状态下，对所述自动驾驶售货车中物品的信息进行语音宣传播报。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010672544.8A CN111993978B (zh) | 2020-07-14 | 2020-07-14 | 一种自动驾驶售货车及其人机交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010672544.8A CN111993978B (zh) | 2020-07-14 | 2020-07-14 | 一种自动驾驶售货车及其人机交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111993978A CN111993978A (zh) | 2020-11-27 |
| CN111993978B true CN111993978B (zh) | 2022-11-29 |
Family
ID=73467654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010672544.8A Active CN111993978B (zh) | 2020-07-14 | 2020-07-14 | 一种自动驾驶售货车及其人机交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111993978B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112249036B (zh) * | 2020-12-23 | 2021-03-30 | 新石器慧义知行智驰(北京)科技有限公司 | 无人车停靠方法、控制装置及存储介质 |
| CN113395677B (zh) * | 2021-08-17 | 2021-11-30 | 新石器慧通（北京）科技有限公司 | 基于无人车的交互方法、装置、电子设备及存储介质 |
| GB2617435A (en) * | 2022-04-06 | 2023-10-11 | Xtend Ai Inc | Robotic device for distributing designated items |
| CN114770504B (zh) * | 2022-04-26 | 2024-01-30 | 深圳优地科技有限公司 | 机器人控制方法、装置、机器人及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107993128A (zh) * | 2017-12-08 | 2018-05-04 | 北京州科技有限公司 | 一种基于互联网的购物方法 |
| CN108629896A (zh) * | 2018-05-03 | 2018-10-09 | 尹少斌 | 一种机器人智能售货机及无人商超 |
| CN109109857A (zh) * | 2018-09-05 | 2019-01-01 | 深圳普思英察科技有限公司 | 一种无人驾驶售货车及其停车方法与装置 |
| CN210377661U (zh) * | 2019-09-12 | 2020-04-21 | 深圳市厚朴文化传媒有限公司 | 新能源移动饮品售卖机 |
| CN210864913U (zh) * | 2020-02-27 | 2020-06-26 | 新石器慧通（北京）科技有限公司 | 售货无人车 |
| CN111230902A (zh) * | 2020-03-11 | 2020-06-05 | 吉帝机器人科技(深圳)有限公司 | 一种可移动自动贩售机器人 |
-
2020
- 2020-07-14 CN CN202010672544.8A patent/CN111993978B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111993978A (zh) | 2020-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111993978B (zh) | 一种自动驾驶售货车及其人机交互方法 | |
| JP7034502B2 (ja) | 自動運転車及び自動運転車用プログラム | |
| US11535264B2 (en) | Method for operating a motor vehicle | |
| CN207558203U (zh) | 自动停车系统 | |
| US20200394393A1 (en) | Gesture Control for Communication with an Autonomous Vehicle on the Basis of a Simple 2D Camera | |
| US10304105B2 (en) | Shopping guide robot system and customer identification notification method of shopping guide robot | |
| WO2019094515A1 (en) | Sound processing method and interactive device | |
| CN109703607A (zh) | 一种智能行李车 | |
| TW201007200A (en) | Automatic ultrasonic and computer-vision navigation device and method using the same | |
| CN108748218A (zh) | 基于机器视觉与ar技术的新零售智能导购机器人及导购方法 | |
| JP2012086348A (ja) | 自律移動サービス提供システム | |
| CN106251636A (zh) | 一种停车场手机二维码识别系统 | |
| KR102298171B1 (ko) | 자율주행차량의 운행정보 출력 제어 장치 및 방법 | |
| CN112896193B (zh) | 一种汽车远程辅助驾驶系统及方法 | |
| US20220101633A1 (en) | Boarding permission determination device and boarding permission determination method | |
| JP2007152442A (ja) | ロボット案内システム | |
| CA3072243A1 (en) | Vehicle identification method and system for providing authentication and notification | |
| US20220242430A1 (en) | Vehicle information display system, vehicle information display device, and vehicle control system | |
| JP2018169787A (ja) | 自律型モビリティシステムおよび自律型モビリティの制御方法 | |
| WO2018035641A1 (zh) | 一种停车场手持终端二维码识别支付方法 | |
| US20190337442A1 (en) | Showing a Target Vehicle Opening Fore Zone of an Automated Vehicle | |
| WO2019213800A1 (zh) | 一种智能扫描识别装置、方法及系统 | |
| CN210757755U (zh) | 慈善募捐机器人 | |
| CN114495074A (zh) | 一种交通工具的控制方法及装置、电子设备和存储介质 | |
| CN113741458A (zh) | 一种机器人现场求助跟随或手势指导的行驶方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220119 Address after: Room 613, floor 6, zone 2, building a, No. 12, Hongda North Road, Beijing Economic and Technological Development Zone, Changping District, Beijing 100176 Applicant after: NEOLIX TECHNOLOGIES Co.,Ltd. Address before: 314100 No.74, 2nd floor, building B1, 555 Chuangye Road, Dayun Town, Jiashan County, Jiaxing City, Zhejiang Province Applicant before: Jiashan Neolithic Zhiniu Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |