CN111540222A - 基于无人车的智能交互方法、装置及无人车 - Google Patents

基于无人车的智能交互方法、装置及无人车 Download PDF

Info

Publication number
CN111540222A
CN111540222A CN202010302798.0A CN202010302798A CN111540222A CN 111540222 A CN111540222 A CN 111540222A CN 202010302798 A CN202010302798 A CN 202010302798A CN 111540222 A CN111540222 A CN 111540222A
Authority
CN
China
Prior art keywords
unmanned vehicle
pedestrian
information
analysis
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010302798.0A
Other languages
English (en)
Inventor
赵怀远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neolix Technologies Co Ltd
Original Assignee
Neolix Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neolix Technologies Co Ltd filed Critical Neolix Technologies Co Ltd
Priority to CN202010302798.0A priority Critical patent/CN111540222A/zh
Publication of CN111540222A publication Critical patent/CN111540222A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/048Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Abstract

本发明公开了一种基于无人车的智能交互方法、装置及无人车,涉及无人驾驶、自动驾驶领域。本发明通过获取无人车周围的环境信息;根据所述环境信息获取无人车周围的行人信息,并基于所述行人信息控制所述无人车与行人进行交互;以及收集所述无人车的行驶数据,对所述行驶数据进行数据分析,并根据分析结果获得分析报告,解决了无人车线下运营中的人机交互问题,实现了更加准确的行为预测与商业预测。

Description

基于无人车的智能交互方法、装置及无人车
技术领域
本发明涉及无人车技术领域,具体涉及一种基于无人车的智能交互方法、装置及无人车。
背景技术
无人驾驶汽车(下述简称无人车)是智能汽车的一种,也称为轮式移动机器人,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶目标。也是通过车载传感系统感知道路环境,自动规划行车路线并控制车辆到达预定目标的智能汽车。
在新时代的物联网人机交互潮流下,无人车除了单方面的在道路上“正常行走”之外,还需要在“行走”过程中,在无工作人员接触的情况下,自主的与道路中接触到的行人进行沟通交互,实现真正的无人化运作。
而现有的单一的无人车只能够实现在常规道路上运行,对于过往的行人无法做出准确的识别,更无法实现真正的人机交互。同时对于无人车行驶中的行驶数据无法做出准确的收集,不利于进行商业分析。
因此,有必要提供改进的技术方案以克服现有技术中存在的以上技术问题。
发明内容
为了解决上述技术问题,本发明提供了一种基于无人车的智能交互方法、装置及无人车,解决了无人车线下运营中的人机交互问题,实现了更加准确的行为预测与商业预测。
根据本发明提供的一种基于无人车的智能交互方法,包括:获取无人车周围的环境信息;根据所述环境信息获取无人车周围的行人信息,并基于所述行人信息控制所述无人车与行人进行交互;以及收集所述无人车的行驶数据,对所述行驶数据进行数据分析,并根据分析结果获得分析报告。
可选地,所述行驶数据包括所述环境信息,以及所述无人车与行人交互的数据中的至少之一,和/或所述分析报告包括受众群体分析和分布路线分析,其中,所述受众群体分析包括数量分析、性别比例分析、年龄段分布分析和需求比例分析中的至少之一。
可选地,对所述行驶数据进行数据分析之前还包括:检测并去除所述行驶数据中的重复数据。
可选地,收集所述无人车的行驶数据,对所述行驶数据进行数据分析之后还包括:根据分析结果更新交互数据库,并将更新后的交互数据库上传至云服务器,所述无人车依据所述交互数据库识别行人的行人信息,其中,所述行人信息包括动作信息、年龄信息、外貌信息、性别信息和声音信息中的至少之一。
可选地,根据分析结果获得分析报告之后还包括:在所述无人车与行人每完成预订次数交互后,或者在预定时间段内,将所述分析报告上传至云服务器,由所述云服务器对每一无人车的所述分析报告进行统计分析后,制定每辆所述无人车的行驶规划。
可选地,根据所述环境信息获取无人车周围的行人信息,并基于所述行人信息控制所述无人车与行人进行交互包括:对所述环境信息进行数据分析,以识别获取所述环境信息中行人的行进方向;对所述环境信息中表征行进方向为靠近所述无人车的行人的环境信息进行进一步的数据分析,以识别获取行进方向为靠近所述无人车的行人的行人信息,并基于所述行人信息控制所述无人车与行人进行交互,其中,所述环境信息包括视频图像数据、音频图像数据和位置检测数据中的至少之一。
可选地,对所述环境信息中表征行进方向为靠近所述无人车的行人的环境信息进行进一步的数据分析,以识别获取行进方向为靠近所述无人车的行人的行人信息,并基于所述行人信息控制所述无人车与行人进行交互包括以下中的至少之一:从所述环境信息中检测到行人做出与交互数据库中预存动作相同的动作且超过预定时长和/或预定次数,控制所述无人车完成与所述预存动作对应的控制指令;从所述环境信息中检测到行人发出包含有交互数据库中预存关键词的语音内容且与所述行人经过确认后,控制所述无人车完成与所述预存关键字对应的控制指令,或选择与所述预存关键字对应售卖货物,或识别与所述预存关键字对应的数量信息;从所述环境信息中检测到行人行至所述无人车周围预定范围内并停留超过预定时长,控制所述无人车根据所述行人的外貌特征、语言特征、结伴情况和当前场景特征,选择对应的语音内容、语音模拟对象、语言类型、语速和音量大小与所述行人进行语音交互,或选择通过显示屏幕输出相应的文字内容与所述行人进行交互;从所述环境信息中检测到行人做出与交互数据库中预存手势相同的手势且超过预定时长和/或预定次数,控制所述无人车识别与所述预存手势对应的数量信息。
可选地,获取无人车周围的环境信息之前还包括:通过显示屏幕实时显示当前无人车的类型、无人车内部环境、无人车内售卖货物的价格和/或优惠信息、功能、安全性能、当前行驶速度、行驶趋势和通行提示中的至少之一。
根据本发明提供的一种基于无人车的智能交互装置,所述装置包括:至少一个数据识别单元,用于依据交互数据库从环境信息中识别获取行人的行人信息;指令发送单元,用于基于所述行人信息向车载控制装置发送控制指令以控制所述无人车与行人进行交互;数据存储单元,用于存储所述无人车的行驶数据;数据处理单元,用于对所述无人车的行驶数据进行数据分析,以根据分析结果获得分析报告;数据更新单元,用于根据所述数据处理单元的分析结果更新所述交互数据库,其中,所述行驶数据包括所述环境信息,以及所述无人车与行人交互的数据中的至少之一,和/或所述分析报告包括受众群体分析和分布路线分析,以及所述受众群体分析包括数量分析、性别比例分析、年龄段分布分析和需求比例分析中的至少之一。
根据本发明提供的一种无人车,所述无人车包括:至少一个环境信息采集装置,用于采集所述无人车周围的环境信息;车载控制装置,用于接收控制指令以控制所述无人车与行人进行交互;显示屏幕和语音播放装置,用于根据相应的控制指令实现所述无人车与行人的交互;以及如上述的基于无人车的智能交互装置,其中,所述环境信息采集装置包括视频图像采集装置、音频采集装置、雷达测距装置和红外感测装置中的至少之一。
本发明的有益效果是:本发明公开了一种基于无人车的智能交互方法、装置及无人车,通过从采集无人车周围的环境信息以识别行人的行人信息,实现了在无人车线下运营且无工作人员接触的情况下,自主的与道路中接触到的行人进行交互,同时通过收集无人车的行驶数据,并进行数据分析后获得分析报告,有利于对无人车和受众群体进行商业分析和预测,实现更高的商业效益和更好的商业发展。
应当说明的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述以及其他目的、特征和优点将更为清楚。
图1(a)和图1(b)示出本发明第一实施例提供的基于无人车的智能交互方法的流程图。
图2示出本发明第二实施例提供的基于无人车的智能交互方法的流程图。
图3示出本发明第三实施例提供的基于无人车的智能交互方法的流程图。
图4示出本发明第四实施例提供的基于无人车的智能交互方法的流程图。
图5示出本发明第五实施例提供的基于无人车的智能交互方法的流程图。
图6示出本发明第六实施例提供的基于无人车的智能交互方法的流程图。
图7示出本发明第七实施例提供的基于无人车的智能交互方法的流程图。
图8示出本发明第八实施例提供的基于无人车的智能交互方法的流程图。
图9示出本发明实施例提供的基于无人车的智能交互装置的系统框图。
图10示出本发明实施例提供的无人车与行人之间的交互示意图。
附图说明:1-无人车;2-行人。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是,本发明可以通过不同的形式来实现,并不限于本文所描述的实施例。相反的,提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
下面,参照附图对本发明进行详细说明。
实施例一:
本实施例提供的基于无人车的智能交互方法如图1(a)和图1(b)所示,其中,参见图10,无人车的智能交互发生于无人车1与待交互对象之间,图10示出了以行人2作为示例性的待交互对象。但可以理解的是,本发明的应用场景并不限于该示例性的实施例,对于车辆(如人为驾驶的车辆和无人驾驶车辆等)作为的待交互对象,本发明的技术方案亦同样适用。
具体的,本实施例提供的基于无人车的智能交互方法包括执行如下步骤:
在步骤S1中,获取无人车周围的环境信息。为实现无人车的智能交互,首先必须的就是要让无人车“知道”待交互对象(行人或车辆)的信息(包括展现的行为动作信息和/或表述的声音信息和/或行人的年龄、外貌、性别等信息)。类似于人的眼睛与耳朵,通过在无人车上设置相应的环境信息采集装置(包括但不限于视频图像采集装置(如车载摄像头)、音频采集装置(如麦克风)、雷达测距装置和红外感应装置等)作为无人车的“眼睛和耳朵”,通过实时的采集无人车周围的环境信息(包括但不限于视频图像数据、音频数据、位置检测数据和红外图像数据),进而使得无人车通过采集的环境信息获知行人或车辆所表述的交互信息。
在步骤S2中,根据环境信息获取无人车周围的行人信息,并基于行人信息控制无人车与行人进行交互。进一步的,包括:对环境信息进行数据分析,以识别获取环境信息中行人的行进方向;对环境信息中表征行进方向为靠近无人车的行人的环境信息进行进一步的数据分析,以识别获取行进方向为靠近无人车的行人的行人信息,并基于该行人信息控制无人车与行人进行交互。其中,行人信息包括但不限于行人的动作信息、年龄信息、外貌信息、性别信息和声音信息中的至少之一。
具体地,在无人车的行驶或运营过程中,会遇到很多的行人或车辆,在无人车进行智能交互时,若对每一个行人或车辆的信息都进行识别分析,则无人车的运算量会很大,同时也需要高质量高容量的存储器和处理器,无疑会增加无人车的交互成本,也会提高造成交互时的出错率,降低行人的交互体验。本实施例中,在获取到无人车周围的环境信息时,无人上车的处理器只需要对环境信息中行人或车辆的行进方向进行分析识别,将行进方向为靠近本无人车的行人或车辆作为有效的待交互对象,并进一步的获取和分析有效的待交互对象的环境信息,以识别获取有效的待交互对象的行人信息。而对于行进方向为远离无人车的行人或车辆则视为无效的待交互对象,不对其的相关数据进行处理。因此,大大减少了数据处理量,也提高了无人车智能交互的准确性和针对性,实现了以很小的交互成本完成更佳的行人交互体验。
进一步地,对环境信息中表征行进方向为靠近无人车的行人的环境信息进行进一步的数据分析,以识别获取行进方向为靠近无人车的行人的行人信息,并基于该行人信息控制无人车与行人进行交互(即无人车与行进方向为靠近无人车的行人的交互方式)包括:从环境信息中检测到行人做出与交互数据库中预存动作相同的动作且超过预定时长和/或预定次数,控制无人车完成与该预存动作对应的控制指令(步骤S21)。具体的,以无人售卖车为例,当无人车的处理器从采集到的行进方向为靠近本无人车的行人或车辆的环境信息(如视频图像数据)中识别到行人或车辆做出与无人车的交互数据中预存动作相同的动作(手势动作或身体动作)时,根据交互数据库中该预存动作对应的含义输出对应的控制指令,进而通过该控制指令控制无人车进行相应的动作,以完成与行人或车辆的交互。例如:当无人售卖车识别到行人的招手动作时,生成路线变更指令以到达该行人附近,方便行人的购买需求;或者当购买完成后,识别到行人的确认动作或离去动作,生成启动指令,到达下一目标地点;或者在行驶过程中识别到车辆的车灯闪烁,通过对应的闪烁亮度和/或频率情况,生成减速、加速、转弯或刹车等指令,以便于安全、高效行驶。通过识别行人或车辆的动作进而完成交互,识别准确性高,交互方式简单。
在步骤S3中,收集无人车的行驶数据,对行驶数据进行数据分析,并根据分析结果获得分析报告。进一步的,无人车的行驶数据包括但不限于无人车周围的环境信息,以及无人车与行人交互的数据中的至少之一,和/或分析报告包括但不限于受众群体分析和分布路线分析,其中,受众群体分析包括但不限于对受众群体的数量分析、性别比例分析、年龄段分布分析和需求比例分析中的至少之一。分布路线分析包括但不限于无人车行驶过程中行人最少路线分析和无人车运营过程中受众人员最多区域的路线分析中的至少之一。
具体地,当无人车完成某一特定时间段(如一次线下运营或一天的线下运营)后,对这一特定时间段内所采集到的行驶数据进行汇总和数据分析,根据分析结果总结这一特定时间段内当前无人车的行驶情况和运营情况,如:到达某一特定目标的路线中哪一时间段和/或路段的拥挤、哪一路段内行人较多、哪一路段内路面比较平坦、哪一个区域内的受众人员较多、当前区域内不同受众人员的喜好和需求情况等,进而可以更好、更快的到达目标地点,满足更多人的需求,和提高更佳的交互体验。同时有利于对无人车和受众群体进行商业分析和预测,实现更高的商业利润和更好的商业发展。
基于本实施方式,通过从采集无人车周围的环境信息以识别行人的行人信息,实现了在无人车线下运营且无工作人员接触的情况下,自主的与道路中接触到的行人进行交互,同时通过收集无人车的行驶数据,并进行数据分析后获得分析报告,有利于对无人车和受众群体进行商业分析和预测,实现更高的商业效益和更好的商业发展。
实施例二
本实施例提供的基于无人车的智能交互方法如图2所示。
具体地,本实施所提供的基于无人车的智能交互方法基本采用与上述实施例一相同的步骤,因此不再赘述。
区别之处在于:本实施例中,对行驶数据进行数据分析之前还包括:检测并去除行驶数据中的重复数据(步骤S31)。
具体地,无人车在行驶或运营过程中所收集的数据中包含大量的重复数据,例如无人车某一地点停留时对该路段内场景的重复拍摄获取的重复的环境信息,以及不同行人在与无人车交互时无人车采集到的相同的行人信息等,在对无人车采集到的行驶数据进行数据分析之前,还包括比较相邻两帧或多帧数据的数据内容,删除其中相似度超过第一阈值的两帧或多帧图像数据中的相似环境信息数据(只保留一帧或少数几帧环境信息数据),或删除其中相似度超过第二阈值的两帧或多帧图像数据中清晰度低于预定阈值的帧环境信息数据。
基于本实施方式,通过在进行数据分析前删除重复数据,提高了去人车处理器对数据的分析效率和准确性,进一步降低了无人车进行数据分析时所需的运行内存和交互成本。
实施例三
本实施例提供的基于无人车的智能交互方法如图3所示。
具体地,本实施所提供的基于无人车的智能交互方法基本采用与上述实施例一或二相同的步骤,因此不再赘述。
区别之处在于:本实施例中,收集无人车的行驶数据,对行驶数据进行数据分析之后还包括:根据分析结果更新交互数据库,并将更新后的交互数据库上传至云服务器(步骤S32)。
具体地,在无人车收集的行驶数据中,还包括与行人的交互数据,通过对与行人交互过程中出现的交互数据库中未收录的动作、语言内容、手势和外貌特征等行人信息与对行人对应意图数据的分析预测,将符合要求的新的行人信息与实现对应行人意图所需的控制指令更新到该无人车的交互数据库(无人车依据该交互数据库识别行人的行人信息)中。同时通过预设次数的验证后,将该无人车的更新后的交互数据库上传至云服务器,实现对其它的无人车的交互数据库进行统一更新。
基于本实施方式,通过实时的根据行驶数据的分析结果更新交互数据库,可以实现无人车对行人进行更加细致的分类识别,进而增加无人车交互类型的多样性,提高用户体验。
实施例四
本实施例提供的基于无人车的智能交互方法如图4所示。
具体地,本实施所提供的基于无人车的智能交互方法基本采用与上述实施例一相同的步骤,因此不再赘述。
区别之处在于:本实施例中,根据分析结果获得分析报告之后还包括:在无人车与行人每完成预订次数交互后,或者在预定时间段内,将分析报告上传至云服务器,由云服务器对每一无人车的分析报告进行统计分析后,制定每辆无人车的行驶规划(步骤S4)。
具体地,在无人车获得分析报告之后,当无人车与行人每完成预定次数的交互后,或者在预定时间段内(如无人车完成一天内的运营任务之后的某个时间段),由该无人车将所获得的分析报告通过数据发送模块上传至云服务器,由云服务器根据各无人车上传的分析报告进行统一的分析后根据各无人车的实际情况制定每辆无人车的行驶规划,并向该服务器下的所有或部分无人车下发运营目标和运营路线。
基于本实施方式,有利于实现服务器下多个无人车整体的规划和调度,进而实现商业效益的最佳化。
实施例五
本实施例提供的基于无人车的智能交互方法如图5所示。
具体地,本实施所提供的基于无人车的智能交互方法基本采用与上述实施例一相同的步骤,因此不再赘述。
区别之处在于:本实施例中,无人车与行进方向为靠近无人车的行人的交互方式包括:从环境信息中检测到行人发出包含有交互数据库中预存关键词的语音内容且与行人经过确认后,控制无人车完成与预存关键字对应的控制指令,或选择与预存关键字对应售卖货物,或识别与预存关键字对应的数量信息(步骤S22)。
具体地,以无人售卖车为例,当无人车的处理器从采集到的行进方向为靠近本无人车的行人或车辆的环境信息(如音频数据)中识别到行人或车辆发出与无人车的交互数据中包含有交互数据库中预存关键词的语音内容时,通过语音播放器或显示屏幕向该行人发送确认信息,以确认是否为无人车所解读的意图,经过行人确认后,根据交互数据库中该一个或多个预存关键字所对应的含义输出对应的控制指令,进而通过该控制指令控制无人车进行相应的动作,以完成与行人的交互。若行人经过一段时间后未确定,则结束本次交互。若行人否认无人车的解读时,可通知远程管理人员协助完成本次交互,并在交互完成后记录正确的交互方式,以更新交互数据库。
例如:当无人售卖车识别到行人发出的语音中包含有“到这里、买东西、这儿”中一个或多个关键词且经行人确定后,生成路线变更指令以到达该行人附近,方便行人的购买需求;或者识别到行人发出的语音中包含有“给我拿、A货物、B货物、第三排第一个”中一个或多个关键词且经行人确定后,生成传送指令,将目标货物传送给行人;或者识别到行人发出的语音中包含有“我要一个、三个”中任一表示数量的关键词且经行人确定后,确认行人所需货物的数量。或者在行驶过程中识别到车辆的鸣笛,通过识别对应的鸣笛声音变化和频率变化情况,生成减速、加速、转弯或刹车等指令,并完成相应动作。
基于本实施方式,通过识别行人或车辆的语音中包含的关键字进而完成交互,可以实现无人车与行人之间复杂的交互,提高了可交互的广度和深度,进一步实现了拟人化交互。
实施例六
本实施例提供的基于无人车的智能交互方法如图6所示。
具体地,本实施所提供的基于无人车的智能交互方法基本采用与上述实施例一相同的步骤,因此不再赘述。
区别之处在于:本实施例中,无人车与行进方向为靠近无人车的行人的交互方式包括:从环境信息中检测到行人行至无人车周围预定范围内并停留超过预定时长,控制无人车根据行人的外貌特征、语言特征、结伴情况和当前场景特征,选择对应的语音内容、语音模拟对象、语言类型、语速和音量大小与行人进行语音交互,或选择通过显示屏幕输出相应的文字内容与行人进行交互(步骤S23)。
具体地,无人车通过处理器从环境信息(如视频图像数据)中检测到行人行至本无人车周围预定范围内(如以无人车车窗为圆心,以50厘米长度为半径的150度扇形区域内)并停留超过预定时长,则判定该行人有交互意图,此时通过处理器进一步识别该行人的外貌特征语言特征、结伴情况和当前场景特征中的至少之一,选择与该行人打招呼的语言(包括普通话、方言、英语或其它语言)、打招呼和对话的内容(包括三位美女你们好,请问需要什么)、发音的模拟对象(如某位知名人物的声音)、音量大小(包括小声询问、大声询问或正常询问)以及语速(正常语速的任意倍速)与行人进行交互。或者通过显示屏幕输出相应的文字内容与行人进行交互。
可以理解的是,上述识别行人有交互意图的检测范围,以及语音的内容、模拟对象、类型、语速和音量大小的说明均是示例性的,本发明对次不做限定,只要可以实现有效的交互,或根据实际情况具体调节均可。
基于本实施方式,通过判定行人是否有交互意图后再与行人进行交互,能避免了忽然发声对过往行人的情绪造成不良影响,提高了交互的准确性。同时对处于特定范围内的行人再进行外貌特征、语音特征等的识别,不仅提高了识别结果的准确性,同时有利于减少不必要的数据分析,降低无人车处理器的运行内存。同时通过识别行人的外貌特征、语言特征、结伴情况和当前场景特征,并根据识别结果选择交互的语音的内容、模拟对象、类型、语速和音量大小,也实现了无人车对行人的更加细致的分类识别,提高了交互的趣味性和增强了用户体验。
实施例七
本实施例提供的基于无人车的智能交互方法如图7所示。
具体地,本实施所提供的基于无人车的智能交互方法基本采用与上述实施例一相同的步骤,因此不再赘述。
区别之处在于:本实施例中,无人车与行进方向为靠近无人车的行人的交互方式包括:从环境信息中检测到行人做出与交互数据库中预存手势相同的手势且超过预定时长和/或预定次数,控制无人车识别与预存手势对应的数量信息(步骤S24)。
具体地,以无人售卖车为例,当行人想要表示所需货物的个数时,可以通过展示手势(如伸出几根手指表示几个数量,用一只手表示1-10的手势,或者用两只手分别表示十位数字和个位数字等)超过预定时长(如一秒)或连续展示超过预定次数(如3次),无人车通过处理器将行人手势与交互数据库中预存的手势进行对比,即可识别行人想要表达的数量需求。
基于本实施方式,行人只需做出简单的手势即可表达所想的数量意图,简单方便,同时也能使行人具有拟人的交互体验。
实施例八
本实施例提供的基于无人车的智能交互方法如图8所示。
具体地,本实施所提供的基于无人车的智能交互方法基本采用与上述实施例一相同的步骤,因此不再赘述。
区别之处在于:本实施例中,获取无人车周围的环境信息之前还包括:通过显示屏幕实时显示当前无人车的类型、无人车内部环境、无人车内售卖货物的价格和/或优惠信息、功能、安全性能、当前行驶速度、行驶趋势和通行提示中的至少之一(步骤S5)。
具体地,以无人售卖车为例,当无人车处于运营状态时,通过显示屏幕实时显示当前无人车为自动售货无人车,其所售卖的货物名称,以及对应余量、价格和优惠活动等信息;当无人车处于行驶状态时,通过显示屏幕实时显示当前无人车安全性能高、当前行驶速度如为40km/s,行驶趋势为减速行驶,行人可安全通行等信息。
基于本实施方式,通过在显示屏幕显示无人车信息,方便行人了解无人车信息后更好的进行交互,降低交互复杂性,有利于提高行人的交互概率。
需要说明的是,对于上述各实施例中多个步骤的执行或实施顺序,本发明不做具体限定。上述各实施例的不同组合所涵盖的步骤组合也可以作为本发明的新的实施例,其也属于本发明的保护范围,此处不再赘述。
需要说明的是,本发明所公开的技术方案适用但不限于无人售卖车一种无人车类型,基于与本发明相同或经过简单变形后得到的相似的技术方案对于其他类型的无人也同样适用。
基于同一方面构思,本发明还公开了一种基于无人车的智能交互装置,如图9所示,该装置10包括:
至少一个数据识别单元101,用于依据交互数据库从环境信息中识别获取行人的行人信息。
指令发送单元102,用于基于行人信息向车载控制装置发送控制指令以控制无人车与行人进行交互。
数据存储单元103,用于存储无人车的行驶数据。
数据处理单元104,用于对无人车的行驶数据进行数据分析,以根据分析结果获得分析报告。其中,行驶数据包括无人车周围的环境信息,以及无人车与行人交互的数据中的至少之一,和/或分析报告包括受众群体分析和分布路线分析,以及受众群体分析包括数量分析、性别比例分析、年龄段分布分析和需求比例分析中的至少之一。
数据更新单元105,用于根据数据处理单元104的分析结果更新交互数据库。
基于同一方面构思,本发明还公开了一种无人车,参见图10,该无人车1包括:
如上述的基于无人车的智能交互装置10。
至少一个环境信息采集装置20,用于采集无人车1周围的环境信息。其中,环境信息采集装置20包括但不限于视频图像采集装置、音频采集装置、雷达测距装置和红外感测装置中的至少之一。
车载控制装置30,用于接收控制指令以控制无人车1与行人2进行交互。
显示屏幕40和语音播放装置50,用于根据相应的控制指令实现无人车1与行人2的交互。
综上,本发明公开了一种基于无人车的智能交互方法、装置及无人车,通过从采集无人车周围的环境信息以识别行人的行人信息,实现了在无人车线下运营且无工作人员接触的情况下,自主的与道路中接触到的行人进行交互,同时通过收集无人车的行驶数据,并进行数据分析后获得分析报告,有利于对无人车和受众群体进行商业分析和预测,实现更高的商业效益和更好的商业发展。
基于对待交互对象的行为信息的识别和/或预测,使得无人车对行人能够进行更加细致的分类识别,之后通过识别结果生成对应的控制指令以对行人的行为信息进行反馈,更加优化了人机交互。
应当说明的是,在本文中,所含术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是:显然,上述实施例仅仅是为清楚地说明本发明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (10)

1.一种基于无人车的智能交互方法,其特征在于,所述方法包括:
获取无人车周围的环境信息;
根据所述环境信息获取无人车周围的行人信息,并基于所述行人信息控制所述无人车与行人进行交互;以及
收集所述无人车的行驶数据,对所述行驶数据进行数据分析,并根据分析结果获得分析报告。
2.根据权利要求1所述的基于无人车的智能交互方法,其特征在于,所述行驶数据包括所述环境信息,以及所述无人车与行人交互的数据中的至少之一,
和/或所述分析报告包括受众群体分析和分布路线分析,
其中,所述受众群体分析包括数量分析、性别比例分析、年龄段分布分析和需求比例分析中的至少之一。
3.根据权利要求1和2中任一项所述的基于无人车的智能交互方法,其特征在于,对所述行驶数据进行数据分析之前还包括:
检测并去除所述行驶数据中的重复数据。
4.根据权利要求1-3中任一项所述的基于无人车的智能交互方法,其特征在于,收集所述无人车的行驶数据,对所述行驶数据进行数据分析之后还包括:
根据分析结果更新交互数据库,并将更新后的交互数据库上传至云服务器,
所述无人车依据所述交互数据库识别行人的行人信息,
其中,所述行人信息包括动作信息、年龄信息、外貌信息、性别信息和声音信息中的至少之一。
5.根据权利要求1-4中任一项所述的基于无人车的智能交互方法,其特征在于,根据分析结果获得分析报告之后还包括:
在所述无人车与行人每完成预订次数交互后,或者在预定时间段内,将所述分析报告上传至云服务器,由所述云服务器对每一无人车的所述分析报告进行统计分析后,制定每辆所述无人车的行驶规划。
6.根据权利要求1-5中任一项所述的基于无人车的智能交互方法,其特征在于,根据所述环境信息获取无人车周围的行人信息,并基于所述行人信息控制所述无人车与行人进行交互包括:
对所述环境信息进行数据分析,以识别获取所述环境信息中行人的行进方向;
对所述环境信息中表征行进方向为靠近所述无人车的行人的环境信息进行进一步的数据分析,以识别获取行进方向为靠近所述无人车的行人的行人信息,并基于所述行人信息控制所述无人车与行人进行交互,
其中,所述环境信息包括视频图像数据、音频图像数据和位置检测数据中的至少之一。
7.根据权利要求6所述的基于无人车的智能交互方法,其特征在于,对所述环境信息中表征行进方向为靠近所述无人车的行人的环境信息进行进一步的数据分析,以识别获取行进方向为靠近所述无人车的行人的行人信息,并基于所述行人信息控制所述无人车与行人进行交互包括以下中的至少之一:
从所述环境信息中检测到行人做出与交互数据库中预存动作相同的动作且超过预定时长和/或预定次数,控制所述无人车完成与所述预存动作对应的控制指令;
从所述环境信息中检测到行人发出包含有交互数据库中预存关键词的语音内容且与所述行人经过确认后,控制所述无人车完成与所述预存关键字对应的控制指令,或选择与所述预存关键字对应售卖货物,或识别与所述预存关键字对应的数量信息;
从所述环境信息中检测到行人行至所述无人车周围预定范围内并停留超过预定时长,控制所述无人车根据所述行人的外貌特征、语言特征、结伴情况和当前场景特征,选择对应的语音内容、语音模拟对象、语言类型、语速和音量大小与所述行人进行语音交互,或选择通过显示屏幕输出相应的文字内容与所述行人进行交互;
从所述环境信息中检测到行人做出与交互数据库中预存手势相同的手势且超过预定时长和/或预定次数,控制所述无人车识别与所述预存手势对应的数量信息。
8.根据权利要求1-7中任一项所述的基于无人车的智能交互方法,其特征在于,获取无人车周围的环境信息之前还包括:
通过显示屏幕实时显示当前无人车的类型、无人车内部环境、无人车内售卖货物的价格和/或优惠信息、功能、安全性能、当前行驶速度、行驶趋势和通行提示中的至少之一。
9.一种基于无人车的智能交互装置,其特征在于,所述装置包括:
至少一个数据识别单元,用于依据交互数据库从环境信息中识别获取行人的行人信息;
指令发送单元,用于基于所述行人信息向车载控制装置发送控制指令以控制所述无人车与行人进行交互;
数据存储单元,用于存储所述无人车的行驶数据;
数据处理单元,用于对所述无人车的行驶数据进行数据分析,以根据分析结果获得分析报告;
数据更新单元,用于根据所述数据处理单元的分析结果更新所述交互数据库,
其中,所述行驶数据包括所述环境信息,以及所述无人车与行人交互的数据中的至少之一,
和/或所述分析报告包括受众群体分析和分布路线分析,以及
所述受众群体分析包括数量分析、性别比例分析、年龄段分布分析和需求比例分析中的至少之一。
10.一种无人车,其特征在于,所述无人车包括:
至少一个环境信息采集装置,用于采集所述无人车周围的环境信息;
车载控制装置,用于接收控制指令以控制所述无人车与行人进行交互;
显示屏幕和语音播放装置,用于根据相应的控制指令实现所述无人车与行人的交互;以及
如权利要求9所述的基于无人车的智能交互装置,
其中,所述环境信息采集装置包括视频图像采集装置、音频采集装置、雷达测距装置和红外感测装置中的至少之一。
CN202010302798.0A 2020-04-17 2020-04-17 基于无人车的智能交互方法、装置及无人车 Pending CN111540222A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010302798.0A CN111540222A (zh) 2020-04-17 2020-04-17 基于无人车的智能交互方法、装置及无人车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010302798.0A CN111540222A (zh) 2020-04-17 2020-04-17 基于无人车的智能交互方法、装置及无人车

Publications (1)

Publication Number Publication Date
CN111540222A true CN111540222A (zh) 2020-08-14

Family

ID=71979951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010302798.0A Pending CN111540222A (zh) 2020-04-17 2020-04-17 基于无人车的智能交互方法、装置及无人车

Country Status (1)

Country Link
CN (1) CN111540222A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113370721A (zh) * 2021-07-29 2021-09-10 中国人民解放军国防科技大学 三轴无人车应对野外特种任务的控制策略及系统
CN113395677A (zh) * 2021-08-17 2021-09-14 新石器慧通(北京)科技有限公司 基于无人车的交互方法、装置、电子设备及存储介质
CN114650356A (zh) * 2022-03-16 2022-06-21 思翼科技(深圳)有限公司 一种高清无线数字图像传输系统
WO2022247733A1 (zh) * 2021-05-25 2022-12-01 华为技术有限公司 控制方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106781013A (zh) * 2017-01-18 2017-05-31 广东美基沃得科技有限公司 自动售卖设备及自动售卖方法
CN107284332A (zh) * 2017-06-30 2017-10-24 味俪仕机械贸易(上海)有限公司 一种无人驾驶自助售卖车
CN107398912A (zh) * 2017-06-28 2017-11-28 重庆柚瓣家科技有限公司 家庭机器人用户行为统计系统
CN108876067A (zh) * 2018-09-06 2018-11-23 北京翰宁智能科技有限责任公司 无人自动贩卖商店优化售卖商品的方法
CN109416857A (zh) * 2016-05-02 2019-03-01 可口可乐公司 自动售货机构
CN109767556A (zh) * 2018-12-25 2019-05-17 苏宁易购集团股份有限公司 一种移动售货的方法及机器设备
CN110096058A (zh) * 2019-04-23 2019-08-06 贵州翰凯斯智能技术有限公司 一种无人驾驶售卖车系统及使用方法
CN110135660A (zh) * 2019-05-29 2019-08-16 新石器慧通(北京)科技有限公司 一种无人售卖车及巡游售卖方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109416857A (zh) * 2016-05-02 2019-03-01 可口可乐公司 自动售货机构
CN106781013A (zh) * 2017-01-18 2017-05-31 广东美基沃得科技有限公司 自动售卖设备及自动售卖方法
CN107398912A (zh) * 2017-06-28 2017-11-28 重庆柚瓣家科技有限公司 家庭机器人用户行为统计系统
CN107284332A (zh) * 2017-06-30 2017-10-24 味俪仕机械贸易(上海)有限公司 一种无人驾驶自助售卖车
CN108876067A (zh) * 2018-09-06 2018-11-23 北京翰宁智能科技有限责任公司 无人自动贩卖商店优化售卖商品的方法
CN109767556A (zh) * 2018-12-25 2019-05-17 苏宁易购集团股份有限公司 一种移动售货的方法及机器设备
CN110096058A (zh) * 2019-04-23 2019-08-06 贵州翰凯斯智能技术有限公司 一种无人驾驶售卖车系统及使用方法
CN110135660A (zh) * 2019-05-29 2019-08-16 新石器慧通(北京)科技有限公司 一种无人售卖车及巡游售卖方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022247733A1 (zh) * 2021-05-25 2022-12-01 华为技术有限公司 控制方法和装置
CN113370721A (zh) * 2021-07-29 2021-09-10 中国人民解放军国防科技大学 三轴无人车应对野外特种任务的控制策略及系统
CN113395677A (zh) * 2021-08-17 2021-09-14 新石器慧通(北京)科技有限公司 基于无人车的交互方法、装置、电子设备及存储介质
CN113395677B (zh) * 2021-08-17 2021-11-30 新石器慧通(北京)科技有限公司 基于无人车的交互方法、装置、电子设备及存储介质
CN114650356A (zh) * 2022-03-16 2022-06-21 思翼科技(深圳)有限公司 一种高清无线数字图像传输系统

Similar Documents

Publication Publication Date Title
CN111540222A (zh) 基于无人车的智能交互方法、装置及无人车
US11200467B2 (en) Artificial intelligence apparatus and method for recognizing object included in image data
US11289074B2 (en) Artificial intelligence apparatus for performing speech recognition and method thereof
US11397020B2 (en) Artificial intelligence based apparatus and method for forecasting energy usage
US11404066B2 (en) Device and method for providing voice recognition service based on artificial intelligence
US11211047B2 (en) Artificial intelligence device for learning deidentified speech signal and method therefor
US11605379B2 (en) Artificial intelligence server
KR20190110072A (ko) 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
US11421610B2 (en) Artificial intelligence apparatus for controlling auto stop system and method therefor
US11398222B2 (en) Artificial intelligence apparatus and method for recognizing speech of user in consideration of user's application usage log
CN110503948A (zh) 对话系统和对话处理方法
US20190385606A1 (en) Artificial intelligence device for performing speech recognition
CN111523932A (zh) 一种网约车服务的评分方法、装置、系统及存储介质
US11769508B2 (en) Artificial intelligence apparatus
CN113723528A (zh) 车载语视融合多模态交互方法及系统、设备、存储介质
US20200020339A1 (en) Artificial intelligence electronic device
US20210407517A1 (en) Artificial intelligence robot for providing voice recognition function and method of operating the same
CN110503947A (zh) 对话系统、包括其的车辆和对话处理方法
US11854059B2 (en) Smart apparatus
US11604959B2 (en) Artificial intelligence-based apparatus and method for providing wake-up time and bed time information
US20190377489A1 (en) Artificial intelligence device for providing voice recognition service and method of operating the same
US11721319B2 (en) Artificial intelligence device and method for generating speech having a different speech style
US11348585B2 (en) Artificial intelligence apparatus
CN114863320A (zh) 目标对象行为识别方法、装置、电子设备及介质
US11676012B2 (en) Artificial intelligence server

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200814

RJ01 Rejection of invention patent application after publication