CN111984007A - 自动驾驶智能扫路人机交互控制系统及设备 - Google Patents
自动驾驶智能扫路人机交互控制系统及设备 Download PDFInfo
- Publication number
- CN111984007A CN111984007A CN202010739310.0A CN202010739310A CN111984007A CN 111984007 A CN111984007 A CN 111984007A CN 202010739310 A CN202010739310 A CN 202010739310A CN 111984007 A CN111984007 A CN 111984007A
- Authority
- CN
- China
- Prior art keywords
- module
- shadow
- interaction
- voice
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 118
- 238000010408 sweeping Methods 0.000 title claims abstract description 51
- 230000009471 action Effects 0.000 claims abstract description 23
- 238000013439 planning Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000004140 cleaning Methods 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000008859 change Effects 0.000 claims abstract description 6
- 230000005855 radiation Effects 0.000 claims abstract description 4
- 241001417527 Pempheridae Species 0.000 claims description 103
- 230000002452 interceptive effect Effects 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 7
- 238000011897 real-time detection Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000004297 night vision Effects 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000003670 easy-to-clean Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种自动驾驶智能扫路人机交互控制系统及设备，包括融合建模模块将感知模块和定位模块的信息进行融合，设置光影交互信号的指令库，构建自动行驶所需要的行驶场景模型；决策规划模块是基于融合的感知信号和定位信号以及场景模型做决策规划，遍历预设的光影交互信号的定义启动指令，持续跟踪记录位置和后续动作，视频感知模块辐射范围为周围环境与红外感知模块共同感知并记录周围环境变化，进行光影算法融合；人机交互模块包括语音交互模块和光影交互模块；光影交互模块包括摄像设备、光影显示模块、光影控制模块。本发明设置光影交互信号的指令库，构建行驶场景模型；充分利用语音交互系统和光影交互系统，建立清扫环境决策系统。
Description
技术领域
本发明涉及自动环卫设备技术领域和自动清洁设备技术领域，尤其是涉及一种带有人机交互系统和自动驾驶系统的智能扫路车或扫路机和智能扫路车或扫路机器人。
背景技术
随着城市的不断扩建，城镇化率逐年提高，城镇内部需要进行环卫清扫的道路面积大量增加，而环卫工人老龄化严重，为了提高道路清扫的效率以及降低环卫工人的安全风险，在大量的城镇市政道路上采用了人工驾驶的传统环卫清扫车辆。由于自动驾驶和人工智能领域在近年间有了突飞猛进的发展，可以将新兴技术引入至传统环卫行业。
传统环卫扫路车或扫路机，人工驾驶，驱动方式为传统燃油车或者电动车，人工驾驶，需要实际操作人员，环卫工人老龄化严重，对于新技术难于掌握，带有自动驾驶系统的环卫扫路车或扫路机，按照工作指令和规划路线执行环卫工作的电动扫路车或扫路机，电动扫路车或扫路机仅能通过云端或者移动端进行管理，对于软件和硬件的操作水平要求较高，与现有的环卫工人技术能力差距较大，同时在与外界的信息交互中，基本没有沟通。
发明内容
1、本发明的目的
本发明为了解决传统环卫扫路车或扫路机和自动驾驶环卫扫路车或扫路机对于操作人员的技术能力和软硬件的操作水平要求很高，而且缺少与外界环境的沟通和联络的问题，而提出了一种自动驾驶智能扫路人机交互控制系统及设备。
2、本发明所采用的技术方案
本发明公开了一种自动驾驶智能扫路人机交互控制系统，包括：
融合建模模块将感知模块和定位模块的信息进行融合，设置光影交互信号的指令库，构建人机交互作业场景模型；
决策规划模块是基于融合的感知信号和定位信号以及场景模型做决策规划，遍历预设的光影交互信号的定义作业指令，持续跟踪记录互动对象的位置和行为动作，视频感知模块辐射范围为周围环境与红外感知模块共同感知并记录周围环境变化，进行光影算法融合；
人机交互模块包括语音交互模块和光影交互模块；
光影交互模块包括摄像设备、光影显示模块、光影控制模块；
摄像设备检测记录互动对象的位置和行为动作的图像或视频信息；进一步行为动作可以是手势或肢体动作或移动轨迹；将视频信号传输至光影控制模块；
光影显示模块向环境发射光影信号与环境的互动和联络；
光影控制模块，接收光影系统感知数据，对视频图像数据和红外感知数据做物体聚类识别和行为动作以及轨迹识别；动作轨迹识别，提取每帧图像数据中的特征点；激光发射器形成的光影在图像算法识别过程中，通过光影区域与周边环境亮度差异，识别交互指令；决策后的指令进一步传输回光影控制模块，通过光影显示设备发射互动的光影信号。
更进一步，采集光影交互模块与目标交互的信息，交互对象包括光影、智能终端、声音，通过摄像设备和红外感知设备接收到的环境信息或光影投射采集的光影手势信息。
更进一步，还包括定位模块为扫路车或扫路机提供精准位置定位。
更进一步，还包括感知模块为扫路车或扫路机提供周围环境的实时检测信号，为扫路车或扫路机提供位置信息和环境信息。
更进一步，还包括语音交互模块，通过语音与扫路车或扫路机进行交互下达工作指令和工作规划，扫路车或扫路机与环境中交通车辆进行实时交互，达到导引或者安全警示功能，扫路车或扫路机可以与行人进行实时交互，达到警示安全和行人防护动能；在车辆遇到连续障碍物或者信号遮挡区域，语音交互模块将提供进一步的安全防护。
更进一步，语音交互模块包括语音接收设备、语音播放设备、语音转化模块、语音控制模块；
语音接收设备，扫路车或扫路机工作状态下，实时检测和记录周围环境的声音频谱；
语音播放设备，按照语音转化模块的信号，以声波的方式向周围播放语音内容；
语音转化模块，将语音接收设备检测到的声音频谱转化为数字信号，也可以将数字信号转化为语音播放设备可以执行的输出信号；
语音控制模块，具备声音频谱数据库，通过计算机算法对接收到的声音数字信号进行识别指令及环境噪音，将识别后的信息传输至决策规划模块，决策后指令进一步传输回语音控制模块，通过语音播放设备执行播放互动的声音信号。
更进一步，感知模块为扫路车或扫路机提供周围环境的实时检测信号，一般包括激光雷达、摄像头、毫米波雷达、超声波雷达、红外夜视，提供位置信息和环境信息。
更进一步，接收交互指令的设备包括激光发射器、摄像感知模块或红外感知模块。
更进一步，决策系统接收路面出现不平整的高度差以及不易处理的清扫对象，遍历已存储的场景信息库，选择对应的处理策略。
一种自动驾驶智能扫路人机交互控制设备，车体设有红外感知器、投影系统以及摄像系统，使用所述的交互控制系统交互控制。
3、本发明所采用的有益效果
(1)本发明设置光影交互信号的指令库，构建人机交互作业场景模型；可以充分利用语音交互系统和光影交互系统，建立清扫环境决策系统。
(2)本发明接收光影系统感知数据，对视频图像数据和红外感知数据做物体聚类识别和动作轨迹识别，提取每帧图像数据中的特征点；激光发射器形成的光源在图像算法识别过程中，通过光源强度与周边环境亮度差异，识别交互指令；决策后的指令进一步传输回光影控制模块，增加了与操作人员和周围环境的互动方式，极大的提高了人机交互效率，将人工智能的语音交互和视觉交互技术充分的应用到扫路车或扫路机中。
(3)本发明的扫路车或扫路机能够在已有自动驾驶系统的扫路车或扫路机基础上，通过增加语音系统和光影系统，为扫路车或扫路机增加人机交互系统，通过语音/光影/手势/动作等简易便于理解的方式，建立扫路车或扫路机和人/扫路车或扫路机和环境的沟通方式。
附图说明
图1为发明的带有人机交互系统的自动驾驶智能扫路车的立体结构图一；
图2为本发明的带有人机交互系统的自动驾驶智能扫路车的立体结构图二；
图3为本发明实施例流程图；
图4为本发明光影交互模块识别示意图。
具体实施方式
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
实施例1
本发明提出的一种自动驾驶智能扫路人机交互控制系统，包括融合建模模块将感知模块和定位模块的信息进行融合，设置光影交互信号的指令库，构建人机交互所需要的作业场景；决策规划模块是基于融合的感知信号和定位信号以及场景模型做决策规划，遍历预设的光影交互信号的定义启动指令，持续跟踪记录位置和行为动作，视频感知模块辐射范围为周围环境与红外感知模块共同感知并记录周围环境变化，进行光影算法融合；人机交互模块包括语音交互模块和光影交互模块；光影交互模块包括摄像设备、光影显示模块、光影控制模块；摄像设备检测记录互动对象的位置和行为动作的图像或视频信息，行为动作可以是手势或肢体动作或移动轨迹；将视频信号传输至光影控制模块；光影显示模块向环境发射光影信号与环境的互动和联络；光影控制模块，接收光影系统感知数据，对视频图像数据和红外感知数据做物体聚类识别和动作轨迹识别，提取每帧图像数据中的特征点；激光发射器形成的光源在图像算法识别过程中，通过光源强度与周边环境亮度差异，识别交互指令；决策后的指令进一步传输回光影控制模块，通过光影显示设备发射互动的光影信号。
采集光影交互模块与目标交互的信息，交互对象包括光影、智能终端、声音，通过摄像设备和红外感知设备接收到的环境信息或光影投射采集的光影互动信息。优选的，定位模块为扫路车或扫路机提供精准位置定位；优选的，感知模块为扫路车或扫路机提供周围环境的实时检测信号，为扫路车或扫路机提供位置信息和环境信息。优选的，语音交互模块，通过语音与扫路车或扫路机进行交互下达工作指令和工作规划，扫路车或扫路机与环境中交通车辆进行实时交互，达到导引或者安全警示功能，扫路车或扫路机可以与行人进行实时交互，达到警示安全和行人防护动能；在车辆遇到连续障碍物或者信号遮挡区域，语音交互模块将提供进一步的安全防护。
语音交互模块包括语音接收设备、语音播放设备、语音转化模块、语音控制模块；语音接收设备，扫路车或扫路机工作状态下，实时检测和记录周围环境的声音频谱；语音播放设备，按照语音转化模块的信号，以声波的方式向周围播放语音内容；语音转化模块，将语音接收设备检测到的声音频谱转化为数字信号，也可以将数字信号转化为语音播放设备可以执行的输出信号；语音控制模块，具备声音频谱数据库，通过计算机算法对接收到的声音数字信号进行识别指令及环境噪音，将识别后的信息传输至决策规划模块，决策后指令进一步传输回语音控制模块，通过语音播放设备执行播放互动的声音信号。
优选的，感知模块为扫路车或扫路机提供周围环境的实时检测信号，一般包括激光雷达、摄像头、毫米波雷达、超声波雷达、红外夜视，提供位置信息和环境信息。
优选的，接收交互指令的设备包括红外线激光发射器、远程照射机、摄像感知模块或红外感知模块。
如图1-2所示，带有人机交互系统的自动驾驶智能扫路车，包括激光感知器1、投影系统2、摄像系统3、清扫系统4、底盘系统5、红外感知器6、现有技术的扫路车7，所述扫路车7的上端固定设置有红外感知器6，所述扫路车7的前端的上面设置有投影系统2，所述扫路车7的前端且位于投影系统2的下端设置有摄像系统3，所述扫路车7的前端位于摄像系统3下面设置有红外感知器6，所述扫路车7的前端位于红外感知器6下面设置有清扫系统4，所述扫路车7的控制系统电性连接激光感知器1、投影系统2、摄像系统3、清扫系统4、红外感知器6，所述扫路车7下端设置底盘系统5。
激光感知器1、投影系统2、摄像系统3、红外感知器6均通过语音系统、无线控制中的任意一种或几种方式进行控制。所述清扫系统对称设置在所述扫路车7前端下方的两边。两边清扫系统4同时进行工作，提高了工作的效率。本发明涉及的扫路车为现有技术的纯吸式道路清扫车，其原理及结构属于现有技术，在此处并不做介绍。在使用的时候将扫路车7的控制系统与连接激光感知器1、投影系统2、摄像系统3、清扫系统4、红外感知器6电性连接；通过对控制系统程序进行建模，即可实现以下技术：本发明的扫路车或扫路机能够在已有自动驾驶系统的扫路车或扫路机基础上，通过增加语音系统和光影系统，为扫路车或扫路机增加人机交互系统，通过语音/光影等简易便于理解的方式，建立扫路车或扫路机和人/扫路车或扫路机和环境的沟通方式。本发明具有方便实用的特点，极大方便人们使用。
实施例2
图3为本发明实施例的人机交互系统控制方法的流程示意图。本实施例为整机执行的人机交互控制方法。如后图所示，本实施例的人机交互控制方法可包括以下步骤：
步骤1：
整机接收交互指令启动。
具体地，在本实施例中，交互对象可以为光影、智能终端、声音等等。
具体地，在本实施例中，用户与整机进行光影交互，例如客户使用红外线类型地激光发射器，远程照射整机，整机光影交互模块的摄像感知模块或红外感知模块接收到来自用户的交互指令。具体地，在本实施例中，整机自动驾驶系统的决策系统将遍历预设的光影交互信号的定义功能，进一步执行整机启动功能。
步骤2：
光影交互模块与用户或特定目标交互信息。
具体地，在本实施例中，用户根据环卫工作作业环境需要，向整机发出工作指令，按照预设的动作指令集做对应工作作业的动作。具体地，用户可以使用激光发射器类型工具实施，也可以根据使用环境和条件，通过肢体动作完成指令。具体地，整机光影交互模块向用户或交互对象投射含有互动内容地光影信息，进一步地增加互动过程。
具体地，在本实施例中，整机在清扫作业下识别出周围环境中的特殊作业对象，比如路面出现不平整的深坑，整机在接受到传感器传回的感知信号后，对路面的高度差进行判定，将感知信号传送至决策系统。进一步的，决策系统遍历已存储的场景信息库，选择对应的处理策略。进一步的，决策系统可以向用户投影显示图形化的场景信息，将特殊作业对象信息传递给用户。
具体地，在本实施例中，整机在清扫作业下识别出不易清扫的垃圾，比如大尺寸的石块，整机在接受到传感器传回的感知信号后，对垃圾的尺寸进行判定，将感知信号传送至决策系统。进一步的，决策系统遍历已存储的场景信息库，选择对应的处理策略。进一步的，决策系统可以向用户投影显示图形化的场景信息，将特殊作业对象信息传递给用户。
步骤3：
感知光影交互指令。
具体地，在本实施例中，整机感知模块在启动后持续跟踪记录用户地位置和行为动作。具体地，整机感知模块中地视频感知模块和红外感知模块可以感知并记录周围环境地变化，传输至光影算法融合模块。
步骤4：
光影交互算法融合。
具体地，在本实施例中，在接收到光影系统感知数据后，对视频图像数据和红外感知数据做物体聚类识别和行为轨迹识别，提取每帧图像数据中的特征点。具体地，激光发射器形成的光影在图像算法识别过程中，由于光源强度与周边环境亮度的差异明显，算法模块可以快速识别交互指令。具体地，光影交互指令中的动作指令，通过算法模块识别出运动轨迹，算法模块遍历预设的交互指令库，进一步确认动作指令内容。
步骤5：
光影交互决策系统执行指令。
具体地，在本实施例中，在接收到动作指令后，光影交互决策系统根据动作指令库对应的整机工作指令实施匹配，向整机工作执行系统发出工作指令，进一步进入下一个工作作业循环。
本发明所述的带人机交互系统的自动驾驶智能扫路车或扫路机和机器人包含模块：车身底盘模块，电池系统模块，清扫系统模块，自动驾驶系统模块，人机交互模块等。
车身底盘模块由车身和底盘模块组成。车身为传统车体，提供承载和防护功能。底盘模块包含了驱动模块/转向模块/制动模块，驱动模块为扫路车或扫路机提供驱动力，转向模块为扫路车或扫路机提供转向功能，制动模块为扫路车或扫路机提供制动功能和制动能量回馈功能。底盘模块可以为线控或者机械。
电池系统模块，由电池/电机/电源管理系统组成，电池为扫路车或扫路机提供驱动能源，电机将驱动能源转化为驱动扭矩，电源管理系统为电池提供充电/放电/用电/安全等防护。
清扫系统模块，由扫路车或扫路机的车载清扫设备组成，清扫设备可能包含清扫主刷/边刷/滚刷/喷水/除尘/垃圾存储等。
自动驾驶系统模块，由感知模块/定位模块/融合建模模块/决策规划模块/控制系统组成。感知模块为扫路车或扫路机提供周围环境的实时检测信号，一般包括激光雷达/摄像头/毫米波雷达/超声波雷达/红外夜视，精确到mm级的检测精度，为扫路车或扫路机提供位置信息和环境信息。定位模块为扫路车或扫路机提供精准位置定位，一般包括GPS/惯导/GNSS差分定位/高精地图。
融合建模模块是将感知模块和定位模块的信息进行融合，构建自动行驶所需要的行驶场景模型。决策规划模块是基于融合的感知信号和定位信号以及场景模型做决策规划，并向底盘控制系统和清扫系统发送指令，一般由工控机和车载控制器执行。
人机交互模块，由语音交互模块和光影交互模块组成。
语音交互模块由语音接收设备/语音播放设备/语音转化模块/语音控制模块组成。
语音接收设备，扫路车或扫路机工作状态下，实时检测和记录周围环境的声音频谱。
语音播放设备，按照语音转化模块的信号，以声波的方式向周围播放语音内容。
语音转化模块，将语音接收设备检测到的声音频谱转化为数字信号，也可以将数字信号转化为语音播放设备可以执行的输出信号。
语音控制模块，具备声音频谱数据库，通过计算机算法对接收到的声音数字信号进行识别，可以有效识别工作人员的工作指令/操作指令/清扫指令，环境白噪音，交通车辆噪音，人类噪音，自定义噪音等，将识别后的信息传输至自动驾驶系统模块，由自动驾驶系统模块统一决策，决策后指令进一步传输回语音控制模块，通过语音播放设备执行播放互动的声音信号。
语音交互模块将为操作人员提供语音交互支持，工作人员可以通过语音与扫路车或扫路机进行交互，对扫路车或扫路机下达工作指令和工作规划，扫路车或扫路机可以与环境中交通车辆进行实时交互，达到导引或者安全警示功能，扫路车或扫路机可以与行人进行实时交互，达到警示安全和行人防护动能。在车辆遇到连续障碍物或者信号遮挡区域，语音交互模块将提供进一步的安全防护。
光影交互模块由摄像设备/光影显示/光影控制模块组成。
摄像头用以检测记录人类的行为和手势，可以和自动驾驶系统模块的摄像头共用，将视频信号传输至光影控制模块。
光影显示用以向环境发射光影信号，可以通过显示器/投影/灯光等设备显示，达到与环境的互动和联络。
光影控制模块，具备视频的即时分析和识别算法，将摄像头检测的数据进行分析，有效识别人类肢体行动的工作指令和行为指令，将识别的信息传输至决策规划模块，由决策规划模块统一决策，决策后的指令进一步传输回光影控制模块，通过光影显示设备发射互动的光影信号。进一步的，光影决策规划模块可以包含在自动驾驶决策规划模块中。
光影显示用以向环境发射光影信号，可以通过显示器/投影/灯光等设备显示，达到与环境的互动和联络。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种自动驾驶智能扫路人机交互控制系统，其特征在于包括：
融合建模模块将感知模块和定位模块的信息进行融合，设置光影交互信号的指令库，构建人机交互作业场景模型；
决策规划模块是基于融合的感知信号和定位信号以及场景模型做决策规划，遍历预设的光影交互信号的定义作业指令，持续跟踪记录互动对象的位置和行为动作，视频感知模块辐射范围为周围环境与红外感知模块共同感知并记录周围环境变化，进行光影算法融合；
人机交互模块包括语音交互模块和光影交互模块；
光影交互模块包括摄像设备、光影显示模块、光影控制模块；
摄像设备检测记录互动对象的位置和行为动作的图像或视频信息；进一步行为动作可以是手势或肢体动作或移动轨迹；将视频信号传输至光影控制模块；
光影显示模块向环境发射光影信号与环境的互动和联络；
光影控制模块，接收光影系统感知数据，对视频图像数据和红外感知数据做物体聚类识别和行为动作以及轨迹识别；动作轨迹识别，提取每帧图像数据中的特征点；激光发射器形成的光影在图像算法识别过程中，通过光影区域与周边环境亮度差异，识别交互指令；决策后的指令进一步传输回光影控制模块，通过光影显示设备发射互动的光影信号。
2.根据权利要求1所述的自动驾驶智能扫路人机交互控制系统，其特征在于，采集光影交互模块与目标交互的信息，交互对象包括光影、智能终端、声音，通过摄像设备和红外感知设备接收到的环境信息或光影投射采集的光影手势信息。
3.根据权利要求1所述的自动驾驶智能扫路人机交互控制系统，其特征在于，还包括定位模块为扫路车或扫路机提供精准位置定位。
4.根据权利要求1所述的自动驾驶智能扫路人机交互控制系统，其特征在于，还包括感知模块为扫路车或扫路机提供周围环境的实时检测信号，为扫路车或扫路机提供位置信息和环境信息。
5.根据权利要求1所述的自动驾驶智能扫路人机交互控制系统，其特征在于，还包括语音交互模块，通过语音与扫路车或扫路机进行交互下达工作指令和工作规划，扫路车或扫路机与环境中交通车辆进行实时交互，达到导引或者安全警示功能，扫路车或扫路机可以与行人进行实时交互，达到警示安全和行人防护动能；在车辆遇到连续障碍物或者信号遮挡区域，语音交互模块将提供进一步的安全防护。
6.根据权利要求5所述的自动驾驶智能扫路人机交互控制系统，其特征在于，语音交互模块包括语音接收设备、语音播放设备、语音转化模块、语音控制模块；
语音接收设备，扫路车或扫路机工作状态下，实时检测和记录周围环境的声音频谱；
语音播放设备，按照语音转化模块的信号，以声波的方式向周围播放语音内容；
语音转化模块，将语音接收设备检测到的声音频谱转化为数字信号，也可以将数字信号转化为语音播放设备可以执行的输出信号；
语音控制模块，具备声音频谱数据库，通过计算机算法对接收到的声音数字信号进行识别指令及环境噪音，将识别后的信息传输至决策规划模块，决策后指令进一步传输回语音控制模块，通过语音播放设备执行播放互动的声音信号。
7.根据权利要求1所述的自动驾驶智能扫路人机交互控制系统，其特征在于：感知模块为扫路车或扫路机提供周围环境的实时检测信号，一般包括激光雷达、摄像头、毫米波雷达、超声波雷达、红外夜视，提供位置信息和环境信息。
8.根据权利要求1所述的自动驾驶智能扫路人机交互控制系统，其特征在于：接收交互指令的设备包括激光发射器、摄像感知模块或红外感知模块。
9.根据权利要求1所述的自动驾驶智能扫路人机交互控制系统，其特征在于：决策系统接收路面出现不平整的高度差以及不易处理的清扫对象，遍历已存储的场景信息库，选择对应的处理策略。
10.一种自动驾驶智能扫路人机交互控制设备，其特征在于：车体设有红外感知器、投影系统以及摄像系统，使用如权利要求1-8所述的交互控制系统交互控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010739310.0A CN111984007A (zh) | 2020-07-28 | 2020-07-28 | 自动驾驶智能扫路人机交互控制系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010739310.0A CN111984007A (zh) | 2020-07-28 | 2020-07-28 | 自动驾驶智能扫路人机交互控制系统及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111984007A true CN111984007A (zh) | 2020-11-24 |
Family
ID=73444704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010739310.0A Pending CN111984007A (zh) | 2020-07-28 | 2020-07-28 | 自动驾驶智能扫路人机交互控制系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111984007A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114625054A (zh) * | 2022-04-14 | 2022-06-14 | 海汇汽车制造有限公司 | 自动驾驶清扫车作业警示控制方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105759820A (zh) * | 2016-04-08 | 2016-07-13 | 济宁中科先进技术研究院有限公司 | 基于激光和视觉的道路自主清扫控制系统及控制方法 |
| CN205507542U (zh) * | 2016-04-08 | 2016-08-24 | 济宁中科先进技术研究院有限公司 | 基于激光和视觉的道路自主清扫控制系统 |
| CN205530067U (zh) * | 2016-04-08 | 2016-08-31 | 济宁中科先进技术研究院有限公司 | 基于激光和视觉的道路自主清扫车 |
| CN108334072A (zh) * | 2017-12-29 | 2018-07-27 | 同济大学 | 一种基于北斗导航的清扫车双驾驶模式控制系统 |
| CN108490941A (zh) * | 2018-03-29 | 2018-09-04 | 奇瑞汽车股份有限公司 | 应用于道路清扫车的自动驾驶系统及其控制方法、装置 |
| CN108693881A (zh) * | 2018-06-04 | 2018-10-23 | 北京智行者科技有限公司 | 车辆控制方法 |
| CN109062209A (zh) * | 2018-08-07 | 2018-12-21 | 安徽工程大学 | 一种智能辅助驾驶控制系统及其控制方法 |
| CN208521183U (zh) * | 2018-05-02 | 2019-02-19 | 合加新能源汽车有限公司 | 一种环卫车的无人驾驶系统 |
| CN109709593A (zh) * | 2018-12-28 | 2019-05-03 | 国汽(北京)智能网联汽车研究院有限公司 | 基于“云-端”紧耦合的智能网联汽车车载终端平台 |
| CN110568848A (zh) * | 2019-09-10 | 2019-12-13 | 东风商用车有限公司 | 清扫车的示教自动驾驶作业系统 |
| CN110703769A (zh) * | 2019-11-12 | 2020-01-17 | 山东交通学院 | 一种基于云平台的自动驾驶清扫车系统及控制方法 |
-
2020
- 2020-07-28 CN CN202010739310.0A patent/CN111984007A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105759820A (zh) * | 2016-04-08 | 2016-07-13 | 济宁中科先进技术研究院有限公司 | 基于激光和视觉的道路自主清扫控制系统及控制方法 |
| CN205507542U (zh) * | 2016-04-08 | 2016-08-24 | 济宁中科先进技术研究院有限公司 | 基于激光和视觉的道路自主清扫控制系统 |
| CN205530067U (zh) * | 2016-04-08 | 2016-08-31 | 济宁中科先进技术研究院有限公司 | 基于激光和视觉的道路自主清扫车 |
| CN108334072A (zh) * | 2017-12-29 | 2018-07-27 | 同济大学 | 一种基于北斗导航的清扫车双驾驶模式控制系统 |
| CN108490941A (zh) * | 2018-03-29 | 2018-09-04 | 奇瑞汽车股份有限公司 | 应用于道路清扫车的自动驾驶系统及其控制方法、装置 |
| CN208521183U (zh) * | 2018-05-02 | 2019-02-19 | 合加新能源汽车有限公司 | 一种环卫车的无人驾驶系统 |
| CN108693881A (zh) * | 2018-06-04 | 2018-10-23 | 北京智行者科技有限公司 | 车辆控制方法 |
| CN109062209A (zh) * | 2018-08-07 | 2018-12-21 | 安徽工程大学 | 一种智能辅助驾驶控制系统及其控制方法 |
| CN109709593A (zh) * | 2018-12-28 | 2019-05-03 | 国汽(北京)智能网联汽车研究院有限公司 | 基于“云-端”紧耦合的智能网联汽车车载终端平台 |
| CN110568848A (zh) * | 2019-09-10 | 2019-12-13 | 东风商用车有限公司 | 清扫车的示教自动驾驶作业系统 |
| CN110703769A (zh) * | 2019-11-12 | 2020-01-17 | 山东交通学院 | 一种基于云平台的自动驾驶清扫车系统及控制方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114625054A (zh) * | 2022-04-14 | 2022-06-14 | 海汇汽车制造有限公司 | 自动驾驶清扫车作业警示控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN205530067U (zh) | 基于激光和视觉的道路自主清扫车 | |
| CN205507542U (zh) | 基于激光和视觉的道路自主清扫控制系统 | |
| CN105759820A (zh) | 基于激光和视觉的道路自主清扫控制系统及控制方法 | |
| JP6898394B2 (ja) | 車両の自動運転制御補助方法、車両の自動運転制御補助装置、機器、コンピュータ読み取り可能な記憶媒体及び車路連携システム | |
| CN207370256U (zh) | 自动行走的行李箱、智能设备及系统 | |
| CN103699126B (zh) | 智能导游机器人的导游方法 | |
| CN111880174A (zh) | 一种用于支持自动驾驶控制决策的路侧服务系统及其控制方法 | |
| CN111823212A (zh) | 一种垃圾瓶清捡机器人及控制方法 | |
| CN113325837A (zh) | 一种用于多信息融合采集机器人的控制系统及方法 | |
| CN103605365A (zh) | 变电站设备污秽巡检、判定及清洗的全自动作业方法 | |
| CN104953709A (zh) | 一种变电站智能巡视机器人 | |
| CN114115296B (zh) | 一种重点区域智能巡检与预警系统及方法 | |
| CN211534259U (zh) | 一种无人驾驶洗地装置 | |
| CN113377111A (zh) | 一种无人清扫车的任务调度系统及方法 | |
| CN112462782B (zh) | 一种多功能智能跟随小车系统 | |
| WO2023109501A1 (zh) | 一种基于定位技术的列车主动障碍物检测方法及装置 | |
| CN111984007A (zh) | 自动驾驶智能扫路人机交互控制系统及设备 | |
| CN109816946B (zh) | 一种隧道巡检装置 | |
| CN112982259A (zh) | 一种无人驾驶小型清扫车作业操作系统及其方法 | |
| CN113081525A (zh) | 一种智能助行设备及智能助行设备的控制方法 | |
| CN211906081U (zh) | 基于路径跟踪的无人驾驶小型扫路车控制系统 | |
| Wang et al. | Smart seeing eye dog wheeled assistive robotics | |
| CN218398132U (zh) | 一种变电站室内多功能操作机器人 | |
| CN110539305A (zh) | 一种用于小区安保的智能机器人管理控制系统 | |
| CN114290313B (zh) | 巡检机器人、自动导航巡检机器人系统及控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |