CN111399636A - 基于肢体动作指令的无人驾驶车辆引导方法、系统及装置 - Google Patents

基于肢体动作指令的无人驾驶车辆引导方法、系统及装置 Download PDF

Info

Publication number
CN111399636A
CN111399636A CN202010114799.2A CN202010114799A CN111399636A CN 111399636 A CN111399636 A CN 111399636A CN 202010114799 A CN202010114799 A CN 202010114799A CN 111399636 A CN111399636 A CN 111399636A
Authority
CN
China
Prior art keywords
unmanned vehicle
limb
image
instruction
guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010114799.2A
Other languages
English (en)
Inventor
杨明
张北
袁伟
王春香
王冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010114799.2A priority Critical patent/CN111399636A/zh
Publication of CN111399636A publication Critical patent/CN111399636A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G05D1/0293—Convoy travelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于肢体动作指令的无人驾驶车辆引导装置，其中：在待引导的无人驾驶车辆附近，引导人员对所述无人驾驶车辆发出代表预设指令的肢体动作；实时采集包含所述肢体动作的图像，提取出其中所述肢体动作指令；通过动作指令匹配系统分析匹配出所述肢体动作代表的实际指令，该指令作为所述无人驾驶车辆的控制指令；所述无人驾驶车辆根据所述实际指令进行相应的自动驾驶动作。本发明还提供一种基于肢体动作指令的无人驾驶车辆引导系统和装置，可以允许无驾驶能力人员仅通过简单的肢体动作指令实现对无人驾驶车辆的引导，大大提高了无人驾驶车辆的编队效率，同时也降低了人力成本。

Description

基于肢体动作指令的无人驾驶车辆引导方法、系统及装置
技术领域
本发明涉及无人驾驶技术领域，具体地，涉及一种基于肢体动作指令的无人驾驶车辆引导方法、系统及装置。
背景技术
无人驾驶技术快速发展，车队驾驶是降低完全无人驾驶的一种解决方案。而传统车队驾驶通过驾驶员驾驶跟车进入编队，该方式导致人力成本高、编队效率低。针对传统需要编队人员手动驾驶每一辆车进入编队后才能由头车牵引的多车编队方法，不依赖驾驶员而通过其他方式实现无人驾驶车辆引导的方法被提出。
经过检索发现，申请号为201711240940.8，申请日为2017-11-30的中国专利申请《基于无人机的引导系统及车辆》，包括控制软件系统、引导系统、车辆上的无人机搭载结构等。所述无人机搭载结构安装于车辆尾部，包括本体和盖体；所述盖体通过活动连接件安装于本体上，使得所述盖体可相对于本体展开，所述展开的盖体作为无人机的搭载平台；所述无人机，作为引导执行结构，能够从无人机搭载结构上飞出，勘察路线信息并传输至前述车辆，以引导车辆行进。通过无人机解决车辆停车和/或驾车时的路线引导问题。该申请核心思想在于通过使用无人机来进行车辆的引导，一方面需要无人机作为引导的载体，有一定实施难度，且无人机易受到诸如雨天等环境的较大影响，一定程度上会降低车辆引导的可靠程度；另一方面车辆本身的控制并不能完全依靠无人机所采集的数据信息，仍需要驾驶员人工介入，并不能实际解决无人驾驶车辆的引导和编队问题。
申请号为201910181713.5，申请日为2019-03-11的中国专利申请《一种基于深度学习的交警手势识别方法及无人车》，包括摄像头、车载工作站及无人驾驶车辆；通过制作训练数据集、利用训练数据集中的数据离线训练深度学习网络模型、采集现场的交警手势、利用训练后的深度学习网络模型识别出交警手势、根据识别结果控制无人车遵循交警手势行驶。该方案仅依靠一个普通RGB摄像头和车载工作站即可自动识别出交警手势，无需复杂的外部设备，且对于不同环境下的交警手势识别都具有较高的准确率和识别效率。将该技术应用于无人驾驶车辆，可以使无人驾驶车辆具备自动识别交警手势并适应复杂多变的道路环境的能力，提升了无人驾驶车辆的智能性。该申请虽然能够有效识别交警手势，但由于其使用深度学习网络模型进行训练，因此手势指令的可更换性较低，更换成本较大，在方向的控制上需要多次进行手势指令的交互，整体引导效率较低。此外车载工作站不易拆卸，可更换性较差，也不便进行装置的转移，在价格上也不具备一定的竞争力。
上述专利方案在可实施环境上都有所局限，虽然都能够通过人/无人机与车辆的交互达到车辆的引导目的，但是无论在无人驾驶车辆的引导效率上还是在系统及硬件成本上都不具备足够的竞争力，不具有普适性。
目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
针对现有技术中存在的上述不足，本发明的目的是提供一种基于肢体动作指令的无人驾驶车辆引导方法、系统及装置，使得不会驾驶的人员也能实现无人驾驶车辆引导，引导效率更高，人力成本更低。
为实现上述目的，本发明是通过以下技术方案实现的。
根据本发明的第一方面，提供一种基于肢体动作指令的无人驾驶车辆引导方法，包括：
在待引导的无人驾驶车辆附近，引导人员对所述无人驾驶车辆发出代表预设指令的肢体动作；
实时采集包含引导人员所述肢体动作的图像，提取出其中代表预设指令的所述肢体动作；
通过动作指令匹配系统分析匹配出所述肢体动作代表的实际指令，该指令作为所述无人驾驶车辆的控制指令；
所述无人驾驶车辆根据所述实际指令进行相应的自动驾驶动作。
可选地，所述通过动作指令匹配系统分析出所述肢体动作代表的实际指令，其中：
存储代表预设指令的肢体动作模版样本；
对提取得到的引导人员发出的所述肢体动作与所述肢体动作模版样本进行匹配计算，判断出所述肢体动作代表的实际指令，用于控制所述无人驾驶车辆的自动驾驶引导动作。
可选地，所述实时采集包含肢体动作的图像，提取出其中所述肢体动作指令，包括：
实时采集所述无人驾驶车辆附近彩色图像信息，该彩色图像中包含引导人员图像数据信息；
实时采集所述无人驾驶车辆附近深度图像信息，该深度图像中包含引导人员的深度数据信息；
将所述彩色图像信息和所述深度图像信息，通过深度学习训练模型获取图像内引导人员人体骨骼节点数据信息，所述引导人员人体骨骼节点数据信息包括引导人员人体骨骼节点名称、引导人员人体骨骼节点当前状态以及引导人员人体骨骼节点的三维位置信息；
通过所述引导人员人体骨骼节点数据信息在同一个肢体动作时间内三维位置信息的变化轨迹和趋势，合并拟合出肢体动作，从而提取出其中所述肢体动作。
可选地，在获取图像内引导人员人体骨骼节点数据信息之前，还包括图像数据预处理，包括：
将实时采集的无人驾驶车辆附近实时彩色图像信息和深度图像信息，通过深度学习训练模型，确定图像视野内人的位置信息；
通过滤波的方法对图像视野内多个人进行筛选，从而在复杂多人情况下确认引导人员的实际位置，实现稳定跟随引导。
可选地，还包括：
对所述无人驾驶车辆的速度进行限制；
对所述无人驾驶车辆设置防过转向限制；
对所述无人驾驶车辆视野丢失时急停；
通过上述安全措施的一种或多种，以保证引导过程的安全。
根据本发明的第二方面，提供一种基于肢体动作指令的无人驾驶车辆引导系统，包括：
图像采集系统，实时采集所述无人驾驶车辆附近图像，该图像中包含引导人员及引导人员做出的代表预设指令的肢体动作，为人体骨骼节点数据的获取提供彩色图像数据信息和深度图像数据信息，同时实时确定引导人员的实际位置；
人体姿态提取系统，根据所述图像采集系统采集的图像中人体骨骼节点及彩色图像下引导人员的具体位置提取出其中所述肢体动作；
动作指令匹配系统，根据所述人体姿态提取系统得到的所述肢体动作，分析匹配出所述肢体动作代表的实际指令，该指令用于控制所述无人驾驶车辆进行相应的动作。
可选地，所述动作指令匹配系统，包括：
样本数据库，存储代表预设指令的肢体动作模版样本；
图像处理系统，调取所述人体姿态提取系统提取的引导人员发出的肢体动作；
序列匹配系统，对引导人员实际发出的肢体动作与所述肢体动作模版样本进行匹配计算，判断出所述肢体动作代表的实际指令，用于控制所述无人驾驶车辆的引导动作。
可选地，所述图像采集系统，包括：
RGB彩色摄像头，实时采集所述无人驾驶车辆附近彩色图像信息，该彩色图像中包含引导人员图像；
红外线发射器，实时发射近红外线；
红外线CMOS摄像头，实时接收近红外线；
所述红外线发射器与所述红外线CMOS摄像头配合获取深度图像，所述深度图像与所述RGB彩色摄像头所采集的彩色图像通过深度学习训练模型获取人体骨骼节点数据。
可选地，所述人体姿态提取系统，包括：
根据所述图像采集系统采集的图像，获取所述图像内引导人员人体骨骼节点数据信息，所述引导人员人体骨骼节点数据信息包括人体骨骼节点名称、引导人员人体骨骼节点当前状态以及人体骨骼节点的三维位置信息；
通过所述引导人员人体骨骼节点数据信息在同一个肢体动作时间内三维位置信息的变化轨迹和趋势，合并拟合出肢体动作，从而提取出其中所述肢体动作。
可选地，还包括图像处理系统，包括：
深度学习模块，将实时采集的无人驾驶车辆附近实时彩色图像数据信息和深度图像数据信息，通过深度学习训练模型，确定图像视野内人的位置信息；
筛选模块，通过滤波的方法对图像视野内多个人进行筛选，从而在复杂多人情况下确认引导人员的实际位置，实现稳定跟随引导。
根据本发明第三方面，提供一种基于肢体动作指令的无人驾驶车辆引导装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的基于肢体动作指令的无人驾驶车辆引导方法。
本发明上述系统和装置，解决了传统多车编队中需要驾驶员手动驾驶每一辆车进入编队后才能由头车牵引的多车编队方法，提出了一种基于肢体动作指令的新型无人驾驶车辆引导技术，允许无驾驶能力人员仅通过简单的肢体动作指令实现对无人驾驶车辆的引导，并根据不同含义的肢体动作指令对无人驾驶车辆发出控制指令，使得编队人员可以不用驾驶而直接在车外对无人驾驶车辆进行“引导”。进一步的，通过深度学习模型实现无人驾驶车辆对引导人员的位置确定和跟随，大大提高了无人驾驶车辆的编队效率，同时也降低了人力成本。
与现有技术相比，本发明实施例具有如下至少一种有益效果：
本发明上述的基于肢体动作指令的无人驾驶车辆引导方法、系统及装置，允许无驾驶能力人员仅通过简单的肢体动作指令实现对无人驾驶车辆的引导，实现车外交互，用户体验大大提升。
本发明上述的基于肢体动作指令的无人驾驶车辆引导方法、系统及装置，通过动作指令匹配技术，只需要引导人员在车外发出简单的肢体动作指令即可控制无人驾驶车辆，无需引导人员拥有驾驶能力。进一步的，本发明基于肢体动作指令，采用模板匹配的方式进行指令的识别，能够很方便地调整和修改引导人员的引导动作，对环境有较好的抗干扰能力，整体引导装置便于拆卸更换，价格适中，更加容易在日常生活中实现，能够较好本领域亟待解决的问题。
本发明上述的基于肢体动作指令的无人驾驶车辆引导方法、系统及装置，通过引导人员跟随技术，在保证引导人员人身安全的前提下，实现了无人驾驶车辆自主驾驶跟随引导人员的引导轨迹。
本发明上述的基于肢体动作指令的无人驾驶车辆引导方法、系统及装置，通过引导人员对无人驾驶车辆的引导，提高了编队效率，缓解了多车多地无驾驶人编队回收的问题。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中的方法流程图；
图2为本发明一实施例中的数据信息传递示意框图；
图3为本发明一较优实施例的整体结构示意框图；
图4为本发明一较优实施例的系统分块结构示意框图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
目前无人驾驶车辆在进行多车编队中，都需要具有驾驶能力的驾驶员手动驾驶每一辆车进入编队后，才能由头车牵引的多车编队。这种情况导致无人驾驶车辆人力成本相对较高，因为必须是有驾驶能力的人，而且多辆车要么多个驾驶员进行，要么一个驾驶员导致引导效率降低，在日常生活中实现不是很方便，尤其是车辆较多时。针对该问题，本发明提供了解决方案。
图1为本发明一实施例的基于肢体动作指令的无人驾驶车辆引导方法的流程图。如图1所示，该方法包括：
S1：在待引导的无人驾驶车辆附近，引导人员对无人驾驶车辆发出代表预设指令的肢体动作，预设指令是指可以用于控制无人驾驶车辆的自动驾驶的控制指令；
S2：实时采集包含肢体动作的图像，提取出其中代表预设指令的肢体动作；
S3：通过动作指令匹配系统分析匹配出S2的肢体动作代表的实际指令，该指令作为无人驾驶车辆的控制指令；
S4：无人驾驶车辆根据实际指令进行相应的自动驾驶动作。
引导人员可以在车辆附近指定的范围内，优选在车前，也可以是在其他位置，比如车侧，进一步优选的，引导人员与车辆的距离在2-3米为佳。在本发明一优选实施例中，S1中，引导人员于无人驾驶车辆前2～3米范围内对无人驾驶车辆发出规定动作的肢体动作指令，在无人驾驶车辆进入跟随引导状态后进行路径引导，在无人驾驶车辆到达指定位置和/或确认已进入编队后发出规定动作的肢体动作指令以停止并更改无人驾驶车辆的跟随引导状态。
在本发明一优选实施例中，S2中，实时采集包含肢体动作的图像，提取出其中肢体动作，包括：实时采集无人驾驶车辆附近实时彩色图像信息，该彩色图像中包含肢体动作；获取图像内引导人员人体骨骼节点数据信息，引导人员人体骨骼节点数据信息包括人体骨骼节点名称、引导人员人体骨骼节点当前状态以及人体骨骼节点的三维位置信息；
通过引导人员不同人体骨骼节点的数据在同一个肢体动作时间内三维位置信息的变化轨迹和趋势，合并拟合出肢体动作信息，从而提取出其中所述肢体动作，所述肢体动作代表预设指令。
在本发明一优选实施例中，S3中，通过动作指令匹配系统分析出肢体动作代表的实际指令，其中：存储代表预设指令的肢体动作模版样本；将提取的对引导人员实际发出的肢体动作与肢体动作模版样本进行匹配计算，判断出肢体动作代表的实际指令，用于控制无人驾驶车辆的自动驾驶引导动作。
进一步的，在本发明一优选实施例中，在获取图像内引导人员人体骨骼节点数据信息之前，还包括图像数据预处理，包括：将实时采集的无人驾驶车辆附近实时彩色图像信息，通过深度学习训练模型，确定图像视野内“人”的位置信息；通过滤波的方法对图像视野内多个人进行筛选，从而在复杂多人情况下确认引导人员的实际位置，实现稳定跟随引导。本实施例采用滤波的方法可以对图像中的非引导人员进行滤除，保证识别的准确性。
进一步的，在本发明一优选实施例中，对所述无人驾驶车辆的速度进行限制，并设置了包括防过转向限制、视野丢失时急停多重安全措施，以保证引导过程的安全。
本发明上述的实施例，允许无驾驶能力人员仅通过简单的肢体动作指令实现对无人驾驶车辆的引导，并根据不同含义的肢体动作指令对无人驾驶车辆发出控制指令，使得编队人员可以不用驾驶而直接在车外对无人驾驶车辆进行“引导”，能够实现车外交互，实现了无人驾驶车辆自主驾驶跟随引导人员的引导轨迹，用户体验大大提升。
图2为本发明一实施例的基于肢体动作指令的无人驾驶车辆引导系统框图。如图2所示，该系统包括：
图像采集系统，实时采集无人驾驶车辆附近图像，该图像中包含引导人员做出的代表预设指令的肢体动作；
人体姿态提取系统，在图像采集系统采集的图像中提取出其中肢体动作；
动作指令匹配系统，根据人体姿态提取系统得到的肢体动作，分析匹配出肢体动作代表的实际指令，该指令用于控制无人驾驶车辆进行相应的动作。无人驾驶车辆实现自主驾驶跟随引导人员的引导轨迹。
上述的图像采集系统设置在车辆上，具体位置可以根据需要设置，只要能够采集到包含引导人员的实时图像即可。比如，引导人员在车头的，则图像采集系统可以设置在车头部位，如果引导人员在车的两侧，则图像采集系统可以安装在车侧部位，当然，如果图像采集系统具有可转动方向的功能，则可以不用过于考虑安装部位。
在一具体实施例中，图像采集系统可以包括RGB彩色摄像头、红外线发射器、红外线CMOS摄像头，RGB彩色摄像头主要用于实时采集并获取车前或其他位置的实时彩色图像信息，该图像中必须包含引导人员，红外线发射器和红外线CMOS摄像头结合RGB彩色摄像头数据，通过已训练模型实时获取图像内人体骨骼节点数据信息。获取图像内引导人员人体骨骼节点数据信息，所述引导人员人体骨骼节点数据信息包括人体骨骼节点名称、引导人员人体骨骼节点当前状态以及人体骨骼节点的三维位置信息。当然，这只是其中一种情况，在其他实施例中，也可以采用其他相应的图像采集部件，只要能实现上述的功能即可。
人体姿态提取系统从在图像采集系统采集的图像中提取出其中引导人员的代表设定指令的肢体动作，并存储以便调用。
在一具体实施例中，动作指令匹配系统包括：样本数据库，存储代表预设指令的肢体动作模版样本；图像处理系统，调取人体姿态提取系统提取出的引导人员发出的肢体动作；序列匹配系统，对引导人员实际发出的肢体动作与肢体动作模版样本进行匹配计算，判断出肢体动作代表的实际指令，用于控制无人驾驶车辆的引导动作。图像处理系统还可以存储引导人员实际发出的肢体动作指令。更好地，肢体动作指令可以根据需要进行设定，样本数据库容量可以进一步扩大。
在上述实施例的基础上，还可以包括图像处理系统，包括：深度学习模块，将实时采集的无人驾驶车辆附近实时彩色图像信息，通过深度学习训练模型，确定图像视野内“人”的位置信息；筛选模块，通过滤波的方法对图像视野内多个人进行筛选，从而在复杂多人情况下确认引导人员的实际位置，实现稳定跟随引导。在采集的图像中，有可能会存在很多人，通过上述的操作能准确提取出特定肢体动作的引导人员，这样在后续的动作指令匹配系统才能更好、更准确的实现指令匹配，用于无人驾驶车辆的控制。
参照图3、4所示，结合上述的系统，在一具体实施例中，使用基于肢体动作指令的无人驾驶车辆引导装置，可以按照如下步骤：
(1)引导人员于无人驾驶车辆前2～3米范围内对无人驾驶车辆发出代表预设指令的肢体动作，设置于无人驾驶车辆上的图像处理系统、实时图像采集系统及人体姿态提取系统提取出引导人员的实际肢体动作；
(2)图像处理系统通过动作指令匹配系统分析出引导人员实际肢体动作指令，作为无人驾驶车辆的控制指令；
(3)当无人驾驶车辆进入跟随引导状态后，无人驾驶车辆在保证引导人员人身安全的条件下，低速稳定地跟随行驶引导人员的引导路径；
(4)当无人驾驶车辆到达指定位置和/或确认已进入编队后，引导人员再次于无人驾驶车辆前2～3米范围内对无人驾驶车辆发出规定动作的肢体动作指令，经采集和识别出肢体动作指令，结束对无人驾驶车辆的引导过程。
下面结合具体应用实例，对上述技术方案的实施进一步说明。
在上海市某场地配置1辆经调整的奇瑞汽车作为无人驾驶车辆，并在无人驾驶车辆上配置对应的图像处理系统、实时图像采集系统及人体姿态提取设备的对应接口以及相应的供电设备。具体的，在无人驾驶车辆引擎盖中心位置固定Kinect V2传感器作为实时图像采集系统及人体姿态提取设备，并与实时图像采集设备及人体姿态提取设备的对应接口对接。一名引导人员在奇瑞汽车前2～3米范围内面向无人驾驶车辆发出“开始跟随”的肢体动作指令，具体地，指令动作为右臂向上举至肩部附近，然后放下。肢体动作指令完成后，无人驾驶车辆进入跟随引导状态。引导人员向前步行时，无人驾驶车辆能够实现低速稳定跟随行驶，当无人驾驶车辆与引导人员之间的距离过近时，自动停止行驶，直至无人驾驶车辆与引导人员之间的距离达到安全距离。当引导人员确认无人驾驶车辆已引导完毕后，面向无人驾驶车辆发出“停止跟随”的肢体动作指令，具体地，指令动作为左臂由前向上直伸，掌心向前并高于头部。肢体动作指令完成后，无人驾驶车辆停止并退出跟随引导状态，无人驾驶车辆引导结束。
本发明上述实施例提供的基于肢体动作指令的无人驾驶车辆引导装置，解决了传统多车编队中需要驾驶员手动驾驶每一辆车进入编队后才能由头车牵引的多车编队方法。允许无驾驶能力人员仅通过简单的肢体动作指令实现对无人驾驶车辆的引导，并根据不同含义的肢体动作指令对无人驾驶车辆发出控制指令，使得编队人员可以不用驾驶而直接在车外对无人驾驶车辆进行“引导”，并通过深度学习模型实现无人驾驶车辆对引导人员的跟随引导，大大提高了无人驾驶车辆的编队效率，同时也降低了人力成本。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于肢体动作的无人驾驶车辆引导方法，其特征在于，包括：
在待引导的无人驾驶车辆附近，引导人员对所述无人驾驶车辆发出代表预设指令的肢体动作；
实时采集包含引导人员所述肢体动作的图像，提取出其中代表预设指令的所述肢体动作；
通过动作指令匹配系统分析匹配出所述肢体动作代表的实际指令，该指令作为所述无人驾驶车辆的控制指令；
所述无人驾驶车辆根据所述实际指令进行相应的自动驾驶动作。
2.根据权利要求1所述的基于肢体动作的无人驾驶车辆引导方法，其特征在于，所述通过动作指令匹配系统分析出所述肢体动作代表的实际指令，其中：
存储代表预设指令的肢体动作模版样本；
对提取得到的引导人员发出的所述肢体动作与所述肢体动作模版样本进行匹配计算，判断出所述肢体动作代表的实际指令，用于控制所述无人驾驶车辆的自动驾驶引导动作。
3.根据权利要求1所述的基于肢体动作的无人驾驶车辆引导方法，其特征在于，所述实时采集包含肢体动作的图像，提取出其中所述肢体动作，包括：
实时采集所述无人驾驶车辆附近彩色图像信息，该彩色图像中包含引导人员图像数据信息；
实时采集所述无人驾驶车辆附近深度图像信息，该深度图像中包含引导人员的深度数据信息；
将所述彩色图像信息和所述深度图像信息，通过深度学习训练模型获取图像内引导人员人体骨骼节点数据信息，所述引导人员人体骨骼节点数据信息包括引导人员人体骨骼节点名称、引导人员人体骨骼节点当前状态以及引导人员人体骨骼节点的三维位置信息；
通过所述引导人员人体骨骼节点数据信息在同一个肢体动作时间内三维位置信息的变化轨迹和趋势，合并拟合出肢体动作，从而提取出其中所述肢体动作。
4.根据权利要求3所述的基于肢体动作指令的无人驾驶车辆引导方法，其特征在于，在获取图像内引导人员人体骨骼节点数据信息之前，还包括图像数据预处理，包括：
将实时采集的无人驾驶车辆附近实时彩色图像信息和深度图像信息，通过深度学习训练模型，确定图像视野内人的位置信息；
通过滤波的方法对图像视野内多个人进行筛选，从而在复杂多人情况下确认引导人员的实际位置，实现稳定跟随引导。
5.一种基于肢体动作指令的无人驾驶车辆引导系统，其特征在于，包括：
图像采集系统，实时采集所述无人驾驶车辆附近图像，该图像中包含引导人员做出的代表预设指令的肢体动作；
人体姿态提取系统，在所述图像采集系统采集的图像中提取出其中所述肢体动作；
动作指令匹配系统，根据所述人体姿态提取系统得到的所述肢体动作，分析匹配出所述肢体动作代表的实际指令，该指令用于控制所述无人驾驶车辆进行相应的动作。
6.根据权利要求5所述的基于肢体动作指令的无人驾驶车辆引导系统，其特征在于，所述动作指令匹配系统，包括：
样本数据库，存储代表预设指令的肢体动作模版样本；
图像处理系统，调取所述人体姿态提取系统提取的引导人员发出的肢体动作；
序列匹配系统，对引导人员实际发出的肢体动作与所述肢体动作模版样本进行匹配计算，判断出所述肢体动作代表的实际指令，用于控制所述无人驾驶车辆的引导动作。
7.根据权利要求5所述的基于肢体动作指令的无人驾驶车辆引导系统，其特征在于，所述图像采集系统，包括：
RGB彩色摄像头，实时采集所述无人驾驶车辆附近彩色图像信息，该彩色图像中包含引导人员图像；
红外线发射器，实时发射近红外线；
红外线CMOS摄像头，实时接收近红外线；
所述红外线发射器与所述红外线CMOS摄像头配合获取深度图像，所述深度图像与所述RGB彩色摄像头所采集的彩色图像通过深度学习训练模型获取人体骨骼节点数据。
8.根据权利要求5所述的基于肢体动作指令的无人驾驶车辆引导系统，其特征在于，所述人体姿态提取系统，包括：
根据所述图像采集系统采集的图像，获取所述图像内引导人员人体骨骼节点数据信息，所述引导人员人体骨骼节点数据信息包括人体骨骼节点名称、引导人员人体骨骼节点当前状态以及人体骨骼节点的三维位置信息；
通过所述引导人员人体骨骼节点数据信息在同一个肢体动作时间内三维位置信息的变化轨迹和趋势，合并拟合出肢体动作，从而提取出其中所述肢体动作。
9.根据权利要求5所述的基于肢体动作指令的无人驾驶车辆引导系统，其特征在于，在获取图像内引导人员人体骨骼节点数据信息之前，还包括图像处理系统，包括：
深度学习模块，将实时采集的无人驾驶车辆附近实时彩色图像信息，通过深度学习训练模型，确定图像视野内人的位置信息；
筛选模块，通过滤波的方法对图像视野内多个人进行筛选，从而在复杂多人情况下确认引导人员的实际位置，实现稳定跟随引导。
10.一种基于肢体动作指令的无人驾驶车辆引导装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-4任一所述的方法。
CN202010114799.2A 2020-02-25 2020-02-25 基于肢体动作指令的无人驾驶车辆引导方法、系统及装置 Pending CN111399636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010114799.2A CN111399636A (zh) 2020-02-25 2020-02-25 基于肢体动作指令的无人驾驶车辆引导方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010114799.2A CN111399636A (zh) 2020-02-25 2020-02-25 基于肢体动作指令的无人驾驶车辆引导方法、系统及装置

Publications (1)

Publication Number Publication Date
CN111399636A true CN111399636A (zh) 2020-07-10

Family

ID=71436620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010114799.2A Pending CN111399636A (zh) 2020-02-25 2020-02-25 基于肢体动作指令的无人驾驶车辆引导方法、系统及装置

Country Status (1)

Country Link
CN (1) CN111399636A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112753009A (zh) * 2021-01-04 2021-05-04 华为技术有限公司 人机交互方法与人机交互装置
CN113311870A (zh) * 2021-05-28 2021-08-27 广东工业大学 一种基于无人机的精准物流投送方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893951A (zh) * 2016-03-29 2016-08-24 华东师范大学 一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统
CN106950964A (zh) * 2017-04-26 2017-07-14 北京理工大学 无人电动大学生方程式赛车及其控制方法
CN107200017A (zh) * 2017-05-22 2017-09-26 北京联合大学 一种基于深度学习的无人驾驶车辆控制系统
CN109211582A (zh) * 2018-07-27 2019-01-15 山东省科学院自动化研究所 无人驾驶车辆认知交通指挥手势能力的测试系统及方法
CN109460031A (zh) * 2018-11-28 2019-03-12 科大智能机器人技术有限公司 一种基于人体识别的自动牵引车的跟随系统
CN109686031A (zh) * 2018-12-21 2019-04-26 北京智行者科技有限公司 基于安防的识别跟随方法
CN110659543A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 基于手势识别的车辆控制方法、系统及车辆

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893951A (zh) * 2016-03-29 2016-08-24 华东师范大学 一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统
CN106950964A (zh) * 2017-04-26 2017-07-14 北京理工大学 无人电动大学生方程式赛车及其控制方法
CN107200017A (zh) * 2017-05-22 2017-09-26 北京联合大学 一种基于深度学习的无人驾驶车辆控制系统
CN110659543A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 基于手势识别的车辆控制方法、系统及车辆
CN109211582A (zh) * 2018-07-27 2019-01-15 山东省科学院自动化研究所 无人驾驶车辆认知交通指挥手势能力的测试系统及方法
CN109460031A (zh) * 2018-11-28 2019-03-12 科大智能机器人技术有限公司 一种基于人体识别的自动牵引车的跟随系统
CN109686031A (zh) * 2018-12-21 2019-04-26 北京智行者科技有限公司 基于安防的识别跟随方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112753009A (zh) * 2021-01-04 2021-05-04 华为技术有限公司 人机交互方法与人机交互装置
WO2022141648A1 (zh) * 2021-01-04 2022-07-07 华为技术有限公司 人机交互方法与人机交互装置
CN113311870A (zh) * 2021-05-28 2021-08-27 广东工业大学 一种基于无人机的精准物流投送方法
CN113311870B (zh) * 2021-05-28 2023-09-22 广东工业大学 一种基于无人机的精准物流投送方法

Similar Documents

Publication Publication Date Title
CN104083258B (zh) 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
CN109571513B (zh) 一种沉浸式移动抓取服务机器人系统
CN100360204C (zh) 基于多处理器协作的智能表演机器人的控制系统
Cai et al. Vision-based trajectory planning via imitation learning for autonomous vehicles
CN110077414A (zh) 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统
CN103955215B (zh) 基于手势识别的自动避障小车及其控制装置和控制方法
CN109532522A (zh) 一种基于3d视觉技术的汽车无人充电系统及其使用方法
CN105739705A (zh) 一种车载系统人眼控制方法及装置
CN111399636A (zh) 基于肢体动作指令的无人驾驶车辆引导方法、系统及装置
CN105487665A (zh) 一种基于头部姿势识别的智能移动服务机器人控制方法
US20200202142A1 (en) Autonomous taxi
CN108089695B (zh) 一种控制可移动设备的方法和装置
CN106934380A (zh) 一种基于HOG和MeanShift算法的室内行人检测和跟踪方法
CN114735010B (zh) 基于情绪识别的智能车辆行驶控制方法、系统及存储介质
EP2922384A1 (de) Autonomes fortbewegungsgerät
CN108491071A (zh) 一种基于模糊控制的脑控车辆共享控制方法
CN106652505A (zh) 一种基于智能眼镜的视觉障碍行人过街引导系统
Abadi et al. Detection of Cyclists' Crossing Intentions for Autonomous Vehicles
Wang et al. End-to-end driving simulation via angle branched network
CN110825216A (zh) 一种驾驶员驾驶时人机交互的方法和系统
CN207516827U (zh) 一种自动驾驶小型车
CN111508263A (zh) 停车场智能引导机器人及智能引导方法
Wang et al. Smart seeing eye dog wheeled assistive robotics
CN115661726B (zh) 一种轨道列车工件装配的自主视频采集与分析方法
CN202650030U (zh) 一种车载交通手势识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200710