CN111369991A - 一种支持自然语言指令的移动控制方法及其系统 - Google Patents

一种支持自然语言指令的移动控制方法及其系统 Download PDF

Info

Publication number
CN111369991A
CN111369991A CN202010095367.1A CN202010095367A CN111369991A CN 111369991 A CN111369991 A CN 111369991A CN 202010095367 A CN202010095367 A CN 202010095367A CN 111369991 A CN111369991 A CN 111369991A
Authority
CN
China
Prior art keywords
instruction
natural language
track
route
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010095367.1A
Other languages
English (en)
Other versions
CN111369991B (zh
Inventor
张雷
申雷翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010095367.1A priority Critical patent/CN111369991B/zh
Publication of CN111369991A publication Critical patent/CN111369991A/zh
Application granted granted Critical
Publication of CN111369991B publication Critical patent/CN111369991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Machine Translation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种支持自然语言指令的移动控制方法，包括以下步骤：S01，接收来自用户的自然语言指令，去除自然语言指令中无意义语助词，然后转化为文本信息；S02，对其中的关键动词，查找关键动词定义库，进行动词定义，并生成完整的指令关键词列表，包含主体、对象以及轨迹要求；S03，通过传感器接收周围环境感知信息，对指令关键词的属性信息进行补全；S04，生成初步轨迹规划路线，按照规划路线移动；S05，利用局部环境信息，规划局部轨迹路线，经过局部多次迭代规划，逐步接近目标位置。本发明还公开了一种支持自然语言指令的移动控制系统。本发明提供的一种支持自然语言指令的移动控制方法及其系统，能够实现自然语言指令到机器指令之间的灵活映射。

Description

一种支持自然语言指令的移动控制方法及其系统
技术领域
本发明涉及一种支持自然语言指令的移动控制方法及其系统，属于人工智能和自动控制领域。
背景技术
随着人工智能技术的快速发展，基于自然语言指令的人机交互技术也取得了长足进步，目前研究热点主要集中于如何让机器增强语义理解能力，正确理解人类意图。相应的支持自然语言指令控制的复杂控制产品则比较少，主要集中于智能家居领域，实现对家电设备对象的选择、控制指令的选择等。
实现自然语言指令控制的关键是要将人类发出的语音指令映射到机器可以执行的单条或多条控制指令。目前这种映射多为简单逻辑的直观映射，通过指令映射表实现固定的、明确的指令匹配。图2所示的指令映射表下，如果用户发出指令“关闭客厅灯”，控制器提取语音指令的关键词，进而查表转换为设备编号001可以执行的机器指令‘0X55’。
但是自然语言描述的指令特点往往具有一定的概括性和不完整性。概括性是一条简短指令可能需要进行指令分析，分解为一系列简单机器指令的集合。如“围绕机床一圈”，需要机器根据特定的机床形状规划旋转路径，完成围绕一圈。不完整性指的是发出指令可能缺失一些特定信息，需要根据环境上下文推断和补全隐含的指令信息，才能转换为时间序列的一系列确定动作指令。现有的移动控制方法不能将自然语言有效转化为机器可以执行的单条或多条控制指令。
发明内容
本发明要解决的技术问题是，针对现有技术的不足，提供一种能够实现自然语言指令到机器指令之间的灵活映射的支持自然语言指令的移动控制方法及其系统。
为解决上述技术问题，本发明采用的技术方案为：
一种支持自然语言指令的移动控制方法，包括以下步骤：
S01，接收来自用户的自然语言指令，去除语音指令中无意义语助词，然后转化为文本信息，通过语义分析，将文本指令解析为一系列关键词，包括主语、谓语、宾语、宾补、副词和状语；
S02，对其中的关键动词，查找关键动词定义库，进行动词定义，并生成完整的指令关键词列表，包含主体、对象以及轨迹要求；
S03，通过传感器接收周围环境感知信息，对S02中主体、对象以及轨迹要求指令关键词的属性信息进行补全；
S04，根据主体、对象以及轨迹路线要求，生成初步轨迹规划路线。
S05，，如果周围环境信息充分，可以按照初步轨迹规划路线，次序生成机器指令，按照规划路线移动；如果在移动过程中出现未知障碍物，则利用局部环境信息，规划局部轨迹路线，经过局部多次迭代规划，逐步接近目标位置。
S01中，移动客户端接收来自用户的自然语言指令。
S02中，动词定义包括多个约束条件。
S03中，主体、对象以及轨迹要求指令关键词信息补充仍然不完整，则要求用户补充指令信息或动词定义。
S03中，补充的属性信息包括机器人当前位置，目标位置和当前局部环境图像。
一种支持自然语言指令的移动控制系统，包括自然语言指令接收模块，所述自然语言指令接收模块将自然语言指令输送给指令预处理模块，所述指令预处理模块去除自然语言指令中无意义语助词，将预处理过的文本指令传输给语义分析模块，所述语义分析模块将文本指令解析为一系列关键词，包括主语、谓语、宾语、宾补、副词和状语，动词定义查找模块查找关键动词定义库，进行特定动词定义，组合生成完全指令关键词列表模块依据特定动词定义生成完整的指令关键词列表，包含主体、对象以及轨迹要求，传感器获得周围环境的感知信息，将语音指令中提取的关键词信息补全完整，路线规划模块根据主体、对象以及轨迹路线要求，生成初步轨迹规划路线，移动控制模块按照初步轨迹规划路线，次序生成机器指令，按照规划路线移动。
本发明的有益效果：本发明提供一种支持自然语言指令的移动控制方法及其系统，通过提取自然语言指令关键词，结合多种传感器获得周围环境信息，规划运动轨迹，进而转化到一段时间序列的机器指令，能够实现自然语言指令到机器指令之间的灵活映射。
附图说明
图1为本发明一种支持自然语言指令的移动控制方法的流程图；
图2为本现有技术中简单逻辑的直观映射图。
具体实施方式
下面结合实施例对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，本发明提供一种支持自然语言指令的移动控制方法，下面以一条自然语言指令实例说明本方法的工作流程，主要包括以下步骤：
步骤一，语音指令接收模块接收来自用户的自然语言指令，然后输送给指令预处理模块，指令预处理模块去除语音指令中无意义语助词，然后转化为文本信息，通过语义分析，将文本指令解析为一系列关键词，包括主语、谓语、宾语、宾补、副词和状语。如上述指令被分解为主语：1号小车；副词：前方；谓语：围绕；宾语：装配区A；状语：一圈。
步骤二，对其中的关键动词，动词定义查找模块查找关键动词定义库，进行动词定义。对其中的谓语动词，需要查找预先定义的动词库，明确动作含义，以及完成动作要求的所需信息。如围绕的动词定义为“沿着对象边缘一圈”，执行过程是确认起点为离对象足够近的一点，终点为起点。约束条件1行进方向为前，左右，不能后退；约束条件2：离对象的距离小于50cm(自定义)”。执行该动作要求已知条件为主体的定位坐标；对象的定位坐标，对象的边缘信息。组合生成完全指令关键词列表模块依据特定动词定义生成完整的指令关键词列表，包含主体、对象以及轨迹要求。对于主体、对象、以及轨迹路线要求的相应属性信息未知的，则进入步骤三进行信息补全。
步骤三，通过传感器接收周围环境感知信息，传感器包括距离传感器、摄像头等，对步骤二中主体、对象以及轨迹要求指令关键词的属性信息进行补全。主体、对象以及轨迹要求指令关键词信息补充仍然不完整，则要求用户补充指令信息或动词定义。补充的属性信息包括机器人当前位置，目标位置和当前局部环境图像，作为关键词的属性信息补充。
步骤四，路线规划模块根据主体、对象以及轨迹路线要求，生成初步轨迹规划路线，如果周围环境信息充分，移动控制模块可以按照初步轨迹规划路线，次序生成机器指令，按照规划路线移动。
步骤五，如果在移动过程中出现未知障碍物，不能按照规划的轨迹路线前行，路线规划模块则利用局部环境信息，进行二次规划，规划局部轨迹路线，经过局部多次迭代规划，逐步接近目标位置。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种支持自然语言指令的移动控制方法，其特征在于：包括以下步骤：
S01，接收来自用户的自然语言指令，去除指令中无意义语助词，然后转化为文本信息，通过语义分析，将文本指令解析为一系列关键词，包括主语、谓语、宾语、宾补、副词和状语；
S02，对其中的动词关键词，查找关键动词定义库，进行动词定义，并生成完整的指令关键词列表，包含主体、对象以及轨迹要求；
S03，通过传感器接收周围环境感知信息，对S02中主体、对象以及轨迹要求指令关键词的属性信息进行补全；
S04，根据主体、对象以及轨迹路线要求，生成初步轨迹规划路线。
S05，如果周围环境信息充分，可以按照初步轨迹规划路线，次序生成机器指令，按照规划路线移动；如果在移动过程中出现未知障碍物，则利用局部环境信息，规划局部轨迹路线，经过局部多次迭代规划，逐步接近目标位置。
2.根据权利要求1所述的一种支持自然语言指令的移动控制方法，其特征在于：S01中，移动客户端接收来自用户的自然语言指令。
3.根据权利要求1所述的一种支持自然语言指令的移动控制方法，其特征在于：S02中，动词定义包括多个约束条件。
4.根据权利要求3所述的一种支持自然语言指令的移动控制方法，其特征在于：S03中，主体、对象以及轨迹要求指令关键词信息补充仍然不完整，则要求用户补充指令信息或动词定义。
5.根据权利要求1所述的一种支持自然语言指令的移动控制方法，其特征在于：S03中，补充的属性信息包括机器人当前位置，目标位置和当前局部环境图像。
6.一种支持自然语言指令的移动控制系统，其特征在于：包括自然语言指令接收模块，所述自然语言指令接收模块将自然语言指令输送给指令预处理模块，所述指令预处理模块去除文本指令中无意义语助词，将预处理过的文本指令传输给语义分析模块，所述语义分析模块将文本指令解析为一系列关键词，包括主语、谓语、宾语、宾补、副词和状语，动词定义查找模块查找关键动词定义库，进行特定动词定义，组合生成完全指令关键词列表模块依据特定动词定义生成完整的指令关键词列表，包含主体、对象以及轨迹要求，传感器获得周围环境的感知信息，将语音指令中提取的关键词信息补全完整，路线规划模块根据主体、对象以及轨迹路线要求，生成初步轨迹规划路线，移动控制模块按照初步轨迹规划路线，次序生成机器指令，按照规划路线移动。
CN202010095367.1A 2020-02-17 2020-02-17 一种支持自然语言指令的移动控制方法及其系统 Active CN111369991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010095367.1A CN111369991B (zh) 2020-02-17 2020-02-17 一种支持自然语言指令的移动控制方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010095367.1A CN111369991B (zh) 2020-02-17 2020-02-17 一种支持自然语言指令的移动控制方法及其系统

Publications (2)

Publication Number Publication Date
CN111369991A true CN111369991A (zh) 2020-07-03
CN111369991B CN111369991B (zh) 2023-12-12

Family

ID=71210333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010095367.1A Active CN111369991B (zh) 2020-02-17 2020-02-17 一种支持自然语言指令的移动控制方法及其系统

Country Status (1)

Country Link
CN (1) CN111369991B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986670A (zh) * 2020-08-25 2020-11-24 Oppo广东移动通信有限公司 语音控制方法、装置、电子设备和计算机可读存储介质
CN113834497A (zh) * 2021-09-24 2021-12-24 合众新能源汽车有限公司 自动驾驶的路线规划方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103823466A (zh) * 2013-05-23 2014-05-28 电子科技大学 一种动态环境下移动机器人路径规划方法
CN107492377A (zh) * 2017-08-16 2017-12-19 北京百度网讯科技有限公司 用于控制自拍飞行器的方法和装置
CN108444482A (zh) * 2018-06-15 2018-08-24 东北大学 一种无人机自主寻路避障方法及系统
CN110058559A (zh) * 2019-05-20 2019-07-26 深圳市播闪科技有限公司 一种人工智能轮椅控制机构

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103823466A (zh) * 2013-05-23 2014-05-28 电子科技大学 一种动态环境下移动机器人路径规划方法
CN107492377A (zh) * 2017-08-16 2017-12-19 北京百度网讯科技有限公司 用于控制自拍飞行器的方法和装置
CN108444482A (zh) * 2018-06-15 2018-08-24 东北大学 一种无人机自主寻路避障方法及系统
CN110058559A (zh) * 2019-05-20 2019-07-26 深圳市播闪科技有限公司 一种人工智能轮椅控制机构

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986670A (zh) * 2020-08-25 2020-11-24 Oppo广东移动通信有限公司 语音控制方法、装置、电子设备和计算机可读存储介质
CN113834497A (zh) * 2021-09-24 2021-12-24 合众新能源汽车有限公司 自动驾驶的路线规划方法及装置

Also Published As

Publication number Publication date
CN111369991B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
US10556348B2 (en) System and method for semantic processing of natural language commands
CN106875941B (zh) 一种服务机器人的语音语义识别方法
KR101662450B1 (ko) 다중 소스 하이브리드 질의응답 방법 및 시스템
CN110277086A (zh) 基于电网调度知识图谱的语音合成方法、系统及电子设备
Neal et al. Natural language with integrated deictic and graphic gestures
JP2017539042A (ja) 任意の言語資産および資源のローカライズ複雑性
Williams et al. A framework for resolving open-world referential expressions in distributed heterogeneous knowledge bases
Chen et al. A joint network for grasp detection conditioned on natural language commands
CN111159249A (zh) 基于知识图谱的目标识别方法、装置、系统、存储介质
CN111369991B (zh) 一种支持自然语言指令的移动控制方法及其系统
Hu et al. Safe navigation with human instructions in complex scenes
Patki et al. Inferring compact representations for efficient natural language understanding of robot instructions
CN110480635A (zh) 一种用于多机器人的控制方法及控制系统
Kruijff et al. Information fusion for visual reference resolution in dynamic situated dialogue
CN111506770B (zh) 一种采访视频集锦生成方法和系统
CN112749263A (zh) 一种基于单个问题的多轮答案生成系统
Kaneda et al. Learning-to-rank approach for identifying everyday objects using a physical-world search engine
Kramer et al. Tell your robot what to do: evaluation of natural language models for robot command processing
Yi et al. Expressing homotopic requirements for mobile robot navigation through natural language instructions
Kollar et al. Generalized grounding graphs: A probabilistic framework for understanding grounded commands
Constantin et al. Interactive multimodal robot dialog using pointing gesture recognition
CN115903900A (zh) 一种基于语义理解的无人机航线规划方法及系统
Jin et al. TOD3Cap: Towards 3D Dense Captioning in Outdoor Scenes
Dash et al. Multimodal learning based spatial relation identification
Levy et al. Understanding natural language in context

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant