CN111708366B - 机器人及其行动控制方法、装置和计算机可读存储介质 - Google Patents

机器人及其行动控制方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111708366B
CN111708366B CN202010605094.0A CN202010605094A CN111708366B CN 111708366 B CN111708366 B CN 111708366B CN 202010605094 A CN202010605094 A CN 202010605094A CN 111708366 B CN111708366 B CN 111708366B
Authority
CN
China
Prior art keywords
robot
dimensional coordinate
target object
information
action control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010605094.0A
Other languages
English (en)
Other versions
CN111708366A (zh
Inventor
安程治
王芳
李锐
金长新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Scientific Research Institute Co Ltd
Original Assignee
Shandong Inspur Scientific Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Scientific Research Institute Co Ltd filed Critical Shandong Inspur Scientific Research Institute Co Ltd
Priority to CN202010605094.0A priority Critical patent/CN111708366B/zh
Priority to PCT/CN2020/112499 priority patent/WO2022000755A1/zh
Publication of CN111708366A publication Critical patent/CN111708366A/zh
Application granted granted Critical
Publication of CN111708366B publication Critical patent/CN111708366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种机器人的行动控制方法、装置、机器人及计算机可读存储介质，该方法包括：获取行动控制指令；检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息；将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息；根据三维坐标信息，控制机器人到行动控制信息对应的位置进行相应的操作；本发明利用摄像头采集的真实物理世界的二维图像识别目标物体，并确定目标物体的二维坐标信息，通过将目标物体的二维坐标信息转换为机器人所使用的三维坐标系下相应的三维坐标信息，能够确定目标物体在三维坐标系下的实际位置，从而适应目标物体的位置变化，正确执行相应的行动操作。

Description

机器人及其行动控制方法、装置和计算机可读存储介质
技术领域
本发明涉及人工智能技术领域，特别涉及一种机器人的行动控制方法、装置、机器人及计算机可读存储介质。
背景技术
随着现代社会科技的发展，人工智能领域的机器人得到了很好的发展。目前，机器人的对目标物体的行动操作仅能在固定的三维地图中进行，使得机器人难以适应目标物体的位置变化，无法正确的执行相应的行动操作，导致机器人的行动控制效果不佳。
因此，如何使机器人能够快速便捷的识别真实物理世界中目标物体的位置，从而适应目标物体的位置变化，正确执行相应的行动操作，是现今急需解决的问题。
发明内容
本发明的目的是提供一种机器人的行动控制方法、装置、机器人及计算机可读存储介质，以使机器人能够快速便捷的识别真实物理世界中目标物体的位置，从而适应目标物体的位置变化，正确执行相应的行动操作。
为解决上述技术问题，本发明提供一种机器人的行动控制方法，包括：
获取行动控制指令；其中，所述行动控制指令包括目标物体信息和行动控制信息；
检测机器人的摄像头采集的二维图像中所述目标物体信息对应的目标物体，并确定所述目标物体的二维坐标信息；
将所述二维图像中的所述二维坐标信息转换为预设三维坐标系下的三维坐标信息；
根据所述三维坐标信息，控制所述机器人到所述行动控制信息对应的位置进行相应的操作。
可选的，所述获取行动控制指令，包括：
对所述机器人的麦克风采集到的语音信息进行语音识别，获取所述行动控制指令。
可选的，所述将所述二维图像中的所述二维坐标信息转换为预设三维坐标系下的三维坐标信息，包括：
利用增强现实的平面检测功能，将所述二维图像中的所述二维坐标信息映射到三维数字地图中的三维坐标信息。
可选的，所述利用增强现实的平面检测功能，将所述二维图像中的所述二维坐标信息映射到三维数字地图中的三维坐标信息之前，还包括：
利用增强现实的即时定位与地图构建功能，构建所述三维数字地图。
本发明还提供了一种机器人的行动控制装置，包括：
获取模块，用于获取行动控制指令；其中，所述行动控制指令包括目标物体信息和行动控制信息；
检测模块，用于检测机器人的摄像头采集的二维图像中所述目标物体信息对应的目标物体，并确定所述目标物体的二维坐标信息；
转换模块，用于将所述二维图像中的所述二维坐标信息转换为预设三维坐标系下的三维坐标信息；
控制模块，用于根据所述三维坐标信息，控制所述机器人到所述行动控制信息对应的位置进行相应的操作。
可选的，所述获取模块，包括：
语音识别子模块，用于对所述机器人的麦克风采集到的语音信息进行语音识别，获取所述行动控制指令。
可选的，所述转换模块，包括：
平面检测子模块，用于利用增强现实的平面检测功能，将所述二维图像中的所述二维坐标信息映射到三维数字地图中的三维坐标信息。
可选的，该装置还包括：
即时定位与地图构建模块，用于利用增强现实的即时定位与地图构建功能，构建所述三维数字地图。
本发明还提供了一种机器人，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述的机器人的行动控制方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的机器人的行动控制方法的步骤。
本发明所提供的一种机器人的行动控制方法，包括：获取行动控制指令；其中，行动控制指令包括目标物体信息和行动控制信息；检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息；将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息；根据三维坐标信息，控制机器人到行动控制信息对应的位置进行相应的操作；
可见，本发明通过检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息，利用摄像头采集的真实物理世界的二维图像识别目标物体，并确定目标物体的二维坐标信息；通过将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息，将目标物体的二维坐标信息转换为机器人所使用的三维坐标系下相应的三维坐标信息，能够确定目标物体在三维坐标系下的实际位置，从而适应目标物体的位置变化，正确执行相应的行动操作，提升用户体验。此外，本发明还提供了一种机器人的行动控制装置、机器人及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的一种机器人的行动控制方法的流程图；
图2为本发明实施例所提供的一种机器人的行动控制装置的结构框图；
图3为本发明实施例所提供的一种机器人的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的一种机器人的行动控制方法的流程图。该方法可以包括：
步骤101：获取行动控制指令；其中，行动控制指令包括目标物体信息和行动控制信息。
可以理解的是，本步骤中机器人的处理器获取的行动控制指令可以为目标物体对应的行动控制指令，例如家庭场景下，处理器可以根据用户语音输入或文字输入的“到茶几上把苹果拿过来”生成相应的行动控制指令，即茶几和苹果这两个目标物体对应的行动控制指令。
具体的，对于本步骤中的行动控制指令的具体内容和类型，可以由设计人员根据使用场景和用户需求自行设置，如可以采用与现有技术中机器人的行动控制指令相同或相似的方式实现，只要保证本实施例中的行动控制指令与目标物体相对应，即行动控制指令不仅包含行动控制信息，还包括目标物体信息，本实施例对此不做任何限制。
需要说明的是，对于本步骤中处理器获取行动控制指令的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如处理器可以根据机器人的触摸屏采集的触摸信息，生成行动控制指令；即用户可以通过触摸机器人的触摸屏，控制机器人的行动操作。处理器也可以直接获取机器人的无线接收设备(如蓝牙设备或WIFI设备)接收的行动控制指令；例如用户可以通过如手机的智能终端向机器人无线发送行动控制指令，控制机器人的行动操作。处理器还可以对机器人的麦克风采集到的语音信息进行语音识别，获取行动控制指令；即用户可以通过语音(声波)，控制机器人的行动操作；也就是说，机器人运行时，可以实时开启语音识别功能，将用户实时的语音指令，转化为文字(即字符串)信息，通过字符串的转换使机器人可以从中提取得到相应的行动控制指令。本实施例对此不做任何限制。
步骤102：检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息。
可以理解的是，本步骤的目的可以为处理器利用机器人上设置的摄像头采集的实际物理环境的二维图像，确定二维图像中的目标物体和目标物体的二维坐标信息。
具体的，对于本步骤中处理器检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息的具体方式，可以由设计人员自行设置，如处理器可以利用目标检测技术，识别摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息；处理器也可以利用现有技术中的其他检测技术，识别摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息。本实施例对此不做任何限制。
对应的，对于本步骤中处理器检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息的具体方式，可以由设计人员自行设置，如处理器可以仅识别二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息，例如处理器可以利用目标检测技术，实时处理和识别二维图像中目标物体信息对应的目标物体，并为目标物体赋予对应的目标物体信息，同时确定出目标物体的二维坐标信息。处理器也可以识别二维图像中的全部物体，并确定每个物体的二维坐标信息；其中，全部物体中包含目标物体；例如处理器可以利用目标检测技术，实时处理和识别二维图像中包含目标物体的全部物体，并为每个物体赋予对应的物体信息，同时确定出每个物体的二维坐标信息。本实施例对此不做任何限制。
步骤103：将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息。
可以理解的是，本步骤的目的可以为处理器通过将二维图像中目标物体的二维坐标信息转换为机器人行动所使用的三维坐标系(即预设三维坐标系)下的三维坐标信息，即将二维图像中目标物体二维坐标映射到预设三维坐标系的三维坐标，使机器人能够确定真实物理世界对应的预设三维坐标系下的目标物体的位置，从而进行后续准确的行动和操作。
其中，本步骤中的预设三维坐标系可以为预先设置的机器人行动所使用的真实物理世界对应的三维坐标系。对于预设三维坐标系的具体类型和获取方式，可以由设计人员根据实用场景和用户需求自行设置，如预设三维坐标系可以为机器人的处理器利用AR(Augmented Reality，增强现实)的SLAM(simultaneous localization and mapping，即时定位与地图构建)功能，构建的三维数字地图(即SLAM数字地图)；也就是说，本步骤之前还可以包括利用增强现实的即时定位与地图构建功能，构建三维数字地图的步骤，例如处理器在根据机器人的摄像头采集的二维图像检测目标物体检测和确定目标物体的二维坐标信息的同时，可以根据机器人的摄像头采集的二维图像，利用AR的SLAM实时建图功能对机器人所处的物理环境进行理解，绘制三维数字地图，来对应和记录客观物理结构空间。预设三维坐标系可以为通过其他建图技术构建的三维坐标系。本实施例对此不做任何限制。
具体的，对于本步骤中处理器将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息的具体方式，可以由设计人员自行设置，如预设三维坐标系为利用AR的SLAM功能构建的三维数字地图时，处理器可以利用AR的平面检测(Raycast)功能，将二维图像中的二维坐标信息映射到三维数字地图中的三维坐标信息。只要处理器可以将二维图像中的目标物体的二维坐标信息转换为预设三维坐标系下相应的三维坐标信息，本实施例对此不做任何限制。
对应的，对于本步骤中处理器将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息的具体方式，可以为处理器仅将目标物体的二维坐标信息转换为预设三维坐标系下的三维坐标信息，例如处理器可以利用AR的Raycast功能，将二维图像中带有目标物体信息的目标物体的二维坐标映射转化到三维数字地图，由于三维数字地图与真实物理世界相对应，机器人也就相当于了解了真实物理世界中目标物体的位置；处理器也可以将二维图像中包含目标物体的全部物体的二维坐标信息转换为预设三维坐标系下各自对应的三维坐标信息；例如处理器可以利用AR的Raycast功能，将二维图像中带有物体信息的全部物体的二维坐标映射转化到三维数字地图，使机器人了解真实物理世界中各个物体的位置。本实施例对此不做任何限制。
步骤104：根据三维坐标信息，控制机器人到行动控制信息对应的位置进行相应的操作。
具体的，本步骤的目的可以为处理器利用目标物体的三维坐标信息，控制机器人到行动控制指令中行动控制信息对应的位置进行行动控制信息对应的操作，从而完成行动控制指令，实现对机器人的行动控制。
具体的，本步骤还可以包括根据目标物体的三维坐标信息，确定行动控制信息对应的位置；根据行动控制信息对应的位置和机器人的三维坐标信息，计算行动路径的步骤，以实现机器人的路径规划，保证机器人能够到行动控制信息对应的位置，进行行动控制信息对应的操作。例如在家庭场景下，处理器获取“到茶几上把苹果拿过来”对应的行动控制指令后，可以在三维数字地图中找到带有茶几信息和苹果信息的物体，并确定其对应的三维坐标信息，之后进行路径规划，执行行动控制指令对应的操作，如拿起苹果。
本实施例中，本发明实施例通过检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息，利用摄像头采集的真实物理世界的二维图像识别目标物体，并确定目标物体的二维坐标信息；通过将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息，将目标物体的二维坐标信息转换为机器人所使用的三维坐标系下相应的三维坐标信息，能够确定目标物体在三维坐标系下的实际位置，从而适应目标物体的位置变化，正确执行相应的行动操作，提升用户体验。
请参考图2，图2为本发明实施例所提供的一种机器人的行动控制装置的结构框图。该装置可以包括：
获取模块10，用于获取行动控制指令；其中，行动控制指令包括目标物体信息和行动控制信息；
检测模块20，用于检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息；
转换模块30，用于将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息；
控制模块40，用于根据三维坐标信息，控制机器人到行动控制信息对应的位置进行相应的操作。
可选的，获取模块10，可以包括：
语音识别子模块，用于对机器人的麦克风采集到的语音信息进行语音识别，获取行动控制指令。
可选的，转换模块30，可以包括：
平面检测子模块，用于利用增强现实的平面检测功能，将二维图像中的二维坐标信息映射到三维数字地图中的三维坐标信息。
可选的，该装置还可以包括：
即时定位与地图构建模块，用于利用增强现实的即时定位与地图构建功能，构建三维数字地图。
可选的，检测模块20，可以包括：
目标检测子模块，用于利用目标检测技术，识别摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息。
本实施例中，本发明实施例通过检测模块20检测机器人的摄像头采集的二维图像中目标物体信息对应的目标物体，并确定目标物体的二维坐标信息，利用摄像头采集的真实物理世界的二维图像识别目标物体，并确定目标物体的二维坐标信息；通过转换模块30将二维图像中的二维坐标信息转换为预设三维坐标系下的三维坐标信息，将目标物体的二维坐标信息转换为机器人所使用的三维坐标系下相应的三维坐标信息，能够确定目标物体在三维坐标系下的实际位置，从而适应目标物体的位置变化，正确执行相应的行动操作，提升用户体验。
请参考图3，图3为本发明实施例所提供的一种机器人的结构示意图。该设备1可以包括：
存储器11，用于存储计算机程序；处理器12，用于执行该计算机程序时实现如上述实施例所提供的机器人的行动控制方法的步骤。
设备1可以包括存储器11、处理器12和总线13。
其中，存储器11至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是设备1的内部存储单元。存储器11在另一些实施例中也可以是设备1的外部存储设备，例如设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括设备1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备1的应用软件及各类数据，例如：执行机器人的行动控制方法的程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行机器人的行动控制方法的程序的代码等。
该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
进一步地，设备还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该设备1与其他电子设备之间建立通信连接。
可选地，该设备1还可以包括用户接口15，用户接口15可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口15还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在设备1中处理的信息以及用于显示可视化的用户界面。
图3仅示出了具有组件11-15的设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对设备1的限定，可以包括比图示更少或者更多的部件(如麦克风和摄像头)，或者组合某些部件，或者不同的部件布置。
此外，本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述实施例所提供的机器人的行动控制方法的步骤。
其中，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、机器人及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
以上对本发明所提供的一种机器人的行动控制方法、装置、机器人及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种机器人的行动控制方法，其特征在于，包括：
获取行动控制指令；其中，所述行动控制指令包括目标物体信息和行动控制信息；
检测机器人的摄像头采集的二维图像中所述目标物体信息对应的目标物体，并确定所述目标物体的二维坐标信息；同时，根据所述二维图像，利用增强现实的即时定位与地图构建功能，实时构建三维数字地图，并利用增强现实的平面检测功能将所述二维图像中的所述二维坐标信息转换为预设三维坐标系下的三维坐标信息；
根据所述三维坐标信息，控制所述机器人到所述行动控制信息对应的位置进行相应的操作。
2.根据权利要求1所述的机器人的行动控制方法，其特征在于，所述获取行动控制指令，包括：
对所述机器人的麦克风采集到的语音信息进行语音识别，获取所述行动控制指令。
3.一种机器人的行动控制装置，其特征在于，包括：
获取模块，用于获取行动控制指令；其中，所述行动控制指令包括目标物体信息和行动控制信息；
检测模块，用于检测机器人的摄像头采集的二维图像中所述目标物体信息对应的目标物体，并确定所述目标物体的二维坐标信息；
转换模块，用于在所述检测模块确定所述二维坐标信息的同时，根据所述二维图像，利用增强现实的即时定位与地图构建功能，实时构建三维数字地图，并利用增强现实的平面检测功能将所述二维图像中的所述二维坐标信息转换为预设三维坐标系下的三维坐标信息；
控制模块，用于根据所述三维坐标信息，控制所述机器人到所述行动控制信息对应的位置进行相应的操作。
4.根据权利要求3所述的机器人的行动控制装置，其特征在于，所述获取模块，包括：
语音识别子模块，用于对所述机器人的麦克风采集到的语音信息进行语音识别，获取所述行动控制指令。
5.一种机器人，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1或2所述的机器人的行动控制方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1或2所述的机器人的行动控制方法的步骤。
CN202010605094.0A 2020-06-29 2020-06-29 机器人及其行动控制方法、装置和计算机可读存储介质 Active CN111708366B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010605094.0A CN111708366B (zh) 2020-06-29 2020-06-29 机器人及其行动控制方法、装置和计算机可读存储介质
PCT/CN2020/112499 WO2022000755A1 (zh) 2020-06-29 2020-08-31 机器人及其行动控制方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010605094.0A CN111708366B (zh) 2020-06-29 2020-06-29 机器人及其行动控制方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111708366A CN111708366A (zh) 2020-09-25
CN111708366B true CN111708366B (zh) 2023-06-06

Family

ID=72544336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010605094.0A Active CN111708366B (zh) 2020-06-29 2020-06-29 机器人及其行动控制方法、装置和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111708366B (zh)
WO (1) WO2022000755A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329530B (zh) * 2020-09-30 2023-03-21 北京航空航天大学 支架的安装状态检测方法、设备及系统
CN113696178B (zh) * 2021-07-29 2023-04-07 大箴(杭州)科技有限公司 一种机器人智能抓取的控制方法及系统、介质、设备
CN116100537A (zh) * 2021-11-11 2023-05-12 中国科学院深圳先进技术研究院 机器人的控制方法、机器人、存储介质及抓取系统
US11838331B2 (en) * 2021-12-22 2023-12-05 Avaya Management L.P. Endpoint control over a text channel of a real-time communication session
CN114425155A (zh) * 2022-01-26 2022-05-03 北京市商汤科技开发有限公司 数据处理方法和装置、计算机设备及计算机存储介质
CN114638894A (zh) * 2022-03-18 2022-06-17 纯米科技(上海)股份有限公司 机器人行走的定位方法、系统、电子装置及存储介质
CN114648615B (zh) * 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质
CN114955455A (zh) * 2022-06-14 2022-08-30 乐聚(深圳)机器人技术有限公司 机器人控制方法、服务器、机器人及存储介质
CN116594408B (zh) * 2023-07-17 2023-10-13 深圳墨影科技有限公司 一种移动协作机器人路径规划系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281023A (zh) * 2008-05-22 2008-10-08 北京中星微电子有限公司 一种获取三维目标外形的方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8213706B2 (en) * 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
CN104833360B (zh) * 2014-02-08 2018-09-18 无锡维森智能传感技术有限公司 一种二维坐标到三维坐标的转换方法
CN107315410B (zh) * 2017-06-16 2020-05-29 江苏科技大学 一种机器人自动排障方法
KR102397035B1 (ko) * 2017-10-26 2022-05-12 에이비 엘렉트로룩스 로봇 청소기와 공간 정보를 교환하기 위한 증강 현실 사용
WO2019232806A1 (zh) * 2018-06-08 2019-12-12 珊口（深圳）智能科技有限公司 导航方法、导航系统、移动控制系统及移动机器人
CN108986161B (zh) * 2018-06-19 2020-11-10 亮风台（上海）信息科技有限公司 一种三维空间坐标估计方法、装置、终端和存储介质
CN109582147B (zh) * 2018-08-08 2022-04-26 亮风台（上海）信息科技有限公司 一种用于呈现增强交互内容的方法以及用户设备
US10872435B2 (en) * 2018-10-19 2020-12-22 Here Global B.V. Method and apparatus for iteratively establishing object position
KR102051889B1 (ko) * 2018-12-05 2019-12-06 주식회사 증강지능 스마트 글래스에서 ２ｄ 데이터를 기반으로 ３ｄ 증강현실을 구현하는 방법 및 시스템
CN109859274A (zh) * 2018-12-24 2019-06-07 深圳市银星智能科技股份有限公司 机器人、其物体标定方法及视教交互方法
CN110487262A (zh) * 2019-08-06 2019-11-22 Oppo广东移动通信有限公司 基于增强现实设备的室内定位方法及系统
CN110631586A (zh) * 2019-09-26 2019-12-31 珠海市一微半导体有限公司 基于视觉slam的地图构建的方法、导航系统及装置
CN110825079A (zh) * 2019-10-15 2020-02-21 珠海格力电器股份有限公司 一种地图构建方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281023A (zh) * 2008-05-22 2008-10-08 北京中星微电子有限公司 一种获取三维目标外形的方法及系统

Also Published As

Publication number Publication date
WO2022000755A1 (zh) 2022-01-06
CN111708366A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111708366B (zh) 机器人及其行动控制方法、装置和计算机可读存储介质
WO2019184889A1 (zh) 增强现实模型的调整方法、装置、存储介质和电子设备
WO2016165615A1 (zh) 一种即时视频中的表情特效动画加载方法和电子设备
EP3647725A1 (en) Real-scene navigation method and apparatus, device, and computer-readable storage medium
WO2014114118A1 (en) Realization method and device for two-dimensional code augmented reality
CN111400426B (zh) 一种机器人位置部署方法、装置、设备和介质
CN111310866B (zh) 数据标注方法、装置、系统和终端设备
CN111240669B (zh) 界面生成方法、装置、电子设备及计算机存储介质
CN114494487B (zh) 基于全景图语义拼接的户型图生成方法、设备及存储介质
CN111709414A (zh) Ar设备及其文字识别方法、装置和计算机可读存储介质
CN111060118B (zh) 场景地图建立方法、设备及存储介质
CN110141861B (zh) 控制方法、装置及终端
CN114387658A (zh) 一种图像目标属性检测方法、装置、设备及存储介质
CN112270384B (zh) 一种回环检测方法、装置及电子设备和存储介质
CN111160157B (zh) 基于dwg图纸的文本提取方法及相关产品
CN111031063B (zh) 一种基于家教机的数据传输方法及设备
CN111309221B (zh) 页面处理方法、装置及设备
WO2020124454A1 (zh) 字体切换方法及相关产品
CN108052506B (zh) 自然语言处理方法、装置、存储介质及电子设备
CN114092608B (zh) 表情的处理方法及装置、计算机可读存储介质、电子设备
CN106293034A (zh) 一种信息输出的方法及终端
CN112732379B (zh) 智能终端上应用程序的运行方法、终端和存储介质
CN114285114A (zh) 一种充电控制方法、装置、电子设备和存储介质
CN113780291A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110465093B (zh) 一种基于Unity的包体冗余资源分析方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230506

Address after: 250098 building S02, No. 1036, Gaoxin Inspur Road, Jinan, Shandong

Applicant after: Shandong Inspur Scientific Research Institute Co.,Ltd.

Address before: 250104 1st floor, R & D building, 2877 Kehang Road, Suncun Town, high tech Zone, Jinan City, Shandong Province

Applicant before: JINAN INSPUR HIGH-TECH TECHNOLOGY DEVELOPMENT Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant