CN116479972A - 信息控制方法、装置、电子设备和存储介质 - Google Patents

信息控制方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116479972A
CN116479972A CN202310439442.5A CN202310439442A CN116479972A CN 116479972 A CN116479972 A CN 116479972A CN 202310439442 A CN202310439442 A CN 202310439442A CN 116479972 A CN116479972 A CN 116479972A
Authority
CN
China
Prior art keywords
point cloud
cloud data
point
equipment
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310439442.5A
Other languages
English (en)
Inventor
杨新伟
胡志鹏
范长杰
陈赢峰
韩夏冰
吴悦晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202310439442.5A priority Critical patent/CN116479972A/zh
Publication of CN116479972A publication Critical patent/CN116479972A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2029—Controlling the position of implements in function of its load, e.g. modifying the attitude of implements in accordance to vehicle speed
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2045—Guiding machines along a predetermined path
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本申请实施例公开了信息控制方法、装置、电子设备和存储介质；该方法包括：获取作业设备的作业位姿和相对位置关系；响应于作用在场景图像中的选择操作，确定目标点；控制作业设备在第一位置处进行拾取作业；根据目标点云数据和所述指定空间的预设点云模型，计算第二位置；根据第二位置和相对位置关系确定投放位置，并控制作业设备基于投放位置执行投放作业，以将拾取物投放至所述指定空间中。整个过程仅需用户在场景图像中选择目标点，即可实现自动作业，可有效提升作业效率。

Description

信息控制方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，具体涉及信息控制方法、装置、电子设备和存储介质。
背景技术
目前，在控制作业设备进行作业时，需要操作者进行很多重复的操作，例如，在控制作业设备进行转移作业时，需要重复控制作业设备获取拾取物，然后再控制作业设备将拾取物投放至指定空间中。
每执行一次转移作业，均需要人为调整作业设备的姿态，操作复杂且对操作者的要求较高，从而导致控制作业设备进行转移作业的效率低下。
发明内容
本申请实施例提供信息控制方法、装置、电子设备和存储介质，可以提升控制作业设备进行转移作业的效率。
本申请实施例提供一种信息控制方法，该方法包括：
获取作业设备的作业轨迹信息，所述作业轨迹信息包括作业位姿和相对位置关系，所述相对位置关系为投放拾取物时所述作业设备相对于指定空间的位置关系；
响应于作用在场景图像中的选择操作，确定目标点，所述场景图像包括所述作业设备的作业环境；
控制所述作业设备在第一位置处进行拾取作业，所述第一位置为所述目标点对应的三维坐标位置；
根据目标点云数据和所述指定空间对应的预设点云模型，计算第二位置，所述目标点云数据为所述作业设备在所述作业位姿时，获取到的点云数据；
根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业，以将所述拾取物投放至所述指定空间中。
本申请实施例还提供一种信息控制装置，该装置包括：
获取模块，用于获取作业设备的作业轨迹信息，所述作业轨迹信息包括作业位姿和相对位置关系，所述相对位置关系为投放拾取物时所述作业设备相对于指定空间的位置关系；
确定模块，用于响应于作用在场景图像中的选择操作，确定目标点；
第一控制模块，用于控制所述作业设备在第一位置处进行拾取作业，所述第一位置为所述目标点对应的三维坐标位置；
计算模块，用于根据目标点云数据和所述指定空间对应的预设点云模型，计算第二位置，所述目标点云数据为所述作业设备在所述作业姿态时，获取到的点云数据；
第二控制模块，用于根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业，以将所述拾取物投放至所述指定空间中。
本申请实施例还提供一种电子设备，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本申请实施例所提供的任一种信息控制方法中的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种信息控制方法中的步骤。
本申请实施例可以获取作业位姿和相对位置关系；响应于作用在场景图像中的选择操作，确定目标点；控制作业设备在目标点对应的三维坐标位置处进行拾取作业；根据在作业位姿下所获取到的目标点云数据和指定空间的预设点云模型，可准确计算出第二位置，最后基于相对位置关系和目标从指定空间位置计算投放位置，以便将拾取物投放至指定空间中。在控制作业设备进行转移作业时，仅需用户选择目标点，操作简单便捷，可有效提升控制作业设备进行转移作业的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的信息控制方法的应用场景示意图；
图2是本申请实施例提供的信息控制方法的流程示意图；
图3是本申请实施例提供生成虚拟区域的示意图；
图4是本申请实施例提供的作业设备中各活动部件的坐标系的示意图；
图5是本申请另一实施例提供的信息控制方法的流程示意图；
图6是本申请实施例提供的信息控制装置的结构示意图；
图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供信息控制方法、装置、电子设备和存储介质。
其中，该信息控制装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
在一些实施例中，该信息控制装置还可以集成在多个电子设备中，比如，信息控制装置可以集成在多个服务器中，由多个服务器来实现本申请的信息控制方法。
在一些实施例中，服务器也可以以终端的形式来实现。
例如，参考图1，示出了本申请实施例提供的信息控制方法的应用场景示意图。该场景可以包括显示设备1000、作业设备2000、图像采集设备3000、点云采集设备4000以及计算设备5000。
其中，显示设备1000是指具有显示功能的任何设备；作业设备2000是指进行作业的机械设备，例如挖掘设备、智能机器人等；图像采集设备3000是指用于采集图像的设备，例如具有图像采集功能的设备；点云采集设备4000是指用于采集点云数据的设备，例如激光雷达等。计算设备5000是指具有计算硬件的任何设备，该计算硬件能够支持和执行与控制对应的软件产品，例如可以是作业设备2000的控制器。
显示设备1000、作业设备2000、图像采集设备3000、点云采集设备4000以及计算设备5000之间可通过网络进行连接，以进行数据传输。
图像采集设备3000可以采集作业设备2000的作业环境，以得到场景图像，并将采集的场景图像传输至显示设备1000进行显示。其中，图像采集设备3000可安装在作业设备2000上，也可安装在能采集到作业设备2000的作业环境的位置，具体可根据实际的需要进行设置。
点云采集设备4000可以采集对应的点云数据，并将采集的点云数据传输至计算设备5000。其中，点云采集设备4000可安装在作业设备2000上，也可安装在能采集到对应的点云数据的位置，具体可根据实际的需要进行设置。
计算设备5000在执行信息控制方法时，计算设备5000可以是获取作业设备的作业轨迹信息，所述作业轨迹信息包括作业位姿和相对位置关系，所述相对位置关系为倾倒时所述作业设备相对于指定空间的位置关系；响应于作用在场景图像中的选择操作，确定目标点；控制作业设备在第一位置处进行拾取作业，其中，第一位置为目标点对应的三维坐标位置；根据指定空间的预设点云模型和目标点云数据，计算第二位置；根据所述第二位置和所述相对位置关系确定投放位置，控制所述作业设备基于所述投放位置执行投放作业，以将拾取物投放至所述指定空间中。
其中，显示设备1000、作业设备2000和计算设备5000可以任意两个集成一体，或全部集成一体。例如，显示设备1000和作业设备2000可集成一体，计算设备5000可单独设置；又例如，显示设备1000可以和计算设备5000集成一体，作业设备2000可单独设置；又例如，作业设备2000和计算设备5000集成一体，显示设备1000可单独设置，具体的设置方式可根据实际需要进行确定，在此不作具体限定。
在一些实施方式中，若将点云采集设备4000和图像采集设备3000安装在作业设备2000上，为了降低数据传输距离，实现更加快速准确地控制，可以将计算设备5000和作业设备2000集成为一个设备，从而计算设备5000可以快速获取到相关数据，并进行计算，以准确控制作业设备2000。
需要说明的是，作业设备的远程控制系统都是模拟作业设备的驾驶舱，并集成视像传输，以便操作者在模拟驾驶舱内对作业设备进行控制，从而可让操作者在条件舒适的环境下工作，同时也保障了操作者的安全。
但是，基于模拟驾驶舱控制作业设备时，需要进行多次重复操作的作业，例如转移作业，操作者仍然需要在模拟驾驶舱内结合传输的图像，进行复杂的操控，例如找到拾取位置、找到指定空间并将拾取物投放至指定空间中，这个过程容易对指定空间的位置造成误判，导致作业发生失误，降低作业效率。由此，本申请实施例提出了信息控制方法，在控制作业设备进行转移作业时，仅需用户选择目标点，操作简单便捷，可有效提升控制作业设备时的作业效率。以下分别进行详细说明。
在本实施例中，提供了一种信息控制方法，如图2所示，该信息控制方法的具体流程可以如下：
S110、获取作业设备的作业轨迹信息，所述作业轨迹信息包括作业位姿和相对位置关系。
作业轨迹信息是指预先通过人工控制作业设备执行转移作业时，记录的作业设备在转移作业过程中的关键信息。其中，转移作业是指控制作业设备抓取拾取物，再将拾取物投放至指定空间的过程。例如，转移作业可以是指装车作业，挖掘设备在进行装车作业时，挖掘设备需要先挖掘得到挖掘物，再将挖掘物倾倒至车辆中。
作业设备是指具有抓取或投放物体的机械设备，例如，作业设备可以是挖掘机，挖掘机的挖斗可抓取或投放物体，作业设备还可以是智能机器人，智能机器人的机械手臂和机械手可配合抓取或投放物体。
在控制作业设备进行转移作业时，需要先控制作业设备在用户选择的位置处获取拾取物，然后将作业设备移动至指定空间附近，再调节作业设备的机械手到指定空间的上方，以将拾取物投放至指定空间中。
其中，作业位姿是指作业设备移动至指定空间附近时，对应的作业设备的位置和姿态。作业设备通常可以包括多个活动部件，作业姿态是指作业设备的多个活动部件所呈现的姿态，例如，作业设备为挖掘设备时，作业设备的姿态是指挖掘设备的大臂、小臂、挖斗所呈现的姿态，又例如，作业设备为智能机器人时，作业设备的姿态是指组成机器人的各个活动部件所呈现的姿态，例如，机械手、机械臂等所呈现的姿态。
相对位置关系是指将作业设备的机械手移动至指定空间的上方时，即投放拾取物时，作业设备相对于指定空间的位置关系。例如，作业设备为挖掘设备，相对位置关系则是指将挖掘设备的挖斗移动至车辆的车斗的上方时，挖掘设备相对于车辆的位置关系。
指定空间是指用于装载拾取物的空间，该指定空间可以是地面上的一个区域，也可以是指装载容器，即用于装载拾取物的容器，例如，车辆、箱子等。
在一些实施方式中，该作业设备的作业轨迹信息可以是预先录制好并存储在指定文件内，可直接从该指定文件中获取到该作业轨迹信息。
在一些实施方式中，作业设备的作业轨迹信息可以是实时控制作业设备进行转移作业，以记录得到的数据。
S120、响应于作用在场景图像中的选择操作，确定目标点。
场景图像包括作业设备的作业环境，该场景图像可通过图像采集设备对作业设备的作业环境进行图像采集得到。图像采集设备在采集到场景图像后，可以将场景图像发送至显示设备，以向用户展示。
在一些实施方式中，作业设备上可以安装有图像采集设备，该图像采集设备可以对作业设备的作业环境进行图像采集以得到场景图像，然后显示设备可以从图像采集设备处获取到场景图像，并将场景图像向用户展示。
在一些实施方式中，显示设备集成在电子设备上，将场景图像向用户展示时，可以是直接将场景图像展示在电子设备的显示器上。例如，场景图像展示在电子设备所提供的图形用户界面上，当用户想要控制作业设备进行转移作业时，用户可以在场景图像上进行选择操作，从而电子设备可以响应于作用在场景图像中的选择操作，确定目标点。
在另一些实施方式中，显示设备和电子设备可以是两个设备，例如，显示设备集成在作业设备上，显示设备检测到场景图像上的选择操作时，可以将对应的数据传输至电子设备，从而电子设备可以响应于作用在场景图像中的选择操作，确定目标点。
其中，选择操作可以包括触摸、滑动、划按、长按、短按、双击、点击、结束滑动等操作。例如，在一些实施例中，选择操作可以是短按操作；在一些实施例中，选择操作可以是长按操作；在一些实施例中，选择操作可以是滑动操作。
在一些实施方式中，选择操作还可以是组合操作，例如，可以是点击操作加点击操作的组合操作等。
作为一种实施方式，在图形用户界面上可显示和选择操作对应的选择控件，用户可以通过外设，例如键盘或鼠标等控制选择控件在场景图像上移动，以便进行选择操作。
目标点是指选择操作所选择的点，在检测到选择操作后，可以将选择操作所选择的点作为目标点。
S130、控制所述作业设备在第一位置处进行拾取作业，所述第一位置为所述目标点对应的三维坐标位置。
第一位置是指目标点对应的三维坐标位置，该三维坐标位置可以是指三维坐标系下的坐标信息，目标点是场景图像中被选择的点，该目标点在场景图像中的位置为二维坐标位置，即在二维坐标系下的坐标信息。从而，控制作业设备在第一位置处进行拾取作业时，可以是获取所述目标点在所述场景图像中的二维坐标；根据所述二维坐标和当前获取到的第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标，所述相机坐标系为采集所述场景图像的设备对应的坐标系；将所述相机坐标系中所述三维坐标所指示的位置，确定为所述第一位置；控制所述作业设备在所述第一位置处进行拾取作业。
其中，图像采集设备在采集场景图像时，实际上是将被拍摄的物体的空间点映射至二维坐标系中，以形成场景图像。也就是说，场景图像中的每个点均和真实世界中的空间点对应，在获取到目标点在场景图像中的二维坐标后，可以将该二维坐标转换至相机坐标系下，得到对应的三维坐标。
在一些实施方式中，获取目标点在场景图像中的二维坐标时，可以是获取图像采集设备成像时对应的图像坐标系，然后确定目标点在该图像坐标系中的坐标，得到目标点的二维坐标。
由于采集得到的场景图像不具备深度信息，则无法利用图像采集设备的内参直接确定目标点的三维坐标，由此，可以结合点云采集设备采集的点云数据一并确定目标点的三维坐标。从而，在一些实施方式中，根据所述二维坐标和当前采集的第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标时，可以是以所述二维坐标为中心，向预设方向扩展预设数量个像素点，生成虚拟区域；将所述第一点云数据中的点投影至所述场景图像中，得到所述第一点云数据中的每个点对应的投影点；根据所述投影点落入所述虚拟区域的所述第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标。
其中，以二维坐标为中心，即以场景图像中的目标点为中心。预设方向是指目标点的前方、后方、左方和右方，在预设方向上扩展预设数量个像素点，可以生成虚拟区域。其中，预设数量可以根据实际的需要进行设置，在本申请实施例中，以预设数量为10进行说明，可参阅图3，示出了生成虚拟区域的示意图，其中目标点为点A，以点A为中心，向点A的前方、后方、左方和右方分别扩展10个像素点后，可以生成虚拟区域101。
电子设备在获取到场景图像的同时，可以获取当前由点云采集设备采集的点云数据，其中，点云数据是指在某个坐标系下的点的数据集，其包含了点在该坐标系下的三维坐标信息、颜色信息等，为了便于描述，可将此处获取到的点云数据记为第一点云数据。
然后可将第一点云数据中的点投影至场景图像中，得到第一点云数据中每个点对应的投影点。在一些实施方式中，可以先获取图像采集设备的相机内参，以及图像采集设备和点云采集设备的相对外参，由于第一点云数据中可以包含每个点在点云采集设备对应的坐标系下的三维坐标，可按照以下公式将第一点云数据中的每个点变换至相机坐标系下：
其中，PC表示在相机坐标系下的点的坐标信息；表示图像采集设备和点云采集设备的相对外参；PL表示在点云采集设备对应的坐标系下的点的坐标信息。
然后再利用如下公式，计算第一点云数据中的点投影至场景图像中的投影点：
其中，Z表示相机坐标系下的点PC到相机光心的距离；K表示图像采集设备的内参；(u,v)表示投影到场景图像中的点的二维坐标。
通过上述计算，可以计算得到每个第一点云数据对应的投影点的二维坐标，然后根据投影点落入虚拟区域内的第一点云数据，确定目标点在相机坐标系中对应的三维坐标。
在一些实施方式中，可以是获取每个投影点对应的二维坐标，以及虚拟区域的顶点对应的二维坐标；将投影点对应的二维坐标和顶点对应的二维坐标进行比对，以确定落入所述虚拟矩形内的投影点。
作为一种实施方式，在计算虚拟区域的顶点对应的二维坐标时，可以是获取一个像素点对应的距离；根据一个像素点对应的距离和目标点的二维坐标，计算虚拟区域每个顶点的二维坐标。例如，一个像素点对应的距离为0.2mm，10个像素点对应的距离则为2mm，而目标点的二维坐标为(2，4)，则虚拟区域的四个顶点对应的二维坐标分别为(0,2)、(0,6)、(4,2)、(4,6)。
然后基于每个顶点的二维坐标，确定在第一坐标轴上的第一坐标范围，确定在第二坐标轴上的第二坐标范围，如前举例中，若x轴为第一坐标轴，则第一坐标范围为0～4，若y轴为第二坐标轴，则第二坐标范围为2～6。
再将每个投影点的二维坐标与第一坐标范围、第二坐标范围进行对比，第一坐标轴上的坐标值处于第一坐标范围内，且在第二坐标轴上的坐标值处于第二坐标范围内的投影点，确定为落入虚拟区域的投影点。
当确定出落入虚拟区域的投影点后，可以获取到和该投影点对应的第一点云数据，在一些实施方式中，利用投影点落入所述虚拟区域的第一点云数据，确定目标点在相机坐标系中对应的三维坐标时，可以是根据欧式距离，对所述投影点落入所述虚拟区域的第一点云数据进行聚类处理，以得到对应的聚类簇；若所述聚类簇的数量为预设数量，将所述聚类簇的聚类中心坐标作为所述三维坐标；若所述聚类簇的数量大于预设数量，将目标聚类簇的聚类中心坐标作为所述三维坐标，所述目标聚类簇为点的数量最多的所述聚类簇。
欧式距离是第一点云数据中两个点之间的直线距离，为了便于描述，此处将投影点落入虚拟区域的第一点云数据记为第一目标点云数据，利用欧式距离，对第一目标点云数据进行聚类处理时，可以是从第一目标点云数据中选择任意一个点，作为初始点；计算初始点和其他点之间的欧式距离，其他点是指第一目标点云数据中除了初始点之外的点；将欧式距离小于预设值的点聚类为一个聚类簇，直到该聚类簇中的点不再增加。
在一些实施方式中，为了加速聚类处理的过程，还可以先根据投影点落入虚拟区域的第一点云数据，构建KD树，其中，KD树又称为K维树，是一种空间划分的数据结构。此处的第一点云数据通常是三维点云，因此，构建的KD树的维度是3，再基于构建的KD树进行聚类处理。
按照上述聚类处理可得到对应的聚类簇，然后可获取聚类簇的数量；若聚类簇的数量为预设数量，可以直接将该聚类簇的聚类中心坐标作为目标点对应的三维坐标。若聚类簇的数量大于预设数量，可将聚类簇中，点最多的聚类簇，作为目标聚类簇，然后再将目标聚类簇的聚类中心坐标作为目标点对应的三维坐标。
在本申请实施例中，预设数量为1，即当仅有一个聚类簇时，可直接计算该聚类簇的聚类中心对应的三维坐标，以得到目标点对应的三维坐标。当有1个以上的聚类簇时，可以将点的数量最多的聚类簇作为目标聚类簇，将该目标聚类簇的聚类中心对应的三维坐标，作为目标点对应的三维坐标。
从而可以将目标点对应的三维坐标所指示的位置，确定为第一位置，然后控制作业设备在第一位置处进行拾取作业。
S140、根据目标点云数据和所述指定空间的预设点云模型，计算第二位置。
控制作业设备在第一位置处进行拾取作业之后，可以自动控制作业设备调整为作业位姿，目标点云数据则是指将作业设备在作业位姿下，通过点云采集设备所获取到的点云数据。
其中，指定空间的预设点云模型是预先获取到的。例如，可以是在使用指定空间的预设点云模型之前，采集所述指定空间对应的空间点云数据；对所述空间点云数据进行过滤处理，得到待聚类空间点云数据；基于欧式距离，对所述待聚类空间点云数据进行聚类处理，得到所述预设点云模型。
例如，可以先通过点云采集设备对指定空间进行全方位的点云数据采集，得到指定空间点云数据，然后对指定空间点云数据进行过滤处理，例如，过滤掉指定区域内的点云、过滤掉地面的点云等，得到待聚类指定空间点云数据。然后再利用欧式距离对待聚类指定空间点云数据进行聚类处理，以得到指定空间对应的预设点云模型。
第二位置是指当前指定空间的实际位置。在一些实施方式中，为了精准确定第二位置，在根据目标点云数据和指定空间的预设点云模型，计算第二位置时，可以是对目标点云数据进行过滤处理，得到待使用点云数据；对所述待使用点云数据进行聚类处理，得到候选聚类簇；将所述预设点云模型和每个所述候选聚类簇进行匹配，得到每个所述候选聚类簇对应的匹配参数；基于所述匹配参数，将满足预设匹配条件的所述候选聚类簇确定为待计算聚类簇；利用所述待计算聚类簇，计算第二位置。
在获取到目标点云数据后，可以对目标点云数据进行过滤处理，以得到待使用点云数据。其中，过滤处理可以包括丢弃指定范围内的点云数据，过滤地面点云等。
在得到待使用的点云数据后，可以对待使用点云数据进行聚类处理，以得到候选聚类簇，其中，候选聚类簇是指对待使用点云数据进行聚类处理后所得到的聚类簇。在一些实施方式中，可以采用基于欧式距离的聚类方式，以得到候选聚类簇。
在一些实施方式中，在对待使用点云数据进行聚类处理之前，可以先判断待使用点云数据是否满足预设聚类条件，例如可以是获取所述待使用点云数据中的点的总数量；从所述待使用点云数据中，确定在预设方向上的最高点和最低点；计算所述最高点和所述最低点在所述预设方向上的目标距离；若所述总数量大于预设数量，且所述目标距离大于预设距离，对所述待使用点云数据进行聚类处理，以获取对应的候选聚类簇。
其中，预设方向是指预先设定的方向，该方向可以是点云采集设备对应的坐标系中的某个坐标轴所指示方向，例如，可以是点云采集设备对应的坐标系中，z轴所指示的方向。
然后可以从待使用点云数据中，确定出在预设方向上的最高点和最低点，在一些实施方式中，待使用点云数据中记录了每个点的三维坐标，可以获取这些三维坐标中在z轴上的最大值和最小值，并将最大值对应的点作为最高点，将最小值对应的点作为最低点。然后基于最大值和最小值，可计算出最高点和最低点在预设方向上的目标距离。例如，最大值为3，最小值为0，则目标距离＝3-0＝3。
然后基于总数量和目标距离，确定待使用点云数据是否满足聚类条件，例如，可以是若总数量大于预设数量，且目标距离大于预设距离，可认为待使用点云数据满足聚类条件，则可以继续后续的聚类处理。
若总数量小于或等于预设数量，或者目标距离小于或等于预设距离，则可以认为待使用点云数据不满足聚类条件，则无法进行后续的聚类处理。此时，可以生成控制信号，控制作业设备调整姿态，并重新获取目标点云数据；以便继续对目标点云数据进行过滤处理得到待处理点云数据，直到待处理点云数据满足聚类条件为止。在本申请实施例中，预设数量可以使3000，预设距离可以是2m。
对待处理点云数据进行聚类处理得到候选聚类簇后，可以将指定空间的预设点云模型和每个候选聚类簇进行匹配，得到每个候选聚类簇对应的匹配参数。其中，匹配预设点云模型和每个候选聚类簇，是指通过对候选聚类簇进行变换，使得候选聚类簇和预设点云模型尽可能的重叠。匹配参数则是值通过变换后候选聚类簇的点云和预设点云模型的重叠程度。
在匹配预设点云模型和每个候选聚类簇时，可以是通过迭代最近点(IterativeClosest Point，ICP)算法进行匹配计算，ICP算法通过求取预设点云模型和候选聚类簇之间的对应点对，基于对应点对构造旋转平移矩阵，并利用所求矩阵，将预设点云模型变换到候选聚类簇的坐标系下，估计变换后的预设点云模型和候选聚类簇的误差函数，直到满足给定的误差要求，以得到每个候选聚类簇对应的匹配参数。
然后确定每个候选聚类簇对应的匹配参数，确定候选聚类簇是否满足预设匹配条件，将满足预设匹配条件候选聚类簇作为待计算聚类簇。其中，在确定候选聚类簇是否满足预设匹配条件时，可以是确定匹配参数是否小于预设匹配值；若候选聚类簇的匹配参数小于或等于预设匹配值，可以认为该候选聚类簇满足预设匹配条件；若候选聚类簇的匹配参数大于预设匹配值，可以认为该候选聚类簇不满足预设匹配条件。在一些实施方式中，匹配参数可以是指平均重投影误差，在平均重投影误差小于0.05m时，认为满足预设匹配条件。
待计算聚类簇是满足预设匹配条件的候选聚类簇，也即预设点云模型通过变换，例如旋转、平移等可以和待计算聚类簇重叠，也即待计算聚类簇中的点云数据是指定空间当前对应的点云数据。
从而，利用待计算聚类簇，可以计算出指定空间的实际位置，得到第二位置。在一些实施方式中，待计算聚类簇中每个点的三维坐标均是指定空间上的点的三维坐标，可以基于待计算聚类簇中每个点的三维坐标，计算出指定空间的位置作为第二位置。
S150、根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业，以将所述拾取物投放至所述指定空间中。
在计算出第二位置之后，可以利用作业轨迹信息中的相对位置关系计算出投放位置，其中，投放位置是指作业设备将抓取到的拾取物投放至指定空间时，机械手的位置。
在一些实施方式中，根据第二位置和相对位置关系确定投放位置，并控制作业设备基于投放位置执行投放作业时，可以是利用所述第二位置和所述相对位置关系，计算投放位置；控制所述作业设备在所述投放位置处，执行投放作业，以将所述拾取物投放至指定空间中。
由于相对位置关系为投放拾取物时作业设备相对于指定空间的位置，而作业设备相对于指定空间的位置具体可以是指作业设备的机械手相对于指定空间的位置。在一些实施方式中，可以基于该相对位置关系和第二位置计算出投放位置，例如，该相对位置关系可用一函数关系表达为：y1＝αy2；其中，y1作业设备的位置，y2表示指定空间的位置，α表示其他参数，则以第二位置替换y2，可以求解得到对应的作业设备的位置，即投放位置。
从而可以控制作业设备的机械手移动到该投放位置，以执行投放作业，实现将拾取物投放至指定空间中。
作业设备可以包括多个活动部件，例如，机械手、机械臂等，为了控制机械手移动至投放位置处，通常需要各个活动部件相互配合。例如，作业设备为挖掘设备时，活动部件可以包括大臂、小臂、座舱和挖斗，为了控制挖斗移动至投放位置处，需要多个活动部件互相配合。指定空间可以是指定装载容器，其中，指定装载容器可以是指用于装载拾取物的物体，例如车辆。
在一些实施方式中，指定空间可以是指定装载容器，例如车辆，箱子等，为了确保作业设备的机械手的安全移动，在控制作业设备的机械手在投放位置处，执行投放作业时，可以是获取每个所述活动部件对应的姿态参数，以及指定装载容器的外形尺寸；生成和所述外形尺寸匹配的虚拟物体；基于所述每个活动部件对应的姿态参数和所述虚拟物体，计算所述机械手移动至所述投放位置的运动轨迹；基于所述运动轨迹，控制所述机械手移动至所述投放位置处，执行投放作业。
其中，活动部件对应的姿态参数可以包括各个活动部件分别对应的角速度、相邻活动部件之间的角度等。作业设备的各个活动部件上可以安装有惯性测量单元(Inertialmeasurement unit，IMU)，以获取到其角速度和角度等姿态参数。
例如，作业设备为挖掘设备时，活动部件对应的姿态参数可以包括座舱、大臂、小臂以及挖斗的角速度，以及座舱和大臂之间的角度、大臂和小臂之间的角度、小臂和挖斗之间的角度。挖掘设备上可以安装有IMU，具体可以是在座舱、大臂、小臂、挖斗上各安装有IMU。
活动部件的姿态参数可基于各活动部件对应的坐标系进行定义，例如，可参阅图4，示出了作业设备中各活动部件的坐标系的示意图。
其中，作业设备为挖掘设备，作业设备上一共可定义6个坐标系，分别为作业设备整体的坐标系base_link、上身部件的坐标系upper_body_link、大臂根部的坐标系arm_base_link、大臂的坐标系boom_link、小臂的坐标系arm_link和挖斗的坐标系gripper_link。
其中，大臂根部的坐标系arm_base_link和上身部件的坐标系upper_body_link为固定转换关系，其余相邻活动部件的对应的坐标系之间的转换关系可通过安装的IMU实时感知得到。
根据图示可知，大臂、小臂和挖斗的坐标系可绕y轴转动，向下转动为逆时针旋转，关节角度逐渐增大，向下转动为顺时针转动，关节角度逐渐减小，上身部件的坐标系upper_body_link绕z轴转动，向左为逆时针旋转，关节角度逐渐增大，向右为顺时针旋转，关节角度逐渐减小。
关节零位定义为大臂根部的坐标系arm_base_link和大臂的坐标系boom_link成1弧度夹角，小臂的坐标系arm_link与大臂的坐标系boom_link成1.5弧度夹角，挖斗的坐标系gripper_link与小臂的坐标系arm_link平行。若此时，小臂向上转动1弧度，小臂对应输出的关节角度为-1弧度。
从而，利用各个活动部件上安装的IMU，可以获取到对应的姿态参数。
指定空间的外形尺寸是指指定空间的整体的长度、宽度和高度，在一些实施方式中，可以直接对指定空间进行测量得到。在另一些实施方式中，若指定空间为车辆，可以通过实际的测量得到车头的长度、宽度和高度、以及指定空间的车斗的长度、宽度和高度；再基于车头的长度、宽度和高度以及指定空间的车斗的长度、宽度和高度，以计算出指定空间的外形尺寸。
在得到指定空间的外形尺寸之后，可以生成和该外形尺寸匹配的虚拟物体，然后基于姿态参数和虚拟物体，计算机械手移动至所述投放位置的运动轨迹。具体的，在计算机械手移动至投放位置的运动轨迹时，可以是以机械手的当前位置为起点，以投放位置为终点，结合运动学方程，规划机械手从起点运动至终点的运动轨迹，且根据生成的虚拟物体模拟空间中的障碍物，基于虚拟物体的尺寸和位置实现避障规划，以得到对应的运动轨迹。
然后基于运动轨迹，可以得到机械手在运动过程中对应的位姿，可利用逆运动学方程直接求出各个关节转角的变量的值，并基于各个关节转角的变量的值，控制机械手可按照运动轨迹移动至投放位置处，执行投放作业。
在一些实施方式中，作业轨迹信息还可以包括初始拾取位置，该初始拾取位置可以是在获取装车轨迹的过程中，人工主动选择的拾取位置，以便作业设备在拾取位置处抓取拾取物。
在控制作业设备在第一位置处进行拾取作业后，可以以第一位置更新初始拾取位置，在控制作业设备基于投放位置执行投放作业后，可以直接控制作业设备的机械手移动到初始拾取位置处。需要说明的是，由于已经利用第一位置更新了初始拾取位置，则作业设备在执行投放作业后，机械手实际是移动到第一位置。
需要说明的是，前述S130至S150中，均无需用户介入，即可自动控制作业设备进行拾取和投放，以实现转移作业。
而作业轨迹信息的获取中，需要人工控制作业设备进行转移作业，在获取作业设备的作业轨迹信息时，可以是响应于轨迹录制操作，获取初始拾取位置；控制所述作业设备在初始拾取位置处进行挖掘；响应于匹配触发操作，获取指定点云数据；若所述指定空间对应的预设点云模型和所述指定点云数据匹配成功，记录所述指定空间相对于所述作业设备的位置以及所述作业设备的姿态，以得到作业位姿；根据所述作业位姿，计算所述指定空间对应的中心点，并控制作业设备移动至所述中心点；响应于确认操作，记录所述中心点相对于所述作业设备的位置，得到相对位置关系。
轨迹录制操作是指触发轨迹录制的操作，该轨迹录制操作可以包括触摸、滑动、划按、长按、短按、双击、点击、结束滑动等操作。例如，在一些实施例中，轨迹录制操作可以是短按操作；在一些实施例中，轨迹录制操作可以是长按操作；在一些实施例中，轨迹录制操作可以是滑动操作。
作为一种实施方式，可以在显示场景图像的图形用户界面中，显示对应的录制控件，用户可以点击该录制控件，可自动指引用户进行作业轨迹的录制。例如，在用户点击录制控制后，可显示提示信息“请在场景图像中选择要拾取的位置”，从而用户可以根据该提示信息，在场景图像中进行选择操作，以便电子设备可以确定出目标点；并控制作业设备在目标点指示的第一位置处进行拾取作业。其中，确定目标点并控制作业设备在第一位置处进行拾取作业的详细内容可参见前述S120至S130中的对应描述，在此不再赘述。
在作业设备拾取完毕之后，可以响应于匹配触发操作，获取点云采集设备当前采集到的指定点云数据。其中，匹配触发操作是指触发当前采集到的点云数据和指定空间的预设点云模型进行匹配计算的操作。
在一些实施方式中，在拾取完毕之后，可以显示“请将作业设备调整到指定空间”的提示信息，并显示“开始匹配”控件，从而，用户可以手动将作业设备调整到指定空间位置，然后点击“开始匹配”控件，以进行匹配计算。
在检测到匹配触发操作时，可以获取点云设备当前采集到的点云数据，记为指定点云数据。然后根据指定点云数据和指定空间的预设点云模型，进行匹配计算，匹配计算的详细内容可参见前述S140中对应的描述，在此不再赘述。若指定空间的预设点云模型和指定点云数据匹配失败，表明对指定点云数据聚类后得到的候选聚类簇不满足预设匹配条件，可以提示用户重新调整作业设备的姿态，以便重新进行匹配计算，直到对指定点云数据聚类后得到的候选聚类簇满足预设匹配条件，即可认为匹配成功。
在匹配成功时，记录指定空间相对于作业设备的位置以及作业设备的姿态，得到作业位姿。在匹配成功后，可以定位出指定空间的位置以及指定空间的边界参数。例如，指定空间为车辆时，匹配成功后即可确定出车辆的位置，以及车辆车斗4个角、车辆车头4个角的物理坐标，然后利用车辆车斗4个角的物理坐标可以计算出车斗对应的中心点的位置，并控制作业设备的机械手移动至该车斗的中心点，其中车辆车头4个角的物理坐标可作为车辆外形尺寸的一部分，可用于避障规划中，以确保机械手安全移动至车斗的中心点。
在控制作业设备的机械手移动到指定空间的中心点后，可继续显示提示信息，以提示用户对该位置进行确认操作，例如，可以是显示“是否记录该位置”的提示信息，并显示对应的确认控件和否认控件。
其中，确认操作是指对当前作业设备的位置进行确认的操作，该确认操作可以是作用在确认控件上的点击操作，用户点击该确认控件后，可认为用户确定该位置正确，作业设备可以投放拾取物，同时可以记录中心点相对于作业设备的位置，得到相对位置关系。此时，可认为作业轨迹录制完毕，作业设备在将拾取物投放之后可自动返回至初始拾取位置。
本申请实施例提供的信息控制方法可以应用在各种自动作业的场景中。比如，以控制挖掘机自动装车为例，采用本申请实施例提供的方案仅需要用户在场景图像中选择目标点，即可自动控制挖掘机在对应的第一位置处挖掘，在挖掘之后自动找到指定空间，并将拾取物投放至指定空间中。
通过本申请实施例提供的方法可以获取作业位姿和相对位置关系；响应于作用在场景图像中的选择操作，确定目标点；控制作业设备在目标点对应的三维坐标位置进行拾取作业；根据在作业位姿下所获取到的目标点云数据和指定空间的预设点云模型，可准确计算出第二位置，最后基于相对位置关系和目标从指定空间位置计算投放位置，以便将拾取物倾倒至指定空间中。在控制作业设备进行转移作业时，仅需用户选择目标点，操作简单方便，且在自动执行转移作业的过程中，可自动确定第二位置，控制作业设备完成自主避障以及路径规划，提高控制作业设备时的作业效率。
根据上述实施例所描述的方法，以下将作进一步详细说明。
在本实施例中，将以挖掘机进行装车作业，以指定空间为车辆为例进行详细说明。其中，挖掘机的大臂、小臂、挖斗和座舱上分别安装有IMU，挖掘机座舱前部可以有点云采集设备，用于采集现场的场景并生产激光点云，该点云采集设备可以是激光雷达。挖掘机座舱前部还安装有图像采集装置，用于采集现场的场景图像，以生成客户端操作界面的中呈现的场景画面，该图像采集装置可以由多个单目摄像机组成，例如3个单目摄像机，通过图像拼接的方式，生成场景画面。其中，执行信息控制方法的电子设备可和挖掘机集成为一体，显示设备和挖掘机分开设置，以实现远程控制挖掘机进行装车作业，下面将对本申请实施例的方法进行详细说明。
如图5所示，一种信息控制方法具体流程如下：
S210、响应于轨迹录制操作，获取挖掘机的作业轨迹信息。
在显示设备呈现的场景画面中，可以显示有录制控件，用户点击该录制控件，可自动指引用户进行装车轨迹的录制。用户可以先选择在场景图像中选择要挖掘的位置(即目标点)，此时目标点对应的三维坐标位置可称为初始拾取位置，并记录，挖掘机可自动在初始拾取位置处进行挖掘。
挖掘完毕后，用户可手动将挖掘机的挖斗调整到车辆的位置处，此时图形用户界面上可显示“开始匹配”的控件，用户点击开始匹配，挖掘机可自动基于当前采集到的点云数据和车辆的预设点云数据进行匹配计算。在匹配成功时，记录车辆相对于挖掘机的位置以及挖掘机的姿态，得到作业位姿。
匹配计算中可获得车辆的位置，利用车辆的位置和尺寸可计算出车辆车斗的中心点。然后自动将挖掘机的挖斗调整到中心点，在用户确认后得到相对位置关系，即倾倒挖掘物时，挖掘机的挖斗和车辆车斗的中心点的相对位置。
此时，可得到作业轨迹信息，即初始拾取位置、作业位姿和相对位置关系。
S220、响应于作用在场景图像中的选择操作，确定目标点。
S230、控制所述挖掘机在第一位置处进行拾取作业，所述第一位置为所述目标点对应的三维坐标位置。
S240、根据目标点云数据和所述车辆的预设点云模型，计算第二位置。
S250、根据所述第二位置和所述相对位置关系确定投放位置，并控制所述挖掘机基于所述投放位置执行投放作业，以将挖掘物倾倒至所述车辆的车斗中。
在得到作业轨迹信息后，用户可重新在场景图像上选择目标点，此时选择的目标点在真实作业环境中对应的位置，可记为第一位置，可自动控制挖掘机在第一位置处进行挖掘，实现点哪挖哪的功能。同时，以第一位置更新初始拾取位置。
随后，挖掘机可自动调整为装车姿态，并进行匹配计算，以计算出第二位置，即车辆的实际位置。同时，可将记录的作业位姿更新为当前匹配成功的作业位姿，以供后续加速匹配计算。然后基于车辆的实际位置和相对位置关系，计算出投放位置，自动控制挖掘机的挖斗移动到投放位置，以将挖掘物倾倒至车辆的车斗中。倾倒完毕后，挖掘机可自动移动至初始拾取位置，以等待用户重新选择目标点。
其中，在挖掘机移动的过程中，均不涉及挖掘机物理位置的移动，仅是座舱的旋转、大臂、小臂及挖斗的移动，在移动的过程中，可基于车辆的尺寸信息模拟障碍物，进行避障规划，以实现挖掘机的安全移动。
由上可知，通过预先获取作业位姿和相对位置关系，用户仅需重新选择目标点，即可自动控制挖掘机在对应位置处挖掘，挖掘完毕后，利用作业位姿可快速定位车辆位置，并利用相对位置关系，得到投放位置，然后将挖斗移动到投放位置，以将挖掘物倾倒至车辆的车斗中，整个过程仅需用户在场景图像中选择目标点，即可实现自动装车，可有效提升作业效率。并且，将显示设备和挖掘机分开设置，直接在显示设备呈现的场景图像中选择目标点，即可实现远程控制挖掘机进行装车作业，也可确保操作者的人身安全。
为了更好地实施以上方法，本申请实施例还提供一种信息控制装置，该信息控制装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
比如，在本实施例中，将以信息控制装置具体集成在终端为例，对本申请实施例的方法进行详细说明。
例如，如图6所示，该信息控制装置300可以包括获取模块310、确定模块320、第一控制模块330、计算模块340以及第二控制模块350。
获取模块310，用于获取作业设备的作业轨迹信息，所述作业轨迹信息包括作业位姿和相对位置关系，所述相对位置关系为投放拾取物时所述作业设备相对于指定空间的位置关系；
确定模块320，用于响应于作用在场景图像中的选择操作，确定目标点，所述场景图像包括所述作业设备的作业环境；
第一控制模块330，用于控制所述作业设备在第一位置处进行拾取作业，所述第一位置为所述目标点对应的三维坐标位置；
计算模块340，用于根据目标点云数据和所述指定空间的预设点云模型，计算第二位置，所述目标点云数据为所述作业设备在所述作业位姿时，获取到的点云数据；
第二控制模块350，用于根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业，以将所述拾取物倾倒至所述指定空间中。
在一些实施例中，第一控制模块330还包括：
二维获取单元，用于获取所述目标点在所述场景图像中的二维坐标；
确定单元，用于根据所述二维坐标和当前获取到的第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标，所述相机坐标系为所述图像采集设备对应的坐标系；
目标确定单元，用于将所述相机坐标系中所述三维坐标所指示的位置，确定为所述第一位置；
第一控制单元，用于控制所述作业设备在所述第一位置处进行拾取作业。
在一些实施例中，确定单元还用于：
以所述二维坐标为中心，向预设方向扩展预设数量个像素点，生成虚拟区域；
将所述第一点云数据中的点投影至所述场景图像中，得到所述第一点云数据中的每个点对应的投影点；
根据所述投影点落入所述虚拟区域的所述第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标。
在一些实施例中，确定单元还用于：
根据欧式距离，对所述投影点落入所述虚拟区域的第一点云数据进行聚类处理，以得到对应的聚类簇；
若所述聚类簇的数量为预设数量，将所述聚类簇的聚类中心坐标作为所述三维坐标；
若所述聚类簇的数量大于预设数量，将目标聚类簇的聚类中心坐标作为所述三维坐标，所述目标聚类簇为点的数量最多的所述聚类簇。
在一些实施例中，计算模块340还包括：
过滤单元，用于对目标点云数据进行过滤处理，得到待使用点云数据；
聚类单元，用于对所述待使用点云数据进行聚类处理，得到候选聚类簇；
匹配单元，用于将所述预设点云模型和每个所述候选聚类簇进行匹配，得到每个所述候选聚类簇对应的匹配参数；
条件单元，用于基于所述匹配参数，将满足预设匹配条件的所述候选聚类簇确定为待计算聚类簇；
计算单元，用于利用所述待计算聚类簇，计算第二位置。
在一些实施例中，对所述待使用点云数据进行聚类处理，得到候选聚类簇之前，聚类单元还用于：
获取所述待使用点云数据中的点的总数量；
从所述待使用点云数据中，确定在预设方向上的最高点和最低点；
计算所述最高点和所述最低点在所述预设方向上的目标距离；
若所述总数量大于预设数量，且所述目标距离大于预设距离，对所述待使用点云数据进行聚类处理，以获取对应的候选聚类簇。
在一些实施例中，第二控制模块350还包括：
计算单元，用于利用所述第二位置和所述相对位置关系，计算投放位置；
第二控制单元，用于控制所述作业设备在所述投放位置处执行投放作业，以将所述拾取物投放至指定空间中。
在一些实施例中，作业设备包括多个活动部件，所述多个活动部件包括机械手，所述指定空间为指定装载容器，第二控制单元还用于：
获取每个所述活动部件对应的姿态参数，以及指定装载容器的外形尺寸；
生成和所述外形尺寸匹配的虚拟物体；
基于所述每个活动部件对应的姿态参数和所述虚拟物体，计算所述机械手移动至所述第二位置的运动轨迹；
基于所述运动轨迹，控制所述机械手移动至所述投放位置处，执行投放作业。
在一些实施例中，所述作业轨迹信息还包括初始拾取位置，所述控制所述作业设备在第一位置处进行拾取作业之后，第一控制模块330还用于：
以所述第一位置更新所述初始拾取位置；
根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业之后，第二控制模块350还用于：
控制所述作业设备移动至所述初始拾取位置。
在一些实施例中，获取模块310还用于：
响应于轨迹录制操作，获取初始拾取位置；
控制所述作业设备在初始拾取位置处进行拾取作业；
响应于匹配触发操作，获取指定点云数据；
若所述指定空间对应的预设点云模型和所述指定点云数据匹配成功，记录所述指定空间相对于所述作业设备的位置以及所述作业设备的姿态，以得到作业位姿；
根据所述作业位姿，计算所述指定空间对应的中心点，并控制作业设备移动至所述中心点；
响应于确认操作，记录所述中心点相对于所述作业设备的位置，得到相对位置关系。
在一些实施例中，根据目标点云数据和所述指定空间的预设点云模型，计算第二位置之前，计算模块340还用于：
采集所述指定空间对应的空间点云数据；
对所述空间点云数据进行过滤处理，得到待聚类空间点云数据；
基于欧式距离，对所述待聚类空间点云数据进行聚类处理，得到所述预设点云模型。
具体实施时，以上各个模块或单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块或单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的信息控制装置可以获取作业位姿和相对位置关系；响应于作用在场景图像中的选择操作，确定目标点；控制作业设备在目标点对应的三维坐标位置处进行拾取作业；根据在作业位姿下所获取到的目标点云数据和指定空间的预设点云模型，可准确计算出第二位置，最后基于相对位置关系和目标从指定空间位置计算投放位置，以便将拾取物倾倒至指定空间的车斗中，实现装车作业，整个过程仅需用户选择目标点，其余过程均可自动执行，无需用户干预即可精准地进行装车作业，可有效提升作业效率。
相应的，本申请实施例还提供一种电子设备，该电子设备可以为终端或服务器，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、个人计算机、个人数字助理(Personal Digital Assistant，PDA)等电子设备。
如图7所示，图7为本申请实施例提供的电子设备的结构示意图，该电子设备400包括有一个或者一个以上处理核心的处理器401、有一个或一个以上计算机可读存储介质的存储器402及存储在存储器402上并可在处理器上运行的计算机程序。其中，处理器401与存储器402电性连接。本领域技术人员可以理解，图中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备400的各个部分，通过运行或加载存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备400的各种功能和处理数据，从而对电子设备400进行整体监控。
在本申请实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能：
获取作业设备的作业轨迹信息，所述作业轨迹信息包括作业位姿和相对位置关系，所述相对位置关系为投放拾取物时所述作业设备相对于指定空间的位置关系；响应于作用在场景图像中的选择操作，确定目标点，所述场景图像包括所述作业设备的作业环境；控制所述作业设备在第一位置处进行拾取作业，所述第一位置为所述目标点对应的三维坐标位置；根据目标点云数据和所述指定空间对应的预设点云模型，计算第二位置，所述目标点云数据为所述作业设备在所述作业位姿时，获取到的点云数据；根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业，以将所述拾取物投放至所述指定空间中。
在远程控制作业设备进行作业时，仅需用户选择目标点，操作简单便捷，可有效提升远程控制作业设备时的作业效率。
获取所述目标点在所述场景图像中的二维坐标；根据所述二维坐标和当前获取到的第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标，所述相机坐标系为采集所述场景图像的设备对应的坐标系；将所述相机坐标系中所述三维坐标所指示的位置，确定为所述第一位置；控制所述作业设备在所述第一位置处进行拾取作业。
以所述二维坐标为中心，向预设方向扩展预设数量个像素点，生成虚拟区域；将所述第一点云数据中的点投影至所述场景图像中，得到所述第一点云数据中的每个点对应的投影点；根据所述投影点落入所述虚拟区域的所述第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标。
根据欧式距离，对所述投影点落入所述虚拟区域的第一点云数据进行聚类处理，以得到对应的聚类簇；若所述聚类簇的数量为预设数量，将所述聚类簇的聚类中心坐标作为所述三维坐标；若所述聚类簇的数量大于预设数量，将目标聚类簇的聚类中心坐标作为所述三维坐标，所述目标聚类簇为点的数量最多的所述聚类簇。
基于选择的目标点构建虚拟区域，对投影点在虚拟区域的第一点云数据进行聚类处理，可准确求得目标点对应的第一位置。
对目标点云数据进行过滤处理，得到待使用点云数据；对所述待使用点云数据进行聚类处理，得到候选聚类簇；将所述预设点云模型和每个所述候选聚类簇进行匹配，得到每个所述候选聚类簇对应的匹配参数；基于所述匹配参数，将满足预设匹配条件的所述候选聚类簇确定为待计算聚类簇；利用所述待计算聚类簇，计算第二位置。
获取所述待使用点云数据中的点的总数量；从所述待使用点云数据中，确定在预设方向上的最高点和最低点；计算所述最高点和所述最低点在所述预设方向上的目标距离；若所述总数量大于预设数量，且所述目标距离大于预设距离，对所述待使用点云数据进行聚类处理，以获取对应的候选聚类簇。
在作业的过程中，利用点云数据进行匹配，可准确确定第二位置，可提升作业的准确性。
利用所述第二位置和所述相对位置关系，计算投放位置；控制所述作业设备在所述投放位置处，执行投放作业，以将拾取物倾倒至指定空间中。
利用确定的第二位置和相对位置关系，可准确计算出投放位置，从而可准确地将拾取物投放至指定空间中。
获取每个所述活动部件对应的姿态参数，以及指定装载容器的外形尺寸；生成和所述外形尺寸匹配的虚拟物体；基于所述每个活动部件对应的姿态参数和所述虚拟物体，计算所述挖斗移动至所述投放位置的运动轨迹；基于所述移动路径，控制所述挖斗移动至所述投放位置处，执行投放作业。
在控制作业设备移动时，基于指定空间中指定装载容器的外形尺寸生成虚拟物体，以便于在运动轨迹的计算中进行避障处理，可有效提升作业的安全性。
以所述第一位置更新所述初始拾取位置；所述根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业之后，所述方法还包括：控制所述作业设备移动至所述初始拾取位置。
响应于轨迹录制操作，获取初始拾取位置；控制所述作业设备在初始拾取位置处进行拾取作业；响应于匹配触发操作，获取指定点云数据；若所述指定空间对应的预设点云模型和所述指定点云数据匹配成功，记录所述指定空间相对于所述作业设备的位置以及所述作业设备的姿态，以得到作业位姿；根据所述作业位姿，计算所述指定空间对应的中心点，并控制作业设备移动至所述中心点；响应于确认操作，记录所述中心点相对于所述作业设备的位置，得到相对位置关系。
采集所述指定空间对应的空间点云数据；对所述空间点云数据进行过滤处理，得到待聚类空间点云数据；基于欧式距离，对所述待聚类空间点云数据进行聚类处理，得到所述预设点云模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
可选的，如图7所示，电子设备400还包括：显示屏403、射频电路404、音频电路405、输入单元406以及电源407。其中，处理器401分别与显示屏403、射频电路404、音频电路405、输入单元406以及电源407电性连接。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
显示屏403可用于显示图形用户界面。其中，显示屏403可以包括普通显示屏和触控显示屏。其中，普通显示屏仅具有显示功能，触控显示屏可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。
触控显示屏可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，LiquidCrystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并生成相应的操作指令，且操作指令执行对应程序。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器401，并能接收处理器401发来的命令并加以执行。触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器401以确定触摸事件的类型，随后处理器401根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中，可以将触控面板与显示面板集成到触控显示屏而实现输入和输出功能。但是在某些实施例中，触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏也可以作为输入单元406的一部分实现输入功能。
在本申请实施例中，通过处理器401执行控制类应用程序，以在显示屏403上生成图形用户界面，图形用户界面上可包含场景图像。
射频电路404可用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路405可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路405接收后转换为音频数据，再将音频数据输出处理器401处理后，经射频电路404以发送给比如另一电子设备，或者将音频数据输出至存储器402以便进一步处理。音频电路405还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源407用于给电子设备400的各个部件供电。可选的，电源407可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源407还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图7中未示出，电子设备400还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
由上可知，本实施例提供的电子设备可以获取作业位姿和相对位置关系；响应于作用在场景图像中的选择操作，确定目标点；控制作业设备在目标点对应的三维坐标位置处进行拾取作业；根据在作业位姿下所获取到的目标点云数据和指定空间的预设点云模型，可准确计算出第二位置，最后基于相对位置关系和目标从指定空间位置计算投放位置，以便将拾取物倾倒至指定空间的车斗中。在远程控制作业设备进行装车作业时，仅需用户选择目标点，操作简单便捷，可有效提升远程控制作业设备进行装车作业的效率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种信息控制方法中的步骤。例如，该计算机程序可以执行如下步骤：
获取作业设备的作业轨迹信息，所述作业轨迹信息包括作业位姿和相对位置关系，所述相对位置关系为投放拾取物时所述作业设备相对于指定空间的位置关系；响应于作用在场景图像中的选择操作，确定目标点，所述场景图像包括所述作业设备的作业环境；控制所述作业设备在第一位置处进行拾取作业，所述第一位置为所述目标点对应的三维坐标位置；根据目标点云数据和所述指定空间对应的预设点云模型，计算第二位置，所述目标点云数据为所述作业设备在所述作业位姿时，获取到的点云数据；根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业，以将所述拾取物投放至所述指定空间中。
在远程控制作业设备进行作业时，仅需用户选择目标点，操作简单便捷，可有效提升远程控制作业设备时的作业效率。
获取所述目标点在所述场景图像中的二维坐标；根据所述二维坐标和当前获取到的第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标，所述相机坐标系为采集所述场景图像的设备对应的坐标系；将所述相机坐标系中所述三维坐标所指示的位置，确定为所述第一位置；控制所述作业设备在所述第一位置处进行拾取作业。
以所述二维坐标为中心，向预设方向扩展预设数量个像素点，生成虚拟区域；将所述第一点云数据中的点投影至所述场景图像中，得到所述第一点云数据中的每个点对应的投影点；根据所述投影点落入所述虚拟区域的所述第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标。
根据欧式距离，对所述投影点落入所述虚拟区域的第一点云数据进行聚类处理，以得到对应的聚类簇；若所述聚类簇的数量为预设数量，将所述聚类簇的聚类中心坐标作为所述三维坐标；若所述聚类簇的数量大于预设数量，将目标聚类簇的聚类中心坐标作为所述三维坐标，所述目标聚类簇为点的数量最多的所述聚类簇。
基于选择的目标点构建虚拟区域，对投影点在虚拟区域的第一点云数据进行聚类处理，可准确求得目标点对应的第一位置。
对目标点云数据进行过滤处理，得到待使用点云数据；对所述待使用点云数据进行聚类处理，得到候选聚类簇；将所述预设点云模型和每个所述候选聚类簇进行匹配，得到每个所述候选聚类簇对应的匹配参数；基于所述匹配参数，将满足预设匹配条件的所述候选聚类簇确定为待计算聚类簇；利用所述待计算聚类簇，计算第二位置。
获取所述待使用点云数据中的点的总数量；从所述待使用点云数据中，确定在预设方向上的最高点和最低点；计算所述最高点和所述最低点在所述预设方向上的目标距离；若所述总数量大于预设数量，且所述目标距离大于预设距离，对所述待使用点云数据进行聚类处理，以获取对应的候选聚类簇。
在作业的过程中，利用点云数据进行匹配，可准确确定第二位置，可提升作业的准确性。
利用所述第二位置和所述相对位置关系，计算投放位置；控制所述作业设备在所述投放位置处，执行投放作业，以将拾取物倾倒至指定空间中。
利用确定的第二位置和相对位置关系，可准确计算出投放位置，从而可准确地将拾取物投放至指定空间中。
获取每个所述活动部件对应的姿态参数，以及指定装载容器的外形尺寸；生成和所述外形尺寸匹配的虚拟物体；基于所述每个活动部件对应的姿态参数和所述虚拟物体，计算所述挖斗移动至所述投放位置的运动轨迹；基于所述移动路径，控制所述挖斗移动至所述投放位置处，执行投放作业。
在控制作业设备移动时，基于指定空间中指定装载容器的外形尺寸生成虚拟物体，以便于在运动轨迹的计算中进行避障处理，可有效提升作业的安全性。
以所述第一位置更新所述初始拾取位置；所述根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业之后，所述方法还包括：控制所述作业设备移动至所述初始拾取位置。
响应于轨迹录制操作，获取初始拾取位置；控制所述作业设备在初始拾取位置处进行拾取作业；响应于匹配触发操作，获取指定点云数据；若所述指定空间对应的预设点云模型和所述指定点云数据匹配成功，记录所述指定空间相对于所述作业设备的位置以及所述作业设备的姿态，以得到作业位姿；根据所述作业位姿，计算所述指定空间对应的中心点，并控制作业设备移动至所述中心点；响应于确认操作，记录所述中心点相对于所述作业设备的位置，得到相对位置关系。
采集所述指定空间对应的空间点云数据；对所述空间点云数据进行过滤处理，得到待聚类空间点云数据；基于欧式距离，对所述待聚类空间点云数据进行聚类处理，得到所述预设点云模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种信息控制方法中的步骤，因此，可以实现本申请实施例所提供的任一种信息控制方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种信息控制方法、装置、电子设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种信息控制方法，其特征在于，所述方法包括：
获取作业设备的作业轨迹信息，所述作业轨迹信息包括作业位姿和相对位置关系，所述相对位置关系为投放拾取物时所述作业设备相对于指定空间的位置关系；
响应于作用在场景图像中的选择操作，确定目标点，所述场景图像包括所述作业设备的作业环境；
控制所述作业设备在第一位置处进行拾取作业，所述第一位置为所述目标点对应的三维坐标位置；
根据目标点云数据和所述指定空间对应的预设点云模型，计算第二位置，所述目标点云数据为所述作业设备在所述作业位姿时，获取到的点云数据；
根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业，以将所述拾取物投放至所述指定空间中。
2.根据权利要求1所述的方法，其特征在于，所述控制所述作业设备在第一位置处进行拾取作业，包括：
获取所述目标点在所述场景图像中的二维坐标；
根据所述二维坐标和当前获取到的第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标，所述相机坐标系为采集所述场景图像的设备对应的坐标系；
将所述相机坐标系中所述三维坐标所指示的位置，确定为所述第一位置；
控制所述作业设备在所述第一位置处进行拾取作业。
3.根据权利要求2所述的方法，其特征在于，所述根据所述二维坐标和当前获取到的第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标，包括：
以所述二维坐标为中心，向预设方向扩展预设数量个像素点，生成虚拟区域；
将所述第一点云数据中的点投影至所述场景图像中，得到所述第一点云数据中的每个点对应的投影点；
根据所述投影点落入所述虚拟区域的所述第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标。
4.根据权利要求3所述的方法，其特征在于，所述根据所述投影点落入所述虚拟区域的所述第一点云数据，确定所述目标点在相机坐标系中对应的三维坐标，包括：
根据欧式距离，对所述投影点落入所述虚拟区域的第一点云数据进行聚类处理，以得到对应的聚类簇；
若所述聚类簇的数量为预设数量，将所述聚类簇的聚类中心坐标作为所述三维坐标；
若所述聚类簇的数量大于预设数量，将目标聚类簇的聚类中心坐标作为所述三维坐标，所述目标聚类簇为点的数量最多的所述聚类簇。
5.根据权利要求1所述的方法，其特征在于，所述根据目标点云数据和所述指定空间的预设点云模型，计算第二位置，包括：
对目标点云数据进行过滤处理，得到待使用点云数据；
对所述待使用点云数据进行聚类处理，得到候选聚类簇；
将所述预设点云模型和每个所述候选聚类簇进行匹配，得到每个所述候选聚类簇对应的匹配参数；
基于所述匹配参数，将满足预设匹配条件的所述候选聚类簇确定为待计算聚类簇；
利用所述待计算聚类簇，计算第二位置。
6.根据权利要求5所述的方法，其特征在于，所述对所述待使用点云数据进行聚类处理，得到候选聚类簇之前，包括：
获取所述待使用点云数据中的点的总数量；
从所述待使用点云数据中，确定在预设方向上的最高点和最低点；
计算所述最高点和所述最低点在所述预设方向上的目标距离；
若所述总数量大于预设数量，且所述目标距离大于预设距离，对所述待使用点云数据进行聚类处理，以获取对应的候选聚类簇。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业，包括：
利用所述第二位置和所述相对位置关系，计算投放位置；
控制所述作业设备在所述投放位置处执行投放作业，以将所述拾取物投放至指定空间中。
8.根据权利要求7所述的方法，其特征在于，所述作业设备包括多个活动部件，所述多个活动部件包括机械手，所述指定空间为指定装载容器，所述控制所述作业设备在所述投放位置处执行投放作业，包括：
获取每个所述活动部件对应的姿态参数，以及指定装载容器的外形尺寸；
生成和所述外形尺寸匹配的虚拟物体；
基于所述每个活动部件对应的姿态参数和所述虚拟物体，计算所述机械手移动至所述第二位置的运动轨迹；
基于所述运动轨迹，控制所述机械手移动至所述投放位置处，执行投放作业。
9.根据权利要求1所述的方法，其特征在于，所述作业轨迹信息还包括初始拾取位置，所述控制所述作业设备在第一位置处进行拾取作业之后，所述方法还包括：
以所述第一位置更新所述初始拾取位置；
所述根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业之后，所述方法还包括：
控制所述作业设备移动至所述初始拾取位置。
10.根据权利要求1所述的方法，其特征在于，所述获取作业设备的作业轨迹信息，包括：
响应于轨迹录制操作，获取初始拾取位置；
控制所述作业设备在初始拾取位置处进行拾取作业；
响应于匹配触发操作，获取指定点云数据；
若所述指定空间对应的预设点云模型和所述指定点云数据匹配成功，记录所述指定空间相对于所述作业设备的位置以及所述作业设备的姿态，以得到作业位姿；
根据所述作业位姿，计算所述指定空间对应的中心点，并控制作业设备移动至所述中心点；
响应于确认操作，记录所述中心点相对于所述作业设备的位置，得到相对位置关系。
11.根据权利要求1所述的方法，其特征在于，所述根据目标点云数据和所述指定空间对应的预设点云模型，计算第二位置之前，所述方法还包括：
采集所述指定空间对应的空间点云数据；
对所述空间点云数据进行过滤处理，得到待聚类空间点云数据；
基于欧式距离，对所述待聚类空间点云数据进行聚类处理，得到所述预设点云模型。
12.一种信息控制装置，其特征在于，所述装置包括：
获取模块，用于获取作业设备的作业轨迹信息，所述作业轨迹信息包括作业位姿和相对位置关系，所述相对位置关系为投放拾取物时所述作业设备相对于指定空间的位置关系；
确定模块，用于响应于作用在场景图像中的选择操作，确定目标点；
第一控制模块，用于控制所述作业设备在第一位置处进行拾取作业，所述第一位置为所述目标点对应的三维坐标位置；
计算模块，用于根据目标点云数据和所述指定空间对应的预设点云模型，计算第二位置，所述目标点云数据为所述作业设备在所述作业姿态时，获取到的点云数据；
第二控制模块，用于根据所述第二位置和所述相对位置关系确定投放位置，并控制所述作业设备基于所述投放位置执行投放作业，以将所述拾取物投放至所述指定空间中。
13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1～11任一项所述的信息控制方法中的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～11任一项所述的信息控制方法中的步骤。
CN202310439442.5A 2023-04-18 2023-04-18 信息控制方法、装置、电子设备和存储介质 Pending CN116479972A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310439442.5A CN116479972A (zh) 2023-04-18 2023-04-18 信息控制方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310439442.5A CN116479972A (zh) 2023-04-18 2023-04-18 信息控制方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116479972A true CN116479972A (zh) 2023-07-25

Family

ID=87218934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310439442.5A Pending CN116479972A (zh) 2023-04-18 2023-04-18 信息控制方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116479972A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118181304A (zh) * 2024-05-13 2024-06-14 浙江正雅齿科股份有限公司 壳状矫治器的拾取方法、电子设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118181304A (zh) * 2024-05-13 2024-06-14 浙江正雅齿科股份有限公司 壳状矫治器的拾取方法、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US8989876B2 (en) Situational awareness for teleoperation of a remote vehicle
JP7137548B2 (ja) 材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体
US9300852B2 (en) Controlling robotic motion of camera
CN106104203B (zh) 一种移动物体的距离检测方法、装置及飞行器
WO2018086130A1 (zh) 飞行轨迹的生成方法、控制装置及无人飞行器
JP4835616B2 (ja) 動作教示システム及び動作教示方法
WO2022001748A1 (zh) 目标跟踪方法、装置、电子设备及移动载具
CN112962709B (zh) 工程机械设备及其作业轨迹规划方法和系统、存储介质
TWI446175B (zh) 通信控制裝置、通信控制方法及相關之電腦可讀媒體
CN113426117B (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
CN116479972A (zh) 信息控制方法、装置、电子设备和存储介质
US20220412048A1 (en) Work assist server, work assist method, and work assist system
KR20200020295A (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
CN116243270A (zh) 目标对象的检测方法及装置、介质及电子设备
CN116052046A (zh) 一种基于目标跟踪的动态场景双目视觉slam方法
US20220012494A1 (en) Intelligent multi-visual camera system and method
CN110942520A (zh) 作业设备辅助定位方法、装置、系统及存储介质
US20220253198A1 (en) Image processing device, image processing method, and recording medium
CN111538009B (zh) 雷达点的标记方法和装置
JP5659787B2 (ja) 操作環境モデル構築システム、および操作環境モデル構築方法
JP2023100258A (ja) 空中給油のための姿勢推定の修正
US11407117B1 (en) Robot centered augmented reality system
CN115922731B (zh) 一种机器人的控制方法以及机器人
WO2023100282A1 (ja) データ生成システム、モデル生成システム、推定システム、学習済みモデルの製造方法、ロボット制御システム、データ生成方法、およびデータ生成プログラム
JPH0973543A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination