CN110942520A

CN110942520A - 作业设备辅助定位方法、装置、系统及存储介质

Info

Publication number: CN110942520A
Application number: CN201911177758.1A
Authority: CN
Inventors: 毕林; 公凡波; 黄月军
Original assignee: Central South University
Current assignee: Central South University
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2020-03-31
Anticipated expiration: 2039-11-27
Also published as: CN110942520B

Abstract

本发明公开了一种作业设备辅助定位方法、装置、系统及存储介质。其中，该方法包括：获取作业区域的表面空间信息；基于所述表面空间信息确定所述作业区域内作业对象的三维模型及作业设备的位姿；根据所述作业设备的位姿将所述作业设备对应的显示模型和所述三维模型转换至同一坐标系中；显示转换至同一坐标系中的显示模型和三维模型，以指示所述作业设备与所述作业对象间的相对位置关系。本发明实施例利于辅助远程操作人员对作业设备进行准确定位，提高作业效率。

Description

作业设备辅助定位方法、装置、系统及存储介质

技术领域

本发明涉及遥控作业领域，尤其涉及一种作业设备辅助定位方法、装置、系统及存储介质。

背景技术

随着无线通讯技术及遥控技术的发展，在很多恶劣的作业环境中通过远程遥控，可以避免操作人员在现场操作。如矿山井下用于矿石大块的免爆锤、铲装远程遥控、推土机远程遥控等。

相关技术中，远程遥控都是通过视频辅助操作人员进行操作，但这种视频在屏幕上的成像总是二维平面的，操作人员很难准确定位。即便通过多个摄像头从不同方位形成多个图像，仍然很难在操作人员头脑中形成三维空间位置及形态，依然难以做到操作工在现场通过肉眼观测目标从而准确定位、达到作业要求的目的。

发明内容

有鉴于此，本发明实施例提供了一种作业设备辅助定位方法、装置、系统及存储介质，旨在辅助远程操作人员准确定位、高效作业。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种作业设备辅助定位方法，包括：

获取作业区域的表面空间信息；

基于所述表面空间信息确定所述作业区域内作业对象的三维模型及作业设备的位姿；

根据所述作业设备的位姿将所述作业设备对应的显示模型和所述三维模型转换至同一坐标系中；

显示转换至同一坐标系中的显示模型和三维模型，以指示所述作业设备与所述作业对象间的相对位置关系。

本发明实施例还提供了一种作业设备辅助定位装置，包括：

获取模块，用于获取作业区域的表面空间信息；

确定模块，用于基于所述表面空间信息确定所述作业区域内作业对象的三维模型及作业设备的位姿；

建模模块，用于根据所述作业设备的位姿将所述作业设备对应的显示模型和所述三维模型转换至同一坐标系中；

显示模块，用于显示转换至同一坐标系中的显示模型和三维模型，以指示所述作业设备与所述作业对象间的相对位置关系。

本发明实施例又提供了一种作业设备辅助定位系统，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器，用于运行计算机程序时，执行本发明任一实施例所述方法的步骤。

本发明实施例还提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本发明任一实施例所述方法的步骤。

本发明实施例提供的技术方案，通过获取作业区域的表面空间信息，基于所述表面空间信息确定所述作业区域内作业对象的三维模型及作业设备的位姿，根据所述作业设备的位姿将所述作业设备对应的显示模型和所述三维模型转换至同一坐标系中，显示转换至同一坐标系中的显示模型和三维模型，可以直观、形象地指示所述作业设备与所述作业对象间的相对位置关系，利于辅助远程操作人员对作业设备进行准确定位，提高作业效率。

附图说明

图1为本发明实施例作业设备辅助定位方法的流程示意图；

图2为本一实施例中作业设备的结构示意图；

图3为本发明一实施例中作业设备应用于作业区域的结构示意图；

图4为本发明实施例作业设备辅助定位装置的结构示意图；

图5为本发明实施例作业设备辅助定位系统的结构示意图。

具体实施方式

下面结合附图及实施例对本发明再作进一步详细的描述。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

相关技术中，远程遥控操作已逐渐应用于危险系数高的相关生产作业环节，如矿山井下用于矿石大块的免爆锤、铲装远程遥控、推土机远程遥控等，其大大降低了操作危险系数。目前，远程遥控都是通过视频辅助操作人员进行操作，但这种视频在屏幕上的成像总是二维平面的，操作人员很难准确定位，为解决这个问题；通常用多个视像头从不同方位形成多个图像，但这种方式很难在操作人员头脑中形成三维空间位置及形态，依然难以做到操作工在现场通过肉眼观测目标从而准确定位、作业的要求。

基于此，在本发明的各种实施例中，本发明通过计算机视觉技术，将作业对象及作业设备(又称为作业机构)进行三维建模，准确获取作业对象的三维空间位置及形态，以及作业机构的空间位置；并在屏幕中可视化该模型，从而改善定位辅助的效果。

本发明实施例提供了一种作业设备辅助定位方法，如图1所示，包括：

步骤101，获取作业区域的表面空间信息；

实际应用时，可以通过TOF(飞行时间)相机或者激光雷达测距装置采集作业区域的表面空间信息。其中，TOF相机获取表面空间信息的原理是：通过对目标场景发射连续的近红外脉冲，然后用传感器接收由物体反射回的光脉冲。通过比较发射光脉冲与经过物体反射的光脉冲的相位差，可以推算得到光脉冲之间的传输延迟进而得到物体相对于发射器的距离，最终得到表征目标场景的表面空间信息的深度图像。基于激光雷达测距技术获取作业区域的表面空间信息的原理是：按照一定时间间隔向空间发射激光，并记录各个扫描点的信号从激光雷达到被测场景中的物体，随后又经过物体反射回到激光雷达的相隔时间，据此推算出物体表面与激光雷达之间的距离，得到表征表面空间信息的三维点云数据。

在一实施例中，在作业区域的墙壁两侧分别设置一个TOF相机，设置位置光线充足，且无障碍物阻挡TOF相机及其观测路径。利用两个TOF相机可获得作业区域的整体表面空间信息。在另一实施例中，因作业机构位置变换较为频繁且无固定规律，TOF相机可安装在作业机构上，获取作业对象及对应作业机构的表面空间信息。该TOF相机包括：光源、感光芯片、镜头、传感器、驱动控制电路以及处理电路。感光芯片包括：发射照明模块和感光接收模块，根据这两大模块之间的相互关联来生成表面空间信息。具体地，TOF相机的感光芯片采用面阵式感光芯片，为了测量整个作业区域的表面空间信息，通过面阵式感光芯片，拍摄一张场景图片即可实时获取整个场景的表面空间信息。

实际应用时，本发明实施例方法应用于远程作业平台(又称为基于三维视觉的作业设备定位系统)，表面空间采集设备(TOF相机或者激光雷达)完成对作业区域的表面空间信息采集后，对于TOF相机装置而言，采集的作业区域的表面空间信息可以为深度图像信息；对于激光阵列采集装置而言，采集的作业区域的表面空间信息可以为三维点云信息。TOF相机装置采集的深度图像信息经初步校正和温度校准，再完成图像的畸变校正，最后经坐标系转换可得到对应的三维点云信息，方便后期数据处理识别。将作业区域的表面空间信息经通讯网络传输至远程作业平台。

步骤102，基于所述表面空间信息确定所述作业区域内作业对象的三维模型及作业设备的位姿；

在一实施例中，基于所述表面空间信息确定所述作业区域内作业对象的三维模型及作业设备的位姿，包括：

基于所述表面空间信息识别作业对象和作业设备，得到所述作业对象的三维空间分布和所述作业设备的位姿；

基于所述作业对象的三维空间分布生成所述作业对象的三维模型。

在一实施例中，所述基于所述表面空间信息识别作业对象和作业设备，得到所述作业对象的三维空间分布和所述作业设备的位姿，包括：

1、提取所述表面空间信息中的特征点；

这里，远程作业平台基于过滤技术过滤掉因图像采集设备、测量环境等因素产生的离群点与异常点，得到过滤后的表面空间信息，对过滤后的表面空间信息提取特征点。其中，特征点为作业区域的表面空间信息中特征显著的点，该点及其邻域内具有区分性较强的特征，有利于后续特征匹配识别。具体包括：

V^-1cov(p_i)V＝D

V＝{v₁，v₂，v₃}

其中，p_i为点云中某点的坐标(x_i,y_i,z_i),i=0,1,...,N-1，N为所述作业区域点云内点的总和，r为已设定的搜索半径，w_ij为在搜索半径内点的权重，cov(p_i)为加权协方差矩阵，D是cov(p_i)的特征值{λ₁，λ₂，λ₃}为主对角线元素的对角矩阵，V是包含对应所述特征值λ_i，i＝1，2，3对应的特征向量，η₁，η₂为设定的阈值。若所求的λ₁，λ₂，λ₃在阈值范围内，则该点为特征点，记录该点的x，y，z，λ₁，λ₂，λ₃数值。

2、基于提取的特征点，对每个特征点及相应的邻域进行局部特征描述，得到局部特征描述子；

具体如下：

CoSθ_q＝z_p·n_q

其中，M是特征点邻域内点的空间分布协方差矩阵，p_i是特征点的邻域点，

是邻域内点的重心，n_q是邻域点法向量，z_p是特征点确定的z轴，θ是邻域点法向量与z轴的夹角，s为特征点支撑域内分块个数，d_i为每个分块内直方图信息。

3、基于所述特征点和相应的局部特征描述子，依据设定的策略准则进行匹配对应，识别出作业对象和作业设备；

与场景中特征点局部描述子进行对应匹配，进而通过计算会生成对应的变换矩阵，对得到的变换矩阵进行验算，若变换矩阵错误，去除该错误匹配，再重复上述过程，最终会得到一个在允许误差范围内的变换矩阵，完成对作业对象和作业设备的识别。

4、基于识别出的作业对象的分布区域及位置信息，得到作业对象的三维空间分布；

基于识别出的作业对象的分布区域及位置信息，可以确定出作业对象的边缘分布，进而得到作业对象的三维空间分布。

5、基于识别出的作业设备的位置信息和姿态信息，得到作业设备的位姿。

步骤103，根据所述作业设备的位姿将所述作业设备对应的显示模型和所述三维模型转换至同一坐标系中；

这里，可以基于作业对象的三维空间分布在相机坐标系中生成作业对象的三维模型，并基于作业设备的位姿将作业设备的显示模型加入相机坐标中。

步骤104，显示转换至同一坐标系中的显示模型和三维模型，以指示所述作业设备与所述作业对象间的相对位置关系。

这里，三维模型和显示模型可以分别采取不同的色彩来区分显示，使得操作人员肉眼能够识别，以指示所述作业设备与所述作业对象间的相对位置关系。

实际应用时，远程遥控操作员通过所展示的显示模型和三维模型，实时感知作业区域内作业机构与作业对象的相对位置距离。且可以根据表面空间信息的获取频率，显示模型和三维模型可随作业机构移动及作业对象形态变化，实时获取作业机构实际位置及作业对象实际空间形态的更新显示。模型在显示屏幕上展示时，其像素大小经适当缩小可在显示屏幕上以最佳尺寸展示，既保证充分利用显示屏幕各像素点，又详细展示模型的全部细节。

在一实施例中，所述方法还包括：

接收调整所述作业设备绕设定轴向旋转的调整指令，基于所述调整指令更新并显示转换至同一坐标系中的显示模型和三维模型。

实际应用时，在辅助遥控显示屏幕上展示模型时，可以根据调整指令使得视图绕Z轴(竖直方向)动态旋转，从而将平面二维图像转化为三维图像，大大减少由于二维视角限制导致的误操作事件的发生，提高了远程作业效率。

可选地，由所述三维模型、所述显示模型组成的三维视图在辅助定位过程中绕Z轴(竖直方向)进行旋转，旋转方向为逆时针旋转，旋转速度保持慢速旋转，保证旋转过程中显示屏幕并未出现掉帧情况发生，且避免远程遥控设备操作员产生眩晕感。

在一实施例中，所述方法还包括：

基于转换至同一坐标系中的显示模型和三维模型，生成用于引导定位的指示信息。

基于上述作业对象与作业机构的相对位置关系，在远程遥控显示屏幕上，依据显示模型和三维模型，获取作业指令，所述作业指令携带表征所述目标作业对象对应的作业区域的第一信息；基于所述第一信息及所述作业机构当前对应的位置信息生成用于引导所述作业机构的指示信息。

在一实施例中，可以根据作业指令确定当前作业所对应的作业区域的第一位置信息，根据三维模型上的作业区域的分布与作业对象当前对应的位置信息生成指示信息，该指示信息可以为箭头指示标志。

在另一实施例中，引导作业机构移动至作业对象所对应的作业区域的指示信息可以为语音引导，通过“上、下、前、后、左、右”六大基本方向及其他衍生的方位语音引导远程遥控设备操作员操作作业机构完成作业。

在一实施例中，所述方法还包括：

检测到所述作业设备超出设定区域，生成越界记录信息。

这样，通过生成的越界记录信息，可以有效监管及考核远程遥控设备操作人员的作业记录，可以根据越界记录信息对操作事故进行追溯性查询。

在本发明实施例中，作业机构可为免爆锤、铲运机、推土机等大中型作业设备，以免爆锤为例。如图2所示，免爆锤1通过斗杆2、动臂3以及相对应的第一液压缸5、第二液压缸4、第三液压缸6与支撑平台8相连接。动臂3的下铰点与支撑平台8铰接，并以第三液压缸6来支撑和改变动臂3的倾角，通过第三液压缸6的伸缩可使动臂3绕下铰点转动而升降。斗杆2铰接于动臂3的上端，斗杆2与动臂3的相对位置由第二液压缸4控制，当第二液压缸4伸缩时，斗杆2便可绕动臂上铰点转动。免爆锤1与斗杆2前段铰接，并通过第一液压缸5伸缩使免爆锤绕该点转动。行走机构7则推动整个装置行进，扩大装置的工作空间。行走机构7与支撑平台8之间设置转动平台9，转动平台9可以驱动支撑平台8绕Z轴转动，以扩大装置的工作空间。

如图3所示，在作业区域墙壁左右处分别设置一个TOF相机10，设置位置光线充足，且无障碍物阻挡TOF相机及其观测路径。利用两个TOF相机可获得大块矿石整体表面空间信息。两个TOF相机10完成对作业区域深度信息图像拍摄后，将所存储数据经通讯网络传输至通讯收发天线11，再经远端收发天线12将所述作业区域深度信息图像实时、快速、无损地传输至图像处理终端13。图像处理终端13执行本发明任一实施例所述的作业设备辅助定位方法。在一应用示例中，作业机构为免爆锤，其可将未通过筛网的大型矿石击碎，以完成矿石破碎作业。矿井正常生产过程中，免爆锤与大型矿石的距离并不固定，且移动免爆锤至所要作业的矿石正上方过程过于依赖经验，新手难以快速准确移动免爆锤至准确位置。辅助定位即解决此类问题，其帮助操作员操纵作业机构完成对作业对象的空间精确定位。

为了实现本发明实施例的方法，本发明实施例还提供一种作业设备辅助定位装置，如图4所示，该装置包括：获取模块401、确定模块402、建模模块403、显示模块404，其中，

获取模块401，用于获取作业区域的表面空间信息；

确定模块402，用于基于所述表面空间信息确定所述作业区域内作业对象的三维模型及作业设备的位姿；

建模模块403，用于根据所述作业设备的位姿将所述作业设备对应的显示模型和所述三维模型转换至同一坐标系中；

显示模块404，用于显示转换至同一坐标系中的显示模型和三维模型，以指示所述作业设备与所述作业对象间的相对位置关系。

在一实施例中，所述装置还包括旋转模块405，用于接收调整所述作业设备绕设定轴向旋转的调整指令，基于所述调整指令更新并显示转换至同一坐标系中的显示模型和三维模型。

在一实施例中，所述装置还包括引导模块406，用于基于转换至同一坐标系中的显示模型和三维模型，生成用于引导定位的指示信息。

在一实施例中，所述装置还包括记录模块407，用于检测到所述作业设备超出设定区域，生成越界记录信息。

在一实施例中，确定模块402具体用于：

在一实施例中，确定模块402还用于：

提取所述表面空间信息中的特征点；

基于提取的特征点，对每个特征点及相应的邻域进行局部特征描述，得到局部特征描述子；

基于所述特征点和相应的局部特征描述子，依据设定的策略准则进行匹配对应，识别出作业对象和作业设备；

基于识别出的作业对象的分布区域及位置信息，得到作业对象的三维空间分布；

基于识别出的作业设备的位置信息和姿态信息，得到作业设备的位姿。

实际应用时，获取模块401、确定模块402、建模模块403、显示模块404、旋转模块405、引导模块406及记录模块407，可以由基于三维视觉的作业设备定位装置中的处理器来实现。当然，处理器需要运行存储器中的计算机程序来实现它的功能。

需要说明的是：上述实施例提供的作业设备辅助定位装置在进行作业设备辅助定位时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的作业设备辅助定位装置与作业设备辅助定位方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

基于上述程序模块的硬件实现，且为了实现本发明实施例的方法，本发明实施例还提供一种作业设备辅助定位系统。图5仅仅示出了该系统的示例性结构而非全部结构，根据需要可以实施图5示出的部分结构或全部结构。

如图5所示，本发明实施例提供的作业设备辅助定位系统500包括：至少一个处理器501、存储器502、用户接口503和至少一个网络接口504。作业设备辅助定位系统500中的各个组件通过总线系统505耦合在一起。可以理解，总线系统505用于实现这些组件之间的连接通信。总线系统505除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统505。

其中，用户接口53可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

本发明实施例中的存储器502用于存储各种类型的数据以支持作业设备辅助定位系统的操作。这些数据的示例包括：用于在作业设备辅助定位系统上操作的任何计算机程序。

本发明实施例揭示的作业设备辅助定位方法可以应用于处理器501中，或者由处理器501实现。处理器501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，作业设备辅助定位方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(DSP，DigitalSignal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器501可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成本发明实施例提供的作业设备辅助定位方法的步骤。

在示例性实施例中，作业设备辅助定位系统可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、FPGA、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现，用于执行前述方法。

可以理解，存储器502可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在示例性实施例中，本发明实施例还提供了一种存储介质，即计算机存储介质，具体可以是计算机可读存储介质，例如包括存储计算机程序的存储器502，上述计算机程序可由作业设备辅助定位系统的处理器501执行，以完成本发明实施例方法所述的步骤。计算机可读存储介质可以是ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。

需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

另外，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种作业设备辅助定位方法，其特征在于，包括：

获取作业区域的表面空间信息；

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

检测到所述作业设备超出设定区域，生成越界记录信息。

5.根据权利要求1所述的方法，其特征在于，所述基于所述表面空间信息确定所述作业区域内作业对象的三维模型及作业设备的位姿，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述表面空间信息识别作业对象和作业设备，得到所述作业对象的三维空间分布和所述作业设备的位姿，包括：

提取所述表面空间信息中的特征点；

7.一种作业设备辅助定位装置，其特征在于，包括：

获取模块，用于获取作业区域的表面空间信息；

8.根据权利要求7所述的装置，其特征在于，还包括：

旋转模块，用于接收调整所述作业设备绕设定轴向旋转的调整指令，基于所述调整指令更新并显示转换至同一坐标系中的显示模型和三维模型。

9.一种作业设备辅助定位系统，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，

所述处理器，用于运行计算机程序时，执行权利要求1至6任一项所述方法的步骤。

10.一种存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至6任一项所述方法的步骤。