CN111213101A - 可移动平台的巡线控制方法、设备、可移动平台及系统 - Google Patents
可移动平台的巡线控制方法、设备、可移动平台及系统 Download PDFInfo
- Publication number
- CN111213101A CN111213101A CN201980004952.1A CN201980004952A CN111213101A CN 111213101 A CN111213101 A CN 111213101A CN 201980004952 A CN201980004952 A CN 201980004952A CN 111213101 A CN111213101 A CN 111213101A
- Authority
- CN
- China
- Prior art keywords
- line
- movable platform
- pixel points
- pixel
- reference matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000009466 transformation Effects 0.000 claims abstract description 94
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000010355 oscillation Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000008713 feedback mechanism Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种可移动平台的巡线控制方法、设备、可移动平台及系统，所述可移动平台设置有拍摄装置，其中，该方法包括：根据所述拍摄装置采集的图像，确定所述图像中的线状物对应的像素点；将所述线状物对应的像素点映射到三维空间中以形成变换点；对所述变换点进行拟合，确定所述线状物对应的拟合线；根据所述线状物对应的拟合线，控制所述可移动平台的移动。通过这种方式可以提高可移动平台巡线控制的平稳性和准确性。
Description
技术领域
本发明涉及控制技术领域，尤其涉及一种可移动平台的巡线控制方法、设备、可移动平台及系统。
背景技术
目前，巡线控制在机器人、无人车等可移动平台中具有广泛的应用。传统的巡线控制通常是对摄像头采集画面中的线进行检测，通过将线上的采样点始终放在画面中央以实现巡线控制。
然而，传统巡线方法所使用的有限个采样点的表达能力有限，并不能完全描述当前所跟随的曲线的信息，因此在面对曲线形状非常规的情况下巡线表现较差。因此，如何更好地对可移动平台进行巡线控制具有十分重要的意义。
发明内容
本发明实施例提供了一种可移动平台的巡线控制方法、设备、可移动平台及系统，可以提高可移动平台巡线控制的平稳性和准确性。
第一方面，本发明实施例提供了一种可移动平台的巡线控制方法，所述可移动平台设置有拍摄装置，所述方法包括：
根据所述拍摄装置采集的图像，确定所述图像中的线状物对应的像素点；
将所述线状物对应的像素点映射到三维空间中以形成变换点；
对所述变换点进行拟合，确定所述线状物对应的拟合线；
根据所述线状物对应的拟合线，控制所述可移动平台的移动。
第二方面，本发明实施例提供了一种巡线控制设备，包括存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述程序指令，当所述程序指令被执行时，用于执行以下操作：
根据拍摄装置采集的图像，确定所述图像中的线状物对应的像素点；
将所述线状物对应的像素点映射到三维空间中以形成变换点；
对所述变换点进行拟合，确定所述线状物对应的拟合线；
根据所述线状物对应的拟合线，控制所述可移动平台的移动。
第三方面，本发明实施例提供了一种可移动平台，所述可移动平台包括：
机身；
配置在机身上的动力系统，用于为所述可移动平台提供移动的动力；
如上述第二方面所述的巡线控制设备。
第四方面，本发明实施例提供了一种巡线控制系统，包括：巡线控制设备和可移动平台；
所述巡线控制设备，用于根据拍摄装置采集的图像，确定所述图像中的线状物对应的像素点，将所述线状物对应的像素点映射到三维空间中以形成变换点，并对所述变换点进行拟合，确定所述线状物对应的拟合线，以及将所述拟合线发送给所述可移动平台；
所述可移动平台，用于根据接收到的所述拟合线进行巡线移动。
第五方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的方法。
本发明实施例中，巡线控制设备通过将拍摄装置采集的图像中的线状物对应的像素点映射到三维空间中以形成变换点，通过对所述变换点进行拟合，确定所述线状物对应的拟合线，可以更加准确的逼近线状物的轨迹，避免在面对例如大曲率、大转角时出现跟丢、振荡等情况，提高了巡线控制的平稳性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种像素点的示意图；
图2是本发明实施例提供的一种变换点的示意图；
图3是本发明实施例提供的一种巡线控制系统的结构示意图；
图4是本发明实施例提供的一种可移动平台的巡线控制方法的流程示意图；
图5是本发明实施例提供的另一种可移动平台的巡线控制方法的流程示意图；
图6是本发明实施例提供的一种巡线控制设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明实施例中提供的可移动平台的巡线控制方法可以由一种巡线控制系统执行，具体地，可以由巡线控制系统中的巡线控制设备执行。其中，所述巡线控制系统包括巡线控制设备和可移动平台。在某些实施例中，所述巡线控制设备可以安装在可移动平台上；在某些实施例中，所述巡线控制设备可以在空间上独立于可移动平台；在某些实施例中，所述巡线控制设备可以是可移动平台的部件，即所述可移动平台包括巡线控制设备。
在其他实施例中，所述可移动平台的巡线控制方法还可以应用于其他可移动设备上，如能够自主移动的机器人、轮式机器人、无人车、无人船等可移动设备。
所述巡线控制系统中的巡线控制设备可以获取可移动平台的拍摄装置采集到的图像，并对所述拍摄装置采集的图像中的线状物进行提取，得到对应的像素点。所述巡线控制设备可以将所述线状物对应的像素点映射到三维空间中以形成变换点，通过对所述变换点进行拟合，确定所述线状物对应的拟合线，从而根据所述线状物对应的拟合线，控制所述可移动平台的移动。在某些实施例中，所述线状物可以包括但不限于直线、线段、曲线等任意一种形状，在此不做具体限定。
在一个实施例中，所述巡线控制设备可以通过使用骨骼化等方法对所述拍摄装置采集的图像中的线状物进行提取，得到对应的像素点，如图1所示，图1是本发明实施例提供的一种像素点的示意图。在某些实施例中，在获取到所述线状物对应的像素点之后，可以对所述像素点进行滤波处理，以对所述像素点进行去噪处理。
在一个实施例中，所述巡线控制设备在将所述线状物对应的像素点映射到三维空间中以形成变换点时，可以获取所述拍摄装置的内参矩阵和外参矩阵，并根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点映射到三维空间中以形成变换点。
在一个实施例中，所述内参矩阵可以是所述拍摄装置预先标定得到的；在某些实施例中，所述内参矩阵是根据多个内参数确定得到，所述内参数是摄像头标定得到的参数，如焦距、像主点坐标等。
在一个实施例中，所述外参矩阵包括旋转矩阵和/或平移向量；在某些实施例中，当所述世界坐标系的原点设定在所述可移动平台上时，所述外参矩阵只包括旋转矩阵。在某些实施例中，所述旋转矩阵可以通过拍摄装置的姿态信息确定得到的，所述平移向量可以通过拍摄装置的定位信息确定得到。
在一个实施例中，所述巡线控制设备在将所述线状物对应的像素点映射到三维空间中以形成变换点时，可以根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点转换至世界坐标系中，得到所述变换点。
具体可以图2为例进行说明，图2是本发明实施例提供的一种变换点的示意图。如图2所示的变换点是根据图1所示的线状物对应的像素点转换得到的世界坐标系中的变换点。
本发明实施例通过将确定得到的所述线状物对应的像素点转换到世界坐标系，以得到所述变换点。在将所述线状物对应的像素点转换到世界坐标系的过程中，可以对所述线状物对应的像素点进行去畸变等处理，从而提升所述变换点的准确性。
在一个实施例中，所述巡线控制设备在对所述变换点进行拟合，确定所述线状物对应的拟合线时，可以采用多项式拟合的方式对所述变换点进行拟合，确定所述线状物的拟合线。在某些实施例中，所述多项式拟合的方式可以用如下的公式(1)所示的一个N阶多项式进行表达：
p(t)＝αTτ,τ＝(1,t,t2,...,tN)T(1)
其中，公式(1)中，α为多项式系数向量，拟合的过程即是选取某个α，使得该多项式所表示的曲线与样本最为贴近。
以轮式移动机器人为例，假设轮式移动机器人的运动平面和要跟随的曲线位于同一平面，则对于平面上的点，可以按照坐标轴分别单独求解px(t)、py(t)，最终形成以参数方程形式描述的轨迹曲线p(t)。
在其他实施例中，所述巡线控制设备还可以使用如圆、椭圆、样条曲线等其他非多项式的拟合方式，本发明实施例在此不做具体限定。
在一个实施例中，所述巡线控制设备在根据所述线状物对应的拟合线，控制所述可移动平台的移动时，可以根据所述线状物的拟合线，确定所述可移动平台与所述拟合线之间的误差信息，并对所述误差信息进行最小化处理，以控制所述可移动平台的移动。
在一些实施例中，所述误差信息包括切向误差和径向误差，所述巡线控制设备可以根据所述可移动平台的类型，确定处理方式，并根据所述处理方式对所述切向误差和所述径向误差进行最小化处理。在某些实施例中，所述切向误差包括所述拟合线中距离所述可移动平台最近的点的切线方向和所述可移动平台当前运动方向的夹角；所述径向误差包括所述拟合线中距离所述可移动平台最近的点与所述可移动平台的距离。
在一个实施例中，计算距离所述可移动平台当前位置最接近的点，得到该点处曲线参数t，可以根据如下公式(2)计算该点处的切线T(t)：
切线对应的方向代表所述可移动平台的理想前进方向，与该方向垂直的法线方向即构成径向N(t)，且计算公式如下公式(3)所示：
N(t)＝(0 0 1)T×T(t)＝(-Ty(t) Tx(t)0)T (3)
由此可以定义误差为如下公式(4)所示：
e＝(θT dN)T (4)
其中，θT为切线方向和可移动平台当前运动方向的夹角，称为切向误差，dN为最近点到可移动平台的距离，称为径向误差。在一种实施例中，巡线控制便是要最小化这两个值。对于平面运动解耦的可移动平台，这两个误差可以分别建立调节器予以消除，对于平面运动非解耦的可移动平台(例如三轮式机器人，径向误差和切向误差无法同时独立消除)，可建立二级闭环控制器予以消除。
特别地，由于具有曲线的解析形式，可以得到在最近距离点位置的曲率X(t)如下公式(5)所示：
根据曲率X(t)，可以获取目前曲线上的弯曲程度，并以此为先验设定控制增益。
本发明实施例，通过确定拍摄装置采集的图像中的线状物对应的像素点，将所述线状物对应的像素点映射到三维空间中以形成变换点，并对所述变换点进行拟合，确定所述线状物对应的拟合线，可以更加准确的逼近线状物的轨迹，避免在面对例如大曲率、大转角时出现跟丢、振荡等情况，根据所述线状物的拟合线，控制所述可移动平台的移动，可以提高巡线过程的平稳性以及巡线控制的准确性。
下面结合附图3对本发明实施例提供的巡线控制系统进行示意性说明。
请参见图3，图3是本发明实施例提供的一种巡线控制系统的结构示意图。所述巡线控制系统包括：巡线控制设备31、可移动平台32。其中，可移动平台32和巡线控制设备31之间可以通过无线通信连接方式建立通信连接。其中，在某些场景下，所述可移动平台32和巡线控制设备31之间也可以通过有线通信连接方式建立通信连接。所述可移动平台32可以为无人车、无人船、可移动机器人等可移动设备。所述可移动平台32包括动力系统321，所述动力系统321用于为可移动平台32提供移动的动力。在其他实施例中，可移动平台32和巡线控制设备31彼此独立，例如巡线控制设31设置在云端服务器中，通过无线通信连接方式与可移动平台32建立通信连接。
本发明实施例中，所述巡线控制设备31通过确定拍摄装置采集的图像中的线状物对应的像素点，将所述线状物对应的像素点映射到三维空间中以形成变换点，通过对所述变换点进行拟合，确定所述线状物对应的拟合线，可以更加准确的逼近线状物的轨迹，避免在面对例如大曲率、大转角时出现跟丢、振荡等情况；通过根据所述线状物对应的拟合线，对切线误差和径向误差进行最小化处理，控制所述可移动平台32的移动，提高了巡线控制的平稳性和准确性。
下面结合附图4-附图6对本发明实施例提供的可移动平台的巡线控制方法进行示意性说明。
具体请参见图4，图4是本发明实施例提供的一种可移动平台的巡线控制方法的流程示意图，所述方法可以由巡线控制设备执行，其中，所述巡线控制设备的具体解释如前所述。具体地，本发明实施例的所述方法包括如下步骤。
S401：根据拍摄装置采集的图像，确定所述图像中的线状物对应的像素点。
本发明实施例中，巡线控制设备可以根据拍摄装置采集的图像，确定所述图像中的线状物对应的像素点。在某些实施例中，所述拍摄装置包括摄像头、TOF传感器中的任意一种或多种。
在一个实施例中，所述巡线控制设备在根据拍摄装置采集的图像，确定所述图像中的线状物对应的像素点时，可以通过摄像头采集图像，并根据摄像头采集的图像，确定所述图像中的线状物对应的像素点。
在一个实施例中，所述巡线控制设备在根据拍摄装置采集的图像，确定所述图像中的线状物对应的像素点时，可以通过TOF传感器采集深度图像，并根据TOF传感器采集的深度图像，确定所述深度图像中的线状物对应的像素点。
在某些实施例中，所述摄像头或所述TOF传感器可以挂载在所述可移动平台上。在某些实施例中，所述摄像头或所述TOF传感器可以独立于可移动平台，安装于所述可移动平台所处环境当中。在某些实施例中，所述摄像头包括但不限于双目摄像头、单目摄像头等摄像装置。
在一个实施例中，所述巡线控制设备在确定所述图像中的线状物对应的像素点之后，还可以对所述图像中的线状物对应的像素点进行滤波处理，以删除冗余的像素点，降低计算复杂度。
S402：将所述线状物对应的像素点映射到三维空间中以形成变换点。
本发明实施例中，巡线控制设备可以将所述线状物对应的像素点映射到三维空间中以形成变换点。
在一个实施例中，所述巡线控制设备在将所述线状物对应的像素点映射到三维空间中以形成变换点时，可以获取所述拍摄装置的内参矩阵和外参矩阵，并根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点映射到三维空间中以形成变换点。
在一个实施例中，所述巡线控制设备在获取所述拍摄装置的内参矩阵和外参矩阵时，可以获取所述拍摄装置预先标定得到的内参矩阵，并根据所述拍摄装置的姿态信息，确定所述拍摄装置的外参矩阵。
在某些实施例中，所述内参矩阵是根据多个内参数确定得到，所述内参数是拍摄装置标定得到的参数，如焦距、像主点坐标等。在某些实施例中，所述外参矩阵可以包括旋转矩阵和/或平移向量，其中，所述旋转矩阵可以通过拍摄装置的姿态信息确定得到的，所述平移向量可以通过拍摄装置的定位信息确定得到。在某些实施例中，当所述世界坐标系的原点设定在所述可移动平台上时，所述外参矩阵只包括旋转矩阵。在某些实施例中，所述拍摄装置安装在云台上，所述拍摄装置的姿态信息可以通过云台编码器等信息获取得到；在某些实施例中，所述拍摄装置的位置信息可以通过定位模块获取得到，示例的，定位模块可以包括但不限于全球定位系统(GPS)定位装置、北斗定位装置或实时动态(Real-timekinematic，RTK)载波相位差分定位装置(简称RTK定位装置)。
在一个实施例中，所述巡线控制设备在根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点映射到三维空间中以形成变换点时，可以根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点转换至世界坐标系中，得到所述变换点。具体实施例如前所述，此处不再赘述。
本发明实施例通过将拍摄装置采集到的图像中线状物的像素点转换到世界坐标系，以得到所述变换点。在将线状物的像素点转换到世界坐标系的过程中，可以对所述线状物的像素点进行去畸变等处理，从而提升所述变换点的准确性。
在一个实施例中，所述巡线控制设备在将所述线状物对应的像素点映射到三维空间中以形成变换点之前，可以通过确定所述线状物对应的像素点中满足预设条件的像素点，将满足所述预设条件的像素点映射到三维空间中以形成变换点。
在一些实施例中，所述满足预设条件包括：所述线状物对应的像素点的尺寸满足预设尺寸，所述巡线控制设备可以将不满足预设尺寸的像素点进行过滤删除，将满足预设尺寸的像素点映射到三维空间中以形成变换点。在某些实施例中，所述预设尺寸包括但不限于预设面积等信息。
在一个实施例中，所述线状物对应的像素点的尺寸包括所述线状物对应的像素点的面积，所述巡线控制设备可以将不满足预设面积的像素点进行过滤删除，将满足预设面积的像素点映射到三维空间中以形成变换点。
在一些实施例中，所述满足预设条件包括：所述线状物对应的像素点的像素宽度满足预设像素宽度条件。在一个实施例中，所述线状物在图像的宽度方向上包括一个或多个像素点，所述线状物对应的像素点的像素宽度可以包括一个或多个像素宽度。示例的，当所述线状物在图像的宽度方向上包括一个像素点，则所述线状物对应的像素点的像素宽度为单像素宽度；当所述线状物在图像的宽度方向上包括N个像素点，则所述线状物对应的像素点的像素宽度为N个像素宽度。
在一个实施例中，所述巡线控制设备可以将所述线状物对应的像素点的像素宽度不满足预设像素宽度条件的像素点进行过滤删除，将满足预设像素宽度条件的像素点映射到三维空间中以形成变换点。
在某些实施例中，巡线控制设备在确定所述线状物对应的像素点中满足预设条件的像素点时，可以将所述图像输出至用户界面进行显示，并根据在所述用户界面上获取到的选取操作，确定所述线状物对应的像素点中满足预设条件的像素点。示例的，巡线控制设备可将图像中线状物对应的像素点通过特殊颜色标记显示在用户界面上。例如，巡线控制设备将检测到的两条线状物用红色线条显示在用户界面上，用户可根据实际需求选取需要进行巡线的线条，由此，巡线控制设备则可以根据该选取操作，确定所述线状物对应的像素点中满足预设条件的像素点。
可见，通过多种方式确定所述像素点中满足预设条件的像素点，可以提高确定像素点的灵活性，将满足预设条件的像素点映射到三维空间中以形成变换点，可以提高变换点的准确性。
S403：对所述变换点进行拟合，确定所述线状物对应的拟合线。
本发明实施例中，巡线控制设备可以对所述变换点进行拟合，确定所述线状物对应的拟合线。
在一个实施例中，所述巡线控制设备在对所述变换点进行拟合，确定所述线状物对应的拟合线时，可以采用多项式拟合的方式对所述变换点进行拟合，确定所述线状物对应的拟合线。具体实施例如前所述，此处不再赘述。
在一个实施例中，所述巡线控制设备在对所述变换点进行拟合，确定所述线状物对应的拟合线之后，如果检测到两条或两条以上的线状物，则可以进一步从所述两条或两条以上的线状物中确定出一条巡线的线状物。
在一个实施例中，所述巡线控制可以根据所述两条或两条以上的线状物的长度，确定长度最大的线状物为巡线的线状物。在其他实施例中，还可以采用其他方式从多条线状物中确定出一条巡线的线状物，在此不做具体限定。
可见，本发明实施例通过对所述变换点进行拟合，确定与拍摄装置采集的图像中的线状物对应的拟合线，以根据拟合线控制可移动平台移动，避免在面对例如大曲率、大转角时出现跟丢、振荡等情况，提高巡线过程的平稳性。
S404：根据所述线状物对应的拟合线，控制所述可移动平台的移动。
本发明实施例中，巡线控制设备可以根据所述线状物对应的拟合线，控制所述可移动平台的移动。
在一个实施例中，所述巡线控制设备在根据所述线状物对应的拟合线，控制所述可移动平台的移动时，可以根据所述线状物对应的拟合线，确定所述可移动平台与所述拟合线之间的误差信息，并对所述误差信息进行最小化处理，以控制所述可移动平台的移动。
在一个实施例中，所述误差信息包括切向误差和径向误差，所述巡线控制设备在对所述误差信息进行最小化处理时，可以根据所述可移动平台的类型，确定处理方式，并根据所述处理方式对所述切向误差和所述径向误差进行最小化处理。
在一个实施例中，所述切向误差包括所述拟合线中距离所述可移动平台最近的点的切线方向和所述可移动平台当前运动方向的夹角；所述径向误差包括所述拟合线中距离所述可移动平台最近的点与所述可移动平台的距离。具体实施例如前所述，此处不再赘述。
在一些实施例中，所述巡线控制设备在对所述切向误差和所述径向误差进行最小化处理时，可以通过控制回路反馈机制(也称为反馈环控制机制)来实现。在某些实施例中，所述巡线控制设备可以通过比例-积分-微分(PID)控制器实现控制回路反馈机制，其中，所述控制回路反馈机制可以被用于基于当前状态更新控制变量以实现期望效果。例如，PID控制器可以被配置为计算误差值(径向误差、切向误差)作为当前状态(当前位置点、当前运动方向)和目标状态(目标位置点，目标运动方向)之间的差值，并且试图通过调整控制变量使误差值最小化。一般情况下，越精确的测量状态，就可以越精确的测量误差，便可以越精确的调节控制变量。在一种实施例中，所述巡线控制设备可以通过RTK技术测量可移动平台的位置信息，从而实现可移动平台厘米级或亚厘米级的控制。
可见，通过最小化切向误差以及最小化径向误差的这种实施方式，可以实现对可移动平台的巡线控制，提高对可移动平台的巡线控制精度，从而提高了对可移动平台巡线控制的准确性。
本发明实施例中，巡线控制设备通过将拍摄装置采集的图像中的线状物对应的像素点映射到三维空间中以形成变换点，通过对所述变换点进行拟合，确定所述线状物对应的拟合线，可以更加准确的逼近线状物的轨迹，避免在面对例如大曲率、大转角时出现跟丢、振荡等情况；通过根据所述线状物对应的拟合线，对切线误差和径向误差进行最小化处理，控制所述可移动平台的移动，提高了巡线控制的稳定性和准确性。
具体请参见图5，图5是本发明实施例提供的另一种可移动平台的巡线控制方法的流程示意图，所述方法可以由巡线控制设备执行，其中，所述巡线控制设备的具体解释如前所述。具体地，本发明实施例与图4所述的方法的区别在于，本发明实施例是对利用激光雷达获取点云数据，并根据点云数据确定线状物对应的像素点，以及根据线状物对应的像素点控制所述可移动平台移动的实施过程进行示意性说明，具体实施例包括如下步骤。
S501：根据激光雷达获取点云数据。
本发明实施例中，巡线控制设备可以根据所述激光雷达获取点云数据。
在一些实施例中，所述激光雷达是一种感知传感器，可以获得场景的三维信息。其基本原理为主动对被探测对象发射激光脉冲信号，并获得其反射回来的脉冲信号，根据发射信号和接收信号之间的时间差计算被测对象的距离探测器的深度信息；基于激光雷达的已知发射方向，获得被测对象相对激光雷达的角度信息；结合前述深度信息和角度信息得到海量的探测点(称为点云)，基于点云即可以重建被测对象相对激光雷达的空间三维信息。
S502：将所述点云数据中的每个点云投影至二维平面中以形成变换点，并将每个所述变换点放在对应的像素中以形成图像。
本发明实施例中，巡线控制设备可以将所述点云数据中的每个点云投影至二维平面中以形成变换点，并将每个所述变换点放在对应的像素中以形成图像。
在一个实施例中，所述二维平面可以包括与所述激光雷达的探测信号相垂直的平面，所述巡线控制设备可以将所述点云数据中的每个点云投影至该平面以形成变换点，并将每个所述变换点放在对应的像素中以形成图像。
在一个实施例中，所述二维平面可以包括地面，所述巡线控制设备可以将所述点云数据中的每个点云投影至地面以形成变换点，并将每个所述变换点放在对应的像素中以形成图像。在某些实施例中，所述地面为与所述可移动平台平行的地面。以轮式移动机器人为例，当轮式移动机器人在水平地面上行驶时，所述二维平面可以是水平面。当轮式移动机器人当前正在爬坡，则所述二维平面可以是与所述坡道平行的平面。
可见，本发明实施例通过将所述点云数据中的每个点云投影到二维平面，便于直观地在平面上对点云进行计算，针对所述二维平面进行线检测。
S503：获取所述图像中的线状物对应的像素点。
本发明实施例中，巡线控制设备可以获取所述图像中的线状物对应的像素点。具体实施例如前所述，此处不再赘述。
S504：将所述线状物对应的像素点映射到三维空间中以形成变换点。
本发明实施例中，巡线控制设备可以将所述线状物对应的像素点映射到三维空间中以形成变换点。具体实施例如前所述，此处不再赘述。
S505：对所述变换点进行拟合，确定所述线状物对应的拟合线。
本发明实施例中，巡线控制设备可以对所述变换点进行拟合，确定所述线状物的拟合线。具体实施例如前所述，此处不再赘述。
S506：根据所述线状物对应的拟合线，控制所述可移动平台的移动。
本发明实施例中，巡线控制设备可以根据所述线状物对应的拟合线，控制所述可移动平台的移动。具体实施例如前所述，此处不再赘述。
本发明实施例中，巡线控制设备通过激光雷达获取点云数据，将所述点云数据中的每个点云投影至二维平面中以形成变换点，并将每个所述变换点放在对应的像素中以形成图像，便于直观地在平面上对点云进行计算；通过将拍摄装置采集的图像中的线状物对应的像素点映射到三维空间中以形成变换点，通过对所述变换点进行拟合，确定所述线状物对应的拟合线，可以更加准确的逼近线状物的轨迹，避免在面对例如大曲率、大转角时出现跟丢、振荡等情况；通过根据所述线状物对应的拟合线，对切线误差和径向误差进行最小化处理，控制所述可移动平台的移动，提高了巡线控制的平稳性和准确性。
请参见图6，图6是本发明实施例提供的一种巡线控制设备的结构示意图。具体的，所述巡线控制设备包括：存储器601、处理器602。
在一种实施例中，所述可移动平台的巡线控制设备还包括数据接口603，所述数据接口603，用于传递可移动平台的巡线控制设备和其他设备之间的数据信息。
所述存储器601可以包括易失性存储器(volatile memory)；存储器601也可以包括非易失性存储器(non-volatile memory)；存储器601还可以包括上述种类的存储器的组合。所述处理器602可以是中央处理器(central processing unit，CPU)。所述处理器602还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)或其任意组合。
所述存储器601用于存储程序指令，所述处理器602可以调用存储器601中存储的程序指令，用于执行如下步骤：
根据所述拍摄装置采集的图像，确定所述图像中的线状物对应的像素点；
将所述线状物对应的像素点映射到三维空间中以形成变换点；
对所述变换点进行拟合，确定所述线状物对应的拟合线；
根据所述线状物对应的拟合线，控制所述可移动平台的移动。
进一步地，所述处理器602将所述线状物对应的像素点映射到三维空间中以形成变换点时，具体用于：
获取所述拍摄装置的内参矩阵和外参矩阵；
根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点映射到三维空间中以形成变换点。
进一步地，所述处理器602获取所述拍摄装置的内参矩阵和外参矩阵时，具体用于：
获取所述拍摄装置预先标定得到的内参矩阵；
根据所述拍摄装置的姿态信息，确定所述拍摄装置的外参矩阵。
进一步地，所述处理器602根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点映射到三维空间中以形成变换点时，具体用于：
根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点转换至世界坐标系中，得到所述变换点。
进一步地，所述处理器602对所述变换点进行拟合，确定所述线状物对应的拟合线时，具体用于：
采用多项式拟合的方式对所述变换点进行拟合，确定所述线状物对应的拟合线。
进一步地，所述处理器602将所述线状物对应的像素点映射到三维空间中以形成变换点之前，还用于：
确定所述线状物对应的像素点中满足预设条件的像素点；
所述处理器602将所述线状物对应的像素点映射到三维空间中以形成变换点时，具体用于：
将满足所述预设条件的像素点映射到三维空间中以形成变换点。
进一步地，所述满足预设条件包括：所述线状物对应的像素点的尺寸满足预设尺寸。
进一步地，所述满足预设条件包括：所述线状物对应的像素点的像素宽度满足预设像素宽度条件。
进一步地，所述处理器602确定所述线状物对应的像素点中满足预设条件的像素点时，具体用于：
将所述图像输出至用户界面进行显示；
根据在所述用户界面上获取到的选取操作，确定所述线状物对应的像素点中满足预设条件的像素点。
进一步地，所述处理器602根据所述线状物对应的拟合线，控制所述可移动平台的移动时，具体用于：
根据所述线状物对应的拟合线，确定所述可移动平台与所述拟合线之间的误差信息；
对所述误差信息进行最小化处理，以控制所述可移动平台的移动。
进一步地，所述误差信息包括切向误差和径向误差。
进一步地，所述处理器602对所述误差信息进行最小化处理时，具体用于：
根据所述可移动平台的类型，确定处理方式；
根据所述处理方式对所述切向误差和所述径向误差进行最小化处理。
进一步地，所述切向误差包括所述拟合线中距离所述可移动平台最近的点的切线方向和所述可移动平台当前运动方向的夹角；
所述径向误差包括所述拟合线中距离所述可移动平台最近的点与所述可移动平台的距离。
进一步地，所述处理器602确定所述图像中的线状物对应的像素点之后，还用于：
对所述图像中的线状物对应的像素点进行滤波处理。
进一步地，所述拍摄装置包括摄像头、TOF传感器中的任意一种或多种。
本发明实施例中，巡线控制设备通过将拍摄装置采集的图像中的线状物对应的像素点映射到三维空间中以形成变换点，通过对所述变换点进行拟合，确定所述线状物对应的拟合线，可以更加准确的逼近线状物的轨迹，避免在面对例如大曲率、大转角时出现跟丢、振荡等情况；通过根据所述线状物对应的拟合线，对切线误差和径向误差进行最小化处理，控制所述可移动平台的移动，提高了巡线控制的平稳性和准确性。
本发明实施例还提供了一种可移动平台，所述可移动平台包括：机身；配置在机身上的动力系统，用于为可移动平台提供移动的动力；以及上述巡线控制设备。本发明实施例中，可移动平台通过将拍摄装置采集的图像中的线状物对应的像素点映射到三维空间中以形成变换点，通过对所述变换点进行拟合，确定所述线状物对应的拟合线，可以更加准确的逼近线状物的轨迹，避免在面对例如大曲率、大转角时出现跟丢、振荡等情况；通过根据所述线状物对应的拟合线，对切线误差和径向误差进行最小化处理，控制所述可移动平台的移动，提高了巡线控制的平稳性和准确性。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明图4或图5所对应实施例中描述的方法，也可实现图6所述本发明所对应实施例的设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (33)
1.一种可移动平台的巡线控制方法，其特征在于，所述可移动平台设置有拍摄装置，所述方法包括：
根据所述拍摄装置采集的图像，确定所述图像中的线状物对应的像素点；
将所述线状物对应的像素点映射到三维空间中以形成变换点；
对所述变换点进行拟合，确定所述线状物对应的拟合线；
根据所述线状物对应的拟合线，控制所述可移动平台的移动。
2.根据权利要求1所述的方法，其特征在于，所述将所述线状物对应的像素点映射到三维空间中以形成变换点，包括：
获取所述拍摄装置的内参矩阵和外参矩阵；
根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点映射到三维空间中以形成变换点。
3.根据权利要求2所述的方法，其特征在于，所述获取所述拍摄装置的内参矩阵和外参矩阵，包括：
获取所述拍摄装置预先标定得到的内参矩阵；
根据所述拍摄装置的姿态信息，确定所述拍摄装置的外参矩阵。
4.根据权利要求2所述的方法，其特征在于，所述根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点映射到三维空间中以形成变换点，包括：
根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点转换至世界坐标系中，得到所述变换点。
5.根据权利要求1所述的方法，其特征在于，所述对所述变换点进行拟合，确定所述线状物对应的拟合线，包括：
采用多项式拟合的方式对所述变换点进行拟合，确定所述线状物对应的拟合线。
6.根据权利要求1所述的方法，其特征在于，所述将所述线状物对应的像素点映射到三维空间中以形成变换点之前，还包括：
确定所述线状物对应的像素点中满足预设条件的像素点；
所述将所述线状物对应的像素点映射到三维空间中以形成变换点，包括：
将满足所述预设条件的像素点映射到三维空间中以形成变换点。
7.根据权利要求6所述的方法，其特征在于，所述满足预设条件包括：所述线状物对应的像素点的尺寸满足预设尺寸。
8.根据权利要求7所述的方法，其特征在于，所述满足预设条件包括：所述线状物对应的像素点的像素宽度满足预设像素宽度条件。
9.根据权利要求6所述的方法，其特征在于，所述确定所述线状物对应的像素点中满足预设条件的像素点，包括：
将所述图像输出至用户界面进行显示；
根据在所述用户界面上获取到的选取操作，确定所述线状物对应的像素点中满足预设条件的像素点。
10.根据权利要求1所述的方法，其特征在于，所述根据所述线状物对应的拟合线，控制所述可移动平台的移动，包括：
根据所述线状物对应的拟合线，确定所述可移动平台与所述拟合线之间的误差信息；
对所述误差信息进行最小化处理，以控制所述可移动平台的移动。
11.根据权利要求10所述的方法，其特征在于，所述误差信息包括切向误差和径向误差。
12.根据权利要求11所述的方法，其特征在于，所述对所述误差信息进行最小化处理，包括：
根据所述可移动平台的类型，确定处理方式；
根据所述处理方式对所述切向误差和所述径向误差进行最小化处理。
13.根据权利要求11所述的方法，其特征在于，
所述切向误差包括所述拟合线中距离所述可移动平台最近的点的切线方向和所述可移动平台当前运动方向的夹角；
所述径向误差包括所述拟合线中距离所述可移动平台最近的点与所述可移动平台的距离。
14.根据权利要求1所述的方法，其特征在于，所述确定所述图像中的线状物对应的像素点之后，还包括：
对所述图像中的线状物对应的像素点进行滤波处理。
15.根据权利要求1所述的方法，其特征在于，所述拍摄装置包括摄像头、TOF传感器中的任意一种或多种。
16.一种巡线控制设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述程序指令，当所述程序指令被执行时，用于执行以下操作:
根据拍摄装置采集的图像，确定所述图像中的线状物对应的像素点；
将所述线状物对应的像素点映射到三维空间中以形成变换点；
对所述变换点进行拟合，确定所述线状物对应的拟合线；
根据所述线状物对应的拟合线，控制所述可移动平台的移动。
17.根据权利要求16所述的设备，其特征在于，所述处理器将所述线状物对应的像素点映射到三维空间中以形成变换点时，具体用于：
获取所述拍摄装置的内参矩阵和外参矩阵；
根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点映射到三维空间中以形成变换点。
18.根据权利要求17所述的设备，其特征在于，所述处理器获取所述拍摄装置的内参矩阵和外参矩阵时，具体用于：
获取所述拍摄装置预先标定得到的内参矩阵；
根据所述拍摄装置的姿态信息，确定所述拍摄装置的外参矩阵。
19.根据权利要求17所述的设备，其特征在于，所述处理器根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点映射到三维空间中以形成变换点时，具体用于：
根据所述内参矩阵和所述外参矩阵，将所述线状物对应的像素点转换至世界坐标系中，得到所述变换点。
20.根据权利要求16所述的设备，其特征在于，所述处理器对所述变换点进行拟合，确定所述线状物对应的拟合线时，具体用于：
采用多项式拟合的方式对所述变换点进行拟合，确定所述线状物对应的拟合线。
21.根据权利要求16所述的设备，其特征在于，所述处理器将所述线状物对应的像素点映射到三维空间中以形成变换点之前，还用于：
确定所述线状物对应的像素点中满足预设条件的像素点；
所述处理器将所述线状物对应的像素点映射到三维空间中以形成变换点时，具体用于：
将满足所述预设条件的像素点映射到三维空间中以形成变换点。
22.根据权利要求21所述的设备，其特征在于，所述满足预设条件包括：所述线状物对应的像素点的尺寸满足预设尺寸。
23.根据权利要求22所述的设备，其特征在于，所述满足预设条件包括：所述线状物对应的像素点的像素宽度满足预设像素宽度条件。
24.根据权利要求21所述的设备，其特征在于，所述处理器确定所述线状物对应的像素点中满足预设条件的像素点时，具体用于：
将所述图像输出至用户界面进行显示；
根据在所述用户界面上获取到的选取操作，确定所述线状物对应的像素点中满足预设条件的像素点。
25.根据权利要求16所述的设备，其特征在于，所述处理器根据所述线状物对应的拟合线，控制所述可移动平台的移动时，具体用于：
根据所述线状物对应的拟合线，确定所述可移动平台与所述拟合线之间的误差信息；
对所述误差信息进行最小化处理，以控制所述可移动平台的移动。
26.根据权利要求25所述的设备，其特征在于，所述误差信息包括切向误差和径向误差。
27.根据权利要求26所述的设备，其特征在于，所述处理器对所述误差信息进行最小化处理时，具体用于：
根据所述可移动平台的类型，确定处理方式；
根据所述处理方式对所述切向误差和所述径向误差进行最小化处理。
28.根据权利要求26所述的设备，其特征在于，所述切向误差包括所述拟合线中距离所述可移动平台最近的点的切线方向和所述可移动平台当前运动方向的夹角；
所述径向误差包括所述拟合线中距离所述可移动平台最近的点与所述可移动平台的距离。
29.根据权利要求16所述的设备，其特征在于，所述处理器确定所述图像中的线状物对应的像素点之后，还用于：
对所述图像中的线状物对应的像素点进行滤波处理。
30.根据权利要求16所述的设备，其特征在于，所述拍摄装置包括摄像头、TOF传感器中的任意一种或多种。
31.一种可移动平台，其特征在于，包括：
机身；
配置在机身上的动力系统，用于为可移动平台提供移动的动力；
以及如权利要求16-30任一所述的巡线控制设备。
32.一种巡线控制系统，其特征在于，包括：巡线控制设备和可移动平台；
所述巡线控制设备，用于根据拍摄装置采集的图像，确定所述图像中的线状物对应的像素点，将所述线状物对应的像素点映射到三维空间中以形成变换点，并对所述变换点进行拟合，确定所述线状物对应的拟合线，以及将所述拟合线发送给所述可移动平台；
所述可移动平台，用于根据接收到的所述拟合线进行巡线移动。
33.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至15任一项所述方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/084443 WO2020215296A1 (zh) | 2019-04-26 | 2019-04-26 | 可移动平台的巡线控制方法、设备、可移动平台及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111213101A true CN111213101A (zh) | 2020-05-29 |
Family
ID=70790124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980004952.1A Pending CN111213101A (zh) | 2019-04-26 | 2019-04-26 | 可移动平台的巡线控制方法、设备、可移动平台及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111213101A (zh) |
| WO (1) | WO2020215296A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI770966B (zh) * | 2021-04-27 | 2022-07-11 | 陽程科技股份有限公司 | 無人自走車之導引控制方法 |
| TWI770965B (zh) * | 2021-04-27 | 2022-07-11 | 陽程科技股份有限公司 | 無人自走車之導引控制方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067557A (zh) * | 2007-07-03 | 2007-11-07 | 北京控制工程研究所 | 适用于自主移动车辆的环境感知的单目视觉导航方法 |
| CN101625723A (zh) * | 2009-07-02 | 2010-01-13 | 浙江省电力公司 | 电力线轮廓的快速图像识别方法 |
| CN102788591A (zh) * | 2012-08-07 | 2012-11-21 | 郭磊 | 基于视觉信息的机器人沿引导线巡线导航方法 |
| CN105869150A (zh) * | 2016-03-24 | 2016-08-17 | 杭州南江机器人股份有限公司 | 一种基于视觉识别的可移动平台标定装置及标定方法 |
| CN107958486A (zh) * | 2017-11-21 | 2018-04-24 | 北京煜邦电力技术股份有限公司 | 一种导线矢量模型的生成方法及装置 |
| CN108132675A (zh) * | 2017-11-23 | 2018-06-08 | 东南大学 | 一种工厂巡视无人机自主路径巡航以及智能避障方法 |
| CN108885459A (zh) * | 2018-06-08 | 2018-11-23 | 珊口（深圳）智能科技有限公司 | 导航方法、导航系统、移动控制系统及移动机器人 |
| CN108958250A (zh) * | 2018-07-13 | 2018-12-07 | 华南理工大学 | 多传感器移动平台及基于已知地图的导航与避障方法 |
| CN109144072A (zh) * | 2018-09-30 | 2019-01-04 | 亿嘉和科技股份有限公司 | 一种基于三维激光的机器人智能避障方法 |
-
2019
- 2019-04-26 WO PCT/CN2019/084443 patent/WO2020215296A1/zh active Application Filing
- 2019-04-26 CN CN201980004952.1A patent/CN111213101A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067557A (zh) * | 2007-07-03 | 2007-11-07 | 北京控制工程研究所 | 适用于自主移动车辆的环境感知的单目视觉导航方法 |
| CN101625723A (zh) * | 2009-07-02 | 2010-01-13 | 浙江省电力公司 | 电力线轮廓的快速图像识别方法 |
| CN102788591A (zh) * | 2012-08-07 | 2012-11-21 | 郭磊 | 基于视觉信息的机器人沿引导线巡线导航方法 |
| CN105869150A (zh) * | 2016-03-24 | 2016-08-17 | 杭州南江机器人股份有限公司 | 一种基于视觉识别的可移动平台标定装置及标定方法 |
| CN107958486A (zh) * | 2017-11-21 | 2018-04-24 | 北京煜邦电力技术股份有限公司 | 一种导线矢量模型的生成方法及装置 |
| CN108132675A (zh) * | 2017-11-23 | 2018-06-08 | 东南大学 | 一种工厂巡视无人机自主路径巡航以及智能避障方法 |
| CN108885459A (zh) * | 2018-06-08 | 2018-11-23 | 珊口（深圳）智能科技有限公司 | 导航方法、导航系统、移动控制系统及移动机器人 |
| CN108958250A (zh) * | 2018-07-13 | 2018-12-07 | 华南理工大学 | 多传感器移动平台及基于已知地图的导航与避障方法 |
| CN109144072A (zh) * | 2018-09-30 | 2019-01-04 | 亿嘉和科技股份有限公司 | 一种基于三维激光的机器人智能避障方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020215296A1 (zh) | 2020-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10509983B2 (en) | Operating device, operating system, operating method, and program therefor | |
| EP3591490B1 (en) | Obstacle avoidance method and device, and unmanned aerial vehicle | |
| US11269346B2 (en) | 3-d image system for vehicle control | |
| US9659378B2 (en) | Point cloud position data processing device, point cloud position data processing system, point cloud position data processing method, and program therefor | |
| US11120560B2 (en) | System and method for real-time location tracking of a drone | |
| CN113657224B (zh) | 车路协同中用于确定对象状态的方法、装置、设备 | |
| CN110503040B (zh) | 障碍物检测方法及装置 | |
| US11057604B2 (en) | Image processing method and device | |
| CN111156998A (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
| WO2018210078A1 (zh) | 无人机的距离测量方法以及无人机 | |
| US11199614B1 (en) | Lidar and image calibration for autonomous vehicles | |
| CN112880642B (zh) | 测距系统和测距方法 | |
| WO2018227576A1 (zh) | 地面形态检测方法及系统、无人机降落方法和无人机 | |
| CN109978954A (zh) | 基于箱体的雷达和相机联合标定的方法和装置 | |
| CN111247389A (zh) | 关于拍摄设备的数据处理方法、装置及图像处理设备 | |
| CN107941167B (zh) | 一种基于无人机载具和结构光扫描技术的空间扫描系统及其工作方法 | |
| CN111213101A (zh) | 可移动平台的巡线控制方法、设备、可移动平台及系统 | |
| WO2020024182A1 (zh) | 一种参数处理方法、装置及摄像设备、飞行器 | |
| CN113643380A (zh) | 一种基于单目相机视觉标靶定位的机械臂引导方法 | |
| US20210156710A1 (en) | Map processing method, device, and computer-readable storage medium | |
| CN109725340B (zh) | 直接地理定位方法及装置 | |
| US20210229810A1 (en) | Information processing device, flight control method, and flight control system | |
| CN113340272A (zh) | 一种基于无人机微群的地面目标实时定位方法 | |
| CN112529965A (zh) | 一种激光雷达与单目相机的标定方法及装置 | |
| Gao et al. | Altitude information acquisition of uav based on monocular vision and mems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200529 |